締切済み 最小二乗法の偏微分 2007/04/18 00:41 近似の直線をｙ＝ax + b とする。 残差二乗和をa,bそれぞれで偏微分すると0になるんですけど、何で0になるのですか？ 数学的な意味を教えていただければ嬉しいです。 みんなの回答 （2） 専門家の回答 みんなの回答 sanori ベストアンサー率48% (5664/11798) 2007/04/18 17:28 回答No.2 あるデータｘn、ｙnについて εn ＝ a・ｘn ＋ ｂ － ｙn Ｓ ＝ Σ(εn)^2 ＝ Σ（a・ｘn ＋ ｂ － ｙn）^2 ここで、各ｘn と 各ｙn は既知の数であり、ａとｂはこの段階では未知のなので、Ｓはａとｂの関数と考えることができます。 Ｓを最小にするためには、 ∂Ｓ／∂ａ＝０ かつ ∂Ｓ／∂ｂ＝０ つまり、 「なぜゼロになるか」 ではなくて、 「ゼロになるように決めた」 若しくは 「∂Ｓ／∂ａ＝０ かつ ∂Ｓ／∂ｂ＝０ であれば、Ｓ（＝Σ(εn)^2）が最小になる」 です。 広告を見て全文表示する ログインすると、全ての回答が全文表示されます。 通報する ありがとう 0 Tacosan ベストアンサー率23% (3656/15482) 2007/04/18 01:14 回答No.1 最小二乗法の性質から, 残差二乗和が最小になるから. 正確にいえば, 「残差二乗和を最小にしたい」から「a, b それぞれで偏微分して 0 にする」んだけど. 広告を見て全文表示する ログインすると、全ての回答が全文表示されます。 通報する ありがとう 0 カテゴリ 学問・教育数学・算数 関連するQ&A 最小二乗法 n組のデータ (xi, yi) を，特定点(X0, Y0) を通る直線 y = ax+b でフィッティングしたい。最小二乗法で係数a，bを求めるため の式を導きなさい。 という問題で 各データの残差を二乗した和が最小になるときのa,bを求めるのですが 特定点(X0,Y0)を通るにはどうすればよいでしょうか？ ただ単に、特定点を通らずフィッティングするやりかたはわかるのですが・・・。 よろしくお願いします。 最小二乗法の問題 （ｘ、ｙ）についてのん組のデータ（ｘ１、ｙ１）.......（xn、yn)が直線ｙ=ax+bの近似できるとき、aとbを最小二乗法により求めよ。 偏微分について Ｓ＝｛ｙ-(ax+b)}{y-(ax+b)}という式を与えられたとき、最小二乗法で最適な直線 y=ax+b を求めるためには aとbについての編微分が ０ に等しいという事を満たすaとbを求めなければいけないらしいのです。 しかし数学をしばらくやっていない私にとって、さっぱりと求め方がわかりません。（そもそもaとbは変数ではないから解けないのではないかと思うのですが） どうか偏微分の基本的なやり方だけでもいいので教えてください。 天文学のお話。日本ではどのように考えられていた？ OKWAVE コラム 回帰分析 最小二乗法の直線 質問ですが 最小二乗法の直線はどうして残差ｄの二乗和が最小になる直線なのですか？ 信頼区間がナントカ・・・みたいな？ 数学には詳しくないので簡単に教えてください。 最小2乗 (1) (x,y)=(-3,4),(-2,1),(-1,0),(0,-1),(1,1),(2,2),(3,3)を 方程式 y = ax^2 + bx + c で最小2乗法に当てはめたときの a,b,cを求める (2) 要素(x,y,z)=(1,3,2),(2,1,1),(3,2,4),(4,5,3),(5,4,5)が z = ax + by + p とモデル化されるとき、残差の2乗Σp^2 が 最小になるように定式化して、最小となるa,bを求める という問題です。 これらを行列を用いて解きたいのですが、どのようにすればよいか分かりません。よろしくお願いします。 最小二乗法について ｘは操作条件で、ｙは実験結果のプロットに対して、 最小二乗法でy=ax+bという回帰直線を引きました。 すると、aとbでは、aのほうが信頼性があるというのですが、 これはどういうことなのでしょうか？ ３次元での点群に対する最小二乗法での平面の算出について(点と平面の距離 ３次元での点群に対する最小二乗法での平面の算出について(点と平面の距離。残差ではない。) -- 点と平面のZ軸方向の距離(残差)の二乗和を最小とする場合には、 平面をax+by+c=zとして、Σ(ax+by+c-z)^2をa,b,cのそれぞれで偏微分して それを=0とした連立方程式を解くことで解を得ることが出来ました。 また、式の形も、ある点のxとyを平面の式へ代入した際の値と、点のz値の差分を見ており、 簡単に納得のできるものとなりました。 これに対して、点と平面の距離(空間的な最小距離)の二乗和を最小とする場合には、 どのような流れで計算すれば良いのでしょうか？ 点と平面の距離は|Ax+By+Cz+D| (A,B,Cは単位ベクトル)として求まりますが、 これをどう使うのかが分かりません。 Σ(Ax+By+Cz+D)^2をA,B,C,Dのそれぞれで偏微分して=0としても、 定数項が無いため、連立方程式の解がすべてゼロとなってしまいます。 強引に、Σ(A'x+B'y+C'z+1)^2として変形させて解いてみましたが、 得られたA',B',C'からA,B,C,Dに戻すと、Dがきちんと出ませんでした。(他についても怪しい。) こういった状況に迷い込んでしまい、どう考えるのが良いのか分からなくなってしまいました。 指南いただけませんでしょうか？ 最小二乗法 行列 現在以下のページを参考に最小二乗法の勉強をしています。 誤差の二乗ノルムを求めるときに、 || e || ^2 = e*e = (y-Ax)*(y-Ax) = (y*-x*A*)(y-Ax) = y*y - y*Ax -x*A*y + x*A*Ax (1) この次に = y*y - 2y*Ax + x*A*Ax と変形できるのはなぜなんでしょうか？ (1)の第３項目 x*A*y が第２項目と等しくなる過程が分かりません。 後、次の二乗ノルムを微分する過程も良くわかりません。 すみませんが、よろしくお願いします。 http://www.star.t.u-tokyo.ac.jp/~kaji/leastsquare/leastsquare_main.htm 円の最小二乗法の公式 いくつかのデータから最小二乗法で近似曲線を求めたいのですが、よくわかりません。そのデータ集の近似曲線は円になります。 最小二乗法を調べ、１次、２次関数についてはわかりました。ある点の座標を（x1,y1）, (x2,y2）…、近似曲線上の座標を(x1,y’1)，(x2,y’2)… とした時、 (y’1-y1)^2 + (y’2-y2)^2 … が最小となるような係数a,b などを偏微分 → 連立方程式で求めるという方法でした。 円についても、同様の方法で r^2 = (x-a)^2 + (y-b)^2 のような近似曲線の式が求められるのでしょうか？１次関数などのように、y’1-y1を求めようとすると、±√ が出てきてしまい、ややこしくなる気がしますが、これを解くしかないのでしょうか？もしくは別の解法があるのでしょうか？詳しく教えていただけたらと思います。よろしくお願いします。 最小二乗法 ニュートン法 ニュートン法で最小二乗法を使うとき、x+Δxを近似解として、テイラー展開して f(x+Δx)=f(x)+f’(x)Δx この式から新しい近似解を得ると思います。 この時のfは何の関数なのでしょうか？ 残差の二乗和でいいのでしょうか？ わかる方お願いします。 最小2乗法 ２つの変数x,yについて５つの標本点 (-2,1) (-1,-1) (0,0) (1,2) (2,2) が与えられたとする。最小2乗法を用いることでこれらの標本点にもっともあてはまるような直線y=ax+bを求めよ って問題なのですが友達との計算結果があわなくて・・・あとやり方もあんまり理解してないので教えてください 最小二乗法 こんばんは 最小二乗法についてなのですが Ｑ(a,b)=Σ｛Yi-(a+bXi)｝(Σの上にはn下には1)とおき、Ｑ(a,b)をaで微分したものとbで微分してそれぞれを =0としたときに a,bについての連立方程式を解くのですが 数学が苦手なのでさっぱりです Σが入った微分なんてやったことがないので・・・ どなたか助けてください お願いします 日本史の転換点？：赤穂浪士、池田屋事件、禁門の変に見る武士の忠義と正義 OKWAVE コラム ３次元の最小二乗法 A(x1,y1,z1)とB(x2,y2,z2)とC(x3,y3,z3)とD(x4,y4,z4)の点で 最小２乗法ほうを使い直線近似したいのですが、どのような式になりますかご存知の方教えていただけますか？ 多変数の最小二乗法 Y=AX+Bという形で(Y,X)の組から係数A,Bを推定する方法が最小二乗法かと思います。（そのような整理が妥当であるか、意味があるか、についてはデータの分布形状や変動係数などで別途検証する必要がありますがここでは不問として） さて、その次ですが、YY=AX+BY+CZという関数で表示しようと考えたとします。(YY,X,Y,Z)というデータ系列があり、係数(A,B,C)を求めるというような解析です。（前述のようにそれが妥当かどうかは不問として。）係数A,B,Cを最小二乗法のようにできるだけ妥当に求める方法を教えていただきたいのですが。 １）たとえば、YY=AX+CCとして最小二乗法でAを求めたあと、残差CCについてCC=BY+CZとおいて再度最小二乗法でBを求めるというような手法を何度も行うとか？ これだと解く順番に依存するようなので全部の順番でやって平均値を取るとか？ 下手な考え休むに似たりのようですが。 ２）カルマンフィルタ、ニューラルネットワークの手法で解析するということもあるでしょうか。その場合、YY=AX+BY+CZという枠組みではなくなりますが、それでもよいと言えばよいです。 このような問題を解く方法について解説されている本とか分野の名称（数理統計学とか？）などを教えて頂けると探索する手がかりとなります。今は手がかりすらはっきりしていないのです。 最小二乗法についてはその程度だったら専門分野ではなく、各分野で個別に解説されているようで込み入った問題になったときにどこを捜索したらよいかわからないもので質問しました。よろしくお願いします。 C/C++での最小二乗法について いつもお世話になっております。 初めての質問で不備があるかと思われますがよろしくお願いします。 現在Excelのソルバー機能で、測定した値とは別に 計算式f(x)で求めた推定値との残差二乗和（(測定値-推定値)^2の和）から 計算式f(x)の変数a,bを算出しています。（変数a,bの初期値は適当な値を設定） このソルバーでの最小二乗法の計算をc/c++にて実装するにはどのようにすれば良いのでしょうか。 （ソルバー機能では目的値を残差二乗和、変化対象を変数a,bとし、準ニュートン法より最小値を求めています。） 御教授よろしくお願いします。 最小二乗法について いくつか教えてほしいです。 min f(x)=||Ax-b||2・・・・(I) (1)||Ax-b||2ならわかるんですが||Ax-b||の上と下に2がつくのはどういったことでしょうか?? (2)（I)式を行列表現で表すと (A^T)Ax=(A^T)bとなりますが過程は <Ax,b><Ax,b> =<x,(A^T)Ax>-2<(A^T)b,x>+||b|となり最小化するので偏微分をし=0とおくのですが <A,x>の微分はAというのを用いれば-2<(A^T)b,x>の微分が2(A＾T)bとなるのはわかるんですが <x,(A^T)Ax>の微分が2(A^T)Axとなるのがわかりません。 内積の微分は講義ではやってないので独学になります。 教授に聞いたらx=(x1,x2) (A^T)Aを2×2｛｛a,b},{c,d}}とおいて実際に計算し微分すれば理解できるかもと言われ計算してみたのですがよくわかりませんでした。 どうかご教授お願いします。 最小二乗法における有効数字について 最小二乗法における有効数字について質問があります． 直線近似を行うとします．最小二乗法を用いるデータの有効数字を考慮して，最小二乗法により求められた直線の傾きa，切片b の有効数字が決まると思うのですが，どのようにこの有効数字を決定すれば良いのでしょうか？ 最小二乗法とデータのばらつきを除去 実験データに最小二乗法を適用して近似関数(y=ax+b)を求めたいです。 しかし，実験データにはばらついた値があり，得られた近似関数も それらの値によって，おおきくずれてしまいます。 そこで，何らかの方法でばらついた値を排除していき， 信頼できる近似関数を求めたいと思います。 聞いたところ，正規分布か何らかの方法で， 信頼区間(95%)以外のデータを除去すれば良いと のことですが，具体的な方法が分かりません。 実験データyi，xiと最小二乗法でy(=a*xi+b)から どのような処理をすればよいのか教えてください。 よろしくお願いします。 最小2乗法 最小2乗法はy=aX+bの形で現されると思うのですが、切片bってなんのためにあるのでしょうか？b=0にならない時はどういう場合か教えてください 最小二乗法について y=ax+b+c/x という式での最小二乗法の求め方を 教えてください。 注目のQ&A 「You」や「I」が入った曲といえば？ Part2 結婚について考えていない大学生の彼氏について 関東の方に聞きたいです 大阪万博について 駅の清涼飲料水自販機 不倫の慰謝料の請求について 新型コロナウイルスがもたらした功績について教えて 旧姓を使う理由。 回復メディアの保存方法 好きな人を諦める方法 小諸市（長野県）在住でスキーやスノボをする方の用具 カテゴリ 学問・教育 人文・社会科学 語学 自然科学 数学・算数 応用科学（農工医） 学校 受験・進学 留学 その他（学問・教育） カテゴリ一覧を見る OKWAVE コラム 突然のトラブル？プリンター・メール・LINE編 携帯料金を賢く見直す！格安SIMと端末選びのポイントは？ 友達って必要？友情って何だろう 大震災時の現実とは？私たちができる備え 「結婚相談所は恥ずかしい」は時代遅れ！負け組の誤解と出会いの掴み方 あなたにピッタリな商品が見つかる！ OKWAVE セレクト コスメ化粧品 化粧水・クレンジングなど 健康食品・サプリ コンブチャなど バス用品 入浴剤・アミノ酸シャンプーなど スマホアプリ マッチングアプリなど ヘアケア 白髪染めヘアカラーなど インターネット回線 プロバイダ、光回線など
