回帰分析 最小二乗法の直線

質問

質問ですが
最小二乗法の直線はどうして残差ｄの二乗和が最小になる直線なのですか？　信頼区間がナントカ・・・みたいな？

数学には詳しくないので簡単に教えてください。

回答No.3

sanori · ベストアンサー

こんばんは。

＞＞＞最小二乗法の直線はどうして残差ｄの二乗和が最小になる直線なのですか？

それは「日本国籍の人は、なぜ日本人なのですか？」と同様の質問です。
残差ｄの二乗和を最小にすることを最小二乗法と呼びます。

＞＞＞信頼区間がナントカ・・・みたいな？

よく知りませんが、とにかく、最小二乗法を行う上では何も関係ありません。

＞＞＞数学には詳しくないので簡単に教えてください。

一言で言えば、
ｙ＝ａｘ＋ｂ　にデータを当てはめて、
残差　＝　ａｘn　＋　ｂ　－　ｙn
として、両辺を2乗して、それを全データについて足して、
ａやｂで偏微分（微分の一種）を行って、
偏微分の結果がゼロ（極小、つまり、最小二乗）
となるように、ａ、ｂを決めるということです。

以下は、お暇でしたら読んでください。
----------------------------------------------------
ＸＹデータがｎ個あるとします。
（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）、・・・、（ｘn-1，ｙn-1）、（ｘn，ｙn）

上記を、ｙ＝ａｘ＋ｂ　すなわち、０＝ａｘ＋ｂ－ｙ　に当てはめるとします。
1個目のデータの残差　ε1　は、
ε1　＝　ａｘ1＋ｂ－ｙ1
2個目のデータの残差　ε2　は、
ε2　＝　ａｘ2＋ｂ－ｙ2
・・・
n個目のデータの残差　ε2　は、
εn　＝　ａｘn＋ｂ－ｙn

各々両辺を2乗して、
ε1^2　＝　（ａｘ1＋ｂ－ｙ1）^2
ε2^2　＝　（ａｘ2＋ｂ－ｙ2）^2
・・・
εn^2　＝　（ａｘn＋ｂ－ｙn）^2

左辺同士、右辺同士を、上から下まで全部足して、
Σ[k=1→n]εk　＝　Σ[k=1→n]（ａｘk＋ｂ－ｙk）^2

ここで、右辺を偏微分します。
ｘk、ｙk　はデータ、すなわち定数。
逆に、ａ、ｂが未知数です。
ａで偏微分したもの　＝　０
ｂで偏微分したもの　＝　０
という条件から、ａ、ｂが求まります。

ご参考になりましたら。

お礼

ありがとうございます！

回答No.2

noname#227064

一言で言えば、ある条件下では、最小二乗法によるパラメータの推定が最もバラツキが小さく偏りのない方法だからです。
（ガウス・マルコフの定理　http://ja.wikipedia.org/wiki/%E3%82%AC%E3%82%A6%E3%82%B9%EF%BC%9D%E3%83%9E%E3%83%AB%E3%82%B3%E3%83%95%E3%81%AE%E5%AE%9A%E7%90%86）

残差の絶対値の和だと絶対値というのが扱いにくいですし、残差の３乗や４乗の和では計算が面倒です。

お礼

ありがとうございます！

回答No.1

ymmasayan

>　最小二乗法の直線はどうして残差ｄの二乗和が最小になる直線なのですか？
というより、残差ｄの二乗和が最小になるようにａ，ｂを決めるのです。
ａ，ｂを２変数として連立偏微分方程式を立てこれら(偏微分方程式）がいずれも０になるようにａ，ｂを決めます。

お礼

ありがとうございます！