線型回帰分析でy=αx+β+uとありますがαとβはどうやって求めるので

質問

線型回帰分析でy=αx+β+uとありますがαとβはどうやって求めるのでしょうか？

回答No.1

sanori

こんばんは。

データがｎ個あるとします。

ｋ番目のデータ（ｘk、ｙk）回帰直線からのずれ具合は、
ｕk　＝　ｙk　－　ａｘk　－　ｂ

二乗誤差は、
ｕk^2　＝　（ｙk　－　ａｘk　－　ｂ）^2
　＝　ｙk^2　＋　ａ^2ｘk^2　＋　ｂ^2　－　２ａｘkｙk　＋　２ａｂｘk　－　２ｂｙk

二乗誤差の合計Ｓは、
Ｓ　＝　Σ[k=1⇒n]ｕk^2
このＳを最小にするのが最小二乗法（回帰）です。

最小とは極小。極小とは極値。
つまり、Ｓを微分してゼロになれば、そのときのａ、ｂが回帰直線のａ、ｂです。

∂Ｓ／∂ａ　＝　Σ[k=1⇒n]（２ａｘk^2　－　２ｘkｙk　＋　２ｂｘk）
∂Ｓ／∂ｂ　＝　Σ[k=1⇒n]（２ｂ　＋　２ａｘk　－　２ｙk）

よって、連立方程式
Σ[k=1⇒n]（ａｘk^2　－　ｘkｙk　＋　ｂｘk）　＝　０
Σ[k=1⇒n]（ｂ　＋　ａｘk　－　ｙk）　＝　０
を解けば、ａとｂが求まります。