単回帰分析

質問

単回帰分析における回帰直線y=a+bxの係数a,bの導出方法を教えてください。

調べたところ、a=y~-bx~ , b=Σ(x-x~)(y-y~)/(x-x~)^2とあったのですが導出する方法がわかりませんでした。

y~=1/n*Σy , x~=1/nΣx

お願いします

回答No.1

anisakis · ベストアンサー

(x0,y0)(x1,y1)(x2,y2)....(xn,yn)
このとき2つのデータに関係があるなら
yi=a+bxi+εiと説明することができます
εは誤差です
εは正負の値をとる可能性があるため2乗をし正の値にまとめ、総和
Σ(εi)^2=Σ(yi-(a+bxi))^2をできるだけ小さくすれば
もっともらしいa,bが求まるわけです
あとはこの式をa,bでそれぞれ偏微分して=0とすれば
最適値a~,b~が求まるはずです
計算でつまったらどこでつまったか教えてください

お礼

回答ありがとうございます。

計算してみたところ

a=nΣxy-ΣxΣy / nΣx^2-(Σx)^2
b=Σx^2Σy-ΣxyΣx / nΣx^2-(Σx)^2

となりました。

a=y~-bx~ , b=Σ(x-x~)(y-y~)/(x-x~)^2
と少し違うようなのですが、変形する方法があるのでしょうか？

回答No.3

ramayana

追加情報ですが、回帰分析は、行列を使うと見通しが良くなります。

（回帰分析の行列表記）

単回帰の推計式は、y=a+bxと表されることもありますが、正確には、残差があるので、

[1]　　y=a+bx+u

と表されるべきものです。uは、残差です。

さらに、xとyは、それぞれn個の観測値x1、x2、…、xnとy1、y2、…、ynから構成されます。また、uは、n個の推計値u1、u2、…、unから構成されます。すなわち、これらの変数は、実際は、ベクトルなのです。そこで、このことをはっきり示すため、小文字のx、y、uの代わりに、大文字のX、Y、Uを使うことにします。Xは、x1、x2、…、xnを縦に並べたベクトル、Yは、y1、y2、…、ynを縦に並べたベクトル、Uは、u1、u2、…、unを縦に並べたベクトルです。また、定数項aに対する仮想の観測値として、1を縦にn個並べたベクトルを考えて、これをCとします。すると、推計式は、Y=aC+bX+Uとなります。

さらに、CとXを横に並べたn行2列の行列をMとして、aとbを縦に並べたベクトル（2行1列の行列）をAとします。すると、

[2]　　Y=MA+U

となります。これが、回帰分析の行列表記です。YとMが既知の観測値であり、Aが推計すべきパラメータです。また、MAは、Yの近似値です。

（パラメータの推計）

Uの要素の平方和u1^2+u2^2+…+un^2を最小にするのが、最小二乗法です。これを最小にするには、CとXで張られる平面にYから垂線を下ろして、その足をMAと定めればよいのです。言い換えれば、Uが、CとXの両方に直交するようにすればよいのです。ベクトルが直交するというのは、その内積が0ということです。したがって、M'U=0となるようにすればよいのです。なお、M'はMの転置行列です（行と列を入れ替えた行列）。

すると、U=Y-MAなので、M'U=M'Y-M'MA=0で、M'MA=M'Y。そこで両辺の左からM'Mの逆行列を乗じて、

[3]　　A=(M'M)^(-1)M'Y

です。これが、パラメータa、bの推計式です。この式で計算したaとbがご質問の∑を使った式と同じになることは、行列の演算をやってみれば確かめられます。

（行列表記のメリット）

行列演算になじみがないと、上の説明は分かりにくかったかもしれません。しかし、[3]式には、次のメリットがあります。

(1)　式が簡単なこと。
　　　[3]式を導出する過程は、1次方程式を解くのと変わらないほど簡単だったことに注意してください。また、エクセルなどで数値計算するときも、[3]式をそのまま行列演算のワークシート関数に翻訳すればよいので、わざわざ∑を使って展開する必要はありません。

(2)　多重回帰でも通用すること。
　　　Mの列数とAの行数を増やせば、[3]式は、そのまま多重回帰の推計式になります。

(3)　構造が見やすいこと。
　　　実際に回帰分析をするとき、aとbだけでなく、標準誤差、決定係数、t値、対数尤度、AIC基準といった指標が欲しいことがあります。[3]式を出発点にすれば、これらの計算式を簡単に導けます。

お礼

補足説明ありがとうございます。

行列表記にすることで見やすくしているんですね！

回答No.2

anisakis

計算の過程を書いてほしいんですけど
Σ(yi-(a+bxi))^2
この式をaで偏微分したら
-2Σ(yi-(a+bxi))=0　⇔　Σ(yi-(a+bxi))=0　⇔
Σyi -na -bΣxi =0 ⇔　y~-a-bx~=0 ⇔ a=y~-bx~

これをbで偏微分した式にaを代入してみていろいろいじってください
分散と共分散の公式
(1/n)Σx^2 - (x~)^2=(1/n)Σ(xi-x~)^2
(1/n)Σxiyi - x~y~ = (1/n)Σ(xi-x~)(yi-y~)

は知っていますか？

回答で(x0,y0)から始めてますが(x1,y1)からですねすみません

お礼

なんとかできました！
ありがとうございました。