最小二乗法/共分散

質問

Y_i =α+βX_i + ε_i　・・・母集団回帰関数
Y（ハット）_i＝a+bX_i ・・・標本回帰関数

bをβの推定値、εを攪乱項とする。
このとき、cov(b,ε（バー））=0となることを証明せよという問題です
（※ただしε（バー）=Σ(i=1～n)(ε_i/n) とする）。
この問題の解き方を教えていただけないでしょうか。
加えて、ε（バー）というのはE(ε)と同じことなのでしょうか（古典的モデルだとE(ε)=0と仮定されるようなので）

回答No.2

noname#227064 · ベストアンサー

> ε（バー）は但し書きにあるように攪乱項の平均

は「攪乱項の単なる算術平均」と書いた方が良かったかな？

例えば、サイコロをn回振って出る目をX_i(i=1,2,...,n)とします。
X_iの期待値は
E[X_i] = (1+2+3+4+5+6)/6 = 3.5
ですが、全てのiについて
X_i = 1
となることもあるので、
ΣX_i/nは期待値と一致するとは限りません。

母平均 = 期待値
ですが
標本平均 ≠ 期待値
ということです。

さて、ご質問の解き方の方ですが、

Sxx = Σ(X_i-ΣX_i/n)^2

とおくと

b = Σ(X_i-ΣX_i/n)(Y_i-ΣY_i/n)/Sxx
= Σ(X_i-ΣX_i/n){α+βX_i+ε_i-Σ(α+βX_i+ε_i)/n}/Sxx
= Σ(X_i-ΣX_i/n){β(X_i-ΣX_i/n)+ε_i-Σε_i/n}/Sxx
= β+Σ(X_i-ΣX_i/n)(ε_i-Σε_i/n)/Sxx

であることから、

E[b] = E[β+Σ(X_i-ΣX_i/n)(ε_i-Σε_i/n)/Sxx]
= β+Σ(X_i-ΣX_i/n)E(ε_i-Σε_i/n]/Sxx
= β

です。
従って、

cov(b,ε（バー））= E[(b-β)(Σε_i/n-E[Σε_i/n])/n]
= E[(b-β)(Σε_i/n)/n]
= E[(b-β)(Σε_i)]/n^2
= E[(Σ(X_i-ΣX_i/n)(ε_i-Σε_i/n)/Sxx)(Σε_i)]/n^2
= Σ(X_i-ΣX_i/n)E[(ε_i-Σε_i/n)(Σε_i)]/(Sxx n^2)
= Σ(X_i-ΣX_i/n){E[ε_iΣε_i]-E[(Σε_i)^2]/n}/(Sxx n^2)

となりますが、ここで、#1に記載した仮定がされているとします。
すると、

E[ε_iΣε_i] = E[ε_iε_1+ε_iε_2+...ε_i^2+...+ε_iε_n)]
E[ε_iε_1]+E[ε_iε_2]+...E[ε_i^2]+...+E[ε_iε_n]
= σ^2

E[(Σε_i)^2]
= E[ε_1^2+ε_1ε_2+...+ε_1ε_i+...+ε_1ε_n
+ε_2ε_1^2+ε_2ε_2+...+ε_2ε_i+...+ε_2ε_n
+...+
+ε_iε_1+ε_iε_2+...+ε_i^2+...+ε_iε_n
+...+
+ε_nε_1+ε_nε_2+...+ε_nε_i+...+ε_n^2]
= nσ^2

であるので、

cov(b,ε（バー））= Σ(X_i-ΣX_i/n){E[ε_iΣε_i]-E[(Σε_i)^2]/n}/(Sxx n^2)
= Σ(X_i-ΣX_i/n){σ^2-nσ^2/n}/(Sxx n^2)
= 0

が示されます。

お礼

解き方まで詳しく教えていただきありがとうございました。
サイコロの例えはとてもわかりやすかったです。

回答No.1

noname#227064

> ε（バー）というのはE(ε)と同じことなのでしょうか

いいえ。
ε（バー）は但し書きにあるように攪乱項の平均、E(ε)は攪乱項の期待値で別物です。

> 古典的モデルだとE(ε)=0と仮定

明示はされていないようですが
E[ε_i] = 0
E[ε_iε_j] = σ^2 （i=jのとき）
　　　　　　0 （i≠jのとき）
と仮定しているのでしょう。

問題自体は定義通りに計算すれば良いだけですが、どこで躓いているのでしょうか？

補足

返答が遅くなり申し訳ありません。
回答ありがとうございます。
平均値と期待値がごちゃごちゃになっているようです。一般的にいって平均と期待値が異なることがあるのは知っていますが、この場合は具体的にどう違うのか教えていただけないでしょうか。
恐らくかなり初歩的な部分なのだと思いますが、教えていただけないでしょうか。