推定値の期待値と分散

質問

推定値の期待値と分散

単回帰モデルy=β1xi+ε　ε～N(0、σ2）で最小2乗法によりβ1の推定値が(Σxiyi)/Σ(xiの2乗）となったのですが、この時のβ1の推定値の期待値と分散を出す問題が出されたのですがどのようにして解けばいいかわかりますか？

回答No.2

kamiyasiro · ベストアンサー

原点を通る回帰式であるにもかかわらず，等分散仮定で単回帰した式ですね．
通常は原点を通る回帰式は，ε～N（0,（xσ）^2）というように，変動係数一定の仮定を設けますが，
あくまで等分散仮定でいいのですね．

こんな問題を出すのは早稲田の永田先生でしょうか，試験がCだった時のレポートだったりして・・・

それでは，どのようにして解けばよいか，式の途中は示しませんが，ポイントを示します．
式の展開は自分でやって下さい．

yi＝β1xi＋ei　ですよね．

[1]　β1の推定値b^（ハット）の期待値

b^＝E［Σxiyi／Σxi^2］　に上の関係を入れてyiを消去します．すると，
b^＝E［β1Σxi^2／Σxi^2＋Σxiei／Σxi^2］

ここで，Σei＝nΣei／n＝0なので
（つまり，Σeiをnで割るとeiの平均ですが，それは冒頭で0だと仮定しています）

∴b^＝β1

[2]　b^の分散V（b^）を求める

V（b^）＝E［（b^－E（b^））^2］
＝E［（b^－β1）^2］　ここに[1]の途中経過の式を代入し，b^を消去します．
＝E［（β1Σxi^2／Σxi^2＋Σxiei／Σxi^2－β1）^2］
＝E［（Σxiei／Σxi^2）^2］　ここの展開はΣaibi＝Σ（aibi）^2＋ΣΣaibiajbj という公式が必要
＝E［（Σxi^2ei^2＋ΣΣxixjeiej）］／（Σxi^2）^2

ここで，暗に誤差どおしは無相関という仮定があるから，Cov（ei，ej）＝0
Cov（ei，ej）
＝E［（eiーE（ei））（ej－E（ej））］　前出どおり誤差の期待値は0だからE（ei）＝E（ej）＝0
＝E［eiej］＝0　これで，2項目が消えます．

よって，

V（b^）＝E（ei^2）／Σxi^2　　E（ei^2）は冒頭でσ^2だと仮定しています　
＝σ^2／Σxi^2

蛇足ですが，変動係数一定の場合は，V（b^）＝σ^2　になります．
こちらが出題されることもあります．

回答No.4

kamiyasiro

#2です．たびたびスミマセンが訂正です．

b^＝E［Σxiyi／Σxi^2］　に上の関係を入れてyiを消去します．すると，
b^＝E［β1Σxi^2／Σxi^2＋Σxiei／Σxi^2］

↓

E（b^）＝E［Σxiyi／Σxi^2］　に上の関係を入れてyiを消去します．すると，
E（b^）＝E［β1Σxi^2／Σxi^2＋Σxiei／Σxi^2］

早朝，寝起きに書いたもんで・・・間違いが多くてスミマセン．
よく咀嚼してレポートにして下さい．

ポイントは，eiがらみの期待値＝0を使うこと．
展開の公式くらいでしょうか．

回答No.3

kamiyasiro

#2です．訂正があります．

Σaibi＝Σ（aibi）^2＋ΣΣaibiajbj という公式が必要

　　↓

（Σaibi）^2＝Σ（aibi）^2＋ΣΣaibiajbj という公式が必要

回答No.1

Anti-Giants

yiってなんですか？
ハッキリと登場する数式の定義を書いてください。