重回帰分析の回帰係数について

質問

重回帰モデル：Y = X b + ε の回帰係数の導出について調べているのですが，本やサイトによって，次の2通りの表現があります。
　b = (X'・X)^(-1)・X'・Y (I)
　b = Cxx^(-1)・Cxy (II)
ただし，'は転置，^(-1)は逆行列，・は積を表しています。また，CxxはXの分散共分散行列，CxyはXとYの共分散ベクトルです。

どうして(I)と(II)の表現はイコールになるのでしょうか？教えて頂ければ幸いです。

回答No.1

echoes_x86 · ベストアンサー

簡単のために
n個の入力x_i, (i=1,...,n)がn+1個のパラメターb_i, (i=0,...n)で変換されるものとします．
y = b_0 + Σb_i*x_i
ただし，Σは(i=1,...,n)の総和演算です．j番目の観測量をy_jと書き，
y_jなる出力を生じるはずの入力をx_ijと書くとき，
y_j = b_0 + Σb_i*x_ij + e_j
が成立します．ここで，e_jはxとbで説明できない観測誤差です．
m個の観測量y_j, (j=1,...,m)からbの最小二乗の意味で最適な推定を行うには
y_jを縦に詰んだm*1ベクタY，
X =
[1 x_11 x_21 ... x_n1]
[1 x_12 x_22 ... x_n2]
[: : : ... : ]
[1 x_1m x_2m ... x_nm]
なるm*(n+1)行列X，
B = [b_0 b_1 ... b_n]'
なるn*1ベクタを用いて，
以下のm*1誤差ベクタのノルムの最小化問題を解けば良い事になります．
|| X*B - Y ||^2 -> min
この問題の解はXの列空間にBを直交射影したものをXの行空間に戻すことで得られます．
すなわち，以下の正規方程式の解です．
X'*X*B = X'*Y
m>nでXが列フルランク，等価的にX'*Xが正則であれば，解は
B = (X'*X)^(-1)*X'*Y
と書けます(上の表現)．

下の表現に関しては参考URLをご覧下さい．

参考URL：

http://case.f7.ems.okayama-u.ac.jp/statedu/hbw2-book/node4.html