偏相関から偏回帰係数を導出する

質問

Yを応答とし，X1,X2,...,Xpを説明変数とします。
それぞれの変数の平均と分散をそれぞれmy,m1,m2,...,mp; vy,v1,v2,...,vpとします。
説明変数間の相関をrij(i,j=1,...,p)とします。
また，YとXi(i=1,...,p)の偏相関をqi(i=1,...,p)とします。

上記の条件の下，応答と説明変数が下記の構造で表せるとします：
Y=b1 X1+b2 X2+,...,bp Xp+e
ここに，e~N(0,sigma^2)であるとします。

このとき，偏回帰係数bi(i=1,...,p)を他のパラメータで表現できますでしょうか。
あるいは，この議論が載っている参考文献をご存知でしたらご教示ください。

よろしくお願いいたします。

回答No.1

stomachman · ベストアンサー

平均や分散で議論なさってますが、その元になる個々のサンプルを考えれば話が明快になりますんで、XjとYのk番目のサンプルをそれぞれX[k,j], Y[k] (k=1,2,…,N)としましょう。
　さて、

> 応答と説明変数が下記の構造で表せる

という曖昧な文言が一体どういう意味なのか、がポイントです。
　もしそれが、「bは最小二乗法の意味での解である」つまり「残差e[k]の二乗和Eが最小になるようなb」ということであるなら
　　f(b)[k] = Σ{j=1～p}(X[k,j]b_j)
とおくと
　　e[k] = Y[k] - f(b)[k]
　　E = Σ{k=1～N}(e[k])^2
であり、Eを最小にするb_j (j=1～p)は、連立方程式
　　∂E/∂b[i] = 0 　　(i=1～p)
を解けば得られます。これは（実際に微分してみれば分かる通り）
　　Σ{j=1～p} ((Σ{k=1～N}(X[k,i]X[k,j])) b_j ) = Σ{k=1～N}(X[i,k]Y[k]) 　　 (i=1～p)
という連立方程式です。行列で書くなら
　　A b = c
ここに Aはp×pの正方対称行列、bとcはp次元の縦ベクトルで、
　　A[i,j] = Σ{k=1～N}(X[k,i]X[k,j])
　　b[i] = b_i
　　c[i] = Σ{k=1～N}(X[k,i]Y[k])
であり、これを「線形最小二乗法の正規方程式」と言います。その解はもちろん
　　b = (A^(-1)) c
です。

　以上の準備をした上で、さらに相関rijおよびqiをサンプルから計算する方法を具体的な式として書いてみれば、Σ{k=1～N}(X[k,i]X[k,j]) とrij、Σ{k=1～N}(X[i,k]Y[k])とqiが対応しているということが直ちにお分かりになるでしょう。たとえば
　　 Σ{k=1～N}((X[k,i]-mi)(X[k,j])-mj)) = A[i,j] - (N mi mj)
ですから、rijからA[i,j]が計算できる訳です。

お礼

御礼が遅くなり申し訳ありません。ご丁寧にありがとうございました。
ご教示いただきましたことをもとに勉強を進めたいと思います。
ありがとうございました。