統計ベースの問題

質問

いつもありがたく質問させて頂いております。
http://www.i.u-tokyo.ac.jp/edu/course/m-i/pdf/2002imim.pdf
の問題4の問2についてなのですが、^Tで転置を表すとすると、r_iから直線へ下ろした垂線の2乗距離d_i^2は
d_i^2=|r_i-r_0|^2-({(r_i-r_0)^T}a)^2
なので、
ε^2=(1/n)Σ[i=0→n]d_i^2
を最小にする直線はラグランジュの未定乗数をλとすると、
J=ε^2+λ{(a^T)a-1}
と、定式化できる。
∂J/∂λ=(a^T)a-1=0
|a|^2=1　　　　　　　--------------------(1)
∂J/∂r_0=-2*(1/n)Σ[i=0→n](r_i-r_0)+2*(1/n)Σ[i=0→n]{(r_i-r_0)^T}aa=0
平均をμと置くと、
μ-r_0={(μ-r_0)^T}aa
　　　=(a^T)(μ-r_0)a
　　　=a(a^T)(μ-r_0)
(a^T)(μ-r_0)=(a^T)a(a^T)(μ-r_0)
式(1)より、aの絶対値は1なので、
(a^T)(μ-r_0)=(a^T)(μ-r_0)　　　　　　　　--------------------(2)
となってしまう。
∂J/∂a=-2*(1/n)Σ[i=0→n]{(r_i-r_0)^T}a(r_i-r_0)+2λa=0
λa=(1/n)Σ[i=0→n]{(r_i-r_0)^T}a(r_i-r_0)
　 =(1/n)Σ[i=0→n](r_i-r_0){(r_i-r_0)^T}a　　　　　--------------(3)

ここまでは出来たので、後は、r(t)=at+r_0は、式(1)、式(2)、式(3)をr_0が平均ベクトルμとなることを示せないかと思ったのですが、どうにもうまくいきません。

いったい、どのようにすればいいのでしょうか？

また、個人的には、最終的に式(2)は、両辺が全く同じというちょっと怪しい形になってしまっているので、その辺で何かおかしなことをやっているのかなとか思うのですがこの計算は問題無いでしょうか？。

回答No.2

noname#227064 · ベストアンサー

> μ-r_0={(μ-r_0)^T}aa
> 　　　=(a^T)(μ-r_0)a
> 　　　=a(a^T)(μ-r_0)

から、μ-r_0が0ベクトルか、固有値1に対応する固有ベクトルであることがわかります。
μ-r_0 = 0ならばμ = r_0です。
μ-r_0 ≠ 0ならば、aもa(a^a)の固有値1に対応する固有ベクトルであることから、
μ-r_0 = ka (k ≠ 0)
という関係が成り立ち、近似直線がμを通ることが示されます。

式(3)は、
λa = (1/n)Σ[i=0→n](r_i-μ){(r_i-μ)^T}a + (μ-r_0){(μ-r_0)^T}a
と変形できることから、aが分散共分散行列の固有ベクトルであることがわかります。

お礼

そうか、
μ-r_0=a(a^T)(μ-r_0)
は、μ-r_0はμ-r_0≠0なら、a(a^T)の固有値1に対する固有ベクトルとなってますね。
ただ、
a=(a^T)aa=a(a^T)a
から、aがa(a^T)の固有値1に対する固有ベクトルの一つというのは分かるのですが、
[1 0]
[0 1]
のような、行列の固有値と固有ベクトルを考えた場合、
この行列の固有値は1、固有ベクトルは、[1 0]^T,[0 1]^Tとなり、
[1 0]^T≠k[0 1]^T　　(k≠0)
となってしまうので、固有値が一致しても、その固有ベクトルの定数倍が、任意の固有ベクトルに一致しない場合もあると思うのですが、何故、
μ-r_0 = ka (k ≠ 0)
という風に言えるのでしょうか？

補足

v=(v_1,v_2,....,v_n)というn次元ベクトルとすると、
v(v^T)の一行目は、(v_1)v^T、二行目は、(v_2)v^Tのようになり、それぞれの行は、v^Tの定数倍となるから、この行列の行列式は0となるので、aa^Tの固有値は0と1になっていると言えるようですね。

どうも有り難うございました。

回答No.1

piro2dog

式(1)と式(3)を連立させることでa=(ax,ay)とλが求まります．
題意は，求まったaがCの固有ベクトルと等しいことを示しなさいということなので，改めてCの固有ベクトルを求めて，上記aと等しいことを確認すれば良いのだと思います．

ちなみに，式(2)は意味のない計算なのでは？

補足

解答有り難うございます。

式3において
C'=(1/n)Σ[i=0→n](r_i-r_0){(r_i-r_0)^T}
と置くと、
λa=C'a
なので、λとaは、それぞれ、C'の固有値と固有ベクトルとなっています
ここで、r_0=μなら、C'=Cとなるので、題意を満たすのは明らかといえるのですが、r_0をμとしても問題ないことをどのように示せばいいのかがわからないのです。

どのように、r_0=μとしても問題ないことを示せばいいでしょうか？
ヒントになりそうなことでもいいのでよろしくお願いします。