主成分分析について

質問

主成分分析を行い、主成分ベクトルを求めるためには行列（共分散行列）の固有値問題を
解き、固有値・固有ベクトルを求めればよいですよね。そこで固有値行列（対角成分に固有値
λが並ぶ行列）の固有値の値から累積寄与率を求め適当な次元まで減らすということは
わかっています。そこで質問です。
例えば、元々100次元あるとします。固有値問題を解けば、100個の固有値が求まりますよね。
その固有値ひとつひとつに100個の成分を持つ固有ベクトルが存在しますよね。
これを50次元に減らすとします。元々100個固有値を持つ行列から、50個分を用いることになり
ますよね。ここで、次元が50になったので固有値と対応する固有ベクトルの成分の数も100から
50に減るのですか？減るとしたら、固有ベクトルの成分からどのように50個取り除けばよいかが
わかりません。どうか教えていただきたいと思います。

回答No.4

kamiyasiro · ベストアンサー

私は応用統計の学位があり，企業でSQCを推進する立場にある者です．

他の方の回答を見ていたら，求められる回答になっていませんでしたので，
私から回答します．

最初，主成分分析に使う変数は，100次元（100変数）あるとします．
それをスペクトル分解して，50変数あれば大方の説明が付くことが分かったので，
次の調査からは，コストダウンのために，調査する変数を減らしたい．
どのような基準で減らせばいいですか?　という質問ですね．

基準は2つあります．

(1)大きな固有値を持つ主成分軸（3～5くらいまで，あるいは累積寄与率を見て判断）の
固有ベクトルを見て，固有ベクトルの絶対値の小さいもの（それらの主成分に効いて
いないもの）を順に除去していく．

(2)小さな固有値（おしりの方）を持つ主成分軸の固有ベクトルを見て，
固有ベクトルの絶対値の大きいもの（これらの変数間には線形制約があって説明には
寄与していない）を順に除去していく．

それぞれの考え方は，

(1)はマハラノビス・タグチの変数選択方法に類似です．
重要な変数は残す！という考え方です．

(2)は，重回帰分析において，説明変数間に多重共線性が出ているときと同じで，
説明に寄与していないのだから，その変数は取り除いても良いという考えです．
ただし，変数間の共分散性は時に興味深い情報を含んでいますので，
残しておいた方が，なんらかの変化があったときに反応することが考えられます．

私は，(1)を推奨します．

回答No.3

hrsmmhr

100個の変数からなる50個の１次式を新たな変数とみなせばよいのです。
(a_ij)^T 1<=i<=50を固有ベクトル、{x_j} 1<=j<=100を分析する変数として
{X_i=Σa_ij*x_j}
を新たな変数とみなします

データのばらつきがそのX_iの軸上に大きくばらけるので、ばらついた状態が分かりやすくなります

固有ベクトルの次数は減りません
たまたまそのベクトルの係数のいくつかが０（もしくは０近く）になる場合だけ減ったように見えますが

回答No.2

alice_44

ベクトルの数を100から50に減らしても、
各ベクトルは100次元のままです。
「成分」と「成分」がゴッチャになっていませんか？

回答No.1

noname2011430

主成分分析は重要なものを知りたいので、固有値の小さいものから減らしていけばいいです。