主成分（回帰）分析について

質問

主成分（回帰）分析ではオーバーフィッティングの問題が無いと言われますが、オーバーフィッティングとは、何の事なのですか？教えて下さい。

回答No.1

yakumon · ベストアンサー

私の認識では

ある一定期間やある一定範囲（ミクロ）のデータを使って全体的（マクロ）な特徴を捕らえようとするとき

そのミクロな世界の特徴に過剰に合致（フィット）しすぎてマクロな世界の特徴を表すものではなくなってしまうことをオーバーフィッティングと呼びます。

例えば１週間の株価データから１年後の株価を予測するとき、この１週間が右肩上がりだったら１年後の予想は非常に高くなり、あてにならなくなります。
こういう問題のことをオーバーフィッティング問題と呼んだと思います。

回答No.2

kikero

yakumonさんの答えで良いのですが、更に。
　集めたデータ群の説明変数と従属変数間の相関関係を求めるのに、余り細かく合致させ過ぎると、それ以外のデータを持って来た時に当てはまらなくなる事です。
　Over-Fitting（過剰適合、合わせ過ぎ）
　PLS(Partial-Least-Square）法などでLV（Latant-Variable潜在変数）を取り過ぎると起こる誤りです。
　Over-Fittingの懸念の少ない、何時でも何処でも良く適合する様な相関式の事を、Robust（堅牢）な相関と言ったりします。