1次式の最小自乗法

質問

卒業研究で、パラメータの推定をしていて、最後に1次式の最小自乗法を使って推定しています。

切片の推定値は非常に良いのですが、
傾きの推定値が、何故かあまり良くありません。

これは、何故でしょうか？
アドバイスをお願いします。

回答No.2

noname#49645

可能性をいくつか。少し難しいかもしれませんが。
1. #1の方も指摘されていますが，多重共線性（「説明変数行列の逆行列が存在しない」ことと同値）の疑いは?　それぞれの説明変数の Variance Inflation Factor（VIF）をチェックできればしてみるとよいかもしれません。
2. Backward/Forward/Stepwise Regressionなどで変数選択をしてみては? 1次式にこだわる理由がなければ，2次の項や交差項を含めることも1つの方法でしょう（そんなに手間ではないと思います）。

いずれにせよ#1の方のおっしゃるとおり，「切片だけですべてを説明する状況になっていないか」を確認することがまず必要だと思います。あと切片の推定値が有意かどうかはあまり気にしなくていいと思います（分野によるのかもしれませんが）。

回答No.1

pupilage

これだけではよくわかりませんね。
数理的なことですか？
切片の推定値も傾きの推定値も同じ事で、切片は定数ベクトルに対する係数、傾きは説明変数ベクトルに対する係数です。
　切片がよい、という意味も分かりませんが、安定している、ということならば説明変数が特異になっている状況は考えづらいので、あまり良くない、ということはあなたの求めている結果に合致しない、ということでしょうか？
　まずは切片だけですべてを説明する状況になってないか調べた方がよいと思います。
　一変数ならプロットしてみて大体想像が付きますが、多変数の一次式回帰だとちょっとプロットは難しいですよね。説明変数行列に付いて調べてみることがまず第一だと思います。逆行列は取れますか？