重回帰分析の解釈について

質問

ＳＰＳＳを使って統計をしています。
当方特に統計の専門ではありません。

ＱＯＬに関しての質問紙を使用して導き出される
スコアがありこれを従属変数とし、5つほどの独立変数があります。

ＳＰＳＳの結果として分散分析のp値をみると<0.05ですが
係数の有意確率をみるとp=0.206 0.945 0.033 0.041 0.048となっていて、3,4,5番目の係数は使えそうで1,2番目は使えそうもないと判断した場合、其れをはずして検定すべきですか？そう書いてある本がありますが、その二つを外して検定をし直すと、p値が上がってしまう変数がありそれを続けていくと結局何も残らなくなってしまうのです。
それとその5つの変数は常識的に考えて上昇すれば従属変数の値は下がるはずなのに、係数がプラスとでてしまう変数があります。これはどのように解釈したらよいのでしょうか。
非常に困っています。宜しくお願いいたします。

回答No.3

kgu-2 · ベストアンサー

>p値が低くてもあまり意味ないんですかね
統計学は、『魔法の小箱』のように扱われています。そのキーは、有意差の有無ですが、有意差から言えるのは、偶然ではない、ということだけです。
　現実の社会では、意味がない場合もあります。

　たとえば、１０人ずつ調べて、A群は60.0±0.01、B群は61±0.01なら、有意差はあるでしょう。しかし、この単位が円だったら、誰も気にしません。これが億になると話は違うかもしれまません。kgだと、『１kg違う』とそのダイエット法を実行する人も。私は、６０kgなんぞをはるかにオーバーしているので、いまさら1kgを気にせず、美味しいものを食べています。

　重回帰分析では、今では簡単に計算できるので、とにかく何でも説明変数にブチ込んで、あとから屁理屈をこるる傾向を感じます。説明変数で、何が一番重要か、その順番を考える。次に、その相互関係(多重共線性)が無いことを確認して、説明変数を増やして、rの絶対値を1に近づける、のが正論だと考えています。

　多重共線性の問題は、厄介で、「相関を調べよ」の記述はあっても、その判断基準を見たことがありません。ですから、その問題を指摘できても、回避する具体策を誰も教えてくれません。

　単回帰分析では、直線回帰より、指数回帰をしている場合が少なくありません。指数回帰をしている場合は、指数に変換したものを説明変数にしないと、変な結果が出る場合もあります。
　スコアの場合は、順番だけが正しい順序尺度。１円持っている人を５人集めれば、５円になります。しかし、スコアだと、1の人を５人集めても５にはなりません。返還が必要なのにしていない、それで変な結果になったことも考えられます。これを避けるには、順序尺度ではなく、間隔尺度になるように工夫する必要があるのかもしれません。

回答No.4

backs

まずはモデル選択について調べた方がよいかもしれません。

それを前提としていくつか助言を。

線形モデルを当てはめるのが良いのか、それとも非線形モデルを当てはめるのが良いのかは最初に複雑なモデルを当てはめて解析してみることです。基本は最も複雑なモデルを解析し、最も単純なモデルを作成するということです。仮に従属変数Yと独立変数X1, X2があるのだとすれば、

　　　Y = X1 + X2 + X1*X2 + X1^2 + X2^2

というモデルを解析してみれば、非線形の関係があるかどうか分かるでしょう（2次の項が有意でなければ曲線関係があるとはいえない）。続いて、有意でないものを削除していく・・・　というのがいわゆる変数減少法というやつです。

基本的に独立変数の数が3つ以上になると、その扱いはかなり複雑になるということを気に留めておくとよいでしょうね。

モデル選択について書かれている本：

間瀬ほか「工学のためのデータサイエンス入門」数理工学社
菅民郎「初心者がらくらく読める多変量解析の実践（上）」現代数学社
野間口・菊池「統計学：Rを用いた入門書」共立出版

回答No.2

kagu_march

少し気になったのですが、従属変数は「スコア」と書かれています。

スコアについてもう少し詳しく教えて頂けませんか。
もし、「1点、2点、・・・、5点」のように整数しかとらなかったり、
取る値の範囲が決まっていたりする場合、単純に線形回帰をするべき
でない事もありますので。

前の方が「多重共線性」と回答されていますが、これが発生しているか否かを判断する一番簡単な方法は、独立変数同士の相関を見る事です。

補足

ありがとうございます。
スコアは１００点満点で小数点２位まであります。
この場合は線形回帰するべきではないでしょうか。

回答No.1

kgu-2

>其れをはずして検定すべきですか？そう書いてある本がありますが、
検定の必要があるなら、当然でしょうね。

>p値が上がってしまう変数があり
説明変数の数を増やせば増やすほど、曖昧な部分が減るので、p値は小さくなるはず。ですから、説明変数の数を減らせば、p値が下がるのは当然。

>従属変数の値は下がるはずなのに、係数がプラスとでてしまう変数
意味不明。従属変数の値ではなく、回帰式の係数でしょうか。それだとおそらく、多重共線性の問題だと想います。これは、私も用語を知っているだけです。これにぶち当たって、重回帰分析は、やらないようにしています。

　回帰分析は、単なる予想と、と解釈しています。p値よりも相関係数rを、私なら重視しますが。

補足

わかりづらくて申し訳ございません。
独立変数が上昇すれば従属変数は上昇する関係が予想されるモデルで回帰式の係数がマイナスなのはどうなんでしょうという質問でした。
おっしゃる通りの問題だと思います。後で色々読んだらそのことだと思いました。
寄与率が高くなければp値が低くてもあまり意味ないんですかね。そんな感じで理解できました。