回帰分析の検定？

質問

こちらのカテゴリーで質問してよいのか、わかりませんが、
似た質問がこちらに多くあるので、質問させていただきます。

現在、回帰分析について勉強しています。
いろいろな本で勉強していますが、検定の方法がいくつも
説明されているものがあり、普通に回帰分析をやった場合は
どの検定をするのが普通なのでしょうか？

傾き＝０でないことを検定することが普通ですか？

変な質問で申し訳ありませんが、どうぞよろしくお願いいたします。

回答No.4

井口 豊（@Iguchi_Y）

補足です。

回答NO1に
＞相関係数というのは、言ってみれば、（上記と矛盾するようですが）４５°または－４５°という角度がどれだけ正しいか、というような指標です。

これも全然間違いです。

例えば，以下のようなデータを調べてください。

x　y
1　1
2　1.1
3　1.3
4　1.4
5　1.5

回帰直線は
y = 0.13x + 0.87

と４５°とは全く異なりますが，

相関係数は
r＝0.99
と非常に高くなります。

つまり，相関係数は，両変数が，いかに直線に近く表されるか，を示し，
角度とは関係ありません。

回答No.3

井口 豊（@Iguchi_Y）

回帰分析を使用する立場から。

回答No1は，全く間違いです。

＞回帰の「本質」と言うのは、実は、
＞「データをもとに、傾きが４５°または　－４５°の直線をつくる」
＞ということなのです。

全然違います。

例えば，
y = ax + b
という回帰直線に対し，

a やｂが0でないか，どうか検定するのです。

EXCELを使った例が
http://www.aoni.waseda.jp/abek/document/regression-1.html
にありますので参考にして下さい。

だから
＞ですから、あなたが言われる「傾き＝０」という回帰結果はありえないのです。
は，全く間違いです。

上記サイトにも
係数の欄のt値，p値は推定された「係数が0である」という帰無仮説を検定したもの
と書いてあるとおりです。

私は，ホタルの発光周期に気温が与える影響を回帰分析したことがあります。
The Influence of Temperature on Flash Interval in the Genji-firefly Luciola cruciata (Coleoptera: Lampyridae)

そこでは，傾きが0かどうか，つまり，気温が変化しても，周期が変化しないか調べ，0でないとの結論を出しています。
つまり，直線を微分したときの
ｄｙ/ｄｘ= a
が0でない，と結論したわけです。

しかも傾きは，-0.2（約－10度）くらいです。

むしろ質問者の考えが正しい。

上記論文では，2地点の回帰直線を比較しています。

まず，傾きが有意に０でないことから，発光周期の温度依存性を示し，
両回帰の傾きに差がないこと
さらに，高さ（y切片）に差がないこと
を順に示してます。

こんなことをやるのが回帰分析です。

回答No.2

sanori

＞＞＞回帰分析では母集団に対して検定を行わないのでしょうか？

私は最小二乗法については「検定」という概念は知りません。
普通は、検定といえば、「両集団が重なる確率・・・％の危険度」で考えると思います。

＞＞＞また、この検定を行う以外に、回帰式の？有意性？を検定する方法があるのですが、
＞＞＞こちらも普通に行うものなんでしょうか。

それが、前回述べた相関係数ｒのことです。

回答No.1

sanori

こんにちは。

回帰分析（最小二乗法）というものを活用している人はとてもたくさんいますが、その「本質」を知らない人が非常に多いです。

回帰の「本質」と言うのは、実は、
「データをもとに、傾きが４５°または　－４５°の直線をつくる」
ということなのです。

ですから、あなたが言われる「傾き＝０」という回帰結果はありえないのです。

「検定」という言葉が適切なのかどうかわかりませんが、
それに相当する指標は、２つあります。
一つは相関係数、もう一つは標準偏差です。

相関係数というのは、言ってみれば、（上記と矛盾するようですが）４５°または－４５°という角度がどれだけ正しいか、というような指標です。
標準偏差は、直線の上下にどれだけデータが外れているかを表す指標です。

通常は、相関係数（ｒ）だけ気にすればよいです。
４５°の場合は、０＜ｒ＜１　で、－４５°の場合は　－１＜ｒ＜０　です。
ｒの絶対値が１に近いほど相関が強く、０に近いほど相関が弱いということです。
よく統計や品質管理の本には、ｒの絶対値が０．９以上もないと相関があるとは言えない、みたいなことが書かれていますが、私の仕事での経験では、０．７でも大きな意味があり、０．５～０．６でも相当の意味を持ったことがあります。

お礼

ご回答ありがとうございます。

データによっては母集団で無相関があるかもしれないということで
検定を行うのかなぁと考えています。
母集団は実際、測定できるものではないと思うので。
悪魔でも標本から推定しているにすぎないため、検定を行う必要が
あるのではないかと思いますが、回帰分析では母集団に対して
検定を行わないのでしょうか？

また、この検定を行う以外に、回帰式の？有意性？を検定する方法があるのですが、
こちらも普通に行うものなんでしょうか。