t検定で帰無仮説を棄却できない場合の信頼度

質問

2つの平均値に差があるかの検定をしました。
自由度14でｔは1.08と計算されました。
有意水準95%でも99%でも帰無仮説を棄却できないので、
2つの平均値に差がないとの結論は分かるのですが、

では、差がないという結論の確率(信頼度)は、？%以上と言えるのでしょうか？

回答No.3

stomachman · ベストアンサー

「二つの異なる分布A, Bについて、分布Aの平均値と分布Bの平均値が同じである」という帰無仮説は、両者の差が0.1でも0.01でも0.000000000001でもない、全くのゼロだと主張しているんです。そんな主張を、たかだか有限個のデータから証明できるわけがありません。
　帰無仮説は、その名の通り「棄却されなかったときには無に帰す」仮説です。棄却されなければ何も言えない。せいぜい「少なくとも、データからは平均値に違いが出なかった」としか言いようがありません。帰無仮説が棄却されなかった場合に「帰無仮説を採択する」なんてデタラメが書いてある教科書が存在しますから困りもんなんですが、そりゃ間違いです。

　では、「分布Aの平均値と分布Bの平均値が同じである」が棄却できなかった場合には、もうやれることはないのか。そんなこたありません。
　例えば
「分布Aの平均値は分布Bの平均値よりも0.1大きい」
も帰無仮説になりますし、
「分布Aの平均値は分布Bの平均値よりも0.1小さい」
も帰無仮説になる。
一般に、
「分布Aの平均値は分布Bの平均値よりもxだけ大きい」
「分布Aの平均値は分布Bの平均値よりもyだけ小さい」
という二つの帰無仮説が適当な危険率で棄却されるようなx, yを計算すれば、「分布Aの平均値と分布Bの平均値との差は[-y,x]の範囲にある」ということが（危険率付きで）分かります。

回答No.2

kgu-2

有意差検定は、「有意差を出す」ための検定です。出なかったときには、何もいえません。

>差がないという結論の確率
「差が無い」ことを証明する統計学は、ありません。すくなくとも現在の統計学では。従って、全くの無駄です。「差が無い」と書くと、『あんたがドジナダケ』で別の検定法なら出るかも、言われると、反論できません。多変量解析なんぞか流行っていますが、もちろん科学的には正しいのですが、有意差を出すための苦し紛れ、と感じることもあります。

　有意差が認められなかったときに、「差は無かった」との表現を学術論文でさえ見ることがあるますが、これは、最も初歩的な誤りです。統計学の授業では、有意差の出し方を学びますが、そのときに、差が出ないときは何も言えない、と手抜き無しの教員なら教えます。
　論文では、(私は)差は認められなかった、と表現します。これは、私は認められなかったが、他のシッカリした方がやれば、でるかもしれない、との謙虚(?)な記述です。本心は・・・・。

お礼

納得し、すっきりしました。

回答No.1

Rolily

おそらく
有意水準5%のときは信頼度95%
有意水準1%にときは信頼度99%だと思います。

有意水、信頼度で検索をしたらでてきたので貼っておきますね。

参考URL：

http://www.blufi.co.jp/archives/24344389.html

補足

帰無仮説を棄却できる場合、つまり差があるとの結論の場合は、t分布との対比で有意水準を求めて信頼度を出すことは理解できるのですが、
逆の差が無いとなった時の信頼度をどう考えていいかが分かりません。