t検定の有意水準

質問

標本誤差についてわかりやすく説明する場合、例えば信頼区間95%の場合、
「同じ条件で調査を100回やったとしたら、
95回は+-〇〇%の誤差の範囲に収まります」 等と説明します。

ではt検定により、2つの比率の差を5%の有意水準で計算した場合には、
その結果はどのように説明するのでしょうか。
「2つの比率に有意な差がない、又は有意な差が見られる」 と言う部分
はさておき、 何が5%なんでしょうか。
元々100回のうち5回は誤差の範囲に収まらない可能性のある
2つのデータなのだから、 その2つを比較する時点で誤差の範囲に
収まらない可能性が5%ではないのではないか 　と思うと訳が分からなくなりました。

当方知識が乏しいので、できるだけやさしくお願いします。

回答No.2

Oubli · ベストアンサー

#1です。説明が不十分だったかもしれません。
「100回のうち5回は誤差の範囲に収まらない可能性がある」ではなく、「等しいと仮定した場合に、誤差の範囲に収まる（誤差によってそのような結果になる）可能性は100回のうち5回以下」です。稀なので、むしろ等しいという仮定が間違っていたと考えます。
信頼区間の100回中95回云々というのは別の話です（こちらの方が解りにくいと思います）。

お礼

>100回中95回云々というのは別の話です

この部分を誤認していました。

回答ありがとうございました。

回答No.1

Oubli

比率を比べるのはカイ二乗検定などで、t検定では平均値を比べますが、考え方は同じです。
1)まず帰無仮説をたてます。
「A群もB群も平均値（あるいは母比率）が等しい母集団から得たサンプルである」
2)次に、帰無仮説に従った場合に、実際に観察された結果ないしそれ以上に偏った結果となる確率を計算します。これがｐ値ですが、小さいほど元の帰無仮説が考えにくいことになります。帰無仮説が否定された場合、A群とB群間に有意な差があると考えます。
3)ｐ値がどれぐらい小さい場合に帰無仮説を否定するかが有意水準です。通常5%を使いますが特に根拠はありません。ｐ値が５％なら、帰無仮説が正しくても100回に5回は観察されたような差が生じます。しかし、まず違うとみてよいのでは、というのが統計学の考え方です。

補足

ご丁寧にありがとうございます。
手順は理解できましたが、下から2行目の確率の部分の考え方
について再度お願いいたします。

そもそも100回のうち5回は誤差の範囲に収まらない可能性のある
それぞれの平均値を比較するのだから、 その2つを比較する時点で
外れる可能性が5%以上になる。そう考えると
(その考え自体がおかしいのかもしれませんが)
この検定の5%ってどのような状況の事を指すんだろう
と考えてしまっている状況です