統計学的に有意かどうかを判断するためのサンプル数

質問

インターネット上に出している広告の有意性を見るためのテストをしているのですが、統計学的に有意かどうかを判断するためのサンプル数としてどれを見るべきなのか分かりません。「サンプル数400あれば、危険率５％で有意」みたいに使われてたと思うのですが、以下のようなケースでは、どう判断したらよいのでしょうか？

■行ったテストの内容

　ABテスト：インターネット上に出した広告の効果があるかどうかを見るために、その広告を表示した「A群」と、その広告は表示せず代わりに関係のない広告を表示した「B群」を作り、比較検討してみた。（B群はあくまでも比較のためなので全体の5%程度表示されるようにした。ちょっと足りませんが。）

■実施結果（まだ途中の段階なのですが…現在のところ）

　□Ａ群：
　　・広告表示回数：　8,434,601
　　・購入数：　321
　　・購入率：　0.00381%　（＝321÷8,434,601）

　□B群
　　・広告表示回数：　368,696
　　・購入数：　13
　　・購入率：　0.00353%　（＝13÷368,696）

■質問内容

　・上記のようなケースで、Ａ群に出した広告は、果たしてどの程度「効果があった」
　　と言えるのでしょうか？現状、購入率の違いは、約8％（0.00381% vs. 0.00353%)
　　となると思うのですが、この数値は統計学的にどの程度有意と言えるのでしょうか？

　・ここでのサンプル数というのは、表示回数の8,803,297（＝8,434,601+368,696）
　　でしょうか？それとも、購入回数の334（＝321+13）でしょうか？

　・統計学でいうところの「危険率」や「信頼区間」は、いくつだということになる
　　のでしょうか？

回答No.1

stomachman · ベストアンサー

「χ^2（カイ2乗）検定」をお調べになると良いでしょう。

お礼

http://aoki2.si.gunma-u.ac.jp/calculator/p_diff_test.html　を使い検定することが出来ました。ありがとうございました。

回答No.2

kgu-2

統計学では、あまり、というより、ほとんど「検定が必要なのは、何故か」は語られません。そして、統計学では、全てのサンプルがあれば、差はあるのです。その証拠に「差は無い」という表現は、間違いである、述べてはならない、と教科書に書いてあります。
　したがって、十分なサンプル数＝有意差が見られるサンブル数、てす。その数は、いくつか、なんぞは統計学的にはありません。無限大、なら正解ですが、そんなことができないから、検定をしているので、矛盾しています。

　サンプル数がいくつ、というのは、経験です。私は、動物実験をしているので、各群3例で有意差をだせます。すなわち、サンプル数を増やせば有意差が出やすくなり、有意差がでるまでサンプル数を増やす、というのが統計学的には正解。現実には、不可能ですが。

お礼

ありがとうございました。