統計学的に有意かどうかを判断するためのサンプル数
インターネット上に出している広告の有意性を見るためのテストをしているのですが、統計学的に有意かどうかを判断するためのサンプル数としてどれを見るべきなのか分かりません。「サンプル数400あれば、危険率５％で有意」みたいに使われてたと思うのですが、以下のようなケースでは、どう判断したらよいのでしょうか？
■行ったテストの内容
ABテスト：インターネット上に出した広告の効果があるかどうかを見るために、その広告を表示した「A群」と、その広告は表示せず代わりに関係のない広告を表示した「B群」を作り、比較検討してみた。（B群はあくまでも比較のためなので全体の5%程度表示されるようにした。ちょっと足りませんが。）
■実施結果（まだ途中の段階なのですが…現在のところ）
□Ａ群：
・広告表示回数： 8,434,601
・購入数： 321
・購入率： 0.00381% （＝321÷8,434,601）
□B群
・広告表示回数： 368,696
・購入数： 13
・購入率： 0.00353% （＝13÷368,696）
■質問内容
・上記のようなケースで、Ａ群に出した広告は、果たしてどの程度「効果があった」
と言えるのでしょうか？現状、購入率の違いは、約8％（0.00381% vs. 0.00353%)
となると思うのですが、この数値は統計学的にどの程度有意と言えるのでしょうか？
・ここでのサンプル数というのは、表示回数の8,803,297（＝8,434,601+368,696）
でしょうか？それとも、購入回数の334（＝321+13）でしょうか？
・統計学でいうところの「危険率」や「信頼区間」は、いくつだということになる
のでしょうか？
