A/Bテストの検定方法(カイ二乗検定)につい

質問

仕事でweb制作を行っておりまして、A/Bテストの検定方法について質問です。
統計学超初心者です。

特定のwebページの特定箇所の文言について4パターンを作成し、
コンバージョン率の高いものを見つけるためにテストしています。
その結果が例えば下記のような形だったとします。

＜結果＞
パターン名 / クリック数 / コンバージョン数 / コンバージョン率
A / 10000 / 20 / 0.200%
B / 10500 / 23 / 0.219%
C / 10800 / 25 / 0.231%
D / 9980 / 21 / 0.210%

■質問１
4パターン同時に有意差を確認するには
カイ二乗検定で4×2列の表で検定する、と理解していますが合っていますでしょうか？

■質問2
カイ二乗検定で4×2列の表で有意差があった場合、
4パターンでやった場合にバラつきがあった、というだけで、
各パターン個別の有意差については何も言及出来ない、と認識しています。

そこから最もコンバージョンが低いものだけを除いて、
3パターンだけの数字で再度カイ二乗検定(自由度2)したり（上記の結果だと、Aを除いた3パターン）、
上位2パターンだけを取り出し（上記の結果だとCとBだけ→自由度1）カイ二乗検定を行うことは意味があるでしょうか？

カイ二乗検定という統計手法を使う上で、数学的な前提が崩れるため意味が無い計算なのか、
それとも、上記のようなパターンで4パターンでの検定を行った後に、
個別に検定を行うことが出来る／意味がありますでしょうか？

■質問3
二項検定・Z検定・二群の比率の差の検定は、
2パターンの比較にだけしか使えないという理解で良いでしょうか？

回答No.1

stomachman

ご質問に出て来る最初の■より前の部分については、stomachmanには理解しがたいので無視いたします。

　検定を行うに際して最も重要なポイントを外していらっしゃるように思います。それは、帰無仮説は何か、ということです。
　検定というのは、帰無仮説から確率論を使って導ける確率的命題、たとえば「データをあるやり方で処理した数値が●以下になる確率はp以上である」に基づいて、実際のデータで●以下になるかどうかを調べる。●以下になったら何も言えない。さもなくば、帰無仮説が危険率(1-p)で棄却され、すなわち帰無仮説の否定が結論できます。（危険率は有意水準とも言う。）
　ご質問に並べていらっしゃる「××検定」という名称は、この処理の「あるやり方」のことを指しているのですが、もちろん名称が付いているような既存の方法だけしか使えないというわけじゃありません。むしろ、現象の特徴を捉えるに適切な方法を考えて、それに合わせてデータを取るのが本来のやりかたです。

　ところで、いくつかのグループについてのデータがあるときに、それらのうちの一対のグループを取り上げて検定する、ということを全ての対について行う手法は「多重検定」と呼ばれます。その際、同じデータを繰り返し使ったせいで、本来なら棄却されないはずの帰無仮説が棄却されてしまう、ということが生じやすくなる。その効果を打ち消すための補正が必要です。