統計（多重比較）で困っています．

質問

統計初心者です。宜しくお願いします。

ある疾患の発症頻度を3種類の年齢層（A群、B群、C群）に分け、比較したいと思っています。
この3群間の群間比較を http://www.stattools.net/Multiprop_Pgm.php のサイトを利用してMarascuilo法を用いて行ないましたが、カイ二乗検定では3群間に有意差がでるものの、各群間（AB間、BC間、CA間）では有意差がでません。

これはどのようなことを意味しているのでしょうか？

詳しい方、よろしくお願いします。

回答No.2

kgu-2

全体では、有意差が認められる。それ以上でも<それ以下でもない。多重比較なんぞ、その程度のシロモノ。

回答No.1

stomachman

一対比較では利用するサンプル数が少ないために、有意差が出にくくなっているんでしょう。
　たとえばA群とB群のサンプルサイズはそれぞれ10000であり、"positive"の頻度を見ると両者の差は小さく、検定の結果は有意差なしだとします。
　一方、C群はA群やB群と比べて頻度ははっきり低いがサンプルサイズが100しかなくて、AC間やBC間の一対比較はどちらも有意差なしという判定になったとしましょう。C群のサンプル数が少ないために、AB間の一対比較に比べてAC間やBC間では有意差の検出力が小さい。頻度の数値だけ比べるとA群, B群に対してC群には違いがあるように見えても、有意水準には達しないことはままある訳です。
　さて今度は「A群とB群には事実上違いがない」とみなして一緒くたにしたAB連合群を作って、これとC群との一対比較をしてみたとします。すると、AB連合には20000個のサンプルがあるために、AC間やBC間の比較に比べて検出力が上がる。なので、C群との違いが有意水準を越えることが起こりえます。（言い換えれば、実験群(C群)のサンプル数が少なくても、コントロール群(AB連合群)のサンプル数がうんと多ければ、差は検出されやすくなる。）
　多重比較ではこの効果が効いて来る訳で、さらにAB間の違いも寄与しますから、有意差ありという判定がさらに出やすくなる（検出力が上がる）訳です。

　ところでしばしば注意されるのは、ご質問とは逆の状況についてですね。多重比較では有意差が検出されなくても、一対比較をやるとどれかの対で有意差の出ることがある。そこだけを取り上げて「差が出た」なんて言ってはいけないという話。偶然大きな偏りが生じるということは、実験を繰り返せば珍しいことでは無くなる。一対比較の反復も繰り返しのうちです。「有意水準1%で有意差がない」というのは、「100回実験を反復すればまぐれで平均1度ぐらいは有意差ありの結果が出るかも」ということであり、これはたとえばタバコや放射線の疫学のように、同じような研究が山ほどある場合に「チャンピオン」の結果をうっかり信じてはいけない、というのと同じ原理です。メタアナリシスにおいても、ヨノナカ的に期待される結論に反する論文は発表されにくい、というバイアスがあるために、どうしても偏りが入ってしまいます。