多重比較 p<.05なのにn.sと出ます

質問

現在、論文執筆のために、ＡＮＯＶＡで統計を行っています。
一要因６水準の分散分析の結果、p<.05と結果が出た部分があったのですが、多重比較を行ってみると、どの水準でもn.sとなってしまいます。このことについて、
1．この結果をどう読みとったら良いのか、
2．私としては、少しでも有意差を示せる結果をだしたいと考えています。なので、他にどういった統計的手法が考えられるかを教えていただけたら、と思います。
すみません、よろしくお願い致します。

回答No.4

Oubli

６水準間で多重比較すると15の比較が生じますから、素朴に考えると0.05/15未満のP値が有意水準になります。Tukeyなどを使うと少し検出力はあがりますが。ｎがよほど大きいのでなければ、そもそも６水準間で単純に多重比較するというのは無謀だと思います。
　６水準が完全にバラバラではなく何らかの関係があるのならば、コントラストを使ってみるという手があります。たとえば、仮説(A=B)<(C=D)<(E=F)、(A=C=E)<(B=D=F)についてそれぞれ[-1,-1,0,0,1,1]、[-1,1,-1,1,-1,1]というベクトルを使ってANOVAで検定します。本来、後付けではなくて最初に計画しておくべき解析だとは思いますが。

回答No.3

vzb04330

一要因分散分析を実施した結果、有意差が認められたのに、多重比較を実施しても、有意となる組み合わせが認められないということは十分あり得ますし、その逆もあり得ます。
とくに、多重比較の方法として、Dunnettのt検定や、Tukeyの検定を用いた場合については、永田（1998）が、実例を示しています。

詳細は、下記の永田(1998)を読んでいただければよいのですが、関連するところのみ、簡単にまとめると次のようになります。

一要因分散分析を実施し、その後多重比較をroutine化して行うことは，正しくなく、用いる多重比較法の手順の中に、一要因分散分析が含まれている場合にのみ、分散分析を行うことが原則である。

例えば、Scheffeの検定では、分散分析を含んだ手順であるので、分散分析を実施した後に，対比較を行う。
この場合には、分散分析で有意差が認められなければ、多重比較でも有意差は認められないはず。

これに対して、Tukeyの検定や、Dunnettのt検定では、その手順に分散分析を含まないので、前もって分散分析を実施すべきではない。

永田靖（1998）：多重比較法の実際．応用統計学，27(2)，93-108．
＊ネットで検索すると、pdfでダウンロードできます。

また、ある程度きちんとした統計学のテキストもご参照ください。

例えば、
森敏昭・吉田寿夫(編著)(1990)：心理学のためのデータ解析テクニカルブック．北大路書房．

回答No.2

backs

そもそも最初から多重比較をすべき、と主張する人もいます（私もそうですが）。

>　この結果をどう読みとったら良いのか、

全体としては差が認められたけど、個々の対比較では差が認められなかったというだけのことです。

>　少しでも有意差を示せる結果をだしたいと考えています。

そういう方法はあることにはありますが、、、　いわゆる"ルール違反"なわけで、そのようなことをした結果に（少なくとも科学的な）価値はないということです。

あまり保守的でない方法を採用するか、あるいはサンプルサイズを増やすことですね(^_^;)

回答No.1

sironokabe

よくあることですね。テキストなどをご参照いただければわかると思いますが、大半は「（解釈は）保留にする」とあります。
分散分析を行った場合は有意差が生じ、多重比較では有意差が生じなかった、という結果を書き、その上で考察を行うという方法があります。その解釈は分析者に委ねられます。
他の結果を考慮し、また先行研究などと合わせて考察すればよいと思います。
無理矢理に有意差を出す、ということは褒められたものではありません。ただ、多重比較にもいくつかの方法があり、多少数値のずれも生じますので、他の方法を使うと有意差が生じる可能性があります。
おそらくテューキー法を使用されていると思いますが…分析内容によっては別の方法が適切な場合もありますので。