有意差が無いことを証明（危険率の設定）

質問

危険率５％で有意差が認められたモノが、危険率１％で認められなかった場合ですが、有意差が認められないと解釈してしまうのでは、データ解釈の捏造でしょうか。
検定は差があることを証明するものであることから、差が無い（差は誤差範囲であること？）ことを無理やり証明することに用いる場合、危険率の設定値を変更するのはありなのでしょうか。
ご回答の程よろしくお願いします。

回答No.1

kgu-2 · ベストアンサー

>データ解釈の捏造でしょうか。
簡単に「ミス」と判断できるので、捏造のレベルではありません。初心者が陥りやすい、解釈の誤りです。私も、「差がないことを証明したい」と苦慮した経験があります。

>差が無い（差は誤差範囲であること？）ことを無理やり証明
現在の統計学では、どんな大家でも、差が無い、ことは証明できません。「差がない」とは表現せず、差は見られなかった、のように書きます。すなわち、私は差を見つけることができませんでした、と謙虚な態度です。
　「差が無い」ことを証明したい、というのを「初心者の罠」と私は名づけています。

>危険率の設定値を変更するのはありなのでしょうか
統計学では、0.05と0.01というのが定義・約束事です。私は、0.03でやりたい、と言っても、新しい統計学を提案して、ノーベル賞でももらっていなければ、相手にしてもらえません(数学の分野には無いので、経済学賞?)。世界の人が、『正しい』と認めれば、変更できます。
　環境という言葉を耳にしたとき、『何じゃ』と理解できませんでした。それが、今では世界に流行し、普通に使っています。すなわち、新しい言葉や定義は、多くの人に認められて使えるようになります。特に、自然科学の分野では、言葉は厳密に定義されているので、勝手な解釈・変更は無視されます(院生時代に教授に叱られました。当時はアホだったので、理解できませんでした)。無視されないためには、ノーベル賞でもとれば、ということです。

　有意差は、帰無仮説から出発します。分かりやすいと想うので旅に例えます。
　目的:「大阪から東京に行ける」
この証明の帰無仮説は「大阪から東京に行けない」とし、それを否定できれば良い。
　100人が同じ方法で出発し、95人が東京にたどり着ければ、残りの5人が到着しようがしまいが、危険率5%で有意差ありになります。、そこで帰無仮説の「大阪から東京に行けない」を否定して、目的の「大阪から東京に行ける」を証明できます。
　ここで、ある方法では、80人しか到着できなかったので、「差は無いむと主張しても、「どんな方法で」と訊かれます。「お金がなかった(初心者の方法=)ので、自転車法で」と答えても、相手にされません。「バスもある」「新幹線もある」と別の方法を提案するかもしれません。というのも、大阪から東京へは多くの方法があります。飛行機や列車以外にもバスも、自家用車も、ヒッチハイクも。なんなら、飛行機をチャーターしても、自衛隊の護衛をつけるような方法(データーの数を増やし、統計の専門家を何人も雇い、スーパーコンピュータで処理)でさえ許されます。どんな手段であろうと不正でなければOKです。飛行機でさえ、大阪なら大阪空港、関空もどちらも利用できるし、岡山まで行って、岡山から出発しても統計学の立場なら不正ではありません。どんな方法でも、100人中95人がたどり着ければ、有意差あり、になります。
　同様に検定には多くの種類があり、どれを使っても良いのです。これまで発表された全ての方法で検定して有意差が見つけられなければ、「差が無い」と主張できるかもしれません。その場合でも、「データの集め方が悪い」とクレームがつくかも。

　根本的には、集団の間に「差は有る」のです。差(有意差ではありません)が有ることの証明は、簡単ではありませんが、小学生でもできます。ですから、「無いこと」の証明は不可能なのです。
　たとえば、A社とB社の蛍光灯の寿命には差が有る、の結論を小学生が出すにはどうすれば良いか、を宿題にしておきます。この場合、自衛隊はともかく警官隊程度の出動は必要ですが。

お礼

丁寧なご回答ありがとうございます。
まずは、お礼が遅れまして大変申し訳ありませんでした。
私なりに色々調べまして、「差が無いことを証明することは不可能」という事が何となくではありますが理解できました。

全国にある小学校の教室の蛍光灯を調べる．．．でしょうか．．．

回答No.3

stomachman

「危険率」「有意差」という言葉を一人歩きさせちゃいけません。「危険率１％で有意差が認められない」という表現自体が詭弁すれすれです。うっかりすると「『差がない』という結論が誤っている危険性は1%しかない」と解釈しかねませんから。（「危険率」と言うより「有意水準」の方が、こういう誤解がまだ防げます。）

　実のところ、「危険率５％で有意差が認められ、危険率１％で有意差が認められない」というのは、ご承知の通り、「『ホントは差がないのにまぐれでこれだけの差が出てしまった』ということが、1000回実験したうち10回以上50回以下程度なら起こるだろう」というだけの意味です。（「イワシの頭は耐震強度向上の決め手だ！苦節ン十年、幾度となく実験を繰り返し、ついに危険率５％で有意差ありという結果を得た」なんてのがまさしくまぐれ。有意差が出なかった実験をなかったことにする、これは初心者ならずともやってしまう誤謬です。と、閑話休題）

　「有意差」という言い方をするのは検定であって、その場合、P=0.05とか0.01とか0.001とか、ともかく有意水準を予め決めておくのが真っ当な検定です。
　しかしながら、「（実際には差がないのに）実験でたまたま偶然これほどの差が出るということは僅か3%の確率でしか起こらない。差があると言ってまず間違いないでしょう。」という言い方でなら、数値を出してもおかしくない。で、ご質問の場合は、「（実際には差がないのに）実験でたまたま偶然これっぽっちの差が現れるということだって、なんと3%もの確率で起こる。差があるとはとても断言できないでしょう。」と仰るしかないでしょうね。
　言いたい事は正反対でも、言ってる内容は全く同じである。こうなると、聞いた人がどういう印象を受けるか、という修辞法だけの問題でしょう。

お礼

私の意図を汲んで頂いた回答ありがとうございます。
お礼が遅れまして大変申し訳ありませんでした。

２つの結果において、差が無いことの証明は無理ということは理解できました。あるがとうございました。

回答No.2

Tacosan

普通は「危険率の設定」が最初にあるはず. だから, 「目的とする結果が得られるような危険率を見付ける」というのは反則の部類に入ると思います. 事実を述べているわけだから「捏造」ではないけど, 少なくともフェアじゃない.

お礼

ご回答ありがとうございます。
確かに自分自身、反則の部類に入るのではと思っていました。
差が無いことを証明できない時点で、危険率の設定変更は反則でした。