【統計】AとBが同じであることを確認する方法

質問

統計学的にAとBに差があるかどうかをみるときは、「AとBには差が無い」という帰無仮説を立てて、この仮説が95％超の確率（p<0.05）で棄却されるかどうか確かめますよね？

では、AとBには差が無いことを確認したい場合は「AとBには差がある」いう帰無仮説を立てて、この仮説が95％超の確率（p<0.05）で棄却されるかどうか確かめるのですか？
その場合、どのような検定方法があるんでしょうか？

一瞬、「AとBには差が無い」が棄却される確率が5%未満（p≧0.95）であれば、差がないことを確かめられるのかと思いましたが、JMPでこれが間違っていることを確かめました。（同じ平均値、中央値でも標準偏差が大きく異なる2群を入れて検定するとp=0.999…となる。これは「同じ集団」とは言えないですよね。）

回答No.2

at9_am

> では、分布を正規分布と仮定したとして、「平均値と分散の同一性」はどのように確認すればよいのでしょうか？？

通常の、差の検定でよいと思います。
両方が同時に成り立つ、ということを考える必要は、特にはないと思います。

統計的には、差がないことに検定は存在しません。差があるという帰無仮説が棄却された場合、差がないと「合理的に結論付ける」だけです。

お礼

またご回答頂きありがとうございます。

＞統計的には、差がないことに検定は存在しません。

やはりそうですか。
統計的に同じであることを確認できるか知りたいと思ったのは、医薬品や食品の安全性試験などで「試験群とプラセボ群との間に有意差がない」＝「安全」と暗に示唆している場合があり、これに疑問を感じているからです。

これはn数の問題なのでしょうが、例えば試験群が n=30、プラセボ群が n=30で、特定の有害事象の発生数が試験群で n=9、プラセボ群が n=3であった場合、独立性の検定をした場合（Fisher正確確率検定）2群間に有意差はありません（p=0.1042）。これを「両群に差は認められなかった」とし、結論の部分で「だから試験物質は安全と考えられる」としているような場合があります。

このように「有意差がない＝差があるとは言い切れない」の意味を履き違えて、「有意差がない≒同じ」とすることに納得がいかないという理由から、「統計的に同じであることを確認する」ということができるのであれば素晴らしいと思い質問させて頂きました。

回答No.1

at9_am

> 統計学的にAとBに差があるかどうかをみるときは

どの意味で？　というのが最も大きな問題です。
例えば平均値に差があるか、分散に差があるか、それとも分布なのかによってその手法は違います。

分布の場合、事前に分布を仮定すれば別ですが、そうでなければサンプル数の問題からかなり難しい問題になります（そもそもの分布がどのような形なのかも推定が難しい）。

一方で、例えば分布を正規分布と仮定するのであれば、平均値と分散について同一性が言えれば同一の分布に従っていると結論付けることができます。

お礼

ご回答頂きありがとうございます。

補足欄に追加で書かせて頂きました。
よろしければお教え頂けないでしょうか？

補足

＞どの意味で？　というのが最も大きな問題です。
例えば平均値に差があるか、分散に差があるか、それとも分布なのかによってその手法は違います。

どの場合にどの検定方法を採択するかは、一般的なものであれば一通り理解しているつもりです。
ただ、「差があるかどうか」を検定する方法としてです。「同一性を確認する」検証方法として、まずどのようなプロセスから入っていくのかが分かりません。

＞例えば分布を正規分布と仮定するのであれば、平均値と分散について同一性が言えれば同一の分布に従っていると結論付けることができます。

では、分布を正規分布と仮定したとして、「平均値と分散の同一性」はどのように確認すればよいのでしょうか？？