標本数が少ないときの検定の仕方

質問

まず、私が今、行おうとしている検定の仕方をご説明します。
1. 非常に時間のかかる測定結果が数件あり、そのうちの1件(標本A)が平均から大きく外れた値を示しています。おそらく測定時になにかの外乱があり、このような値を示したのでしょう。原因を追求するのは、困難なのでこの値をすててしまいたいところです。
2. そこで平均、分散、標準偏差を計算しました。***
3. 標本が正規分布をなすことを仮定して、標本Aよりも大きな平均よりのずれを示す確率を正規分布確率表で確認したところ、16%と出ました。
4. と、いうことはそのような値が生じる確率は16%ある訳で、この値を捨てるのは適切ではない。うーん。残念。←今、ここ。

さて、お聞きしたいのは***の部分です。
今回の場合、この異常値・標本Aを平均、分散、標準偏差の計算に用いることで、大きくこれらの値が変わってしまっています。
たとえば、標本Aを取り除いた上で、平均、分散、標準偏差の計算を行ってみると、標本Aの値が生じ得る確率は0.04%になります。ということはなにか変なことが起こったんだろうね、ということでこの値は捨てていいことになると思います。

しかし、異常値かもしれない値を、最初から取り除いて(つまり特別扱いして)行う検定というのもなんだか、ズルをしているようで変な気がします。

このような計算の仕方(検定の対象となる異常値をあらかじめ除いて検定を行うやりかた)は統計上、正しい手順なのでしょうか？
そもそも標本数が少ないときにはもっと別の手順で検定を行うべきなのでしょうか？

なにぶん、素人なので定義に反した用語の使い方をしているかも知れませんが、何卒よろしくお願いいたします。

回答No.2

jamf0421 · ベストアンサー

かけ離れた値を捨てる処方としては棄却検定があります。
http://www10.plala.or.jp/biostatistics/rejectiontest.htm
http://www1.doshisha.ac.jp/~kibuki/computer/resume/chap13.pdf
などをご参照下さい。

お礼

おお、棄却検定という用語があるのですね。
ありがとうございます。

回答No.3

kgu-2

指導者に相談すべき
「捨てろ」と言われたら、2度と相談してはならない。

＞非常に時間のかかる測定結果が数件あり、
　あんたの勝手。そんなことにならいように、誰もが工夫をする。だから、そんな方法に不満なら、あんたが悪い、が私の感想。それしかないなら、誰もしないので、ノンビリの利点有り。

>この値は捨てていいことになると思います。
絶対に駄目。読むだけで不愉快。私の学生なら、怒鳴りつけて永久追放。
　都合の悪いものを隠すのは、政治家と官僚。統計学以前の科学をする資格なし。
　バレルと一生信用ゼロ。学会では、誰にも相手にされない人を知っておる。

　捨てていいのは、
1　棄却検定後
2　操作などの明確な誤り。

1）検定法を考え直す
2）全てやり直す、が基本。

お礼

ピントの外れた回答を有難うございました。

補足

私は政治家でも官僚でもありませんが、科学者でもありません。
本文でもお分かりのとおり、統計についてもシロウト同然の知識しかもたないので、残念ながら「棄却検定」という言葉を知りませんでした。

ちなみに、私が携わっている業務では、測定対象に外乱が生じないために業界の水準を大きく越える工夫を凝らしておりますが、それでもなお、私が今回見たような「未知の異常な条件によると思しき、ヘンな値」を見ることはあります。大学の研究室ではどうか知りませんが、測定にかかるコストをいかにして安全に抑制するかは産業的には重要なことです。

>指導者に相談すべき
>「捨てろ」と言われたら、2度と相談してはならない。

おやおやおやおや。

回答No.1

jaspachate

例えばある点の位置を測定して中心位置を決める場合、大きく外れた測定点に測定で生じた偶然の擾乱以外に特別に注目する理由はないので、そのような点は切り捨てます。一般には全ての測定の平均を中心としてある半径をカットオフ半径とし、その外にある測定点を切り捨てて平均を計算しなおす、という手順を収束するまで繰り返します。振動する場合は適当に打ち切ります。

しかし、測定の擾乱要因を充分調べたにもかかわらず、そのように外れる点が生じる擾乱はないと高い信頼度で結論できるときには、その測定値を捨てるかどうかは、測定の目的によります。性質の良く知られていないある未知の量を推定したいために行った場合は、上記の単なる中心位置を決めるような良く知られた性質の量の決定とはまた異なる取り扱いが必要とされます。例えばある分子の未知の相互作用の準位間遷移の寿命を測定するような場合、複数のピークを持ち、指数関数の重なりのような裾を引く分布を示す場合があり、標本数が少ないと主要なピークから大きく外れたところに少数の測定点が得られますが、これを除いて考えたり含めて考えたりするには分布に対する理論的考察が必要とされ、個々の測定点を論じる必要があるでしょう。

要するに統計的検定はあくまで推論のための手段であり、それを適用するには測定の目的にかなうように行う必要があってそれによって何が正しいかが変わってくる、ということです。機械的な検定手順の適用は意味が無い以上に危険です。

質問内容の測定に関する詳細が不明ですので、一般的になってしまいましたが、以上の点に気をつけられると良いでしょう。

お礼

回答＆アドバイスありがとうございます。
今回の場合、測定対象の性質は一応、正規分布をなすと期待していい理由がありますので、個々の測定点を論じる必要はないと判断しています。