検定手法の選択

質問

検定手法の選択

統計に詳しくないので、分かりやすく教えていただけると助かります。
この質問は既出なのですが、カテゴリを間違えたため、再度質問しています。すみません。
面接により、発話プロトコルを得ました。
そこからあるカテゴリーにあてはまる発言数をカウントし、２群間で比較しようと思っています。
しかし、サンプルが少なく、一方は８、もう一方は４です。
この場合、発言数（の平均値？中央値？）の差をみたいのですが、どの検定手法をとればよろしいでしょうか？
そもそも、サンプルが少なすぎて無意味なのでしょうか？
教えてください。

回答No.2

kgu-2 · ベストアンサー

横から口出しするのは、指導者に対して、研究者としてのマナー違反。実名が分からないので、有益な回答にお礼を言えない(学会や論文の謝辞でないと、お礼とは言えない)ので、私に対する質問者の倫理違反、何より研究の一端を洩らすのは、研究者としての姿勢が問われる、と院生時代に教わったので、以下独り言。

　過去の解答を読んでもらえば、未だに初心者ですが、初心者を卒業しようとは思っていない。なぜなら、それで十分。検定でできるのは、t検定、F検定、カイ２乗検定、それと相関分析。これで困ったことは、ありません。なぜなら、これで検定できるようにデータ集めをするからです。
　次に、「習うより慣れろ」。データがあってから検定法を探すのはダメ、と書きましたが、初心者なら誰もが通る過程です。どこで、なぜ行き詰ったかを経験して、解決すれば熟練者への道が拓けます。

　気になる点を、
　サンプル数が少ないのは、弱点ですが、致命的ではありません。動物実験では、３例ずつでも有意差を出せます。
　ただ、有意差は、サンプル数が少ないと出しにくい、多いと出やすいのも事実です。ですから、「差は無い」という表現の論文もみかけますが、誤りです。「有意差は無かった」なら適切です。この相違が分かれば、そして、「差が無い」というのが誤り、を説明できれば初心者は卒業です。

　発言のカウント数、が何を意味するか分かりませんが、２群間の条件は、同一にする必要があります。たとえば、たぶん同一時間ではないと想います。一方は午前、他方は午後というだけでも影響があるかもしれません。室温、湿度などに違いは無いのでしょうか、などなど、・・・

　検定は、「有意差を見つける」ことが出来なければ、価値は無い、ことになっています。論文なら、まず通りません。しかし、見つけられなかったのは、研究者の能力であって、差はある、のです。検定なんぞその程度のシロモノですが、私も四苦八苦しています。

お礼

回答ありがとうございました。
研究者の世界の暗黙知を理解しておらず、
失礼な質問をしてしまいましたね。
申し訳ありません。
それにかかわらず、ご助言頂けたことに感謝するばかりです。

教育の世界は、この条件の統制が大変難しいです。
（厳密に行うことは不可能だと思います。）
そのため、指摘しようと思えば、なんでも言えるのだと思います。
計算自体はPCであっという間に出ますので、データの取り方、
結果の解釈が重要になりますね。

kgu-2さんとやりとりで、慎重にデータ収集の方法や統計手法を選択しなければ
ならないと改めて感じました。
ありがとうございました。

回答No.1

kgu-2

発言数、というのが、平均値をだすのが適切な尺度なら、平均値の差を検定するt検定が利用できるかも。ただ、アンケートの順序尺度など、平均値を出すのが不適切な場合も見かけますので。
　それより、サンブル数が8と4ということですが、データはあって、検定法を探している、ということですか。これは、統計学の教科書で始まりのページに書かれている初心者の間違いです。学生さんのような印象がありますので、指導者に訊くのが科学者としての心構えです。
　統計に関しては、私も初心者です。ですから、初心者かどこで行き詰まるかは、理解しているつもりです。学生、院生でないのなら、立場を書き込んで下されば、追加のアドバイスを書くかも。

補足

ご回答ありがとうございます。
立場としては、科学関係ではなく学校教育関係です。
教員しながら勉強している院生です（いわゆる社会人学生）。
指導者にも聞こうと思っていますが（次回、会うのがもう少し先）、
統計については、どの立場をとるかで、選択の仕方が変わっている
事例をちらほら見かけます。
そのため、多くの人の見解を聞きたいと考え、投稿した次第です。
今回の場合、パラメトリックとして見るか、ノンパラとして見るか、
自分には判断しかねます。

データありきで検定を・・は、本来ダメですよね。
当初、他のデータを補完する事例として使うつもりでしたが、
予想外に、差がでそうな結果となったため、数値比較できるのなら、
してみようと思ったわけでして。。。

至らぬ点が多々ありますが、お手数でなければ、ご助言ください。