適正サンプル数について

質問

下記内容のアンケート調査結果の信憑性がどの程度あるのかという部分に疑問を感じています。　有効サンプル数としてはどうなんでしょうか。どなたか助けてください！

《Web転職サイト総合満足度調査結果》
・対象サイト　　30サイト
・指標数　　　　11指標（満足・やや満足・0・やや不満足・不満足）
・有効サンプル　1,176名（男：639・女：537）
　　　　　　　　※過去1年以内にサイトを利用した転職経験者

1位：98.32
2位：93.82

この差の「信頼度」・「影響度」の信憑性です。

回答No.1

gootaroh

統計学上意味のあるサンプルの大きさというのがあります。
それには許容誤差と信頼率という二つの指標が参考になります。

ダーツに例えると、「真の値」を的の中心だとすれば、「許容誤差」とは的の大きさ、「信頼率」とは命中率のことです。「有効回答数」とは言ってみればダーツの腕前ですね。

さて、一般的には許容誤差5％、信頼率95％と設定し、どれくらいの有効回答を集めるかを決めることが多いです。

ということは、集まった有効回答数が統計学上意味があるかどうかは、逆算すればよいということになります。

なお、許容誤差は小さい方が、信頼率は大きい方が、より真に近付きます。
つまり、的が小さいということは的の中心に近付くということですし、信頼率が大きいということは、その的に命中する確率が高いということですから。

しかしながら、有効回答数を一定として、許容誤差を小さくすると、信頼率は小さくなります。的が小さいほど命中率は下がりますからね。

それでも命中率を上げようとすれば、腕前を上げるしかありません。つまり有効回答数を増やせばよいのです。

ま、本当の統計学からすれば厳密さに欠けますが、分かりやすくいうと以上のような関係性にあることを、まずはご理解ください。

その上で、細かい計算過程は省略して説明すると、一般的な許容誤差5％、信頼率95％という前提で、母集団の人数ごとの有効回答数は次のとおりです。

母集団　有効回答数
1万人　370人
10万人　383人
100万人　384人
1000万人　385人
となります。以外に少ないでしょ？これだけで統計学上は十分意味があるんです。

過去1年以内にサイトを利用した転職経験者が何人いるか分かりませんが、1万人でも370人、1000万人でも385人ですから、1176人も集めれば十分といえると思います。

あとは、11指標の中身（聞き方）が適切かどうかですね。変に誘導した質問も中にはありますから。
このほか、調査方法（対面か郵送かWebかなど）によっても、回答者の層が偏ることがありますね。

調査の信憑性を判断するには、このように多面的に検討しなければなりませんが、少なくとも有効回答数（「サンプルの大きさ」といいます。この場合「サンプル数」という人が多いですが、間違いです。「サンプル数」だと別の意味になります）については問題ないと思います。

お礼

非常にイメージのしやすい説明ありがとうございました。
助かりました。

母集団と有効回答数（サンプル数の大きさ）等、勉強に
なりました。