３人の評定者が何かを評定する時、意見が分かれたらどうするの？

質問

例えば被験者が作った物語から「不安」が感じ取れるかを３人の評定者に判断してもらいます。１人だと主観が入るから数人で評定するってよくやる方法なのですが。
この場合、Aさんは「感じる」、Bさんは「感じない」、Cさんは「感じる」ってなったらどうやって処理すればいいのですか？　わけわかんないです。
３名中２名が「不安」が感じ取れると言ったから、この物語からは不安が感じ取れますって結論にしていいのでしょうか。
この一人で評定すると主観が入るから複数で評定する、でもその先どうすればいいかが分かりません。誰か教えてください！！

回答No.2

u6hy

専門家ではないのであいまいな言い方になってしまいますが。
「感じ取れない」と結論するのはap10さんのおっしゃるとおりで危険すぎると思いますが、「感じ取れない可能性が高い」程度のことは統計的に表現する手法があると思います。ベイズ統計、とかだったような気がしますので、興味がおありなら調べてみるのもいいかもしれません

補足

ベイズ統計？？　役に立つかもしれないので調べてみます！！

回答No.1

ap10

サンプルがたった三名では、三人とも「不安を感じる」と判断してもサンプル数が少なすぎてデータとして価値がなく、「この物語からは不安が感じ取れます」って結論にはできません

まずはもっとサンプルを集めて、その上で回答の集計結果に有意差があるかを調べて下さい
有意差が認められれば、なんらかの結論（場合によってはご質問者様が予想した結論）を出す事が可能です

補足

実験的なことで印象評定調査をやったことがあります。その時は二百人くらいはデータを取り、検定もやりました。でも、今回は実は臨床的なことなんです。TATの図版を見せて（つまり投影法）で得られた被験者の物語について評価をしたいわけです。行動観察法に近い感じで数名の評定でいいと思っていたのですが。
数名で評定するのは多面評定って言うんでしたっけ？　名前は忘れましたが・・・。
それぞれの評定者の評定がどれくらい近いかを表すために相関係数を出したりするんですよね。
でも、そんなことよりも１０名の作った１０通りの物語の中で「不安」を表現しているものがいくつかを結果として出したいんです。誰かが「不安」があるのかないのかを評定しなきゃしかたないですよね。