研究法（信頼性）について

質問

こんにちは。評価者間信頼性について質問させて頂きます。
文献に、「2名の評価者があることを採点し、両者の採点の相関係数を求め、併せて検定を行ったところ、有意であったため、評価者間信頼性は高い」といった旨の記載がありました。
この場合の評価者間信頼性とは、「1人の評価者が高い採点をした場合、他方の評価者の採点も高く、1人の評価者が低い採点をした場合、他方の評価者の採点も低い傾向がある。だから、この2人の採点は信頼できる」ということでしょうか？
何かわかったような、わからないような…。もう少し、わかりやすい例で評価者間信頼性を教えて頂ければ助かります。宜しくお願いします。

回答No.1

kgu-2 · ベストアンサー

評価を人が行う場合、人によって個人差が生じます。個人差が有ると、評価が信頼できません。臭いや味の場合は、トレーニングして、おなじような評価になるようにします。

　さて、10点満点で、一人が8、6、2点、もう一人が7、5、3なら、散布をかなり一致します。散布図上の点の近くを、なるべく通るような直線(＝回帰式)をひくことが容易です。もう一人が、4、5、9なら、評価が一致せず困難です。二人ともただしい、ことはあり得ません。すると、どちらかが正しいか、もしくは二人ともオカシイとしか結論できません。

　ただし、二人が一致したから、二人の評価能力が高い、信頼できるとは限りません。二人とも間違っている場合があります。フィギアスケートのように、多人数で評価し、上と下を削除して、残りの平均、なんぞもあります。多人数なら、中央値、という方法も。

お礼

ご回答有難うございました。説明が丁寧で、より理解が深まりました。「二人が一致したから、二人の評価能力が高い、信頼できるとは限りません」というご指摘も「なるほど」と思いました。