一致率、一致度を算出するには…？

質問

現在心理学の卒業論文を書いている大学生です。
日本語と外国語の対を提示して、意味が同じと感じたら○、違うと感じたら×を
つけてもらう実験を行い、被験者間の回答の一致率を見ようと考えていたのですが
一致率をどうやって出したらいいのか手持ちの参考書ではわかりませんでした。
あれこれ調べてケンドールのWを知ったのですが、順位尺度ではないので当てはまらないのかなーと
途方にくれています。
なるべくわかりやすく、お知恵をお貸しください。
この参考書を読め！などのアドバイスもお待ちしております。

回答No.3

backs

森・吉田「心理学のためのデータ解析テクニカルブック」北大路書房　p232～

などをみれば,質問者さんの考えているものが見つかるかもしれません。卒論であれば指導教官に相談するのが良いとも思います。

お礼

ありがとうございます！早速大学の図書館で読んで見ました。
連関係数というものを使えばいいのでしょうか？
まだまだピンとこないのでじっくり読んでみようと思います。

回答No.2

backs

「一致率　統計」などのキーワードで検索してみたが,それでも求めるものが見つからなかったということでしょうか？

「κ統計量」とか「κ係数」とかは？

質問者さんの求める方法が出てくると思うのですがどうでしょう。

お礼

ありがとうございます。κ統計量で検索して見ました。
これぞ！という感じなのですが、評定者が二人の場合しか
使えないのでしょうか？
書き忘れてしまいましたが私の実験では、被験者（評定者）が52人います。

回答No.1

noname#221368

こういう問題では、算出数値の具体的評価が難しいので、以下は参考意見です。ものすごく単純に考えました。
　日本語と外国語の対の設問に番号iをふります。Ｘさんの回答結果をx＝(Ｘi)，Ｙさんの回答結果をy＝(Ｙi)とします。ＸiとＹiの値は、○に対して＋1，×に対して－1と決めます。白紙回答0はないものとします。
　(Ｘi)や(Ｙi)をiに関する関数と考えると、そのグラフは、iを横軸にとって、階段状の波形となります。この波形の凹凸具合を比較できれば良いと考えました。波形の形状比較には、相互相関係数があります。今の場合であれば、それは、
　　k＝(x，y)/|x|/|y|　　　(a)
で計算できます。xとyをベクトルと考えた場合、これは幾何学的には、ベクトルxとyの間の角度を測っています。(x，y)は内積，|x|と|y|はベクトルの長さです。kには、以下の性質があります。

　(1)ＸさんとＹさんの回答が全く逆だった場合、k＝－1ですが、これはk＝0としたいところです。
　(2)ＸさんとＹさんの回答が半分だけ一致した場合、k＝0ですが、これはk＝0.5としたいところです。
　(3)ＸさんとＹさんの回答が全て一致した場合、k＝＋1。
　(4)kは、－1～＋1を動きますが、これは0～＋1にしたいところです。

　そこで(1)～(4)より、式(a)で計算したkを、k/2＋0.5で計算し直せば、(1)～(3)については、k＝0，0.5，＋1となり、(4)については0～＋1になるので、一応の目安にはなる気はします。

お礼

ありがとうございます。
数学大分苦手な上文系なのでベクトルを習ったことがありません。
ちょっとクラクラしますが試して見ようと思います！