κ係数を算出した後の分析方法で困っています

質問

はじめまして。統計に関する質問なんですが、今職場で、新人（2人）と2年目（2人）の能力を調査してます。比較する能力は歩き方の観察力です。20項目の歩行パターンをのせた歩行チャートを使用します。4人の評定者で10名の対象者に歩行してもらい、出現している歩行バターンをチェックしてもらいます。正解はあらかじめ上司5人が協議の上作成しています。κ係数を使い一人一人正解と照らし合わせ、項目ごとの一致率を算出しました。一致率0.6以上を一致率の高い項目としました。予想通り一致率の高い項目数は2年目が多かったのですが。それをｔ検定などの統計を使って比較検討可能なのでしょうか。
新人2人の一致率の高い項目数を足して平均化しても良いのでしょうか。同様に2年目も一致率の高い項目数を足して平均化し，新人と比較しても良いのでしょうか。もしそれが可能であったとしても、被検者の数が新人2人と2年目2人しかいないので統計処理は困難でしょうか。κ統計で出した一致率の高い項目数を足して平均化し、それが新人、二年目の実力と判断し、比較して良いものなのかも良く解りません・・なにか良いアドバイスがあれば教えて下さい。よろしくお願いします。

回答No.1

backs · ベストアンサー

私は実際の場面で各々の一致係数を使用したことがないのですが、κ係数というのはケンドールの一致係数の名義尺度バージョンでしたよね？

ということはt検定（平均値の差の検定）は適用すべきではないです。

そもそも、一致係数というのは群間でどれほど評価が一致しているかを示すもので、

>　項目ごとの一致率を算出しました。

というのがよく理解できないのですが、どいういうことでしょう？

どのような形式のデータが得られているのか、最終的に何を比較したいのかをもう少し整理して頂ければ助言できるかもしれません。

補足

ありがとうございます。歩き方を示すものとして20項目あるのですが、
項目の中には、背中が曲がっている。とか引きずって歩いている。などと言ったものがあります。１０人に歩いてもらったのですが、１人１人歩き方が違います。上司が作った正解と比較しているのですが、正解で１０人中５人が背中が曲がった歩き方をしていると判断したしたのに対して、新人が３人にしか背中が曲がった歩き方をしていないと判断した場合、「背中が曲がって歩いている」という項目の一致率は下がると思うのですが・・・その理論が間違ってますかね？
最終的には新人に対して、１年間経験を積んだ者の方が正しい観察ができる事を証明したいのです。まだすべてのデータを収集していないくて詳しく数字で出していなくてすいません。

回答No.2

backs

1) 新人A,新人B,2年社員A,2年社員Bとして、
2) 評価項目は20個、
3) 評価方法は10人の被験者の歩き方のうち評価項目に該当する歩き方をしている人が何人いるかをカウントする。

ということでよろしいのでしょうか？そうだとすると、次のような形式のデータを扱うということになりますよね？

[評価項目][新人A][新人B][2年社員A][2年社員B]
[項目1][3 (3/10)][2 (2/10)][6 (6/10)][5 (5/10)]
[項目2][4 (4/10)][2 (2/10)][9 (9/10)][7 (7/10)]
・・・
[項目20][ 4 ][ 3 ][ 6 ][ 8 ]
*** セル内の数値は正しく評価した数で、（）内は比率。 ***

それで最終的に

4) 新人の評価の正答数(率)と2年目社員の正答数(率)とを比べ、
5) 新人社員より2年目社員の正答率の方が高い

ということを主張したいというわけですか？

お礼

アドバイスありがとうございます。職場にネットが無くてお礼が夜遅くなってしまってすいません。こういった調査、比較をするのが初めてで、しかも文系なので、一から勉強している次第です。統計は難しいですがこれも仕事なので頑張ります。

補足

親切なご説明ありがとうございます。まさにその通りです。一年経験を積んだ２年目の方が正答率が高い事を言いたいのです。しかしどう比べて良いのやら。１０人に歩いてもらって項目の１つである「下を向いて歩いてた」が1人にしか出現していなかったのにも関わらず、１年目の１人が１０人中３人にこの項目にチェックをしてしまっている場合もありまして。どう分析して良いか解りません。正解との一致率で見てどうにか分析する方法しか思いつかなくて・・・・他に良い方法があったら是非アドバイス下さい。何度もすいません。