評価の平均値

質問

ある評価の平均値についてですが、
Ａさん、Ｂさん、Ｃさんがいたとします。
Ａさんは、誰に対しても辛めの評価をします。
Ｂさんは、誰に対しても甘めの評価をします。
Ｃさんは、平均的な評価をします。
評価点は、１～９点とします。

次に
ＡさんがＡさんを３点
ＡさんがＢさんを４点
ＡさんがＣさんを２点
ＢさんがＡさんを９点
ＢさんがＢさんを８点
ＢさんがＣさんを８点
ＣさんがＡさんを６点
ＣさんがＢさんを４点
ＣさんがＣさんを５点
と評価したとします。

ここで、単純に平均を評価としてしまうと
Ａさん　６．０点
Ｂさん　５．３点
Ｃさん　５．０点
となります。

これは、個人の評価の仕方（辛め・甘め等）を
考慮してなさそうなので、
もし考慮するとすれば、
どのように計算をした方がよろしいでしょうか？
自分では、標準偏差を用い、いろいろしましたが、
途中で挫折してしまった感じとなっております。
よろしくお願いします。

回答No.3

Diogenesis

#2です。

もしＡ，Ｂ，Ｃの３人が100人とか1000人規模の同じ集団について評定をしているのでしたら，
各評定者ごとに評定平均と分散を求めて偏差値化することで
評定者のくせを排除することは可能かもしれません。
言ってみればＡ，Ｂ，Ｃの３つの異なる模擬試験を受験するようなものです。
（実際の模擬試験は受験者層が異なるので偏差値の単純な比較はできませんが）

しかしながら
３人が３人を評定するという限られたデータだけで
評定者の甘い辛いを判断したり修正したりすることは無理な相談です。

お礼

回答ありがとうございます。
規模としては、最大でも、２０人ぐらいです。
中には、２人ってもあります。
やはり、別方面から考えてみたいと思います。

回答No.2

Diogenesis

評価の甘い人もいれば辛い人もいるので平均値を取る意味があるわけで，
それを作為的に修正してどうしようというのでしょうか？

フィギュアスケートの審査やスキージャンプの飛形点審査，
あるいは浅草サンバカーニバルの審査！では
最高評点と最低評点を除外して集計するというようなことが行なわれますが，
これは意図的な評点操作を排除するためのもので，
評定者が多数の場合には可能ですが３人では無理です。

むしろ自己評価と他者評価を同列に扱って平均を取っていることのほうに問題があるように思います。

お礼

回答ありがとうございます。
私も無理だろうなぁとうすうす思っていたところです。
もう少し、別方面から考えてみたいと思います。

回答No.1

ojisan7

単純にそれぞれの、評価者に対して「重み」をつければ良いと思います。（ただ、どのように重みを付けるかは、「辛め・甘め等」の基準がどこにあるかを客観的に分析しなければなりません。これは、非常に難しいことだと思います。）

お礼

回答ありがとうございます。
やはり、難しいことなんですね。
とりあえず、考えてみます。