テストの集計方法に関して

質問

はじめまして。kyo-と申します。よろしくお願いいたします。

早速ですが、質問させてください。

あるテストを Web を利用して出題したのですが、出題方法にミスがあり、その結果が妥当なものなのかを判断しなくてはいけない事態になっています。
本来: 計15問ずつ 5 カテゴリに分けられた問題が存在し、プログラムがランダムに各カテゴリごとに10問を抽出、計 50 問が出題される。

現状: カテゴリごとに問題を抽出するプログラムが働かず、75問全体から 50 問がランダム出題された。

よって、あるカテゴリでは、3問出題された人もいれば、15問出題された人もいる、というような受験者によって出題数がまちまちになる、というミスが出てしまいました。

受験者に結果を見せる際、各カテゴリごとに何点取得したかを教えなければならないのですが、
3問答えた人が2問正解した場合と、12問答えた人が 8 問正解した場合、両者のテスト結果は 75 点である、ということは妥当な判定なのでしょうか。
このような場合、受験結果が公平になるような計算方法は存在しますでしょうか。
現在は、7～15問出題された人に関しての結果は妥当である (出題数が多くなれば確率的に妥当性が出る、と考え)、とし、6問以下しか出題されなかった人の結果には妥当性がない、という判断をしているのですが、いかがでしょうか。

わかりづらい質問かもしれませんが、アドバイスがございましたらよろしくお願いいたします。

回答No.2

jamf0421 · ベストアンサー

試料が無限あるいは十分に大きくないので数え上げになり素人には難しすぎですが一応計算して見ます。もっとスマートなコメントをされる方が出てこられたら本コメントはお忘れになって下さい。
前提として一つのカテゴリーの中で問題は等価な難しさとします。（違う問題を解かせる問題点はNo1さんのおっしゃられるとおりですが...)
15問のうち12問正解が出せる人がいたとします。
まず、3問しか解かなかったとします。3問の選択の仕方は15!/12!3!=455です。
0点の確率は3つはずれのものを選んだ場合ですから一通りしかなくて1/455。
1点の確率は二つはずれを選び一つ正解を選ぶやりかたですから、二つはずれを選ぶやり方は3!/2!1!=3、残りは正解の12個の中から１個選ぶやり方12ですから、掛け合わせて36通り。確率は36/455。
2点の確率は一つはずれを選ぶ確率です。はずれの選択の仕方で3!/2!1!=3、残りは正解の12個の中から二つ選択するやり方で12!/2!10!=66、かけ合せて198。確率は198/455。
3点の確率は、全問正解の選択の仕方で、はずれ三つを取り除けて12個から3個選ぶやり方ですから12!/9!3!=220。確率は220/455。
点数の期待値は0*(1/455)+1*(36/455)+2*(198/455)+3*(220/455)=2.4で、当然ですが3に12/15をかけた数字に一致します。
分散は
σ^2=(0-2.4)^2/455+36(1-2.4)^2/455+198(2-2.4)^2/455+220(3-2.4)^2/455=0.41
で、これの平方根をとるとσ=0.64になります。相対誤差（問題選択による揺らぎ）は1σで0.64/2.4=0.267（26.7%)になります。
同じ実力の人が7問解いたとします。全部の場合が合計15!/7!8!=6435、4点の確率が495/6435、5点の確率が2376/6435、6点の確率が2772/6435、7点の確率が792/6435となります。期待値は5.6点でこれは7に12/15をかけた数字に一致します。σ^2=0.64、σ=0.7999となり、相対誤差としては0.7999/5.6=0.143（14.3%）となります。確かに3問しかとかない場合より誤差は小さくなります。しかし相当な危険度がありますね。

お礼

jamf0421 様
ご回答頂き、ありがとうございます。
かなり複雑な工程が発生するのですね。私の仲間と検討させていただきます。かなり詳細までお教え頂き、ありがとうございました。

回答No.1

chie65536（@chie65535）

＞このような場合、受験結果が公平になるような計算方法は存在しますでしょうか。

受験結果が公平になるのは「全員に完全に同一の出題がされた時だけ」です。「カテゴリが同じなら、問題が違っても公平だ」というのは間違いで「妥当性に欠ける、不公平な出題」です。

もし、大学入試のセンター試験（昔で言う共通一次）で「科目ごとの出題数は同じだけど、受験者ごとに問題が違う」としたら「公平」と言えますか？それを「うん。実に公平だ」と言う人が居たら、ここに連れて来てみて下さい。

もし仮に出題アルゴリズムが「意図通りに動いていた」としても（つまり、各カテゴリからちゃんと１０題づつ出題されていたとしても）「違う問題が出題された時点で不公平」です。

そういう訳で、出題アルゴリズムにミスがあろうがなかろうが、ハナから不公平な出題がされているので、議論の余地はありません。

どう計算した所で、どう評価した所で「出題方法そのものに妥当性がない」ので「全員、完全に同じ問題にして、出題からやり直す」か「ハナから不公平だと割り切って、非論理的に適当に評価する」のどちらかです。

ともかく「議論の余地なし」です。

お礼

chie65535 様
ご回答、誠にありがとうございます。
確かに仰るとおり、
受験結果が公平になるのは「全員に完全に同一の出題がされた時だけ」
というのが根本的に正しいですね。
出題側とよく検討し、今後に生かしたいと思います。
ありがとうございました。