質問と回答の整合性を評価するには？

質問

ある質問に対して，適切な回答が行われたかどうかの評価をしたいのですが，何か良い手法はありませんか？

たとえば，質問事項として，ある集団（A)の体重と身長を知りたい．
その解答として，（A）の体重は確率分布を使って，その95％信頼区間まで正確に答えることができた．しかし，身長については，（A）とよく似た集団（B)の身長しかわからなかったので，集団（B)の身長を使って，その不確実性を評価した．または，身長については，まったくわからなかったので，回答を与えなかった．
この質問に対する回答の整合性は，体重の方が身長より，良い．このような評価を定量的にしたいのですが，何か良い方法があれば，教えてください．

回答No.1

tnt

これだとスコア法が適切ではないでしょうか？

質問事項を細分化します。
ご質問の例だと、身長に５点。体重に５点。
更に、ある程度の目安をつくります。
集団の平均＝３点、集団の平均と分布＝４点、
更に信頼区間が求めてあれば５点。
それぞれに不確実な部分があったら－１、
それぞれに誤りや無理があったら－２（－１とは重複しない）

95%区間まで出てれば５点ですが、
母集団が違っていたら４点（ただし母集団が似ていることが条件）
母集団の似ていないものを使っていたら３点
無回答は０点ですね。

これを項目ごと（この場合は身長体重の２つ）に出して、足して
評価するのです。

もしも、複雑な回答を重視するなら２乗平均にすると
方項目でも高得点を挙げたほうが有利になります。

また、正確さを重視するなら、母集団が違うときの減点を増やす
事で対処できます。

恣意的な点数配分が出来てしまうのが欠点ですが、
それさえうまく説明できる配点であれば使いやすい方法です。

お礼

お礼がおそくなりましたが，どうもありがとうございました．