システム(プログラム)の善し悪しの評価方法について、良い方法を教えて下さい
例えば、ある地震で家が10軒中3軒壊れたとします(10軒の家はNo.1~10とし、そのうち壊れた家はNo.1と5と10とします)。
地震で家が壊れる確率(%)は、様々なパラメータからあるシステム(プログラム)によって予想でき、上記10軒の家について事後予想したところ、それぞれの破壊確率が求まりました。仮に、No.1~10の破壊確率を10%、20%、30%、・・・90%、100%とすると、実際に壊れた家(No.1,5,10)の、このシステムによる破壊確率は、10%、50%、100%となります。
ここで、実被害を正解値として、このシステムの予想がどれだけ当たっているかを定量的に評価したいわけですが、とりあえず破壊確率の数値そのものには絶対的な意味はないとして、相対的な予想の的中率の度合いを知りたいとします。すなわち、システムによる破壊確率が高い順に並べた時に、実際に壊れた家がどれだけ上位に集まっているかという度合いを知りたいわけです。
上記例の場合、破壊確率が高い順に並べると、実際に壊れた家は、1位、5位、10位にランクされ、直感的には的中率は悪いとわかりますが、定量的な評価方法がわかりません。最初は、壊れた家の数(3軒)を基準に、破壊確率の上位3軒に実際に壊れた家が何軒ランクされるかの割合(今回の場合は3軒中1軒のみなので33%)を求めれば良いと考えたのですが、これですと外れた2軒が何位だろうが同じ評価結果となってしまいます(つまり、外れた2軒が例えば4位、5位の場合と、9位、10位の場合では、システム全体としての的中率は後者の方が悪いであろうということ)。
以上、わかりにくい説明ですが、よい方法がありましたらご教示下さい。
お礼
どーもです。早速試してみたいと思います。