0か1をとる約1290個の実測値列に関して、ある推定法が他より優れている事を示すには？

質問

どうしたら良いでしょうか。測定値と、推定値がともに実数だと、相関係数を取って、その値が１に近いほど、優秀な推定値だというと聞いたことが在ります。

今回私が悩んでいる場合のように、測定値と、（複数ある推定方法から一つ選んだ推定方法での）推定値がともに、0か１です。この場合、実測値と推定値の相互の、相関係数、を算出し、その値の大きさから、その推定方法が（他の推定方法に比べて）優秀であると、主張する、ことはできるのでしょうか。あと、こういう、０，１の値の場合用に、ぴったり使える、特殊な相関係数算出方法は、世の中にはあるのでしょうか。

今、質問を書いていて気づいたことですが、測定値と、推定値との間で、合致した個数を、複数の推定法の間で、シンプルに比較したら、それはそれで、ある特定の推定方法の結果の優秀さをアピールすることになるのかな、と。。。そんな気もしてきました。しかしあまり見栄えがよくないような。。。

相関係数という概念はこういう０，１の場合、使えないのでしょか。

何かの課題ではありません。どうぞよろしくお願い致します。

回答No.4

stomachman

0か1の値しか取らない出力をどんどん出す信号源があって、次の信号が0であるか1であるかを予測する方式が幾つかある。
予測が当たったか外れたかだけを問題にして、なるべく当りが多い方式を「優秀」としたい、というのであれば、当りが多かった方式を採用すれば良い。
それだけじゃダメで、「有意に当りが多いのか、あるいはたまたま偶然よく当たったかも知れないのかを判別したい」ということですと、まず信号源が1を出す確率を推定して、それに基づいて統計的検定を行うことになります。

しかしもうちょっとマジメに考えますと、「優秀」さの評価は0,1の意味や用途に依るんです。例えば「1/100の確率で1が出る。1が出たら君んちを爆破するよ」と言われていたら、1が出るものと予測して逃げるのが正解。この場合予測は99%外れるわけですが、それでも1と予測する予測法の方が0と予測する方式より「優秀」ですよね。

そんな訳で、信号の意味・価値を考慮せずに、一般にどの方式が「優秀」かを論じることはできないでしょう。

回答No.3

ymmasayan

間違ってたらすみません。
単純に考えて４つのエリアに分けます。
ａ：（予測＝０：実測=０）の件数
ｂ：（予測＝０：実測=１）の件数
ｃ：（予測＝１：実測=０）の件数
ｄ：（予測＝１：実測=１）の件数　

（ａ＋ｄ）／（ａ＋ｂ＋ｃ＋ｄ）が相関係数になりませんか。

回答No.2

tnt

すみません。その１と０の、順番、もしくは
パターンは、必要ですか？

つまり、11001010を1の確率50％　とするのか、
1（またはゼロ）の連続する確率25％（もしくは５０％）とするのか、
010というパターンの出る回数２回とするのか

これによって、回答は大きく変わると思います。
1270回目に１が出ることを予測するかどうか　なんてのもありますね。

回答No.1

sen-sen

１を取る確率が推定法によって異なるかどうかを調べてみたいということであれば、１の値の数を集計してフィッシャーの正確確率計算法を使うか二項分布を使うかロジステイック回帰分析を行うのはいかがでしょうか。