実力差を出すために必要な試合数

質問

ある二人の実力差を出そうとすると直接対決で何試合くらいすれば統計的に信頼できるのでしょうか？
よろしければ計算方法なども教えてください。

回答No.2

MagicianKuma · ベストアンサー

>二人の実力差を予想して本数決定するしかないのでしょうか？
そうですね。あとはいくつかの仮定を設けましょう。たとえば、ベルヌーイ試行と仮定してみます。すなわち、各試合でAの勝つ確率pは一定で、勝つか負けるかのどちらかになりとします。
確率ｐは未知ですが、実際にn回試合をした結果の勝率をp'とすれば、p'の期待値はpとなります。分散はp(1-p)/nとなります。ラフな近似ですが、95%信頼区間で考えると、p'=p±2√(p(1-p)/n)となります。
この式で分かるように、nが大きくなるほど、p'の95%信頼範囲は小さくなります。なので、p>0.5(Aが強い)したときのp'の95%下限値 p'=p-2√(p(1-p)/n) が p=0.5（AB互角)としたときの95%上限値 0.5+2√(0.25/n) より大きければ実力差ありと推論できます。
p-2√(p(1-p)/n)≧0.5+2√(0.25/n) ここから、n≧((2√0.25+2√p(1-p))/(p-0.5))^2　となります。
例１：過去の対戦結果やその他の推定より、Aの勝率pを0.6と仮定します。n≧392でp'=0.55～0.65。（互角だったらp'=0.45～0.55）
例２：Aの勝率pを0.９と仮定します。n≧16でp'=0.75～1.0。（互角だったらp'=0.25～0.75）

お礼

回答ありがとうございました
やはり実際に統一ルールを決めるには、時間などと相談して考えたほうがいいですね。
納得できるわかりやすい内容でしたのでＢＡとさせていただきます。

回答No.1

MagicianKuma

統計学的にいうと、AがBより強いを直接示す方法はありません。ではどうするか、
まず、AとBは互角と仮定します。（これを帰無仮説といいます。）
で、実際に試合をした結果が互角と仮定したらありえないほど差が開いている。
その場合にAとBは互角とした仮定が間違っている。という推論をします。
じゃあ、何回試合したら良いのか?　はい答えはありません。　実力差によります。
5回試合をしてAが5勝0敗でした。互角と仮定するとこういうことが起きるのは3%です。これを滅多に起きないことだと考えれば互角ではありません。（95%信頼区間）
でも、3%でも起きうるのだから、何とも言えないとも言えます。（99%信頼区間）

補足

回答ありがとうございます。
では実際に優劣をつけるためのルールとしての本数はどのように決めればよいのでしょうか？
二人の実力差を予想して本数決定するしかないのでしょうか？
また実際そうするとしたら勝率何％くらいで何本必要とかは計算できるのでしょうか？