マルコフ連鎖

質問

参考書にこのような例がありました：　コインを投げ続けた時、２回連続して裏が出るまでに必要とした（ランダムな）回数をNとする。ここでNの期待値をもとめるために、続けて裏の出た回数を状態空間０,１,２とするマルコフ連鎖を導入しよう。簡単のために「表」をH,「裏」をTと表記する。Tがでると、Tの数は１増加するが、Hがでると０にもどる。このとき推移確率行列は、
　　０　　１　　２
０　1/2 1/2 　 0
１ 1/2 　 0 　1/2
２ 0 　　0 　　1

となる。ここで、状態２にたどり着いた後は、この問題に関係がないので、状態２を吸収状態にしよう。１ステップ後を考えると以下の式が得られる。
h(0)=1+0.5h(9)+0.5h(1)
h(1)=1+0.5h(0)

私の分からない部分は、上記の二つの式の中で、なぜ１というのが加えられてるのでしょうか？この理由がどうしても分かりません。ご教授いただければと思います。

回答No.1

age_momo · ベストアンサー

独立試行における期待値の漸化式ですね。1が加えられる理由は端的に言って
『コインを一回振るから』です。もっと簡単な例で説明してみます。

全ての出目が1/6の確率のサイコロで1が出るまでサイコロを振る回数の期待値をEとします。
試行前は当然、E回振ったら1が出ることが期待されます。
1回振って、1以外が出てもサイコロの試行は独立ですから、その後も1が出るまでの振る回数の
期待値はEです。その状態になる確率は1以外が出る確率なので5/6です。だから
E=1+5/6E
が成立します。左辺のEは1回目に1以外が出て、その後の試行回数の期待値です。
右辺は最初にEで確率5/6で振り出しに戻るので1+5/6Eとなっています。
解けばE=6となります。参考書に『１ステップ後を考えると』とあるのは1回試行した後の
状態を言っています。(正確にはある期待値がある状態から一回試行した後)
もっともこの例だと確率1/6で試行が終わりますから
1/6E=1　⇒　E=6
も成立しています。

質問の問題の場合はやはり同じ理由で
h(0)=1+0.5h(0)+0.5h(1)　　←ここ数字が間違っていますね。
h(1)=1+0.5h(0)
が成立します。これを解いて期待値を求めることが出来ます。