確率の問題を教えてください。

質問

図はマルコフ連鎖の１ステップの確率を表している。状態4,5は吸収状態である。このとき
・現在状態2にある場合、最終的に状態5に到達する確率を求めよ。

・現在状態２にある場合、吸収状態4または５に到達するまでの平均ステップ数を求めよ

という問題なのですが、

状態1となる確率をpn、状態2となる確率をqn,状態3となる確率をrnとおいて
p_n+1=1/3*pn+1/3*qn+1/3*rn
q_n+1=1/3*pn+1/3*rn
r_n+1=1/3*pn+1/3*qn

とおいてみたのですが解き方がわかりません。
また考え方もあっているかわからないです。
どのように解くか教えてください。
よろしくお願いします。

回答No.1

yyssaa · ベストアンサー

取り敢えず1問目を回答します。
・現在状態2にある場合、最終的に状態5に到達する確率を求めよ。
＞状態iから状態jへ到達する確率をP(i,j)、状態iから
最終的に状態5に到達する確率をQ(i)とする。
P(1,1)=P(1,2)=P(1,3)=P(2,1)=P(2,3)=P(2,4)=P(3,1)
=P(3,2)=P(3,5)=1/3
Q(4)=0、Q(5)=1
Q(1)=P(1,1)*Q(1)+P(1,2)*Q(2)+P(1,3)*Q(3)=1/3{Q(1)+Q(2)+Q(3)}
Q(2)=P(2,1)*Q(1)+P(2,3)*Q(3)+P(2,4)*Q(4)=1/3{Q(1)+Q(3)}
Q(3)=P(3,1)*Q(1)+P(3,2)*Q(2)+P(3,5)*Q(5)=1/3{Q(1)+Q(2)+1}
以上3式を整理すると
-2Q(1) +Q(2) +Q(3)=0
Q(1)-3Q(2) +Q(3)=0
Q(1) +Q(2)-3Q(3)=-1
これを解いてQ(2)を求めるとQ(2)=3/8
よって
現在状態2にある場合、最終的に状態5に到達する確率は3/8・・・答え

お礼

回答ありがとうございます。
非常にわかりやすく
理解することができました。

もしよろしければもう一方の問題も
教えていただけると助かります。

またマルコフ連鎖の確率を初めてみたのですが
マルコフ連鎖を調べてもあまり理解できませんでした。

このような問題の場合はyyssaaさんのように解くのが
定石なのでしょうか？

回答No.2

yyssaa

マルコフ連鎖に詳しいわけではないので、回答はあくまで
参考になさって下さい。
問２
・現在状態２にある場合、吸収状態4または５に到達するまでの平均ステップ数を求めよ
＞状態iから吸収状態4または５に到達するまでの平均ステップ数をR(i)
とする。
R(4)=R(5)=0
R(1)=1/3{R(1)+1+R(2)+1+R(3)+1}=1/3{R(1)+R(2)+R(3)+3}
R(2)=1/3{R(1)+1+R(3)+1+R(4)+1}=1/3{R(1)+R(3)+3}
R(3)=1/3{R(1)+1+R(2)+1+R(5)+1}=1/3{R(1)+R(2)+3}
以上3式を整理すると
-2R(1) +R(2) +R(3)=-3
R(1)-3R(2) +R(3)=-3
R(1) +R(2)-3R(3)=-3
これを解いてR(2)を求めるとR(2)=9/2=4.5
よって、現在状態２にある場合、吸収状態4または５に到達するまでの
平均ステップ数は9/2・・・答え

お礼

回答ありがとうございます

参考にさせていただきます。