マルコフ連鎖の問題

質問

マルコフ連鎖に関する問題が分からなく困っています。

状態空間 S={1,2,3} で推移確率行列

　　｜1/4 1/2 1/4｜
Ｐ＝｜2/5 1/5 2/5｜
　　｜1/3 1/3 1/3｜

をもつ定常なマルコフ連鎖{Xn}に対して次の問いに答えよ。

(1)確率P( X2=2,X3=1 | X0=3,X1=2 )を求めよ
(2)確率P( X2=1 | X0=1 )を求めよ。
(3)lim【n→∞】P( Xn=2 | X=1 )を求めよ。

(1)のみ解答の目処が立っています。

まず(2)がよく分からないので、苦し紛れに状態遷移図を書いて考えてみたところ、(1/4)*(1/4)+(1/2)*(2/5)+(1/4)*(1/3)となるかなと考えてみたのですがどうでしょうか？

(3)についてはどう解いていったらいいのか分かりません。
よろしくお願いします。

回答No.1

fef

Markov連鎖における遷移行列の使い方を復習しましょう．

時刻 n で状態 i をもつ確率を q_i(n) と書くことにして，
第 i 列が q_i(n) である行ベクトル q(n) を構成します．
Markov連鎖の場合，遷移行列とよばれる行列 P を用いて，
q(n + 1) = q(n) P
と書けるのでしたね．

問題の(2)では，時刻 0 において確率 1 で状態 1 となっています．
つまり，
q(0) = [1 0 0]
です．
よって，時刻 2 において各状態にある確率は
q(2) = q(1) P = (q(0) P) P = [83/240 37/120 83/240]
と計算できます．

結局，今回，時刻 n において各状態にある確率は
q(n) = q(0) P^n
となるようです．
この主張を数学的帰納法によって証明し，(3)で使います．