マルコフ連鎖（確率過程）に関する問題です！

質問

マルコフ連鎖に関する質問です。
下のマルコフ連鎖について

１、定常分布
２、既約になるための必要十分条件
３、ｐ１＝ｐ２＝１／２、ｑ１＝０、ｑ２＝１のとき(1)、(3)の再帰性を調べよ

という3問がわからず困ってます。

＜マルコフ連鎖＞
ｒ：(1)から(1)に戻る確率 （ｒ＝１－ｐ１－ｑ１）
ｐ１：(1)から(2)へ移る確率
ｐ２：(2)から(3)へ移る確率
ｑ１：(1)から(3)へ移る確率
ｑ２：(3)から(2)
１－ｐ２：(2)から(1)
１ーｑ２：(3)から(1)

説明がわかりにくくて申し訳ありません。
かなり困っているので、よろしくお願い致します

回答No.1

muturajcp

1
(1),(2),(3)の状態割合をx,y,zとする
xr+y(1-p2)+z(1-q2)=x

x(r-1)+y(1-p2)+z(1-q2)=0
xp1+zq2=y
xq1+yp2=z

(1-p2)(y/x)+(1-q2)(z/x)=1-r
(y/x)+(-q2)(z/x)=p1
(-p2)(y/x)+(z/x)=q1

(y/x)+(-q2)(z/x)=p1
(-p2q2)(y/x)+q2(z/x)=q1q2

(y/x)=(p1+q1q2)/(1-p2q2)
(z/x)=(q1+p1p2)/(1-p2q2)

x:y:z=1-p2q2:p1+q1q2:q1+p1p2
∴定常分布{p(1),p(2),p(3)}は
p(1)=(1-p2q2)/{1-p2q2+(1-r)(1+p2)}
p(2)=(p1+q1q2)/{1-p2q2+(1-r)(1+p2)}
p(3)=(q1+p1p2)/{1-p2q2+(1-r)(1+p2)}

2
既約になるための必要十分条件は
(r≠1)又は(p2≠1)又は(q2≠1)
である

X={(1),(2),(3)}
とする
(r=1)&(p2=1)&(q2=1)のとき
S={(1)}
とすると
(1)から(2)へ移る確率p1=1-q1-r=0
(1)から(3)へ移る確率q1=1-p1-r=0
だから
Sは閉じている
(2)から(1)へ移る確率1-p2=0
(3)から(1)へ移る確率1-q2=0
だから
X-Sは閉じている
X=S∪(X-S)だから
Xは既約でない

Xは既約でないならば
X=A∪(X-A)
A≠φ
X-A≠φ
A,X-Aは閉じている
となるAがある
A≠φ,X-A≠φだから
|A|=1又は|A|=2
だから
|A|=2のときS=X-A
|A|=1のときS=A
とすると
|S|=1
となる
S={(2)}のときは
(2)から(3)へ移る確率p2=0
(2)から(1)へ移る確率1-p2=0
0=p2=1となって矛盾するからS≠{(2)}
S={(3)}のときは
(3)から(2)へ移る確率q2=0
(3)から(1)へ移る確率1-q2=0
0=q2=1となって矛盾するからS≠{(3)}
だから
S={(1)}
Sは閉じているから
(1)から(2)へ移る確率p1=0
(1)から(3)へ移る確率q1=0
だから
r=1-p1-q1=1
X-Sは閉じているから
(2)から(1)へ移る確率1-p2=0
p2=1
(3)から(1)へ移る確率1-q2=0
q2=1
∴
(r=1)&(p2=1)&(q2=1)

3
p1=p2=1/2
q1=0
q2=1

K11(1)=r=1-p1-q1=1/2
だから
(1)は非周期的である
K11(2n)=(p1+q1-p1p2-q1q2)(p2q2)^{n-1}=1/2^{n+1}
K11(2n+1)={p1p2+q1q2-(p1+q1)p2q2}(p2q2)^{n-1}=0

L11=Σ_{t=1～∞}K11(t)=Σ_{n=1～∞}1/2^n=(1/2)/(1-1/2)=1
だから
(1)は再帰的である

K33(1)=0
n≧2
K33(n)=(1/√5)[{(1+√5)/4}^{n-3}-{(1-√5)/4}^{n-3}]/4

L33=Σ_{t=1～∞}K33(t)=lim_{n→∞}{1-(2/√5)[{(1+√5)/4}^n-{(1-√5)/4}^n]}=1
だから
(3)は再帰的である