情報源符号化

質問

情報源符号化定理で，
M元情報源において
　　H(S^k) = kH(S)
が成り立つなら
　　H(S^k+1) = (k+1)H(S)
が成り立つことを証明せよ．
という問題なのですが・・・

これを証明する場合
M元の情報を例えば2元として
S^k+1のi番目の情報源記号をS_iとしてそのときの
生起確率をP(S_i)として
H(S^k+1) = -Σ^(2^k+1)_i=1P(S_i)log_2P(S_i)
を解いて証明するのでしょうか？

それともこの証明方法が根本的におかしいのでしょうか？（ M元のままで証明するべき？ ）

回答No.1

noname#21330

仮定にS^kの発生確率がS^k+1の発生確率のサブセットであるというようなことが必要と思いますが、次のようになると思います。

Piを各元の発生確率とする。
H(S)=-ΣPi*log(Pi)
　(i=1,---,M)

Qkを拡大した各元の発生確率とする。
H(S^k)=-ΣQk*log(Qk)=-kΣPi*log(Pi)
(k=1,--,M^k)

S^k+1は、S^kよりさらに情報拡大されますので、
各元の発生確率は、
Pi*Qk
(i=1,---,M)&(k=1,--,M^k)となり、

H(S^k+1)=-ΣΣPi*Qk*log(Pi*Qk)
=-ΣΣPi*Qk*(log(Pi)+log(Qk))
=-ΣΣPi*Qk*log(Pi)-ΣΣPi*Qk*log(Qk)

ΣQk=1,ΣPi=1なので、
　　　　=-ΣPi*log(Pi)-ΣQk*log(Qk)
=-(k+1)ΣPi*log(Pi)

お礼

ありがとうございました．
何とか解決することができました．