単純マフコフ情報源のエントロピー

質問

単純マフコフ情報源のエントロピーの式のイメージがいまいちつかめません。

H(Xt) = H(Xt|Xt-1)

ということで、一つ前の生起した記号がわかっている条件下でのXt、ということだと思うのですが、なぜ条件付きエントロピーにするのでしょうか？

よろしくお願いします。

回答No.1

noname#64223 · ベストアンサー

まず、
「単純マフコフ」→「単純マルコフ」ですね？

単純マルコフの定義は、
http://www.akita-pu.ac.jp/system/elect/comp1/kusakari/japanese/teaching/InfoTheo/2006/note/4p.pdf
にあるように、
P(Xt|Xt-1)
つまり、「直前の生成された記号よって、次記号の発生確率が変化
する情報源」です。

エントロピーはＰの関数ですので、
H(Xt) = H(Xt|Xt-1)
となります。
従って、単純マルコフの定義から来るものです。

ちなみに、
エントロピーの定義は、
http://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F
にあります。

お礼

回答ありがとうございます。