エントロピー

質問

トランプのカードを集合S={A,2,3}T={4,5,6,7}U={8,9}V={10,J,Q,K}に分割したとき、引いたカードが集合 S,T,U,V に属する確率 Ps,Pt,Pu,Pv を求めて、確率分布(Ps,Pt,Pu,Pv)のエントロピーを求めよ。ただし、logの計算をする必要はない。
この問題で Ps=3/13,Pt=4/13,Pu=2/13,Pv4/13 と理解できるのですが、エントロピーの部分がよくわかりません。エントロピーの式と解説を教えてほしいです。よろしくお願いします。

回答No.1

takana049 · ベストアンサー

Shannonという人の提案によって、確率pの事象が発生したことを我々が知ったとき、我々が得る情報量はlog(1/p)とし、その単位はbitと呼ぼうということになっています（logの底は2とします）。例えば確率1/2の事象が発生したことを知ったときの情報量はlog(1/(1/2))=log2=1bitです。同様に確率1/8の事象が発生したことを知ったときの情報量はlog(1/(1/8))=log8=3bitです。これは、起こりにくい事象が起こったことを知ったときのほうが、我々が得る情報量は大きいという我々の感覚に一致します。
お尋ねのケースでは、事象Sが生じたという情報が持つ情報量は、log(1/Ps)=log(13/3)=2.1bitです。、同様に事象Tでは、log(1/Pｔ)=log(13/4)=1.7bit、事象Uでは、log(1/Pu)=log(13/2)=2.7bit、事象Vでは、log(1/Pv)=log(13/4)=1.7bit となります。

ここで、これら4つの事象の内、どれか1つの事象が生じたことを我々が知ったときの、我々が得る情報量の期待値（平均値）Hを考えます。各事象iが情報量log(1/pi) bitを持ち、その事象iが発生する確率がpiですから、どれか1つの事象が生じたことを我々が知ったときの情報量の期待値は、Σpi*log(1/pi) bitで与えられることがわかります（総和Σは今の場合i=1から4に渡ります）。この期待値が，確率分布(Ps,Pt,Pu,Pv)のエントロピーHと呼ばれる量です。したがってエントロピーHの定義は、

H=Σpi*log(1/pi)=-ΣPi*log(Pi) [単位：bit] （総和の i は全事象に渡る）

となります。お尋ねのケースでは、H = -Ps*log(Ps)-Pt*log(Pt)-Pu*log(Pu)-Pv*log(Pv) bit となります。

お礼

とても役にたちそうです。詳しい回答ありがとうございました。

回答No.2

keikan

この辺でどうかな？＾＾；；

http://www.econ.hit-u.ac.jp/~tanaka/mathsta/chap7.pdf

参考URL：

http://www.econ.hit-u.ac.jp/~tanaka/mathsta/chap7.pdf

お礼

ありがとうございました。