エントロピーの計算について

質問

問題が解けないので投稿しました。

サイコロゲームのD,A,B,C,E 5人のそれぞれの目の出る確率分布が、Pd＝（1/6 ,1/6 ,1/6 ,1/6 ,1/6） Pa＝（1/3 , 0, 0, 1/3, 1/3, 0)　Pb＝（1/2, 0, 0, 0, 1/2, 0） Pc＝（0, 0, 1, 0, 0, 0）　Pe＝(1/4, 0, 0, 1/4, 1/4, 1/4)とするとき、(i)それぞれの情報エントロピーを求めよ。(ii)また、Dに対するほかの4人の相対エントロピーを求めよ。

全くわからないので途中式とか書いていただくと助かります。
よろしくお願いします。

回答No.1

muturajcp

(1)
Hd=-6(1/6)log(1/6)=log6
Ha=-3(1/3)log(1/3)=log3
Hb=-2(1/2)log(1/2)=log2
Hc=-log1=0
He=-4(1/4)log(1/4)=log4

(2)
H(a|d)=3(1/3)log((1/3)/(1/6))=log2
H(b|d)=2(1/2)log((1/2)/(1/6))=log3
H(c|d)=log(1/(1/6))=log6
H(e|d)=4(1/4)log((1/4)/(1/6))=log(3/2)