情報量の平均値

質問

現在，仕事の関係で独学で”情報学”を学んでいます。
そこで，悪戦苦闘している問題がありますので，それを解くための考え方などを教えてください。
それは，

「つぼA，Bにそれぞれ20個ずつの玉がつぎのように入ってて，これらのつぼから玉を1個ずつ取り出した時，玉の色について得られる情報量の平均値はいくらか？」

　　　白玉　黒玉　赤玉　
つぼA　10　　5　　　5
つぼB　　8　　8　　　4

という問題です．

この問題には，統計の知識も必要ですし，当然情報学の知識も必要だと思います。

また，”情報量の平均値”と”平均情報量”というのは違うのでしょうか。深く考えすぎて，混乱しています。

回答No.1

noname#5537 · ベストアンサー

”情報量の平均値”とは”平均情報量”のことを言っていると思います。
というわけで平均情報量(エントロピー)の求め方を説明します。

まず，つぼAから玉を1つ取り出した結果 (X) の平均情報量 H(X) は，
平均情報量の定義から以下のように求められます。

　　 確率　 情報量
白　10/20　-log(10/20)
黒　 5/20　-log(5/20)
赤　 5/20　-log(5/20)

H(X) = (10/20)*{-log(10/20)} + (5/20)*{-log(5/20)} + (5/20)*{-log(5/20)}

同様に，つぼBから玉を1つ取り出した結果 (Y) の平均情報量 H(Y) は，
以下のように求められます。

　　 確率　 情報量
白　 8/20　-log(8/20)
黒　 8/20　-log(4/20)
赤　 4/20　-log(4/20)

H(Y) = (8/20)*{-log(8/20)} + (8/20)*{-log(8/20)} + (4/20)*{-log(4/20)}

最終的に求めたいのは，
「つぼAから玉を1つ取り出した結果」と「つぼBから玉を1つ取り出した結果」の結合エントロピー H(X,Y) です。
つぼAから1つ取り出す試行とつぼBから1つ取り出す試行とは独立と考えられるので，
　H(X,Y) = H(X) + H(Y)
となります。

尚，以下のようにして直接 H(X,Y) を求めることも出来ます。

ＡＢ　確率　情報量
白白　Pww　-log(Pww)
白黒　Pwb　-log(Pwb)
白赤　Pwr　-log(Pwr)
黒白　Pbw　-log(Pbw)
（以下略）

H(X,Y) = Pww*{-log(Pww)} + Pwb*{-log(Pwb)} + Pwr*{-log(Pwr)} + Pbw*{-log(Pbw)} + …

※対数の底はなんでも構いませんが，例えば 2 とすれば情報量の単位は bit になります。

お礼

”情報量の平均値”と”平均情報量”がわかり非常にスキッリしました。
また，私は最後の結合エントロピーの理解が不充分だったこともわかりました。
とにもかくにも大変助かりました。ありがとうございました。