相互情報量について

質問

1,2,3,4が等確率で現れる確率変数をA，
それが偶数か奇数である確率変数をBとします．
相互情報量I(A|B)を求めましょう．

という問題です．

これを求めていく際に必要となるP(A∧B)が分かりません．
それ以前に，相互情報量が何なのかもよく分かっていないと思います．
どうかご教授お願いいたします．

回答No.1

stomachman · ベストアンサー

回答が付かないのは、宿題の丸投げっぽく見えるからなのか、あるいは解説できる人が見ていないからなのか。

　ご質問に「P(A∧B)」とお書きですけれども、Aは「1」～「4」という記号、Bは「奇数」か「偶数」という記号ですから、記号同士のandを取るなんて式には意味がありません。andを取る対象は命題（論理式）でなきゃ駄目です。で、計算に必要なのは
P(A=1 ∧ B=偶数), P(A=1 ∧ B=奇数), P(A=2 ∧ B=偶数), P(A=2 ∧ B=奇数), …　
それぞれの値です。

> 相互情報量が何なのかもよく分かっていない

教材、あるいは講義（授業？）で説明しているのと同じ説明しかできないと思いますが、

[1] 「Aが1から4のどれであるかは知らないが、1から4のの生起確率が皆同じだとだけ知っている」ものとします。なので、この時点で分かっているのは
P(A=1) = P(A=2) = P(A=3) = P(A=4) = 1/4。
ということだけです。さて、この状況で、もし「A=1」だと知ったとすると、それによって得られる情報量は
-log(P(A=1)) = 2 [shannon]
(A=2,3,4についても同様）
です。

[2] Aを知らなくても、Bを知っているとAがどれであるかが絞れる。たとえば「(Aが何であるか知る前に）「B=奇数」と知っている」のなら、「B=奇数」であるときのAの確率分布（すなわち条件付き確率分布）は
P(A=1|B=奇数) = P(A=3|B=奇数) =1/2, P(A=2|B=奇数) = P(A=4|B=奇数) = 0。
です。この状況で、もし「A=1」だと知ったとすると、それによって得られる情報量は
-log(P(A=1|B=奇数)) = 1 [shannon]
である。

[3] 従って、「(Aを知る前に）Bを知っている」ということが担っている情報量は、
-log(P(A=1)) - (-log(P(A=1|B=奇数))) = 1 [shannon]
である。この式の左辺はベイズの定理より
左辺 = log( P(A=1|B=奇数) / P(A=1))
= log( P(A=1 ∧ B=奇数) / (P(A=1)P(B=奇数)))
とも書けます。
P(A=1 ∧ B=奇数)というのは、「「A=1であり、しかもB=奇数である」ということが生じる確率」です。

[4] この、「「あらかじめBがある値bだと知っているときに、Aがある値aだと知った」という状況において、「あらかじめBを知っていた」という事実が担っていた情報量」を、そういう状況が起こる生起確率P(A=a ∧ B=b)で重み付けして平均したもの、（つまり期待値）が相互情報量I(A; B)です。

お礼

stomachmanさん，ご回答ありがとうございます．
遅くなってしまい申し訳ありません．

＞andを取る対象は命題（論理式）でなきゃ駄目です。
おっしゃる通りですね．

丁寧な解説ありがとうございます．
相互情報量は，事前条件がわかっている時の情報量の変化量ということですね．