エントロピーを求める問題

質問

事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。

この問題の解き方がわかる方教えてください。

回答No.2

alice_44 · ベストアンサー

P(a1) = P(a1,b1) + P(a1,b2),
P(a2) = P(a2,b1) + P(a2,b2),
P(b1) = P(a1,b1) + P(a2,b1),
P(b2) = P(a1,b2) + P(a2,b2).

H(A) = - P(a1) logP(a1) - P(a2) logP(a2),
H(B) = - P(b1) logP(b1) - P(b2) logP(b2).

というだけなんだけどな。

log の底は、教科書や講義によって
e の場合と 2 の場合があるから、
自分とこのを要確認。

お礼

回答ありがとうございます。結合確率について教科書にほとんど載っていなかったため苦戦していましたがとても助かりました。

回答No.1

alice_44

地道に定義どおり…
周辺確率 P(a1), P(a2), P(b1), P(b2) を求めて、
H(A), H(B) の定義式へ代入する。
どこが解らないの？ やったことを
補足に書いてごらんよ。