シャノンの結合エントロピーについて

質問

タイトルどおりシャノンの結合エントロピーについてなんですが
結合事象系Ａ，Ｂが存在する場合、

Pi = p(Ai ∩ Bj)

H(AB) = -∑∑Pij log Pij
　　　　= -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj)
　　　　= -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai)
.
.
.
H(AB)= H(A) + H(B | A)

という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。

参考書によると上記の式を基に

H(ABC) = -∑∑∑Pijk log Pijk

で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。
特に、条件付確率部分の展開がわかりません。

ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。

どなたかご教授お願いします。

回答No.2

stomachman · ベストアンサー

ANo.1のコメントについてです。

> p(Ai ∩ BjCk)

　∩と積の表記を使い分けていらっしゃるけれども、p(Ai ∩ BjCk)ってのは「AiとBjCkが同時に生じる確率」という意味であり、それは「AiとBjとCkが同時に生じる確率」と同じ事、すなわち普通の書き方をすればp(Ai, Bj, Ck)のことでしょう。
p(Ai, Bj, Ck) = p(Ai | Bj, Ck) p(Bj, Ck) = p(Bj | Ck, Ai) p(Ck, Ai) = p(Ck | Ai, Bj) p(Ai, Bj)
= p(Ai, Bj | Ck) p(Ck) = p(Bj, Ck | Ai) p(Ai) = p(Ck, Ai | Bj) p(Bj)
何も難しいことはないんじゃ？

> p(Ai),p(Bj),p(Ck)とそれぞれの生起確率で上記の2つの値を算出できるのでしょうか？

　2つ以上の系の結合エントロピーを考えているからには、系同士が独立ではないと仮定している。つまり、p(Ai),p(Bj),p(Ck)だけでは算出できないからこそ、結合エントロピーを求めているんじゃありませんかね。

> p(AilBjCk)
> p(BjCk)
> の値がでてきません。
> それともBiCkをひとつの事象系としてp（BiCk）を与えてあげないといけないのでしょうか？

　ご質問で「解法」と仰ってるのが引っ掛かってました。えーとですね、p(Bj, Ck)を使って書くか、p(Bj | Ck)を使って書くか、p(Ai, Bj, Ck)を使って書くか…は、目的によります。「値がでてきません」という話じゃなくて、「どういうデータを持っていて、それを使って何をしたいか」に合わせて式を作るんです。
　たとえば、H(A,B)を計算したい場合、H(A)とH(B|A)が幾らなのか分からないのなら
H(A,B) = H(A)+H(B|A)
という公式を知っていても意味ないですよね。その際に、もしp(Ai, Bj)が全部分かっているなら、単に
H(A,B) = -∑∑p(Ai, Bj) log(p(Ai, Bj))
を計算すりゃよくて、H(A)やH(B|A)なんざどうでも良いわけです。
　という風に、どういう式を構成するかは、その目的によるのです。
　で、ご質問の場合には、「H(A,B,C)やH(A,B|C)やH(A)その他いろいろ…の間に成り立つ様々な関係式を得たい」という漠然とした目的であろうかと思われますので、ならば様々な関係式を導いてみるとよろしいかと思います。

お礼

長文ありがとうございます。お手数かけます。

>　2つ以上の系の結合エントロピーを考えているからには、系同士が独立ではないと仮定している。つまり、p(Ai),p(Bj),p(Ck)だけでは算出できないからこそ、結合エントロピーを求めているんじゃありませんかね。

すいません、書き忘れてました。その３つだけでなくp(Ai|Bj),p(Ai|Ck),...と条件付確率も含めてです。

ほぼ独学なので、参考書の公式だよりに式を導いてるつもりなんですが、３つ以上の事象系での生起確率を導き出したことがありません。ですので

p(Ai,Bj,Ck)＝p(Ai | Bj, Ck) p(Bj, Ck) ＝・・・・

を知りませんでした。

>ご質問の場合には、「H(A,B,C)やH(A,B|C)やH(A)その他いろいろ…の間に成り立つ様々な関係式を得たい」という漠然とした目的であろうかと思われますので、ならば様々な関係式を導いてみるとよろしいかと思います。

漠然とした内容で申し訳ないです。文章を書くのが苦手なうえ、相手に物事を伝えるのが苦手でして。
ずばりいうと、求めたいのはp(Ai,Bj,Ck)です。
そして、書いてて気づいたのですが、書いていただいた

p(Ai,Bj,Ck)＝p(Ai | Bj, Ck) p(Bj, Ck)＝・・・

が私のほしい式でした。

あとは自力で導いて見ます。ありがとうございました。

回答No.1

stomachman

Pijk = p(Ai, Bj, Ck)
H(A,B,C)=-ΣΣΣPijk log(Pijk)
こりゃH(A,B,C)の定義ですな。

系Bと系Cをひとまとめにした系Dを考え、事象DjkとはBjとCkが共に生じること、すなわち
Djk = (Bj,Ck)
だと定義する。すると、
p(Djk)=p(Bj,Ck)
p(Ai | Djk) = p(Ai | Bj,Ck)
Pijk = p(Ai, Djk)
H(A,B,C) = H(A,D)
は自明。これで系２つが結合した場合に帰着するんでは？

補足

回答ありがとうございます。そこまでは私も考えました。
ですが、

p(AilBjCk)がわからないんです。

例えば、
結合エントロピーを求める上で

p(Ai ∩ BjCk)

の値が必要なのですが、これは

p(Ai ∩ BjCk) = p(BjCk)*p(AilBjCk)

となりますが、

p(AilBjCk)
p(BjCk)

の値がでてきません。

p(Ai),p(Bj),p(Ck)とそれぞれの生起確率で上記の2つの値を算出できるのでしょうか？
それともBiCkをひとつの事象系としてp（BiCk）を与えてあげないといけないのでしょうか？