情報 エントロピー

質問

お願いします！さっぱり分からないのです(ノ_＜)
どなたか解ける方いませんか⁇

問題:何か一つ具体的な「情報」を決めて、その情報量を次の1と2を踏まえた上で計算して求めて下さい。

1.あなたのもとへある情報がもたらされる前と後での、あなたの知識がもつエントロピーを
H前=H(p1,p2,•••,pn) H後=H(q1,q2,•••,qm)
で表すとする。この時の差
H前ーH後ビット
の値を、この情報の情報量と定める。

2.H前もH後も共に正である情報にして下さい。

回答No.1

alice_44 · ベストアンサー

勝手に一つ例を構成すればいいの？

テーブル上のノートの下に、
トランプ１枚か花札１枚かのどっちかが置いてある。
ノートをどけてみたら、トランプの背側が出てきた。
トランプをめくってみることは許されていない。
このカードの表が何かというと…

ノートをどける前は、トランプ５２枚花札４８枚の
どれだか分からないのだから、
各札の登場する見込みに差がないとすれば、
H前 = -(1/100)log(1/100)×100,
H後 = -(1/52)log(1/52)×52.
トランプの背が見えたことの情報量は、
H前 - H後 = log(100) - log(52).

エントロピーを Σ(-pi)(log pi) と定義するときの
log の底は、教科書や講義によって
e だったり 10 だったり 2 だったりするから、
ノートを見て確認してください。

あ、こんなのそのまま課題に書いて出したりしちゃ
ダメですよ。自分の例を構成しないと。

お礼

とっても参考になりました＾＾！

すごい嬉しかったです！！

わたしも勉強して、少しずつですが理解してきました＾＾