エントロピーを計算？

質問

こんにちは、大学のレポートでエントロピーを実際に計算しろ。
というものが出てしまって困っています。
実際講義では一切計算には触れていないので、何がなんだかよくわかりません。
説明で
○言語Lにおいて、単語列w1w2…wkの出現確率をP(w1w2…wk)
とすれば、言語LのエントロピーH0(L)は次式で定義される。
　H0(L)=-ΣP(w1w2・・・wk) log2 P(w1w2・・・wk)
○１単語あたりのエントロピーH(L)
　H(L) = -Σ1/kP(w1w2・・・wk) log2 P(w1w2・・・wk)
○パープレキシティ
　Fp(L)=2H(L)

問題の例は、
●10個の数字が等確立で発生される場合
解：H=-Σ9 i=0 p(i)log2p(i)= 10 × log2 10/10= 3.32(bits)
となるようです。
Σの上と下に付く数字はΣの後ろについてる「9」と「i=0」です。

問題は
●10個の数字のうち、0の確率が0.91で、残りの数字がそれぞれ0.01である場合
●「はい」「いいえ」の2単語が等確率で発生される場合

というものです。
是非、分かるかた教えてください。お願いします。

回答No.1

noname#94461

情報理論の講義を受けられた訳でしょう?
その中でエントロピーの式の意味があと一つピンとこないのであれば、
関連情報を自分で探せばWikipedia:情報理論など色々と見つかります。
(情報理論、単語、情報量、エントロピー (言語、出現確率、暗号化...))　等でサーチ

それらの理解をまずはかってください。
答だけ求めても意味が無いでしょう。

結果は　3.11 及び　1 ですので確認に使って下さい。

お礼

自分で探せですか、それじゃぁOKWaveが存在する意味がないですね。