平均情報量を求める問題ですが。。。。

質問

大学で情報処理の授業を取っているのですが、数学苦手なので全く解き方が分かりません。ご存知の方ぜひ助けていただきたいです。
ありがとうございます
問題です：

a:8.1% b:2.3% c:4.6% d:3.5% e:12.6% f:2.6%
g:2.0% h:4.4% i:7.9% j:0.5% k:0.5% i:4.0%
m:3.2% n:6.1% o:7.2% p:2.4% q:0.7% r:5.7%
s:6.0% t:8.5% u:2.9% v:1.2% w:1.0% x:0.9%
y:1.0% z:0.2%
アルファベットの出現の確率の平均情報量を求めよ

回答No.1

f272 · ベストアンサー

大学で情報処理の授業で「情報量」「平均情報量」をどのように定義していたのか？それをちゃんと言えるのならば、後はその定義に従って計算するだけです。まあ、計算自体も筆算でやるなら大変ですが、例えばMSエクセルを使えば簡単ですね。
ということで「平均情報量」とは何か、を補足に書いてみてください。

お礼

f272さん、ありがとうございます
平均情報量、つまりエントロピーを求めることだと思います。
私はこういう風に考えているのですが、正しいかどうかは全く自信がありません。
8.1%*{-log(2/26)} + 2.3%*{-log(2/26)} + 4.6%*{-log(2/26)} + 3.5%*{-log(2/26)} + 12.6%*{-log(2/26)} + 2.6%*{-log(2/26)} + 2.0%*{-log(2/26)} + 4.4%*{-log(2/26)} + 7.9%*{-log(2/26)} + 0.5%*{-log(2/26)} + 0.5%*{-log(2/26)} + 4.0%*{-log(2/26)} + 3.2%*{-log (2/26)} + 6.1%*{-log(2/26)} + 7.2%*{-log(2/26)} + 2.4%*{-log(2/26)} + 0.7%*{-log(2/26)} + 5.7%*{-log(2/26)} + 6.0%*{-log(2/26)} + 8.5%*{-log(2/26)} + 2.9%*{-log (2/26)} + 1.2%*{-log(2/26)} + 1.0%*{-log(2/26)} + 0.9%*{-log(2/26)} + 1.0%*{-log(2/26)} + 0.2%*{-log(2/26)} =エントロピー

回答No.2

f272

もし
8.1%*{-log(2/26)} + 2.3%*{-log(2/26)} + ... + 0.2%*{-log(2/26)} =エントロピー
だとしたら{-log(2/26)}の部分は同じなのだから、それをまとめて
（8.1% + 2.3% + ... + 0.2%）*{-log(2/26)} =エントロピー
と書けるはずだけど、（）の中身は計算したらわかる通り、1に等しいわけです。（実は計算しなくても確率を全部足せば1になることは当然ですね。）
すると
{-log(2/26)} =エントロピー
となってしまうわけだけど、本当にこれで正しいと思いますか？

事象Aの起こる確率がPのとき、その情報量は-logPであり、平均情報量とはその期待値であってΣ(P*(-logP))のことです。ただしlogの底は普通は2にしますし、Σはすべての場合を加えるという意味です。計算すると4.244くらいになるのでやってみてください。