情報量の基本概念

質問

情報量に対しての基本的な考えについて聞きたいのですが対数と確率を使って情報量を定義するのはなぜかが知りたいです。特に確率をなぜ使うのかがよくつかめないです。

回答No.2

ymmasayan · ベストアンサー

確率はいつも１以下の少数か分数です。
又、起こりにくい現象ほど情報が多いということにします。
これを組み合わせてI(A) = -log2P(A)を情報量として表します。詳細は下記をどうぞ。

参考URL：

http://www.geocities.co.jp/WallStreet-Bull/6161/prob026.html

お礼

なるほど、情報量は驚きの量と聞いたのを思い出しました。貴重な事象、つまり確率の高い事象を情報量が多いと定義したので確率を使うのは必然なんですね。

回答No.1

nota55

あいまいな言い方になってしまうのですが，

情報量を語る際に，その絶対量を計測する事が不可能であれば，
それは確率・統計的に算出するより他に方法がないため。

ではないでしょうか。

また
・統計的にある数字を出すという事
と
・確率的にどのような数字に収束するか
という事が等価であるんじゃないかなぁ，と足らない頭
で考えております。