情報量？エントロピー？

質問

大学の講義で、「情報量」と「エントロピー」について習いました。でもいまいち２つの違いが分かりません(>_<)　式も似てますし…。
おバカな私でも分かる様に誰か説明してください（ToT)

回答No.2

ma_

長い間の平均情報量は、log21/pで得た情報量に確率をかけると求められる。これは次のような公式になる。
　Ｈ　＝　plog21/p＋（1-p）log21/（1-p）
　このＨをエントロピーと呼ぶ。

これが難しい説明。

情報量とは、受け手の知識の増加分であり受け手の不確かさの減少分です。

エントロピーとは「無秩序さ」、「あいまいさ」 、「不確実性」、「不明確さ」を表すものです。

下記サイトは、もっと簡単に説明されています。

参考URL：

http://www.ges.kurume-nct.ac.jp/~yt2001/Yt/essay/E020302.html

回答No.1

gootara01

このURLはどうですか？
例もあってかなりわかりやすいと思いますが。

http://www.sens.ee.saga-u.ac.jp/wakuya/lecture/intro-comp_h13/lecture-010618.htm

参考URL：

http://lecture.ecc.u-tokyo.ac.jp/~quenitox/000517-2.html