シャノンの「情報」定義って？

質問

シャノンの情報の定義を調べていくと、「起こりうる事象がいくつか考えられ，そのうちどれが実際に起こるかが不確定であるとき，そのエントロピーを減少させる働きを持つもの」「いま、起こりうる状況として、Z1, Z2, Z3 … Znが考えられるが、このうちどれが実際に起こるかが、完全に明らかではないものとする。そのとき、この体系は「一定量の不確実性を持っている」というが、この不確実性の量を減らすもの」云々などを得ることができたのですが、はっきり言ってどんなものなのかイマイチよく分かりません。シャノンの情報定義とはそもそも何なのか、また、シャノンの情報理論による、具体的なメリット・恩恵や影響にはどんなものがあるのか、分かりやすく教えていただけたら嬉しいです。また、高校生でも分かるような参考書などがあれば教えて頂きたいです。

回答No.2

hatman34 · ベストアンサー

高校生なら、対数は理解していますよね。

例から入るのが分かりやすいですね（良くある例ですが）
一枚のコインを投げて、その裏表を知ったときにえられる情報量を情報の基本単位（bit)と考えます。二つに一つの選択によって情報が得られたわけです。でもね、コインがインチキ（常に表が出る）だったら結果を知ってもえられる情報量はゼロです。
次に4分の1の確率で起こる事象を、結果として知ればそのときの情報量は何ビットなんだろうと考えるわけです。これはコイン（インチキでないコイン）を2回投げて表が2回出る確率は4分の1ですよね。この時得られる情報は1ビットx2回で2ビットになるはず。

以上を一般化してＮ分の１の確率で起こる事象が、起こったことを知ればその情報量はlogN（底は２）となります。

以上がシャノンの情報量の定義です。

－－－－－－－－－－－－－
次にメリット・用途ですが、これは説明しにくい。
通信とか暗号などの分野での理論的基礎になります。
たとえばFAXを考えると、原稿を走査して白黒（数字で言うと2進法の１と０）の点（画素）の集まりと考えます。安易に考えると点の数だけ「１または０」を送ればFAXを送ることになるんですが、統計的には黒点、白点は連続する確率が高いですよね。そこで、シャノンの情報量の定義によれば、FAX原稿に含まれる情報量はｎbit（ｎは原稿の画素数）より小さいので、符号化を工夫すると、もっと高効率に通信できます。そういう符号化を圧縮符号化と言います。シャノンの情報量は圧縮の理論限界を与えてくれます。

－－－－－－－－－－－－－－－－
大学生向けですが、高校数学でも理解できる名著として
瀧 保夫 著「通信方式」が電子通信学会から出ているはずです。

お礼

ご回答、ありがとうございます。
特にメリットを答えて頂けたので、シャノンの情報量の定義が具体的なものとして見えてきました。参考文献を調べてみたいと思います。とても参考になりました、ありがとうございます。

回答No.3

Teleskope

文面から推察して面白話の方を；

>>「起こりうる事象がいくつか考えられ，
>>どれが実際に起こるか不確定であるとき
>>そのエントロピーを減少させるもの」

↑↓

＞「起こりうる事象がいくつか考えられ，
＞どれが実際に起こるか不確定であるとき
＞確実さが増す見聞を得れば「情報を得た」という」

良く知られた批判がある。それを引用したサイトがあったので以下に抜粋；

<!--
（前略）
　今やエントロピーという言葉は、乱れの渦中にある。例えば情報論では、熱学エントロピーが、
　　Ｓ　＝　ｋlogＷ　　　（Ａ２９）
　と書くことができ、それが情報量
　　Ｈ　＝　logＷ’　　　（Ａ３０）
　と似ているというだけで、情報量に情報エントロピーという名前を付けている。もっと良く似せるために、
　　Ｈ　＝　ＫlogＷ’、Ｋ＝１　　　（Ａ３１）
という表現さえ用いる。熱学の場合のｋはボルツマン定数という物理学的な基本定数である。しかし、情報論のＫはどんなにこじつけても意味は見いだせない。だから、情報エントロピーという呼び方は不当である。
　熱学エントロピーは巨大数の法則であり、増大の法則である。情報論ではこういう基本的なことを無視している。また、情報量にエントロピーという別名をつけることによって、情報論はなにも利益を得ていない。情報論の教科書からエントロピーという言葉とその説明を全部消し去っても、情報論に関する「情報」は何一つ失われないのである。
　エントロピーに関する言語の乱れは、他にもある。今度は、物理学者自身が原因になっている。エントロピーは、微視的な「乱雑度」とか「無秩序」という意味である。微視的とは、原子や分子の世界のことなのだが、このことを忘れて「整頓した部屋はいつの間にか乱雑になる。これはエントロピーの増大である」などと言う物理学者がいる。これは明らかに間違いである。エントロピー則は、巨大数の法則であって、少数の構成要素の系には適用できないのだ。部屋の中が良く整頓されているか、乱雑であるかは、可能な一つの配置が出現しただけであって、エントロピーとは関係ない。
特にひどい比喩的エントロピーの文献を上げると、
　　都築卓司『マックスウェルの悪魔』、堀淳一『エントロピーとは何か』（いずれもブルーバックス）がある。
　また、最近の経済学の論文には、盛んにエントロピーという言葉が使われるようになった。この多くは「無秩序」という言葉に誘惑された結果である。地球、生物、人間社会について熱学的考察を行う資源物理学にとって、比喩的エントロピーはきわめて迷惑な存在である。
-->
http://www.

　シャノンの情報理論は「確率の対数をとったものをエントロピーと名付け」ではない。（生前シャノン自身も語ってるがこれは言葉遊びの部類である）
追うべきは情報圧縮の基本定理、雑音通話路の基本定理。なお前者は眉唾解説が多いので注意。

お礼

ご回答、ありがとうございます。
シャノンの情報量の定義は、（下の回答からも）情報圧縮の基本理論に貢献していそうなので、そちらの方を調べてみたいと思います。ありがとうございました。

回答No.1

ymmasayan

起こりうる事象とその確率がわかっていて、実際にどれが起こるか判らないとします。
ここである事象が起こると情報が発生したことになります。
同時にその分だけ不確実性が減るので、エントロピーが減少します。

お礼

早速のご回答、ありがとうございます。
参考になりました。今後、もう少し詳しく調べていきたいと思います。