情報理論、ハフマン符号について

質問

こんにちは、
今年、技術士１次試験（電気電子部門）を受験する予定です。試験問題（専門科目）をざっと見たのですが、だいたい勉強すれば解けそうなものが多いのですが、中に「情報理論」「符号理論」「ハフマン符号」「符合の木」と呼ばれる全く馴染みのない問題が出題されていました。
全く知らないので初歩を勉強したいのですが、これらを初歩の初歩から解説した本等を教えてください。アマゾンで調べましたが、概要がすぐに解かる様な本はなかったです。

下記解説も、いきなり「エントロピー」が出てきて難解そうです。一応エントロピー（エネルギーの質が時間経過により悪化するもの）はボルツマンの熱力学第二法則として理解しておるつもりですが、なぜそのエントロピーが、情報や符号と関わりあうのか？何となく理解できそうで、理解できません。この理論は本気で取り組むと底が深そうなので、エントロピー無しの本が有難いです。ちなみに試験は１０月です。

http://www.yobology.info/text/Huffman_code/Huffman_code.htm

回答No.1

kt1965 · ベストアンサー

回答しておきます。

情報理論における「エントロピー」の定義は、シャノンによって与えられました。その類似性は、乱雑な情報源（不規則な情報源）からある種の符号を生成したときの長さの限界を示すために与えられたものであるという定義によります。
物理学における「エントロピー」は、「分子」または「原子」（無論、素粒子でも良い）という最小単位において、規則性が無いとき、その動きを統計的に扱ったときに「ランダムウォーク」となることによって生じる原理です。

そんな類似性で考えればよいと思います。

さて、一応「ハフマン符号」の場合には、エントロピー符号と呼ばれる最小長符号のため、「エントロピー」の考え方を先に出す教科書もあれば、ハフマン符号化を先に示して、その符号化規則によって、エントロピーを説明するという方法で示している教科書もあります。

手元にあるのは、古いのですが前者に相当する教科書で、大学課程「情報通信工学」、オーム社：刊（1993）です。

では。

補足

お返事有難うございます。
＞手元にあるのは、古いのですが前者に相当する教科書で、大学課程「情報通信工学」、オーム社：刊（1993）です。

アマゾンで目次を調べてみますと
第1章 情報通信序論
第2章 情報通信の基礎
第3章 信号処理
第4章 変調・復調方式
第5章 通信ネットワーク
第6章 情報通信システム
とありますので、わかりやすいかもしれませんね。但し、試験問題には「符号理論」「ハフマン符号」「符合の木」と呼ばれる問題が出題されていました。この本にも記載されているのでしょうか？

追伸
資格試験を勉強する際、解かり易いのは高校の先生の書いた本です。大学の先生の書いた本は難しい数式が一杯で、研究者には役立ちますが、資格試験の受験には役に立ちません。試験問題は２５問ですが、比較的初歩的な問題ばかりだからです。