情報におけるエントロピーに付随して情報における温度のようなものは・・・

質問

情報をエントロピーの概念を用いて考える場合、熱量や温度に相当するものはどういうものでしょうか。たとえばQ=STの式に即してご教示いただければとおもいます。

回答No.3

moumougoo · ベストアンサー

熱力学ではご存知のことかと思いますが、温度は示強変数で、熱のやり取りのある系における熱力学第０法則の指標になる（つまり熱平衡状態では温度が等しい）ものです。

これをちょっと分解してみると、
「複数の系」があって、「熱のやりとり」があって、「平衡状態」なるものを考えるときに「温度」なる指標が現れるとなるのではないでしょうか？特に「熱のやりとり」を考えるということは、系にエネルギーの概念があって、熱力学第１法則から自由エネルギーのようなものを考えなくてはいけないことを意味していると思います。

これから、情報理論を考えると「複数の系」はいいとしても、「エネルギー」や「熱のやりとり」や「平衡状態」というものを考えることが必然となる領域は限られてくると思います。

いっぽう、統計力学的な構成方法で考えたとき、温度は分配関数（確率論の特性関数）のパラメータになります。
つまり、確率分布を一度に考えるときのパラメータです。

私の思いつく範囲では

（１）符号化・暗号化理論のようなもの（符号化の優劣を測ったり、情報源と符号化された空間の情報量のようなものを考えるから）、
（２）いくつかの統計モデルを考えるもの（情報源と情報モデルがもてる情報量を比較するから）

（３）なにかしらの最適配置を決めるもの

ぐらいでしょうか？（情報理論はよく知らないので自信をもって自信なしです）

これじゃ説明になっていないので（３）になるのでしょうか、１因子情報路モデルというのを紹介します。
http://www.kogures.com/hitoshi/webtext/or-entropy/
１因子情報路による銘柄選択の問題というところを見ると分かると思いますが、

費用最小化の条件（エネルギー期待値のようなもの）
エントロピー最大化の条件

とからなります。このときの未定乗数がちょうど温度のようなものを与えることになります。
（費用期待値Ｅに対してエントロピーＳとしてＳ／Ｅを銘柄選択の確率の規格化条件の制約のもとに最大化します。このときのＳ／Ｅがちょうど温度の逆数ようになります。たとえば、豊田正著「情報の物理学」（講談社サイエンティフィック）を見てください。）

お礼

ご教示どうもありがとうございます。特に最後行の温度の逆数というくだりは感激的でした。勉強させてください。

回答No.2

hanako171

一般的にエントロピーが高いというのは、「乱雑」であるということなので、情報エントロピーについても、
　　情報の　質・量　が　悪い・少ない　→　エントロピーが高い
　　　　　　　　　　　　　　　　　　　　（みんな混乱する）
　　情報の　質・量　が　よい・多い　　→　エントロピーが低い
　　　　　　　　　　　　　　　　　　　　（みんな安心する）
のような、反比例の関係が成り立つのではないでしょうか。

http://szksrv.isc.chubu.ac.jp/entropy/entropy3.html
http://www.ne.jp/asahi/qequick/study/Suusiki04.htm

お礼

ご回答ありがとうございます。エントロピーというのは元来熱力学の概念なので温度や熱に対応する情報理論の概念は何かなと思いました。

回答No.1

haukappu

Ｑ=（情報を有している人数）＊（情報量）

こんな感じでどうでしょう。

お礼

早速ご回答ありがとうございました。情報を有している人の数が増えると情報の価値が減るというのがエントロピーSに相当するということでしょうか。又温度Tに相当するものが情報量と考えることになりますか。