分布関数とエントロピー

質問

エントロピーSを分布関数fiを用いて(iは一つの量子状態)
S=-kBΣfi*ln(fi) kBはボルツマン定数
と表しているのを見るのですが、どのように導いているのか分かりません。また、この式はどのように解釈したらよいのでしょうか？一般にエントロピーが増大すると分布関数はどうなるのでしょうか？

回答No.3

nadja · ベストアンサー

少し細かいのですが、考えている事象が可算個の場合（たとえばW個あるとすると）エントロピー

H=-\sum_x p(x)\log p(x)

を次の拘束条件（確率の和は1）

\sum_x p(x)=1

を満たす確率測度p(x)はLagrangeの未定乗数法よりp(x)=1/Wになります。

また違う拘束条件、たとえば

E=\sum_x p(x)H(x)

H(x)の平均が一定の下での、エントロピー最大にする確率測度はGibbs分布になります。

正準集団のエントロピー表現（H=-\sum_x p(x)\log p(x)）に、拘束条件がどのようにはいるかによって変わります。なのでS=logWと早とちりしないほうがいいですよ。

以下の「逆温度について」の資料も参考にしてみてください。

参考URL：

http://www.cas.dis.titech.ac.jp/~higo/wiki/study/index.php?%C2%E81%B2%F3%CA%D9%B6%AF%B2%F1

回答No.2

rabbit_cat

＞このエントロピーの概念の考え方は、
＞S=kB*lnW(E) W;状態の数　　　(1)
＞と同じ事を言っているのでしょうか
同じです。ただし、(1)のW(E)の「状態」というのは、現象を極限まで分割したときの状態で、各状態の発生確率は等しいという仮定が入っています。もし、W(E)の各状態の発生確率が等しくない場合には、本当は状態をもっと細かく分割できるはずです。
例えば、状態１が確率1/3、状態２が確率2/3で起こるとすると、本当は状態２というのは、それぞれ確率1/3で起こる状態2aまたは状態2bのどちらかが起こったとき、と分割できるはずです。なぜなら、極限まで分割した状態は、必ず発生確率が等しくなるので。
で、こう考えていくと、
S=kB*lnW(E)
と
S=-kBΣfi*ln(fi)
が同じ式であることがわかってくると思います。

お礼

おそくなって申し訳ありません。自分なりに
　S=-kBΣfi*ln(fi) (1)
の最大値は、等重率の原理より
　fi=1/W
となり、
　S=kB*lnW(E) (2)
を導けました。すなわちSが最大になるという条件の下で
(1)と(2)の式がイコールで結ばれることになるのでしょうか？

回答No.1

rabbit_cat

ある確率分布 P(X=Xi)=pi に従う確率変数があるとき、この分布の情報エントロピー（自己情報量の期待値）は、
H = -Σpi*log(pi)
です。解釈は、情報理論の本を見れば書いてあると思います。
統計力学のエントロピーでは、これに係数kBがかかっていますが、これは、水の融点と沸点との温度差が100Kになるようにするためです。

お礼

ありがとうございます。
このエントロピーの概念の考え方は、
S=kB*lnW(E) W;状態の数　　　(1)
と同じ事を言っているのでしょうか？それなら、(1)から導けるはずですよね？僕の中ではW(E)が
W(E)=1/pi
と考えており、そこから単純に
S=-kB*ln(pi)
となると考えていたのですが、見てのとおり一致しません。なにか根本的に解釈が間違っていると思うのですが・・・ご指摘お願いします。