情報量 -log2(x)の算出

質問

-log_2(確率)の計算方法について、

50%の情報量 は
-log2(1/2)=-log2(2^-1)=1log2(2)=1*1=1

25%の情報量 は
-log(1/4)=-log2(2^-2)=2log2(2)=2*1=2

75%の情報量 は
-log2(3/4)=
??

33.3333%(1/3)の情報量 は
-log2(1/3)=
??

下2問の算出方法がわかりません。
算出方法や、詳しいHP等ありましたら
教えていただけますでしょうか。

上2問は、答えはあっていると思いますが、
途中の式、過程や、表現(表記)等は問題ないでしょうか。

よろしくお願いします。

回答No.1

sanori · ベストアンサー

こんにちは。

情報量のことは知りませんが、計算だけであれば、お力添えできます。

底が何であっても、
log（Ａ／Ｂ）　＝　logＡ　－　logＢ
です。

よって、

－log[2]（１／２）　＝　－（log[2]１　－　log[2]２）
　＝　－（０　－　１）　＝　１

－log[2]（１／４）　＝　－（log[2]１　－　log[2]４）
　＝　－（０　－　２）　＝　２

－log[2]（３／４）　＝　－（log[2]３　－　log[2]４）
　＝　－（log[2]（３）　－　２）

－log[2]（１／３）　＝　－（０　－　log[2]３）

というわけで、log[2]３　の値をどっかから拾ってこなくてはいけません。

大学辺りの試験だと、
「log[2]３　＝　１．５８　として、次の値を求めよ」
ということが書かれているパターンが多いです。
（あるいは、関数電卓の持込を許すとか）

＞＞＞算出方法や、詳しいHP等ありましたら教えていただけますでしょうか。

本件に関しては、
底が何であっても、
logＡＢ　＝　logＡ　＋　logＢ
log（Ａ／Ｂ）　＝　logＡ　－　logＢ
となることだけ覚えればＯＫです。
導出も簡単なのですが、これに関しては暗記するほうが先決だと思います。

＞＞＞上2問は、答えはあっていると思いますが、
＞＞＞途中の式、過程や、表現(表記)等は問題ないでしょうか。

問題ないですよ。

以上、ご参考になりましたら。

お礼

ありがとうございます。
非常にわかりやすかったです。

回答No.2

info22

情報量の単位はビット(bit)ですね。

>上2問は、答えはあっていると思いますが、
>途中の式、過程や、表現(表記)等は問題ないでしょうか。
合っていますがこういう所ではべき乗を肩に小さく書けませんから
(2^-1)は2^(-1)
(2^-2)は2^(-2)
のようにマイナスのべき乗には括弧をつけて下さい。

確率x（通常pを使う。pは確率probabilityの頭文字）が2^n（nが整数）の形に書けない場合は参考URLのように常用対数に直して計算すればいいでしょう。

Google電卓を使ってよければ
Google検索の入力ボックスに
-logx/log2
と入力して検索ボタンをクリックすると情報量(単位ビット)
を計算してくれます。
対数の底を[2]のように[]をつけて書くと
常用対数は[10]となります。
常用対数の底の[10]は省略することが多いですね。

>75%の情報量 は
>-log[2](3/4)=
=log[2](4/3)
={log[10](4/3)}/log[10]2
={2log[10]2-log[10]3}/log[10]2
≒{2*0.30103-0.47712}/0.30103
=(0.60206-0.47712)/0.30103
=0.12494/0.30103
≒0.41500 [ビット]
のように計算します。

Google電卓で計算するなら
-log(3/4)/log(2)または-log(0.75)/log(2)
で検索ボタンで一気に計算してくれます。

>-log[2](1/3)
=log[2]3
=(log[10]3)/(log[10]2)
≒0.47712/0.30103
= ...
で計算できます。

Google電卓で計算すると
-log(1/3)/log(2)
≒1.5849625[ビット]
と計算してくれます。

参考URL：

http://gc.sfc.keio.ac.jp/class/2006_14454/slides/13/41.html

お礼

マイナスのべき乗の表記や、確率＝p 等、とてもためになりました。
ありがとうございました。