締切済み アナログ情報源のエントロピー 2013/07/01 13:16 確率密度関数 p(x) が p(x) = (1/2A)exp(-|x|/A) のときのアナログ情報源のエントロピーを求めてください。 みんなの回答 (3) 専門家の回答 みんなの回答 Ae610 ベストアンサー率25% (385/1500) 2013/07/03 21:49 回答No.3 ANo.1&2です。 ---式に代入しても積分がうまくいかないのですが…--- p(x) = (1/2A)・exp(-|x|/A) を定義式に代入すると・・・ H(x) =-∫(-∞→∞){(1/2A)・exp(-|x|/A)・log((1/2A)・exp(-|x|/A))}dx ・・となるが、どう積分が上手くいかないのか補足を請う・・! 広告を見て全文表示する ログインすると、全ての回答が全文表示されます。 通報する ありがとう 0 Ae610 ベストアンサー率25% (385/1500) 2013/07/01 23:09 回答No.2 ANo.1です。 スミマセン! やはり計算違いしています。 H(x) = 1/2 ・・・は無かった事に! 質問者 補足 2013/07/02 23:24 回答ありがとうございます。 式に代入しても積分がうまくいかないのですが…。 またわかったらお願いします。 広告を見て全文表示する ログインすると、全ての回答が全文表示されます。 通報する ありがとう 0 Ae610 ベストアンサー率25% (385/1500) 2013/07/01 22:48 回答No.1 Aが何だか分からないけれど・・・ 連続分布のエントロピーH(x)は H(x) = -∫(-∞→∞){p(x)log(p(x))}dx (p(x)は確率密度関数) ・・・で求められる! p(x) = (1/2A)・exp(-|x|/A) ・・・と分かっているので、そのまま当てはめて積分を実行すればよいと思う・・・! ・・んで実際に計算してみると H(x) = 1/2 (Aがいなくなったが計算間違いしてるかも知れないので確かめて・・!) 質問者 お礼 2013/07/18 19:55 回答ありがとうございます。 自分でやってみた結果違った答えにはなりましたが…。 参考になりました。ありがとうございます。 広告を見て全文表示する ログインすると、全ての回答が全文表示されます。 通報する ありがとう 0 カテゴリ 学問・教育その他(学問・教育) 関連するQ&A 情報源のエントロピーの計算 以下の問題について教えてください 4つのアルファベット(a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。 エントロピーを求める問題です。 エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P(A,A)=0.7、P(A,B)=0.1、P(B,A)=0.1、P(B,B)=0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。 指数分布について 確率変数Xが次のような密度関数をもつ指数分布に従っているとき 密度関数 f(x)=3exp(-3x) t≧0 =0 t≦0 このとき 確率変数U=exp(-3X)と定義するときに、Uの従う分布はどうなるかを求めたいのですが、どうすればよいのでしょうか?? まずUの分布関数を求めて、微分をしようとしているのですが。 P(U<x)=P(exp(-3X)<x)=P(T>-1/3logx) このときの積分範囲は0からになるのでしょうか?? そうするとUの分布関数は1になり、密度は0になるということでしょうか? 天文学のお話。日本ではどのように考えられていた? OKWAVE コラム 情報のエントロピーについての質問です。 情報のエントロピーについての質問です。 無記憶情報源Sの通報およびその発生確率 通報 発生確率 A 0.3 B 0.2 C 0.04 D 0.16 E 0.3 (1)情報源SのエントロピーHsの求め方。 (2)情報源Sの2次元拡大情報S’のエントロピーHs’の求め方。 以上の2つの考え方をお願いします。 もし参考になりそうなページをご存じであればアドレスをお願いいします。 エントロピーの計算 問題が解けないので投稿しました。 一般的にN個の事象の確率分布を{p1,p2,…,pn}とするとき、その情報エントロピーはS=-∑_(i=1)^N pilog(pi)で与えられる。このとき、情報エントロピーSを最大にする確率分布をとのときのSを求めよ。 まったくわからないので途中式もできればお願いします。 ∑の部分が見づらいのですがすみません。 よろしくお願いします。 正規マルコフ情報源のエントロピーについて 次の行列であらわされる正規マルコフ情報源のエントロピーを計算せよ、という課題を出されました (すでに回収も終わっているのでカンニングにはなりません、念のため) P=| 0.2 0 0.8 | | 0.4 0.6 0 | | 0 0.3 0.7 | まず定常確率を求めたのですが求まった定常確率が間違っていたようなのです。 以下に求める際に用いた式を載せますので間違っている点があればご教授ください。 また、その後のエントロピーの計算に関しても経過と答えを載せてほしいです。 P(0)=0.2P(0)+0.8P(2) P(1)=0.6P(1)+0.4P(0) P(2)=0.7P(2)+0.3P(1) P(0)+P(1)+P(2)=1 この式を解くと各値が1/3となりました。 最後に私はこの辺をあまり理解できていないため質問文にも至らないところが多々あると思います。 そのようなことがあれば補足欄で説明したいと思います。 情報理論:エントロピーの問題について。 【通報xが指数分布 p = (1/a)e^(-x/a) x≦0 = 0 x>0 にしたがう。エントロピーを求めよ。 】 という問題があるのですが、この解きかたがわかりません。 普通に、 -∫[∞,0]plogp dx とおいて、解こうとしたのですが、値が∞になったりして、答えが出ません…。 よろしくお願いします。 確率密度関数 確率密度関数 確率変数Xの確率密度関数 f(x)=ax(x-4) (0<=x<=4) =0 (その他) これの関数f(x)のグラフとP(x>=3)を求めるのですが、aの求め方からわかりません。 お手数ですが、解き方も合わせて教えてください。 よろしくお願いします。 確率密度関数の問題がわかりません 下の問題がどうしてもわかりません。調べて確率密度関数が確率分布関数の導関数であるということは分かったのですが結局問題は解けませんでした。どなたか解説お願いします。 次のような関数が与えられている。cを定数として以下の設問に答えよ。 p(x)={c -1≤x≤3 , 0 それ以外} (1)関数p(x)が確率密度関数になるようにcの値を求めよ。 (2)上記(1)の確率密度関数p(x)をもつ確率変数の期待値を求めよ。 (3)上記(1)の確率密度関数p(x)をもつ確率変数の分散を求めよ。 (4)上記(1)の確率密度関数p(x)をもつ確率変数がα以上の値をとる確率を、αを用いて表せ。 マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 大学の過去問です。 解答が無いので自力で解かなければならないのですが、行き詰まってしまいました。 もし助けて頂ければ助かります。 状態A,B,Cを行き来する定常的マルコフ情報源のエントロピーレートを求める問題です。 状態遷移確立がそれぞれ P(A|A)=0.4 P(B|B)=0.5 P(C|C)=0.8 P(A|B)=0.25 P(B|A)=0.3 P(C|B)=0.25 P(A|C)=0.1 P(B|C)=0.1 P(C|A)=0.3 で与えられています。 自分の考える解き方の大筋としては (1) 定常分布の式を立てる (2) (1)よりそれぞれの定常確率を求める (3) 系のエントロピーを求める (4) (2)、(3)とマルコフ情報源のエントロピーレート導出の 公式により解を求める という感じです。 (1)において P(A)=P(A)*0.4+P(B)*0.25+P(C)*0.1 P(B)=P(A)*0.3+P(B)*0.5+P(C)*0.1 P(C)=P(A)*0.3+P(B)*0.25+P(C)*0.8 P(A)+P(B)+P(C)=1 の連立方程式を立て、解こうと試みたのですが。 解を得る事が出来ません。 http://www.usamimi.info/~geko/arch_acade/elf001_simult/index.html のプログラムでの演算も試してみましたがやはり解を得られませんでした。 自分の計算式に何か間違いがあるのでしょうか? また自分の解法自体にも問題がありましたらご指摘をお願い致します。 今回、情報理論を初めて勉強しているもので、もしかして全く見当違いの質問かも しれませんが、宜しくお願い致します。 確率で分からないところがあります。 次のような関数が与えられている。Cは定数である。 P(x)={C -1≦x≦3 0 それ以外 (1)関数P(x)が確率密度関数になるようにCの値を求めよ (2)上記(1)の確率密度関数P(x)をもつ確率変数の期待値を求めよ (3)上記(1)の確率密度関数P(x)をもつ確率変数の分散を求めよ (4)上記(1)の確率密度関数P(x)をもつ確率変数がα以上の値をとる確率を、αを用いて表せ という問題で、C=1/4、期待値=5/4、分散=67/48となったのですが、間違っていますか? よろしければどこがどう間違っているか教えていただけませんか? また、(4)をどうやって解いて良いか分かりません。 解き方、またはヒントを詳しく教えていただけないでしょうか? よろしくお願いします。 確率密度関数の期待値について 連続型確率密度関数xの確率密度関数f(x)がf(x)=0.5(1<=x<=3)。その他の範囲は0。 この時の期待値を求めよ。とあるのですが、 ∮1~3 0.5x dx という式になるのは理解できるのですが、なぜ答えが2になるのでしょうか。 詳しく解説して頂けると助かります。 この時、Y=exp(X)の確率密度関数を求めよ 日本史の転換点?:赤穂浪士、池田屋事件、禁門の変に見る武士の忠義と正義 OKWAVE コラム エントロピー y=0であるときのxのエントロピーH(x|y=0)は-P(x=0|y=0)logP(x=0|y=0)-P(x=1|y=0)logP(x=1|y=0)となるのはわかるのですが、 yで条件を付けたxの条件付きエントロピーH(x|y)は {-P(x=0|y=0)logP(x=0|y=0)-P(x=1|y=0)logP(x=1|y=0)}×P(y=0)+{-P(x=0|y=1)logP(x=0|y=1)-P(x=1|y=1)logP(x=1|y=1)}×P(y=1)のように各々の項になんでそれぞれP(y=0)とP(y=1)をかけているのでしょうか? 条件付きエントロピー 確率変数X,Yが与えられたときの条件付きエントロピーの計算方法がまったくわからないため、質問をさせていただきます。 サイコロの出目を確率変数Xとし、Y=X^2 mod 3 としたときの 条件付きエントロピーH(X|Y)はどのようにして求めればよいのでしょうか? 参考となるウェブサイト等のURLでも構いません。 よろしくお願いします。 確率密度関数 確率密度関数について、詳しいかたに聞きたく投稿させていただきます。 現在、独学で確率論をかじっているのですが、以下のところが引っかかっています。 確率変数 X の確率密度関数をf_X (x)とするとき, P(a ≦ X ≦ b) = ∫_{a to b}f_X (x) dx これは定義だと思うのですが、それでは P(a < X < b)のとき、つまり等号が入らないのときはどうなるのでしょうか。 また、ある本に, P(X ≦ t) = 1 - P(X ≧ t) とあったのですが、 P(X < t) = 1 - P(X > t)としていいのでしょうか。 よろしくお願い致します。 情報量とエントロピーの関係について 大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} (x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数) となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、2つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします(上から見ると、ホールケーキをm等分したときのような分け方になります)。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが(始めの一つはわからない)、(2)では確率1/m!でわかります。ここで情報量の差(不確かさの差?)が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか? それともエントロピーと情報量は必ずしも相関しないのですか? 確率の最後の問題がわかりません 以前にも一度投稿し、回答をしていただいたのですが今になってわからない部分がでてきました。度々申し訳ありませんが、どなたか解答お願いします。 p(x)={c -1≤x≤3 , 0 それ以外} (1)関数p(x)が確率密度関数になるようにcの値を求めよ。 (2)上記(1)の確率密度関数p(x)をもつ確率変数の期待値を求めよ。 (3)上記(1)の確率密度関数p(x)をもつ確率変数の分散を求めよ。 (4)上記(1)の確率密度関数p(x)をもつ確率変数がα以上の値をとる確率を、αを用いて表せ。 に対し(1)~(3)まで解けたのですが(4)がわからなくなりました。ちなみに(1)はc=1/4、(2)は1、(3)は4/3となりました。 アルファで場合わけする。 α≦-1のとき Pr(X≧α)=1 -1<α<3のとき Pr(X≧α)=(1/4)(3-α) α>3のとき Pr(X≧α)=0 と回答していただいたのですが、どうやって1、(1/4)(3-α)、0がでてきたのかがわかりません。 申し訳ありませんがよろしくお願いします。 エントロピーを求める問題 事象系A={a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。 この問題の解き方がわかる方教えてください。 確率の問題で、P(a|X|∈y)はP(|X|∈y/a)と言えるのでしょ 確率の問題で、P(a|X|∈y)はP(|X|∈y/a)と言えるのでしょうか? 集合の扱い方がわかりません、助けてください。 以下問題です。 確率変数Xの確率密度関数が遇関数Px(x)であるとき、Y=a|X| (a>0の定数)の確率密度関数 Py(y)をPx(x)で表せ。 Py(y)=P(Y∈y)=P(a|X|∈y)=P(|X|∈y/a) Px(x)が偶関数なので、P(X∈y/a)=Px(y/a) と言えるのでしょうか? 問題はA∈Bの両端を右辺・左辺と扱えるかということなのですが… お手数をお掛けいたします。 一般化正規分布の正規化定数について 単峰性で対称な分布をモデル化するために、 一般化正規分布(generalized Gaussian)分布を 使おうと考えています。 一般化正規分布の確率密度関数は、 f(x ; μ, σ, c) = A exp( -γ^c |x - μ|^c ) γ = 1/σ √Γ(3/c)/Γ(1/c) A = cγ / 2 Γ(1/c) という関数形を持っています。 ここで、Γ(・) はガンマ関数です。 上記の確率密度関数の正規化定数 A を導くには、 確率密度関数を [-∞, +∞] の範囲で積分して、 結果が 1 になるような A を計算すれば良いのだと思います。 正規化定数 A を自力でも導きたく考えているのですが、 僕には一般化正規分布の確率密度関数を どのように積分すれば良いのかが分からず、困っております。 そこで、下記のことを教えていただきたく存じます。 質問) 一般化正規分布の確率密度関数は、 どのようにしたら積分できるのでしょうか? 式展開と、必要な理論的バックグラウンドを 教えて頂きたく思います。 どうぞよろしくお願いします。 注目のQ&A 「You」や「I」が入った曲といえば? Part2 結婚について考えていない大学生の彼氏について 関東の方に聞きたいです 大阪万博について 駅の清涼飲料水自販機 不倫の慰謝料の請求について 新型コロナウイルスがもたらした功績について教えて 旧姓を使う理由。 回復メディアの保存方法 好きな人を諦める方法 小諸市(長野県)在住でスキーやスノボをする方の用具 カテゴリ 学問・教育 人文・社会科学 語学 自然科学 数学・算数 応用科学(農工医) 学校 受験・進学 留学 その他(学問・教育) カテゴリ一覧を見る OKWAVE コラム 突然のトラブル?プリンター・メール・LINE編 携帯料金を賢く見直す!格安SIMと端末選びのポイントは? 友達って必要?友情って何だろう 大震災時の現実とは?私たちができる備え 「結婚相談所は恥ずかしい」は時代遅れ!負け組の誤解と出会いの掴み方 あなたにピッタリな商品が見つかる! OKWAVE セレクト コスメ化粧品 化粧水・クレンジングなど 健康食品・サプリ コンブチャなど バス用品 入浴剤・アミノ酸シャンプーなど スマホアプリ マッチングアプリなど ヘアケア 白髪染めヘアカラーなど インターネット回線 プロバイダ、光回線など
補足
回答ありがとうございます。 式に代入しても積分がうまくいかないのですが…。 またわかったらお願いします。