最尤推定法の考え方

質問

現在統計の勉強をしています．現在，最尤推定法でつまずいていて，自分で調べたりしたのですが，いまいち理解できないので教えてください．

「尤度関数がp(z^k | x)であるとして，事前確率密度関数がp(x)である場合，最大となるp(z^k | x)がp(x)であると推定する」
という考え方でよろしいのでしょうか？

よろしくお願いします．

回答No.1

at9_am · ベストアンサー

おそらくz^kはパラメータ、xがデータであり、推定されるp(x)はz^kの打ち間違いだと思います。そうであれば質問者の方の理解は概ね正解に近いです。ただ、事前確率密度関数は最尤法にはない概念です。
一応、最尤法について簡単な説明を書きます。

今、パラメータ(a,b)で表される密度関数 f(a,b) を持つ確率変数 x があったとし、この x の実現値を X={x_1,...,x_n} とします。すると同時密度関数は
g(x_1,...,x_n|a,b)=f(x_1|a,b)×...×f(x_n|a,b)
と書け、尤度関数は
L(a,b|x_1,...,x_n)=g(x_1,...,x_n|a,b)
と定義されます。
この尤度を最大にするパラメータ (a,b) が最尤推定量です。

回答No.2

adinat

具体例を書いてみます。

ベルヌーイ母集団Be(p)に従う母集団から1,0,0,1,1というサンプルを得た。母数pの最尤推定量はいくらか？

⇒確率pで1が、1-pで0が出る分布で、1が3回出るのは5C3p^3(1-p)^2だから（尤度関数）、これをpの関数とみてこの最大値を計算すればよい。微分が消える点が最大値の候補。（実際は微分が0になる点を求めるだけ）

[a,b]上の一様分布に従う母集団からサンプル3,12,7,9を得た。母数a,bの最尤推定量を求める。

⇒[a,b]上の一様分布の密度関数は1/(b-a)である。したがって4つの独立な一様分布に従う確率変数の同時分布の密度(尤度関数)は1/(b-a)^4で、これを最大にするのは、(b-a)が最小になるとき。しかし、サンプルの最大値12≦b、サンプルの最小値3≧aであるから、最尤推定量はa=3、b=12

正規母集団N(μ,σ^2)に従う母集団から10,5なるサンプルを得た。μの最尤推定量は？

⇒正規母集団からの二つの独立なサンプルの分布は二次元正規分布に従い、その密度関数は1/(2πσ^2)exp(-(x_1-μ)^2/2σ)exp(-(x_2-μ)^2/2σ)（うろ覚えなのであやしい）だから、x_1=10、x_2=5を代入して、μの関数とみて最大になるμを計算する。普通はlogをとって、μで偏微分して最大値を探します。あるいは(μ,σ)のペアの最尤推定量を求めるなら、二変数関数としての最大値を探します。

といった感じです。尤度関数は推定したい母数を含んでいる関数です。その関数が最大になるような母数を見つけて母数の推定値とする方法を最尤法と言っているんだと思います。