最尤推定

質問

ビタビを用いた最尤推定では、
ｎ個の標本が、平均μ ，分散σ^2 の正規分布に
従う場合を想定しています。
しかし、ｎ個の標本は有限の観測ですので、
たまたま出現値が偏っている場合があるように
思います。
要するに、ｎ個の標本の平均がμ でなかったり，
分散がσ^2でない場合です。

聞きたいのは、ビタビを用いた最尤推定は
ｎ個の標本に着目した時、最適ではないと考えて良いのでしょうか？

回答No.1

rabbit_cat

＞ｎ個の標本に着目した時、最適ではないと考えて良いのでしょうか？
「最適」という言葉をどういう意味で使っていますか？

もちろん仰るとおり
ｎ個の標本は有限の観測ですので、たまたま出現値が偏っている場合
はありえます。
けれども、観測者は、ｎ個の標本が「たまたま出現値が偏っている」のかどうか知る手段がありません。「偏っている」ってことがわかれば偏っている時用の推定方法があるんでしょうか、偏っているか偏っていないかわからない場合には「偏ってない」として最尤推定をするしかないです。

つまり「偏っている」という情報が与えられているならば、もっと最適な方法があるわけですが、「偏っているのか偏っていないのかわからない」場合には通常の再尤推定が（尤度最大という意味で）最適な推定法です。

補足

＞「最適」という言葉をどういう意味で使っていますか？
これが難しいところで、ビタビ復号という意味では、
誤り率が最低という意味です。

＞再尤推定が（尤度最大という意味で）最適な推定法です。
まさにこの言い方が微妙なところで、
再尤推定が（尤度最大という意味で）最適な推定法ですが、
誤り率を最低にする方法でしょうか？ということです。

偏っているという情報がわからないにせよ、
有限のサンプリングなら、偏っている可能性が高いことも
事実です。
尤度と誤り率の関係が線形でないなら、
再尤推定が誤り率を最低にする方法でないのでは？
という疑問です。