分布の評価

質問

多変量の正規分布同士を（分散異なる）比較するよい方法はないでしょうか。
分布は５次元で、５個の平均、分散を持っています。

分布同士が分離している、重なっていない、
また、重なっているのであればどの程度重なっているか
ということを示したいので、分布間の距離を測ればよいのかとは思って
いますが何を用いるのがよいでしょうか。

また、分布が多数ある場合と少数しかない場合を共通に評価できる
指標はないでしょうか。単純に分布間の距離を測るだけでは、
多数の分布があるとき、分布間距離は短くなり、分布が少数しかないときより
分離性が悪いことになってしまいます。
エントロピーなどを使って曖昧性のような評価ができないものかと
考えています。

何かアイデアをお持ちの方、よろしくお願いします。

回答No.1

stomachman · ベストアンサー

> ５個の平均、分散を持っています
というところ。平均はともあれ、分散が5個というのがよく分からないけれど、共分散行列が対角行列だ、という意味かな？まあいいや。これはどうでも良いことです。

２つの分布の分離がどの位うまくできるかは、線形判別関数を作って、それで何％が誤って分類されるかで評価すれば良いでしょう。
　説明を簡単にするために、分布の分散が、どの次元も独立であって、しかも同じである、という場合を考えましょう。二つの分布の平均がベクトルm1, m2、(√分散)がσ1, σ2とすると、中心をm1とし、半径 kσ1の球と、中心をm2とし、半径 kσ2の球とがある。ここでkを調節して二つの球が接するようにします。この接平面が線形判別関数ですから、そこからはみ出すサンプルが「誤って分類されるサンプル」です。
　沢山の分布が同じ空間にある場合も、その内の２種類づつをペアにして考えれば良いんです。そのペアの分離がどの位うまくできるか。
　あとはご自分でやれそうですか？

お礼

回答ありがとうございました。

判別関数でこのように評価できるとは思っていませんでした。
ありがとうございました。
しかし、対象とするデータが「はみだすサンプル」がほとんどないデータ
なのです。そのため、この方法ではあまり有効に評価できないことが
わかりました。
また、分散共分散行列が分布により異なるので、多くの書物にかかれて
いることが、適用しにくくなっています。

まだ、試行錯誤中ですが回答ありがとうございました。

回答No.2

stomachman

サンプルの中には、はみ出す奴がないとしても、分散で議論している以上、理論分布（例えば正規分布）を仮定して居るんでしょう？　だったら、何％はみだすか（危険率）は議論できるはず。
　直感的に言えば、その平均と共分散行列をもつデータをモンテカルロ法でうんと沢山生成してやれば、はみ出す奴が出る筈です。
　実用上、本質的には「どの位の危険率で線形判別可能か」以上に重要な指標などないと思いますよ。

お礼

ありがとうございました。実際に試してみます。