相互情報量について

質問

相互情報量についての質問があります．
例えば2枚の画像があるとします．それらの画像がどれくらい
似ているのかということを相互情報量を用いて表わすとします．
相互情報量がどうなれば，画像は一致度が高いと言えるのですか？
よろしくお願いします．

回答No.1

rabbit_cat

まず、相互情報量が高いからといって、必ずしも画像が似ているとは限りません。事前確率、事後確率をどう思うか、つまり、画像の情報量をどう定義するのか、によります。

まあ、いろいろな考え方があると思いますが、最も単純に、たとえば、画像が０，１の１００×１００ピクセルの２値画像だとして、
事前情報としては、「全てのピクセルにおいて、０，１が独立に等確率で出現する」、としてみます。
なので、ある画像Aの情報量は、
10000 [bit]
です。

「画像Aと別の画像Bは、各ピクセルについて独立にある同じ確率で、同じ値をとる」と仮定すれば、
たとえば、別の画像Bと元の画像Aが9000ピクセル一致しているならば、条件付エントロピーは
H(A|B) = 10000*(9/10*log(10/9) + 1/10*log(10)) = 4689.95594 [bit]
なので、
相互情報量は、
I(A|B) = H(A) - H(A|B) = 5310.04406 [bit]
となります。

「」で囲った部分が仮定です。ここが変わってしまえば、結論はどうとでも変わってしまいます。

たとえば、自然画像を対象にしているならば、事前確率を、「全てのピクセルが０，１を独立に等確率でとる」と仮定するのは多くの場合不適当でしょうし、
まして、後半の、「画像Aと別の画像Bは、各ピクセルについて独立にある同じ確率で、同じ値をとる」というのは、かなり強引な仮定だと思います。