人物検出などに用いられるHOG特徴量について

質問

人物検出などに用いられるHOG特徴量ベクトルの比較方法についての質問です。

HOG特徴量についての文献を読み、
具体例として、下記のような状況を考えました。

(1)256×256[px]の画像を用いる。
(2)画像を32×32[px]のセルを用いて、8×8に分割する。
(3)3×3程度のセルのかたまりをブロックとし、そのブロックごとに正規化する。
　そのブロックごとの特徴量は、勾配方向を9分割すると考えて、3×3×9＝81[次元]とする。
(4)ブロックをセル1つ分の幅ずつずらしていき、6×6の数のブロックを得て、全体として、
　81×6×6＝2916[次元]の特徴量を得る。

この特徴量を用いて、ある画像の一部分を抜き出し、検索用画像とし、それによって画像データベースの画像群からラスタスキャン(検索窓をずらしながら検索)をすることにより、類似部分を見つけるような類似画像検索をしたいと考えています。

そのとき、特徴量を比較する際の検索窓の作り方がわかりません。
検索窓の大きさはブロックサイズに依存して、制限がかかるのでしょうか？
それとも、セルサイズに依存して、制限がかかるのでしょうか？その場合だと例えば、4×4[セル]の大きさの検索窓を作ると4ブロック分の特徴量が必要となり、同じ領域の特徴量を何度も比較することになります。

検索窓の大きさを自由に変えたい状況なので質問させて頂きました。
どうぞよろしくお願い致します。

回答No.3

tlmg · ベストアンサー

補足に関して

>例えば、6×6[セル]の検索窓を作るときに重複なしの、4ブロック分の特徴量を用いる場合と、
>セル幅ずつずらした重複ありの、16ブロック分の特徴量を用いる場合では検索精度に違いが出るのでしょうか？
結論から申し上げますと、精度に違いが出るはずです。
特徴量を求める際にブロック内での正規化を行っていますが、これによって同じセルでも属するブロック毎に特徴量は異なります。
これを無視するか否かで、精度に違いが出ることは明らかなのではないでしょうか。(精度の差が計算時間に見合うかはまた別の話ですが)

>重複したセルの特徴量を比較する必要はあるのですか？
上述したようにHOG特徴量をどのように扱うかで、この答えはYesでありNoでもあります。
できる限りの精度を出したいならば比較するべきですし、計算量を抑えるならば比較しないアプローチもありなのではないでしょうか。
これは私見ですが、類似画像検索ならばしっかり比較するべきかなとは思います。

ただしここで述べさせていただいた内容は、私なりのHOGの解釈ですので間違っている可能性も十分に考えられます。
もし時間が許すのであれば、論文を調べるか、ご自身で比較実験をしてみてはいかがでしょうか？
どのような結果が得られたとしても、とても有意義な実験になると思います。

お礼

HOGについて不明瞭に感じていた部分を解消することができました。
とりあえず色々と実験してみようと思います。
3回にもわたり、丁寧なご回答をありがとうございました！

回答No.2

tlmg

補足に関して

>4隅を除いた部分のセルで重複している部分が発生してしまい、それは問題ないのかなと疑問に感じました。
問題ありません。そもそも画像データベース中のHOG特徴量も、4隅を除いた部分のセルで重複している部分がありますので、
それと比較する検索窓の特徴量についても重複した領域を持たなければなりません。

>(または上記のようなセルの重複を許す場合だと、セル幅の倍数)でないと、抽出した特徴量を利用できない
上述の通りセルは重複しますので、おっしゃるように検索窓はセル幅の整数倍である必要があります。
上下左右を切り落とせば良いという意味で「検索窓はどのようなサイズでも問題ない」と回答したのですが、
言葉足らずで誤解を与えてしまったようです。申し訳ありません。

補足

わかりやすいご回答、ありがとうございます！

もう1つだけ疑問なのですが、重複したセルの特徴量を比較する必要はあるのですか？

例えば、6×6[セル]の検索窓を作るときに重複なしの、4ブロック分の特徴量を用いる場合と、
セル幅ずつずらした重複ありの、16ブロック分の特徴量を用いる場合では検索精度に違いが出るのでしょうか？

よろしくお願いします。

回答No.1

tlmg

HOGについては詳しく勉強したことがないため、的外れでしたらすみません。

まず初めに質問内容からは逸れますが、HOGを人物検出に利用する場合、学習器などで大量のデータと比較するような手法が一般的だったように記憶しています。
読まれた文献の内容がわかりませんが、今回の例のようにマッチングに利用するようなものなのか疑問に感じました。(文献とは一切関係なく実験するのでしたら、とても素晴らしい試みだと思います)

本題のマッチングについてですが、HOGはあくまで特徴量であり、これらを比較する手法が別途必要となることに注意が必要です。
例えばラスタスキャンによってベクトルのユークリッド距離を測るならば、ブロックのサイズが2画像間で一致してさえいれば、検索窓はどのようなサイズでも問題ないのではないでしょうか。

>4ブロック分の特徴量が必要となり、同じ領域の特徴量を何度も比較することになります。
この部分のおっしゃる意味がよく理解できないのですが、単純に計算コストが高いという意味でしたら、ラスタスキャンする以上仕方が無いとしか言えません。

稚拙な文章ではありますが、少しでもお力になれれば幸いです。

補足

今回は人物検出に用いるのではなく、単純に一般の画像群に対する類似画像検索に用いる特徴量としてHOGを利用することを考えました。

>4×4[セル]の大きさの検索窓を作ると4ブロック分の特徴量が必要となり、同じ領域の特徴量を何度も比較することになります。

これは3×3[セル]で構成されるブロックごとに正規化しているため、4×4[セル]分の検索窓を4つのブロックを用いて作ると、4隅を除いた部分のセルで重複している部分が発生してしまい、それは問題ないのかなと疑問に感じました。

>ブロックのサイズが2画像間で一致してさえいれば、検索窓はどのようなサイズでも問題ないのではないでしょうか。

あらかじめ画像データベースから抽出しておいたHOG特徴量を用いたいので、検索窓のサイズがブロックサイズの倍数(または上記のようなセルの重複を許す場合だと、セル幅の倍数)でないと、抽出した特徴量を利用できないのではないかと思ったのですが、そういうわけではないのでしょうか？