TOP > 国内特許検索 > 画像特徴抽出及び画像処理のためのシステム、方法及びプログラム > 明細書

明細書 :画像特徴抽出及び画像処理のためのシステム、方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5924735号 (P5924735)
公開番号 特開2014-010544 (P2014-010544A)
登録日 平成28年4月28日(2016.4.28)
発行日 平成28年5月25日(2016.5.25)
公開日 平成26年1月20日(2014.1.20)
発明の名称または考案の名称 画像特徴抽出及び画像処理のためのシステム、方法及びプログラム
国際特許分類 G06T   7/00        (2006.01)
FI G06T 7/00 300F
請求項の数または発明の数 18
全頁数 21
出願番号 特願2012-145549 (P2012-145549)
出願日 平成24年6月28日(2012.6.28)
審査請求日 平成27年4月14日(2015.4.14)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】江島 俊朗
【氏名】榎田 修一
【氏名】林 亮佑
個別代理人の代理人 【識別番号】100094581、【弁理士】、【氏名又は名称】鯨田 雅信
審査官 【審査官】佐田 宏史
参考文献・文献 特開2011-053953(JP,A)
特開2008-021044(JP,A)
国際公開第2011/037097(WO,A1)
矢澤 芳文、外4名,“検出対象をリコンフィグ可能なJoint-HOGによるFPGAハードウェア検出器”,SSII2011 第17回 画像センシングシンポジウム講演論文集,日本,画像センシング技術研究会,2011年 6月 8日,pp.05-1~05-7
調査した分野 G06T 1/00,7/00-7/60
特許請求の範囲 【請求項1】
処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを求めるセル特徴取得手段と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所共起特徴取得手段と、
を備えたことを特徴とする画像特徴取得システム。
【請求項2】
処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを取得するセル特徴取得手段と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求める2次局所共起特徴取得手段と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所間共起特徴取得手段と、
前記2次局所共起特徴に前記高次局所共起特徴を合わせて正規化する正規化手段と、
を備えたことを特徴とする画像特徴取得システム。
【請求項3】
請求項1又は2のいずれかにおいて、前記高次局所共起特徴取得手段は、前記選択された3個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも1つを、前記各ブロック内における高次局所共起特徴として取得するものである、ことを特徴とする画像特徴取得システム。
【請求項4】
請求項1から3までのいずれかにおいて、前記高次局所共起特徴取得手段は、各ブロックを構成する複数のセル中から、前記ブロック内の各セル間の距離に基づいて、前記3個以上のセルを選択するものである、ことを特徴とする画像特徴取得システム。
【請求項5】
請求項2において、前記2次局所共起特徴取得手段は、前記各ブロック内の全てのセルではなくその中から予め選択された複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求めるものである、ことを特徴とする画像特徴取得システム。
【請求項6】
請求項1から5までのいずれかの画像特徴取得システムにより取得された高次局所共起特徴を少なくとも使用して、処理対象画像が検出対象を含むかどうかを検出もしくは識別するか又は処理対象画像から検出対象を抽出する処理手段を備えたことを特徴とする画像処理システム。
【請求項7】
処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを求めるステップと、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求めるステップと、
を含むことを特徴とする画像特徴取得方法。
【請求項8】
処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを取得する第1ステップと、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求める第2ステップと、
前記第2ステップと同時に又は相前後して、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める第3ステップと、
前記2次局所共起特徴に前記高次局所共起特徴を合わせて正規化する第4ステップと、
を含むことを特徴とする画像特徴取得方法。
【請求項9】
請求項7又は8のいずれかにおいて、前記高次局所共起特徴を取得するステップは、前記選択された3個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも1つを、前記各ブロック内における高次局所共起特徴として取得するものである、ことを特徴とする画像特徴取得方法。
【請求項10】
請求項7から9までのいずれかにおいて、前記高次局所共起特徴を取得するステップは、各ブロックを構成する複数のセル中から、前記ブロック内の各セル間の距離に基づいて、前記3個以上のセルを選択するものである、ことを特徴とする画像特徴取得方法。
【請求項11】
請求項8において、前記2次局所共起特徴を取得するステップは、前記各ブロック内の全てのセルではなくその中から予め選択された複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求めるものである、ことを特徴とする画像特徴取得方法。
【請求項12】
請求項7から11までのいずれかの画像特徴取得方法により取得された高次局所共起特徴を少なくとも使用して、処理対象画像が検出対象を含むかどうかを検出もしくは識別するか又は処理対象画像から検出対象を抽出する処理ステップを含むことを特徴とする画像処理方法。
【請求項13】
処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを求める機能と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める機能と、
を実現するための画像特徴取得用プログラム。
【請求項14】
処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを取得する機能と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求める機能と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める機能と、
前記2次局所共起特徴に前記高次局所共起特徴を合わせて正規化する機能と、
を実現するための画像特徴取得用プログラム。
【請求項15】
請求項13又は14のいずれかにおいて、前記高次局所共起特徴を取得する機能は、前記選択された3個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも1つを、前記各ブロック内における高次局所共起特徴として取得するものである、ことを特徴とする画像特徴取得用プログラム。
【請求項16】
請求項13から15までのいずれかにおいて、前記高次局所共起特徴を取得する機能は、各ブロックを構成する複数のセル中から、前記ブロック内の各セル間の距離に基づいて、前記3個以上のセルを選択するものである、ことを特徴とする画像特徴取得用プログラム。
【請求項17】
請求項14において、前記2次局所共起特徴を取得する機能は、前記各ブロック内の全てのセルではなくその中から予め選択された複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求めるものである、ことを特徴とする画像特徴取得用プログラム。
【請求項18】
請求項13から17までのいずれかの画像特徴取得用プログラムの実行により取得された高次局所共起特徴を少なくとも使用して、処理対象画像が検出対象を含むかどうかを検出もしくは識別するか又は処理対象画像から検出対象を抽出する処理機能を実現するための画像処理用プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、車載カメラや監視カメラなどで使用可能な画像特徴抽出のため又は画像認識等の画像処理のためのシステム、方法又はプログラムに関する。
【背景技術】
【0002】
従来より、人物検出等の物体検出の分野において局所領域の勾配特徴が注目されているが、局所領域内での勾配分布特徴のみでは高い検出精度を得ることが難しいという問題があった。例えば、特許文献1は、局所領域における勾配特徴を用いて検出用の学習器を作成し、次に複数の領域における学習器の出力を組み合わせてさらに学習器に接続することにより共起特徴を得て検出精度の向上を図ることを提案している。また、特許文献2は、局所領域内での勾配分布の要素を共起させることで高次元の特徴量を得て検出精度の向上を図ることを提案している。
【先行技術文献】
【0003】

【特許文献1】特開2009-301104号公報
【特許文献2】特開2011-118832号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1においては、十分な検出精度が確保されていないし、計算時間(2段目の学習停止)の改善も不十分である。また、特許文献2においても、検出精度の更なる向上について及び高次元の特徴量を使用することにより生じる計算量の増大の問題については全く示唆されていない。
【0005】
本発明は、従来より提案されている特徴量と比較してより高精度に物体を識別又は検出可能な局所領域内での勾配分布の要素の共起により得られる特徴を提案し、さらに、共起させる際の演算子、高次化の際の要素選択に関する知見を加え、設計者の意図する計算時間と検出精度のトレードオフを満たすような検出器の製作などを提案するものである。すなわち、本発明は、従来のFIND特徴量などのような2次共起特徴を使用した処理対象画像に対する物体の識別又は検出と比較して、処理対象画像に対する物体の識別精度や検出精度を向上させることができる画像特徴を、計算量を増大させることなく求めることができる画像特徴取得システム、方法及びプログラム、並びに上記画像特徴を使用した画像処理システム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
以上のような課題を解決するための本発明による画像特徴取得システムは、処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを求めるセル特徴取得手段と、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所共起特徴取得手段と、を備えたことを特徴とするものである。
【0007】
また、本発明による画像特徴取得システムにおいては、処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを取得するセル特徴取得手段と、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求める2次局所共起特徴取得手段と、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所間共起特徴取得手段と、前記2次局所共起特徴に前記高次局所共起特徴を合わせて正規化する正規化手段と、を備えたことを特徴とするものである。
【0008】
また、本発明による画像特徴取得システムにおいては、前記高次局所共起特徴取得手段は、前記選択された3個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも1つを、前記各ブロック内における高次局所共起特徴として取得するものであることが望ましい。
【0009】
また、本発明による画像特徴取得システムにおいては、前記高次局所共起特徴取得手段は、各ブロックを構成する複数のセル中から、前記ブロック内の各セル間の距離に基づいて、前記3個以上のセルを選択するものであることが望ましい。
【0010】
また、本発明による画像特徴取得システムにおいては、前記2次局所共起特徴取得手段は、前記各ブロック内の全てのセルではなくその中から予め選択された複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における2次局所共起特徴を求めるものであることが望ましい。
【0011】
また、本発明による画像処理システムは、前記画像特徴取得システムにより取得された高次局所共起特徴を少なくとも使用して、処理対象画像が検出対象を含むかどうかを検出もしくは識別するか又は処理対象画像から検出対象を抽出する処理手段を備えたことを特徴とするものである。
【0012】
なお、本発明は、各請求項に記載のように、それをシステムとして実現することだけでなく、それを方法として実現すること、又はそれをコンピュータプログラムとして実現することも可能である。
【発明の効果】
【0013】
本発明によれば、処理対象画像を構成する複数の画素から成る各セルの輝度勾配方向ヒストグラムを求め、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された3個以上の個数(各ブロック内の全セル数より少ない個数)の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次共起特徴を求め(さらに前記各ブロック内における高次共起特徴を正規化等して)、これを処理対象画像に対する物体の識別又は検出のために使用するようにしたので、従来のFIND特徴量などのような2次共起特徴を使用した場合と比較して、処理対象画像に対する物体の識別精度や検出精度を計算量を増大化させることなく向上させることができるようになる。
【0014】
特に、本発明において、前記各ブロック内における高次共起特徴を、従来より採用されている前記各ブロック内における2次共起特徴(各ブロックを構成する複数のセル中から2個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから得られる各ブロック内における2次共起特徴)と合わせた上で正規化等して、それを処理対象画像に対する物体の識別又は検出のために使用するようにしたときは、従来のノイズに強い2次共起特徴を使用した物体の識別又は検出手法に記述能力が高い高次共起特徴を付加することができるので、より高精度でノイズに強い識別又は検出を実現することができる。
【0015】
また、本発明において、前記選択された3個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも1つを、前記各ブロック内における高次共起特徴として求めるようにしたときは、積、最小値、調和平均、相加平均、及び最大値の中から処理対象画像又は識別・検出対象物体の特性に適した共起特徴を選択して、より高精度な処理対象画像に対する物体の識別又は検出を行なうことができる。
【0016】
また、本発明において、前記高次共起特徴を、前記ブロック内の各セル間の距離に基づいて選択された3個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求めるようにしたときは、前記高次共起特徴を求めるための3個以上の各セルの輝度勾配方向ヒストグラムの選択を、より適切に行なうことができる。
【0017】
さらに、本発明において、前記各ブロック内における高次共起特徴を加える前記各ブロック内における2次共起特徴を、「前記各ブロック内の全てのセル」中から順次選択される2個の各セルの輝度勾配方向ヒストグラムの組み合わせから求めるのではなく、「前記各ブロック内の全てのセル中から予め選択された複数のセル」中から順次選択される2個の各セルの輝度勾配方向ヒストグラムの組み合わせから求めるようにしたときは、前記各ブロック内における高次共起特徴を、従来の前記各ブロック内における2次共起特徴に合わせて正規化等して、それを処理対象画像に対する物体の識別又は検出のために使用するようにした場合でも、全体の計算量の増大化を抑えることができる。
【0018】
なお、本発明は、それをシステムとして実現することだけでなく、それを方法として実現すること、又はそれをコンピュータプログラムとして実現することも各請求項に記載のとおり可能であり、それらのいずれの場合でも同様の作用効果を得ることができる。
【図面の簡単な説明】
【0019】
【図1】FIND特徴量の算出に使用される、複数画素から成る各セルの輝度勾配方向ヒストグラムの作成方法を説明するための図である。
【図2】FIND特徴量の算出に使用される、各ブロック内における共起特徴量の算出方法を説明するための図である。
【図3】本実施形態における高次局所共起特徴の算出方法を説明するための図である。
【図4】本実施形態の実験で使用した学習サンプルの例を示す図である。
【図5】本実施形態によるHigh-Order-FIND特徴量の算出において使用される3次の共起特徴の算出方法を説明するための図である。
【図6】本実施形態によるHigh-Order-FIND特徴量の算出において使用される4次の共起特徴の算出方法を説明するための図である。
【図7】本実施形態によるHigh-Order-FIND特徴量の算出において使用される4次の共起特徴の算出方法を説明するための図である。
【図8】本実施形態によるHigh-Order-FIND特徴量の算出において使用される非隣接セル間における2次の共起特徴の算出方法を説明するための図である。
【図9】本実施形態での識別実験において使用した評価用画像の例を示す図である。
【図10】本実施形態での識別実験において図9の評価用画像を使用した識別結果を示すグラフである。
【図11】本実施形態での人物検出実験において使用した検出用画像の例を示す図である。
【図12】本実施形態での人物検出実験における、High-Order-FIND特徴量による人物検出とFIND特徴量による人物検出との検出結果を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の一実施形態を図面などを参照して説明する。近年、カメラ画像から自動的に人物を検出する技術は、監視画像から不審動作を検知する異常動作検出[南里卓也,大津展之,“複数人動画像からの異常物体動作検出”,電子情報通信学会技術研修報告.PRMU2004-77,Vol.104,No.291,pp.9-16,2004]や、運転支援システムとして車載カメラ画像を用いた歩行者検出技術の開発[M.Soga,S.Hiratsuka,H.Fukamachi,Y.Ninomiya,“Pedestrian Detection for a Near Infrared Imaging System”,the 11th International IEEE Conference on ITSC,pp.1167-1172,2008]、[馬場美也子,平塚誠良,中條直也,曽我峰樹,二宮芳樹(豊田中研),深町映夫(トヨタ自動車),“夜間歩行者検出”,ViEW2008,pp.224-228,2008]などにおいて重要性が高まっており、検出に有効な特徴量の研究が盛んに行われている。

【0021】
歩行者検出及び人物検出法については、Violaらが提案した顔検出[Paul.Viloa,Michael J.Jones,“Robust Real-Time Face Detection”,International Journal of Computer Vision,vol.57,No2,pp.137-154,2004]に代表されるように、局所特徴量を用いたものが多くある。人物検出に有効な局所特徴量として、領域の累積エッジ強度の比を特徴量とするEdge Orientation Histograms(EOH)[Kobi Levi,Yair Weiss,“Learning Object Detection from a Small Number of Examples:the Importance of Good Features”,IEEE International Conference on CVPR,vol.2,pp.53-60,2004]やエッジ同士をつなげた短い線、カーブを特徴量として表現するEdgelet Feature[B.Wu,R.Nevatia,“Detection of multiple,partially occluded humans in a single image by Bayesian combination of edgelet part detectors”,IEEE International Conference on ICCV,vol.1,pp.90-97,2005]などの特徴量が提案されている。

【0022】
特に、局所領域における輝度の勾配分布を扱うHistograms of Oriented Gradients(HOG)[N.Dala,B.Triggs,“Histograms of Oriented Gradients for Human Detection”,IEEE Computer Vision and Pattern Recognition,vol.1,pp.886-893,2005]を用いた研究は盛んに行われている[三井相和,山内悠嗣,藤吉弘亘,“Joint特徴量を用いた2段階Boostingによる物体検出”,電子情報通信学会論文誌,vol.J92-D,No.9,pp.1591-1601,2009]。またHOG特徴量を高次元にした特徴量として、Co-occurrence Histograms of Oriented Gradients(CoHOG)[Tomoki Watanabe,Satoshi Ito,Kentaro Yoki,“Cooccurrence Histograms of Oriented Gradients for Human Detection”,IPSJ Transactions on Computer Vision and Applications,vol.2,pp.39-47,2010]特徴量、Feature Interaction Descriptor(FIND)[Hui CAO,Koichiro YAamaguchi,Mitsuhiko Ohta,Takashi Naito,Yoshiki Ninomiya,“Feature Interaction Descriptor for Pedestrian Detection”,IEICE Trans.Inf.&Syst.Vol.E93-D,No.9,pp.2656-2659,2010]特徴量などが提案されている。これらは、局所領域における勾配方向ヒストグラムの2つの要素の相互関係を扱うことにより性能を向上させた特徴量である。つまり、CoHOG特徴量は、局所領域における勾配方向及び勾配強度を算出し、注目画素と近傍にある画素との勾配方向の組み合わせを特徴とする特徴量である。FIND特徴量は、局所領域における勾配方向ヒストグラムを算出し、その2つの要素の相互関係を特徴とする特徴量である。これらの特徴量は、HOG特徴量に比べて、物体の形状をより詳細に表現でき、HOG特徴量と同様に幾何学変化や照明変動に頑健である。

【0023】
本実施形態では、局所領域に対して高次(3次以上)の相互関係を扱う高次局所共起特徴を提案する。高次局所共起特徴量としては、高次局所自己相関特徴量(HLAC:Higher-order Local AutoCorrelation)、Edgelet Feature、Shapelet Feature[P.Sabzmeydani,G.Mori,“Detecting Pedestrians by Learning Shapelet Features”,IEEE Computer Vision and Pattern Recognition,pp.1-8,2007]などが挙げられる。これらに対して、本発明者らは、本実施形態において、従来の2次局所共起特徴量としてのFIND特徴量に高次局所共起特徴量を導入するようにし、さらにこの場合における物体の識別又は検出性能を評価し、併せて高次関係に最適な共起関係をも検証した。

【0024】
1.高次局所共起特徴
まず、従来より提案されている高次局所共起特徴について説明する。従来より、人物検出に有効な特徴量として、画像の局所領域から抽出される局所特徴を用いたものが多く提案されている。これらの中、高次局所共起特徴、すなわち3つ以上の局所の特徴の組合せにより得られる局所共起特徴としては、HLAC特徴量が挙げられる。HLAC特徴量は、ある画素とその近傍との間での画素値の相関関係を扱う特徴量である。他にも高次の共起を扱う特徴量としては、Edgelet特徴量やShapelet特徴量等が挙げられる。Edgelet特徴量は、局所領域内に定義した形状パターンと、入力画像の局所領域間でのエッジ方向の差異を基に特徴量を算出する特徴量である。エッジに注目したShapelet特徴量は、局所領域において画素毎のエッジ特徴量を用いた弱識別器から構成される特徴量である。HLAC特徴量は輝度の勾配分布を扱わず、Edgelet及びShapelet特徴量はエッジ情報を基にBoostingにより算出されるため、いずれも輝度勾配が低い情報は重要視されにくい。一方、輝度の勾配分布を扱う局所特徴量として、N.Dalaらが提案したHOG特徴量が挙げられる。このHOG特徴量は、局所領域内のエッジの強弱に注目し、エッジ方向ごとにヒストグラムにしたものである。HOG特徴量の拡張に当たり、勾配情報の2つの要素の共起関係を扱う特徴量として、渡辺友樹らが提案したCoHOG特徴量やHui CAOらが提案したFIND特徴量があり、いずれもHOG特徴量に比べて高精度な検出が可能となった。これらのことから、局所勾配分布の共起関係を扱うことが有効であることが判明した。

【0025】
本実施形態で提案する局所勾配分布の高次共起特徴とは、局所勾配分布の要素に対して、3つ以上の高次共起関係を特徴とするものである。さらに、この特徴をFIND特徴量やCoHOG特徴量などに導入・適用することで、更なる検出精度の向上が見込まれる。

【0026】
次に、本実施形態で提案する局所勾配分布の高次共起特徴を導入・適用する2次局所共起特徴の一つとしてのFIND特徴量について説明する。

【0027】
2.FIND特徴量
FIND(Feature Interaction Descriptor)特徴量は、従来手法の一つであるHOG特徴量の拡張である。そのため、HOG特徴量が有する幾何学変化に頑健で照明変動に強いという性質を継承する。FIND特徴量は、局所領域における輝度勾配方向ヒストグラムの共起関係を扱うことで高次化するため、HOG特徴量と比べてより詳細な形状表現が可能となる。FIND特徴量では、特徴量の算出に以下のような2つの段階を踏む。

【0028】
2.2.1 勾配方向ヒストグラムの算出
第1段階では、局所領域における勾配方向及び勾配強度を算出し、勾配方向ヒストグラムを作成する。画像内における各ピクセルの輝度情報をL(x,y)とすると、次式により、勾配強度g(x,y)及び勾配方向θ(x,y)を算出する。

【0029】
【数1】
JP0005924735B2_000002t.gif

【0030】
上式に基づき算出した勾配強度g(x,y)、勾配方向θ(x,y)を用いて、図1のような5×5ピクセルのセル領域における輝度勾配方向ヒストグラムを作成する。このとき、勾配方向は0°~360°を45°ずつの8方向に分割する。

【0031】
2.2.2 ヒストグラム各要素の共起特徴算出
第2段階では、第1段階での結果を基に、局所領域における共起関係を算出する。図2のように、ブロック(3×3セル)における勾配方向ヒストグラムの各要素をh(i=1,2・・・,m)とし、ブロック内の要素数をm,算出される共起関係をf(h,h)とすると、ブロック内の共起特徴量は次のように表現できる。

【0032】
【数2】
JP0005924735B2_000003t.gif

【0033】
ここで、mはブロック内のヒストグラムの要素数である。ここで、共起関係f(h,h)は次の式(3)の調和平均を用いて算出する。

【0034】
【数3】
JP0005924735B2_000004t.gif

【0035】
このようにして共起特徴を算出した後、次の式(4)により正規化する。

【0036】
【数4】
JP0005924735B2_000005t.gif

【0037】
以上の処理を全てのブロックに対して適用することで、FIND特徴量を生成する。

【0038】
3.Hight-Order-FIND特徴量
3.1 Hight-Order-FIND特徴量の算出
次に、本実施形態において提案するHigh-Order-FIND特徴量について説明する。一例として、上記「1.高次局所共起特徴」で述べた勾配分布の高次局所共起特徴をFIND特徴量へ導入し、High-Order-FIND特徴量を得る方法について説明する。High-Order-FIND特徴量は、FIND特徴量に対して高次の共起関係としてのd次の共起関係を導入することにより得られる特徴量である。FIND特徴量に高次共起関係を導入することにより、FIND特徴量だけによる場合に比べて、ノイズに強い性質を維持しながら、より精緻な物体の形状表現などが可能となる。High-Order-FIND特徴量を得る過程では、上記「2.FIND特徴量」において述べた方法により各セルの勾配方向ヒストグラムを作成すると共にヒストグラム各要素の共起特徴を算出し、FIND特徴量を算出すると共に、高次局所共起特徴を算出する。次に、高次局所共起特徴の算出手順を説明する。

【0039】
3.1.1 高次局所共起特徴の算出
高次局所共起特徴は、従来手法であるFIND特徴量の共起特徴と同様に、局所領域における勾配方向ヒストグラムを基に算出する。図3のように、x×yセルの局所領域においては最大でx×y次の高次局所共起特徴を扱うことができるが、本実施形態では、x×y個の全セル中からそれより少ないd個のセルだけを選択してd次の共起関係を算出するようにしている(これにより共起特徴を算出又は導入する場合における計算量の増大化を抑制することができる)。

【0040】
前述のように、FIND特徴量は、局所領域間の全要素に対して2個のセル間の共起関係を求める(局所領域中の全ての各セルから2個ずつを順次選択して共起関係を求め、それを全てのセルが選択されるまで繰り返す)ものである。これに対して、本実施形態の高次局所共起特徴は、異なるセル間での共起関係を求める(局所領域中の全ての各セルから3個以上の個数(各セルの全個数よりも少ない個数)のセルを選択し、その選択した3個以上のセル間だけの共起関係を求める)ものである。よって勾配方向ヒストグラムの各要素をh(i=1,2,・・・,n)とし、ブロック内の要素数をn、算出される高次共起関係をf(h,h,・・・,h)とすると、高次局所共起特徴は次のように表現できる。

【0041】
【数5】
JP0005924735B2_000006t.gif

【0042】
そして、このようにして算出した高次共起特徴を、従来のFIND特徴量として算出した2次共起特徴に合わせて、前記の式(4)により正規化を行う。よってブロック内のHigh-Order-FIND特徴量は、次のように表現できる。

【0043】
【数6】
JP0005924735B2_000007t.gif

【0044】
高次局所共起特徴を算出した後、前記の式(4)を用いて正規化する。以上の処理を全てのブロックに対して適用することで、High-Order-FIND特徴量を得る。

【0045】
3.2 複数の共起関係
次に本実施形態で扱う共起関係について述べる。共起関係としては、上記「2.FIND特徴量」の中で述べた調和平均を含め、最小値、相加平均、最大値、積の計5つを使用することができる。上記「2.FIND特徴量」で述べたところと同様に、ブロック内のヒストグラムの要素をh(i=1,2,・・・,m)、d次の共起関係をf(h,h,・・・,h)とすると、上記各共起関係は次の式(A)から式(E)で表現される。ここで、Minは要素の中から最小値を、Maxは要素の中から最大値を選択する関係とする。

【0046】
【数7】
JP0005924735B2_000008t.gif

【0047】
4.実験
4.1 実験環境
実験には,図4のような切り出し画像を使用し、学習器にはSVMLightを用いて、人物画像を1137枚と非人物画像を1850枚の学習を行った。学習画像は30×60ピクセル、特徴量抽出時のセル、及びブロックサイズはセルが5×5ピクセル、ブロックが3×3セルで実験を行った。

【0048】
4.2 複数の共起特徴による性能変化について
4.2.1 実験概要
本実施形態では、事前実験として上記「3.2 複数の共起関係」に示した5種類の共起関係を使用し、FIND特徴量を算出した時の分類精度を比較した。精度比較にはSVMLightの予測方法であるXiAlpha-Estimateを用いた。

【0049】
4.2.2 実験結果
上記「3.2 複数の共起関係」で述べた式(A)から式(E)の各共起関係を用いて学習を行い、それによるときの予測分類精度及びF値を表1に示す。

【0050】
【表1】
JP0005924735B2_000009t.gif

【0051】
表1のエラー率、再現率、適合率及びF値は以下の式を用いて算出した。

【0052】
【数8】
JP0005924735B2_000010t.gif

【0053】
表1から、式(A)及び式(B)の分類精度が、FIND特徴量に用いられている式(C)に比べ、精度が高い結果となった。またF値から、検出器としての性能は、式(B)を使用した時が最も高い結果となった。よって、本実験では式(B)を用いた。

【0054】
4.3 高次関係の組み込みによる性能評価
4.3.1 High-Order-FIND特徴量のパラメータ設定
局所領域におけるセル及びブロックは、FIND特徴量と同様のサイズを使用した。FIND特徴量と次元数をほぼ同じに抑えるために、高次局所共起特徴として3次、4次、5次を扱った。各高次関係については、以下のように算出した。3次関係は図5の赤枠で囲まれている1番、3番、7番に対応する3個のセル、4次関係は図6の赤枠で囲まれている1,3,7,9番に対応する4個のセル、5次関係は図7の赤枠で囲まれている1,3,5,7,9番に対応する5個のセルの間での共起特徴を算出することにより高次共起関係を算出した。2次の共起関係については、図8に示すように、一つのブロック中の全てのセルではなく一つのブロック中の非隣接セルのみの中から2個ずつを順次選択して算出するようにし、これにより全体の計算量を削減した。

【0055】
4.3.2 実験概要
High-Order-FIND特徴量とFIND特徴量の精度比較を、次の3つの項目に関して行った。
(1)SVMLightによる予測分類精度を用いた比較
(2)評価用画像に対する識別結果
(3)検出用画像に対する検出結果

【0056】
4.3.3 SVMLightによる予測分類精度を用いた比較実験
High-Order-FIND特徴量とFIND特徴量についての予測分類精度及びF値を表2に、各特徴量の次元を表3に示した。

【0057】
【表2】
JP0005924735B2_000011t.gif

【0058】
【表3】
JP0005924735B2_000012t.gif
上表2などより、High-Order-FIND特徴量は、再現率、適合率、F値などにおいてFIND特徴量を大きく上回っていることが分かった。

【0059】
4.3.4 評価用画像に対する識別実験
評価用画像には、図9のような人物及び非人物画像を持つDimler-Chrysler[S.Munder and D.M.Garvrila,“An experimental study on pedestrian classification”,IEEE Transactions on Pattern Analysis and Machine Intelligence.,vol.28,no.11,pp.1863-1868,2006]のデータセットを使用し、それぞれ1000枚を用いて識別精度を検証した。識別結果は図10のようになった。図10は、識別に対する未検出率、誤検出率を両対数グラフにまとめたものであり、原点に近づくにつれ精度が高いことを表している。図10のグラフからは、FIND特徴量に比べ、High-Order-FIND特徴量の方がグラフが原点よりに描かれていることから、識別精度が向上していることが分かる。

【0060】
4.3.5 考察
前述の表2や図10などに示すように、予測精度、識別精度、及びF値において全体的にHigh-Order-FIND特徴量がFIND特徴量を上回った。今回の実験では、FIND特徴量と次元数をほぼ同じに抑える(上表3参照)ため、High-Order-FIND特徴量を求めるために使用する2次共起特徴を非隣接セル同士の共起関係のみから算出するようにし、隣接セル同士の共起関係は省略した。High-Order-FIND特徴量を求めるために使用する2次共起特徴を、非隣接セル同士の共起関係のみから算出した場合と、全てのセル同士の共起関係から算出した場合とで、エラー率、再現率、適合率、F値などを比較した。その結果を次表4に示す。

【0061】
【表4】
JP0005924735B2_000013t.gif

【0062】
上表4から、再現率は下がっているが、適合率は上がっていることがわかる。これは、適合率の計算方法に人物を誤検出したことが含まれていないためだと考えられる。検出器の性能を評価するF値は、全てのセルを扱った場合よりも小さい値となっており、検出性能が低下したことが分かる。また特徴量の算出には、表1のF値から、式(B)を扱った。その結果、高次の共起関係は全ての共起関係を内包するため、同一セル内の共起特徴の削減が、重複する組み合わせの削減となる。よって、効果的な共起関係の削減となったといえる。以上の結果から,高次局所共起特徴を導入することによって、FIND特徴では考慮されなかった人物の形状を精緻に捉えることが可能になり、非隣接セルのみを扱うことで低下した性能を補うことができたといえる。

【0063】
4.3.6 検出用画像に対する検出実験
検出画像としてPETSでWeb上で公開されている図11のような画像を用いて、High-Order-FIND特徴量とFIND特徴量を用いた人物検出を行った。検出結果を図12に、検出時間を表5に示す。

【0064】
【表5】
JP0005924735B2_000014t.gif

【0065】
検出用画像に対する検出性能については、従来のFIND特徴量を用いた検出では電柱などに対して誤検出しているが、High-Order-FIND特徴量を用いた検出ではFIND特徴量に比べて誤検出が少なかった。また、High-Order-FIND特徴量の方が、定性的な検出性能の点から見ても優れており、また表5に示すように検出時間の短縮も確認された。しかし,図11の検出画像2のような人物が密集している画像に対しては、両特徴とも人物の適切な検出は困難という結果となった。なお、実験にはIntel Core i7-2600 CPU(3.4GHz)メモリ16GBのPCを使用した.

【0066】
4.3.7 考察
上記4.3.6の「検出用画像に対する検出実験」では,検出用画像に対して人物検出を行った。検出結果については、本実施形態の手法が、従来手法に比べて誤検出が少なく検出性能が高いことが分かった。しかし,両特徴量ともに人物が密集している画像に対しては適切な検出は困難となった.また今回人物のサイズが一様な画像を使用したが、サイズの小さい人が画像中に存在する場合、特徴を十分に抽出できないため適切に検出できないことが予想される。使用した画像のような固定カメラではなく車載カメラ等に使用する場合、大小様々な人物の検出が必要になるため、スケール変化への対応が望まれる。またこのことから、人物に対して適切なサイズでの検出が可能になるので、密集画像に対しての検出も可能になるのではないかと考えられる。検出時間については、FIND特徴量とHigh-Order-FIND特徴量が同程度という結果となった。しかし、検出には未だに多くの時間を有するため、更なる検出時間の短縮は必要となる。よってスケール変化に対応すること、及び検出時間の短縮は今後検討する必要がある。

【0067】
5. まとめ
本実施形態では、選択された3つ以上のセル間の共起関係を扱う高次局所共起特徴を提案し、さらに、これをFIND特徴量に導入することで検出性能の向上を図ることができることを示した。High-Order-FIND特徴量は、高次局所共起特徴をFIND特徴量に導入することにより、局所領域間の共起関係をより精緻に表現することが可能となる特徴量だと言える。FIND特徴量との比較を行うために、隣接する局所領域の情報を省略し、扱うセルを制限することで実験を行った。

【0068】
検出実験からも明らかであるが,学習モデルと検出対象の人物の大きさが著しく異なるときに検出できないという問題が判明した。また提案手法は従来手法であるFIND特徴量と次元数が同程度であり、処理時間も大差ない結果となったが、実時間での実行を考慮した時、さらなる処理時間の短縮が望まれる。処理時間の短縮には、後藤らのカスケード構造を用いることによりFIND特徴量の使用回数を減らす研究[後藤邦博,城殿清澄,木村好克,内藤貴志,“FIND特徴を用いたカスケード型識別器による歩行者検出及び向き推定”,自動車技術会春季大会学術講演前刷集,no.11-11,pp.17-20,2011]が有効であると考えられる。

【0069】
本実験では、FIND特徴量に対して行い、次元を抑えるために5次の共起関係まで扱ったが、6次などさらなる高次関係を導入するようにすれば、より精度向上が可能となる。3次や4次の共起関係については、セルの選択にも複数の組み合わせがあり得る。またCoHOG特徴量など他の特徴量に対して高次局所共起特徴を導入することも可能である。

【0070】
FIND特徴量は局所領域内の共起関係について扱う特徴量であるが、より検出性能を向上させるには、離れた部分の共起、つまり離れた局所領域間で共起させることが必要と考えられる。局所領域間での共起特徴として、藤吉らの提案したJoint HOG特徴量を参考にすれば、物体の対称性や連続性を捉えることが可能になるため、より正確に物体の形状を表現できると思われる。

【0071】
今後の課題としては、処理時間の短縮やスケール変化への対応、AdaBoost等による統計処理を用いた特徴量の選択、及び局所領域間における共起の組み合わせなどが挙げられる。

【0072】
以上、本発明の実施形態について説明したが、本発明は前記実施形態として述べたものに限定されるものではなく、様々な修正及び変更が可能である。例えば、前記実施形態においては、或る一つのブロック内の高次共起特徴と同じブロック内のFIND特徴量とを合わせて正規化する処理を全てのブロックに適用することにより、High-Order-FIND特徴量を求め、この求めたHigh-Order-FIND特徴量を使用して処理対象画像に対する人体の識別又は検出を行なうようにした。しかし、本発明はこれに限られるものではなく、例えば、或る一つのブロック内の高次共起特徴を正規化する処理を全てのブロックに適用することにより、高次共起特徴量を求め、この求めた高次共起特徴量だけを使用して(前記実施形態のように高次共起特徴とFIND特徴量とを合わせることなく)処理対象画像に対する人体の識別又は検出を行なうようにしてもよい。また、前記実施形態においては、前記選択された3個以上のセルの各輝度勾配方向ヒストグラムの組み合わせから求められる最大値を前記各ブロック内における高次共起特徴として採用するようにしたが、本発明においては、これに限られるものではなく、前記の最小値、調和平均、相加平均、及び最大値のいずれか一つ又は複数を前記各ブロック内における高次共起特徴として採用するようにしてもよい。また前記実施形態においては、局所勾配分布の要素に対して3つ以上の高次共起関係を特徴とする高次局所共起特徴をFIND特徴量に導入して検出精度等を向上させることを提案したが、本発明においてはこれに限られるものではなく、例えば前記高次局所共起特徴をCoHOG特徴量などに導入・適用して検出精度等を向上させるようにしてもよい。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11