TOP > 国内特許検索 > 情報処理装置及び情報処理方法

情報処理装置及び情報処理方法

国内特許コード P110001618
整理番号 52
掲載日 2011年3月7日
出願番号 特願2004-129088
公開番号 特開2005-310009
登録番号 特許第4576524号
出願日 平成16年4月23日(2004.4.23)
公開日 平成17年11月4日(2005.11.4)
登録日 平成22年9月3日(2010.9.3)
発明者
  • 中野 鉄平
  • 森江 隆
出願人
  • 国立大学法人九州工業大学
発明の名称 情報処理装置及び情報処理方法
発明の概要

【課題】小規模な回路で実現することが可能であり、かつEGMの演算時間を短くすることが可能な情報処理技術を提供する。
【解決手段】第1、第2画像上の第1格子及び第2格子のEGM処理を行う情報処理装置において、第1格子固定条件下において、第2格子の格子点の相対位置に依存せず第2格子の格子点座標に依存する絶対評価量を計算する絶対評価量計算手段6、第1格子固定条件下において、第2格子の格子点座標とその格子点に隣接する各格子点座標に依存する相対評価量を計算する相対評価量計算手段8、及び、第2格子の格子点のそれぞれを、順次注目格子点とし、当該注目格子点周囲の移動範囲内にある画素点について、絶対評価量と相対評価量とから所定の評価関数により総合評価量を計算し、総合評価量が最適である画素点に当該注目格子点を移動する処理を行う第2格子最適化手段9を設けた。
【選択図】 図1

従来技術、競合技術の概要


近年、画像における顔や物体の認識・認証技術が盛んに研究されている。物体認識技術としては、これまでに種々の方法が提案されており、例えば、サポート・ベクター・マシン(SVM)を用いる方法(非特許文献5参照)、高次局所自己相関特徴と判別分析を用いる方法(非特許文献6参照)、EGMを用いる方法(非特許文献1参照)などが知られている。



SVMによる方法では、複数のサンプル画像を用いて学習させた識別器を用いて、入力画像がどのサンプル画像に対応するかを判別する。この場合、判別させたい物体1個につき1個の識別器が必要となる。この方法では、すべての識別器に対して、記憶対象画像を学習させる必要があり、計算量が膨大となる。



高次局所自己相関特徴では、画像に含まれる特徴を抽出し、その特徴毎にヒストグラムを構成し、画像固有のパラメータとする。そして、そのパラメータ同士を入力画像と比較することにより、マッチングを行う。この方法では、画像内での特徴の位置関係を無視するため、物体の位置ずれにロバストな認識が可能である。



EGMでは、画像上に格子点を配置した評価点を、入力画像及び記憶画像それぞれに定義し、対応する評価点での一致度と格子の歪みの少なさで定義される評価関数を最大にするように格子点を移動させる。その評価関数が画像間の一致度となる。評価点を移動させて比較するため、顔の表情や物体の傾きのような変化を吸収することができる。そのため、顔認識の分野では、その性能についての評価が高く、実用化もされている(特許文献1,非特許文献2~4参照)。



EGMでは、図15に示すように、入力画像と記憶画像とのそれぞれに評価点(以下、「格子点」という。)を格子状に並べる(図15(a),(b)参照)。そして、後述の評価関数が最大となるように格子点を移動させることで、マッチングを行う(図15(c)参照)。



EGMを実行する前に、物体の位置を検出する必要がある。検出方法としては、EGMのオリジナルの手法として、格子の形状を固定した状態で格子を画像内で動かし、大局的な特徴による評価関数が最大となる位置を探索する方法がある(非特許文献1参照)。また、抵抗ヒューズ・ネットワーク処理により画像を大局的な領域として分割し、物体が位置する領域を抽出する方法なども知られている(非特許文献7,8参照)。また、顔に特化した方法としては、階層型ニューラル・ネットワークにより顔の位置を検出する方法(非特許文献9~11参照)、6分割矩形フィルタにより眉間を検出することで顔の候補とし、SVMにより判別する方法(非特許文献12参照)等がある。



評価関数は(数1)により定義される(非特許文献1参照)。



【数式1】




ここで、Ecは、入力画像と記憶画像との特徴量の差を表す項である。Edは格子全体の歪みを表す項である。λは、EcとEdとのトレード・オフを決定する定数である。



入力画像と記憶画像との特徴量の差を表す項Ecは、(数2)のように定義される。



【数式2】




但し、Vは全格子点の集合である。evcは、入力画像及び記憶画像の対応する格子点vでの特徴量差を表す項であり、(数3)により表される。



【数式3】




但し、JvI, JvMは格子点vにおいて、それぞれ、入力画像、記憶画像のガボール・ウェーブレット変換(Gabor Wavelet transform:以下、「GWT」という。)により得られる特徴ベクトルである。



次に、格子全体の歪みを表す項Edは、(数4)により定義される。



【数式4】




ここで、evdは、格子点vとその隣接格子点との距離の和を表し、(数5)により定義される。



【数式5】




但し、Nvは格子点vの隣接格子点の集合である。DvwI, DvwMは、それぞれ、入力画像、記憶画像の格子点v, w間の距離である。



(数1)により得られる評価関数Eの値は、画像間の“一致度”を表す。他の記憶画像についても同様の処理を行い、最も一致度の高い画像を、同一物体(人物)の画像とする。

【特許文献1】特表2004-509391号

【非特許文献1】Martin Lades, Jan C. Vorbrnggen, Joachim Buhmann, J. Lange, Christoph von der Malsburg, Rolf P. Whrtz, and Wolfgang Konen, "Distortion Invariant Obj ect Recognition in the Dynamic Link Architecture", IEEE Transactions on Computers, vol. 42, pp. 300-31 l, 1993.

【非特許文献2】森本勝,安達澄昭,西村純一,「顔認識技術を用いた徘徊者保護支援システム」,OMRON TECHNICS,通巻137号,2001.

【非特許文献3】大久保達也,安達澄昭,岩尾博之,「顔認識技術を用いた入退室管理システム」,OMRON TECHNICS,通巻135号,2000.

【非特許文献4】T. Nakano, T. Morie, and A. Iwata, "A Face/Object Recognition System Using FPGA Implementation of Coarse Region Segmentation," in SICE Annual 'Conference, 2003.

【非特許文献5】P. J. Phillips, "Support Vector Machines Applied to Face Recognition," In Advances in Neural Information Processing Systems 11, MIT Press, pp. 803-809, 1999.

【非特許文献6】T. Kurita, N. Otsu, and T. Sato, "A Face Recognition Method Using Higher Order Local Autocorrelation And Multivariate Analysis:' ICPR, vol. B, pp. 213-216.

【非特許文献7】中野鉄平,森江隆,安藤博士,石津任章,岩田穆,「大局的画像領域分割のためのデジタル方式抵抗ヒューズ・ネットワークの設計とFPGAへの実装」,信学技報,VLD2002-154, ICD2002-219, 2003.

【非特許文献8】T Nakano, H. Ando, H. Ishizu, T. Morie, and A. Iwata, "Coarse Image Region Segmentation Using Resistive-fuse Networks Implemented in FPGA," in The 7th World Multiconference on Systemics, Cybernetics and Informatics (SCI 2003) Proceedings, volume IV, pp. 186-191, Orlando, July 27-30 2003.

【非特許文献9】S. Lawrence, C. L. Giles, A. C. Tsor and A. D. Back, "Face Recognition: A Convolutional Neural-Network Approach:' IEEE Trans. Neural Networks, vol. 8, pp. 98-1 13, 1997.

【非特許文献10】M. Matsugu. K. Mori, M. Ishii, and Y. Mitarai, "Convolutional Spiking Neural Network Model for Robust Face Detection," in Proc. Int. Conf on Neural Information Processing (ICONIP) , pp. 660-664, 2002.

【非特許文献11】K. Korekado, T. Morie, Osamu Nomura, H. Ando, T. Nakano, M. Matsugu, and A. Iwata, "A Convolutional Neural Network VLSI for Image Recognition Using Merged/Mixed Analog-Digital Architecture," in 7th Int. Conf on Knowledge-Based Intelligent Information and Engineering Systems (KES'2003), pp. II-169-176, Oxford, Sept. 3-5 2003.

【非特許文献12】川戸慎二郎,鉄谷信二,「SSRフィルターとSVMを用いた顔の実時間検出と追跡」,信学技法,PRMU2003-148 HIP2003-54, 2003.

産業上の利用分野


本発明は、画像内における顔や物体の認識技術の一つである伸縮グラフ・マッチング(elastic graph matching:以下、「EGM」という。)を行うための情報処理技術に関する。

特許請求の範囲 【請求項1】
第1画像上に複数の画素を格子点とする第1格子を設定するとともに、第2画像上に前記第1格子を同相写像した第2格子を設定し、前記第2格子の格子点を移動させて第1格子の格子点のそれぞれに対応する第2格子の格子点の最適な位置を決定することで、第1画像と第2画像との間の伸縮グラフ・マッチング処理を行う情報処理装置であって、
前記第1格子の格子点を固定した条件下において、前記第2格子の各格子点の相対位置には依存せず前記第2格子の格子点の座標に依存して決定される評価量である絶対評価量を計算する絶対評価量計算手段と、
前記第2格子のそれぞれの格子点に対して、当該格子点の周囲の範囲であって当該格子点に隣接する隣接格子点を含まない所定の範囲である注目点近傍領域内に位置する画素点における絶対評価量を保存する絶対評価量記憶手段と、
前記第1格子の格子点を固定した条件下において、前記第2格子の格子点の座標とその格子点から所定の範囲内にある各格子点の座標に依存して決定される評価量である相対評価量を計算する相対評価量計算手段と、
及び、前記第2格子の格子点のそれぞれを、順次注目格子点とし、当該注目格子点及び当該注目格子点の周囲の範囲であって前記注目点近傍領域より狭い所定の範囲である移動範囲内にある画素点について、前記絶対評価量記憶手段に記憶された前記絶対評価量と前記相対評価量計算手段により算出される前記相対評価量とから所定の評価関数により総合評価量を計算し、総合評価量が最適である画素点に当該注目格子点を移動する処理を行う第2格子最適化手段と、を備え、
前記第2格子最適化手段は、前記注目格子点を移動した結果、前記移動範囲が前記注目点近傍領域内からはみ出す場合において、前記移動範囲が含まれる位置まで前記注目点近傍領域をシフトし、このシフトにより新たに前記注目点近傍領域に属することとなる画素点の絶対評価量を前記絶対評価量計算手段により計算し、前記絶対評価量記憶手段内の当該注目点近傍領域の絶対評価量を更新することを特徴とする情報処理装置。

【請求項2】
前記絶対評価量計算手段は、前記第1画像の各画素位置において定義され少なくとも1個以上の特徴量を要素として持つ特徴ベクトルと、前記第2画像の各画素位置において定義され少なくとも1個以上の特徴量を要素として持つ特徴ベクトルとの相関値で表される絶対評価量eを計算するものであり、
前記相対評価量計算手段は、前記第1格子の格子点の座標及び前記第2格子の格子点の座標を用いて算出される格子間距離の変位の総和で表される相対評価量eを計算するものであり、
前記第2格子最適化手段は、前記第2格子の格子点のそれぞれを、順次注目格子点とし、当該注目格子点及びその周囲の所定の範囲内にある画素点について、前記絶対評価量計算手段及び前記相対評価量計算手段により算出される前記絶対評価量eと前記相対評価量eとから、絶対評価量eに対して正の傾きを有し相対評価量eに対しては負の傾きを有する関数又はその定数倍で表される評価関数により総合評価量eを計算し、前記総合評価量eが最適である画素点に当該注目格子点を移動する処理を行うものであること
を特徴とする請求項1記載の情報処理装置。

【請求項3】
前記第1格子の格子点の座標を記憶する第1格子座標記憶手段と、
前記第2格子の格子点の座標を記憶する第2格子座標記憶手段と、
を備え、
前記第2格子最適化手段は、
前記第2格子の格子点のそれぞれを、順次注目格子点とし、前記注目格子点及び前記注目格子点に隣接する格子点の座標、並びにそれらの格子点に対応する前記第1格子の格子点の座標を前記第1格子座標記憶手段及び前記第2格子座標記憶手段から読み出す座標取得手段と、
前記注目点近傍領域内に位置する画素点における絶対評価量を一時的に記憶するキャッシュ・メモリと、
前記絶対評価量記憶手段から、前記注目格子点及び前記注目近傍領域内に位置する画素点における絶対評価量を読み出して前記キャッシュ・メモリに保存する絶対評価量読出手段と、
前記注目格子点及びその周囲の一定の範囲である移動範囲内にある画素点について、前記相対評価量計算手段により相対評価量を算出するとともに、前記キャッシュ・メモリに記憶された絶対評価量を用いて総合評価量を算出する総合評価量計算手段と、
前記注目格子点及びその周囲の所定の範囲内にある画素点のうち、総合評価量が最適である画素点を検出する最適画素点検出手段と、
前記最適画素点検出手段が検出する画素点である検出画素点を注目格子点として、前記第2格子座標記憶手段に保存する格子点座標更新手段と、
前記検出画素点を中心とする前記移動範囲が、前記キャッシュ・メモリに記憶された前記注目近傍領域内からはみ出す場合、前記検出画素点を中心とする前記移動範囲が含まれる位置に前記キャッシュ・メモリに記憶された前記注目近傍領域を更新する注目近傍領域更新手段と、
前記注目近傍領域更新手段が前記注目近傍領域を更新することにより新たに前記注目近傍領域に含まれる画素点について、前記絶対評価量計算手段により絶対評価量を計算し、前記キャッシュ・メモリに保存する絶対評価量補充手段と、
前記キャッシュ・メモリに記憶された注目近傍領域の絶対評価量を前記絶対評価量記憶手段に保存する絶対評価量更新手段と、
を備えた請求項1又は2記載の情報処理装置。

【請求項4】
前記キャッシュ・メモリは、
行列状又はハニカム状に2次元配列されたレジスタと、
それぞれのレジスタに対して1つ備えられた方向選択用セレクタと、
を備え、
各方向選択用セレクタの出力線は、当該方向選択用セレクタに対応するレジスタの入力線に接続されており、
各方向選択用セレクタの複数束の入力線は、それぞれ、当該方向選択用セレクタに対応するレジスタの出力線、並びに当該方向選択用セレクタに対応するレジスタに隣接するレジスタの出力線に接続されたシフト・レジスタであること
を特徴とする請求項3記載の情報処理装置。

【請求項5】
第1画像上に複数の画素を格子点とする第1格子を設定するとともに、第2画像上に前記第1格子を同相写像した第2格子を設定し、前記第2格子の格子点を移動させて第1格子の格子点のそれぞれに対応する第2格子の格子点の最適な位置を決定することで、第1画像と第2画像との間の伸縮グラフ・マッチング処理を行う情報処理方法であって、
前記第1格子の格子点を固定した条件下において、前記第2格子の各格子点の相対位置には依存せず前記第2格子の格子点の座標に依存して決定される評価量である絶対評価量を、前記第2格子のすべての格子点及び当該格子点の周囲の範囲であって当該格子点に隣接する隣接格子点を含まない所定の範囲である注目点近傍領域内にある画素点について計算し、絶対評価量記憶手段に保存する第1のステップと、
前記第2格子の格子点のそれぞれを、順次注目格子点とし、当該注目格子点及び当該注目格子点の周囲の範囲であって前記注目点近傍領域より狭い所定の範囲である移動範囲内にある画素点について総合評価量を計算し、総合評価量が最適である画素点に当該注目格子点を移動する処理を行う第2のステップと、を含み、
前記第2のステップにおいては、
前記第2格子の格子点のそれぞれを、順次注目格子点として選択するステップ、
前記移動範囲内にある画素点について、前記第1格子の格子点を固定した条件下において、前記第2格子の格子点の座標とその格子点から所定の範囲内にある各格子点の座標とに依存して決定される評価量である相対評価量を算出するステップ、
前記移動範囲に含まれる画素点について、前記相対評価量と前記絶対評価量記憶手段から読み出される絶対評価量とから所定の評価関数により総合評価量を算出するステップ、
総合評価量が最適である画素点に当該注目格子点を移動するステップ、
及び、当該注目格子点を移動した場合、移動した結果、前記移動範囲が前記注目点近傍領域内からはみ出す場合において、前記移動範囲が含まれる位置まで前記注目点近傍領域をシフトし、このシフトにより新たに前記注目点近傍領域に属することとなる画素点の絶対評価量を計算し、前記絶対評価量記憶手段内の当該注目点近傍領域の絶対評価量を更新するステップ、を含んでいることを特徴とする情報処理方法。
産業区分
  • 計算機応用
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2004129088thum.jpg
出願権利状態 権利存続中
詳細は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close