TOP > 国内特許検索 > 画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読み取り可能な記録媒体 > 明細書

明細書 :画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読み取り可能な記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4500999号 (P4500999)
公開番号 特開2006-072763 (P2006-072763A)
登録日 平成22年4月30日(2010.4.30)
発行日 平成22年7月14日(2010.7.14)
公開日 平成18年3月16日(2006.3.16)
発明の名称または考案の名称 画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読み取り可能な記録媒体
国際特許分類 G06T   7/00        (2006.01)
G06T   1/00        (2006.01)
G06T   7/20        (2006.01)
FI G06T 7/00 200Z
G06T 1/00 320A
G06T 1/00 510
G06T 7/20 B
請求項の数または発明の数 9
全頁数 44
出願番号 特願2004-256184 (P2004-256184)
出願日 平成16年9月2日(2004.9.2)
審査請求日 平成19年4月5日(2007.4.5)
特許権者または実用新案権者 【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】小出 哲士
【氏名】マタウシュ, ハンス ユルゲン
【氏名】森本 高志
【氏名】原田 洋明
【氏名】桐山 治
【氏名】足立 英和
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人原謙三国際特許事務所
【識別番号】100080034、【弁理士】、【氏名又は名称】原 謙三
【識別番号】100113701、【弁理士】、【氏名又は名称】木島 隆一
【識別番号】100116241、【弁理士】、【氏名又は名称】金子 一郎
審査官 【審査官】松尾 俊介
参考文献・文献 特開2004-046647(JP,A)
特開2002-063577(JP,A)
特開2004-013615(JP,A)
特開2004-013306(JP,A)
特開2003-346142(JP,A)
調査した分野 G06T 7/00~7/60
G06T 1/00
特許請求の範囲 【請求項1】
入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する画像分割手段と、
分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する動きベクトル算出手段と、
各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する推定位置算出手段と、
現フレームのオブジェクトiと、前フレームのオブジェクトjとの間で、距離指標Dijを後述の式(1)により算出し、その距離指標Dijが最小となるオブジェクトを、現フレームと前フレームとの間で同一のオブジェクトとして認識するオブジェクト認識手段を備えていることを特徴とする画像処理装置。
Dij=αIaij+β(Iwij+Ihij)+γIpij+εIcij …式(1)
Ipij:上記オブジェクトiの推定位置を示す座標と、上記オブジェクトjの実際の位置を示す座標との差分値。
Iaij:上記オブジェクトiの画素数と、上記オブジェクトjの画素数との差分値。
Iwij:上記オブジェクトiの幅と、上記オブジェクトjの幅との差分値。
Ihij:上記オブジェクトiの高さと、上記オブジェクトjの高さとの差分値。
Icij:上記オブジェクトiの色情報と、上記オブジェクトjの色情報との差分値。
α、β、γ、ε:Iaij,Iwij,Ihij,Ipij,およびIcijのそれぞれの大きさに応じて決定される係数。
【請求項2】
入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する画像分割手段と、
分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する動きベクトル算出手段と、
各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する推定位置算出手段と、
現フレームのオブジェクトiと、前フレームのオブジェクトjとの間で、距離指標Dijを後述の式(2)により算出し、その距離指標Dijが最小となるオブジェクトを、現フレームと前フレームとの間で同一のオブジェクトとして認識するオブジェクト認識手段を備えていることを特徴とする画像処理装置。
Dij=√k …式(2)
k=αIaij2+βIwij2+βIhij2+γIpij2+εIcij2
Ipij:上記オブジェクトiの推定位置を示す座標と、上記オブジェクトjの実際の位置を示す座標との差分値。
Iaij:上記オブジェクトiの画素数と、上記オブジェクトjの画素数との差分値。
Iwij:上記オブジェクトiの幅と、上記オブジェクトjの幅との差分値。
Ihij:上記オブジェクトiの高さと、上記オブジェクトjの高さとの差分値。
Icij:上記オブジェクトiの色情報と、上記オブジェクトjの色情報との差分値。
α、β、γ、ε:Iaij,Iwij,Ihij,Ipij,およびIcijのそれぞれの大きさに応じて決定される係数。
【請求項3】
上記係数α、β、γ、およびεは、α=2β=2γ=εを満たすことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
上記オブジェクト認識手段は、それぞれが等しい大きさを有する複数の領域に入力画像を分割するとともに、上記推定位置の現実の値を、その領域の大きさに基づく所定値で除算することにより正規化し、その正規化された値を、上記推定位置として用いることを特徴とする請求項1ないし3のいずれか一項に記載の画像処理装置。
【請求項5】
上記オブジェクト認識手段は、それぞれが等しい大きさを有する複数の領域に入力画像を分割するとともに、上記Iaij,上記Iwij,上記Ihij,および上記Icijのそれぞれに係る現実の値を、その領域の大きさに基づく所定値で除算することにより正規化し、その正規化された値を、上記Iaij,上記Iwij,上記Ihij,上記Icijとして用いることを特徴とする請求項1ないし4のいずれか1項に記載の画像処理装置。
【請求項6】
画像分割手段と、動きベクトル算出手段と、推定位置算出手段と、オブジェクト認識手段とを備える画像処理装置により実現される画像処理方法であって、
上記画像分割手段により行われ、入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する第1ステップと、
上記動きベクトル算出手段により行われ、分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する第2ステップと、
上記推定位置算出手段により行われ、各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する第3ステップと、
上記オブジェクト認識手段により行われ、現フレームのオブジェクトiと、前フレームのオブジェクトjとの間で、距離指標Dijを後述の式(1)により算出し、その距離指標Dijが最小となるオブジェクトを、現フレームと前フレームとの間で同一のオブジェクトとして認識する第4ステップとを備えていることを特徴とする画像処理方法。
Dij=αIaij+β(Iwij+Ihij)+γIpij+εIcij …式(1)
Ipij:上記オブジェクトiの推定位置を示す座標と、上記オブジェクトjの実際の位置を示す座標との差分値。
Iaij:上記オブジェクトiの画素数と、上記オブジェクトjの画素数との差分値。
Iwij:上記オブジェクトiの幅と、上記オブジェクトjの幅との差分値。
Ihij:上記オブジェクトiの高さと、上記オブジェクトjの高さとの差分値。
Icij:上記オブジェクトiの色情報と、上記オブジェクトjの色情報との差分値。
α、β、γ、ε:Iaij,Iwij,Ihij,Ipij,およびIcijのそれぞれの大きさに応じて決定される係数。
【請求項7】
画像分割手段と、動きベクトル算出手段と、推定位置算出手段と、オブジェクト認識手段とを備える画像処理装置により実現される画像処理方法であって、
上記画像分割手段により行われ、入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する第1ステップと、
上記動きベクトル算出手段により行われ、分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する第2ステップと、
上記推定位置算出手段により行われ、各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する第3ステップと、
上記オブジェクト認識手段により行われ、現フレームのオブジェクトiと、前フレームのオブジェクトjとの間で、距離指標Dijを後述の式(2)により算出し、その距離指標Dijが最小となるオブジェクトを、現フレームと前フレームとの間で同一のオブジェクトとして認識する第4ステップとを備えていることを特徴とする画像処理方法。
Dij=√k …式(2)
k=αIaij2+βIwij2+βIhij2+γIpij2+εIcij2
Ipij:上記オブジェクトiの推定位置を示す座標と、上記オブジェクトjの実際の位置を示す座標との差分値。
Iaij:上記オブジェクトiの画素数と、上記オブジェクトjの画素数との差分値。
Iwij:上記オブジェクトiの幅と、上記オブジェクトjの幅との差分値。
Ihij:上記オブジェクトiの高さと、上記オブジェクトjの高さとの差分値。
Icij:上記オブジェクトiの色情報と、上記オブジェクトjの色情報との差分値。
α、β、γ、ε:Iaij,Iwij,Ihij,Ipij,およびIcijのそれぞれの大きさに応じて決定される係数。
【請求項8】
コンピュータに請求項6または7に記載の画像処理方法における各ステップを実行させるための画像処理プログラム。
【請求項9】
請求項8に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像分割処理を用いて画像内のオブジェクトを抽出し、連想処理を用いてオブジェクトのマッチングをとることにより、画像内から静止物体と動物体とを検出するものである。
【背景技術】
【0002】
近年、知的情報処理技術の実現に向けての画像認識処理技術の要求が高まっている。特に、人間に近い動作・判断をする知能ロボットの実現や、リアルタイムでの画像認識処理においては、カメラ等から取り込んだ画像を高速に処理する必要があり、処理の高速化が求められている(非特許文献3および非特許文献4参照)。
【0003】
そのためには、入力画像中の様々なオブジェクトから、対象となるオブジェクトを分割し取り出す、画像分割処理が必要である。そして、画像分割処理のアルゴリズムとして、LEGION(Locally Excitatory Globally Inhibitory Oscillator Network)(非特許文献2、非特許文献6、および非特許文献7参照)に基づいたセルオートマトン型ディジタル画像分割アーキテクチャが提案されている(非特許文献11および13参照)。
【0004】
さらに、これまでの研究では、セルオートマトン型ディジタル画像分割アーキテクチャのハードウェア化が行われるとともに、セルネットワークをフルカスタム設計したチップ(非特許文献8参照)が試作され、その処理時間が測定されている。その測定の結果、セルオートマトン型ディジタル画像分割アーキテクチャによれば、非常に高速で精度良く画像分割処理できることが知られている。
【0005】
また、知的情報処理技術の実現に向けては、画像内のオブジェクトの動きを検出する技術への要求も高い。これまでに、オブジェクトの動き検出のために、たとえば、特許文献1および特許文献2に記載されているような様々なアルゴリズムが提案されている。

【特許文献1】特開平8-241414号公報(1996年9月17日公開)
【特許文献2】特開2002-312793号公報(2002年10月25日公開)
【特許文献3】特開2003-346142号公報(2003年12月5日公開)
【特許文献4】特開2004-13504号公報(2004年1月15日公開)
【非特許文献1】N. H. E. Weste and K. Eshraghian, “PRINCIPLES OF CMOS VLSI DESIGN : A System Perspective Second Edition,” Addison-Wesley Publising Company, 1993.
【非特許文献2】D. L. Wang, and D. Terman, “Image segmentation based on oscillator correlation,” Neural Computation, Vol. 9, No. 4, pp. 805-836, 1997.
【非特許文献3】松山隆司,久野義徳,井宮淳,”コンピュータビジョン:技術評論と将来展望,” pp.138-146, 1998.
【非特許文献4】J. C. Russ, “The Image Processing Handbook,” CRC PRESS, 1999.
【非特許文献5】谷口慶治,“画像処理工学,”共立出版株式会社, 1999.
【非特許文献6】H. Ando, T. Morie, M. Nagata and A. Iwata, “A nonlinear oscillator network for gray-level image segmentation and PWM/PPM circuits for its VLSI implementation,” IEICE Trans. Fundamentals, Vol. E83-A, No. 2, pp. 329-336, 2000.
【非特許文献7】H. Ando, T. Morie, M. Miyake, M. Nagata, and A. Iwata, “Image segmentation/extraction using nonlinear cellular networks and their VLSI implementation using pulse-modulation techniques,” IEICE Trans. Fundamentals, Vol. E85-A, No.2, pp. 381-388, 2002.
【非特許文献8】原田洋明,森本高志,小出哲士,マタウシュハンスユルゲン,“全並列画像分割セルネットワークLSI の設計,”平成14 年度電気・情報関連学会中国支部連合大会, pp.591-592, 2002.
【非特許文献9】H. J. Mattausch, T. Gyohten, Y. Soda, and T. Koide, “Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance,” IEEE Journal of Solid-State Circuits, Vol37, pp. 218-227, 2002.
【非特許文献10】H .Kimura, T. Shibata, “Simple-architecture motion-detection analog V-chip based on quasi-two-dimensional processing,” Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp .240-241 ,2002.
【非特許文献11】T. Morimoto, Y. Harada, T. Koide, and H. J. Mattausch, “Low-complexity, highly-parallel color motion-picture segmentation architecture for compact digital CMOS implementation,” Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002), pp. 242-243, 2002.
【非特許文献12】Y. Yano, T. Koide, H. J. Mattausch, “Fully parallel nearest Manhattan-distance search memory with large reference-pattern number,” Extended Abstracts of the 2002 International Conference on Solid State Devices and Materials (SSDM2002),pp. 254-255, 2002.
【非特許文献13】T. Koide, T. Morimoto, Y. Harada, and H. J. Mattausch, “Digital gray-scale/color image-segmentation architecture for cell-network-based real-time applications,” Proceedings of International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2002), pp. 670-673, 2002.
【非特許文献14】Bernd Jaehne, “Digital Image Processing,” pp. 481-499, 2002.
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、従来の動き検出のためのアルゴリズムは、フレーム毎に入力画像からと背景との差分をとることで、入力画像における背景部分を取り除き、残っている部分からオブジェクトの動きを認識することにより、処理が比較的簡略化されている。その反面、従来のアルゴリズムは、同時に複数の動体オブジェクトを判別し、動き検出をすることが容易ではないという問題点を有している(非特許文献10参照)。
【0007】
すなわち、特許文献1および特許文献2に記載されているアルゴリズムでは、分割されたオブジェクトに関して「色」「重心位置」「面積」といった特徴量を把握して、その特徴量に基づき異なるフレーム間で同一のオブジェクトを認識している。しかしながら、このようなオブジェクトの特徴量を把握するだけでは、画像内に複数のオブジェクトが存在する場合に、フレーム間で同一のオブジェクトを認識することが困難である。なぜなら、複数のオブジェクトが画像内に存在すると、それらのオブジェクトのうち、上記特徴量が近似するものが同一フレーム内に含まれている可能性があり、それらの特徴量が近似するオブジェクトが同一のオブジェクトとして認識されてしまう可能性があるからである。
【0008】
本発明は、上記従来の問題点に鑑みなされたものであって、画像内に複数のオブジェクトが存在していても、異なるフレーム間で同一のオブジェクトを認識し得る画像処理装置、画像処理集積化回路、画像処理方法、画像処理プログラム、および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の画像処理装置は、上記課題を解決するために、入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する画像分割手段と、分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する動きベクトル算出手段と、各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する推定位置算出手段と、上記推定位置と、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの各オブジェクトに関する推定位置以外の特徴量とに基づき、現フレームと前フレームとの間で同一のオブジェクトを認識するオブジェクト認識手段とを備えていることを特徴としている。
【0010】
すなわち、入力画像中に含まれるオブジェクトを、画像分割手段を用いてフレーム毎に入力画像から分割するとともに、分割されたオブジェクトに関して「色」「重心位置」「面積」といった特徴量を算出して、その特徴量に基づきフレーム間で同一のオブジェクトを認識することは、知的情報処理技術の実現において重要である。なお、「オブジェクト」とは、入力画像において、画素単位で互いに同一の範疇に属する領域を意味する。
【0011】
しかしながら、そのように同一のオブジェクトを認識する従来の画像処理方法においては、画像内に複数のオブジェクトが存在する場合に、フレーム間で同一のオブジェクトを認識することが困難であった。これは、複数のオブジェクトが画像内に存在すると、それらのオブジェクトのうち、上記特徴量が近似するものが同一フレーム内に含まれている可能性があり、それらの特徴量が近似するオブジェクトが同一のオブジェクトとして認識されてしまう可能性があるからである。
【0012】
そこで、本発明の画像処理装置は、特に、動きベクトル算出手段と、推定位置算出手段と、オブジェクト認識手段とを備えている。すなわち、動きベクトル算出手段によりフレーム間で動きベクトルを算出し、その動きベクトルを用いて推定位置算出手段によりオブジェクトの推定位置を算出することにより、異なるフレーム間でのオブジェクトの移動状態を把握することができる。
【0013】
さらに、オブジェクト認識手段においては、推定位置に基づき同一のオブジェクトを認識しているので、異なるフレーム間でのオブジェクトの移動状態を考慮して同一オブジェクトを認識することができる。
【0014】
特に、画像分割手段により分割されたオブジェクトについて、動きベクトル算出手段により動きベクトルを算出し、その動きベクトルを用いてオブジェクト認識手段によりフレーム間で同一であるオブジェクトの検出を行うので、複数のオブジェクトのフレーム間での対応付けが可能となる。そのため、単純にフレーム間の画像の差分情報から動いている物体を検出する方法と違い、本発明では動物体の認識だけでなく、静止物体の認識もできる。さらに、カメラがパーンしたりするような撮影画像全てが動いている場合にも物体を検出することが可能となる。
【0015】
なお、オブジェクト同士が衝突したりする等の事情により、あるオブジェクトについての動きベクトルが突然変化するというような状況も十分考えうる。この場合、推定位置算出手段により算出された推定位置と、オブジェクトの実際の位置との間に誤差が生じ、オブジェクト認識手段が異なるフレーム間で同一のオブジェクトを正しく認識できない可能性がある。
【0016】
そこで、オブジェクト認識手段は、推定位置以外の特徴量も考慮して、異なるフレーム間で同一のオブジェクトを認識する。つまり、フレーム間で動きベクトルが突然変化したとしても、あるオブジェクトに関する動きベクトル以外の特徴量はフレーム間で同一であることが多いので、本発明のオブジェクト認識手段によれば、動きベクトルが変化したとしても異なるフレーム間で同一のオブジェクトを認識することができる。
【0017】
このように、本発明の画像処理装置によれば、画像内に複数のオブジェクトが存在する場合においても、異なるフレーム間で同一のオブジェクトを正しく認識することができる。
【0018】
さらに、上記オブジェクト認識手段は、現フレームの注目オブジェクトと、前フレームの各オブジェクトとの間で、第1差分値および第2差分値に基づく値である距離指標を算出し、その距離指標が最小となるオブジェクトを同一のオブジェクトとして認識するものであり、上記第1差分値は、現フレームにおける注目オブジェクトの推定位置を示す座標と、前フレームにおける各オブジェクトの実際の位置を示す座標との差分値であり、上記第2差分値は、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの注目オブジェクトに関する推定位置以外の特徴量との差分値であることが好ましい。なお、距離指標としては、たとえば、マンハッタン距離や、ユークリッド距離を用いることができる。
【0019】
すなわち、あるオブジェクトに関しては、そのオブジェクトがフレーム間で移動しても、そのオブジェクトの特徴量はそれほど変化しない。つまり、異なるフレーム間においてオブジェクト同士の特徴量の差分値を算出すれば、同一のオブジェクトに関するその差分値は最小になるといえる。
【0020】
本発明のオブジェクト認識手段は、上記の差分値に基づく値を、距離指標として算出し、その距離指標が最小となるオブジェクトを同一のオブジェクトとして認識するので、適切に同一のオブジェクトを認識することができる。
【0021】
さらに、上述の距離指標は、注目オブジェクトの推定位置の座標と、前フレームにおける各オブジェクトの実際の位置の座標との差分値である第1差分値を考慮して算出されている。
【0022】
つまり、注目オブジェクトの動きベクトルが突然変化しない限り、注目オブジェクトの推定位置の座標と、その注目オブジェクトの前フレームにおける実際の位置の座標との差分値は、注目オブジェクトの推定位置座標と、注目オブジェクト以外のオブジェクトの前フレームにおける位置座標との差分値よりも小さくなる。すなわち、フレーム間で上記第1差分値が最小になるオブジェクト同士が、同一のオブジェクトであるといえる。
【0023】
そして、本発明のオブジェクト認識手段は、上記第1差分値に基づく値である距離指標を算出し、その距離指標が最小になるオブジェクトを同一のオブジェクトとして認識する。したがって、より適切に同一のオブジェクトを認識することができる。
【0024】
また、第1差分値および第2差分値を算出するためには、位置座標の差分値または特徴量の差分値を算出することが必要になる。このように差分値を算出することは、減算器等を設けるといった比較的簡単な回路構成で実現することができる。したがって、本発明によれば、簡易な回路構成で同一のオブジェクトを認識することが可能となる。
【0025】
さらに、上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報のうち、少なくとも1つを含むものであってもよい。
【0026】
すなわち、オブジェクトの特徴量として、画素数、幅、高さ、および色情報は、簡易に算出することができる。つまり、画素数、幅、および高さに関しては、オブジェクトに含まれる画素の数をカウントすることにより容易に算出できるし、色情報に関しても画素値から簡易に算出することができる。
【0027】
したがって、上記構成によれば、簡易にオブジェクトの特徴量を算出できるので、オブジェクト認識手段による同一オブジェクトの認識処理を簡略化することができる。したがって、より簡易な処理で同一オブジェクトを認識することができる。
【0028】
また、上記推定位置以外の特徴量は、画素数、幅、高さ、および色情報であり、上記第2差分値は、画素数、幅、高さ、および色情報のそれぞれに関する差分値であり、上記オブジェクト認識手段は、現フレームのオブジェクトiと、前フレームのオブジェクトjとの間における距離指標をDij、上記第1差分値をIpij、上記画素数の差分値をIaij、上記幅の差分値をIwij、上記高さの差分値をIhij、上記色情報の差分値をIcijとした場合、
Dij=αIaij+β(Iwij+Ihij)+γIpij+εIcij (マンハッタン距離の場合)
または、
Dij=√k
k=αIaij2+βIwij2+βIhij2+γIpij2+εIcij2 (ユークリッド距離の場合)
(α、β、γ、εは、Iaij,Iwij,Ihij,Ipij,およびIcijのそれぞれの大きさに応じて決定される係数)
と設定して、距離指標Dijを算出することが好ましい。
【0029】
上記構成によれば、第1差分値、画素数、幅、高さ、および色情報のそれぞれについて、係数α、β、γ、εを重みとして設定し、距離指標Dijを算出することができる。したがって、第1差分値、画素数、幅、高さ、および色情報のうち、いずれを重視するかに応じて重み関数を設定し、距離指標を算出することができる。
【0030】
たとえば、オブジェクトの画素数を重視して同一オブジェクトを認識したいというニーズがある場合には、係数αを、β、γ、εよりも大きく設定すればよい。これにより、第1差分値、画素数、幅、高さ、および色情報の変化のうち、距離指標の値は、画素数の変化に最も大きな影響をうけることになる。このように重みが設定された距離指標を用いれば、オブジェクトの画素数の差分値を重視した同一オブジェクトの認識が可能となる。
【0031】
このように、上記構成によれば、ユーザニーズに合わせて、重みα、β、γ、εを設定して同一オブジェクトを認識することができる。
【0032】
また、上記係数α、β、γ、およびεは、α=2β=2γ=εを満たすように設定されていてもよい。
【0033】
すなわち、差分値Iaij、Iwij、Ihij、Ipij、Icijのうち、Iwij、Ihijはオブジェクトの「サイズ」を示す指標として共通するものである。また、Ipijに関しては、x座標の差分値、y座標の差分値として2つのパラメータが含まれている。
【0034】
つまり、オブジェクトのサイズの差分値を示すパラメータ、および座標の差分値を示すパラメータがそれぞれ2つあるのに対し、Iaij、Icijに関してはパラメータが1つしかない。このようにパラメータの数が異なると、オブジェクトの「サイズ」および「位置」に偏ったオブジェクト認識がなされてしまう場合がある。
【0035】
そこで、上記構成では、α=2β=2γ=εとして設定している。これにより、オブジェクトの特徴量としての「サイズ」、「位置」、「画素数」、および「色情報」について、等しい重み関数が設定されることになる。これにより、特定の特徴量に偏ったオブジェクト認識が行われることを防止し、各特徴量の変化に等しいバランスを設定して同一のオブジェクトを認識することができる。
【0036】
さらに、上記オブジェクト認識手段は、上記推定位置またはそれ以外の特徴量として、正規化された値を用いることが好ましい。
【0037】
上記構成によれば、特徴量としての推定位置、またはそれ以外の特徴量として、正規化された値を用いる。したがって、特徴量を用いる演算処理において、特徴量のビット数を削減することができるので、より簡易な処理において同一オブジェクトの認識が可能となる。
【0038】
正規化の手法としては、現実の値を、その特徴量がとり得る最大値で除算する手法を用いることが可能である。この正規化手法によれば、特徴量を0~1の値に正規化することができるので、特徴量を用いる演算処理を非常に簡略化することができる。
【0039】
または、正規化の手法として、特徴量の現実の値を、入力画像を分割した領域の大きさに基づく所定値で除算してもよい。たとえば、1つの領域が16×16画素の大きさを有するように、画像を複数の領域に分割する場合には、特徴量を16にて除算すればよい。このように分割された領域の大きさに基づく正規化によっても、特徴量のビット数は十分削減できるので、簡易な処理において同一のオブジェクトを認識することができる。
【0040】
さらに、本発明の画像処理集積化回路は、上記構成の画像処理装置を集積回路化したことを特徴としている。これにより、画像処理装置における各手段の処理を並列して高速で行うことができるので、リアルタイムで物体検出が可能なハードウェアを提供することもできる。
【0041】
また、本発明の画像処理方法は、入力画像中に含まれる複数のオブジェクトを、その入力画像のフレーム毎に入力画像から分割する第1ステップと、分割された各オブジェクトについて、そのオブジェクトの前々フレームにおける位置座標と、前フレームの位置座標との差分から、そのオブジェクトの移動量を示す動きベクトルを算出する第2ステップと、各オブジェクトについて、そのオブジェクトの前フレームの位置座標と、上記動きベクトルとに基づき、現フレームにおいて各オブジェクトが存在すると推定される位置である推定位置を算出する第3ステップと、上記推定位置と、前フレームの各オブジェクトに関する推定位置以外の特徴量と、現フレームの各オブジェクトに関する推定位置以外の特徴量とに基づき、現フレームと前フレームとの間で同一のオブジェクトを認識する第4ステップとを備えていることを特徴としている。
【0042】
上記構成の画像処理方法においては、第1ステップ、第2ステップ、第3ステップ、および第4ステップのそれぞれにおいて、本発明の画像分割手段、動きベクトル算出手段、推定位置算出手段、およびオブジェクト認識手段と同一の処理が実現されている。したがって、本発明の画像処理方法によれば、本発明の画像処理装置と同様の作用効果を得ることができる。
【0043】
なお、コンピュータに上記画像処理方法における各ステップを実行させる画像処理プログラムにより、コンピュータを用いて本発明の画像処理方法と同様の作用効果を得ることができる。さらに、上記画像処理プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記画像処理プログラムを実行させることができる。
【発明の効果】
【0044】
本発明の画像処理装置は、動きベクトル算出手段と、推定位置算出手段と、オブジェクト認識手段とを備えている。すなわち、動きベクトル算出手段によりフレーム間で動きベクトルを算出し、その動きベクトルを用いて推定位置算出手段によりオブジェクトの推定位置を算出することにより、異なるフレーム間でのオブジェクトの移動状態を把握することができる。
【0045】
さらに、オブジェクト認識手段においては、推定位置に基づき同一のオブジェクトを認識しているので、異なるフレーム間でのオブジェクトの移動状態を考慮して同一オブジェクトを認識することができる。
【0046】
したがって、本発明のオブジェクト認識手段は、画像内に複数のオブジェクトが存在していても、異なるフレーム間で同一のオブジェクトを認識することができる。
【0047】
さらに、オブジェクト認識手段は、推定位置以外の特徴量も考慮して、異なるフレーム間で同一のオブジェクトを認識する。つまり、フレーム間で動きベクトルが突然変化したとしても、あるオブジェクトに関する動きベクトル以外の特徴量はフレーム間で同一であることが多いので、本発明のオブジェクト認識手段によれば、動きベクトルが変化したとしても異なるフレーム間で同一のオブジェクトを認識することができる。
【0048】
このように、本発明の画像処理装置によれば、画像内に複数のオブジェクトが存在する場合においても、異なるフレーム間で同一のオブジェクトを正しく認識することができるという効果が奏される。
【0049】
特に、画像分割手段により分割されたオブジェクトについて、動きベクトル算出手段により動きベクトルを算出し、その動きベクトルを用いてオブジェクト認識手段によりフレーム間で同一であるオブジェクトの検出を行うので、複数のオブジェクトのフレーム間での対応付けが可能となる。そのため、単純にフレーム間の画像の差分情報から動いている物体を検出する方法と違い、本発明では動物体の認識だけでなく、静止物体の認識もできる。さらに、カメラがパーンしたりするような撮影画像全てが動いている場合にも物体を検出することが可能となる。
【発明を実施するための最良の形態】
【0050】
〔1.画像処理回路の構成〕
本発明の画像処理回路(画像処理装置)1は、図1に示すように、画像分割/特徴量計算部2と、物体検出部3とにより構成されている。さらに、画像分割/特徴量計算部2は、結合重み計算部(画像分割手段)4と、リーダーセル計算部(画像分割手段)5と、画像分割セルネットワーク(画像分割手段)6と、物体情報計算部7とを備えている。また、物体検出部3は、検索情報保存部8と、位置情報計算部(動きベクトル算出手段、推定位置算出手段)9と、最小距離検索連想メモリ(オブジェクト認識手段)10とを備えている。
【0051】
画像処理回路1における処理を概説すると、入力画像データが、画像分割/特徴量計算部2の画像分割セルネットワーク6に入力され、画像分割処理が行われる。この画像分割処理において、1つのオブジェクトの画像分割処理が完了すると同時に、対応するオブジェクトの画像の特徴量が計算され、その値は物体検出部3に送られフレーム間でマッチング(詳細は後述する)が取られる。最後にこのマッチング結果と検出オブジェクトの位置情報とから、次フレームの推定位置と動きベクトルが計算されるとともにメモリに記憶される。以下、画像処理回路1を構成するこれらのブロックの機能についての説明を行う。
【0052】
〔1-1.画像分割/特徴量計算部2の構成〕
画像分割/特徴量計算部2は、上述のように、結合重み計算部4と、リーダーセル計算部5と、画像分割セルネットワーク6と、物体情報計算部7とを備えている。
【0053】
結合重み計算部4は、入力画像データがグレースケール画像の場合には、その輝度値に基づき、また、入力画像がカラー画像の場合には、各Red,Green,Blue成分の輝度値に基づき、画素間の輝度の近さを表す結合重みを計算するものである。また、リーダーセル計算部5は、後述の画像分割処理を行う時にその処理の起点となるリーダーセルを決定するものである。リーダーセルを決定するためには、注目画素と、その周囲に存在するたとえば8つの画素のそれぞれとの間において、結合重み計算部4を用いて結合重みを計算する。そして、その結合重みの和が、予めユーザが指定したしきい値より大きければ、その注目画素をリーダーセルとして決定する。
【0054】
画像分割セルネットワーク6は、初期化フェーズ、自己発火フェーズ、引火フェーズ、および鎮火フェーズからなる画像分割処理を行うものである。これらのフェーズにおける処理内容の詳細については後述する。
【0055】
より具体的には、画像分割セルネットワーク6は、図2に示すように、水平結合重みレジスタWR(H)と、垂直結合重みレジスタWR(V)と、画像分割セルC(iは整数)とから構成されている(特許文献3および非特許文献13参照)。
【0056】
水平結合重みレジスタWR(H)および垂直結合重みレジスタWR(V)は、画像分割セルCの間に配置されるとともに、水平・垂直結合重みレジスタが交互になるように配置されている。また、水平結合重みレジスタWR(H)は、斜め方向と水平方向の画素に関する結合重みWijを4つ保持し、垂直結合重みレジスタWR(V)は斜め方向と垂直方向の画素に関する結合重みWijを4つ保持している。なお、図2における各結合重みレジスタの中の矢印は、保存されるセル間の結合重みの位置関係を模式的に表している。
【0057】
また、画像分割セルCは、結合重みレジスタWR(H)・WR(V)の出力に基づき、実際に画像分割処理を実行するものである。
【0058】
さらに、画像分割セルネットワーク6は、図3に示すように、グローバル抑制部11を備えている。このグローバル抑制部11は、隣接する画像分割セルにおけるグローバル抑制子Zi(詳細は後述する)の論理和(OR)をとることにより、画像分割セルの各行毎に新しく発火したセルがあるかどうかを示す信号であるZory信号を出力するものである。画像分割セルネットワーク6内でこのZory信号が立ち上がった範囲には、必ず画像分割されたオブジェクトが1つ存在する。
【0059】
なお、図4(a)に示すように、画像分割セルの各列毎に新しく発火したセルがあるかどうかを示す信号であるZorx信号を出力することにより、画像分割されたオブジェクトが存在するx座標とy座標の範囲を計算するようにしてもよい。また、図4(b)に、i行目におけるグローバル抑制部11の詳細な構成を示す。
【0060】
また、物体情報計算部7は、図5に示すように、min-max計算部7aと、面積/min-max計算部7bと、物体情報保存部7cと、特徴量計算部7dとにより構成されており、画像分割セルネットワーク6により分割されたオブジェクトの特徴量などの情報を計算する。また、図5に示すように、画像分割/特徴量計算部2には、画像分割/特徴量計算部2内の各ブロックにおける処理を統括的に制御する制御回路12が設けられている。
【0061】
min-max計算部7aは、グローバル抑制部11により出力されるグローバル抑制信号Zoryを用いて、画像分割されたオブジェクトの縦方向(y座標方向)の大きさを計算する回路である。なお、分割されたオブジェクトの大きさを計算するためには、図4(a)に示すように改良されたグローバル抑制部11により出力されるZorx信号を用いてもよい。
【0062】
また、min-max計算部7aは、図6に示すように、レジスタ7e…と、min-max検出部7fと、デコーダ7g…とを備えている。
【0063】
レジスタ7eは、Zorx信号として1が出力された列の番号を記憶するものである。また、min-max検出部7fは、図7に示すように、レジスタ7eに記憶された列の番号のうち、最小のものと最大のものとを1とし、それ以外の部分を0として出力するものである。さらに、デコーダ7gは、図8に示すように、min-max検出部7fにより出力された「1」の情報を、列の番号の情報に変換するものであり、これによりオブジェクトの横方向(x座標方向)の大きさを計算することができる。
【0064】
上記の処理により、min-max計算部7aは、図9のように検出されたオブジェクトiの4つの座標xi,min, xi,max, yi,min, yi,maxのうち、xi,min とxi,max とを求める。また、xi,minとxi,max の情報を用いることで、以降の面積計算処理の計算範囲を絞りこむことができる。なお、min-max計算部7aの詳細な構成を図10に示す。
【0065】
面積/min-max計算部7bは、min-max計算部7aで計算されたxi,min,xi,maxの範囲で、検出されたオブジェクトの面積および残りの座標情報の計算を行う。これらの計算は、画像分割結果の1つのオブジェクトの分割結果の出力と並行して行われる。
【0066】
具体的に説明すると、面積/min-max計算部7bは、図11に示すように、レジスタ7h…と、カウンタ7i…と、加算器7jとを備えている。まず、図11に示す制御回路12は、画像分割セルネットワーク6において、xi,maxの位置から1列ずつ分割領域であるかをチェックし、1つのオブジェクトの分割領域であれば1を、そうでなければ0をレジスタ7hに記憶する。このとき、制御回路12は、レジスタ7hからの信号をカウンタ7iに出力する。このような1つのオブジェクトの分割領域のチェック処理、および「0」または「1」の出力処理を、xi,minの場所まで繰り返す。
【0067】
これにより、(xi,min, xi,max)間において「0」または「1」の出力処理が終了したとき、カウンタ7iには、画像分割セルネットワーク6における行ごとの1つのオブジェクトの画素数が入力されるので、全てのカウンタ7i…の値を加算器7jを用いて足すことにより、現在分割されている1つのオブジェクトの面積を画素数ajとして計算することができる。
【0068】
さらに、面積/min-max計算部7bは、オブジェクトの面積と同時に、yi,min, yi,maxの値も求める。具体的に説明すると、yi,min, yi,maxは、面積の計算のためにレジスタ7hに記憶した値が1以上の行を検出し、その中で最も上にあるy座標をyi,max 、最も下にあるy座標をyi,minとすることにより、yi,min, yi,max の値を求める。なお、面積/min-max計算部7bの詳細な構成を図12に示す。
【0069】
物体情報保存部7cは、図13に示すように、レジスタ7k…で構成されており、各レジスタ7kには、上述のように計算されたオブジェクトの画素数ai と、xi,min,xi,max, yi,min, yi,maxの4つの座標が保存されている。
【0070】
特徴量計算部7dは、物体情報保存部7cに保存された座標データの中から、そのオブジェクトのサイズ(幅wi(t),高さhi(t)),位置(xi(t),yi(t))および、色情報ci(t)を計算するものである。サイズおよび位置情報の計算方法の詳細は後述するが、計算結果を除算器により0~1の範囲に正規化するのは、ハードウェアのコストが大きくなる場合がある。
【0071】
そこで、ビット数を削減する方法をシミュレーションした結果、大きさが16×16画素の領域を基準として入力画像をブロックで分割することで、それぞれ情報のビット数の削減が可能であることがわかった。たとえば、図14に示すように、入力画像が240×320画素の大きさであれば、縦方向は15ブロック、横方向は20ブロックに分割される。このようにビット数を削減する方法を用いることにより、各情報のビット数は表1のように削減することができる。
【0072】
【表1】
JP0004500999B2_000002t.gif

【0073】
なお、検出されたオブジェクトの色情報は、同一物体との比較でも0~8の範囲でずれていることもあるので、この範囲に対応するビット数を削減する。
【0074】
また、特徴量計算部7dは、図15に示すように、座標およびサイズを計算する減算器7l…および加算器7m…と、ビット数を削減するシフタ7n…とにより構成されている。また、色情報は、これまでに得られた座標情報を、特徴量計算部7d内の入力メモリ7oに転送することで4点の色情報を受け取り、それらを平均することで得られる。なお、特徴量計算部7dで計算された値は、物体情報保存部7cに記憶される。
【0075】
このように、画像分割/特徴量計算部2は、画像分割セルネットワーク6と、min-max計算部7aと、面積/min-max計算部7bと、物体情報保存部7cと、特徴量計算部7dとにより構成されている。画像分割/特徴量計算部2に係る詳細な構成を、図16に示す。
【0076】
〔1-2.物体検出部3の構成〕
物体検出部3は、図17に示すように、検索情報保存部8と、動きベクトル計算部(動きベクトル算出手段)9aと、推定位置計算部(推定位置算出手段)9bと、最小距離検索連想メモリ(非特許文献9および非特許文献12参照)10とを備えている。なお、図1に示した位置情報計算部9は、動きベクトル計算部9aと、推定位置計算部9bとにより構成される。
【0077】
物体検出部3における処理を概説すると、画像分割/特徴量計算部2で計算されたある時刻tにおける画像の特徴量、すなわち画像の面積,サイズ,位置、および色情報が、検索情報保存部8に記憶された後、最小距離検索連想メモリ10に渡される。
【0078】
そして、最小距離検索連想メモリ10でマッチングを取った後に、マッチングしたオブジェクトの情報と、検索情報保存部8の位置情報とが動きベクトル計算部9aに送られ、動きベクトル計算部9aにおいてフレーム間におけるオブジェクトの移動量が計算される。
【0079】
このように計算されたオブジェクトの移動量と、オブジェクトの現在位置から、フレームt+1の時の推定位置が推定位置計算部9bで計算される。以下、物体検出部3を構成する各ブロックの機能についての説明を行う。
【0080】
検索情報保存部8は、現フレームで分割されたオブジェクトの特徴量として、画素数、サイズ、位置および色情報を保存し、マッチング用のデータとして最小距離検索連想メモリ10にこれらの特徴量を出力するものである。検索情報保存部8の回路構成を図18に示す。
【0081】
最小距離検索連想メモリ10は、保持している前フレームt-1のオブジェクトの特徴量と、検索情報保存部8に記憶している現フレームtのオブジェクトの物体情報とのマッチングを取り、前フレームと現フレームとの間において最も近いオブジェクトを検索するものである。
【0082】
図19に、最小距離検索連想メモリ10の構成を示す。図19に示すように、最小距離検索連想メモリ10は、メモリ領域10aと、ウィンナ・ルーザ距離増幅を行うウィンナ・ラインアップ増幅器(以下、WLA)10bと、ウィンナ・テイクオール回路(以下、WTA)10cとで構成される。
【0083】
さらに、メモリ領域10aは、集積化されたユニット比較器UCi,j(i=1~R,j=1~W、添え字i,jの範囲は以下同様)を備えるR行、W列の蓄積セルSCi,jと、ワード比較に重み付けを行ったワード比較器WCとから構成される。
【0084】
また、メモリ領域10aの左辺には、R行のロウデコーダ10dが接続され、上辺には入力データ(K×Wビット)を入力するワード検索部10eが配置される。また、下辺にはK×Wカラムのカラムデコーダ10fが接続され、蓄積セルごとに読み出し・書き込みが行われる。なお、K×Wビットの参照ワードは、予め各蓄積セルSCi,jに書き込まれ、ワード検索部10eに入力されるK×Wビットの入力ワードに最も類似する最小距離参照ワードがウィンナとして読み出される。また、最小距離検索連想メモリ10の詳細については、特許文献4を参照されたい。
【0085】
また、最小距離検索連想メモリ10に記憶されている情報は、表2のようになっており、このうち実際に検索に使用される情報は画素数、サイズ、位置情報、色情報である。使用されない情報である動きベクトルは、後述する動きベクトル計算部9aの計算結果として計算される。
【0086】
【表2】
JP0004500999B2_000003t.gif

【0087】
動きベクトル計算部9aは、図20に示すように、減算器を備えるものであり、検索情報保存部8の位置情報(xn(t-1),yn(t-1))と、最小距離検索連想メモリ10とによりマッチングが取られたオブジェクトの位置情報(xn(t),yn(t))とから、動きベクトル(mvx(t),mvy(t))を求めるものである。
【0088】
具体的には、動きベクトル計算部9aは、以下の式に基づき、動きベクトルを求める。
【0089】
mvx(t)=xn(t)-xn(t-1)
mvy(t)=yn(t)-yn(t-1)
なお、動きベクトル計算部9aの計算結果は、マッチングが取られた最小距離検索連想メモリ10の情報に上書きされる。
【0090】
推定位置計算部9bは、図21に示すように、加算器を備えるものであり、以下の式に示すように、動きベクトル計算部9aにより計算された動きベクトル(mvx(t),mvy(t))と、現フレームの位置情報(xn(t),yn(t))を足すことで、次フレームでの推定位置(xn(t+1),yn(t+1))を計算するものである。
【0091】
xn(t+1)=xn(t)+mvx(t)
yn(t+1)=yn(t)+mvy(t)
このように、物体検出部3は、検索情報保存部8と、動きベクトル計算部9aと、推定位置計算部9bと、最小距離検索連想メモリ10とにより構成されている。物体検出部3に係る詳細な構成を、図22に示す。
【0092】
〔2.画像処理アルゴリズム〕
次に、上記構成の画像処理回路1による画像処理アルゴリズム(画像処理方法)について説明する。本実施形態の画像処理アルゴリズムは、図23に示すように、(1)画像分割,(2)特徴抽出,(3)連想マッチング,(4)動き検出の4つのブロックから成っている。
【0093】
先ず、画像処理アルゴリズムの流れについて概説する。画像処理アルゴリズムが開始されると(ステップ0、以下ステップを単に「S」と記載する)、制御回路12(図5参照)により入力フレームデータが存在するか否かのチェックが行われる(S1)。
【0094】
このとき、入力フレームデータが存在しない場合は、画像処理アルゴリズムは終了する。一方、入力フレームデータが存在する場合は、そのフレームに対して画像分割処理が行われる。ここで、ある1領域(1オブジェクト)が画像分割されると、その結果から後述の特徴抽出処理が実行される。以下に、入力フレームデータが存在するか否かを確認するアルゴリズムの記述例を示す。
【0095】
【数1】
JP0004500999B2_000004t.gif

【0096】
特徴抽出処理が実行された後、分割された1つのオブジェクトの情報に基づき連想マッチング処理が実行される。そして、連想マッチング処理と同時に、入力画像に対して次の領域の分割処理が始まる。なお、新しく分割される領域がないときは、S1の入力フレームデータのチェック処理に戻る。
【0097】
また、連想マッチング処理は、特徴抽出処理の結果に基づき、フレーム間でオブジェクトごとに特徴量の距離指標(たとえばマンハッタン距離、ユークリッド距離。詳細は後述する)を計算し、最も距離指標が小さいオブジェクトを同一のオブジェクトして認識する。その後、元のオブジェクトおよび検索されたオブジェクトの位置情報から、移動量を計算するとともに、動きベクトルを求めた後、画像分割処理に戻る。また、連想マッチング処理の際に一致するオブジェクトが存在しない場合は、分割されたオブジェクトを新しいオブジェクトとして認識し、画像分割処理に戻る。以下、画像処理アルゴリズムにおける各処理の詳細について、具体的に説明を行う。
【0098】
〔2-1.画像分割処理のアルゴリズム〕
本実施形態では、セルネットワークに基づく画像分割アルゴリズム(特許文献3参照)をオブジェクトの抽出に用いる。この画像分割アルゴリズムの特徴として、比較的に簡単な処理で画像分割が実現できること、またその処理サイクル数も少なく高速であること、並列処理が可能であることなどを挙げることができる。さらに、この画像分割アルゴリズムは、初期化フェーズ、自己発火フェーズ、引火フェーズ、および鎮火フェーズの4つの段階に分けられる。以下、各フェーズにおける処理の詳細を説明する。
【0099】
先ず、初期化フェーズ(S2)においては、発火中のセルが存在するかどうかを決定するための変数z(グローバル抑制子)を0に設定する。z=1の場合、発火中のセルが存在すること、すなわち1つの領域の画像分割処理が続いていることを表し、z=0の場合には、発火中のセルが存在しない、すなわち1つの領域の画像分割処理が終わったことを表す。
【0100】
また、各セルiには、状態変化の有無を表す変数ziを用意するとともに、非発火状態から発火状態へ遷移した場合にのみzi=1とし、それ以外はzi=0とする。この変数ziをもとに、フレームtにおけるグローバル抑制子z(t)の値を全てのziの論理和として、z(t)=∪∀ii(t)と定義する。ここで、∪は論理和(OR)演算子を表す。
【0101】
また、初期化フェーズにおいては、入力画像データとしてグレースケールの画像データが結合重み計算部4(図5等参照)に入力される。グレースケールの画像データとは、画像の輝度値であり、その値は0~255の範囲に入っている。そして、S2の初期化フェーズにおいては、この画像データの輝度値に基づき、結合重み計算部4により、画素間の輝度の近さを表す結合重みWikが計算される。この結合重みWikは下式で表される。
【0102】
ik=Imax/(1+│Ii-I│),k∈N(i)
なお、Ii,Iは画素i,kの輝度値であり、Imaxは画素の輝度値の最大値であり、輝度値を8bitで表現した場合はImax=255となる。
【0103】
さらに、S2における初期化フェーズでは、リーダーセル計算部5(図5等参照)により、リーダーセルが存在するか否かが判断される(S3)。すなわち、リーダーセル計算部5は、注目画素の近傍の結合重みWikの和Σk∈N(i)ikを計算するとともに、その値がしきい値φより大きければリーダーセルが存在すると判断する。
【0104】
さらに、Σk∈N(i)ikがφより大きい場合には、自己発火の可否を表す変数pを1に設定し、リーダーセルを自己発火可能なセルとして決定する。Σk∈N(i)ikがφpに等しい、またはそれより小さい場合(Σk∈N(i)ik≦φp)には、pi=0(自己発火不可能)に初期化する。
【0105】
また、S2における初期化フェーズでは、全てのセルについて、そのセルが発火しているかどうかを示す変数xi(t)を0に設定する。なお、この変数xi(t)は、セルが発火状態にある場合には1に設定される。
【0106】
S3においてリーダーセルが存在すると判断された場合、画像処理アルゴリズムは、実際に画像分割処理を行う自己発火フェーズ(S4)に移行する。自己発火フェーズにおいては、初期化フェーズで決定したリーダーセルのうちの一つが発火状態とされる。
【0107】
さらに、S4における自己発火フェーズでは、制御回路12により、発火可能なセルが存在するか否かが判断される(S5)。
【0108】
すなわち、制御回路12は、非発火状態のセルに隣接する8つのセルの中で発火状態になっているセルと、その非発火状態のセルとの間において結合重みの和S(t)=Σk∈N(i)(Wik×xk(t))を算出し、その結合重みの和を所定のしきい値φZと比較する。そして、結合重みの和が所定のしきい値より大きければ、その非発火状態のセルを、新たに発火可能なセルとして判断し、引火する(S6)。
【0109】
一方、結合重みの和が所定のしきい値より小さければ、発火可能なセルがないと判断し、S7の鎮火処理を行う。このS5~S7における処理を、非発火のリーダーセルがなくなるまで行い、リーダーセルがなくなれば画像分割処理を終了させる。
【0110】
図24(a)および図24(b)に、上記の画像分割処理によりグレースケール画像を画像分割した結果を示す。また、図24(c)および図24(d)にカラー画像に対して上記画像分割処理により画像分割を行った結果を示す。図24(c)および図24(d)に示すように、上記の画像処理アルゴリズムによれば、カラー画像に対しても、精度良く分割することができる。
【0111】
また、上記の画像分割アルゴリズムを用いて画像分割処理を行った場合における、画素数と処理時間との関係を図25に示す。なお、図25のシミュレーションでは、複数のサンプル画像を入力データとして与え、画素数の平方根(画像の一辺の長さを表す)と画像分割に要する処理時間の最長時間と最短時間を計測した。また、計算式により最悪ケースの処理時間を見積もるために、自然画像では非常に希なケースであるが画像分割領域が多くなる理論上の最悪の場合のケースとして、白黒の格子状の規則正しい画像を想定した場合の予想される画像分割処理時間もグラフに示している。
【0112】
以下に、画像分割処理のアルゴリズムの記述例を示す。
【0113】
【数2】
JP0004500999B2_000005t.gif

【0114】
〔2-2.特徴抽出処理のアルゴリズム〕
上述の画像分割処理が終了した後、画像処理アルゴリズムは、特徴抽出処理に移行する。特徴抽出処理においては、先ず、画像分割処理により分割されたオブジェクトの特徴量として、min-max計算部7a(図5参照)により、時刻tにおいて分割されたオブジェクトiの左端の座標xi,min(t)、および右端の座標xi,max(t)が求められる(S8)。なお、オブジェクトiと座標xi,min(t)および座標xi,max(t)との関係を、図9に示す。
【0115】
S8の後、面積/min-max計算部7b(図5参照)により、オブジェクトiの特徴量として、面積ai(t)(画素数),座標yi,min,およびyi,maxの値が求められる(S9)。なお、図9に示すように、座標yi,minは、オブジェクトiにおける下端の座標であり、座標yi,maxは、オブジェクトiにおける上端の座標である。
【0116】
さらに、S9の後、特徴量計算部7d(図5参照)により、オブジェクトiのサイズ(幅:wi(t),高さ:hi(t)),位置情報(xi(t),yi(t)),色情報ci(t)が求められる(S10)。
【0117】
上述のオブジェクトの特徴のうち、面積ai(t)は画像分割結果の出力時に画素数をカウントすることで求める。サイズおよび位置情報は、各オブジェクトの現フレームtでのx,y座標それぞれの最大および最小値を求め、その値を用いて計算する。
【0118】
すなわち、分割されたオブジェクトi の左下の座標を(xi,min(t), yi,min(t )),右上の座標を(xi,max(t),yi,max(t))とすると、サイズ(wi(t ),hi(t))および位置座標(xi(t),yi(t))は、以下の式に基づき算出される。
【0119】
wi(t)=xi,max(t)-xi,min(t)
hi(t)=yi,max(t)-yi,min(t)
xi(t)={xi,max(t)+xi,min(t)}/2
yi(t)={yi,max(t)+yi,min(t)}/2
また,色情報は、xi,max(t),xi,min(t),yi,max(t),yi,min(t)における各座標の色情報(R, G, B)を入力メモリから取り込んでおくことにより求められる。
【0120】
S8~S10を踏むことにより求められた特徴量を用いて、後述の連想マッチング処理が行われる。
【0121】
以下に、特徴抽出処理のアルゴリズムの記述例を示す。
【0122】
【数3】
JP0004500999B2_000006t.gif

【0123】
〔2-3.連想マッチング処理のアルゴリズム〕
連想マッチング処理は、特徴抽出処理で計算された情報を検索情報保存部8(図17参照)から最小距離検索連想メモリ10(図17参照)に書き込み(S11)、最小距離検索連想メモリ10においてオブジェクトの距離指標を計算するとともに、その距離指標が最小のオブジェクトを検出する(S12)処理である。
【0124】
ここで、オブジェクトiと、オブジェクトjとの間における時刻tの距離指標Dij(t)は、オブジェクトi,jの画素数、サイズ、位置、および色情報の差分の絶対値であるIaij(t)、Isij(t)、Ipij(t)、Icij(t)によって表される。
【0125】
つまり、距離指標としてマンハッタン距離を用いるならば、Dij(t)は下式で表される。
【0126】
Dij(t)=αIaij+βIsij+γIpij+εIcij
なお、α,β,γ,εはそれぞれ情報に対する重みを表している。
【0127】
一方、距離指標としてユークリッド距離を用いるならばDij(t)は下式で表される。
【0128】
Dij=√k
k=αIaij2+βIsij2+γIpij2+εIcij2
また、ここでは現フレームtの位置情報(xi(t),yi(t))として、図26に示すように、前のフレームt-1の位置座標(xi(t-1),yi(t-1))にそのときの動きベクトル(mvxi(t-1),mvyi(t-1))の値を加えた推定位置(xi(t)',yi(t)')を用いるが、1フレーム目(=0)に関しては動きベクトルが計算できないので、1フレーム目の位置情報を2フレーム目の位置情報としてそのまま用いる。
【0129】
なお、(xi(t)',yi(t)')を求めるための式を以下に示す。
【0130】
xi(t)'=xi(t-1)+mvxi(t-1)
yi(t)'=yi(t-1)+mvyi(t-1)
これらの結果から距離指標を計算するが、サイズおよび位置情報に関しては、wi(t),hi(t),xi,yiというようにそれぞれ2つのパラメータがあるのに対し、画素数および色情報は1つのパラメータしかない。そこで、画素数および色情報を2倍することによって重みの調節を行う。
【0131】
つまり、画素数の差の絶対値をIaij(t)、幅,高さのそれぞれに関するサイズ情報の差の絶対値をIwij(t),Ihij(t),x座標およびy座標のそれぞれに関する位置情報の差の絶対値をIxij(t),Iyij(t),色情報の差の絶対値をIcij(t)とすると、距離指標Dijは下式で表される。
【0132】
Dij=2Iaij(t)+(Iwij(t)+Ihij(t))+(Ixij(t)+Iyij(t))+2Icij(t)
また、色情報の差の絶対値Icijは、下式で表される。
【0133】
Icij=max(│Cri-Crj│,│Cgi-Cgj│,│Cbi-Cbj│)
なお、Cr,Cg,Cbのそれぞれは、赤,緑,青の色情報であり、添え字で付されたiまたはjの文字が、オブジェクトiまたはオブジェクトjのいずれの色情報であるのかを示している。
【0134】
しかし、各情報の最大値は、表3(QVGAサイズの場合)のようになり、計算結果をそのまま使うと、画素数の値がマンハッタン距離に与える影響が大きくなりすぎるため、各情報を0~1の範囲に正規化することで全体のバランスを取る。
【0135】
【表3】
JP0004500999B2_000007t.gif

【0136】
たとえば、計算された値をそれぞれの値の最大値で割ることによって正規化を行うことが可能である。すなわち、オブジェクトi,j間の距離指標として正規化されたマンハッタン距離は下式で表される。そして、最小距離検索連想メモリ10は、正規化されたマンハッタン距離をフレームのオブジェクトごとに計算して(S12)、最もマンハッタン距離が小さいものを同じオブジェクトとして認識する。
【0137】
Dij=2×Iaij/217+(Iwij/29+Ihij/28)+(Ixij/29+Iyij/28)+2×Icij/28
なお、このように計算結果を除算することにより正規化すると、上述のようにハードウェアのコストが大きくなる場合があるので、表1のように、所定の大きさの領域を基準として入力画像を分割することにより、各情報のビット数を削減してもよい。
【0138】
また、最小の距離指標の値が所定値以上である場合、最小距離検索連想メモリ10は、そのオブジェクトを画像内に新たに登場したオブジェクトとして認識する(S13)。
【0139】
以下に、連想マッチング処理のアルゴリズムの記述例を示す。
【0140】
【数4】
JP0004500999B2_000008t.gif

【0141】
〔2-4.動き検出処理のアルゴリズム〕
動き検出処理においては、先ず、動きベクトル計算部9a(図17参照)により、動きベクトルの計算が行われる(S14)。すなわち、検索するオブジェクトのフレームtにおける位置情報を(xn(t),yn(t))、検出されたオブジェクトのフレームt-1における位置情報を(xn(t-1),yn(t-1))とすると、フレームtにおける動きベクトル(mvx(t), mvy(t))は、下式で表される。
【0142】
mvx(t)=xn(t)-xn(t-1)
mvy(t)=yn(t)-yn(t-1)
次のこの動きベクトルを用いて、物体検出に用いられる次フレームt+1での推定位置(xn(t-1),yn(t-1))が、推定位置計算部9b(図17参照)により計算される。次フレームt+1での推定位置(xn(t+1),yn(t+1))は、下式で表される。
【0143】
xn(t+1)=xn(t)+mvx(t)
yn(t+1)=yn(t)+mvy(t)
そして、このように計算された推定位置(xn(t+1),yn(t+1))を、推定位置計算部9bから最小距離検索連想メモリ10に書き込む(S16)ことにより、動き検出処理が終了する。
【0144】
以下に、動き検出処理のアルゴリズムの記述例を記載する。
【0145】
【数5】
JP0004500999B2_000009t.gif

【0146】
〔3.画像処理アルゴリズムのシミュレーションとその結果〕
本発明者らは、上記構成の画像処理回路1を用いて、実際の画像に対して本発明の画像処理アルゴリズムをシミュレーションしたので、その結果を以下に説明する。なお、このシミュレーションは、全ての情報量について表1の値に正規化された値を用いるとともに、Mathworks社のMATLABを用いて行われた。
【0147】
〔3-1.連続した静止画像に対する動き検出処理〕
最初に、3個のオブジェクトが左から右に移動する画像(図27参照)に対して、本発明の画像処理アルゴリズムによる動き検出を行った。なお、実際に入力画像にMorphology処理(非特許文献14参照)を行った画像を図28(a)~図28(c)、図28(a)に示された1フレーム目の画像を画像分割した結果を図29(a)~図29(c)に示す。
【0148】
また、これらの画像から計算した特徴量の例として、3フレーム目のオブジェクト3に、および2フレーム目のオブジェクトに係る特徴量を計算した結果を表4に示す。
【0149】
【表4】
JP0004500999B2_000010t.gif

【0150】
なお、表4におけるラベル(t,i)は、tフレーム目のオブジェクト番号iを表しており、面積,幅,高さ,位置,色情報はそれぞれ画像分割された後のオブジェクトから求めた特徴量であり、α=1/162、β=γ=1/16、ε=1/8により正規化し小数第一位を四捨五入したものである。
【0151】
また、表4においては、距離指標としてのマンハッタン距離およびユークリッド距離を併記しており、これらの距離指標は、それぞれのオブジェクトとラベル(3,3)が付されたオブジェクトとの間における距離指標を示している。
【0152】
たとえば、オブジェクト(3,3)とオブジェクト(2,3)との間のマンハッタン距離をDとすると、
=│6-7│+│2-3│+│3-3│+│13-12│+│12-11│+│4-5│+│0-1│
=6
となる。
【0153】
また、オブジェクト(3,3)とオブジェクト(2,3)との間のユークリッド距離をDとすると、
=√k
k=(6-7)+(2-3)+(3-3)+(13-12)+(12-11)+(4-5)+(0-1)
となり、D=2として求められる。
【0154】
なお、Dを求めるにあたり、小数第一位は四捨五入されている。
【0155】
なお、以下に記載する表においても、ラベル、マンハッタン距離およびユークリッド距離は、表4と同様に記載している。
【0156】
この表4から、距離指標に関しては、ラベル(2,3)が付されたオブジェクトとの値が最も小さくなっていることがわかる。これはすなわち、ラベル(3,3)のオブジェクトと、ラベル(2,3)のオブジェクトとが同一のものであるとして認識されていることを示しており、2フレーム目の画像と3フレーム目の画像との間において同一のオブジェクトが正しく認識されていることがわかる。
【0157】
また、動き検出処理は前フレームで計算した動きベクトルをもとに現フレームの推定位置を計算し、この推定位置と実際の位置の差とに基づき距離指標を計算している。そこで、図30(a)~図30(e)に示すように、実際に動きベクトルがオブジェクトの移動中において変化する画像に対して、本発明の画像処理アルゴリズムによる動き検出処理を行った。この処理により、推定位置が変わっても他の特徴量から正しくオブジェクトを認識できるかを検証することができる。
【0158】
なお、図30(a)~図30(e)は、左側の青いオブジェクト1と、右側の赤いオブジェクト2とが3フレーム目で衝突し(図30(c)参照)、4フレーム目でオブジェクト1およびオブジェクト2の移動方向が180°変化する(図30(d)参照)という一連の流れを示す画像である。オブジェクト1とオブジェクト2とが衝突した後のフレームにおけるオブジェクトの特徴とその差を表5に示す。
【0159】
【表5】
JP0004500999B2_000011t.gif

【0160】
表5より,ラベル(4,1)が付されたオブジェクトとラベル(3,1)が付されたオブジェクトとの間における位置(x)に関するマンハッタン距離は5(=13-8)となる。このマンハッタン距離は、ラベル(4,1)が付されたオブジェクトとラベル(3,2)が付されたオブジェクトとの間における位置(x)に関するマンハッタン距離3(=13-10)より大きくなる。ユークリッド距離についても同様に、ラベル(4,1)が付されたオブジェクトとラベル(3,1)が付されたオブジェクトとの間における位置(x)に関するものが、ラベル(4,1)が付されたオブジェクトとラベル(3,2)が付されたオブジェクトとの間における位置(x)に関するものよりも大きい。
【0161】
しかし、ラベル(4,1)が付されたオブジェクトとラベル(3,2)が付されたオブジェクトとの間における色情報(C)に関するマンハッタン距離は、ラベル(4,1)が付されたオブジェクトとラベル(3,1)が付されたオブジェクトとの間における色情報(C)に関するマンハッタン距離よりも大きい。色情報(C)に関するユークリッド距離についても同様である。
【0162】
そのため、全ての特徴量を考慮した距離指標は、ラベル(4,1)が付されたオブジェクトとラベル(3,1)が付されたオブジェクトとの間における距離指標の方が小さくなっている。したがって、本発明の画像処理アルゴリズムによれば、オブジェクトの移動中に動きベクトルが変化しても、同一のオブジェクトが認識できることを検証できた。
【0163】
〔3-2.動画像に対する動き検出処理〕
次に実際に撮影した動画から1フレームずつ切り出した画像に対して、本発明の画像処理アルゴリズムを適用した結果について説明する。
【0164】
まず複数のオブジェクトがランダムに動いている動画(図31(a)~図31(k)参照)に対して動き検出処理を行った。図32に、1フレーム目の画像(図31(a)参照)を画像分割した結果の画像を示す。
【0165】
これらの画像のうち、7フレーム目のオブジェクト5(ラベル(7,5)のオブジェクト、図31(g)参照)の変化が最も大きいので、このオブジェクトと、6フレーム目のオブジェクトのそれぞれとの間において計算した距離指標を表6に示す。
【0166】
【表6】
JP0004500999B2_000012t.gif

【0167】
表6に示すように、ラベル(7,5)が付されたオブジェクトと、ラベル(6,1)~(6,6)のそれぞれが付されたオブジェクトとの間における距離指標のうち、ラベル(7,5)が付されたオブジェクトとラベル(6,5)が付されたオブジェクトとの間における距離指標が最小である。この結果より、複数のオブジェクトがランダムに動いている動画に対しても、本発明の動き検出処理を行えば、同一のオブジェクトを認識できることを検証した。
【0168】
次に、ボールが床に衝突して跳ね返ることにより、動きベクトルが急激に変化する画像(図33(a)~図33(f),図34(a)~図34(f))に対して、本発明の画像処理アルゴリズムを適用した。なお、図33(a)に示す画像を画像分割した結果を図35(a)~図35(d)に示し、図34(a)に示す画像を画像分割した結果を図36(a)~図36(d)に示す。
【0169】
また、図33(a)~図33(f)の画像を分割した画像に関して距離指標を算出した結果を表7に示し、また、図34(a)~図33(f)の画像を分割した画像に関して距離指標を算出した結果を表8に示す。
【0170】
【表7】
JP0004500999B2_000013t.gif

【0171】
【表8】
JP0004500999B2_000014t.gif

【0172】
表7に示すとおり、ラベル(4,3)のオブジェクトと、ラベル(3,1)~ラベル(3,4)のオブジェクトのそれぞれとの間における距離指標のうち、ラベル(4,3)のオブジェクトと、ラベル(3,3)のオブジェクトとの間における距離指標が最も小さい。また、表8に示すとおり、ラベル(5,2)のオブジェクトと、ラベル(4,1)~ラベル(4,4)のオブジェクトのそれぞれとの間における距離指標のうち、ラベル(5,2)のオブジェクトと、ラベル(4,2)のオブジェクトとの間における距離指標が最も小さい。
【0173】
したがって、これらの表7および表8から、本発明の画像処理アルゴリズムによれば、動きベクトルが急激に変化する場合でも正確に同一のオブジェクトを認識できることがわかる。
【0174】
さらに、小さなオブジェクトがランダムに動いている動画(図37(a)~図37(f)参照)に対しても、本発明の画像処理アルゴリズムを適用した。
【0175】
なお、図37(a)の画像を分割した結果を、図38(a)~図38(d)に示す。図38(a)からわかるように、図37(a)の画像において真ん中付近に存在するボール(同図中、ハッチングされていないボール)は検出することができなかった。
【0176】
図37(a)の画像において検出されたオブジェクトのうち、ラベル(3,1)のオブジェクトと、ラベル(2,1)~ラベル(2,4)のオブジェクトのそれぞれとの間において、距離指標を算出した結果を表9に示す。
【0177】
【表9】
JP0004500999B2_000015t.gif

【0178】
表9に示すとおり、ラベル(3,1)のオブジェクトと、ラベル(2,1)~ラベル(2,4)のオブジェクトのそれぞれとの間における距離指標のうち、ラベル(3,1)のオブジェクトと、ラベル(2,1)のオブジェクトとの間における距離指標が最も小さい。
【0179】
したがって、表9から、複数の小さいオブジェクトがランダムに動いている動画に対しても、本発明の画像処理アルゴリズムを実行すれば、同一のオブジェクトを認識できることがわかる。
【0180】
〔3-3.自然画像に対する動き検出処理〕
次に、実際に人物がフレーム中で歩いている画像(図39(a)~図39(c)参照)についてのシミュレーション結果を示す。また、図39(a)に示す画像を分割した結果を、図40(a)~図40(d)に示す。
【0181】
図40(a)~図40(d)に示すように、図39(a)に示す画像は、図40(a)に示す壁の画像、図40(b)に示す床の画像、図40(c)に示す人物aの画像、および図40(d)に示す人物bの画像に分割される。
【0182】
これら分割後の画像のうち、実際に移動している画像は、図40(c)に示す人物aの画像および図40(d)に示す人物bの画像だけであり、床と壁の画像は、人物aおよび人物bが動くことで形が変わっているだけである。図39(a)~図39(c)に示す画像に関して、距離指標を算出した結果を表10に示す。
【0183】
【表10】
JP0004500999B2_000016t.gif

【0184】
表10に示すとおり、ラベル(3,3)のオブジェクトと、ラベル(2,1)~ラベル(2,4)のオブジェクトのそれぞれとの間における距離指標のうち、ラベル(3,3)のオブジェクトと、ラベル(2,3)のオブジェクトとの間における距離指標が最も小さい。
【0185】
したがって、表10から、実際に人物がフレーム中で歩いている動画に対しても、本発明の動き検出処理を実行すれば、同一のオブジェクトを認識できることがわかる。
【0186】
さらに、同一オブジェクトを認識することが一般的に困難な、歩いている人物(オブジェクト)がフレーム中で別の人物(オブジェクト)と重なる画像(図41(a)~図41(h)参照)に対して、本発明の動き検出処理を行った。
【0187】
図41(a)の画像を分割すると、図42(a)~図42(d)に示すように分割される。また、図41(d)の画像を分割すると、図43(a)~図43(c)に示すように分割される。なお、図42(d)に示すように、1フレーム目で停止している人物(図41(a)参照)の上半身が分割されないのは、オブジェクトのグラデーションによりリーダーセルがないこと、又は、結合重みが小さいためオブジェクトとして認識できないことが原因として考えられる。
【0188】
これらの分割結果に関して、3フレーム目の3番目のオブジェクト、物体数が変化する4フレーム目の3番目のオブジェクト、7フレーム目の3番目のオブジェクトに関する動き検出処理のシミュレーション結果を、表11、表12、および表13に示す。
【0189】
【表11】
JP0004500999B2_000017t.gif

【0190】
【表12】
JP0004500999B2_000018t.gif

【0191】
【表13】
JP0004500999B2_000019t.gif

【0192】
この表11より、ラベル(3,3)のオブジェクトと、ラベル(2,3)のオブジェクトとの間における距離指標が最も小さいことがわかる。また、表12に関しては、ラベル(4,3)のオブジェクトと、ラベル(3,3)のオブジェクトとの間における距離指標が最も小さい。さらに、表13においては、ラベル(7,3)のオブジェクトとラベル(6,3)のオブジェクトとの間における距離指標が最も小さい。これらの結果より、図41(a)~図41(h)に示したような、移動するオブジェクトが、他のオブジェクトと重なるような画像に対しても、本発明の画像処理アルゴリズムを適用すれば、同一のオブジェクトを認識できることを検証できた。
【0193】
さらに、分割が困難な画像の一例である、図44(a)~図44(f)に示すミニカーが動いている画像について、本発明の画像処理アルゴリズムを実行した結果について説明する。また、1フレーム目の画像(図44(a)参照)に関して、分割処理を行った結果を図45(a)~図45(c)に示す。
【0194】
図45(a)~図45(c)に示すように、画像分割された後のオブジェクトは、実際の画像のオブジェクトと、その形状が大きく異なっている。図45(a)~図45(c)に示す画像に対して動き検出処理を行った結果を表14に示す。
【0195】
【表14】
JP0004500999B2_000020t.gif

【0196】
表14より、ラベル(4,2)のオブジェクトと、ラベル(3,2)のオブジェクトとの間における距離指標が最も小さいことがわかる。よって、入力画像に対する画像分割の精度はそれほどよくないが、オブジェクトの特徴量からフレーム間において同一のオブジェクトを正しく認識できていることを検証できた。
【0197】
次に、車が走っている道路を撮影した画像(図46(a)~図46(f)参照)について、本発明の画像処理アルゴリズムを実行した結果について説明する。また、1フレーム目の画像(図46(a)参照)に関して、分割処理を行った結果を図47(a)および図47(b)に示す。
【0198】
図47(a)および図47(b)からわかるように、走行中の車の画像は、図47(a)に示す車の屋根の画像と、図47(b)に示す車のボンネット部分の画像とに分割される。図47(a)および図47(b)から得られた情報をもとに、本発明の画像処理アルゴリズムを適用した結果を表15に示す。
【0199】
【表15】
JP0004500999B2_000021t.gif

【0200】
表15より、ラベル(4,1)のオブジェクトと、ラベル(3,1)のオブジェクトとの間における距離指標が最も小さいことがわかる。この結果から、図46(a)~図46(f)に示す画像に関しても、本発明の画像処理アルゴリズムによれば、同一のオブジェクトを正しく認識できることを確認できる。
【0201】
〔4.補足〕
本発明の画像処理アルゴリズムにおける各処理ステップは、CPUなどの演算手段が、ROM(Read Only Memory)やRAMなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。
【0202】
したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の画像処理回路の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【0203】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばROMのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。
【0204】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【0205】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD/MO/MD/DVD等のディスクのディスク系、ICカード(メモリカードを含む)等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【0206】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【0207】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【0208】
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
【産業上の利用可能性】
【0209】
本発明の画像処理装置は、画像認識システム、動体検出システム、ディジタルカメラ、ディジタルビデオカメラ、ロボットビジョン、顔認識による認証システム、セキュリティシステム、人工知能システム等における画像分割・抽出のための画像分割・抽出集積回路として適用可能である。
【図面の簡単な説明】
【0210】
【図1】本発明の一実施形態に係る画像処理回路の構成を示すブロック図である。
【図2】図1の画像処理回路における画像分割セルネットワークの構成を示す図である。
【図3】図2の画像分割セルネットワークにおけるグローバル抑制部の構成を示す図である。
【図4】(a)は、画像分割セルの各列毎にZorx信号を出力する状態を示す図であり、(b)は、図3のグローバル抑制部におけるi行目の詳細な構成を示す図である。
【図5】図1の画像処理回路における物体情報計算部の構成を詳細に示すブロック図である。
【図6】図5の物体情報計算部におけるmin-max計算部の構成を示す図である。
【図7】図6のmin-max計算部におけるmin-max検出部の構成を示す図である。
【図8】図6のmin-max計算部におけるデコーダの構成を示す図である。
【図9】図1の画像分割セルネットワークにより分割されたオブジェクトと、特徴量との関係を示す図である。
【図10】図5の物体情報計算部におけるmin-max計算部の構成を示す図である。
【図11】図5の物体情報計算部における面積/min-max計算部の構成を示す図である。
【図12】図5の物体情報計算部における面積/min-max計算部の構成を示す図である。
【図13】図5の物体情報計算部における物体情報保存部の構成を示す図である。
【図14】入力画像を16×16画素の領域を基準として分割する状態を示す図である。
【図15】図5の物体情報計算部における特徴量計算部の構成を示す図である。
【図16】図1の画像処理回路における画像分割/特徴量計算部に係る詳細な構成を示す図である。
【図17】図1の画像処理回路における物体検出部の構成を示す図である。
【図18】図17の物体検出部における検索情報保存部の構成を示す図である。
【図19】図17の物体検出部における最小距離検索連想メモリの構成を示す図である。
【図20】図17の物体検出部における動きベクトル計算部の構成を示す図である。
【図21】図17の物体検出部における推定位置計算部の構成を示す図である。
【図22】図1の画像処理回路における物体検出部の構成を示す図である。
【図23】図1の画像処理回路による画像処理アルゴリズムを示すフローチャートである。
【図24】(a)および(b)は、画像分割処理によりグレースケール画像を画像分割した結果を示す画像であり、(c)および(d)は、カラー画像に対して画像分割を行った結果を示す画像である。
【図25】画像分割アルゴリズムを用いて画像分割処理を行った場合における、画素数と処理時間との関係を示すグラフである。
【図26】オブジェクトの前フレームの位置と、現フレームの推定位置との関係を示す図である。
【図27】(a)~(c)は、本発明の画像処理方法をシミュレーションした3個のオブジェクトが左から右に移動する画像である。
【図28】(a)~(c)は、図27の画像に対してMorphology処理を行った画像である。
【図29】(a)~(c)は、図28の画像を分割した結果を示す画像である。
【図30】(a)~(e)は、本発明の画像処理方法をシミュレーションした、動きベクトルがオブジェクトの移動中において変化する画像である。
【図31】(a)~(k)は、本発明の画像処理方法をシミュレーションした、複数のオブジェクトがランダムに動いている画像である。
【図32】(a)~(f)は、図31の画像を分割した結果を示す画像である。
【図33】(a)~(f)は、ボールが床に衝突して跳ね返ることにより、動きベクトルが急激に変化する画像である。
【図34】(a)~(f)は、ボールが床に衝突して跳ね返ることにより、動きベクトルが急激に変化する別の画像である。
【図35】(a)~(d)は、図33の画像を分割した結果を示す画像である。
【図36】(a)~(d)は、図34の画像を分割した結果を示す画像である。
【図37】(a)~(f)は、小さなオブジェクトがランダムに動いている画像である。
【図38】図37の画像を分割した結果を示す画像である。
【図39】(a)~(c)は、人物がフレーム中で動いている画像である。
【図40】(a)~(d)は、図39の画像を分割した結果を示す画像である。
【図41】(a)~(h)は、歩いている人物がフレーム中で別の人物と重なる画像である。
【図42】(a)~(d)は、図41の画像を分割した結果を示す画像である。
【図43】(a)~(c)は、図41の画像を分割した結果を示す画像である。
【図44】(a)~(f)は、ミニカーが動いている画像である。
【図45】(a)~(c)は、図44の画像を分割した結果を示す画像である。
【図46】(a)~(f)は、車が走っている道路を撮影した画像である。
【図47】(a)および(b)は、図46の画像を分割した結果を示す画像である。
【符号の説明】
【0211】
1 画像処理回路(画像処理装置)
4 結合重み計算部(画像分割手段)
5 リーダーセル計算部(画像分割手段)
6 画像分割セルネットワーク(画像分割手段)
9 位置情報計算部(動きベクトル算出手段、推定位置算出手段)
9a 動きベクトル計算部(動きベクトル算出手段)
9b 推定位置計算部(推定位置算出手段)
10 最小距離検索連想メモリ(オブジェクト認識手段)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35
【図37】
36
【図38】
37
【図39】
38
【図40】
39
【図41】
40
【図42】
41
【図43】
42
【図44】
43
【図45】
44
【図46】
45
【図47】
46