TOP > 国内特許検索 > フレーム処理型ステレオ画像処理装置 > 明細書

明細書 :フレーム処理型ステレオ画像処理装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3054691号 (P3054691)
公開番号 特開平11-175725 (P1999-175725A)
登録日 平成12年4月14日(2000.4.14)
発行日 平成12年6月19日(2000.6.19)
公開日 平成11年7月2日(1999.7.2)
発明の名称または考案の名称 フレーム処理型ステレオ画像処理装置
国際特許分類 G06T  7/00      
FI G06F 15/70 460A
G06F 15/62
請求項の数または発明の数 7
全頁数 29
出願番号 特願平09-341441 (P1997-341441)
出願日 平成9年12月11日(1997.12.11)
審査請求日 平成10年1月26日(1998.1.26)
特許権者または実用新案権者 【識別番号】390014306
【氏名又は名称】防衛庁技術研究本部長
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
【識別番号】597173004
【氏名又は名称】株式会社サイヴァース
発明者または考案者 【氏名】木村 茂
【氏名】中野 勝之
【氏名】細井 光夫
【氏名】坂本 卓也
【氏名】川村 英二
個別代理人の代理人 【識別番号】100071054、【弁理士】、【氏名又は名称】木村 高久 (外1名)
審査官 【審査官】鶴谷 裕二
参考文献・文献 特開 平9-204524(JP,A)
特開 平10-320561(JP,A)
調査した分野 G06T 7/00
特許請求の範囲 【請求項1】
複数の撮像手段を所定の間隔をもって配置し、これら複数の撮像手段のうちの一の撮像手段で対象物体を撮像したときの当該一の撮像手段の撮像画像中の選択画素に対応する他の撮像手段の撮像画像中の対応候補点の情報を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの仮定距離の大きさ毎に抽出し、前記選択画素の画像情報と前記対応候補点の画像情報の類似度を算出し、この算出された類似度が最も大きくなるときの前記仮定距離を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの推定距離とする計測を行うステレオ画像処理装置において、
画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器(311)を予め用意するとともに、さらに、
各画素にそれぞれ、前記選択画素の画像情報と、この選択画素に対応する対応候補点の画像情報との類似度を示す画素から構成される画像を入力し、この画像を所定の走査形式で順次走査しながら、少なくとも一つ以上の、前記局所並列型演算器を用いることにより、各画素毎に、当該画素の周辺領域の各画素の類似度の画像情報を融合して、類似度の安定化を行う類似度安定化手段(306)を具え、前記類似度安定化手段から出力された画像に基づいて、各画素毎に推定距離を求めるようにしたことを特徴とするステレオ画像処理装置。

【請求項2】
複数の撮像手段を所定の間隔をもって配置し、これら複数の撮像手段のうちの一の撮像手段で対象物体を撮像したときの当該一の撮像手段の撮像画像中の選択画素に対応する他の撮像手段の撮像画像中の対応候補点の情報を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの仮定距離の大きさ毎に抽出し、前記選択画素の画像情報と前記対応候補点の画像情報の類似度を算出し、この算出された類似度が最も大きくなるときの前記仮定距離を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの推定距離とする計測を行うステレオ画像処理装置において、
画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器(311)を予め用意するとともに、さらに、
複数の撮像手段のうちの一の撮像手段の撮像画像中の画素を所定の走査形式で順次選択し、当該選択画素に対応する他の撮像手段の撮像画像中の対応候補点の座標位置をデータとして保持する画素から構成される画像フレームを、仮定距離毎に、一つの画像フレームとして生成する対応候補点座標生成手段(301)と、
前記対応候補点座標生成手段で生成された画像フレームを入力して、画素単位に前記所定の走査形式で、前記一の撮像手段の撮像画像中の選択画素の画像情報と当該選択画素に対応する他の撮像手段の撮像画像中の対応候補点の画像情報を抽出し、これら抽出された画像情報を、入力された画像フレームに準じた形式の画像フレームにして出力する対応候補点情報抽出手段(304)と、
前記対応候補点情報抽出手段から出力された画像フレームを入力して、画素単位に前記所定の走査形式で、前記抽出された画像情報同士の類似度を計算し、この類似度を、入力された画像フレームに準じた形式の画像フレームにして出力する類似度算出手段(305)と、
前記類似度算出手段から出力された画像フレームを入力して、画素単位に前記所定の走査形式で、少なくとも1個の前記局所並列型演算器によって対象画素近傍の類似度を融合することにより類似度の安定化を行い、この安定化された類似度を、入力された画像フレームに準じた形式の画像フレームにして出力する類似度安定化手段(306)と、
前記類似度安定化手段から出力された画像フレームを入力して、仮定距離の変化に対する安定化された類似度の変化を求め、安定化された類似度が最も大きくなるときの仮定距離を、画素単位で前記所定の走査形式で算出し、この安定化された類似度が最も大きくなるときの仮定距離を、入力された画像フレームに準じた形式の画像フレームにして出力する距離推定手段(307)と、を具え、
前記画像フレームを構成する各画素のデータを、これら前記対応候補点座標生成手段、前記対応候補点情報抽出手段、前記類似度算出手段、前記類似度安定化手段、前記距離推定手段の各手段による処理によって順次更新させつつ、これら各手段の間で、当該画像フレームを、画素単位に前記所定の走査形式で転送させながら処理することを特徴とするステレオ画像処理装置。

【請求項3】
前記対応候補点情報抽出手段および類似度算出手段および類似度安定化手段および距離推定手段を対象として、必要に応じて対象となる前記各手段において、
前記対応候補点情報抽出手段では選択画素の画像情報と対応候補点の画像情報の抽出処理、
前記類似度算出手段では類似度の算出処理、
前記類似度安定化手段では類似度の安定化処理、
前記距離推定手段では距離推定処理、を行わずに、入力された画像フレームの画素データを保持した形で画像フレームを出力するようにできることを特徴とする、
請求項2記載のステレオ画像処理装置。

【請求項4】
前記距離推定手段は、各仮定距離と各安定化された類似度との対応関係を、画像フレームの各画素毎に求め、さらに、この対応関係を補間することにより、補間した対応関係を求め、この補間した対応関係より、安定化された類似度が最も大きくなる点を求め、この点に対応する仮定距離を推定距離とする演算処理(327)を行うものである、
請求項2記載のステレオ画像処理装置。

【請求項5】
前記撮像手段によって撮像した撮像画像から、前記対応候補点情報抽出手段によって画像情報を抽出する前に、少なくとも1個の前記局所並列型演算器を用いて前記撮像画像の前処理を行う場合に、
前記撮像画像の前処理を行う際には、前記撮像画像が前記局所並列型演算器に入力され、かつ、この局所並列型演算器によって、入力された撮像画像の前処理が行われた前処理画像が前記対応候補点情報抽出手段に出力されるように、前記局所並列型演算器の入出力を切り換えるとともに、
前記類似度を安定化する処理を行う際には、前記類似度算出部から出力された画像フレームが前記局所並列型演算器に入力され、かつ、この局所並列型演算器によって、入力された画像フレームの各画素について類似度を安定化する処理が行われた画像フレームが、前記距離推定手段に出力されるように、前記局所並列型演算器の入出力を切り換える経路制御手段(309、312)を具えるようにしたことを特徴とする、
請求項2記載のステレオ画像処理装置。

【請求項6】
前記距離推定手段から出力される画像フレームを入力して、入力した画像フレームの一部の画素の画像情報に基づいて、当該画像フレームの情報量を圧縮した圧縮画像フレームを生成して、前記入力した画像フレームおよび前記圧縮画像フレームを、出力する圧縮手段(314)を、さらに具えるようにしたことを特徴とする、
請求項2記載のステレオ画像処理装置。

【請求項7】
前記圧縮手段により圧縮された圧縮画像フレームを、さらに所定回数、当該圧縮手段で繰り返し圧縮することにより、複数の圧縮サイズの異なる圧縮画像フレームを生成し、これら複数の圧縮サイズの異なる圧縮画像フレームおよび前記入力した画像フレームを出力するようにしたことを特徴とする、
請求項6記載のステレオ画像処理装置。
発明の詳細な説明 【発明の詳細な説明】

【0001】

【発明の属する技術分野】本発明は、物体の認識装置に関し、異なる位置に配置された複数の撮像手段による画像情報から三角測量の原理を利用して対象物体までの距離情報を計測するステレオ画像処理装置に関する。

【0002】

【従来の技術】従来より、撮像手段たる画像センサの撮像結果に基づき認識対象物体までの距離を計測する方法として、ステレオビジョン(ステレオ視)による計測方法が広く知られている。

【0003】
この計測は、2次元画像から、距離、深度、奥行きといった3次元情報を得るために有用な方法である。

【0004】
すなわち、2台の画像センサを例えば左右に配置し、これら2台の画像センサで同一の認識対象物を撮像したときに生じる視差から、三角測量の原理で、対象物までの距離を測定するという方法である。このときの左右の画像センサの対は、ステレオ対と呼ばれており、2台で計測を行うことから2眼ステレオ視と呼ばれている。

【0005】
図15は、こうした2眼ステレオ視の原理を示したものである。

【0006】
同図に示すように、2眼ステレオ視では、左右の画像センサ1、2の画像#1(撮像面1a上で得られる)、画像#2(撮像面2a上で得られる)中の、対応する点P1、P2同士の位置の差である視差(ディスパリティ)dを計測する必要がある。一般に視差dは、3次元空間中の点50a(認識対象物体50上の点)までの距離zとの間に、次式で示す関係が成立する。

【0007】
z=F・B/ d …(1)
ここに、Bは左右の画像センサ1、2間の距離(基線長)であり、Fは画像センサ1のレンズ31、画像センサ2のレンズ32の焦点距離である。通常、基線長Bと焦点距離Fは既知であるので、視差dが分かれば、距離zは一義的に求められることになる。

【0008】
この視差dは、両画像#1、#2間で、どの点がどの点に対応するかを逐一探索することにより算出することができる。

【0009】
このときの一方の画像#1上の点P1に対応する他方の画像#2上の点P2のことを「対応点」と以下呼ぶこととし、対応点を探索することを、以下「対応点探索」と呼ぶことにする。物体50までの距離を仮定したとき、一方の画像#1上の点P1に対応する他方の画像#2上の点のことを以下「対応候補点」と呼ぶことにする。

【0010】
2眼ステレオ視による計測を行う場合、上記対応点探索を行った結果、真の距離zに対応する真の対応点P2を検出することができれば、真の視差dを算出することができたことになり、このとき対象物50上の点50aまでの真の距離zが計測できたといえる。

【0011】
こうした処理を、一方の画像#1の全画素について実行することにより、画像#1の全選択画素に距離情報を付与した画像(距離画像)が生成されることになる。

【0012】
上記対応点を探索して真の距離を求める処理を、図16、図17、図18を用いて詳述する。

【0013】
図18は、従来の2眼ステレオ視による距離計測装置(物体認識装置)の構成を示すブロック図である。

【0014】
基準画像入力部101には、視差d (距離z)を算出する際に基準となる画像センサ1で撮像された基準画像#1が取り込まれる。一方、画像入力部102には、基準画像#1上の点に対応する対応点が存在する画像である画像センサ2の撮像画像#2が取り込まれる。

【0015】
つぎに、対応候補点座標生成部103、局所情報抽出部104、ウインドウ処理型類似度算出部105、距離推定部106における処理を図16を用いて説明すると、まず、対応候補点座標生成部103では、基準画像#1の各画素に対して、仮定した距離zn毎に、画像センサ2の画像#2の対応候補点の位置座標が記憶、格納されており、これを読み出すことにより対応候補点の位置座標を発生する。

【0016】
すなわち、基準画像センサ1の基準画像#1の中から位置(i,j)で特定される画素P1が選択されるとともに、認識対象物体50までの距離znが仮定される。そして、この仮定距離znに対応する他方の画像センサ2の画像#2内の対応候補点P2の位置座標(X2,Y2)が読み出される。

【0017】
つぎに、局所情報抽出部104では、このようにして対応候補点座標生成部103によって発生された対応候補点の位置座標に基づき局所情報を抽出する処理が実行される。ここで、局所情報とは、対応候補点の近傍の画素を考慮して得られる対応候補点の画像情報のことである。

【0018】
さらに、ウインドウ処理型類似度算出部105では、上記局所情報抽出部104で得られた対応候補点P2の画像情報と基準画像の選択画素P1の画像情報との類似度が算出される。具体的には、基準画像#1の選択された画素の周囲の領域と、画像センサ2の画像#2の対応候補点の周囲の領域とのパターンマッチングにより、両画像の領域同士が比較されて、類似度が算出される。

【0019】
すなわち、図16に示すように、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1が切り出されるとともに、画像センサ2の画像#2の対応候補点P2の位置座標を中心とするウインドウWD2が切り出され、これらウインドウWD1、 WD2同士についてパターンマッチングを行うことにより、これらの類似度が算出される。このパターンマッチングは各仮定距離zn毎に行われる。そして同様のパターンマッチングが、基準画像#1の各選択画素毎に全画素について行われる。

【0020】
図17は、仮定距離znと類似度の逆数Qsとの対応関係を示すグラフである。

【0021】
図16のウインドウWD1と、仮定距離がzn ´のときの対応候補点の位置を中心とするウインドウWD2´とのマッチングを行った結果は、図17に示すように類似度の逆数Qsとして大きな値が得られている(類似度は小さくなっている)が、図16のウインドウWD1と、仮定距離がzxのときの対応候補点の位置を中心とするウインドウWD2とのマッチングを行った結果は、図17に示すように類似度の逆数Qsは小さくなっている(類似度は大きくなっている)のがわかる。なお、類似度は、一般に、比較すべき選択画素と対応候補点の画像情報の差の絶対値や、差の2乗和として求められる。

【0022】
このようにして仮定距離znと類似度の逆数Qsとの対応関係から、最も類似度が高くなる点(類似度の逆数Qsが最小値となる点)を判別し、この最も類似度が高くなっている点に対応する仮定距離zxを最終的に、認識対象物体50上の点50aまでの真の距離(最も確からしい距離)と推定する。つまり、図16における仮定距離zxに対応する対応候補点P2が選択画素P1に対する対応点であるとされる。このように、距離推定部106では、基準画像#1の選択画素について仮定距離znを順次変化させて得られた各類似度の中から、最も類似度の高くなるものが判別され、最も類似度が高くなる仮定距離zxが真の距離と推定され、出力される。

【0023】
以上、2眼ステレオ視による場合を説明したが、3台以上の画像センサを用いてもよい。3台以上の画像センサを用いて距離計測(物体認識)を行うことを、多眼ステレオ視による距離計測(物体認識)と称することにする。

【0024】
多眼ステレオ視は、対応点のあいまいさを低減できるため、格段に信頼性を向上できるので最近良く用いられている。この多眼ステレオ視による距離計測装置(物体認識装置)では、複数の画像センサを、2台の画像センサからなるステレオ対に分割し、それぞれのステレオ対に対し、前述した2眼ステレオ視の原理を繰り返し適用する方式をとっている。

【0025】
すなわち、複数ある画像センサの中から基準となる画像センサを選択し、この基準画像センサと他の画像センサとの間で、ステレオ対を構成する。そして、各ステレオ対に対して2眼ステレオ視の場合の処理を適用していく。この結果、基準画像センサから基準画像センサの視野内に存在する認識対象物までの距離が計測されることになる。

【0026】
従来の多眼ステレオにおけるステレオ対の関係を図19を参照して説明すると、図16に示す2眼ステレオでは、基準画像#1と対をなす対応画像は#2の1つであったが、多眼ステレオでは、基準画像#1と画像センサ2の画像#2の対、基準画像#1と画像センサ3の画像#3の対、…、基準画像#1と画像センサNの画像#Nの対という具合に複数のステレオ対が存在する。こうした対応画像と基準画像の各ステレオ対に基づく処理を行う前には、画像センサたるカメラの取付け歪みなどを考慮する必要があり、通常はキャリブレーションによる補正処理を前もって行うようにしている。

【0027】
多眼ステレオによって対応点を探索して真の距離を求める処理を、前述した2眼ステレオの図16、図18に対応する図19、図20を用いて詳述する。

【0028】
図20は、従来の多眼ステレオ視による距離計測装置(物体認識装置)の構成を説明する図である。

【0029】
なお、各画像センサ1、2、3、…、Nは、水平、垂直あるいは斜め方向に所定の間隔で配置されているものとする(説明の便宜上、図20では一定間隔で左右に配置されている場合を示している)。

【0030】
基準画像入力部201には、視差d(距離z)を算出する際に基準となる画像センサ1で撮像された基準画像#1が取り込まれる。一方、画像入力部202には、基準画像#1上の点に対応する対応点が存在する画像である画像センサ2の撮像画像#2が取り込まれる。他の画像入力部203、204においても、基準画像#1に対応する画像センサ3の画像#3が、基準画像#1に対応する画像センサNの画像#Nがそれぞれ取り込まれる。

【0031】
対応候補点座標生成部205では、基準画像#1の各画素に対して、仮定した距離zn毎に、画像センサ2の画像#2の対応候補点の位置座標、画像センサ3の画像#3の対応候補点の位置座標、画像センサNの画像#Nの対応候補点の位置座標がそれぞれ記憶、格納されており、これらを読み出すことにより各対応候補点の位置座標を発生する。

【0032】
すなわち、基準画像センサ1の基準画像#1の中から所定位置P1に存在する(i,j)で特定される画素が選択されるとともに、認識対象物体50までの距離znが仮定される。そして、この仮定距離znに対応する画像センサ2の画像#2内の対応候補点P2の位置座標(X2,Y2)が読み出される。同様にして、基準画像#1の選択画素P1(i,j)、仮定距離znに対応する画像センサ3の画像#3の対応候補点P3の位置座標が読み出され、基準画像#1の選択画素P1(i,j)、仮定距離znに対応する画像センサNの画像#Nの対応候補点PNの位置座標が読み出される。そして、仮定距離znを順次変化させて同様の読み出しが行われる。また、選択画素を順次変化させることによって同様の読み出しが行われる。こうして対応候補点P2の位置座標(X2,Y2)、対応候補点P3の位置座標(X3,Y3)、<HAN>・・・</HAN>、対応候補点PNの位置座標(XN,YN)が対応候補点座標生成部205から出力される。

【0033】
つぎに、局所情報抽出部206では、このようにして対応候補点座標生成部205によって発生された対応候補点の位置座標に基づき局所情報を抽出する処理が実行される。同様にして、局所情報抽出部207では、対応候補点座標生成部205で発生された画像センサ3の画像#3の対応候補点P3の位置座標に基づいて、対応候補点P3の局所情報が、局所情報抽出部208では、対応候補点座標生成部205で発生された画像センサNの画像#Nの対応候補点PNの位置座標に基づいて、対応候補点PNの局所情報がそれぞれ求められる。

【0034】
さらに、ウインドウ処理型類似度算出部209では、上記局所情報抽出部206で得られた対応候補点P2の局所情報F2と基準画像#1の選択画素P1の画像情報との類似度が算出される。具体的には、基準画像#1の選択された画素の周囲の領域と、画像センサ2の画像#2の対応候補点の周囲の領域とのパターンマッチングにより、両画像の領域同士が比較されて、類似度が算出される。

【0035】
すなわち、図19に示すように、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1が切り出されるとともに、画像センサ2の画像#2の対応候補点P2の位置座標を中心とするウインドウWD2が切り出され、これらウインドウWD1、 WD2同士についてパターンマッチングを行うことにより、これらの類似度が算出される。このパターンマッチングは各仮定距離zn毎に行われる。

【0036】
図23(1)は、仮定距離znとステレオ対(基準画像センサ1と画像センサ2)の類似度の逆数Qs1との対応関係を示すグラフである。

【0037】
図19のウインドウWD1と、仮定距離がzn ´のときの対応候補点の位置座標を中心とするウインドウWD2´とのマッチングを行った結果は、図23(1)に示すように類似度の逆数Qs1として大きな値が得られている(類似度は小さくなっている)が、図19のウインドウWD1と、仮定距離がzxのときの対応候補点の位置座標を中心とするウインドウWD2とのマッチングを行った結果は、図23(1)に示すように類似度の逆数Qs1は小さくなっている(類似度は大きくなっている)のがわかる。

【0038】
同様にしてウインドウ処理型類似度算出部210では、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1と、画像センサ3の画像#3の対応候補点P3の位置座標を中心とするウインドウWD3とのパターンマッチングが実行され、これらの類似度が算出される。そして、パターンマッチングが各仮定距離zn毎に行われることによって、このステレオ対(基準画像センサ1と画像センサ3)についても図23(2)に示すような仮定距離znと類似度の逆数Qs2との対応関係を示すグラフが求められる。同様にしてウインドウ処理型類似度算出部211では、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1と、画像センサNの画像#Nの対応候補点PN の位置座標を中心とするウインドウWDNとのパターンマッチングが実行され、これらの類似度が算出される。そして、パターンマッチングが各仮定距離zn毎に行われることによって、このステレオ対(基準画像センサ1と画像センサN)についても図23(N)に示す仮定距離znと類似度の逆数QsNとの対応関係が求められる。

【0039】
最後に、各ステレオ対毎に得られた仮定距離znと類似度の逆数との対応関係を仮定距離毎に加算する。

【0040】
さらに図23(融合結果)に示すように、仮定距離znと類似度の逆数の加算値との対応関係から、最も類似度が高くなる点(類似度の逆数の加算値が最小値となる点)を判別し、この最も類似度が高くなっている点に対応する仮定距離zxを最終的に、認識対象物体50上の点50aまでの真の距離(最も確からしい距離)と推定する。かかる処理は、基準画像#1の各選択画素毎に全画素について行われる。

【0041】
以上のようにして、距離推定部212では、仮定距離znを順次変化させて得られた類似度の加算値の中から、最も類似度の加算値が高くなるものが判別され、最も類似度の加算値が高くなる仮定距離zxが真の距離と推定され、出力される。そして、かかる距離推定が基準画像#1の全画素について行われることから、基準画像#1の全選択画素に距離情報を付与した画像(距離画像)が生成されることになる。

【0042】
ここに、論文1「複数の基線長を利用したステレオマッチング」(電子情報通信学会論文誌、D-2 VOL .J75-D-2 No.8 1992-8、奥富正敏、金出武雄)には、ウインドウ毎のマッチングによるステレオ処理に関する技術が記載されている。

【0043】
すなわち、上記論文1には、基準画像の選択画素の位置を中心とするウインドウを切り出すとともに、対応画像の対応候補点の位置を中心とするウインドウを切り出し、これらウインドウ同士についてパターンマッチングを行うことにより、基準画像の選択画素についてウインドウ内加算された類似度を演算する技術が記載されている。具体的には、一方のウインドウ内の画素の画像情報と、この画素に対応する他方のウインドウ内の画素の画像情報との差の2乗を、ウインドウ内の各画素毎に求め、この画像情報の差の2乗値を、ウインドウ内の全画素について加算したものを、類似度としている。

【0044】
また、論文2「ビデオレート・ステレオマシン」(日本ロボット学会誌、vol.13 No.3、金出武雄、木村茂)には、上記論文1に記載されているウインドウ毎のマッチングによるステレオ処理を、専用のハードウエアで実現する技術が記載されている。

【0045】
すなわち、ウインドウ内の各画素ごとに求めた画像情報の差の絶対値を加算する処理を、前回の画素の処理結果や中間結果などを用いて、高速に行う技術が記載されている。こうした前回の画素の処理結果や中間結果などを用いてウインドウ内加算を行う方法を、ここでは再帰型のウインドウ内加算方法と呼ぶことにする。

【0046】
つぎに、図11、図12を参照して、この再帰型のウインドウ内加算処理について説明する。

【0047】
図12は、上記再帰型のウインドウ内加算処理を行う専用のハードウエアを示すブロック図である。これは、パイプライン化されたハードウエアとしても実現できる。

【0048】
図11は、再帰型のウインドウ内加算処理の概念図である。

【0049】
同図11では、サイズが3×3画素のウインドウ内で加算が行われる場合を想定している。図11に示される各画素の箱内には、たとえば画素(i,j-3)の箱内には、この画素(i,j-3)に対応する類似度(選択画素(i,j-3)の画像情報とこれの対応点の画像情報の差の2乗値)が格納されているものとする。

【0050】
いま、座標位置(i-2,j-1)の画素のウインドウ内加算した類似度を求めた後に、座標位置(i-1,j-1)の画素のウインドウ内加算した類似度を求める場合を考える。

【0051】
すると、以下の手順で、類似度(画像情報の差の2乗値)のウインドウ内加算処理が実行される。手順1、2ではj方向の演算が、手順3、4ではi方向の演算が実行される。

【0052】
・手順1.座標位置(i,j)の画素について類似度(画像情報の差の2乗値)を示すデータが入力されると、この画素(i,j)に対応する類似度は、前に演算された各画素(i,j-3)、(i,j-2)、(i,j-1)といったj方向の各画素の類似度の加算結果に加算される(加算1)。

【0053】
・手順2.つぎに、上記手順1の加算結果(加算1)から、画素(i,j-3)に対応する類似度が減算される(減算1)。このようにして、各画素(i,j-2)、(i,j-1)、(i,j)といったj方向の各画素の類似度を加算したものが求められる。

【0054】
・手順3.つぎに、上記手順2の減算結果(減算1)が、前回のウインドウA(中心画素(i-2,j-1))のウインドウ内加算結果(中心画素(i-2,j-1)のウインドウ内加算した類似度)に加算される(加算2)。

【0055】
・手順4.つぎに、上記手順3の加算結果(加算2)から、先に演算された各画素(i-3,j-2)、(i-3,j-1)、(i-3,j)といったj方向の各画素の類似度の加算結果が減算されることで、今回のウインドウB(中心画素(i-1,j-1))のウインドウ内加算結果、つまり中心画素(i-1,j-1)のウインドウ内加算した類似度が求められる。

【0056】
そして、上記手順4で算出されたウインドウBの加算結果は、次の画素(i,j-1)を中心としたウインドウ内加算を行うときには、ウインドウAの値として使用される。このようにして、順次ウインドウ内加算が行われる。

【0057】
上記手順は、再帰型ウインドウ内加算の一例であり、i、jの方向を入れ替えるなど適宜変更が可能である。

【0058】
このように再帰型のウインドウ内加算では、今回のウインドウ内加算を行うときに、以前に行ったウインドウと領域が重なっている場合には、重なっている領域について重複した加算を繰り返し行うのではなく、前の加算結果を利用することにより、計算量を低減するようにしている。

【0059】
サイズが3×3画素のウインドウの中には、9個の類似度のデータがあり、これらについてウインドウ内加算処理を単純に行うとすると、8回の類似度の加算(8回の演算)が必要である。

【0060】
これに対して図11に示す再帰型ウインドウ内加算では、加算1、加算2といった2回の加算と、減算1、減算2といった2回の減算の合計4回の演算で済み、計算量が大幅に低減されるのがわかる。

【0061】
この処理を、図12に示す処理ブロック図でみると、手順2で使用される画素(i,j-3)の類似度のデータは、第1のシフトレジスタ503によってタイミングを合わせられて、減算1を行う減算1処理部502に入力される。

【0062】
また、加算1に使用される画素(i,j-3)、(i,j-2)、(i,j-1)の類似度の加算結果は、減算1の演算が行われたときに、その結果が第2のシフトレジスタ504に入力され、タイミングを合わせられて、加算1を行う加算1処理部501に入力される。

【0063】
i方向の演算についても同様に、第3のシフトレジスタ507、第4のシフトレジスタ508では、第1のシフトレジスタ503、第2のシフトレジスタ504と同様にしてタイミング調整がなされた上で、減算2を行う減算2処理部506、加算2を行う加算2処理部505にデータが入力される。

【0064】

【発明が解決しようとする課題】前述した2眼ステレオ視による計測処理、多眼ステレオ視による計測処理を行う場合、その全演算量の中で、類似度のウインドウ内加算といった演算が大きなウエイトを占めている。したがって、処理の高速化を達成するには、このウインドウ内加算という演算を高速に行うことが必要である。

【0065】
確かに、前述した図11、図12に示す再帰型のウインドウ内加算処理を行った場合には、従来よりも処理を高速に行うことは可能である。

【0066】
しかし、この再帰型のウインドウ内加算を、パイプライン処理によるハードウエアで実現するためには、図12に示すように、 演算手順に合わせてシフトレジスタでタイミング調整を行わせるよう専用のハードウエア演算器を開発する必要がある。

【0067】
さらに、こうした専用のハードウエアでは、仮定距離が変わったときの初期化などの制御が複雑となり、その設計が困難であるという問題がある。

【0068】
本発明は、こうした実状に鑑みてなされたものであり、類似度のウインドウ内加算を行う際に、演算手順に合わせて専用のハードウエアを開発する必要がなく、画像を走査するときに通常用いられる汎用の演算処理装置を用いることで、高速化を損なうことなく簡易に演算を行えるようにすることを解決課題とするものである。

【0069】

【課題を解決するための手段および効果】以下に述べることは、容易に多眼ステレオに適用できるが、簡単のため2眼ステレオに適用される場合を想定して述べる。

【0070】
本発明の第1発明では、上記解決課題を達成するために、複数の撮像手段を所定の間隔をもって配置し、これら複数の撮像手段のうちの一の撮像手段で対象物体を撮像したときの当該一の撮像手段の撮像画像中の選択画素に対応する他の撮像手段の撮像画像中の対応候補点の情報を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの仮定距離の大きさ毎に抽出し、前記選択画素の画像情報と前記対応候補点の画像情報の類似度を算出し、この算出された類似度が最も大きくなるときの前記仮定距離を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの推定距離とする計測を行うステレオ画像処理装置において、画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器311を予め用意するとともに、さらに、各画素にそれぞれ、前記選択画素の画像情報と、この選択画素に対応する対応候補点の画像情報との類似度を示す画素から構成される画像を入力し、この画像を所定の走査形式で順次走査しながら、少なくとも一つ以上の前記局所並列型演算器を用いることにより、各画素毎に、当該画素の周辺領域の各画素の類似度の画像情報を融合して、類似度の安定化を行う類似度安定化手段306を具え、前記類似度安定化手段から出力された画像に基づいて、各画素毎に推定距離を求めるようにしている。

【0071】
かかる構成によれば、図1に示すように、各画素データPf(i,j)毎に、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器311が予め用意される。

【0072】
処理実行中のデータの流れを示したものが図3、図14である。以下、この図3、図14を使って説明する。

【0073】
まず、類似度安定化手段306に対して、各画素データPf(i,j)にそれぞれ、選択画素P1(i,j)の画像情報G1(i,j)と、この選択画素P1(i,j)に対応する対応候補点P2(i,j,zn)の画像情報G2(i,j,zn)との類似度Qad(i,j,zn)を示す画素データから構成される画像が入力され、この画像をラスタ形式などの所定の形式でBR>順次走査しながら、少なくとも一つ以上の前記局所並列型演算器311を用いることにより、各画素データ毎に、当該画素データの周辺領域の類似度の画像情報Qad(i,j,zn)を融合して、当該画素データPf(i,j)の類似度Qad(i,j,zn)を安定化した、安定化類似度Qs(i,j,zn)が求められる。

【0074】
そして、こうして求められた安定化類似度の基づいて、各画素データPf(i,j)毎に推定距離zxが求められる。

【0075】
以上のように第1発明では、類似度の安定化を行う際に、予め、ラスタ形式などの所定の形式の走査画像を入力とする汎用の局所並列型演算器311を用いて、類似度を安定化する演算処理を行うようにしたので、類似度の安定化のための演算手順に合わせて専用のハードウエアを開発する必要がない。この結果、高速化を損なうことなく簡易に類似度安定化の演算を行うことができる。

【0076】
すなわち、従来のステレオ画像処理では、ウインドウWD1、 WD2同士のパターンマッチングを行う際に、単純なウインドウ内加算を行うようにしていた(ウインドウWD1内の各画素毎に類似度Qadを求め、これらを加算していた)。そして、この演算を行うためのハードウエアを構築する際にも、ウインドウ内加算にとらわれていたため、特別な演算を行う専用の装置にならざるを得なかった。

【0077】
しかし、ウインドウ内加算の本質は、パターンマッチングを行う際のウインドウ内の画像情報の安定化であるにすぎず、ウインドウ内加算にとらわれる必要はない。

【0078】
ここに、本発明者は、一般的な画像処理の分野では、ラスタ形式の画像データを取り込み、その2次元の画像中のあるフィルタ領域(ウインドウ領域)に対して、局所並列型演算器(空間フィルタ)を使って重み付けと畳み込み積分を行うことで、ウインドウ内の画像情報を安定化することができることに着目した。

【0079】
そこで、類似度Qadを示す画素データから構成された画像を順次走査しながら、局所並列型演算器(空間フィルタ)311を使用することで、安定化類似度Qsの演算を高速に行うようにしたものである。

【0080】
ここで用いられる局所並列型演算器311は、単に、ウインドウ内の画像情報を安定化する演算を行うものであり(従来の再帰型のウインドウ内加算を行うものではない)、専用の演算処理装置を特別に開発する必要がなく、汎用のもの(汎用の空間フィルタリング処理用LSI)を使用することができ、装置を簡易に構築することが可能である。また、ハードウエアの規模も低減することができる。

【0081】
本発明の第2発明では、上記解決課題を達成するために、複数の撮像手段を所定の間隔をもって配置し、これら複数の撮像手段のうちの一の撮像手段で対象物体を撮像したときの当該一の撮像手段の撮像画像中の選択画素に対応する他の撮像手段の撮像画像中の対応候補点の情報を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの仮定距離の大きさ毎に抽出し、前記選択画素の画像情報と前記対応候補点の画像情報の類似度を算出し、この算出された類似度が最も大きくなるときの前記仮定距離を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの推定距離とする計測を行うステレオ画像処理装置において、画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる局所並列型演算器311を予め用意するとともに、さらに、複数の撮像手段のうちの一の撮像手段の撮像画像中の画素を所定の走査形式で順次選択し、当該選択画素に対応する他の撮像手段の撮像画像中の対応候補点の座標位置をデータとして保持する画素から構成される画像フレームを、仮定距離毎に、一つの画像フレームとして生成する対応候補点座標生成手段301と、前記対応候補点座標生成手段で生成された画像フレームを入力して、画素単位に前記所定の走査形式で、前記一の撮像手段の撮像画像中の選択画素の画像情報と当該選択画素に対応する他の撮像手段の撮像画像中の対応候補点の画像情報を抽出し、これら抽出された画像情報を、入力された画像フレームに準じた形式の画像フレームにして出力する対応候補点情報抽出手段304と、前記対応候補点情報抽出手段から出力された画像フレームを入力して、画素単位に前記所定の走査形式で、前記抽出された画像情報同士の類似度を計算し、この類似度を、入力された画像フレームに準じた形式の画像フレームにして出力する類似度算出手段305と、前記類似度算出手段から出力された画像フレームを入力して、画素単位に前記所定の走査形式で、少なくとも1個の前記局所並列型演算器によって対象画素近傍の類似度を融合することにより類似度の安定化を行い、この安定化された類似度を、入力された画像フレームに準じた形式の画像フレームにして出力する類似度安定化手段306と、前記類似度安定化手段から出力された画像フレームを入力して、仮定距離の変化に対する安定化された類似度の変化を求め、安定化された類似度が最も大きくなるときの仮定距離を、画素単位で前記所定の走査形式で算出し、この安定化された類似度が最も大きくなるときの仮定距離を、入力された画像フレームに準じた形式の画像フレームにして出力する距離推定手段307と、を具え、前記画像フレームを構成する各画素のデータを、これら前記対応候補点座標生成手段、前記対応候補点情報抽出手段、前記類似度算出手段、前記類似度安定化手段、前記距離推定手段の各手段による処理によって順次更新させつつ、これら各手段の間で、当該画像フレームを、画素単位に前記所定の走査形式で転送させながら処理するようにしている。

【0082】
かかる構成によれば、図1に示すように、画像の各画素毎に、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器311が予め用意される。

【0083】
画像フレームの中のデータの流れを示したものが、図3、図14である。

【0084】
以下、この図3、図14を使って説明する。

【0085】
まず、対応候補点座標生成手段301で、一の撮像手段1による撮像画像#1の各選択画素P1(i,j)にそれぞれ対応する各画素データPf(i,j)を有し、これら各画素データPf(i,j)に、対応する選択画素P1(i,j)の座標位置(i,j)と、この選択画素P1(i,j)の対応候補点P2(i,j,zn )の座標位置(X2,Y2)が格納された画像フレーム20が、仮定距離zn毎に生成される。

【0086】
そして、この画像フレーム20が、対応候補点情報抽出手段304に入力され、この画像フレーム20が順次走査されることにより、各画素データPf(i,j)にそれぞれ格納された、対応する選択画素P1(i,j)の座標位置(i,j)と、この選択画素P1(i,j)の対応候補点P2(i,j,zn )の座標位置(X2,Y2)から、座標位置(i,j)に対応する選択画素P1(i,j)の画像情報G1(i,j)と、この選択画素P1(i,j)の対応候補点P2(i,j,zn)の画像情報G2(i,j,zn)が、各画素データPf(i,j)毎に求められ、当該両撮像画像#1、#2の画像情報G1(i,j)、 G2(i,j,zn)が、各画素データPf(i,j)にそれぞれ格納され、これが画像フレーム20として出力される。

【0087】
そして、この画像フレーム20が、類似度算出手段305に入力され、この画像フレーム20が順次走査されることにより、各画素データPf(i,j)にそれぞれ格納された両撮像画像#1、#2の画像情報G1(i,j)、 G2(i,j,zn)から、これらの類似度Qad(i,j,zn)が、各画素データPf(i,j)毎に求められ、当該類似度を示す画像情報Qad(i,j,zn)が、各画素データPf(i,j)にそれぞれ格納され、これが画像フレーム20として出力される。

【0088】
そして、この画像フレーム20が、類似度安定化手段306に入力され、この画像フレーム20を順次走査しながら、上記局所並列型演算器311を用いることにより、各画素データPf(i,j)毎に、当該画素Pf(i,j)を含む周辺の領域WDfの各画素の類似度を示す画像情報Qad(i,j,zn)を融合して、当該画素データPf(i,j)の類似度Qad(i,j,zn)を安定化した安定化類似度Qs(i,j,zn)が求められ、各画素データPf(i,j)にそれぞれ、安定化類似度を示す画像情報Qs(i,j,zn)が格納された画像フレーム20が出力される。

【0089】
そして、この画像フレーム20が、仮定距離zn毎に、距離推定手段307に順次入力され、これら仮定距離zn毎の画像フレーム20が順次走査されることにより、各画素データPf(i,j)にそれぞれ格納された安定化類似度を示す画像情報Qs(i,j,zn)から、安定化類似度Qs(i,j,zn)が最も大きくなるときの仮定距離zxが、各画素データPf(i,j)毎に求められ、これが推定距離zx(i,j)とされて、この推定距離を示す画像情報zx(i,j)が、各画素データPf(i,j)にそれぞれ格納され、これが画像フレーム20として出力される。

【0090】
以上のように第2発明では、第1発明に加えて、所定の走査形式(たとえばラスタ形式)の画像フレーム20を、各手段間で転送するようにしているので、画像表示を行う手段との整合性がよく、簡単なハードウエアで各手段から出力される画像フレーム20の情報を画像表示することができる。たとえば、最終段の距離推定手段307から出力される画像フレーム20を画像表示させるだけではなく、その前段の類似度安定化手段306から出力された画像フレーム20をそのまま画像表示させることができる。

【0091】
また、第3発明では、第2発明の構成に加えて、前記対応候補点情報抽出手段および前記類似度算出手段および前記類似度安定化手段および前記距離推定手段を対象として、必要に応じて対象となる前記各手段において、前記対応候補点情報抽出手段では選択画素の画像情報と対応候補点の画像情報の抽出処理、前記類似度算出手段では類似度の算出処理、前記類似度安定化手段では類似度の安定化処理、前記距離推定手段では距離推定処理、を行わずに、入力された画像フレームの画素データを保持した形で画像フレームを出力できるようにしている。

【0092】
かかる構成によれば、図1に示すように、距離推定手段307から出力される画像フレーム20を表示する表示手段308を、さらに設ける場合を考えると、距離推定手段307から出力される各画素Pf(i,j)に、推定距離zx(i,j)が格納された画像フレーム20だけが、表示手段308に表示されるのではなく、たとえば、対応候補点情報抽出手段304および類似度算出手段305および類似度安定化手段306および距離推定手段307を対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、対応候補点座標生成手段301から出力される画像フレーム20が、つまり、各画素データPf(i,j)に、対応する選択画素P1(i,j)の座標位置(i,j)と、この選択画素P1(i,j)の対応候補点P2(i,j,zn )の座標位置(X2,Y2)が格納された画像フレーム20が、表示手段308に表示される。

【0093】
あるいは、類似度算出手段305および類似度安定化手段306および距離推定手段307を対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、対応候補点情報抽出手段304から出力される画像フレーム20が、つまり、各画素データPf(i,j)に、両撮像画像#1、#2の画像情報G1(i,j)、 G2(i,j,zn)が格納された画像フレーム20が表示手段308に表示される。

【0094】
あるいは、類似度安定化手段306および距離推定手段307を対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、類似度算出手段305から出力される画像フレーム20が、つまり、各画素Pf(i,j)に、類似度を示す画像情報Qad(i,j,zn)が格納された画像フレーム20が表示手段308に表示される。

【0095】
あるいは、距離推定手段307を対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、類似度安定化手段306から出力される画像フレーム20が、つまり、各画素Pf(i,j)に、安定化類似度を示す画像情報Qs(i,j,zn)が格納された画像フレーム20が表示手段308に表示される。

【0096】
あるいは、処理途中の類似度安定化手段306のみを対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、距離推定手段307から出力される各画素データPf(i,j)に、安定化されていない類似度によって求められた推定距離zx(i,j)が格納され、その画像フレーム20が表示手段308に表示される。

【0097】
このように、対応候補点情報抽出手段304および類似度算出手段305および類似度安定化手段306および距離推定手段307を対象として、あるいは、類似度算出手段305および類似度安定化手段306および距離推定手段307を対象として、あるいは、類似度安定化手段306および距離推定手段307を対象として、あるいは、距離推定手段307を対象として、演算処理を行うことなく入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けるようにしたので、最終段の距離推定手段307から出力される画像フレーム20を表示手段308に画像表示させることができるだけではなく、その前段の各手段304、305、306から出力される画像フレーム20を同じ表示手段308に画像表示させることができる。

【0098】
さらに、対応候補点情報抽出手段304および類似度算出手段305および類似度安定化手段306および距離推定手段307の中の、少なくとも一つを対象として、演算処理を行うことなく入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けるようにしたので、途中の演算処理を省略した場合の、距離推定手段307から出力される画像フレーム20を表示手段308に画像表示させることができる。

【0099】
以上のように、通常、最終的に得られた距離画像を表示するものとして設けられている一つの表示手段308に、途中の演算処理結果および途中の一部の演算処理を省略した演算処理結果を表示させることができる。

【0100】
演算処理結果を表示させることにより、その結果を視覚的に容易に、そして高速に、確認することができることは、デバックの際に非常に有効である。

【0101】
したがって、余分なハードウエアを追加しなくても、小規模なハードウエアでデバック作業を効率的に行うことができる。

【0102】
また、第4発明では、第2発明の構成に加えて、前記距離推定手段で、各仮定距離と各安定化類似度との対応関係を、画像フレームの各画素データ毎に求め、さらに、この対応関係を補間することにより、補間した対応関係を求め、この補間した対応関係より、安定化類似度が最も大きくなる点を求め、この点に対応する仮定距離を推定距離とする演算処理を行うようにしている。

【0103】
かかる構成によれば、図21に示すように、距離推定手段307で、各仮定距離znと各安定化類似度Qsとの対応関係L1が、画像フレーム20の各画素データPf(i,j)毎に求められ、さらに、この対応関係L1が補間されることにより、補間した対応関係(補間曲線)L2が求められ、この補間した対応関係L2より、安定化類似度Qsが最も大きくなる点(安定化類似度の逆数が最も小さくなる)が求められ、この点に対応する仮定距離znを推定距離zxとする演算処理が行われる。

【0104】
以上のような補間演算(L1をL2にする曲線近似)がなされることにより、各画像フレーム20で仮定距離を…、z8、z9、z10、z11、z12、…と変化させたときの間隔以下の分解能で、距離を推定することが可能となり、高精度に計測を行うことができるようになる。特に、画像フレーム20を距離推定手段307に入力させ、これを走査しながら順次処理を行うようにしたので、小型のハードウエアで高速に処理を行わせることが可能となる。

【0105】
また、第5発明では、第2発明の構成に加えて、前記撮像手段によって撮像した撮像画像から、前記対応候補点情報抽出手段によって画像情報を抽出する前に、少なくとも1個の前記局所並列型演算器を用いて前記撮像画像の前処理を行う場合に、前記撮像画像の前処理を行う際には、前記撮像画像が前記局所並列型演算器に入力され、かつ、この局所並列型演算器によって、入力された撮像画像の前処理が行われた前処理画像が前記対応候補点情報抽出手段に出力されるように、前記局所並列型演算器の入出力を切り換えるとともに、前記類似度を安定化する処理を行う際には、前記類似度算出手段から出力された画像フレームが前記局所並列型演算器に入力され、かつ、この局所並列型演算器によって、入力された画像フレームの各画素データについて類似度を安定化する処理が行われた画像フレームが、前記距離推定手段に出力されるように、前記局所並列型演算器の入出力を切り換える経路制御手段309、312を具えるようにしている。

【0106】
かかる構成によれば、局所並列型演算器は係数を設定することによりLoG(Laplacian of Gaussian)フィルタをかけた強調処理画像が得られるため、図6に示すように、複数の撮像手段1、2による撮像画像#1、#2を原画像とし、当該原画像#1の各画素に対して、局所並列型演算器311を用いた画像処理を施すことによって、原画像#1の特徴を強調した前処理画像#1Aを生成する前処理手段310が、さらに、具えられる。そして、この前処理手段310で生成された前処理画像#1Aが、原画像#1の代わりに使用される。

【0107】
まず、前処理手段310による前処理が行われる際には、経路制御手段309、312によって、局所並列型演算器311が、この前処理を実行できるように経路がに切り換えられる。

【0108】
つまり、撮像手段1の撮像画像、つまり画像データ入力部302の原画像#1が、局所並列型演算器311に入力され、この局所並列型演算器311を用いて前処理手段310により原画像#1の前処理が行われる。そして、前処理画像#1Aが、画像データ記憶部303を介して対応候補点情報抽出手段304に出力される。

【0109】
そして、類似度安定化手段306による類似度安定化処理が行われる際には、局所並列型演算器311が、この類似度安定化処理を実行できるように経路が切り換えられる。つまり、類似度算出手段305から出力された画像フレーム20が、局所並列型演算器311に入力され、この局所並列型演算器311を用いて類似度安定化手段306によって、安定化類似度Qsが演算される。そして、安定化類似度Qsが各画素毎に演算された画像フレーム20が、距離推定手段307に出力される。

【0110】
本発明は、局所並列型演算器311は、ウインドウ内の画像情報を演算できるものであるので、類似度を安定化する演算処理にも、原画像の特徴を強調するステレオ画像処理の前処理にも、共用できる点に着目して、なされたものである。

【0111】
局所並列型演算器311を、前処理手段310側、類似度安定化手段306側に、時間的に切り換えて、使用し、一つの局所並列型演算器311を共用することにより、ハードウエアの規模を小さくでき、装置、システムの小型化、軽量化、低コスト化が実現される。

【0112】
また、第6発明では、第2発明の構成に加えて、前記距離推定手段から出力される画像フレームを入力して、入力した画像フレームの一部の画素データの画像情報に基づいて、当該画像フレームの情報量を圧縮した圧縮画像フレームを生成して、前記画像フレームおよび前記圧縮画像フレームを、出力する圧縮手段314を、さらに具えるようにしている。

【0113】
さらに、第7発明では、第6発明の構成に加えて、前記圧縮手段により圧縮された圧縮画像フレームを、さらに所定回数、当該圧縮手段で繰り返し圧縮することにより、複数の圧縮サイズの異なる圧縮画像フレームを生成し、これら複数の圧縮サイズの異なる圧縮画像フレームおよび前記画像フレームを出力するようにしている。

【0114】
かかる第6発明の構成によれば、図8、図13に示すように、距離推定手段307から出力される画像フレーム20Aの画素データの画像情報に基づいて、当該画像フレーム20Bの情報量を圧縮した圧縮画像フレーム20Cが、圧縮手段314で生成される。

【0115】
そして、圧縮手段314から出力された画像フレームが、物体の認識手段に送られた場合には、この圧縮画像フレーム20Cと、画像フレーム20Bとに基づいて、物体50が認識される。

【0116】
第7発明では、さらに、圧縮画像フレーム20Cが、さらに所定回数、同じ圧縮手段314で圧縮されることにより、複数の圧縮サイズの異なる圧縮画像フレーム20C、20Dが生成される。

【0117】
そして、これら複数の圧縮サイズの異なる圧縮画像フレーム20C、20Dと、画像フレーム20Bとに基づいて、物体50が認識される。

【0118】
このように、多重解像度の画像20B、20C、20Dを得るようにしたので、これらに基づき、物体50の認識を効率良く行うことができる。

【0119】
たとえば、まず、情報量が圧縮された画像20Cないしは20Dから、物体50の大局的な特徴をつかみ、処理範囲を限定することができる。つぎの段階では情報量が多い画像20Bの上記限定された処理範囲について、詳細な処理を行うことで、物体50の形状、大きさなどの必要な情報を、効率的に取得することができる。

【0120】
特に、本発明では、画像フレーム20Aを、圧縮手段314に入力させ、これを走査しながら順次処理を行うことが可能であり、簡単なハードウエアで効率的に、多重解像度の画像を得ることができる。

【0121】
なお、本発明の局所並列型演算器311は、図22(a)に示すように、多段の空間フィルタ311a、311b、311cで構成することにより、等価的に大きなウインドウサイズにも対応させることができる。また、図22(b)に示すように、空間フィルタ311dの出力をバッファ330を介して、所定回数、同空間フィルタ311dを通過させることにより、等価的に大きなウインドウサイズに対応させることができる。

【0122】
以上では、2眼ステレオに適用される場合を想定して述べたが、多眼ステレオに適用できることは言うまでもない。

【0123】

【発明の実施の形態】以下、図面を参照して本発明の実施形態について説明する。

【0124】
図1は、本実施形態の多眼ステレオを利用したステレオ画像処理装置の構成を示すブロック図である。なお、以下では、多眼ステレオに適用される場合を想定しているが、2眼ステレオに適用してもよい。

【0125】
図15~図20で説明した2眼ステレオ、多眼ステレオ計測装置の基本的構成については、適宜、省略する。

【0126】
図1に示す装置は、フレーム処理形式で、多眼ステレオによる計測を行うものであり、各処理部301、304、305、306、307、308間を、統一した形式の画像フレーム20が転送され、各処理部で、パイプライン的に処理が行われる。なお、各処理部の間に、各出力を記憶するメモリを設けて処理を行うようにしてもよい。

【0127】
画像データ入力部302には、視差d(物体50までの距離z)を算出する際に基準となる画像センサ1で撮像された基準画像#1が取り込まれる。また、この基準画像#1上の選択画素P1に対応する対応点P2が存在する画像である画像センサ2の画像#2が取り込まれる。同様に、画像センサ3の画像#3、…、画像センサNの画像#Nについてもそれぞれ取り込まれる。

【0128】
画像データ記憶部303には、画像データ入力部302に取り込まれた基準画像#1および各画像センサの画像#2、#3、<HAN>・・・</HAN>、#Nが記憶される。

【0129】
画像フレーム20は、形式が統一されており、フレーム処理型対応候補点座標生成部301、フレーム処理型対応候補点情報抽出部304、フレーム処理型類似度算出部305、フレーム処理型類似度安定化部306、フレーム処理型距離推定部307といった各処理部で、それぞれラスタ走査で入力され、各処理部で必要な演算が施されて、画像フレーム20を構成する画素に、順次演算されたデータが格納されていく。つまり、画像フレーム20は、各処理部の間を、パイプライン的に演算され、転送されていく。

【0130】
最終段のフレーム処理型距離推定部307からは、距離画像を含む画像フレーム20が出力され、表示部308に表示される。

【0131】
例えば、フレーム処理型対応候補点座標生成部301、フレーム処理型対応候補点情報抽出部304間は、データ転送のタイミングをとるためのクロック信号が送出される信号線350、画像フレーム20の開始SF、終了EFなどの属性を示す信号が送出される信号線351、仮定距離zn、フレーム処理型対応候補点座標生成部301での演算結果などのデータが送出される信号線352を介して接続されており、画像フレーム20の属性、仮定距離、データなどが転送される。他の各処理部の間も同様の転送が行われる。なお、本実施形態では、クロック信号は、各処理部間で各々専用のクロックを使用するようにしているが、共通のクロックを使用してもよい。すなわち、一つのクロック発生器から発生するクロック信号を直接、各処理部に送出するようにしてもよい。

【0132】
図2は、各処理部間を流れていく画像フレーム20の構成の例を示す図である。同図2に示すように、画像フレーム20は、属性を示す層20aと、仮定距離znを示す層20bと、データを示す層20cの3層から成っている例で説明する。

【0133】
属性を示す層20aでは、画像フレーム20を構成する各画素データ10に、画像フレーム20の開始を示す情報SF、水平ラインの終了を示す情報EL、画像フレーム20の終了を示す情報EF、これら以外であることを示す情報NNのいずれかが対応づけられている。

【0134】
仮定距離znを示す層20bでは、画像フレーム20を構成する各画素データ10に、同一の仮定距離znを示す情報が対応づけられている。つまり、仮定距離zn毎に、画像フレーム20が生成されることを示している。

【0135】
データを示す層20cでは、画像フレーム20を構成する各画素データ10に、各処理部で行われた演算結果に応じたデータが、格納される。

【0136】
つぎに、画像フレーム20がパイプライン的に各処理部で演算されていくときに、このデータがどのように変遷していくかを、図3および図14を参照して説明する。

【0137】
まず、フレーム処理型対応候補点座標生成部301では、各画素データ10に、基準画像#1の選択画素P1の座標位置を示す位置データ(i,j)と、この選択画素P1の対応候補点P2、 P3、<HAN>・・・</HAN>、PNの座標位置を示す位置データ(X2,Y2)、(X3,Y3)、<HAN>・・・</HAN>、(XN,YN)を順次出力し、また、仮定距離znを順次変化していくことで、画像フレーム20が仮定距離zn毎に出力される。

【0138】
このとき、画像フレーム20は、クロック信号線350を流れるクロック信号に同期してラスタ走査の形式で出力される。具体的には、基準画像#1中の選択画素P1の座標位置データ(i,j)が、図4(a)に示す順序で出力されていく。

【0139】
図4(a)は、フレーム処理型対応候補点座標生成部301で行われる画像フレーム生成処理の中の基準画像#1の選択画素P1の座標位置データ生成を行う際のフローチャートである。

【0140】
図4(a)に示すように、まず、基準画像#1のi方向の最大座標位置imax、j方向の最大座標位置jmax、走査開始の座標位置(is,js)、仮定距離znの最小距離z1、最大距離zmaxは、既知であるので予め設定されているものとする。

【0141】
そして、仮定距離znを最小距離z1に設定し、画素の座標位置を、走査開始座標位置(is,js)に初期設定した上で(ステップ401)、iが最大座標位置imaxに達するまで、基準画像#1を水平方向に走査(主走査)していく(ステップ402の判断YES、ステップ403)。

【0142】
iが最大座標位置imaxに達すると(ステップ402の判断NO)、jを+1インクリメントした上で(副走査)、走査開始位置isから水平方向に最大位置imaxに達するまで、基準画像#1を水平方向に走査(主走査)していく(ステップ404の判断YES、ステップ405、ステップ402の判断YES、ステップ403)。

【0143】
以上の処理が、jが最大座標位置jmaxに達するまで(ステップ404の判断NO)、繰り返される。

【0144】
このようにして、基準画像#1中の各選択画素P1が、ラスタ走査の形式で順次選択されていき、画像フレーム20の各画素データ10にそれぞれ、基準画像#1の各選択画素P1の座標位置を示す位置データ(i,j)と、この選択画素P1の対応候補点P2、 P3、<HAN>・・・</HAN>、PNの座標位置を示す位置データ(X2,Y2)、(X3,Y3)、<HAN>・・・</HAN>、(XN,YN)が格納されたものが生成、出力される。また、この画像フレーム20(の仮定距離を示す層20b)には、仮定距離znとして最小距離z1を示す情報が格納される(図4(b)参照)。

【0145】
以下、仮定距離znを次の仮定距離zn+1に設定し、画素の座標位置を、走査開始座標位置(is,js)に設定し直した上で(ステップ407)、i、jが最大座標位置imax、jmaxに達するまで、基準画像#1を走査していく処理を、仮定距離znが最大距離zmaxになるまで(ステップ406の判断NO)、繰り返し行うことで、各仮定距離z2、z3…zmaxの画像フレーム20が順次生成されていく(図4(b)参照)。

【0146】
こうして、各画素データPf(i,j)10に、対応する選択画素P1の座標位置を示す位置データ(i,j)と、この選択画素P1の対応候補点P2、 P3、<HAN>・・・</HAN>、PNの座標位置を示す位置データ(X2,Y2)、(X3,Y3)、<HAN>・・・</HAN>、(XN,YN)が格納された画像フレーム20が、仮定距離zn毎に生成され、フレーム処理型対応候補点座標生成部301から出力される。

【0147】
フレーム処理型対応候補点座標生成部301から出力される画像フレーム20を、図14(a)に概念的に示す。画像フレーム20の各画素データPf(i,j)には、基準画像#1の座標位置の位置データ(i,j)と、この選択画素P1の対応候補点P2 、P3、<HAN>・・・</HAN>、PNの座標位置を示す位置データ(X2,Y2)、(X3,Y3)、<HAN>・・・</HAN>、(XN,YN)が格納されている。

【0148】
なお、仮定距離znを変えていく間隔は、たとえば基準画像#1と画像センサ2の画像#2の視差dが1画素毎に変化していく間隔に設定される。

【0149】
ここで、画像フレーム20は、クロック信号線350を流れるクロック信号に同期してラスタ走査の形式でフレーム処理型対応候補点座標生成部301から出力されている。その後段の各処理部においても同様である。

【0150】
すなわち、図5(a)に示す画像フレーム20は、クロック信号に同期して図5(b)に示す画素データの順序で、各処理部間をパイプライン的に転送されていくことになる。ここで、図5(b)では、基準画像#1の座標位置の位置データ(i,j)のみを記述し、選択画素P1の対応候補点P2、 P3、<HAN>・・・</HAN>、PNの座標位置を示す位置データ(X2,Y2)、(X3,Y3)、<HAN>・・・</HAN>、(XN,YN)は省略している。

【0151】
なお、以下の説明では、各画像センサの画像#2、#3、<HAN>・・・</HAN>、#Nについて行われる処理は同じであるので、適宜、画像センサ2の画像#2を代表させて説明する。

【0152】
つぎの、フレーム処理型対応候補点情報抽出部304では、フレーム処理型対応候補点座標生成部301で生成された画像フレーム20がラスタ走査の形式で入力される。

【0153】
入力された画像フレーム20の各画素データPf(i,j)には、それぞれ選択画素P1の座標位置データ(i,j)と、この選択画素P1の対応候補点P2、P3、<HAN>・・・</HAN>、PNの座標位置データ(X2,Y2)、(X3,Y3)、<HAN>・・・</HAN>、(XN,YN)が格納されているので、この座標位置データに基づき、選択画素P1(i,j)の画像情報G1(i,j)が画像データ記憶部303から読み出されるとともに、この選択画素P1(i,j)の対応候補点P2(i,j,zn)の画像情報G2(i,j,zn)が画像データ記憶部303から読み出される。

【0154】
こうして、入力された画像フレーム20の各画素データPf(i,j)毎に、撮像画像の画像情報を読み出す処理がなされ、両撮像画像#1、#2の画像情報G1(i,j)、G2(i,j,zn)が、各画素データPf(i,j)にそれぞれ格納された上で、画像フレーム20として出力される。もちろん、多眼ステレオであるので、撮像画像#3の画像情報G3、撮像画像#Nの画像情報GNも各画素に格納されることになる。

【0155】
図14(b)は、フレーム処理型対応候補点情報抽出部304から出力される画像フレーム20を概念的に示したものである。画像フレーム20の各画素データPf(i,j)には、両撮像画像#1、#2の撮像画像情報G1(i,j)、G2(i,j,zn)が格納されている。

【0156】
つぎに、フレーム処理型対応候補点情報抽出部304から出力された画像フレーム20は、フレーム処理型類似度算出部305にラスタ走査の形式で入力される。

【0157】
入力された画像フレーム20の各画素データPf(i,j)には、それぞれ撮像画像#1、#2の画像情報G1(i,j)、G2(i,j,zn)が格納されているので、この画像情報G1、G2に基づき、これらの類似度Qad(i,j,zn)が、下記(3)式のごとく、求められる。

【0158】

Qad(i,j,zn)=|G2(i,j,zn)-G1(i,j)| …(3)
上記(3)式からわかるようにQadは、両撮像画像#1、#2の画像情報G1、G2の差の絶対値であり、この値が大きいほど類似度は低いということを示している。したがって、Qadは、実際には、類似度の逆数を表しているが、本明細書では説明の便宜のため、Qadを、適宜、「類似度」と称することにする。

【0159】
こうして、入力された画像フレーム20の各画素データPf(i,j)毎に、類似度Qadを演算する処理((3)式)がなされ、類似度Qadが各画素データPf(i,j)にそれぞれ格納された上で、画像フレーム20として出力される。もちろん、多眼ステレオであるので、従来技術で説明したように、各ステレオ対毎に、類似度Qadが演算され、各ステレオ対毎に演算された類似度Qadを加算した類似度Qadが各画素データに格納されることになる。

【0160】
図14(c)は、フレーム処理型類似度算出部305から出力される画像フレーム20を概念的に示したものである。 画像フレーム20の各画素データには、類似度を示す画像情報Qadが格納されている。

【0161】
つぎに、フレーム処理型類似度算出部305から出力された画像フレーム20は、フレーム処理型類似度安定化部306にラスタ走査の形式で入力される。

【0162】
ここで、このフレーム処理型類似度安定化部306には、画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器(空間フィルタ)311が予め設けられている。

【0163】
さて、局所並列型演算器(空間フィルタ)311は、一般的な画像処理の分野で使用されているものであり、ラスタ形式の画像データを取り込み、その2次元の画像中のあるフィルタ領域(ウインドウ領域)に対して、重み付けと畳み込み積分を行うものである。いま、フレーム処理型類似度算出部305から出力された類似度Qadは、クロック信号に同期して画素単位で転送されているので、この一般的に画像処理の分野で使用されている局所並列型演算器(空間フィルタ)311を使用して、各画素ごとに、類似度の安定化の処理を、きわめて高速に行うことができる。

【0164】
ここで、局所並列型演算器311で行われる類似度の安定化演算処理について説明する。

【0165】
類似度Qad(類似度の逆数)は、上述した(3)式に示すように、多眼ステレオでは、一般的には、下記(4)式で表される。

【0166】

JP0003054691B2_000002t.gifそして、安定化された類似度Qs(安定化された類似度の逆数)は、上記Qad(i,j,zn)に基づき、下記(5)式のような演算を行うことによって求められる。

【0167】
ここで、空間フィルタのサイズ(ウインドウサイズ)は、(2N1+1)×(2N2+1)であるとする。

【0168】

JP0003054691B2_000003t.gifただし、ここで、
i、j :基準画像#1の選択画素P1(i,j)の座標位置
n :仮定距離
N :全撮像画像の数(2眼ステレオでは2となる)
k(i,j,zn):基準画像#1の選択画素位置(i,j)における仮定距離
nでの画像センサkの画像#kの
対応候補点の画像情報
1(i,j) :基準画像#1の選択画素位置(i,j)における画像情

Qad(i,j,zn):基準画像#1の選択画素位置(i,j)における仮定距
離znでの類似度
(値としては類似度の逆数を示す)
W(p,q) :類似度の安定化を行う空間フィルタ領域内の位置(p,
q)における重み係数
Qs(i,j,zn):基準画像#1の選択画素位置(i,j)における仮定距
離znでの安定化した類似度
(値としては安定化した類似度の逆数を示す)
そこで、上記(5)式において、空間フィルタの重み係数W(p,q)を1とし、空間フィルタ領域の縦横の大きさN1、N2を同一とすることによって、図24に示すように、従来の正方形のウインドウWD1内のウインドウ内加算と同等の処理を行うことができる。

【0169】
なお、必ずしも、正方形のウインドウWD1内の加算を行う必要はなく、たとえば、フィルタ領域を円形とし、この円形の範囲の重み係数W(p,q)を1とすることによって、円形のウインドウ内加算を行うことができる。

【0170】
また、空間フィルタの全ての位置の重み係数W(p,q)を1とする必要はなく、たとえば、ウインドウの中心付近の重み係数W(p,q)を、中心から離れた周囲の領域の重み係数W(p,q)よりも大きくすることにより、ウインドウの中心付近の寄与率が高いように安定化類似度Qsを演算することができる。

【0171】
さらに、空間フィルタの重み係数W(p,q)が最も大きくなる位置をウインドウの中心からずらすことにより、寄与率が高くなる場所がウインドウの中心付近とは異なる位置となるように、安定化類似度Qsを演算することができる。

【0172】
入力された画像フレーム20を順次走査しながら、上記局所並列型演算器311を用いることにより、各画素データに格納された類似度Qadに基づいて安定化類似度Qsを演算する処理が順次実行される。

【0173】
すなわち、上記(5)式に示されるように、画像フレーム20の各画素データ10毎に、当該座標位置(i,j)を含む周辺の領域の各画素の類似度Qad(i,j,zn)を融合して( WD1とWD2のパターンマッチングと同様の処理が行われる)、当該座標位置(i,j)の類似度Qad(i,j,zn)を安定化した安定化類似度Qs(i,j,zn)が求められ、各画素データPf(i,j)にそれぞれ、安定化類似度Qs(i,j,zn)が格納された画像フレーム20が、フレーム処理型類似度安定化部306から出力される。

【0174】
このように、類似度Qadが各画素に格納された画像フレーム20を順次走査しながら、局所並列型演算器(空間フィルタ)311を使用することで、安定化類似度Qsを演算するようにしたので、処理を高速に行うことができる。

【0175】
しかも、ここで用いられる局所並列型演算器311は、単に、ウインドウ内の画像情報を安定化する演算を行うものであり(従来の再帰型のウインドウ内加算を行うものではない)、専用の演算器を特別に開発する必要がなく、汎用のもの(汎用の画像処理用LSI)を使用することができ、装置を簡易に構築することが可能である。また、ハードウエアの規模も低減することができる。

【0176】
図14(d)は、フレーム処理型類似度安定化部306から出力される画像フレーム20を概念的に示したものである。画像フレーム20の各画素データには、安定化類似度Qsが格納されている。

【0177】
つぎに、フレーム処理型類似度安定化部306から出力された画像フレーム20が、仮定距離zn毎に、フレーム処理型距離推定部307に順次入力される。

【0178】
そして、これら仮定距離zn毎の画像フレーム20が順次走査されることにより、座標位置(i,j)に、物体50までの真の距離を推定する演算が実行される。

【0179】
ここで、仮定距離znごとの画像フレーム20の同一座標位置(i,j)には、それぞれ、仮定距離ごとの安定化類似度Qsが格納されている。そこで、これら同一座標位置(i,j)について、安定化類似度Qsの大きさを比較して、最も安定化類似度Qsが大きくなる(上記(5)式に示す安定化類似度の逆数が最も小さくなる)ときの仮定距離zxが、全仮定距離z1~zmaxの中から選択される。そして、この選択した仮定距離zxが、当該座標位置(i,j)についての推定距離zxであると決定する。この処理が、画像フレーム20の全ての画素データについて、画像フレーム20を順次走査しながら、順次実行される。

【0180】
こうして、推定距離zx(i,j)が、各画素データにそれぞれ格納され、これが画像フレーム20として、フレーム処理型距離推定部307から出力される。

【0181】
図14(e)は、フレーム処理型距離推定部307から出力される画像フレーム20を概念的に示したものである。画像フレーム20の各画素データには、推定距離zx(i,j)が格納されている。ここでは仮定距離として扱っているが、視差の値(画像上のずれを画素の数で表したもの)で扱ってもよい。

【0182】
フレーム処理型距離推定部307から出力された画像フレーム20は、物体50の距離画像を示している。この距離画像がそのまま、あるいは、適宜処理が施されて、物体50の3次元的な特徴を示す3次元画像として生成され、これが表示部308に表示される。

【0183】
ここで、表示部308とは、フレーム処理型距離推定部307から出力された画像を、確認することができるものであれば、任意であり、CRTなどの画像表示手段、あるいは、紙などに画像を印刷、表示して出力するプリンタなどの概念を含むものである。応用の一例として表示部としているが、たとえば他の物体認識装置などの装置へのインターフェイスであってもよいし、他の別の装置であってもよい。

【0184】
さて、本実施形態では、フレーム処理型類似度安定化部306で、類似度の安定化処理を行う際に、一つの空間フィルタ311で処理を行うようにしているが、空間フィルタを多段で使用することなどして、大きなウインドウサイズに対応させることも可能である。

【0185】
たとえば、図22(a)に示すように、複数の空間フィルタ311a、311b、311cを直列に連続して配置することにより、等価的に大きなウインドウサイズの空間フィルタを使用したのと同等の効果を得ることができる。つまり、より大きなウインドウサイズでの類似度の安定化処理を行わせることができる。

【0186】
また、図22(b)に示すように、空間フィルタ311dの出力をバッファ330に一時的に記憶させ、図示しない切換器を制御することにより、その記憶させた演算結果を再度、同じ空間フィルタ311dで演算させる処理を所定回数繰り返し行うことでも、等価的に大きなウインドウサイズの空間フィルタを使用したのと同等にすることができ、より大きなウインドウサイズでの類似度安定化処理を行わせることができる。

【0187】
さらに、空間フィルタをカスケードに接続することによっても、大きなウインドウサイズの空間フィルタを使用したのと同等の効果を得ることができ、より大きなウインドウサイズでの類似度安定化処理を行わせることができる。

【0188】
本実施形態では、画像センサ1、2、3、<HAN>・・・</HAN>、Nで撮像された原画像#1、#2、#3、<HAN>・・・</HAN>、#Nをそのまま画像データ記憶部303に入力、記憶させ、これを後段の演算処理で使用しているが、原画像に対して例えば画像の特徴を強調するような前処理を施した上で、後段の演算処理で使用する実施も可能である。

【0189】
すなわち、一般的に、画像センサ1、2、3、<HAN>・・・</HAN>、Nで撮像された原画像#1、#2、#3、<HAN>・・</HAN><HAN>・</HAN>、#Nの特徴を強調するために、また画像センサの感度特性や光学的特性のばらつきを吸収するために、空間フィルタを使用してLoG(Laplacian of Gaussian)フィルタなどの前処理を施し、前処理画像#1A 、#2A 、#3A、<HAN>・・・</HAN>、#NAを取得し、これを原画像の代わりに画像データ記憶部303に取り込む場合がある。

【0190】
ここで、類似度安定化のために用いられている局所並列型演算器(空間フィルタ)311は、ウインドウ内の画像情報に対してを演算を行うものであるので、類似度を安定化する演算処理にも、原画像#1~#Nの特徴を強調するような画像処理にも、共用することができる。

【0191】
そこで、この点に着目して、局所並列型演算器(空間フィルタ)311の前後に入出力信号を切り換える経路制御部を設け、原画像#1~#Nの前処理に使用する空間フィルタと、類似度の安定化のために使用する空間フィルタを共用する装置構成とすることができる。

【0192】
図6は、こうした局所並列型演算器311を共用する実施形態装置を示す図であり、図1と同一構成要素には同一符号を付している。

【0193】
同図6に示すように、まず、前処理部310による画像処理が行われる際には、経路制御部309、312によって、局所並列型演算器(空間フィルタ)311が、この前処理を実行できるように経路が切り換えられ、画像データ入力部302から出力された画像センサ1~Nの原画像#1~#Nが前処理部310に出力される。この結果、原画像#1~#Nに対して、局所並列型演算器311を用いて前処理が行われる。

【0194】
すなわち、複数の撮像手段1~Nによる撮像画像#1~#Nを原画像とし、たとえば、原画像#1であれば、この原画像#1の各画素に対して、局所並列型演算器311を用いた画像処理を施すことによって、原画像#1の前処理画像#1Aが生成される。同様に、他の原画像#2~#Nについても前処理画像#2A~#NAが生成される。

【0195】
そして、経路制御部312を介して、前処理部310で生成された前処理画像#1A ~#NAが、後段の画像データ記憶部303に、原画像#1~#Nの代わりに記憶される。

【0196】
一方、フレーム処理型類似度安定化部306による演算処理が行われる際には、経路制御部209、312によって、局所並列型演算器(空間フィルタ)311が、この類似度安定化処理を実行できるように経路が切り換えられ、フレーム処理型類似度算出部305から出力された画像フレーム20が、フレーム処理型類似度安定化部306に出力される。この結果、局所並列型演算器311を用いて安定化類似度Qsを演算する処理が行われる。

【0197】
そして、経路制御部312を介して、フレーム処理型類似度安定化部306から出力された画像フレーム20が、後段のフレーム処理型距離推定部307に出力される。

【0198】
なお、この図6に示す実施形態装置では、図1と同様に、パイプライン的に画像フレーム20を流すようにしているが、図7に示すように、一の処理部からつぎの処理部に画像フレーム20を転送する際に、切り換えを行う構成としてもよい。

【0199】
図7の装置では、たとえばクロスバースイッチのように、複数の処理部からの信号を複数の処理部に自由に選択、切り換えすることができる経路制御部313が設けられる。

【0200】
各処理部301~307および310間の一の処理部からつぎの処理部に信号を入出力される際に、経路制御部313に応じて、切り換えがなされる。

【0201】
特に、画像データ入力部302から原画像#1~#Nが出力された際には、経路制御部313を介して、これが前処理部310に出力され、局所並列型演算器(空間フィルタ)311を用いて、前処理画像#1A ~#NAが生成される。

【0202】
また、フレーム処理型類似度算出部305から画像フレーム20が出力された際には、経路制御部313を介して、これがフレーム処理型類似度安定化部306に出力され、局所並列型演算器(空間フィルタ)311を用いて、類似度の安定化処理が行われることになる。

【0203】
以上のように、図6、図7に示す実施形態によれば、局所並列型演算器(空間フィルタ)311を、前処理部310側、フレーム処理型類似度安定化部306側に、時間的に切り換えて、使用し、一つの局所並列型演算器(空間フィルタ)を共用するようにしたので、ハードウエアの規模を小さくすることができ、装置、システムの小型化、軽量化、低コスト化を図ることができる。

【0204】
さて、図1に示す実施形態では、フレーム処理型距離推定部307から出力された画像フレーム20を、表示部308に画像表示させ、これをもって物体50の存在の確認を行うことができる。

【0205】
ここで、フレーム処理型距離推定部307から出力される画像フレーム20は、ラスタ走査の形式になっているため、一般的なラスタ走査を行う画像表示部308の装置との整合性がよく、簡単なハードウエアで画像フレーム20の情報を画像表示することができる。

【0206】
すなわち、フレーム処理型距離推定部307から出力される画像フレーム20は、ラスタ走査の形式になっているため、表示部308としては、入力と表示のタイミングクロックを変換するだけでよく、入力された画像フレーム20をアドレス操作が不必要なフィールドメモリに記憶し、画像表示のタイミングでフィールドメモリからデータを、入力した順序で読み出すという小規模のハードウエアで表示部308を構築することができる。

【0207】
ここで、同じラスタ走査の形式の画像フレーム20が、各処理部301、304、305、306、307、308間で転送されているので、各処理部から出力される画像フレーム20は、同様に、画像表示を行う表示装置との整合性がよく、簡単なハードウエアで各処理部から出力される画像フレーム20の情報を画像表示させることができる。

【0208】
このことを利用して、最終段のフレーム処理型距離推定部307から出力される画像フレーム20を画像表示させるだけではなく、その前段のフレーム処理型類似度安定化部306から出力される画像フレーム20をそのまま画像表示させることができる。

【0209】
また、さらに、その前段のフレーム処理型類似度算出部305、フレーム処理型対応候補点情報抽出部304から出力される画像フレーム20をそのまま画像表示させてもよい。

【0210】
こうして、途中の画像処理結果を画像表示させることで、デバック作業を効率的に行うことができる。

【0211】
また、途中の画像処理結果を画像表示させるにあたって、最終段のフレーム処理型距離推定部307から出力される画像フレーム20を表示する表示部308を、共用する実施も可能である。

【0212】
この場合は、フレーム処理型対応候補点情報抽出部304およびフレーム処理型類似度算出部305およびフレーム処理型類似度安定化部306およびフレーム処理型距離推定部307を対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設ける。

【0213】
この結果、フレーム処理型対応候補点座標生成部301から出力される画像フレーム20が、そのまま、表示部308に表示される。これにより、表示部308で、各画素データPf(i,j)に対応する選択画素P1(i,j)の座標位置(i,j)と、この選択画素P1(i,j)の対応候補点P2(i,j,zn )の座標位置(X2,Y2)を確認することができる。

【0214】
また、フレーム処理型類似度算出部305およびフレーム処理型類似度安定化部306およびフレーム処理型距離推定部307を対象として、それぞれに、必要な演算を行うことなく、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けてもよい。

【0215】
この場合には、フレーム処理型対応候補点情報抽出部304から出力される画像フレーム20が、そのまま、表示部308に表示される。これにより、表示部308で、各撮像画像#1~#Nの撮像画像情報G1(i,j)、G2(i,j,zn )、<HAN>・・・</HAN>、GN(i,j,zn )を確認することができる(図14(b)参照)。

【0216】
また、フレーム処理型類似度安定化部306およびフレーム処理型距離推定部307を対象として、それぞれに、必要な演算を行うことなく、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けてもよい。

【0217】
この場合には、フレーム処理型類似度算出部305から出力される画像フレーム20が、そのまま、表示部308に表示される。これにより、表示部308で、類似度Qad(i,j,zn)を確認することができる(図14(c)参照)。

【0218】
また、フレーム処理型距離推定部307を対象として、必要な演算を行うことなく、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けてもよい。

【0219】
この場合には、フレーム処理型類似度安定化部306から出力される画像フレーム20が、そのまま、表示部308に表示される。これにより、表示部308で、安定化類似度Qs(i,j,zn)を確認することができる(図14(d)参照)。

【0220】
あるいは、処理途中の類似度安定化部306のみを対象として、入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、距離推定部307から出力される各画素データに、安定化されていない類似度によって求められた推定距離zx(i,j)が格納され、その画像フレーム20が表示部308に表示される。

【0221】
すなわち、対応候補点情報抽出部304および類似度算出部305および類似度安定化部306および距離推定部307の中の、少なくとも一つを対象として、演算処理を行うことなく入力された画像フレーム20の画素データを保持した形で画像フレームを出力させる手段を設けると、途中の演算処理を省略した場合の、距離推定部307から出力される画像フレーム20を表示部308に画像表示させることができる。

【0222】
以上のように、通常、最終的に得られた距離画像を表示するものとして設けられている一つの表示部308に、途中の演算処理結果および途中の一部の演算処理を省略した演算処理結果を表示させることができるので、余分なハードウエアを追加しなくても、小規模なハードウエアで、デバック作業を効率的に行うことが可能となる。

【0223】
また、本実施形態では、フレーム処理型距離推定部307から出力された距離画像を示す画像フレーム20をそのまま表示させるようにしているが、情報量、解像度の異なる複数の画像フレームを取得し、これらを物体の認識処理を行うような別の装置に送ることにより、これらに基づき物体の認識処理を効率的に行うようにしてもよい。

【0224】
本実施形態では、図8に示すように、フレーム処理型距離推定部307から出力される画像フレーム20A(図13参照)の画素の画像情報に基づいて、当該画像フレーム20Aの情報量を、所定回数、圧縮して、情報量、解像度の異なる圧縮画像フレーム20C、20Dを生成、出力するデータ圧縮処理部314が、設けられる。特に、本実施形態では、ラスタ走査の形式の画像フレーム20Aを、データ圧縮処理部314に入力させ、これを走査しながら順次処理を行うことが可能であり、簡単なハードウエアで効率的に、多重解像度の画像20B、20C、20Dを得ることができる。

【0225】
すなわち、フレーム処理型距離推定部307から画像フレーム20Aが、このデータ圧縮処理部314に入力されると、最初は、経路制御部315により、この画像フレーム20Bが、出力される。この結果、後段の物体認識装置などでは、図13に示すように、入力画像フレーム20Aと情報量、解像度が同じ画像フレーム20Bが入力されることになる。

【0226】
画像フレーム20Bに出力されているときに、同時に、画像フレーム20Bはフィルタ部316に入力される。

【0227】
後段の間引き処理部317で画像データを間引く処理を行うことによって意図しない信号成分が発生するので、フィルタ部316では、この意図しない信号成分による画像劣化を避けるために、間引き処理を行う前に、事前に空間フィルタによって、各画素毎に、近傍の画像情報(距離情報)との融合を行う画像処理が行われる。

【0228】
間引き処理部317では、入力された画像フレーム20Bのうち、縦方向の全画素のうち、半分だけの画素、横方向でも、全画素のうち、半分だけの画素が選択、間引きされ、これら選択された画素を用いて、情報量が、画像フレーム20Bの半分に圧縮された圧縮画像フレーム20Cが生成される(図13参照)。ここで、間引く間隔は、画像中で等間隔であるものとする。

【0229】
こうして、画像フレーム20Bの全画素のうち1/4の画素の画像情報に基づいて、当該画像フレーム20Bの情報量が1/4に圧縮された圧縮画像フレーム20Cが生成され、これが記憶部318に記憶される。

【0230】
フレーム処理型距離推定部307からの画像フレーム20Bの出力が終了すると、経路制御部315によって、記憶部318に記憶された圧縮画像フレーム20Cが、後段の物体認識装置などに出力され始められる。このときも、同時に、圧縮画像フレーム20Cがフィルタ部316に出力される。

【0231】
以下、この圧縮画像フレーム20Cについても同様の処理が繰り返し実行され、圧縮画像フレーム20Cの全画素のうち1/4の画素の画像情報に基づいて、当該圧縮画像フレーム20Cの情報量が1/4に圧縮(画像フレーム20Bの情報量の1/16に圧縮)された圧縮画像フレーム20Dが、後段の物体認識装置などに出力されることになる(図13参照)。さらに、同様の処理を1回ないし2回以上繰り返してもよい。

【0232】
また、圧縮処理を1回だけにし、圧縮画像フレーム20Cを出力させるにとどめてもよい。

【0233】
この結果、後段の物体認識装置には、情報量、解像度のそれぞれ異なる画像フレーム20B、圧縮画像フレーム20C、20Dが入力されることになり、物体50の認識処理が実行される。

【0234】
認識処理の手順としては、まず、情報量が圧縮された画像20Cないしは20Dから、物体50の大局的な特徴をつかむ処理が実行される。

【0235】
たとえば、車両前方の障害物を撮像しながら車両が走行する場合を想定すると、画像20Cないしは20Dは大局的な情報をもっているので、障害物の有無の認識を迅速に行うことができる。障害物が存在する画像領域と障害物が存在しない画像領域を区別できたならば、詳細に画像処理を行うべき範囲を限定することができる。

【0236】
つぎの段階では、情報量が多い画像20Bの上記限定された処理範囲について、詳細な画像処理が行われる。たとえば、物体50が車両前方の障害物であるとすると、画像処理をすべき範囲がすでに限定されているので、この障害物の形状、大きさなど、車両制御に必要な情報を、迅速に取得することができる。

【0237】
つぎに、フレーム処理型距離推定部307で行われる演算処理について、図9、図10を併せ参照して説明する。

【0238】
同図9に示すフレーム処理型距離推定部307では、画像列として順次入力される(安定化)類似度の逆数Qsを、前回の仮定距離の画像フレームに対する演算結果と比較しつつ、類似度の逆数Qsが最も小さくなる(類似度Qsが最も大きくなる)ときの仮定距離zn、そのときの類似度の逆数QC、この仮定距離znの前後の仮定距離zn-1、zn+1に対応する類似度の逆数QL、QRが求められ、これらの情報から、図21に示すように類似度の逆数Qsの離散的な分布L1が求められる。さらに、曲線近似によって得られる補間曲線L2から、類似度の逆数Qsが最も小さくなる(類似度Qsが最も大きくなる)仮定距離zxが、設定された仮定距離z1、z2、…、zmaxの間隔以下の分解能をもって、高精度に求められる。

【0239】
すなわち、このフレーム処理型距離推定部307には、フレーム処理型類似度安定化部306から出力された画像フレーム20がラスタ走査の形式で、図5(b)に示す画素データの順序で入力されるので、入力データ320の内容は、順次更新される。つまり、現在入力された画素に格納された類似度の逆数Qs、および現在入力されている画像フレーム20に対応づけられている仮定距離znは、順次、更新される。

【0240】
類似度比較部322では、前のデータ321の内容と、入力データ320の内容とを比較して、類似度の逆数の大小関係を比較し、この比較結果を、保存データの作成部323に送出する。この保存データ作成部323では、類似度比較部322の比較結果に基づいて、保存データ324の内容を順次更新する。

【0241】
保存データ324の内容は、QL、QC、QR、zm、POS、QX、QYである。QL、QC、QRは、連続する仮定距離zn-1、zn、zn+1に対応する類似度の逆数を表す。zmは、類似度の逆数の最小値が検出された仮定距離znを表す。また、POSは、QL、QC、QRの中のいずれが類似度の逆数の最小値であることを特定する符号である。 QLが最小の場合には、POSは、(100)となり、QCが最小の場合には、POSは、(010)となり、QRが最小の場合には、POSは、(001)となる。

【0242】
また、QXは、2回前の類似度の逆数Qsを表し、QYは、前回の類似度の逆数Qsを表す。

【0243】
保存データ324の内容QL、QC、QR、zm、POS、QX、QYは、フィールドメモリである記憶部325に記憶、格納される。

【0244】
記憶部325の書き込み、および読み出し制御は、今回の仮定距離znの座標位置(i,j)の保存データ324の内容であるQL、QC、QR、zm、POS、QX、QYが書き込まれるとともに、前回の仮定距離zn-1の、ラスタ走査の形式の次の座標位置(i,j+1)の保存データが読み出され、このデータの中の類似度の逆数と、次の入力データの中の、今回の仮定距離znの座標位置(i,j+1)の類似度の逆数Qsとの比較を行うことができるようになっている。

【0245】
いま、説明の便宜のため、画像フレーム20の画素データの座標位置を固定して、仮定距離znが順次変化した場合を想定し、類似度比較部322、保存データ作成部323で実行される処理について図10を参照しつつ説明する。

【0246】
いま、図10(a)に示すように、類似度比較部322で、前のデータ321の内容と、入力データ320の内容とを比較して、現在、入力された類似度の逆数Qs(仮定距離z10)が最小であった場合(前回のQC(仮定距離z4)よりもQsが小さい)には、保存データ作成部323では、zm(類似度の逆数の最小値を検出した仮定距離)の内容を、この入力データQsに対応する仮定距離z10にするとともに、QL、QC、QRの内容をそれぞれ、QX(仮定距離z8)、QY(仮定距離z9)、Qs(仮定距離z10)にした上で、保存データ324として出力する。また、このとき中心のQR(仮定距離z10)に最小値があるので、POS=(001)とした内容を保存データ324として出力する。

【0247】
しかし、図10(c)に示すように、類似度比較部322で、前のデータ321の内容と、入力データ320の内容とを比較して、入力データ320の類似度の逆数Qs(仮定距離z10)が最小ではなく、前回の類似度の逆数QY(仮定距離z9)が最小でもなかった場合(前回のQC(仮定距離z4)が最小)には、zm、QL、QC、QRの内容を、前回のデータと同じ内容としたままで、保存データ324として出力する。ただし、QX、QYの内容は更新される。

【0248】
また、図10(b)に示すように、類似度比較部322で、前のデータ321の内容と、入力データ320の内容とを比較して、入力された類似度の逆数Qs(仮定距離z11)が最小ではなく、前回の入力データQY(仮定距離z10)が最小であった場合には(POS=(001))、保存データ作成部323では、zmの内容を前回のzmの内容のまま(仮定距離z10)で、これを保存データ324として出力する。また、QL、QC、QRの内容をそれぞれ、QX(仮定距離z9)、QY(仮定距離z10)、Qs(仮定距離z11)にした上で、これを保存データ324として出力する。また、このとき中心のQC(仮定距離z10)に最小値があるので、POS=(010)とした内容を、保存データ324として出力する。

【0249】
こうして、出力データ326のPOSの内容が(001)から(010)になった場合には、図21に示すように、連続した3つの仮定距離zn-1、zn、zn+1(z9,z10,z11)のうち、中心の仮定距離zn(z10)に対応する類似度の逆数QCが最小となっている場合なので、この類似度の逆数の離散的な分布L1を曲線近似することで、類似度の最小値および最小値をとる仮定距離をより詳細に求めることが可能になる。

【0250】
そこで、曲線近似部327では、中心の仮定距離zn(z10)に対応する類似度の逆数QCが最小となっている離散的な分布L1に対して、曲線近似による補間処理を施す。

【0251】
そして、この補間曲線L2から、類似度の逆数Qsが最も小さくなる(類似度Qsが最も大きくなる)仮定距離zxを求める。

【0252】
このようにして、物体50までの真の距離(推定距離)zxが、予め設定された仮定距離z1、z2、…、zmaxの間隔以下の分解能をもって、高精度に求められる。
図面
【図1】
0
【図2】
1
【図4】
2
【図5】
3
【図17】
4
【図3】
5
【図18】
6
【図21】
7
【図6】
8
【図24】
9
【図7】
10
【図8】
11
【図9】
12
【図10】
13
【図11】
14
【図12】
15
【図13】
16
【図14】
17
【図15】
18
【図16】
19
【図19】
20
【図20】
21
【図22】
22
【図23】
23