TOP > 国内特許検索 > フレーム処理型ステレオ画像処理装置

フレーム処理型ステレオ画像処理装置

国内特許コード P05A008060
整理番号 1800
掲載日 2005年12月2日
出願番号 特願平09-341441
公開番号 特開平11-175725
登録番号 特許第3054691号
出願日 平成9年12月11日(1997.12.11)
公開日 平成11年7月2日(1999.7.2)
登録日 平成12年4月14日(2000.4.14)
発明者
  • 木村 茂
  • 中野 勝之
  • 細井 光夫
  • 坂本 卓也
  • 川村 英二
出願人
  • 防衛装備庁長官
発明の名称 フレーム処理型ステレオ画像処理装置
発明の概要 【課題】高速化を損なうことなく、簡易な装置構成で、類似度を安定化する処理を行う。
【解決手段】安定化類似度演算手段306に対して、各画素データPfにそれぞれ、選択画素P1(i,j)の撮像画像の画像情報G1(i,j)とこの選択画素P1(i,j)に対応する対応候補点P2(i,j,zn)の撮像画像の画像情報G2(i,j,zn)の類似度Qad(i,j,zn)が格納された画像フレーム20が入力され、この画像フレーム20を順次走査しながら、局所並列型演算器311を用いることにより、各画素データPf(i,j)毎に、当該画素データPf(i,j)を含む周辺の領域WDfの各画素データの類似度Qad(i,j,zn)を融合して、当該画素データPf(i,j)の類似度Qad(i,j,zn)を安定化した安定化類似度Qs(i,j,zn)が求められ、各画素データPf(i、j)にそれぞれ、安定化類似度を示す画像情報Qs(i,j,zn)が格納された画像フレーム20が出力される。
従来技術、競合技術の概要


従来より、撮像手段たる画像センサの撮像結果に基づき認識対象物体までの距離を計測する方法として、ステレオビジョン(ステレオ視)による計測方法が広く知られている。
この計測は、2次元画像から、距離、深度、奥行きといった3次元情報を得るために有用な方法である。
すなわち、2台の画像センサを例えば左右に配置し、これら2台の画像センサで同一の認識対象物を撮像したときに生じる視差から、三角測量の原理で、対象物までの距離を測定するという方法である。このときの左右の画像センサの対は、ステレオ対と呼ばれており、2台で計測を行うことから2眼ステレオ視と呼ばれている。
図15は、こうした2眼ステレオ視の原理を示したものである。
同図に示すように、2眼ステレオ視では、左右の画像センサ1、2の画像#1(撮像面1a上で得られる)、画像#2(撮像面2a上で得られる)中の、対応する点P1、P2同士の位置の差である視差(ディスパリティ)dを計測する必要がある。一般に視差dは、3次元空間中の点50a(認識対象物体50上の点)までの距離zとの間に、次式で示す関係が成立する。
z=F・B/ d …(1)
ここに、Bは左右の画像センサ1、2間の距離(基線長)であり、Fは画像センサ1のレンズ31、画像センサ2のレンズ32の焦点距離である。通常、基線長Bと焦点距離Fは既知であるので、視差dが分かれば、距離zは一義的に求められることになる。
この視差dは、両画像#1、#2間で、どの点がどの点に対応するかを逐一探索することにより算出することができる。
このときの一方の画像#1上の点P1に対応する他方の画像#2上の点P2のことを「対応点」と以下呼ぶこととし、対応点を探索することを、以下「対応点探索」と呼ぶことにする。物体50までの距離を仮定したとき、一方の画像#1上の点P1に対応する他方の画像#2上の点のことを以下「対応候補点」と呼ぶことにする。
2眼ステレオ視による計測を行う場合、上記対応点探索を行った結果、真の距離zに対応する真の対応点P2を検出することができれば、真の視差dを算出することができたことになり、このとき対象物50上の点50aまでの真の距離zが計測できたといえる。
こうした処理を、一方の画像#1の全画素について実行することにより、画像#1の全選択画素に距離情報を付与した画像(距離画像)が生成されることになる。
上記対応点を探索して真の距離を求める処理を、図16、図17、図18を用いて詳述する。
図18は、従来の2眼ステレオ視による距離計測装置(物体認識装置)の構成を示すブロック図である。
基準画像入力部101には、視差d (距離z)を算出する際に基準となる画像センサ1で撮像された基準画像#1が取り込まれる。一方、画像入力部102には、基準画像#1上の点に対応する対応点が存在する画像である画像センサ2の撮像画像#2が取り込まれる。
つぎに、対応候補点座標生成部103、局所情報抽出部104、ウインドウ処理型類似度算出部105、距離推定部106における処理を図16を用いて説明すると、まず、対応候補点座標生成部103では、基準画像#1の各画素に対して、仮定した距離zn毎に、画像センサ2の画像#2の対応候補点の位置座標が記憶、格納されており、これを読み出すことにより対応候補点の位置座標を発生する。
すなわち、基準画像センサ1の基準画像#1の中から位置(i,j)で特定される画素P1が選択されるとともに、認識対象物体50までの距離znが仮定される。そして、この仮定距離znに対応する他方の画像センサ2の画像#2内の対応候補点P2の位置座標(X2,Y2)が読み出される。
つぎに、局所情報抽出部104では、このようにして対応候補点座標生成部103によって発生された対応候補点の位置座標に基づき局所情報を抽出する処理が実行される。ここで、局所情報とは、対応候補点の近傍の画素を考慮して得られる対応候補点の画像情報のことである。
さらに、ウインドウ処理型類似度算出部105では、上記局所情報抽出部104で得られた対応候補点P2の画像情報と基準画像の選択画素P1の画像情報との類似度が算出される。具体的には、基準画像#1の選択された画素の周囲の領域と、画像センサ2の画像#2の対応候補点の周囲の領域とのパターンマッチングにより、両画像の領域同士が比較されて、類似度が算出される。
すなわち、図16に示すように、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1が切り出されるとともに、画像センサ2の画像#2の対応候補点P2の位置座標を中心とするウインドウWD2が切り出され、これらウインドウWD1、 WD2同士についてパターンマッチングを行うことにより、これらの類似度が算出される。このパターンマッチングは各仮定距離zn毎に行われる。そして同様のパターンマッチングが、基準画像#1の各選択画素毎に全画素について行われる。
図17は、仮定距離znと類似度の逆数Qsとの対応関係を示すグラフである。
図16のウインドウWD1と、仮定距離がzn ´のときの対応候補点の位置を中心とするウインドウWD2´とのマッチングを行った結果は、図17に示すように類似度の逆数Qsとして大きな値が得られている(類似度は小さくなっている)が、図16のウインドウWD1と、仮定距離がzxのときの対応候補点の位置を中心とするウインドウWD2とのマッチングを行った結果は、図17に示すように類似度の逆数Qsは小さくなっている(類似度は大きくなっている)のがわかる。なお、類似度は、一般に、比較すべき選択画素と対応候補点の画像情報の差の絶対値や、差の2乗和として求められる。
このようにして仮定距離znと類似度の逆数Qsとの対応関係から、最も類似度が高くなる点(類似度の逆数Qsが最小値となる点)を判別し、この最も類似度が高くなっている点に対応する仮定距離zxを最終的に、認識対象物体50上の点50aまでの真の距離(最も確からしい距離)と推定する。つまり、図16における仮定距離zxに対応する対応候補点P2が選択画素P1に対する対応点であるとされる。このように、距離推定部106では、基準画像#1の選択画素について仮定距離znを順次変化させて得られた各類似度の中から、最も類似度の高くなるものが判別され、最も類似度が高くなる仮定距離zxが真の距離と推定され、出力される。
以上、2眼ステレオ視による場合を説明したが、3台以上の画像センサを用いてもよい。3台以上の画像センサを用いて距離計測(物体認識)を行うことを、多眼ステレオ視による距離計測(物体認識)と称することにする。
多眼ステレオ視は、対応点のあいまいさを低減できるため、格段に信頼性を向上できるので最近良く用いられている。この多眼ステレオ視による距離計測装置(物体認識装置)では、複数の画像センサを、2台の画像センサからなるステレオ対に分割し、それぞれのステレオ対に対し、前述した2眼ステレオ視の原理を繰り返し適用する方式をとっている。
すなわち、複数ある画像センサの中から基準となる画像センサを選択し、この基準画像センサと他の画像センサとの間で、ステレオ対を構成する。そして、各ステレオ対に対して2眼ステレオ視の場合の処理を適用していく。この結果、基準画像センサから基準画像センサの視野内に存在する認識対象物までの距離が計測されることになる。
従来の多眼ステレオにおけるステレオ対の関係を図19を参照して説明すると、図16に示す2眼ステレオでは、基準画像#1と対をなす対応画像は#2の1つであったが、多眼ステレオでは、基準画像#1と画像センサ2の画像#2の対、基準画像#1と画像センサ3の画像#3の対、…、基準画像#1と画像センサNの画像#Nの対という具合に複数のステレオ対が存在する。こうした対応画像と基準画像の各ステレオ対に基づく処理を行う前には、画像センサたるカメラの取付け歪みなどを考慮する必要があり、通常はキャリブレーションによる補正処理を前もって行うようにしている。
多眼ステレオによって対応点を探索して真の距離を求める処理を、前述した2眼ステレオの図16、図18に対応する図19、図20を用いて詳述する。
図20は、従来の多眼ステレオ視による距離計測装置(物体認識装置)の構成を説明する図である。
なお、各画像センサ1、2、3、…、Nは、水平、垂直あるいは斜め方向に所定の間隔で配置されているものとする(説明の便宜上、図20では一定間隔で左右に配置されている場合を示している)。
基準画像入力部201には、視差d(距離z)を算出する際に基準となる画像センサ1で撮像された基準画像#1が取り込まれる。一方、画像入力部202には、基準画像#1上の点に対応する対応点が存在する画像である画像センサ2の撮像画像#2が取り込まれる。他の画像入力部203、204においても、基準画像#1に対応する画像センサ3の画像#3が、基準画像#1に対応する画像センサNの画像#Nがそれぞれ取り込まれる。
対応候補点座標生成部205では、基準画像#1の各画素に対して、仮定した距離zn毎に、画像センサ2の画像#2の対応候補点の位置座標、画像センサ3の画像#3の対応候補点の位置座標、画像センサNの画像#Nの対応候補点の位置座標がそれぞれ記憶、格納されており、これらを読み出すことにより各対応候補点の位置座標を発生する。
すなわち、基準画像センサ1の基準画像#1の中から所定位置P1に存在する(i,j)で特定される画素が選択されるとともに、認識対象物体50までの距離znが仮定される。そして、この仮定距離znに対応する画像センサ2の画像#2内の対応候補点P2の位置座標(X2,Y2)が読み出される。同様にして、基準画像#1の選択画素P1(i,j)、仮定距離znに対応する画像センサ3の画像#3の対応候補点P3の位置座標が読み出され、基準画像#1の選択画素P1(i,j)、仮定距離znに対応する画像センサNの画像#Nの対応候補点PNの位置座標が読み出される。そして、仮定距離znを順次変化させて同様の読み出しが行われる。また、選択画素を順次変化させることによって同様の読み出しが行われる。こうして対応候補点P2の位置座標(X2,Y2)、対応候補点P3の位置座標(X3,Y3)、・・・、対応候補点PNの位置座標(XN,YN)が対応候補点座標生成部205から出力される。
つぎに、局所情報抽出部206では、このようにして対応候補点座標生成部205によって発生された対応候補点の位置座標に基づき局所情報を抽出する処理が実行される。同様にして、局所情報抽出部207では、対応候補点座標生成部205で発生された画像センサ3の画像#3の対応候補点P3の位置座標に基づいて、対応候補点P3の局所情報が、局所情報抽出部208では、対応候補点座標生成部205で発生された画像センサNの画像#Nの対応候補点PNの位置座標に基づいて、対応候補点PNの局所情報がそれぞれ求められる。
さらに、ウインドウ処理型類似度算出部209では、上記局所情報抽出部206で得られた対応候補点P2の局所情報F2と基準画像#1の選択画素P1の画像情報との類似度が算出される。具体的には、基準画像#1の選択された画素の周囲の領域と、画像センサ2の画像#2の対応候補点の周囲の領域とのパターンマッチングにより、両画像の領域同士が比較されて、類似度が算出される。
すなわち、図19に示すように、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1が切り出されるとともに、画像センサ2の画像#2の対応候補点P2の位置座標を中心とするウインドウWD2が切り出され、これらウインドウWD1、 WD2同士についてパターンマッチングを行うことにより、これらの類似度が算出される。このパターンマッチングは各仮定距離zn毎に行われる。
図23(1)は、仮定距離znとステレオ対(基準画像センサ1と画像センサ2)の類似度の逆数Qs1との対応関係を示すグラフである。
図19のウインドウWD1と、仮定距離がzn ´のときの対応候補点の位置座標を中心とするウインドウWD2´とのマッチングを行った結果は、図23(1)に示すように類似度の逆数Qs1として大きな値が得られている(類似度は小さくなっている)が、図19のウインドウWD1と、仮定距離がzxのときの対応候補点の位置座標を中心とするウインドウWD2とのマッチングを行った結果は、図23(1)に示すように類似度の逆数Qs1は小さくなっている(類似度は大きくなっている)のがわかる。
同様にしてウインドウ処理型類似度算出部210では、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1と、画像センサ3の画像#3の対応候補点P3の位置座標を中心とするウインドウWD3とのパターンマッチングが実行され、これらの類似度が算出される。そして、パターンマッチングが各仮定距離zn毎に行われることによって、このステレオ対(基準画像センサ1と画像センサ3)についても図23(2)に示すような仮定距離znと類似度の逆数Qs2との対応関係を示すグラフが求められる。同様にしてウインドウ処理型類似度算出部211では、基準画像#1の選択画素P1の位置座標を中心とするウインドウWD1と、画像センサNの画像#Nの対応候補点PN の位置座標を中心とするウインドウWDNとのパターンマッチングが実行され、これらの類似度が算出される。そして、パターンマッチングが各仮定距離zn毎に行われることによって、このステレオ対(基準画像センサ1と画像センサN)についても図23(N)に示す仮定距離znと類似度の逆数QsNとの対応関係が求められる。
最後に、各ステレオ対毎に得られた仮定距離znと類似度の逆数との対応関係を仮定距離毎に加算する。
さらに図23(融合結果)に示すように、仮定距離znと類似度の逆数の加算値との対応関係から、最も類似度が高くなる点(類似度の逆数の加算値が最小値となる点)を判別し、この最も類似度が高くなっている点に対応する仮定距離zxを最終的に、認識対象物体50上の点50aまでの真の距離(最も確からしい距離)と推定する。かかる処理は、基準画像#1の各選択画素毎に全画素について行われる。
以上のようにして、距離推定部212では、仮定距離znを順次変化させて得られた類似度の加算値の中から、最も類似度の加算値が高くなるものが判別され、最も類似度の加算値が高くなる仮定距離zxが真の距離と推定され、出力される。そして、かかる距離推定が基準画像#1の全画素について行われることから、基準画像#1の全選択画素に距離情報を付与した画像(距離画像)が生成されることになる。
ここに、論文1「複数の基線長を利用したステレオマッチング」(電子情報通信学会論文誌、D-2 VOL .J75-D-2 No.8 1992-8、奥富正敏、金出武雄)には、ウインドウ毎のマッチングによるステレオ処理に関する技術が記載されている。
すなわち、上記論文1には、基準画像の選択画素の位置を中心とするウインドウを切り出すとともに、対応画像の対応候補点の位置を中心とするウインドウを切り出し、これらウインドウ同士についてパターンマッチングを行うことにより、基準画像の選択画素についてウインドウ内加算された類似度を演算する技術が記載されている。具体的には、一方のウインドウ内の画素の画像情報と、この画素に対応する他方のウインドウ内の画素の画像情報との差の2乗を、ウインドウ内の各画素毎に求め、この画像情報の差の2乗値を、ウインドウ内の全画素について加算したものを、類似度としている。
また、論文2「ビデオレート・ステレオマシン」(日本ロボット学会誌、vol.13 No.3、金出武雄、木村茂)には、上記論文1に記載されているウインドウ毎のマッチングによるステレオ処理を、専用のハードウエアで実現する技術が記載されている。
すなわち、ウインドウ内の各画素ごとに求めた画像情報の差の絶対値を加算する処理を、前回の画素の処理結果や中間結果などを用いて、高速に行う技術が記載されている。こうした前回の画素の処理結果や中間結果などを用いてウインドウ内加算を行う方法を、ここでは再帰型のウインドウ内加算方法と呼ぶことにする。
つぎに、図11、図12を参照して、この再帰型のウインドウ内加算処理について説明する。
図12は、上記再帰型のウインドウ内加算処理を行う専用のハードウエアを示すブロック図である。これは、パイプライン化されたハードウエアとしても実現できる。
図11は、再帰型のウインドウ内加算処理の概念図である。
同図11では、サイズが3×3画素のウインドウ内で加算が行われる場合を想定している。図11に示される各画素の箱内には、たとえば画素(i,j-3)の箱内には、この画素(i,j-3)に対応する類似度(選択画素(i,j-3)の画像情報とこれの対応点の画像情報の差の2乗値)が格納されているものとする。
いま、座標位置(i-2,j-1)の画素のウインドウ内加算した類似度を求めた後に、座標位置(i-1,j-1)の画素のウインドウ内加算した類似度を求める場合を考える。
すると、以下の手順で、類似度(画像情報の差の2乗値)のウインドウ内加算処理が実行される。手順1、2ではj方向の演算が、手順3、4ではi方向の演算が実行される。
・手順1.座標位置(i,j)の画素について類似度(画像情報の差の2乗値)を示すデータが入力されると、この画素(i,j)に対応する類似度は、前に演算された各画素(i,j-3)、(i,j-2)、(i,j-1)といったj方向の各画素の類似度の加算結果に加算される(加算1)。
・手順2.つぎに、上記手順1の加算結果(加算1)から、画素(i,j-3)に対応する類似度が減算される(減算1)。このようにして、各画素(i,j-2)、(i,j-1)、(i,j)といったj方向の各画素の類似度を加算したものが求められる。
・手順3.つぎに、上記手順2の減算結果(減算1)が、前回のウインドウA(中心画素(i-2,j-1))のウインドウ内加算結果(中心画素(i-2,j-1)のウインドウ内加算した類似度)に加算される(加算2)。
・手順4.つぎに、上記手順3の加算結果(加算2)から、先に演算された各画素(i-3,j-2)、(i-3,j-1)、(i-3,j)といったj方向の各画素の類似度の加算結果が減算されることで、今回のウインドウB(中心画素(i-1,j-1))のウインドウ内加算結果、つまり中心画素(i-1,j-1)のウインドウ内加算した類似度が求められる。
そして、上記手順4で算出されたウインドウBの加算結果は、次の画素(i,j-1)を中心としたウインドウ内加算を行うときには、ウインドウAの値として使用される。このようにして、順次ウインドウ内加算が行われる。
上記手順は、再帰型ウインドウ内加算の一例であり、i、jの方向を入れ替えるなど適宜変更が可能である。
このように再帰型のウインドウ内加算では、今回のウインドウ内加算を行うときに、以前に行ったウインドウと領域が重なっている場合には、重なっている領域について重複した加算を繰り返し行うのではなく、前の加算結果を利用することにより、計算量を低減するようにしている。
サイズが3×3画素のウインドウの中には、9個の類似度のデータがあり、これらについてウインドウ内加算処理を単純に行うとすると、8回の類似度の加算(8回の演算)が必要である。
これに対して図11に示す再帰型ウインドウ内加算では、加算1、加算2といった2回の加算と、減算1、減算2といった2回の減算の合計4回の演算で済み、計算量が大幅に低減されるのがわかる。
この処理を、図12に示す処理ブロック図でみると、手順2で使用される画素(i,j-3)の類似度のデータは、第1のシフトレジスタ503によってタイミングを合わせられて、減算1を行う減算1処理部502に入力される。
また、加算1に使用される画素(i,j-3)、(i,j-2)、(i,j-1)の類似度の加算結果は、減算1の演算が行われたときに、その結果が第2のシフトレジスタ504に入力され、タイミングを合わせられて、加算1を行う加算1処理部501に入力される。
i方向の演算についても同様に、第3のシフトレジスタ507、第4のシフトレジスタ508では、第1のシフトレジスタ503、第2のシフトレジスタ504と同様にしてタイミング調整がなされた上で、減算2を行う減算2処理部506、加算2を行う加算2処理部505にデータが入力される。

産業上の利用分野


本発明は、物体の認識装置に関し、異なる位置に配置された複数の撮像手段による画像情報から三角測量の原理を利用して対象物体までの距離情報を計測するステレオ画像処理装置に関する。

特許請求の範囲 【請求項1】
複数の撮像手段を所定の間隔をもって配置し、これら複数の撮像手段のうちの一の撮像手段で対象物体を撮像したときの当該一の撮像手段の撮像画像中の選択画素に対応する他の撮像手段の撮像画像中の対応候補点の情報を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの仮定距離の大きさ毎に抽出し、前記選択画素の画像情報と前記対応候補点の画像情報の類似度を算出し、この算出された類似度が最も大きくなるときの前記仮定距離を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの推定距離とする計測を行うステレオ画像処理装置において、
画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器(311)を予め用意するとともに、さらに、
各画素にそれぞれ、前記選択画素の画像情報と、この選択画素に対応する対応候補点の画像情報との類似度を示す画素から構成される画像を入力し、この画像を所定の走査形式で順次走査しながら、少なくとも一つ以上の、前記局所並列型演算器を用いることにより、各画素毎に、当該画素の周辺領域の各画素の類似度の画像情報を融合して、類似度の安定化を行う類似度安定化手段(306)を具え、前記類似度安定化手段から出力された画像に基づいて、各画素毎に推定距離を求めるようにしたことを特徴とするステレオ画像処理装置。

【請求項2】
複数の撮像手段を所定の間隔をもって配置し、これら複数の撮像手段のうちの一の撮像手段で対象物体を撮像したときの当該一の撮像手段の撮像画像中の選択画素に対応する他の撮像手段の撮像画像中の対応候補点の情報を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの仮定距離の大きさ毎に抽出し、前記選択画素の画像情報と前記対応候補点の画像情報の類似度を算出し、この算出された類似度が最も大きくなるときの前記仮定距離を、前記一の撮像手段から前記選択画素に対応する前記物体上の点までの推定距離とする計測を行うステレオ画像処理装置において、
画像の各画素ごとに、対象画素近傍の局所領域のデータを取り込み、そのデータに対して並列に演算することにより、画像を加工することができる、局所並列型演算器(311)を予め用意するとともに、さらに、
複数の撮像手段のうちの一の撮像手段の撮像画像中の画素を所定の走査形式で順次選択し、当該選択画素に対応する他の撮像手段の撮像画像中の対応候補点の座標位置をデータとして保持する画素から構成される画像フレームを、仮定距離毎に、一つの画像フレームとして生成する対応候補点座標生成手段(301)と、
前記対応候補点座標生成手段で生成された画像フレームを入力して、画素単位に前記所定の走査形式で、前記一の撮像手段の撮像画像中の選択画素の画像情報と当該選択画素に対応する他の撮像手段の撮像画像中の対応候補点の画像情報を抽出し、これら抽出された画像情報を、入力された画像フレームに準じた形式の画像フレームにして出力する対応候補点情報抽出手段(304)と、
前記対応候補点情報抽出手段から出力された画像フレームを入力して、画素単位に前記所定の走査形式で、前記抽出された画像情報同士の類似度を計算し、この類似度を、入力された画像フレームに準じた形式の画像フレームにして出力する類似度算出手段(305)と、
前記類似度算出手段から出力された画像フレームを入力して、画素単位に前記所定の走査形式で、少なくとも1個の前記局所並列型演算器によって対象画素近傍の類似度を融合することにより類似度の安定化を行い、この安定化された類似度を、入力された画像フレームに準じた形式の画像フレームにして出力する類似度安定化手段(306)と、
前記類似度安定化手段から出力された画像フレームを入力して、仮定距離の変化に対する安定化された類似度の変化を求め、安定化された類似度が最も大きくなるときの仮定距離を、画素単位で前記所定の走査形式で算出し、この安定化された類似度が最も大きくなるときの仮定距離を、入力された画像フレームに準じた形式の画像フレームにして出力する距離推定手段(307)と、を具え、
前記画像フレームを構成する各画素のデータを、これら前記対応候補点座標生成手段、前記対応候補点情報抽出手段、前記類似度算出手段、前記類似度安定化手段、前記距離推定手段の各手段による処理によって順次更新させつつ、これら各手段の間で、当該画像フレームを、画素単位に前記所定の走査形式で転送させながら処理することを特徴とするステレオ画像処理装置。

【請求項3】
前記対応候補点情報抽出手段および類似度算出手段および類似度安定化手段および距離推定手段を対象として、必要に応じて対象となる前記各手段において、
前記対応候補点情報抽出手段では選択画素の画像情報と対応候補点の画像情報の抽出処理、
前記類似度算出手段では類似度の算出処理、
前記類似度安定化手段では類似度の安定化処理、
前記距離推定手段では距離推定処理、を行わずに、入力された画像フレームの画素データを保持した形で画像フレームを出力するようにできることを特徴とする、
請求項2記載のステレオ画像処理装置。

【請求項4】
前記距離推定手段は、各仮定距離と各安定化された類似度との対応関係を、画像フレームの各画素毎に求め、さらに、この対応関係を補間することにより、補間した対応関係を求め、この補間した対応関係より、安定化された類似度が最も大きくなる点を求め、この点に対応する仮定距離を推定距離とする演算処理(327)を行うものである、
請求項2記載のステレオ画像処理装置。

【請求項5】
前記撮像手段によって撮像した撮像画像から、前記対応候補点情報抽出手段によって画像情報を抽出する前に、少なくとも1個の前記局所並列型演算器を用いて前記撮像画像の前処理を行う場合に、
前記撮像画像の前処理を行う際には、前記撮像画像が前記局所並列型演算器に入力され、かつ、この局所並列型演算器によって、入力された撮像画像の前処理が行われた前処理画像が前記対応候補点情報抽出手段に出力されるように、前記局所並列型演算器の入出力を切り換えるとともに、
前記類似度を安定化する処理を行う際には、前記類似度算出部から出力された画像フレームが前記局所並列型演算器に入力され、かつ、この局所並列型演算器によって、入力された画像フレームの各画素について類似度を安定化する処理が行われた画像フレームが、前記距離推定手段に出力されるように、前記局所並列型演算器の入出力を切り換える経路制御手段(309、312)を具えるようにしたことを特徴とする、
請求項2記載のステレオ画像処理装置。

【請求項6】
前記距離推定手段から出力される画像フレームを入力して、入力した画像フレームの一部の画素の画像情報に基づいて、当該画像フレームの情報量を圧縮した圧縮画像フレームを生成して、前記入力した画像フレームおよび前記圧縮画像フレームを、出力する圧縮手段(314)を、さらに具えるようにしたことを特徴とする、
請求項2記載のステレオ画像処理装置。

【請求項7】
前記圧縮手段により圧縮された圧縮画像フレームを、さらに所定回数、当該圧縮手段で繰り返し圧縮することにより、複数の圧縮サイズの異なる圧縮画像フレームを生成し、これら複数の圧縮サイズの異なる圧縮画像フレームおよび前記入力した画像フレームを出力するようにしたことを特徴とする、
請求項6記載のステレオ画像処理装置。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP1997341441thum.jpg
出願権利状態 登録
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close