TOP > 国内特許検索 > 移動体追跡のための画像処理方法 > 明細書

明細書 :移動体追跡のための画像処理方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4469980号 (P4469980)
公開番号 特開2006-178669 (P2006-178669A)
登録日 平成22年3月12日(2010.3.12)
発行日 平成22年6月2日(2010.6.2)
公開日 平成18年7月6日(2006.7.6)
発明の名称または考案の名称 移動体追跡のための画像処理方法
国際特許分類 G06T   1/00        (2006.01)
G06T   3/00        (2006.01)
G06T   3/40        (2006.01)
G06T   3/60        (2006.01)
G06T   7/00        (2006.01)
FI G06T 1/00 330B
G06T 1/00 510
G06T 3/00 400A
G06T 3/40 A
G06T 3/60
G06T 7/00 300D
請求項の数または発明の数 6
全頁数 11
出願番号 特願2004-370041 (P2004-370041)
出願日 平成16年12月21日(2004.12.21)
審査請求日 平成19年3月16日(2007.3.16)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】佐治 斉
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】▲広▼島 明芳
参考文献・文献 特開2000-259838(JP,A)
特開2000-132691(JP,A)
特開2004-020485(JP,A)
調査した分野 G06T 1/00 - 7/60
特許請求の範囲 【請求項1】
局所的な照明変動下で逐次撮影・入力された画像列中の各画像中の移動体領域を追跡することにより移動体を追跡する画像処理装置により実行される、移動体追跡のための画像処理方法であって
前記画像から抽出された移動体領域テンプレートを複数のブロックテンプレートに分割する分割ステップと、
ブロックテンプレートの位置を共通のパラメータを用いた幾何学変換により変化させる変換ステップと、
前記変換ステップにおいて位置を変化させたブロックテンプレートごとに色度を用いた個別相違度を計算する第1算出ステップと、
各ブロックテンプレートの個別相違度と閾値と比較することで、該各ブロックテンプレートが有効ブロックか無効ブロックかを判定する判定ステップと、
有効ブロックと判定されたブロックテンプレートの個別相違度の平均値である有効平均相違度を算出する第2算出ステップと、
前記変換ステップ、前記第1算出ステップ、前記判定ステップ、及び前記第2算出ステップを前記共通のパラメータを変化させつつ繰り返し実行した後に、前記有効平均相違度が最小となるブロックテンプレートの位置から移動体領域テンプレートの照合位置を求める第3算出ステップと、
を含む移動体追跡のための画像処理方法。
【請求項2】
前記移動体は、観測位置に対して相対移動がある走行車両である請求項1記載の移動体追跡のための画像処理方法。
【請求項3】
前記分割ステップは、追跡対象の移動体領域を特定のサイズに分割するステップである、請求項1又は2に記載の移動体追跡のための画像処理方法。
【請求項4】
前記変換ステップは、前記各ブロックテンプレートの位置を共通のアフィン変換パラメータを用いたアフィン変換により変化させるステップである、請求項1~3のいずれか一項に記載の移動体追跡のための画像処理方法。
【請求項5】
前記第1算出ステップは、ブロックテンプレート内の各画素のR,G,B値の比率を用いた差分計算を用いるステップである、請求項1~4のいずれか一項に記載の移動体追跡のための画像処理方法。
【請求項6】
前記判定ステップは、ブロックテンプレートの個別相違度の最大値と最小値と平均値を判定の閾値に用いるステップである、請求項1~5のいずれか一項に記載の移動体追跡のための画像処理方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、移動体、前方走行車両等をカメラの撮像フレ-ム内で追跡するための画像処理方法に関する。
【背景技術】
【0002】
移動体、前方走行車両等をカメラの撮像フレ-ム内で追跡するためにテンプレートマッチングの手法が広く利用されている。
下記の特許文献1および2はいずれも、カメラで撮像した動画像中から先行車両に該当する領域をテンプレートとして抽出し、次フレーム以後連続フレーム間で照合を繰り返しつつ先行車両の位置を追跡する。テンプレートの移動距離やテンプレート内の画素値の分布変化によりテンプレートを随時更新しつつ車両の位置変化に応じて追跡を実現するものである。

【特許文献1】特開2000-113158
【特許文献2】特開2001-60263
【0003】
しかし、局所的な照明変動が激しい一般道路においては、ブレーキ灯やヘッドライト、および方向指示器の点滅、トンネル内外や建物による陰影領域の通過などにおいて、追跡車両一台あたり一式のテンプレートを用いた追跡では、頻繁に位置ずれが生じ正しい結果が得られない。特にダイナミックレンジの低いカメラで車両を撮影した場合は、車両周辺の極端な照明変化により、追跡車両の一部の領域においてハレーションを起こしてしまうことなどにより追跡不能になる可能性が高い。また撮影用カメラと追跡車両との間の相対的な動きの影響により、サイズが固定のテンプレートで追跡することは困難である。
図9A~Fは、テンプレートマッチングの問題点と本発明方法を説明するために、比較するフレームを対比して示した説明図である。比較するフレーム順にフレームA~Fとして説明に利用する。
フレームAの対はトンネルの出口付近におけるテンプレートの照合結果を示しているが、照明変化により照合位置にずれが生じていることがわかる。
【0004】
また、撮影用カメラと先行車両との相対的な距離や向きが変化した場合では、テンプレート自体の大きさや形状を変えない限り正確な位置を求めることは困難である。
図9BのフレームBの対で撮影用のカメラと先行車両との相対的な距離が変化したときのテンプレートの照合結果を示している。
【0005】
これらの問題を解決するために、下記の特許文献3~5記載の発明により、追跡対象物体の画像領域内に複数の追跡小領域を設定し、各小領域個々に照合位置を独立に求め、得られたすべての照合位置の集合を解析することにより追跡対象物体全体の移動位置を求める手法が提案されている。
しかしこれらの手法を一般道路上における車載カメラからの先行車両追跡に適用した場合、車体色が一様の場合や、トンネル内など車体色と背景色の差がない場合は、個々の小領域の照合位置が分散しすぎてしまう傾向があり、その結果を解析しても車両全体の正確な位置が求められるとは限らない。
図9CのフレームCに、トンネルの出口付近において小領域ごとに照合位置を求めた結果を示している。小領域の照合位置が分散していることがわかる。
また、追跡対象物体に複数の追跡小領域を設定し、各小領域個々に照合結果を求めるが、各小領域が独立に照合位置を求めるのではなく、一式のプレート上に固定させて照合させる方法もある。(特許文献6はその一例である)この方法では、各小領域が分散することはないが、小領域間の相対的な位置が固定されているため、距離や進路方向が変化する場合など追跡対象物体の急激な幾何学変化に追従することが困難である。

【特許文献3】特開2000-132691 映像領域追跡方法および装置
【特許文献4】特開2002-373332 画像認識装置および画像認識方法
【特許文献5】特開2004-118485 画像追跡装置および方法
【特許文献6】特開2000-259838 画像追跡装置及び記録媒体
【0006】
また、画像中の車両領域からエッジなどの特徴量を抽出し特徴が際立つ領域に限定して小領域を設定する手法も見られるが、追跡車両に対してヘッドライトや街頭などの外部照明が局所的に照射された場合は、その照明変化により被写体自身が保有している画像特徴が消滅・変形するか、または被写体上に新たな画像特徴が出現することになり、特徴量に頼った車両追跡の信頼性は低くなる。以上の問題は、オプティカルフローを用いて車両追跡を行う方法においても同様に起こり得る。
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明の目的は、移動体、前方走行車両等をカメラの撮像フレ-ム内で追跡するための画像処理方法に関する。
本発明のさらに詳細な目的は、一般道路におけるブレーキ灯やヘッドライト、方向指示器等の点滅、およびトンネル内外の通過など、局所的な照明変動下において、車載カメラにより撮影した動画像中からテンプレートとして抽出された車両領域を正確に追跡することができる画像処理方法を提供することにある。
【0008】
前記目的を達成するために、本発明による方法は、逐次入力された画像列から抽出された車両領域テンプレートを複数の小ブロックテンプレートに分割し、それぞれのブロックの位置を幾何学変換式により変化させながら、個々のブロックごとに色度を用いた相違度計算を行い、その相違度をもとに有効ブロックか無効ブロックかを判定し、無効ブロックを除いた有効ブロックのみでの有効平均相違度が最小となるブロックテンプレートの位置から車両領域テンプレート全体の照合位置を求めるものである。
【0009】
本発明による請求項1記載の発明は、局所的な照明変動下で逐次撮影・入力された画像列中の各画像中の移動体領域を追跡することにより移動体を追跡する画像処理装置により実行される、移動体追跡のための画像処理方法であって、画像から抽出された移動体領域テンプレートを複数のブロックテンプレートに分割する分割ステップと、ブロックテンプレートの位置を共通のパラメータを用いた幾何学変換により変化させる変換ステップと、変換ステップにおいて位置を変化させたブロックテンプレートごとに色度を用いた個別相違度を計算する第1算出ステップと、各ブロックテンプレートの個別相違度と閾値と比較することで、該各ブロックテンプレートが有効ブロックか無効ブロックかを判定する判定ステップと、有効ブロックと判定されたブロックテンプレートの個別相違度の平均値である有効平均相違度を算出する第2算出ステップと、変換ステップ、第1算出ステップ、判定ステップ、及び第2算出ステップを共通のパラメータを変化させつつ繰り返し実行した後に、有効平均相違度が最小となるブロックテンプレートの位置から移動体領域テンプレートの照合位置を求める第3算出ステップと、を含む
【0010】
本発明による請求項2記載の発明は、移動体を、観測位置に対して相対移動がある走行車両としたものである。観測位置が走行車両の後方で走行する車両であるとすると、相対移動のないときは、照合位置は変わらない。照合位置の形状、位置等を前の照合位置と比較することにより相対位置関係等についてのデータの取得が可能となる。
本発明による請求項3記載の発明は、分割ステップを、追跡対象の移動体領域を特定のサイズに分割するステップとしたものである。
本発明による請求項4記載の発明は、変換ステップを、各ブロックテンプレートの位置を共通のアフィン変換パラメータを用いたアフィン変換により変化させるステップとしたものである。
本発明による請求項5記載の発明は、第1算出ステップを、ブロックテンプレート内の各画素のR,G,B値の比率を用いた差分計算を用いるステップとしたものである。
本発明による請求項6記載の発明は、判定ステップを、ブロックテンプレートの個別相違度の最大値と最小値と平均値を判定の閾値に用いるステップとしたものである。
【発明の効果】
【0011】
前記構成によれば、本発明による方法は以下の効果がある。
1.照明変化により追跡車両の一部の領域の色や明るさが変動しても、その部分を無効ブ ロックと判定し除外することにより、車両全体の正しい追跡が行える。またダイナミ ックレンジの低いカメラで撮影された画像で車両を追跡する場合に、トンネルの出入 り口等において極端な照明変動があり、追跡対象物の一部の領域においてハレーショ ンを起こしてしまう場合であっても、その領域を無効ブロックとして除外することに より、正しい追跡を継続して行うことができる。さらに、ダイナミックレンジの高い カメラで撮影された画像の場合であっても、その一部の領域においてハレーションが 残る場合があるが、その領域を無効ブロックとして除外することにより正しい結果が 得られる。
図9Dに示すフレームDは本発明による方法による照合結果を示すものである。従来 提案されているものと比較して車両全体の正しい追跡が可能となった。なお、図中× は無効ブロックであり、照合処理から除外する。
2.ブロックごとに独立に相違度計算を行うが、従来のオプティカルフローを用いた方法 のように独立に照合位置を求めるものではないため、画素値が一様な領域において個 々のブロックが不正確な位置に分散して照合されることを防ぐことができる。
3.個々のブロック間の相互位置は幾何学変換式により拘束されながらも変化させること ができるため、追跡車両と撮影用カメラとの相対的な距離や向きの変動に追従するこ とができる。図9Eに示すフレームEと図9Fに示すフレームFは本発明による方
法による照合結果を示すものである。従来提案されているものと比較して車両全体の 正しい追跡が可能となった。なお、図中×は無効ブロックである。追跡車両と撮影用 カメラとの相対的な距離や向きの変動に追従が可能となっている。
4.個々の相違度計算では、画素の色度を用いているため、明度のみの照明変化には影響 を受けずに車両を追跡できる。
【発明を実施するための最良の形態】
【0012】
以下図面等を参照して本発明による方法の実施の形態を説明する。図1は、本発明による方法を実施するための装置のブロック図である。前述した追跡の対象である前方走行中の車両の映像は、画像入力部1で、追跡対象の車両とは別の走行中の車両に搭載されているカメラにより逐次入力画像として記憶部(メモリ)2に取り込まれ、入力画像のフレームから、テンプレート抽出部3でテンプレートを抽出する。ブロック分割部4は前記テンプレートをブロックテンプレートに分割する。
幾何学変換部5は後述する幾何学変換を実行し、個別相違度計算部6により相違度を計算する。そして有効/無効ブロック判定部7で有効ブロックか無効ブロックかを判定する。
有効平均相違度計算部8により有効平均相違度が計算され、照合結果出力部9で照合結果が表示される。ここでは、前方車両領域に該当する矩形をディスプレイ上に視覚的に表示し、また幾何学変換のパラメータ値の変化を用いて前方車両までの車間距離変化や前方車両の進行方向の変化を数値として表示する。
【0013】
図2は、本発明による方法を実施するための流れ図である。この流れ図に沿ってまず全体的な流れを説明する。
(ステップ101)初期画像を入力する
(ステップ102)画像全体から初期車両領域テンプレートを抽出する。
これについてはすでに多くの手法が提案されている。ここでは、例えば、画像からエッジを検出し車両枠に該当する線分を求めて車両領域を抽出する手法を活用する。(特開2003-281700「割り込み車両検出装置及びその方法」はその一例である。)また、オプティカルフロー集合の速度方向を解析することで車両領域を抽出する方法も活用できる。
(ステップ103)車両領域テンプレートをブロックテンプレートに分割する。
分割方法として均等サイズのブロックに分割する方法が単純であり計算時間が短いが、対象に応じて分割方法を選択することもできる。例として、画素の輝度分布に応じてサイズを変えながら分割する方法も考えられる。
なお分割数は全処理の間一定とし、分割サイズは追跡車両の大きさに合わせて変動させるものとする。
図4に、均等サイズのブロックに分割した場合と、サイズを変えながら分割した場合の例を示す。
(ステップ104)次の画像を入力する。
(ステップ105)照合処理を行う。この処理は別に詳述する。
(ステップ106)テンプレート更新の判定を、有効平均相違度の最小値と閾値とを比較することにより行う。有効平均相違度の最小値が閾値未満でない場合はステップ102に戻り、新たに画像全体から初期車両領域テンプレートを抽出する。そうでなければ、ステップ105で求めた照合位置から車両領域テンプレートを抽出する。なおここでの閾値は、撮影用カメラの性能と撮影環境下における照度変化の範囲により求める。
(ステップ107)閾値未満の場合はステップ105で求められた車両領域テンプレートの照合位置から新たに車両領域テンプレートを抽出しステップ103に戻る。
【0014】
図3は、前述の照合処理ステップ105の詳細な流れ図である。
(ステップ201)
幾何学変換により各ブロックテンプレートの入力画像上での位置を求める。
幾何学変換として、追跡対象車両領域の拡大・縮小・回転・ひずみに適合可能な次式で定義されるアフィン変換を用いる。
ti=a1・Xi+a2・Yi +a3
ti=a4・Xi+a5・Yi +a6
ここで、a1,・・・,a6 はアフィン変換パラメータ、Xi,Yi はブロックBi (図5参照)の左上端点のテンプレート内での座標であり、Xti,Yti はブロックi の左上端点の幾何学変換後の入力画像内での座標である。
上式のパラメータa1,・・・,a6 を変化させながら各ブロックテンプレートを対象画像上に投影する。
図5に、幾何学変換前後のブロックの位置関係を図解している。
この変換により、カメラと追跡車両の相対的な距離の変化や追跡車両が右左折することによる向きの変化、および車体の振動によるカメラ角の変化に対応できる。
なお、各パラメータの変動範囲は、直前の画像での車両領域テンプレートの照合位置をもたらすパラメータ値の近傍とする。また、さらに精度を上げるため、8パラメータによる射影変換を用いることも可能である。
(ステップ202)
ブロックテンプレートごとに入力画像上の対応領域との間で個別相違度計算を行う。
ブロックテンプレートの画素と入力画像中の画素におけるR,G,B値を用いて、次式により色度差を計算し、ブロックBi における相違度Di を求める。
【数1】
JP0004469980B2_000002t.gif
ここで、ブロックBi の座標(xi,yi) を幾何学変換した座標を(xti,yti)とし、R(xi,yi) ,G(xi,yi),B(xi,yi) をブロックBi 内の座標(xi,yi) におけるRGB値とし、RI(xti,yti),GI(xti,yti),BI(xti,yti) を入力画像内での座標(xti,yti)におけるRGB値とする。
また、
【数2】
JP0004469980B2_000003t.gif
とし、さらにテンプレートのx方向のサイズ(画素数)をSx 画素、y方向のサイズを
y 画素とする。
以上の色度を用いた計算により、画像全体の明度のみの照明変化には影響を受けずに車両を追跡できる。
図6に、追跡車両が並進、拡大、回転した場合に、各ブロックを照合させるための幾何学変換結果の例を示す。
(ステップ203)
各ブロックテンプレートの個別相違度と閾値とを比較することにより、有効ブロックか無効ブロックかを判定する。
まず、全ブロックの個別相違度の最大値と最小値と平均値を求める。
そして、最大値と最小値の差が範囲閾値未満であればすべてのブロックを有効ブロックとする。そうでなければ、平均値を判定閾値として、判定閾値以上のブロックを有効ブロック、判定閾値未満のブロックを無効ブロックと判定する。なお、ここでの範囲閾値は、撮影用カメラの性能と撮影環境下における照度変化の範囲により決定する。
以上の方法により、次のステップにおける相違度計算において、追跡対象物体の全体的な照明変化においてはブロックすべてを用いた計算が行え、局所的な照明変化においては信頼性のないブロックを除外した計算を行えることで、より信頼性の高い追跡結果が求められる。
図7に、範囲閾値を50とし、全ブロックから個別相違度の最大値、最小値、平均値を求め、全ブロックを有効ブロックとするか、判定閾値(平均値)を用いて有効ブロックと無効ブロックに識別するかの判定を行う前処理の例を示す。
図8に、求められた判定閾値(平均値60)を用いて、各ブロックを有効ブロックか無効ブロックかに判定した例を示す。
(ステップ204)
有効ブロックのみの相違度を用いて有効平均相違度を求める。
有効ブロックのみを用いた有効平均相違度の算出は、例えば次式を用いて計算する。
【数3】
JP0004469980B2_000004t.gif
ここでDi はブロックBi における相違度である。
なお有効ブロック数が閾値以下の場合はこの計算を行わないものとする。
ここでの閾値は、例えば全ブロック数の1/2とする。
(ステップ205)
上記201~204の処理を、幾何学変換パラメータを変化させつつ各ブロックテンプレートの入力画像上での照合位置を変えながら繰り返して行う。
(ステップ206)
有効平均相違度の最小値を求め、さらにその最小値をもたらすブロックテンプレートの位置から車両領域テンプレートの照合位置を求める。
【0015】
以上、前方走行の車両の追跡を例にして詳細な説明を行ったが、他の移動物体、飛翔体、人、動物の追跡にも利用できる。
【産業上の利用可能性】
【0016】
本発明による方法は、交通管制の分野や、運転者の運転の補助等の分野、あるいはそれらに関連する制御装置の開発産業等で広く利用できる。
【図面の簡単な説明】
【0017】
【図1】本発明による方法を実施するための装置のブロック図である。
【図2】本発明による方法を実施するための流れ図である。
【図3】図2に示した流れ図の照合処理部分の詳細な流れ図である。
【図4】前記流れ図中のブロックテンプレート分割のステップを説明するための説明図である。
【図5】前記流れ図中の幾何学変換のステップを説明するための説明図である。
【図6】幾何学変化の例を説明するための説明図である。
【図7】前記流れ図中の有効ブロック/無効ブロック判定を説明するための説明図である。
【図8】前記流れ図中の有効ブロック/無効ブロック判定を説明するための説明図である。
【図9A】本発明を説明するためにフレームAを対比して示した説明図である。
【図9B】本発明を説明するためにフレームBを対比して示した説明図である。
【図9C】本発明を説明するためにフレームCを対比して示した説明図である。
【図9D】本発明を説明するためにフレームDを対比して示した説明図である。
【図9E】本発明を説明するためにフレームEを対比して示した説明図である。
【図9F】本発明を説明するためにフレームFを対比して示した説明図である。
【符号の説明】
【0018】
1 画像入力部
2 記憶部(メモリ)
3 テンプレート抽出部
4 ブロック分割部
5 幾何学変換部
6 個別相違度計算部
7 有効/無効ブロック判定部
8 有効平均相違度計算部
9 照合結果出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9A】
8
【図9B】
9
【図9C】
10
【図9D】
11
【図9E】
12
【図9F】
13