Top > Search of Japanese Patents > IMAGE PROCESSING METHOD FOR TRACKING MOBILE OBJECT

IMAGE PROCESSING METHOD FOR TRACKING MOBILE OBJECT commons

Patent code P07A009894
File No. ShIP‐P04046
Posted date May 25, 2007
Application number P2004-370041
Publication number P2006-178669A
Patent number P4469980
Date of filing Dec 21, 2004
Date of publication of application Jul 6, 2006
Date of registration Mar 12, 2010
Inventor
  • (In Japanese)佐治 斉
Applicant
  • (In Japanese)国立大学法人静岡大学
Title IMAGE PROCESSING METHOD FOR TRACKING MOBILE OBJECT commons
Abstract PROBLEM TO BE SOLVED: To provide an image processing method for tracking a mobile object, a vehicle running ahead or the like within a picture frame taken with a camera under local illumination changes.
SOLUTION: The method includes dividing a vehicle area template that is extracted from sequentially inputted image sequences into a plurality of small block templates; performing calculations of difference levels using chromaticity for each of the blocks, while changing the positions of the blocks using a geometric transformation equation; determining whether each of the blocks is an effective or ineffective block; and determining the collating position of the entire vehicle area template on the basis of the position of the block template where the effective average difference level of only the effective blocks except the ineffective blocks is at its minimum.
Outline of related art and contending technology (In Japanese)


移動体、前方走行車両等をカメラの撮像フレ-ム内で追跡するためにテンプレートマッチングの手法が広く利用されている。
下記の特許文献1および2はいずれも、カメラで撮像した動画像中から先行車両に該当する領域をテンプレートとして抽出し、次フレーム以後連続フレーム間で照合を繰り返しつつ先行車両の位置を追跡する。テンプレートの移動距離やテンプレート内の画素値の分布変化によりテンプレートを随時更新しつつ車両の位置変化に応じて追跡を実現するものである。
【特許文献1】
特開2000-113158
【特許文献2】
特開2001-60263



しかし、局所的な照明変動が激しい一般道路においては、ブレーキ灯やヘッドライト、および方向指示器の点滅、トンネル内外や建物による陰影領域の通過などにおいて、追跡車両一台あたり一式のテンプレートを用いた追跡では、頻繁に位置ずれが生じ正しい結果が得られない。特にダイナミックレンジの低いカメラで車両を撮影した場合は、車両周辺の極端な照明変化により、追跡車両の一部の領域においてハレーションを起こしてしまうことなどにより追跡不能になる可能性が高い。また撮影用カメラと追跡車両との間の相対的な動きの影響により、サイズが固定のテンプレートで追跡することは困難である。
図9A~Fは、テンプレートマッチングの問題点と本発明方法を説明するために、比較するフレームを対比して示した説明図である。比較するフレーム順にフレームA~Fとして説明に利用する。
フレームAの対はトンネルの出口付近におけるテンプレートの照合結果を示しているが、照明変化により照合位置にずれが生じていることがわかる。



また、撮影用カメラと先行車両との相対的な距離や向きが変化した場合では、テンプレート自体の大きさや形状を変えない限り正確な位置を求めることは困難である。
図9BのフレームBの対で撮影用のカメラと先行車両との相対的な距離が変化したときのテンプレートの照合結果を示している。



これらの問題を解決するために、下記の特許文献3~5記載の発明により、追跡対象物体の画像領域内に複数の追跡小領域を設定し、各小領域個々に照合位置を独立に求め、得られたすべての照合位置の集合を解析することにより追跡対象物体全体の移動位置を求める手法が提案されている。
しかしこれらの手法を一般道路上における車載カメラからの先行車両追跡に適用した場合、車体色が一様の場合や、トンネル内など車体色と背景色の差がない場合は、個々の小領域の照合位置が分散しすぎてしまう傾向があり、その結果を解析しても車両全体の正確な位置が求められるとは限らない。
図9CのフレームCに、トンネルの出口付近において小領域ごとに照合位置を求めた結果を示している。小領域の照合位置が分散していることがわかる。
また、追跡対象物体に複数の追跡小領域を設定し、各小領域個々に照合結果を求めるが、各小領域が独立に照合位置を求めるのではなく、一式のプレート上に固定させて照合させる方法もある。(特許文献6はその一例である)この方法では、各小領域が分散することはないが、小領域間の相対的な位置が固定されているため、距離や進路方向が変化する場合など追跡対象物体の急激な幾何学変化に追従することが困難である。
【特許文献3】
特開2000-132691 映像領域追跡方法および装置
【特許文献4】
特開2002-373332 画像認識装置および画像認識方法
【特許文献5】
特開2004-118485 画像追跡装置および方法
【特許文献6】
特開2000-259838 画像追跡装置及び記録媒体



また、画像中の車両領域からエッジなどの特徴量を抽出し特徴が際立つ領域に限定して小領域を設定する手法も見られるが、追跡車両に対してヘッドライトや街頭などの外部照明が局所的に照射された場合は、その照明変化により被写体自身が保有している画像特徴が消滅・変形するか、または被写体上に新たな画像特徴が出現することになり、特徴量に頼った車両追跡の信頼性は低くなる。以上の問題は、オプティカルフローを用いて車両追跡を行う方法においても同様に起こり得る。

Field of industrial application (In Japanese)


本発明は、移動体、前方走行車両等をカメラの撮像フレ-ム内で追跡するための画像処理方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
局所的な照明変動下で逐次撮影・入力された画像列中の各画像中の移動体領域を追跡することにより移動体を追跡する画像処理装置により実行される、移動体追跡のための画像処理方法であって
前記画像から抽出された移動体領域テンプレートを複数のブロックテンプレートに分割する分割ステップと、
ブロックテンプレートの位置を共通のパラメータを用いた幾何学変換により変化させる変換ステップと、
前記変換ステップにおいて位置を変化させたブロックテンプレートごとに色度を用いた個別相違度を計算する第1算出ステップと、
各ブロックテンプレートの個別相違度と閾値と比較することで、該各ブロックテンプレートが有効ブロックか無効ブロックかを判定する判定ステップと、
有効ブロックと判定されたブロックテンプレートの個別相違度の平均値である有効平均相違度を算出する第2算出ステップと、
前記変換ステップ、前記第1算出ステップ、前記判定ステップ、及び前記第2算出ステップを前記共通のパラメータを変化させつつ繰り返し実行した後に、前記有効平均相違度が最小となるブロックテンプレートの位置から移動体領域テンプレートの照合位置を求める第3算出ステップと、
を含む移動体追跡のための画像処理方法。

【請求項2】
 
前記移動体は、観測位置に対して相対移動がある走行車両である請求項1記載の移動体追跡のための画像処理方法。

【請求項3】
 
前記分割ステップは、追跡対象の移動体領域を特定のサイズに分割するステップである、請求項1又は2に記載の移動体追跡のための画像処理方法。

【請求項4】
 
前記変換ステップは、前記各ブロックテンプレートの位置を共通のアフィン変換パラメータを用いたアフィン変換により変化させるステップである、請求項1~3のいずれか一項に記載の移動体追跡のための画像処理方法。

【請求項5】
 
前記第1算出ステップは、ブロックテンプレート内の各画素のR,G,B値の比率を用いた差分計算を用いるステップである、請求項1~4のいずれか一項に記載の移動体追跡のための画像処理方法。

【請求項6】
 
前記判定ステップは、ブロックテンプレートの個別相違度の最大値と最小値と平均値を判定の閾値に用いるステップである、請求項1~5のいずれか一項に記載の移動体追跡のための画像処理方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004370041thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close