Top > Search of Japanese Patents > IMAGE MOVEMENT DETECTOR

IMAGE MOVEMENT DETECTOR

Patent code P07A013064
Posted date Jan 25, 2008
Application number P2003-398244
Publication number P2005-157924A
Patent number P3914973
Date of filing Nov 27, 2003
Date of publication of application Jun 16, 2005
Date of registration Feb 16, 2007
Inventor
  • (In Japanese)木村 茂
  • (In Japanese)櫻井 宗晃
  • (In Japanese)大橋 洋一
Applicant
  • (In Japanese)防衛装備庁長官
Title IMAGE MOVEMENT DETECTOR
Abstract PROBLEM TO BE SOLVED: To accurately and easily detect the movement of images whose object is a target or background under consideration from the complicated change of picked-up images generated by the movement of an image pickup device or the like.
SOLUTION: An image movement detector comprises: a part-under-consideration information input means 1803 for inputting or setting the information of the part of the target or the background under consideration; a setting means 1802 for weighting or the like for collating the information from the part-under-consideration information input means 1803 and the contents of the image, performing weighting so as to increase weight at the part under consideration and reduce the weight of the part considered as the part other than the part under consideration and setting the initial value of movement amount calculation as needed; and a movement amount calculation means 1801 in which weighting or the like is taken into consideration for utilizing the weighting coefficient of weighting and the initial value of the movement amount calculation set in the setting means 1802 for weighting or the like and estimating the movement amount of the image paying attention to the part under consideration or excluding the part under consideration.
Outline of related art and contending technology (In Japanese)


一般に、画像安定化とは、画像の動き量を検出して、それを補正して安定した画像を生成することを言う。図8は動画像を画像安定化(空間安定化)する処理のブロック図の例である。動画像101が入力され、安定化された動画像102が処理結果として出力される。動き量計算手段103では動画像101の現在の入力画像107を参照画像108と比較し動き量を推定する。その推定された動き量から、動き量のフィルタリング104では、画像の小さな振動は吸収し画像全体がゆっくりパンする様な動きはそのままとなるように画像出力を安定化するように、推定された動き量を基に適切なフィルタリング処理を施し画像の動きの補正量を求める。画像ワープ部105では、求まった画像の動きの補正量に基づき、入力画像107に対して幾何学的な変換を施し画像を安定化する。また、この画像ワープされ安定化された画像は、画像バッファ106を経由した後、動き量計算手段103の入力の一つである参照画像108となる。



ここでは、画像安定化の例で説明したが、動き量計算手段103で行うような画像間の動き量の検出は、画像貼り合わせ、画像照合、画像融合、画像鮮鋭化、移動目標検出、目標追跡、画像誘導、画像圧縮、ステレオ画像処理、3次元画像解析等の広範囲な分野で必要となる機能である。



例えば、画像貼り合わせを行う場合、すなわち、重なりを持つ分割撮影された複数枚の画像を貼り合わせて1枚の広視野・高解像度のパノラマ画像を合成するような場合、画像間の位置合わせ行うために画像間の動き量を正確に求める必要がある。画像融合の例としては、遠くに焦点を合わせた画像と近くに焦点を合わせた画像間の動き量を検出し画像の対応付けができれば、遠くも近くも焦点が合った合成画像を作り出すことができる。



以下では、このような画像安定化、画像貼り合わせなどの各種画像処理で必要となる画像の変形量や動き量を推定するための従来の技術について説明する。画像間の変形量や動き量を計測する方法には、(1) 対応探索法、(2) 明度勾配法、(3) 周波数空間での分析法などがある。本発明は、これら全ての画像間の変形量や動き量を計測する方法に適用できる。ここでは簡単のため、全ての可能性のある動き量を逐一探索する対応探索法( マッチング法とも呼ばれる) などと比べ、基本的に探索を必要とせず高速に処理ができる明度勾配法を例に用いて説明する。なお、ここで扱う画像の動き量とは単に1点の動き量だけではなく、ある広がりを持った領域や画像全体の変形量や動き量を対象としている。



まず、明度勾配法により、2枚の画像から、ある点(画素)の動き量を、どのようにして求めることができるか説明する。明度勾配法は、画像処理で問題となる対応付けの処理を行う必要が無く、画像の動き量を画素の明度変化から高速に計算できる方法である。図9はその明度勾配法の原理を示したものである。ここでは簡単のため1次元で考え、縦軸に画像の明度I、横軸に画像上の座標xをとり、かつ画像明度I(x)の勾配は一定で線形的な変化をしているものとする。そして、時刻t1の画像I1(x)が時刻t2では画像I2(x)に変化したとする。すなわち、画像I1(x)のx1にあった点は、画像I2(x)ではx2の位置に移動したことになる。ここでは、移動後も物体の明度が変わらないという前提である。画像明度の平行な2つの直線の間にできる三角形の勾配がIxで、高さが明度差dI=I2(x1)-I1(x1)、底辺が移動量dx=x2-x1であることから、移動量dxは点x1の勾配Ixと明度差dIから計算できることが分かる(dx=-dI/Ix )。



ここで示した1次元の関係は、2次元の動き量と明度変化の間でも成り立つ(下記式参照)。



【数1】




式(1)は2次元的な動き量(u,v)と明度変化の関係を示した関係式(明度勾配法の拘束式)である。但し、Ix:x軸方向の勾配、Iy:y軸方向の勾配、It:明度差である。x軸方向の勾配Ix、y軸方向の勾配Iy及び画像間の明度差Itは式(2)で与えられる。明度差Itはその点の画像間での明度の差を計算する。また、x軸方向の勾配Ixとy軸方向の勾配Iyは、例えば、図10に示すような差分オペレータで計算することができる。よって、x軸方向の勾配Ix、y軸方向の勾配Iy及び画像間の明度差Itは画像から直接求めることができ、式(1)の拘束式から、2次元の動き量(u,v)を計算することができる。ただ、式(1)において未知数は、u,vの2個であるので、ある点(x,y)の2次元の動き量{u(x,y),v(x,y)}は、例えば、同じ動き量をしていると見なせる、点(x,y)の近傍の点の拘束式と連立して解くことができる。このように、明度勾配法は基本となる演算は簡単で探索も必要でないため良い方法であるが、先の説明で示したように明度変化(明度勾配)が一定で明度I1,I2がほぼ平行移動しているような場合にしか式(1)が成り立たない。実際の画像の明度変化は局所的には明度の勾配は一定であると見なせてもそれには限度があり、動き量が比較的小さい場合にしか式(1)を適用できない。また、連立させる方程式の数が少ないと、すなわち動き量の計算を行う画像ウインドウの大きさが小さいと、求められる動き量の推定値はかなり不安定になる。



図11は動き量が小さい場合と大きい場合で、明度勾配法がうまく適用できるか、どうかを図示したものである。図11(a) の場合の画像I1とI2の間の動き量は少なく、お互いに明度曲線が平行になる部分があることが分かる。これに対し、図11(b)の場合の画像I1とI2の間の動き量は大きく、お互いに明度曲線が平行になる部分が少ない。このため、図11(b)の様な場合に、直接、明度勾配法を適用しても、上手く画像間の動き量を求めることができない。



そこで、図11(b) の様な大きな動き量の場合に明度勾配法を適用するには、ピラミッド画像( 多重解像度画像) 等を利用して、少しずつ反復して動き量を計算して行くような方法がとられる。



前節では、明度勾配法により2枚の画像から画像上のある点の動き量を、どのようにして求めるか説明した。次に、単に1点の動き量だけはなく、ある広がりを持った領域や画像全体の変形量や動き量を、どうやって求めるか説明する。基本的には、広い領域でも個別の画素や小領域に分割すれば、前節で説明した同じやり方で個別に動き量を求めることができるが、ここでは領域全体の変形量や移動量をコンパクトにパラメトリックな形で表現した形で求めるものとして話を進める。そのパラメトリックな形で求めるとは、例えば、各点の動き量を何らかのモーションモデルでモデル化し、そのモーションモデル(何らかの画像位置(x,y)の関数で表現される)の係数を求めることである。画像1、画像2の明度をそれぞれI1(x,y),I2(x,y)で表すとする。図12は画像I1(x,y)から画像I2(x,y)の画像全体の動き量をパラメトリックに表現する例を示している。ここで、画像の各点の動き量は2次元のベクトル(動きベクトルと呼ばれる)であり、幾何変換の一つであるアフィン変換で表されている。画像間の動き量を算出するとは、例えば、このアフィン変換の係数(a,b,c,d,e,f)を求めることに他ならない(下記式参照)。



【数2】


式(4)のアフィン変換のモデルを用いれば、画像の平行移動、拡大・縮小、回転及びくさび形変形の動きを表現することができる。簡単な平行移動だけの場合の時は平行移動のモデルの式(3)の形で良い。式(5)は3次元空間中にある平面が移動した場合( 図13参照) に、撮像される画像上に引き起こされる移動量を近似したモデル(ここでは、移動3D平面モデルと表現する) である(より厳密な移動量は平面射影変換の変換式で計算することもできる)。対象とするシーンが遠景である場合や、近くでも建物や壁、黒板などの平面的でカメラの回転量が小さい場合は、この移動3D平面モデルで近似できる。



次に、これらの画像の動きのモデルを前提として、画像の変形量や動き量を算出する方法を説明する。平行移動のモデル{式(3)}、アフィン変換のモデル{式(4)}、移動3D平面モデル{式(5)}と段階的に、より複雑な画像の動き表現できるが、これらの画像の動きのモデルを用いて画像の変形量や動き量を算出するとは、これらの式のa,b,c,…,hの係数がどうなるか計算することである。この係数a,b,c,…,hを計算するのに良く用いられる方法は、対象とする領域R内で明度勾配法の拘束式{式(1)}の二乗誤差を最小にする方法(最小二乗法)である。すなわち、下記式(6)で示される二乗誤差E2を最小にする解を求める。



【数3】


平行移動のモデルの場合は式(7)、アフィン変換のモデルの場合は式(8)、移動3D平面モデルの場合は下記式(10)に示す連立方程式を解けば、係数a,b,c,…,hを算出することができる。ここで式(7)から式(11)のΣは、対象とする領域Rでの加算を表している。
【数4】




ここでは詳しく述べないが、厳密な座標計算を行う平面射影変換などのモデルや対象が曲面だと仮定するようなモデルを用いても、非線形の最適化計算が必要となることもあるが、基本的には動き量を計算することができる。ただ、実際に写るシーンは複雑で、単純な平面や曲面で当てはめることはできない場合がある。そのような場合は、近似できる範囲で画像の領域を分割して、動き量を計算する。細かく分割した場合、例えば、極端には1画素単位程度の領域に分割しても、原理的には動き量を計算できるが、計算も各点で必要で必ずしも安定した正確な動き量が計算できるとは限らない。通常は、動き量の計算が安定する、ある程度の大きさの領域で計算されることが多い。



前節で説明したように、遠方のシーン、又は同じ距離にあったり、同じ平面上にある物体を撮影したようなシーンであれば、画像全体の動き量を正確に求めることができる。また、写るシーンが複雑な場合は、近似できる範囲で画像の領域を複数の小領域に分割して、それぞれで動き量を計算できる。



しかし、実際にはどのように分割するかが問題となる。対象までの距離や形が事前に分かっていれば、それを反映した分割も可能であるが、通常はそのような情報を持っていない場合が普通である。また、因子分解法などの動画像から3次元形状を復元する技術もあるので、そのような技術を用いて画像を分割することも考えられるが、一般に計算量が膨大である上、動画像から3次元形状を復元するにも前処理として画像の動き量を計測する必要があり、本質的な解決にはならない。



例えば、図14に遠近の物体が混在して写る場合の様子を示している。手前に樹木、遠くに車両や山が写るシーンである。図14に示すように、カメラが左に動いたとき、全体として画像中の物体は右に移動する。確かに、全体として画像中の物体は右に移動するが、画像の内容によって、すなわち、手前の樹木は大きく、遠くの車両は小さく、それぞれ移動する量が異なる。このような動きをする場合、画像を複数の領域に分割せずに、画像全体の正確な動き量を検出するのは難しい( 言い換えると、従来の動き量のモデルを用いて記述するのは難しい)。例えば、移動3D平面モデル{式(5)}や平面射影変換等を使用して、動き量を求めてしまうことも可能であるが、正確な動き量を検出できない。ただ、実際の応用では、多少問題が発生しようと、強引に処理して動き量を算出することも多い。実時間の画像安定化などの応用では処理時間が問題となるため、複雑な処理ができず、単純な平行移動のモデル{式(3)}で、水平、垂直の移動量しか検出せず、その水平、垂直の移動の補正しかできない装置もある。また、図14のような遠近の物体が混在するような場合、従来、良くやられる方法としては、注目するのがどの辺であるか絞り込んで、その注目する領域だけを画像安定化する方法である。



図15は従来の実時間の画像安定化に用いられる動き量を算出する処理ブロックを示したものである。動画像の現在の入力画像107を参照画像108と比較し動き量を推定する動き量計算手段103の前段に、動き量計算範囲設定手段1401が設けられており、画像全体1402に対して動き量が計算される範囲(部分領域)1403が設定可能となっている。これにより、動き量計算手段103の処理対象となる処理範囲を、動き量計算範囲設定手段1401により設定し、それによって指定した範囲1403の動き量だけ計算する。こうすれば、画像全体1402の安定化は無理でも注目する領域(平面等で近似的にモデル化できる必要がある)については安定化することができる。

Field of industrial application (In Japanese)


本発明は、画像安定化、画像貼り合わせ、画像照合、画像融合、画像鮮鋭化、移動目標検出、目標追跡、画像誘導、画像圧縮、ステレオ画像処理、3次元画像解析等の広範囲な分野で必要となる画像の変形や画像の動き量を計測する画像の動き検出装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
画像中の目標又は背景の動き量を検出する画像の動き検出装置において、
注目する目標又は背景の部分の情報を入力又は設定する、注目する部分の情報の入力手段と、
重み付けとは前記注目する部分を画像位置と関連付けて画像位置により変化する重み係数を設定することであり、前記注目する部分の情報の入力手段からの情報と画像の内容とをつき合わせ、前記注目する部分は重みを大きく、前記注目する部分以外と考えられる部分の重みは小さくするように重み付けし、動き量計算の初期値を設定する重み付け等設定手段と、
前記重み付け等設定手段で設定された重み付けの重み係数や動き量計算の初期値を利用して、前記注目する部分に着目し又は注目する部分を排除して画像の動き量を推定する重み付け等を考慮した動き量計算手段とを備え、
画像の動き量を検出する過程において、前記重み付け等設定手段及び前記重み付け等を考慮した動き量計算手段は反復処理を繰り返して最終的な画像の動き量を推定するものであり、前記重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き量計算手段の画像の動き量推定結果を反映して重み付けを適応的に調整する機能を有し、前記重み付け等を考慮した動き量計算手段は反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けの重み係数を利用することを特徴とする画像の動き検出装置。

【請求項2】
 
前記注目する部分の情報の入力手段は、前記注目する目標又は背景の部分の画像位置、画像範囲、距離、大きさ、変形度、2次元形状、3次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報のうち少なくとも一つ以上の情報を入力又は設定する請求項1記載の画像の動き検出装置。

【請求項3】
 
動き量を計測する入力画像から多重解像度の画像を生成し、その多重解像度の画像を利用して粗密探索を行い、処理の反復の過程で徐々に画像の動き量を推定する請求項1又は2記載の画像の動き検出装置。

【請求項4】
 
前記注目する部分の情報の入力手段は、時系列的に前の処理結果の情報を利用して、注目する部分の情報を設定する請求項1,2又は3記載の画像の動き検出装置。

【請求項5】
 
前記注目する部分を画像位置と関連付ける、画像位置により変化する重み係数について、矩形ウインドウ単位又は任意の形状の領域単位で同じ重み係数で扱う形の処理で具現化するか、又は矩形ウインドウ単位又は任意の形状の領域単位で重み係数を0又は1と選択するのと等価な処理で具現化した請求項1,2,3又は4記載の画像の動き検出装置。

【請求項6】
 
前記重み係数とは、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数であり、画像変化とは画像の動き量を計測する対象の画像間での撮影環境、画像撮像装置の違いから生じる変化であり、画像間の動き量を計測するのに障害となる画像変化の大きい部分は注目しないように重み係数を適応的に調整する請求項1,2,3,4又は5記載の画像の動き検出装置。

【請求項7】
 
可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算する請求項6記載の画像の動き検出装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2003398244thum.jpg
State of application right Registered
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close