TOP > 国内特許検索 > 画像の動き検出装置 > 明細書

明細書 :画像の動き検出装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3914973号 (P3914973)
公開番号 特開2005-157924 (P2005-157924A)
登録日 平成19年2月16日(2007.2.16)
発行日 平成19年5月16日(2007.5.16)
公開日 平成17年6月16日(2005.6.16)
発明の名称または考案の名称 画像の動き検出装置
国際特許分類 G06T   7/20        (2006.01)
FI G06T 7/20 B
請求項の数または発明の数 7
全頁数 30
出願番号 特願2003-398244 (P2003-398244)
出願日 平成15年11月27日(2003.11.27)
審査請求日 平成15年11月27日(2003.11.27)
特許権者または実用新案権者 【識別番号】390014306
【氏名又は名称】防衛省技術研究本部長
発明者または考案者 【氏名】木村 茂
【氏名】櫻井 宗晃
【氏名】大橋 洋一
個別代理人の代理人 【識別番号】100079290、【弁理士】、【氏名又は名称】村井 隆
審査官 【審査官】新井 則和
参考文献・文献 特開2000-076449(JP,A)
特開平08-335268(JP,A)
特開2003-223638(JP,A)
特開平04-256079(JP,A)
調査した分野 G06T 7/20
特許請求の範囲 【請求項1】
画像中の目標又は背景の動き量を検出する画像の動き検出装置において、
注目する目標又は背景の部分の情報を入力又は設定する、注目する部分の情報の入力手段と、
重み付けとは前記注目する部分を画像位置と関連付けて画像位置により変化する重み係数を設定することであり、前記注目する部分の情報の入力手段からの情報と画像の内容とをつき合わせ、前記注目する部分は重みを大きく、前記注目する部分以外と考えられる部分の重みは小さくするように重み付けし、動き量計算の初期値を設定する重み付け等設定手段と、
前記重み付け等設定手段で設定された重み付けの重み係数や動き量計算の初期値を利用して、前記注目する部分に着目し又は注目する部分を排除して画像の動き量を推定する重み付け等を考慮した動き量計算手段とを備え、
画像の動き量を検出する過程において、前記重み付け等設定手段及び前記重み付け等を考慮した動き量計算手段は反復処理を繰り返して最終的な画像の動き量を推定するものであり、前記重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き量計算手段の画像の動き量推定結果を反映して重み付けを適応的に調整する機能を有し、前記重み付け等を考慮した動き量計算手段は反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けの重み係数を利用することを特徴とする画像の動き検出装置。
【請求項2】
前記注目する部分の情報の入力手段は、前記注目する目標又は背景の部分の画像位置、画像範囲、距離、大きさ、変形度、2次元形状、3次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報のうち少なくとも一つ以上の情報を入力又は設定する請求項1記載の画像の動き検出装置。
【請求項3】
動き量を計測する入力画像から多重解像度の画像を生成し、その多重解像度の画像を利用して粗密探索を行い、処理の反復の過程で徐々に画像の動き量を推定する請求項1又は2記載の画像の動き検出装置。
【請求項4】
前記注目する部分の情報の入力手段は、時系列的に前の処理結果の情報を利用して、注目する部分の情報を設定する請求項1,2又は3記載の画像の動き検出装置。
【請求項5】
前記注目する部分を画像位置と関連付ける、画像位置により変化する重み係数について、矩形ウインドウ単位又は任意の形状の領域単位で同じ重み係数で扱う形の処理で具現化するか、又は矩形ウインドウ単位又は任意の形状の領域単位で重み係数を0又は1と選択するのと等価な処理で具現化した請求項1,2,3又は4記載の画像の動き検出装置。
【請求項6】
前記重み係数とは、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数であり、画像変化とは画像の動き量を計測する対象の画像間での撮影環境、画像撮像装置の違いから生じる変化であり、画像間の動き量を計測するのに障害となる画像変化の大きい部分は注目しないように重み係数を適応的に調整する請求項1,2,3,4又は5記載の画像の動き検出装置。
【請求項7】
可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算する請求項6記載の画像の動き検出装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像安定化、画像貼り合わせ、画像照合、画像融合、画像鮮鋭化、移動目標検出、目標追跡、画像誘導、画像圧縮、ステレオ画像処理、3次元画像解析等の広範囲な分野で必要となる画像の変形や画像の動き量を計測する画像の動き検出装置に関するものである。
【背景技術】
【0002】
一般に、画像安定化とは、画像の動き量を検出して、それを補正して安定した画像を生成することを言う。図8は動画像を画像安定化(空間安定化)する処理のブロック図の例である。動画像101が入力され、安定化された動画像102が処理結果として出力される。動き量計算手段103では動画像101の現在の入力画像107を参照画像108と比較し動き量を推定する。その推定された動き量から、動き量のフィルタリング104では、画像の小さな振動は吸収し画像全体がゆっくりパンする様な動きはそのままとなるように画像出力を安定化するように、推定された動き量を基に適切なフィルタリング処理を施し画像の動きの補正量を求める。画像ワープ部105では、求まった画像の動きの補正量に基づき、入力画像107に対して幾何学的な変換を施し画像を安定化する。また、この画像ワープされ安定化された画像は、画像バッファ106を経由した後、動き量計算手段103の入力の一つである参照画像108となる。
【0003】
ここでは、画像安定化の例で説明したが、動き量計算手段103で行うような画像間の動き量の検出は、画像貼り合わせ、画像照合、画像融合、画像鮮鋭化、移動目標検出、目標追跡、画像誘導、画像圧縮、ステレオ画像処理、3次元画像解析等の広範囲な分野で必要となる機能である。
【0004】
例えば、画像貼り合わせを行う場合、すなわち、重なりを持つ分割撮影された複数枚の画像を貼り合わせて1枚の広視野・高解像度のパノラマ画像を合成するような場合、画像間の位置合わせ行うために画像間の動き量を正確に求める必要がある。画像融合の例としては、遠くに焦点を合わせた画像と近くに焦点を合わせた画像間の動き量を検出し画像の対応付けができれば、遠くも近くも焦点が合った合成画像を作り出すことができる。
【0005】
以下では、このような画像安定化、画像貼り合わせなどの各種画像処理で必要となる画像の変形量や動き量を推定するための従来の技術について説明する。画像間の変形量や動き量を計測する方法には、(1) 対応探索法、(2) 明度勾配法、(3) 周波数空間での分析法などがある。本発明は、これら全ての画像間の変形量や動き量を計測する方法に適用できる。ここでは簡単のため、全ての可能性のある動き量を逐一探索する対応探索法( マッチング法とも呼ばれる) などと比べ、基本的に探索を必要とせず高速に処理ができる明度勾配法を例に用いて説明する。なお、ここで扱う画像の動き量とは単に1点の動き量だけではなく、ある広がりを持った領域や画像全体の変形量や動き量を対象としている。
【0006】
まず、明度勾配法により、2枚の画像から、ある点(画素)の動き量を、どのようにして求めることができるか説明する。明度勾配法は、画像処理で問題となる対応付けの処理を行う必要が無く、画像の動き量を画素の明度変化から高速に計算できる方法である。図9はその明度勾配法の原理を示したものである。ここでは簡単のため1次元で考え、縦軸に画像の明度I、横軸に画像上の座標xをとり、かつ画像明度I(x)の勾配は一定で線形的な変化をしているものとする。そして、時刻tの画像I(x)が時刻tでは画像I(x)に変化したとする。すなわち、画像I(x)のxにあった点は、画像I(x)ではxの位置に移動したことになる。ここでは、移動後も物体の明度が変わらないという前提である。画像明度の平行な2つの直線の間にできる三角形の勾配がIxで、高さが明度差dI=I(x)-I(x)、底辺が移動量dx=x-xであることから、移動量dxは点xの勾配Ixと明度差dIから計算できることが分かる(dx=-dI/Ix )。
【0007】
ここで示した1次元の関係は、2次元の動き量と明度変化の間でも成り立つ(下記式参照)。
【0008】
【数1】
JP0003914973B2_000002t.gif

【0009】
式(1)は2次元的な動き量(u,v)と明度変化の関係を示した関係式(明度勾配法の拘束式)である。但し、Ix:x軸方向の勾配、Iy:y軸方向の勾配、It:明度差である。x軸方向の勾配Ix、y軸方向の勾配Iy及び画像間の明度差Itは式(2)で与えられる。明度差Itはその点の画像間での明度の差を計算する。また、x軸方向の勾配Ixとy軸方向の勾配Iyは、例えば、図10に示すような差分オペレータで計算することができる。よって、x軸方向の勾配Ix、y軸方向の勾配Iy及び画像間の明度差Itは画像から直接求めることができ、式(1)の拘束式から、2次元の動き量(u,v)を計算することができる。ただ、式(1)において未知数は、u,vの2個であるので、ある点(x,y)の2次元の動き量{u(x,y),v(x,y)}は、例えば、同じ動き量をしていると見なせる、点(x,y)の近傍の点の拘束式と連立して解くことができる。このように、明度勾配法は基本となる演算は簡単で探索も必要でないため良い方法であるが、先の説明で示したように明度変化(明度勾配)が一定で明度I,Iがほぼ平行移動しているような場合にしか式(1)が成り立たない。実際の画像の明度変化は局所的には明度の勾配は一定であると見なせてもそれには限度があり、動き量が比較的小さい場合にしか式(1)を適用できない。また、連立させる方程式の数が少ないと、すなわち動き量の計算を行う画像ウインドウの大きさが小さいと、求められる動き量の推定値はかなり不安定になる。
【0010】
図11は動き量が小さい場合と大きい場合で、明度勾配法がうまく適用できるか、どうかを図示したものである。図11(a) の場合の画像IとIの間の動き量は少なく、お互いに明度曲線が平行になる部分があることが分かる。これに対し、図11(b)の場合の画像IとIの間の動き量は大きく、お互いに明度曲線が平行になる部分が少ない。このため、図11(b)の様な場合に、直接、明度勾配法を適用しても、上手く画像間の動き量を求めることができない。
【0011】
そこで、図11(b) の様な大きな動き量の場合に明度勾配法を適用するには、ピラミッド画像( 多重解像度画像) 等を利用して、少しずつ反復して動き量を計算して行くような方法がとられる。
【0012】
前節では、明度勾配法により2枚の画像から画像上のある点の動き量を、どのようにして求めるか説明した。次に、単に1点の動き量だけはなく、ある広がりを持った領域や画像全体の変形量や動き量を、どうやって求めるか説明する。基本的には、広い領域でも個別の画素や小領域に分割すれば、前節で説明した同じやり方で個別に動き量を求めることができるが、ここでは領域全体の変形量や移動量をコンパクトにパラメトリックな形で表現した形で求めるものとして話を進める。そのパラメトリックな形で求めるとは、例えば、各点の動き量を何らかのモーションモデルでモデル化し、そのモーションモデル(何らかの画像位置(x,y)の関数で表現される)の係数を求めることである。画像1、画像2の明度をそれぞれI(x,y),I(x,y)で表すとする。図12は画像I(x,y)から画像I(x,y)の画像全体の動き量をパラメトリックに表現する例を示している。ここで、画像の各点の動き量は2次元のベクトル(動きベクトルと呼ばれる)であり、幾何変換の一つであるアフィン変換で表されている。画像間の動き量を算出するとは、例えば、このアフィン変換の係数(a,b,c,d,e,f)を求めることに他ならない(下記式参照)。
【0013】
【数2】
JP0003914973B2_000003t.gif
式(4)のアフィン変換のモデルを用いれば、画像の平行移動、拡大・縮小、回転及びくさび形変形の動きを表現することができる。簡単な平行移動だけの場合の時は平行移動のモデルの式(3)の形で良い。式(5)は3次元空間中にある平面が移動した場合( 図13参照) に、撮像される画像上に引き起こされる移動量を近似したモデル(ここでは、移動3D平面モデルと表現する) である(より厳密な移動量は平面射影変換の変換式で計算することもできる)。対象とするシーンが遠景である場合や、近くでも建物や壁、黒板などの平面的でカメラの回転量が小さい場合は、この移動3D平面モデルで近似できる。
【0014】
次に、これらの画像の動きのモデルを前提として、画像の変形量や動き量を算出する方法を説明する。平行移動のモデル{式(3)}、アフィン変換のモデル{式(4)}、移動3D平面モデル{式(5)}と段階的に、より複雑な画像の動き表現できるが、これらの画像の動きのモデルを用いて画像の変形量や動き量を算出するとは、これらの式のa,b,c,…,hの係数がどうなるか計算することである。この係数a,b,c,…,hを計算するのに良く用いられる方法は、対象とする領域R内で明度勾配法の拘束式{式(1)}の二乗誤差を最小にする方法(最小二乗法)である。すなわち、下記式(6)で示される二乗誤差Eを最小にする解を求める。
【0015】
【数3】
JP0003914973B2_000004t.gif
平行移動のモデルの場合は式(7)、アフィン変換のモデルの場合は式(8)、移動3D平面モデルの場合は下記式(10)に示す連立方程式を解けば、係数a,b,c,…,hを算出することができる。ここで式(7)から式(11)のΣは、対象とする領域Rでの加算を表している。
【数4】
JP0003914973B2_000005t.gif

【0016】
ここでは詳しく述べないが、厳密な座標計算を行う平面射影変換などのモデルや対象が曲面だと仮定するようなモデルを用いても、非線形の最適化計算が必要となることもあるが、基本的には動き量を計算することができる。ただ、実際に写るシーンは複雑で、単純な平面や曲面で当てはめることはできない場合がある。そのような場合は、近似できる範囲で画像の領域を分割して、動き量を計算する。細かく分割した場合、例えば、極端には1画素単位程度の領域に分割しても、原理的には動き量を計算できるが、計算も各点で必要で必ずしも安定した正確な動き量が計算できるとは限らない。通常は、動き量の計算が安定する、ある程度の大きさの領域で計算されることが多い。
【0017】
前節で説明したように、遠方のシーン、又は同じ距離にあったり、同じ平面上にある物体を撮影したようなシーンであれば、画像全体の動き量を正確に求めることができる。また、写るシーンが複雑な場合は、近似できる範囲で画像の領域を複数の小領域に分割して、それぞれで動き量を計算できる。
【0018】
しかし、実際にはどのように分割するかが問題となる。対象までの距離や形が事前に分かっていれば、それを反映した分割も可能であるが、通常はそのような情報を持っていない場合が普通である。また、因子分解法などの動画像から3次元形状を復元する技術もあるので、そのような技術を用いて画像を分割することも考えられるが、一般に計算量が膨大である上、動画像から3次元形状を復元するにも前処理として画像の動き量を計測する必要があり、本質的な解決にはならない。
【0019】
例えば、図14に遠近の物体が混在して写る場合の様子を示している。手前に樹木、遠くに車両や山が写るシーンである。図14に示すように、カメラが左に動いたとき、全体として画像中の物体は右に移動する。確かに、全体として画像中の物体は右に移動するが、画像の内容によって、すなわち、手前の樹木は大きく、遠くの車両は小さく、それぞれ移動する量が異なる。このような動きをする場合、画像を複数の領域に分割せずに、画像全体の正確な動き量を検出するのは難しい( 言い換えると、従来の動き量のモデルを用いて記述するのは難しい)。例えば、移動3D平面モデル{式(5)}や平面射影変換等を使用して、動き量を求めてしまうことも可能であるが、正確な動き量を検出できない。ただ、実際の応用では、多少問題が発生しようと、強引に処理して動き量を算出することも多い。実時間の画像安定化などの応用では処理時間が問題となるため、複雑な処理ができず、単純な平行移動のモデル{式(3)}で、水平、垂直の移動量しか検出せず、その水平、垂直の移動の補正しかできない装置もある。また、図14のような遠近の物体が混在するような場合、従来、良くやられる方法としては、注目するのがどの辺であるか絞り込んで、その注目する領域だけを画像安定化する方法である。
【0020】
図15は従来の実時間の画像安定化に用いられる動き量を算出する処理ブロックを示したものである。動画像の現在の入力画像107を参照画像108と比較し動き量を推定する動き量計算手段103の前段に、動き量計算範囲設定手段1401が設けられており、画像全体1402に対して動き量が計算される範囲(部分領域)1403が設定可能となっている。これにより、動き量計算手段103の処理対象となる処理範囲を、動き量計算範囲設定手段1401により設定し、それによって指定した範囲1403の動き量だけ計算する。こうすれば、画像全体1402の安定化は無理でも注目する領域(平面等で近似的にモデル化できる必要がある)については安定化することができる。
【発明の開示】
【発明が解決しようとする課題】
【0021】
以上、画像の変形量や動き量をどのように計算するか示した。また、複雑な背景の場合は、注目する領域を指定して、その部分だけの動き量を求める方法を示した。しかしながら、実際の画像では注目する対象が同じ位置に存在しているわけではない。一度、録画された画像を処理するのであれば、予め、どの部位を安定化するか指示できるかもしれないが、実時間で画像安定化するような場合などを考えても、シーンの変化に応じて、動き量の計算の処理範囲を人が設定するには無理があるなど実際には色々な問題が発生する。
【0022】
そこで、本発明は、以下に列挙する課題を解決しようとするものである。
(1) 画像について動き量を計算する領域(注目する領域)を適切に入力するのは難しい。 注目するのは点ではなく、画像上のある広がりを持った領域である場合が普通で、しかも多様な領域の形をしている。その領域を含む単純な矩形のウインドウを人が指定するにしても、矩形のウインドウの中心位置、ウインドウの縦と横の大きさを与える必要がある。また、動画像を対象とした場合、画像の内容は時々刻々と変化していくため、注目したい領域も位置、大きさ、形がどんどん変化する。これを人が逐一、指定していくのは大変である。できれば、なるべく、詳細な指示が要らない形で動き量の計算範囲が自動的に決まるのが理想である。例えば、ある距離の目標に注目したいという条件設定をしたら、自動的に指定された条件の領域を選択識別して、画像の安定化等の処理を行って欲しい。
(2) 注目する領域を指定しても、不安定な部分が入り込む。
動画像では今までは背景に含まれ静止していた物体が移動し始めることがある。例えば、注目する領域の位置や形が適切に設定されても、対象範囲に含まれる物体が急に移動したら、静止した背景を想定した平面のモデルで動き量を求めると、正しい動き量を計算できなくなる場合がある。また、画像背景中の物体が移動したりするだけでなく、撮影時刻のズレから影の位置が変わったり撮影環境や画像センサーの違いから、全体の画像の動き検出に障害となるような不安定な部分が入り込むことがある。
【0023】
本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。
【課題を解決するための手段】
【0024】
上記目的を達成するために、本願請求項1の発明は、画像中の目標又は背景の動き量を検出する画像の動き検出装置において、
注目する目標又は背景の部分の情報を入力又は設定する、注目する部分の情報の入力手段と、
重み付けとは前記注目する部分を画像位置と関連付けて画像位置により変化する重み係数を設定することであり、前記注目する部分の情報の入力手段からの情報と画像の内容とをつき合わせ、前記注目する部分は重みを大きく、前記注目する部分以外と考えられる部分の重みは小さくするように重み付けし、動き量計算の初期値を設定する重み付け等設定手段と、
前記重み付け等設定手段で設定された重み付けの重み係数や動き量計算の初期値を利用して、前記注目する部分に着目し又は注目する部分を排除して画像の動き量を推定する重み付け等を考慮した動き量計算手段とを備え、
画像の動き量を検出する過程において、前記重み付け等設定手段及び前記重み付け等を考慮した動き量計算手段は反復処理を繰り返して最終的な画像の動き量を推定するものであり、前記重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き量計算手段の画像の動き量推定結果を反映して重み付けを適応的に調整する機能を有し、前記重み付け等を考慮した動き量計算手段は反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けの重み係数を利用することを特徴としている。
【0025】
本願請求項2の発明に係る画像の動き検出装置は、請求項1において、前記注目する部分の情報の入力手段は、前記注目する目標又は背景の部分の画像位置、画像範囲、距離、大きさ、変形度、2次元形状、3次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報のうち少なくとも一つ以上の情報を入力又は設定することを特徴としている。
【0026】
本願請求項3の発明に係る画像の動き検出装置は、請求項1又は2記載の発明で必要となる反復処理をより効率的に行うために、動き量を計測する入力画像から多重解像度の画像を生成し、その多重解像度の画像を利用して粗密探索を行い、処理の反復の過程で徐々に画像の動き量を推定することを特徴としている。
【0027】
本願請求項4の発明に係る画像の動き検出装置は、請求項1,2又は3において、前記注目する部分の情報の入力手段は、時系列的に前の処理結果の情報を利用して、注目する部分の情報を設定することを特徴としている。
【0028】
本願請求項5の発明に係る画像の動き検出装置は、請求項1,2,3又は4において、前記注目する部分を画像位置と関連付ける、画像位置により変化する重み係数について、矩形ウインドウ単位又は任意の形状の領域単位で同じ重み係数で扱う形の処理で具現化するか、又は矩形ウインドウ単位又は任意の形状の領域単位で重み係数を0又は1と選択するのと等価な処理で具現化したことを特徴としている。
【0029】
本願請求項6の発明に係る画像の動き検出装置は、請求項1,2,3,4又は5において、前記重み係数とは、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数であり、画像変化とは画像の動き量を計測する対象の画像間での撮影環境、画像撮像装置の違いから生じる変化であり、画像間の動き量を計測するのに障害となる画像変化の大きい部分は注目しないように重み係数を適応的に調整することを特徴としている。
【0030】
本願請求項7の発明に係る画像の動き検出装置は、請求項6において、可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算することを特徴としている。
【0031】
まず、基本となる請求項1記載の発明がどのように作用するか説明する。画像中に遠近の物体が混在しており、例えば、その遠方にある物体に注目し動き量を抽出する場合を考える。
【0032】
そのような状況を図16に示す。時刻tで撮像された画像I上で領域Aと領域Bが隣合って写っており、注目する領域Aの物体はカメラから遠く、領域Bの物体はカメラの近くにあるものとする。その画像Iの明度変化の例を示したものが図16(a)である。この図では、簡単のため1次元(x軸)で明度の変化を表している。下の図16(b)では、時刻tで撮像された画像Iの明度変化の例を示している。画像Iでは、左手方向にカメラが動いたことにより、領域Aと領域Bは共に右手方向にずれて移動している。但し、それぞれの動きの量は、領域Aの物体はカメラから遠くにあるため少なく、領域Bの物体はカメラの近くにあるため大きい。なお、領域Aと領域Bの間に発生した領域は、時刻tの時点の画像Iでは領域Bの影に隠れて見えていなかった部分である。
【0033】
請求項1記載の発明に係る画像の動き検出装置は、少なくとも1回以上の反復処理で段階的に動き量を計算することを前提としている。その為、ここでは、何らかの手がかり、初期設定又は反復処理により、領域Aの動き量を推定した暫定値が求まっていると仮定する。その動き量の暫定値をaとする。より正確な動き量を求めるためには、その残りの動き量(動き量補正値)を計算する必要がある。図16(c)は、画像Iを動き量の暫定値aだけ左方向に戻して、画像Iと重ね合わした様子を示している。図16(c)を見て分かるように、領域Aの動きに合わせて戻しているため領域Aの領域では明度のズレが少なく、I(x)と画像Iを動き量の暫定値aだけ左方向に戻したI(x+a)の明度がほぼ重なる形となる。このような部分(ここでは整合領域と表現する)では、明度勾配法で残りの動き量をほぼ正しく算出することができる。また、それ以外の領域Bや隠れていた部分(ここでは非整合領域と表現する)においては明度勾配法で正しい動き量を求めることはできない。当然、最初から、領域Aと領域Bの位置や形が指定されていれば問題はないが、ここでは明確に領域の情報が与えられていないとする。よって、全体(領域A及び領域B)としての動き量を求めようとすると、そのままでは、領域Bや隠れていた部分について正しい動き量が計算できないだけでなく、領域Aの動き量を求めるときに誤りの原因になる。ただ、動き量を最小二乗法等で計算をするとき、領域Aのような整合領域での誤差を大きく評価し、それ以外の領域Bや隠れていた部分のような非整合領域では誤差をあまり大きく評価しないような形で解いてやれば、領域Aに注目した動き量だけを計算してやることができる。ここでは、誤差の評価式の係数の関係から、その部分を動きを重視し誤差を大きく評価して(結果として誤差が小さくなるように)やることを「重み係数を大きく、又は重みを大きく」、誤差を小さく評価してやることを「重み係数を小さく、又は重みを小さく」という表現で表すことにする。この重み係数(重み付け) を何らかの方法で決めなければならないが、例えば、画像I(x)と画像I(x+a)との間の明度差や勾配の一致度を評価して決めてやることができる。
【0034】
図17に示すフローチャートは、重み係数を繰り返し処理して行く過程で、画像同士をつき合わせることにより重み係数を適応的に変化させて行く処理の流れを示したものである。このように、最初に何らかの注目する部位の位置情報等が与えられれば、自動的に画像の内容に合わせながら重み係数が決まって行く。重み係数が適切に決まれば、注目する部位の動き量も適切に抽出できる。請求項1記載の発明は、これらの処理の流れ構成するのに、必要となる各手段で具体的にどうすれば良いかを示したものである。
【0035】
請求項1記載の発明に係る画像の動き検出装置おいて、まず、注目する部分の情報の入力手段により、最初の注目する部位の位置情報と結びつけることができる手がかりの情報(画像位置、画像範囲、距離、大きさ、変形度(参照画像に対するバラツキの許容範囲)、2次元形状、3次元形状、テクスチャ(模様)、色、反射率又は透過率、見え方(3次元物体がどのように見えているか)、存在確率(特定の目標物の存在する確率)、車種、型式(車種よりも細かい分類)、カテゴリー(例えば目標が人、車両、樹木等であるかどうか)、個数、速度、加速度、角速度、画像撮像装置の動き(カメラ等に取り付けたジャイロ等から得られる3次元的なカメラの動き量)の情報又はそれらの予測情報等) が得られる。また、重み付け等設定手段では、前記注目する部分の情報の入力手段から情報と画像の内容をつき合わせ、注目する部位の重みを大きく取り、注目する部位以外と考えられる部位の重みは小さくするように重み付けを調整し、必要に応じて動き計算の初期値を設定することができるようにしている。そして、重み付け等を考慮した動き計算手段では、重み付け等設定手段で設定された重み付けや動き計算の初期値を利用して、注目する部位に着目し又は注目する部位を排除して画像の位置変化を推定することができるようにしている。また、この重み付け等設定手段と重み付け等を考慮した動き計算手段は、少なくとも1回以上の反復処理を繰り返して最終的な画像の位置変化を推定するようにしている。そして、重み付け等設定手段は反復処理の中で前記重み付け等を考慮した動き計算手段の結果を反映して重み付けを適応的に調整する機能を有し、重み付け等を考慮した動き計算手段において反復処理の中で前記重み付け等設定手段で適応的に調整された重み付けを利用することができるようにしている。これにより、図17に示す繰り返し処理の形で、注目する領域だけの動き量を適切に抽出することができる。
【0036】
請求項2記載の発明に係る画像の動き検出装置は、請求項1の発明における最初の注目する部位の位置情報と結びつけることができる手がかりの情報が、画像位置、画像範囲、距離、大きさ、変形度、2次元形状、3次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報であることを具体的に限定している。
【0037】
請求項3記載の発明に係る画像の動き検出装置は、請求項1記載の発明の反復処理において、多重解像度の画像を利用して粗密探索の形で処理を行うものである。粗密探索を行う形で処理を行うと、その反復の過程で徐々に画像の位置変化を推定することができるので、非常に効率的に動き量を推定することができる。
【0038】
請求項4記載の発明に係る画像の動き検出装置は、注目する部分の情報の入力手段として、時系列的に前の処理結果の情報を利用して、注目する部分の情報を自動的に設定することができるようにしたもので、毎回、注目する部分の情報を入力する手間を省くことができる。
【0039】
請求項5記載の発明に係わる画像動き検出装置は、注目する部分を画像位置と関連付ける、画像位置により変化する重み係数の設定を、矩形ウインドウ単位又は任意の形状の領域単位で操作するのと同じであり、請求項1から請求項3記載の発明と同じ効果を得ることができる。
【0040】
請求項6記載の発明に係わる画像動き検出装置は、画像間の動き量を計測するのに障害となるような、画像の動き量を計測する対象の画像間での撮影環境(天候、撮影する画像センサーの種類等)の違いから生じる画像の変化の大きい部分については、注目しないように適応的に重み係数を調整するようにしているので、画像間の動き量を正しく計測することができる。
【0041】
請求項7の発明に係わる画像動き検出装置は、請求項6記載の発明を、特に可視画像と赤外画像、近赤外と遠赤外などの異種画像センサーで取得した画像間の対応付けを計算するように適用したものであり、画像間で画像の写り方の変化があってもその画像の変化の大きい部分は注目しないように適応的に重み係数を調整するので、画像間の対応を正しく計測することができる。
【発明の効果】
【0042】
本発明は、以下に記載されているような効果を奏する。
【0043】
(1) 画像で動き量を計算する領域(注目する領域)の設定が楽になる。
請求項1,2及び3記載の発明の画像の動き検出装置を用いることにより、最初の手がかりとなる情報から、対象となる領域の範囲を適応的な重み付けにより切り出すことができる。よって、注目する領域や対象の詳細な指示が要らなくなるため、実時間の動画像を安定化したりする場合など、操作員の労力を低減することができ非常に効果的である。また、請求項4記載の発明を使用すれば、動画像で注目する領域がどこかを常に指示する必要が無く、最初に与えた注目領域の情報だけで自動的に続く画像の注目する部分がどこか内容が更新されるので、格段に装置の操作が容易になる。
【0044】
(2) エラーとなる部分を排除し、動き量の推定の安定性が向上する。
注目領域で想定する移動3D平面の動きから外れるような移動物体が仮に発生しても、繰り返し処理の中で、整合性が取れない領域は重み付けにより排除されるため、結果として注目領域の動き量を的確に安定して推定することができる。
【0045】
(3) 画像から3次元情報等の情報を抽出することができる。
注目領域で想定する移動3D平面の動きから外れるような移動物体が発生しているとその移動物体の部分の重みは小さくなる。重み付けの情報を逆に利用して、想定した以外の動きをする移動物体を自動的に検出することも可能である。また、本発明を適用することにより、画像の整合性から、指定した部分が平面的に近似できる部分かどうかの判定が得られるので、シーンの3次元情報を復元するとき、どの部分が平面近似できるかなどの重要な情報が得られる。
【0046】
(4) 異種画像センサーから得られる性質の異なる画像の位置合わせができる。
可視と赤外では全く見え方が異なるが、見え方の異なる部分は重み係数を小さくすることにより除外し、物体の輪郭等のエッジや全体の対応関係に注目できるので、画像の対応付け(位置合わせ)が正確にできるようになる(異種画像センサーの画像間の対応付けができれば、融合して多様な情報を含む一つの画像を生成したり、スペクトル分析による物体の分類等の処理が可能となる。)。
【発明を実施するための最良の形態】
【0047】
以下、本発明を実施するための最良の形態として、画像の動き検出装置の実施の形態を図面に従って説明する。
【0048】
従来技術での説明に対応させ、ここでも明度勾配法で実現する例を中心に説明する。また、以下の説明では、多くの場合、各画素での重み付けの形で表現するが、その重み付けと等価な処理も含むものとする。例えば、ある矩形の処理ウインドウ全体で特定の重みを使用したり、極端な話、重みを0と1で制御すれば処理ウインドウを選択したりする処理と各画素での重み付けとは表現上の違いがあっても本質的に同じことである。処理に影響ないところでは、画像の各画素毎に重みを計算しなくても良い。また、処理の簡単化のため、各画素で重み係数を求めず、ある矩形ウインドウ領域全体で画像の平均的な整合性を算出して、その領域に対し一つの重み係数を使用する場合もある。例えば、図18に示すような個別のウインドウ領域で動き量を個別に計算し、一つの重み係数を用いてもよい。図18では、横320画素×縦240画素で構成される1枚の画像を、5×5の25個のウインドウ領域に分割するような例を示している。以下の説明では、この分割したウインドウ領域をブロックと表現する場合もある。よって、請求項5記載の発明は、重み付けを矩形ウインドウ単位又は任意の形状の領域単位で行うことができることを示したものであり、請求項5記載の発明についての実施の形態については、請求項1~4記載の発明の実施の形態の説明の中に、適宜含めて説明するものとする。
【0049】
(実施の形態1)
請求項1記載の発明に対応する実施の形態1の処理ブロック図を図1に示す。図1において、動画像の現在の入力画像107と参照画像108とが重み付け等を考慮した動き量計算手段1801に入力され、重み付け等を考慮した動き量計算手段1801は参照画像Iと入力画像Iを入力として、注目する部分の動き量を推定する。この重み付けを考慮した動き量計算手段1801は、少なくとも1回以上の繰り返し処理で動き量を求めるものであり、その繰り返し処理の中で、注目する部分は重みを大きく、注目する部分以外と考えられる部分の重みは小さくするように、重み付けされた重み係数や必要に応じて動き量計算の初期値の重み付け等の情報1804が、重み付け等設定手段1802から与えられる。重み付け等設定手段1802も、重み付けを考慮した動き量計算手段1801と連動して、少なくとも1回以上の繰り返し処理を行う。この重み付け等設定手段1802では、注目する部分の情報の入力手段1803からの注目する目標又は背景等の情報1805と重み付けを考慮した動き量計算手段1801の途中処理結果等の情報1806をつき合わせ、注目する部分(注目する目標の位置1807を含む)は重みを大きく、注目する部分以外と考えられる部分の重みは小さくするように重み付けする。また、重み付け等設定手段1802は必要に応じて動き量計算の初期値を設定する。注目する部分の情報の入力手段1803においては、重み付け等設定手段1802へ与える注目する目標又は背景等の情報1805を入力又は設定することができる。
【0050】
図2は、重み付けを考慮した動き量計算手段1801の詳細な実現例を示したものである。図2の詳細な説明を行う前に、各点で重み係数を考慮して、画像の動き量を計算する方法について説明しておく。この各点の重み係数をS(x,y)で表すことにする。この重み係数S(x,y)は後でどうやって求めるか述べるが、ここでは既に求まっているものとして話を進める。
【0051】
以下の式(12)は通常の最小二乗法の評価式である式(6)に対応するもので、かつ、2乗誤差Eを集計する時に、重み係数S(x,y)を考慮する評価式になっている。
【0052】
【数5】
JP0003914973B2_000006t.gif
例えば、重み係数S(x,y)を考慮し最小二乗法による平行移動モデルでの動き量を計算する連立方程式は以下の式(13) の形となる。
【0053】
【数6】
JP0003914973B2_000007t.gif
他の動きのモデル(アフィンモデル、移動3D平面モデル)の場合でも、それぞれ対応する、式(8)~式(11) のΣの後に重み係数S(x,y)を挿入した式になるので、その重みを考慮した連立方程式を解けば良い。
【0054】
図2を用いて、重み付けを考慮した動き量計算手段1801の全体の動きを説明する。まず、対象となる2枚の画像は、参照画像108(I)と入力画像107(I)である。これらの画像を入力として処理が開始される。最初に、重み付け等設定手段1802から与えられる動き量(推定値) の初期値1908(適当な予測値が無ければ初期値はゼロに設定しておく) で、入力画像Iが画像ワープ部105でワープされワープ画像I1906が生成される。この時のワープは正確には、逆ワープであり、入力画像Iを変形し参照画像Iに戻す形になっている。画像勾配計算部1902では、参照画像Iのx軸方向の勾配I、y軸方向の勾配Iを、図10に示すような差分オペレータを用いて計算する。また、明度差算出部1901では、ワープした入力画像Iと参照画像Iの明度差Iを算出する。この時点で、画像座標(x,y)、明度勾配(I,I)、明度差Iが揃っている。フロー特徴量(ここでは、I,xI,yI等の値を示すものとする) の積算部1903では、重み付け等設定手段1802から与えられた1907の重み係数S(x,y)、そして画像座標(x,y)、明度勾配(I,I)、明度差Iを用い、前記連立方程式の係数になるΣS(x,y)I等の重み付けしたフロー特徴量を集積して行く。ここでは、ラスター走査のような形で、各点の画像座標(x,y)、重み係数S(x,y)、明度勾配(I,I)、明度差Iを計算していれば、同じラスター走査の形でフロー特徴量を計算し積算して行くことができるので効率がよい。
【0055】
次に、動き量の計算部1904では、画像全体に集積されたフロー特徴量を入力として、前記連立方程式を解き動き量を算出する。何回かの反復処理の後では、画像ワープ部105で入力画像は、動き量の算定値でワープされているので、動き量の計算部1904で求まるのは、残りの動き量(動き量補正値)になる。動き量の加算部1905では、動き量の計算部1904で求まった動き量補正値(例えば、移動3D平面モデルでは(Δa,…,Δh)を加算処理して、新しい動き量の暫定値が求められる。何回か反復処理した後、この動き量の暫定値は動き量の推定値1909 {例えば、移動3D平面モデルでは(a,b,c,d,e,f,h)}として出力される。
【0056】
重み付け等の設定手段1802の側では、この重み付け等を考慮した動き量計算手段1801の途中処理結果等(参照画像やワープ画像など)の情報1806を利用して評価値の計算に反映し、繰り返し処理の中で、重み係数S(x,y)を適応的に修正するのに使用する。ここで言う評価値とは注目する領域の想定する動きのモデルと整合しているか評価する評価値である。
【0057】
注目する部分の情報の入力手段1803は、何らかの注目したい目標の情報を入力できればよい。例えば、位置を指定したいときは、操作員が位置をマウスやカーソル等のポインティングデバイスで指定できる。別の目標追尾装置から、そのような目標位置の情報を受け取る手段を用意してもよい。また、操作員の視線を検出してどこに注目しいてるか計算しても良い。注目する物体や背景の色が分かっていれば、その色を指定するだけで、目標や背景の位置を特定することができる。更に、画像撮像装置(カメラ)自体の動き量をジャイロセンサー等から入手できれば、画像中で注目する部分がどの方向、位置にずれたか特定することもできる。このように、注目する目標や背景の位置情報と関連付けられる、又は何らかの手がかりとして利用できる情報には、請求項2に記載しているように、距離、大きさ、変形度、2次元形状、3次元形状、テクスチャ、色、反射率又は透過率、見え方、存在確率、車種、型式、カテゴリー、個数、速度、加速度、角速度、画像撮像装置の動きの情報又はそれらの予測情報などがある。
【0058】
重み付け等の設定手段1802では、注目する部分の情報の入力手段1803から与えられた情報と画像の内容等をつき合わせ、注目する部分は重みを大きく、注目する部分以外と考えられる部分の重みは小さくするように重み付けし、必要に応じて動き量計算の初期値を設定する。
【0059】
重み付け等の設定手段1802の具体的な実現法について例を挙げて説明する。注目する目標又は背景等の情報を画像位置(x,y)の関数である重み係数S(x,y)に関係づける方法は色々ある。ここでは、
(1) 対象の領域の中心となる画像位置が指定される場合と、
(2) なるべく遠方にある領域に注目する場合を例にして説明する。
【0060】
例えば、(1)の場合、対象の領域の中心を(x,y)とすると、以下の式(16)のような式で領域の中心(x,y)からの近接度を評価できる。
【0061】
【数7】
JP0003914973B2_000008t.gif
式(16)では、この近接度をP(x,y)で表している。
【0062】
また、(2)の場合のように、遠方にある目標に注目するのであれば、図18で示したような形のブロック単位(例えば、元の画像の横320画素、縦240画素を、64画素×48画素の25個のブロックB~B25に分割)で、並進移動モデル式(3)としての動き量を事前に算出し、並進量{a(x,y),d(x,y)}を求めておく。ここでは並進量{a(x,y),d(x,y)}はブロック単位で求めたあるブロックBの並進量(a,d)やその近傍のブロックの並進量を用いて補間して求めたものを想定している。これを用いて、式(17)のような形で動きの小ささ(遠方にある確からしさ)Q(x,y) の評価値を算出することができる(遠方にあるという評価は、並進量は実際はカメラの回転で受ける回転の成分を前段の反復処理で補正するとより確実になる。)。これ以外の評価値としては、ワープ後の整合度M(x,y)が重要となる。これはワープ前とワープ後の明度差や勾配の類似度を評価すれば求めることができる。式(14)は、ワープ前の明度差Iとワープ後の明度差Iから整合度の評価値を計算するものである。あと、式(14)だけの評価値では、画像特徴の少ない画像明度がフラットな場所では信頼度が低くなるので、ある程度の画像の特徴が存在する場合だけに重み係数を高くするため、式(15)で示されるような画像特徴強度を評価するような評価値J(x,y)も必要となる。これらの評価値は画像位置(x,y)の各点で計算するが、同様にブロック毎に計算してもよい。
【0063】
以下の式(18)~式(21)は、上記式(14)~式(17)に対応するものでブロック毎に評価値を求める計算式の例を示している。
【0064】
【数8】
JP0003914973B2_000009t.gif
なお、これらの式の中のk~k は各評価値を適切に調整する係数である。ブロック毎にワープ後の整合度の評価値を計算する場合、勾配法の拘束式に明度の変動α(ブロック内で定数とする)を導入して下記の式(22)で示されるような2乗誤差Eを最小化するようにして解(a,d,α)を算出し、この求まったαを利用して評価値を計算することもできる。
【0065】
【数9】
JP0003914973B2_000010t.gif
明度の変動αを考慮したときの動き量を算出する連立方程式は、式(23)の形になる。また、検出した明度の変動αで整合度の評価値を算出する式の例を式(24)に示す。ここでσは、変動αのブレの大きさを調べ調整する係数である。連立方程式を変えたくなければ、ブロックの整合度は対象とするブロックで計算される動き量の大きさを利用しても良い。一般に、明度勾配法を適用できないところで明度勾配法で動き量を算出すると大きな動き量が算出される傾向がある。
【0066】
次に、これらの評価値から、重み係数S(x,y)を計算する例を示す。下記の式(25)及び式(26)は、画像上で注目する位置(領域の中心など)が指定されている場合の、画像位置(x,y)とブロックBで表す重み係数S(x,y)、Sの計算式の例である。
【0067】
【数10】
JP0003914973B2_000011t.gif
(x,y)等の上に付く添え字のlは、各反復処理又は、ピラミッドレベルを識別する番号である。ここでのΣは、これまでの反復処理で計算された値を集積する意味で使用している。また、なるべく遠方の領域等に着目したい時には、式(27)及び式(28)のような式で重み係数を計算すればよい。ここで示すのは代表的な例に過ぎない。色々な方法でまた目的にあった評価値を導入できるし、評価式や重み係数も色々な形で表現できるし、計算しやすいように変形して利用することができる。
【0068】
(実施の形態2)
請求項3記載の発明である、多重解像度の画像(ピラミッド画像)を利用し粗密探索を行う実施の形態について説明する。ピラミッド画像を用いる重み付け等を考慮した動き量計算手段2601を実現した例を図3に示す。図3において、重み付け等を考慮した動き量計算手段1801の前段に、ピラミッド画像生成手段2602及びピラミッドレベル選択手段2603を設けているのが特徴であり、その他の部分は図2と同様であり、同一又は相当部分に同一符号を付してある。
【0069】
ピラミッド画像生成手段2602で生成されるピラミッド画像2604の例を、図4を用いて説明する。図4の一番下にあるのが、通常の画像、ここでは、横方向320画素×縦方向240画素の画像である。この元のスタートとなる画像のレベル(ピラミッドレベル)をL0で表すことにする。簡単に言うと、この画像の縦方向、横方向を逐次1/2ずつ縮めていった画像が、ピラミッドレベルL1,L2,L3,…の画像となる。面積の上では、1/4ずつ、画像の面積が小さくなって行く。図4では、L0の原画を一番下に、その上にL1の画像(横方向160画素×縦方向120画素)、L2の画像(横方向80画素×縦方向60画素)、L3の画像(横方向40画素×縦方向30画素)と上方に縦に並べている。
【0070】
入力された画像を一度、このようなピラミッド画像に変換し、上位の画像(ピラミッドレベルが高い、小さな画像)から、動き量を徐々に推定しながら、動き量を推定すれば、大きな動き量もつかまえることができる上、反復処理での全体の計算量を低減することができる。
【0071】
上の説明ではピラミッド画像2604を生成するとき、簡単に縦、横を逐次1/2ずつ縮めると表現したが、単純な画素データの間引きでは折り返し雑音(例えば直線にギザギザが発生すること)が発生するので、ガウシアンフィルタ等でノイズを除去しながら画素の間引きを行う。ピラミッド画像生成手段2602の実現例を、図5に示す。選択回路2801は、最初に通常の画像L0が入力端Aから入った後は、入力端Bからの入力が選択されるように動作する。よって、画像L0は選択回路2801を通過すると同時にL0 の画像として出力される。また同時に、画像L0はガウシアンフィルタ2802の入力となる。そして、画像L0はガウシアンフィルタ2802、間引き処理部2803を通過後、L1の画像になり、画像バッファ106で出力タイミングを調整された後、選択回路2801の入力端Bの入力として選択され、L1の画像として出力される。このような動作を繰り返すと、L0、L1、…と逐次、高次のより小さなピラミッド画像を生成することができる。
【0072】
図3のピラミッドレベル選択2603は、動き量計算の繰り返し処理において、高次のピラミッド画像から順次、低次のピラミッド画像を、重み付け等を考慮した動き量計算手段1801の入力として与えるように働く。同じピラミッドを何回か繰り返しても良いし、必要ならピラミッドレベルを飛ばしてもよい。画像の内容や応用目的によっては、最下位のピラミッド画像で処理しなくても、十分な精度の動き量の推定値が得られる場合がある。
【0073】
図6は、実施の形態2のピラミッド画像を使用し、繰り返し処理で順次、粗密探索のやり方で、動き量を推定して行く様子を示したものであり、図2と同じ又は相当部分に同一符号を付した。
【0074】
この図を用いて、本発明の効果である、
(1) 注目する領域の指定が容易になること、
(2) 想定と違う動きをするものを排除して動き量の推定を絞り込むことができること、を説明する。
【0075】
ここでは簡単にするため、ピラミッドレベル2から0まで各1回ごと処理を行い、画像の動き量を推定する場合で説明する。参照画像Iとして、文字Aが写り、その手前に別の円形の物体が被さっているような画像、入力画像Iとしてその文字Aの部分が左上方向に回転し移動しているとする。更に、ここで注目する領域は画像Aの領域で、図にあるように文字Aの一部を注目する目標という形で+印の画像位置が指定されているものとする(文字Aの全体の形を指定していないところに注意)。参照画像と入力画像のピラミッド画像が生成された後、この処理の流れが開始される。ピラミッドレベル2の入力画像I(L2)(ここでは(LN)で画像のピラミッドレベルNの画像を表すものとする) は重み付け等設定手段1802で与えられる初期値で画像ワープされ、その1906のワープ画像I (L2) と参照画像I(L2)を用いて、ピラミッドレベル2の動き計算部2901により暫定の動き量(動き量の補正値)が算出される。ここで、動き計算部2901~2903には、重み付け等を考慮した動き計算手段の明度勾配算出、明度差算出、フロー特徴集積等を行い動き量の計算を行う部分が含まれているものとする。ここで使用される最初の重み付けは、注目する部分の情報(注目する部分の情報の入力手段からの情報)に基づき重み付け等設定手段1802により、+印の部分が高くそれ以外が低くなるように設定されている。よって、ここで計算される動きの補正値は文字Aを中心とした動き量が抽出される。
【0076】
次のピラミッドレベル1の処理では、画像をピラミッドレベル1に変えて処理が行われる。この時、画像ワープ部105ではより参照画像IのAに近づく形で画像ワープが行われる。つまり、これは前段のレベル2の処理で文字Aを中心とした動き量を計算しているためである。このとき、ワープ画像I(L1)と参照画像I(L1)を重ね合わせてみると、円形の領域の部分は明度の整合性の評価が低くなるため、重み付け等設定手段1802から、円形の領域の部分は重み係数が低くなるような重み付けが与えられる。その結果、ピラミッドレベル1の動き量計算部2902では円形の領域の部分の動きは排除され、文字Aの部分と見なせる部分だけの残りの動き量を推定するようになる。
【0077】
引き続く、ピラミッドレベル0においても、ピラミッドレベル1と同じように働くため、円形の領域の部分は更に重み係数が低くなり、ピラミッドレベル0の動き量計算部2903では文字Aの部分だけの残りの動き量をより的確に推定するようになる。結果として、最終的に推定される動き量は、文字Aの部分に着目した動き量になる。
【0078】
このように、最初の文字Aの一部の+印で示す画像位置が指定されただけにも係わらず、この最初の手がかりを参考にして、重み係数を適応的に調整し、最終的には文字Aに属する領域がどこにあるか自動的に見つけ出している。これにより、正確に、文字Aの全体の形をなぞって入力しなくてもよく、格段に注目する領域の指定が容易になる。また、説明したように、逐次更新され適応的に変化する重み係数により、別の動きをすると見なされる円形の領域の部分は動き量の推定から実質的に排除され、文字Aに対する動き量の推定も正確にかつ安定する。
【0079】
(実施の形態3)
請求項4記載の発明に対応する、時系列的に前の処理結果の情報を利用して、注目する部分の情報を効率的に設定する実施の形態について説明する。図7は請求項4記載の発明を実施した時の処理の流れを示している。なお、この図7では、注目する部分の情報の入力手段は、注目する部分の情報の設定3001又は3002という表現で表している。また、重み付け等設定手段1802と重み付け等を考慮した動き量計算手段1801は、簡単のため一つの処理ブロックにまとめて示し、図2と同じ又は相当部分に同一符号を付した。ここでは、画像I、画像I、画像I、…と、時系列で順次、画像が入力され、それを画像安定化する処理を対象として説明する。
【0080】
まず、図7の上部にある注目する部分の情報の設定3001で、画像Iを基準に一度、注目部位の情報が設定される。それに基づいて、画像I以降が安定化されるものである。安定化された画像をIで表す。画像Iを基準に設定された注目部位の情報と、画像Iと画像Iから注目部位の動き量が、重み付け等を考慮した動き量計算手段1801で計算される。この動き量を動き量のフィルタリング104でフィルタリング処理し、実際に補正する量が決定され、画像Iから画像ワープ部105の処理により安定化された画像Iが生成される。この画像Iは次の処理の参照画像になり、画像Iの動き量の算出に利用される。注目する部分の情報の設定3002では、画像Iと画像Iの動き量計算での注目する部分の情報が設定されるが、画像Iのどこに注目する部分があるかは画像Iと画像Iの動き量計算で使用した重み付け等の情報(最初に指定された注目部位の情報も含む) と安定化された画像Iを生成したときに使用した補正量から決めることができる。
【0081】
このような形で、順次、注目する部分がどこにあるか情報を引き渡すことができる。途中で注目する部位の形が少しずつ変わっても、逐次、重み係数が自動的に画像に合わせて調整されるため、継続して動き量を計算することができる。また、前フレームの情報を利用すると、手前の障害物に一時的に目標が隠蔽されても注目する部分の情報の設定で背後に目標が隠れていることを想定して処理を進めることも可能である。このように、注目する部位がどこかを常に指示する必要が無く、最初の注目部位の情報だけで自動的に続く画像の注目する部分がどこか内容が更新されるので、格段に装置の操作が容易になる。
【0082】
請求項6記載の発明を実施するには、画像間の動き量を計測するのに障害となる、画像の動き量を計測する対象の画像間での撮影環境(天候、撮影する画像センサーの種類等)の違いから生じる画像の変化の大きい部分は注目しないように適応的に重み係数を調整するようすればよい。
【0083】
一般に、可視画像と赤外画像など異種画像センサーで得られた画像間の動き量を算出するのは難しい。同じ物体を撮影しても、可視と赤外では全く見え方が異なるからである。ただ、物体の輪郭等のエッジや全体の対応関係から、画像の対応付けができる。請求項7記載の発明を実施するには、例えば、実施の形態1のブロック図(図1)において、可視画像センサーで取得した画像を参照画像、赤外線画像センサーで取得した画像を入力画像として扱えばよい(ここで、どちらを参照画像にし、どちらを入力画像とするかは本質的な問題ではない)。そうすれば、画像間で画像の写り方に違いがあってもその画像の違いの大きい部分は注目しないように適応的に重み係数が調整され、画像間の動き量、すなわち画像間の対応を計測することができる。このとき、可視画像と赤外画像では明度レベルが違う等の問題があるので、画像間の明度レベルの変換や照合しやすい画像(エッジ画像等)にするための何らかの変換を施しておくのが効果的である。
【0084】
請求項7記載の発明を実施する場合以外でも、本特許の発明を実施する場合、明度勾配法の入力として使用するのは、必ずしも原画像でなくても、何らかの前処理をした画像、例えば、ゾーベルオペレータ等で計算した勾配の大きさを画像にしたものやLoG
(Laplacian of Gaussian)フィルタ等のフィルタで抽出したラプラシアン画像でもよい。照明条件等が著しく変化して、物体の明度自体が大きく変わるような場合は、このような相対的な明度変化を情報として持つ画像に変換してから、画像の変形量や移動量を求める方が安定に処理できる場合もある。また、実施の形態ではモノクロの画像の例で説明したが、当然、カラー画像、マルチスペクトル画像などの多次元画像へも容易に拡張できる。2枚以上の画像を同時に使用して画像の動き量を計算する場合でも、本発明の処理の枠組みは同じであり、容易に適用できる。動き量の計算には明度勾配法を例に挙げて説明したが、当然、対応探索法や周波数領域で分析する他の方法にも、本発明は適用可能である。例えば、ステレオ画像処理などでの対応点検出を行う対応探索処理では、連立方程式で解くと言うより、対応する可能性のある領域のマッチング度合い調べる形になる。このマッチングの度合いは、領域の相互相関やSAD(Sum of Squared Differences)の和SSAD(Sum of SADs)等を用いて計算される。この相互相関やSSAD計算するときに、重み付けを考慮して計算してやればよい。また、マッチングウィンドウ内で明らかに整合性の取れない部分(例えば、ステレオ画像で隠蔽(オクルージョン)等により変化した部分)を排除するように重み付けを適応的に変化させて計算するようにする。この時、対応を調べる位置により排除する部分の比率が変わることになるが、排除する部分が多い場合は全体としての信頼性が低くなるので、それを考慮してマッチング度合いを補正しておくと、より正確な処理ができる。
【0085】
以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。
【図面の簡単な説明】
【0086】
【図1】請求項1記載の発明に対応する実施の形態1の処理ブロック図である。
【図2】実施の形態1における重み付け等を考慮した動き計算手段の実現例を示す処理ブロック図である
【図3】請求項3記載の発明に対応する実施の形態2であって、多重解像度の画像としてピラミッド画像を用いて動き量を計算する処理ブロック図である。
【図4】ピラミッド画像の例を示す説明図である。
【図5】ピラミッド画像生成手段の実現例を示す処理ブロック図である。
【図6】ピラミッド画像を用いて階層的に動き量を計算する手順を示すフロー図である。
【図7】請求項4記載の発明に対応する実施の形態3であって、前のフレームの処理結果を利用し、時系列で効率的に処理する場合のブロック図である。
【図8】動画像を画像安定化する処理例のブロック図である。
【図9】明度勾配法の原理を1次元で説明している説明図である。
【図10】画像の勾配を計算する演算マスクの例を示す説明図である。
【図11】勾配法は動き量が少ないときに適用できることを示す説明図である。
【図12】2枚の画像間の動き量をアフィン係数で表現する例を示す説明図である。
【図13】説明に使用する3次元空間中の平面を示す説明図である。
【図14】単純な動き検出では問題が生じるケース( 遠近の物体が混在する場合) を示す説明図である。
【図15】処理する範囲を事前に指定する従来方式の動き計算の処理ブロック図である。
【図16】何故、重みを付ける必要があるかを示す説明図である。
【図17】重み係数を適応的に調整することの説明図である。
【図18】個別のウインドウ領域(ブロック)で処理を行うときの画像の分割例の説明図である。
【符号の説明】
【0087】
101 動画像(入力)
102 安定化された動画像
103 動き量計算手段
104 動き量のフィルタリング
105 画像ワープ部
106 画像バッファ
107 入力画像
108 参照画像
1401 動き量計算範囲設定手段
1402 画像全体
1403 動き量が計算される範囲
1801 重み付け等を考慮した動き量計算手段
1802 重み付け等設定手段
1803 注目する部分の情報の入力手段
1804 重み付け等の情報
1805 注目する目標又は背景等の情報
1806 途中処理結果等の情報
1807 注目する目標の位置
1901 明度差算出部
1902 画像勾配計算部
1903 フロー特徴量の積算部
1904 動き量の計算部(連立方程式を解く)
1905 動き量の加算部
1906 ワープ画像
1907 重み付け係数
1908 動き量(推定値)の初期値
1909 動き量の推定値
2601 ピラミッド画像を用いる重み付け等を考慮した動き量計算手段
2602 ピラミッド画像生成手段
2603 ピラミッドレベル選択手段
2604 ピラミッド画像
2801 選択回路
2802 ガウシアンフィルタ
2803 間引き処理
2901 ピラミッドレベル2の動き量計算部
2902 ピラミッドレベル1の動き量計算部
2903 ピラミッドレベル0の動き量計算部
3001 注目する部分の情報の設定(スタート)
3002 注目する部分の情報の設定(前のフレームを利用)
3003 前のフレームの結果
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17