TOP > 国内特許検索 > 物体運動推定装置、物体運動推定方法、プログラム及び記録媒体 > 明細書

明細書 :物体運動推定装置、物体運動推定方法、プログラム及び記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5504426号 (P5504426)
登録日 平成26年3月28日(2014.3.28)
発行日 平成26年5月28日(2014.5.28)
発明の名称または考案の名称 物体運動推定装置、物体運動推定方法、プログラム及び記録媒体
国際特許分類 G06T   7/20        (2006.01)
FI G06T 7/20 B
請求項の数または発明の数 8
全頁数 27
出願番号 特願2011-501533 (P2011-501533)
出願日 平成22年1月25日(2010.1.25)
国際出願番号 PCT/JP2010/050924
国際公開番号 WO2010/098160
国際公開日 平成22年9月2日(2010.9.2)
優先権出願番号 2009041360
優先日 平成21年2月24日(2009.2.24)
優先権主張国 日本国(JP)
審査請求日 平成25年1月9日(2013.1.9)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】瀬部 昇
【氏名】延山 英沢
【氏名】榎田 修一
個別代理人の代理人 【識別番号】100116573、【弁理士】、【氏名又は名称】羽立 幸司
審査官 【審査官】佐藤 実
参考文献・文献 特開2008-203538(JP,A)
特開2000-242797(JP,A)
調査した分野 G06T 7/20
特許請求の範囲 【請求項1】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、
前記撮像画像の注目点における輝度勾配を演算する輝度勾配演算手段と、
前記輝度勾配から時間勾配を演算する時間勾配演算手段と、
連立方程式を解く方程式演算手段とを有する
画像解析処理手段を備え、
前記連立方程式は、
前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、
前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して2階微分した値をも係数とするものであり、
前記画像解析処理手段が有する方程式演算手段が、前記連立方程式を解くことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定装置。
【請求項2】
前記撮像画像は、二次元の画像であり、少なくとも3画素×3画素の大きさの画像であって、撮像時刻が異なる3枚の画像であり、撮像画像記憶手段に記憶されており、
前記輝度勾配演算手段は、前記撮像画像の注目点P(x0,y0)における輝度Iの輝度勾配Ix(x0,y0,t)、Iy(x0,y0,t)、Ixx(x0,y0,t)、Ixy(x0,y0,t)及びIyy(x0,y0,t)を演算して、式(eq1)に示される観測量z(t)を求めるものであり、
前記時間勾配演算手段は、前記輝度I及び前記輝度勾配Ix、Iy、Ixx、Ixy及びIyyから時間勾配It、Itx、Ity、Itxx、Itxy、Ityy、Itt、Ittx、Itty、Ittxx、Ittxy及びIttyyを演算するものであり、
前記方程式演算手段は、線形方程式(eq2)を解くことにより、前記オプティカルフロー[u v]Tを推定すると同時に、その空間勾配[uxxyyTも推定するものである、請求項1記載の物体運動推定装置。
【数1】
JP0005504426B2_000016t.gif

【請求項3】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、
推定モデルに対して、状態変数の逐次推定を行う状態推定処理手段
を有する画像解析処理手段を備え、
前記推定モデルは、
前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、
前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、
さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含むものであり、
前記状態推定処理手段が、前記状態変数の逐次推定を行うことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定装置。
【請求項4】
前記観測方程式は、システム雑音と観測雑音という雑音を加味したものであり、
前記状態変数の逐次推定は、推定値の共分散を近似するカルマンフィルタを用いて前記状態変数を逐次推定するものである、
請求項に記載の物体運動推定装置。
【請求項5】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、
輝度勾配演算手段が、前記撮像画像の注目点における輝度勾配を演算するステップと、
時間勾配演算手段が、前記輝度勾配から時間勾配を演算するステップと、
方程式演算手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して2階微分した値をも係数とする連立方程式を解くステップ
を含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定方法。
【請求項6】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、
状態推定処理手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含む推定モデルに対して、前記状態変数の逐次推定を行うステップ
を含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する物体運動推定方法。
【請求項7】
コンピュータを、請求項1から4のいずれかの物体運動推定装置として動作させるためのプログラム。
【請求項8】
請求項7記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【発明の概要】
【課題を解決するための手段】

【0016】
【請求項6】
撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、状態推定処理手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含む推定モデルに対して、前記状態変数の逐次推定を行うステップを含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する。
【技術分野】
【0001】
本発明は、物体運動推定装置、物体運動推定方法、プログラム及び記録媒体に関し、特に、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置等に関する。
【背景技術】
【0002】
オプティカルフローは、観測者と物体との相対運動によって生じる画像上の見かけの速度分布である。オプティカルフローは、通常、画像上の各点での見かけの速度ベクトルとして表現される。
【0003】
従来の勾配法では、動画像処理において、物体の画像の輝度が移動後も保存されることを仮定し、その保存則を表現したオプティカルフロー方程式と呼ばれる式(1)の偏微分方程式をもとにオプティカルフローを推定している(非特許文献1参照)。ただし、I(x,y,t)は輝度、(x,y)は画像上の座標、tは時刻、[u v]Tはオプティカルフローを表す。
【0004】
式(1)だけでは2変数u、vを決定する方程式としては拘束条件が不足する。そこで、注目点の近傍でオプティカルフローがすべて等しいと仮定することにより、式(2)というオプティカルフローに関する線形方程式が得られる(非特許文献5参照)。ただし、添字はItx=(∂2/∂t∂x)Iのように偏微分を表す。この線形方程式がオプティカルフローの本質的な推定原理を与えている。ここに現れる輝度のヘッセ行列(3)は、画像中の物体の角と密接に関連した量であり、線形方程式の解きやすさと関連した判別式det(H)という量は推定されたオプティカルフローの信頼度としても利用されている。
【0005】
【数1】
JP0005504426B2_000002t.gif

【先行技術文献】
【0006】

【非特許文献1】B.K.P.Horn、外1名著,“Determining optical flow.”Artificial Intelligence,17:185-203,1981.
【非特許文献2】S.J.Julier、外1名著,“Unscented filtering and nonlinear estimation.”Proceedings of IEEE,92(3):401-422,2004.
【非特許文献3】A.J.Krener、外1名著.“Nonlinear observers with linearizable error dynamics.”SIAM Journal of control and optimization,23(2):197-216,1985.
【非特許文献4】K.Lucas、外1名著,“An interactive image registration techniques with an application to stereo vision.”In Proceedings of 7th IJCAL,pages 674-679,1981.
【非特許文献5】A.Verri、外2名著,“Differential techniques for optical flow.”Journal of optical Society of America A,7(5):912-922,1990.
【非特許文献6】Y.Wu、外2名著,“Unscented Kalman filtering for additive noise case:Augmented versus nonaugmented.”IEEE Signal Processing Letters,12(5):357-360,2005.
【非特許文献7】松永、外2名著.“カルマンフィルタを用いたオプティカルフローの抽出に関する研究. ”電子情報通信学会技術研究報告.PRMU,パターン認識・メディア理解,97(501):15-20,1998.
【発明が解決しようとする課題】
【0007】
オプティカルフローの研究の方向性としては、空間的広がりを利用して空間差分による雑音の影響を低減する研究(Lucasら(非特許文献4参照)など)、ヘッセ行列の正則性が失われてオプティカルフローの推定の信頼性が劣化する画像上の領域に対して、オプティカルフローの滑らかさなどの新たな拘束条件を要請し信頼性の高い部分のオプティカルフローを用いて補間する大域法(非特許文献1など参照)などが挙げられる。
【0008】
しかしながら、多くの改善が提案されているにもかかわらず、勾配法の基本原理はHornらの提案(非特許文献1参照)から25年間以上不変のままである。
【0009】
従来の勾配法の問題点としては、例えば、従来法では、オプティカルフローの並進性(つまり、空間勾配が0)を仮定していることがある。オプティカルフローの並進性の仮定は、本来未知であるオプティカルフローに対する仮定であり、可能な限り緩めることが重要である。
【0010】
ゆえに、本発明は、従来の勾配法における問題点を克服し、撮像画像における画像解析処理によるオプティカルフローの推定に適した物体動作推定装置等を提供することを目的とする。
【0011】
請求項1に係る発明は、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、前記撮像画像の注目点における輝度勾配を演算する輝度勾配演算手段と、前記輝度勾配から時間勾配を演算する時間勾配演算手段と、連立方程式を解く方程式演算手段とを有する画像解析処理手段を備え、前記連立方程式は、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して2階微分した値をも係数とするものであり、前記画像解析処理手段が有する方程式演算手段が、前記連立方程式を解くことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定するものである。
【0012】
請求項2に係る発明は、請求項1記載の物体運動推定装置であって、前記撮像画像は、二次元の画像であり、少なくとも3画素×3画素の大きさの画像であって、撮像時刻が異なる3枚の画像であり、撮像画像記憶手段に記憶されており、前記輝度勾配演算手段は、前記撮像画像の注目点P(x0,y0)における輝度Iの輝度勾配Ix(x0,y0,t)、Iy(x0,y0,t)、Ixx(x0,y0,t)、Ixy(x0,y0,t)及びIyy(x0,y0,t)を演算して、式(eq1)に示される観測量z(t)を求めるものであり、前記時間勾配演算手段は、前記輝度I及び前記輝度勾配Ix、Iy、Ixx、Ixy及びIyyから時間勾配It、Itx、Ity、Itxx、Itxy、Ityy、Itt、Ittx、Itty、Ittxx、Ittxy及びIttyyを演算するものであり、前記方程式演算手段は、線形方程式(eq2)を解くことにより、前記オプティカルフロー[u v]Tを推定すると同時に、その空間勾配[uxxyyTも推定するものである。
【0013】
請求項3に係る発明は、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、推定モデルに対して、状態変数の逐次推定を行う状態推定処理手段を有する画像解析処理手段を備え、前記推定モデルは、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを状態変数に含むだけでなく、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも状態変数に含み、さらに、前記撮像画像上の注目点の空間近傍の輝度を観測量とする観測方程式を含むものであり、前記状態推定処理手段が、前記状態変数の逐次推定を行うことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定するものである。
【0014】
請求項4に係る発明は、請求項に記載の物体運動推定装置であって、前記観測方程式は、システム雑音と観測雑音という雑音を加味したものであり、前記状態変数の逐次推定は、推定値の共分散を近似するカルマンフィルタを用いて前記状態変数を逐次推定するものである。
【0015】
請求項5に係る発明は、撮像手段が物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定方法において、輝度勾配演算手段が、前記撮像画像の注目点における輝度勾配を演算するステップと、時間勾配演算手段が、前記輝度勾配から時間勾配を演算するステップと、方程式演算手段が、前記撮像手段と前記物体との相対運動の速度分布であるオプティカルフローについて、前記撮像画像における前記物体の輝度の時間に関する1階全微分がゼロという時不変性が仮定されることにより、前記オプティカルフローを変数とし、前記撮像画像の画素の輝度の空間勾配及びその時間微分を係数とするだけでなく、さらに、前記撮像手段の撮像軸に対して垂直な平面上を前記物体が移動するという並進性が仮定されないことにより、前記オプティカルフローの空間勾配をも変数とし、前記輝度及びその空間勾配の時間に関して2階微分した値をも係数とする連立方程式を解くステップを含むことにより、前記オプティカルフローを推定すると同時に、前記推定されるオプティカルフローの空間勾配をも推定する。
【0017】
請求項7に係る発明は、コンピュータを、請求項1から4のいずれかの物体運動推定装置として動作させるためのプログラムである。
【0018】
請求項8に係る発明は、請求項7記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0019】
なお、請求項2において、線形方程式(eq2)は過制約の線形方程式である。線形方程式(eq2)の解は、例えば、最小二乗法などの推定法によって求める。
【0020】
【数1】
JP0005504426B2_000003t.gif

【発明の効果】
【0021】
本願の各請求項に係る発明(以下、「本願発明」という。)は、データとして取得された撮像画像に関わる物理的性質を利用した処理を具体的に行うものであり、オプティカルフローの並進性の仮定を必要とせず、また、画像輝度のヘッセ行列の正則性を必ずしも要請せずに、オプティカルフローの推定が可能となる。従来にも、オプティカルフローが並進的でない場合にも、例えば単純拡大や回転など、その運動に関する事前情報が分かっている場合には、オプティカルフローの推定が可能であることは示されている(非特許文献5参照)。しかし、撮像画像の各点の輝度以外に、オプティカルフローに関する事前情報が必要である点には変わりがない。本願発明によれば、このような事前情報を必要とせず、オプティカルフローの推定が可能である。
【0022】
さらに、本願発明によれば、オプティカルフローの推定と同時に、その空間勾配をも推定することが可能となる。オプティカルフローの空間勾配はベクトル場の回転や発散の情報を含み、三次元空間における物体の運動復元を行う上でとても重要な量である。本願発明は、空間勾配という重要な量について、事前に仮定を必要とせず、かつ、オプティカルフローと同時に推定可能とするものである。
【0023】
このように、従来の勾配法では、並進的な動き(つまり、カメラ光軸に垂直な平面上を回転もせずに等速に動くこと)を仮定していた。そのため、光軸に沿った動きや回転を含む運動を計測する際は原理的に精度が劣化することとなる。これに対して、本願発明は、同時に空間勾配をも推定(補正)することができ、原理的に精度が向上する。このように、画像の回転や拡大が直接検出でき、画像の回転や拡大のオプティカルフローへの影響が補正されるので、回転や拡大がある場合のオプティカルフローの精度が向上する。さらに、回転や拡大の影響を用いることで、オプティカルフローが計算可能な画像が増えることとなる。
【0024】
また、従来の勾配法の問題点として、雑音対策に重きを置くあまり、推定原理の本質が見えにくくなっていることがある。例えば、不足する方程式の数を補うために空間的な広がりを利用する方法もあるが、これは、考えている領域内でオプティカルフローが均一であるという仮定を置く。しかし、この仮定は十分小さな領域を考える場合に成り立つが、領域を小さくすると式(1)の方程式の独立性が失われる。領域の大きさによる仮定の成立性と方程式の独立性が相反する。時空間で離散化されたデータを前提とする方法であり、本質的な推定可能性を考えるには不向きである。
【0025】
本願発明によれば、あくまで注目点の近傍だけの情報、言い換えるならば注目点の輝度及びその時空間勾配の情報のみからオプティカルフローを推定することが可能となる。
【0026】
さらに、従来の勾配法には、実装上の問題点がある。従来の勾配法では、輝度情報の時空間微分の陽な計算が必要であり、画像情報からえるためには差分演算が不可避であった。この差分演算は外乱に弱く、オプティカルフローの推定の信頼性に大きく影響する。また、これらの差分情報から線形連立方程式を解くためにヘッセ行列の正則性などが要請される。ここでも逆行列計算による推定の劣化が問題となる。
【0027】
本願の請求項4及び5に係る発明によれば、時空間微分を用いず、かつ、陽な逆行列計算を用いることなく推定を行うことが可能となる。このように、例えばカルマンフィルタを用いる等による雑音対策により、逆行列の陽な計算を回避することができ、結果としてオプティカルフローの計算精度が向上することとなる。
【図面の簡単な説明】
【0028】
【図1】本願発明の実施例である物体運動推定装置1の概略ブロック図である。
【図2】図1の物体運動推定装置1による画像処理の一例を示すフロー図である。
【図3】実施例2において、瞬時推定の結果を示す図である。
【図4】実施例2において、カルマンフィルタを用いた推定の結果を示す図である。
【発明を実施するための形態】
【0029】
以下、図面を参照して、本願発明の実施例について説明する。ただし、本願発明は、記載した実施例に限定されるものではない。
【実施例1】
【0030】
図1は、本願発明の実施例である物体運動推定装置1の概略ブロック図である。物体運動推定装置1は、例えばドライブレコーダである。
【実施例1】
【0031】
物体運動推定装置1は、画像を撮像する撮像部3と、撮像部3により撮像された撮像画像を記憶する撮像画像記憶部5と、撮像画像上の各点について、時間又は/及び輝度の量子化を行い計測画像とする量子化部7と、計測画像を記憶する計測画像記憶部9と、計測画像に平滑化を行い平滑化画像とする平滑化部11と、平滑化画像を記憶する平滑化画像記憶部13と、量子化画像に基づいてオプティカルフローを推定する画像解析処理部15と、推定されたオプティカルフローを記憶するオプティカルフロー記憶部17を備える。
【実施例1】
【0032】
撮像部3は、例えば車載カメラである。車載カメラは、基本的に進行方向に向けられるので光軸に沿った動きが避けられない。また、ドライブレコーダのような広角画像では、画像の歪みによる拡大が避けられない。そのため、撮像画像には、大きな誤差が含まれることとなる。
【実施例1】
【0033】
量子化部7は、例えば、整数の時刻tで、撮像画像の(x,y)のxとyが整数の点について、小数点以下を切り捨てて量子化を行い、これを計測画像とするものである。量子化部7の処理により、量子化誤差が加わる。
【実施例1】
【0034】
平滑化部11は、計測画像の各時刻において、例えばガウスフィルタを用いて平滑化を行い、平滑化画像とする。
【実施例1】
【0035】
画像解析処理部13は、平滑化画像の輝度情報を用いてオプティカルフローの推定を行う。撮像画像の注目点における輝度勾配を演算する輝度勾配演算部21と、輝度勾配から時間勾配を演算する時間勾配演算部23と、時間勾配を係数とし、オプティカルフロー及びその空間勾配を変数とする連立方程式を解く方程式演算部25と、撮像画像の注目点の空間近傍の輝度情報を観測量としてフィルタを用いてオプティカルフロー及びその空間勾配を逐次推定する状態推定処理部27を有する。以下では、画像解析処理部13の動作を中心に、具体的に説明する。
【実施例1】
【0036】
まず、オプティカルフロー方程式の一般化について説明する。ここで、時刻tにおける画像上の位置(x,y)における輝度をI(x,y,t)とし、I(x,y,t)は必要とされる回数だけ微分可能であると仮定する。一方、オプティカルフローを[u(x,y,t) v(x,y,t)]Tで表し、こちらも必要とされる回数だけ微分可能であると仮定する。なお、本実施例では、偏微分をIt(=∂I/∂t)のように添字にて表すものとする。
【実施例1】
【0037】
輝度不変の拘束式(1)は、式(4)のように、輝度I(x,y,t)の時空間における[u v 1]T方向への勾配が0であると解釈することもできる。
【実施例1】
【0038】
時空間のある点P(x0,y0,t0)において、式(4)が成立しているとする。さらに、点Pの近傍点(x0+Δx,y0+Δy,t0+Δt)においてもオプティカルフローに沿った移動後も輝度が変化しないという条件は、近傍点における方向微分が0という条件として表される。式(5)は、近傍点における輝度、オプティカルフロー及びその空間微分を、微小量Δx,Δy,Δtで近似した条件である。ここで微小量Δx,Δy,Δtの2次の項を無視すると、任意の近傍で式(5)が成立するためには微小量Δx,Δy,Δtの1次の項の係数がそれぞれ0でなければならない。これより、近傍における各点でオプティカルフローに沿った移動後の輝度不変の条件は、式(6a)~(6c)の3式が成立することとなる。
【実施例1】
【0039】
式(6)の一般化されたオプティカルフロー恒等式は、画像上の注目点の近傍において輝度不変であるための条件式をテーラー展開し、その1次の項までで打ち切った条件である。そのように解釈すると、従来の輝度不変の拘束式(4)は、テーラー展開の0次の項に相当することが分かる。また、式(6)の条件は従来のオプティカルフロー方程式(4)をx,y,tについて偏微分することによっても導出ができ、テーラー展開のより高次の項に対応する輝度不変条件も同様に容易に導出することができる。式(7a)~(7f)は、本実施例で用いる2次の項に対応する条件である。
【実施例1】
【0040】
【数3】
JP0005504426B2_000004t.gif
【実施例1】
【0041】
続いて、オプティカルフローの推定モデルについて説明する。本実施例では、オプティカルフロー方程式の拘束条件を一階非線形連立微分方程式として記述し、動的システムとして扱う。そして、動的システムの状態の可観測性の概念を使って、オプティカルフロー及びその空間勾配を同時に推定する推定原理及び推定可能条件を明らかにする。
【実施例1】
【0042】
動的システムとして扱う場合、テーラー展開の次数で制約方程式を選択するのではなく、推定に用いる空間勾配の次数、推定するオプティカルフローの時空間勾配によってシステムを記述するための制約式を選択すべきである。そこで、式(8)の輝度の2次までの空間勾配iを用いて、式(9)のオプティカルフローとその空間勾配mを推定する。
【実施例1】
【0043】
推定に用いない輝度の3次以上の空間勾配と、推定を行わないオプティカルフローの2次以上の空間勾配は、0と仮定する。さらに、オプティカルフローは時不変であると仮定する。すなわち、ut=0,vt=0とする。この仮定は、オプティカルフローの空間勾配も時不変であることを意味する。
【実施例1】
【0044】
これらの仮定のもと、画像上のある点P(x0,y0)における輝度、オプティカルフロー及びその空間勾配を用いて、状態q(t)を式(10)と選ぶ。そして、これら変数の時間微分を記述する拘束式として式(4),(6a),(6b),(7a),(7b),(7c)を選ぶことで、オプティカルフローの推定モデルが式(11a)~(11d)のように得られる。ただし、Em×n,Om×nは、それぞれm×nの単位行列,零行列を表す。なお、関数の引数x0,y0,tは適宜省略する。
【実施例1】
【0045】
【数4】
JP0005504426B2_000005t.gif
【実施例1】
【0046】
システムの可観測性とは、有限時間区間の出力の観測によって状態を一意に決定できるシステムの性質である。具体的には、式(12)の非線形微分方程式で表される動的システムを考える。ただし、状態q(t)∈Rn,出力z(t)∈Rmである。このとき、非特許文献3を参照して、可観測性について定義し、補題1が成立する。
【実施例1】
【0047】
定義:システム(12)が与えられたとする。任意の初期時刻t0、初期状態q0=q(t0)に対して有限の時刻t1が存在し、観測出力z(t)(t0≦t≦t1)と初期状態がq0の近傍にあるという知識から初期状態q(t0)が一意に決定できるとき、システム(12)は状態q0において可観測であるという。
【実施例1】
【0048】
補題1:以下の命題(i)、(ii)及び(iii)は等価である。
(i) 与えられたシステム(12)は状態q0において可観測である。
(ii) q(t)=q0において(実ベクトルの意味で)、式(13)である。
(iii) q(t)=q0において、式(14)である。
ただし、Lie微分は式(15)と、Lie微分の微分形式は式(16)と与えられる。
具体的な状態qは、式(17)の非線形連立代数方程式をqについて解くことによって決定することができる。
【実施例1】
【0049】
【数5】
JP0005504426B2_000006t.gif
【実施例1】
【0050】
式(11)で定義される推定モデルの場合は、出力z(t)から式(10)の状態q(t)が一意に決定できることである。ここで、q(t)はオプティカルフロー[u v]Tを含むので、可観測であればオプティカルフローが一意に決定できることを意味する。オプティカルフローの推定モデル(11)の非線形動的システムとしての可観測性は、Lie微分を用いて調べることができる。式(11d)よりLie微分の微分形式dhは式(18)である。微分形式dhが上記の構造を持つので、可観測性を調べるためには微分形式dLkfh(k=1,...,11)の第7~12列の列フルランク性を調べればよい。以下では、行列Aの第7列以降に対応する部分行列を(A)2で表す。
【実施例1】
【0051】
ここで、式(11)のシステムに対する式(16)を計算すると、式(19)となる。ただし、N、J、Jtは、それぞれ、式(20)、(21)、(22)である。これを用いて実際に微分形式のランクを計算すると、式(23)であるものの式(24)となり、一般の状態q(t)においてシステムは可観測となり、オプティカルフローとその空間勾配mが同時に推定可能である。
【実施例1】
【0052】
ただし、特別な状態(例えばq(t)=O12×1)における可観測性は必ずしも保証されないので、以下、可観測性が成立するために輝度、オプティカルフローが満たすべき条件について考察を与える。式(19)の右辺一つ目の行列が常に正則であることより、式(25)が成り立ち、[JTtTTが列フルランクとなるために状態q(t)が満たすべき条件を明らかにすればよい。
【実施例1】
【0053】
定理1:式(24)が満たされ式(11)のシステムが可観測となるための十分条件は、以下の(i)、(ii)の2つの条件のいずれかが成立することである。
(i) 輝度のヘッセ行列Hが式(26)を満たし、さらに式(27a)、(27b)、(27c)のいずれかの付帯条件を満たすこと(ただし、αは任意の定数)。
(ii) 輝度の1次の空間勾配とその時間微分が式(28)を満たすこと。
なお, 定理1の(i)の3つの付帯条件が満たされない場合でも、オプティカルフロー[u v]Tの推定は可能である。
【実施例1】
【0054】
定理1(i)の式(26)の条件は、画像の輝度のみから推定可能性が決まる条件で、従来から知られている輝度のヘッセ行列の正則性と等価である。一方、(ii)の式(28)の条件は、画像の輝度勾配の時間変化によって推定可能性が決まるものであり、これまで知られていない新しい条件である。この条件(28)が十分条件として加わることによって、従来法よりも推定可能条件が緩和され、推定可能な状況、つまり輝度とオプティカルフローの組み合わせが増える。
【実施例1】
【0055】
さらに、この式(28)の条件の特筆すべき点として、輝度のヘッセ行列Hが零行列であったとしても推定可能な場合がある。すなわち、式(29)は、式(28)の行列を具体的に書き下したものである。この行列は、H=Oであったとしても、式(30)の場合を除いて一般にランクは2となり、オプティカルフローの推定が行える。式(30)は単純な拡大縮小の場合のオプティカルフロー(特に、並進はα=0)を表しているので、単純拡大縮小以外の場合は、式(28)の条件によってもオプティカルフローが推定できることを示している。実際、後に数値実験により示すように、画像全体でH=Oであるような画像でも、ある点を中心として一定角速度で回転するような場合には、この推定モデルを用いるとオプティカルフローの推定が可能である。この事実は、従来の推定法(非特許文献5参照)ではH≠Oであってもdet(H)=0となるだけで推定ができなくなるのとは大きく異なり、この推定モデルの頑健性を示しているといえる。
【実施例1】
【0056】
【数6】
JP0005504426B2_000007t.gif
【実施例1】
【0057】
【数7】
JP0005504426B2_000008t.gif
【実施例1】
【0058】
さらに、輝度の時空間勾配からオプティカルフローとその空間勾配を求める具体的な計算式を示す。微分形式が列フルランクになるために必要な微分が2回であったことから、瞬時的に推定を行うためには、観測量z(t)の時間に関する2階微分までの情報が必要となる。自明に決定できるz(t)を除き、(d/dt)z(t),(d2/dt2)z(t)について式(17)を具体的に書き下すと式(31)となる。なお、式(31)は、請求項の(eq2)に対応する。ここで、式(21),(22)で定義される行列J,Jtの要素はすべて輝度の時空間勾配であり、観測量z(t)から求めることが可能である。したがって、式(31)の方程式は、推定すべき変数に関して線形方程式となっている。この過制約の線形方程式を、例えば最小二乗法などによって解くことによって、オプティカルフローだけでなく、その空間勾配の瞬時推定も可能である。
【実施例1】
【0059】
また、実装の際に必要とされる画像データは、輝度の2次の空間勾配を計算する必要があるので、各時刻において3画素×3画素以上必要である。さらに、輝度の空間勾配の時間に関する2次微分まで必要であるので、時系列方向に3枚以上の画像が必要である。つまり、式(25)に従ってオプティカルフローとその空間勾配を推定するために必要とされる画像サイズは、少なくとも3画素(x方向)×3画素(y方向)×3(t方向)である。
【実施例1】
【0060】
図2を参照して、実際の計算手法の一例を説明する。時刻t、座標(x,y)における輝度をI(x,y,t)とし、時刻t0における注目点(x0,y0)におけるオプティカルフロー[u v]Tとその空間勾配を求める。
【実施例1】
【0061】
まず、撮像部3が、3画素以上×3画素以上の画像を、時間を異にして3枚以上撮影して撮像画像とし(ステップST1)、量子化部7が撮像画像上の各点について、時間又は/及び輝度の量子化を行って計測画像とし(ステップST2)、平滑化部11が計測画像に平滑化を行い平滑化画像とする(ステップST3)。ここで、具体的に説明するために、用いるデータは、I(x,y,t)のうち、xがx0-1、x0、x0+1、yがy0-1、y0、y0+1、tがt0-2、t0-1、t0を組み合わせた27画素の輝度であるとする。
【実施例1】
【0062】
まず、輝度勾配演算部21は、輝度勾配を求める(ステップST4)。計算で求めたデータは、輝度自体も得られたデータから一番確からしい値に修正するため、観測データと区別するためGと表す。これが、式(32)である。なお、式(32a)、(32b)、(32c)、(32d)、(32e)、(32f)についてはt=t0-2、t0-1、t0である。
【実施例1】
【0063】
次に、時間勾配演算部23は、このデータから時間勾配を求める(ステップST5)。これが、式(33)である。なお、式(33a)、(33b)、(33c)、(33g)、(33h)、(33i)についてはt=t0-1、t0である。そして、方程式演算部25は、オプティカルフローとその空間勾配を式(34)の連立方程式を解くことにより求める(ステップST6)。画像処理装置13は、求めたオプティカルフロー及びその空間勾配を、オプティカルフロー記憶部15に保存する(ステップST7)。
【実施例1】
【0064】
【数8】
JP0005504426B2_000009t.gif
【実施例1】
【0065】
【数9】
JP0005504426B2_000010t.gif
【実施例1】
【0066】
なお、代表的な仮定としては、時不変性の仮定以外に、並進性の仮定(すなわち、式(35)が成立するとの仮定)がある。提案したものは、時不変性は仮定し、並進性は仮定しないものである。そこで、これらの各仮定をした場合としない場合の組み合わせについて、提案のものと比較する。
【実施例1】
【0067】
まず、時不変性の仮定だけでなく、並進性も仮定した場合に対して提案したものと比較した場合、提案したものは、定理1において説明したように、推定可能条件が緩和され、推定可能な状況、つまり輝度とオプティカルフローの組み合わせが増える。
【実施例1】
【0068】
次に、時不変性の仮定をせず、並進性の仮定をした場合について検討する。この推定モデルは、比較的時間変動の大きなオプティカルフローの推定に適したものといえる。
【実施例1】
【0069】
画像上のある点P(x0,y0)における輝度、オプティカルフロー及びその空間勾配を用いて、状態q(t)を式(36)として、オプティカルフローの推定モデルを式(37)のようにおく。オプティカルフローの推定モデル(36)の非線形システムとしての可観測性を調べると、推定モデル(37)が可観測となるための必要十分条件は式(38)となる。また、微分形式が列フルランクになるために必要な微分が2回であったことから、瞬時的に推定を行うためには、観測量z(t)の時間に関する2階微分までの情報が必要である。これまでの推定モデルと同様に推定するための代数方程式を求めると式(39)となる。この(過制約の)線形方程式を解くことによって(誤差や雑音の影響を無視すれば)瞬時推定を行うことが可能である。オプティカルフロー[u v]Tだけであれば、上式の第1~3行目の線形方程式を解くことでも推定が行えるが、第4行目の制約式によって[uttTの情報を[u v]Tの推定に反映させることができる。一方、この推定モデルの可観測性条件(38)は、従来の可観測性条件よりも厳しい条件である。これは時不変性の仮定を設けなかったことの代償である。さらに、一般に推定モデルの状態数の増加は推定精度の劣化、計算時間の増加に結びつくので、この推定モデルが従来の推定モデルより有効であるかどうかについては注意が必要である。
【実施例1】
【0070】
なお、時不変性の仮定と並進性の仮定のいずれか一方のみを仮定した発明は、次のように特定される。すなわち、物体を撮像した撮像画像を画像解析処理して前記物体の運動を推定する物体運動推定装置において、前記物体が撮像された少なくとも3枚の撮像画像に対し、時間に関して2階微分した情報を用いてオプティカルフローという情報を画像解析処理して推定する画像解析処理手段を備えた、物体運動装置、である。なお、時不変性と並進性を共に仮定したものは1階微分した情報を用い、時不変性と並進性を共に仮定しないものは3階微分した情報を用いる。
【実施例1】
【0071】
次に、時不変性も並進性も仮定しない、最も一般的な推定モデルでは、オプティカルフローが時不変かつ単純拡大・縮小という基本的な状況で推定モデルが輝度Iによらず不可観測になる。他の推定モデルでは、輝度に対して可観測であるための制約が課されていた。これに対して、この推定モデルは、輝度に関わらずオプティカルフローの時空間勾配に対して条件が課される点で大きく異なる。実質的にこの推定モデルでは、オプティカルフローの推定ができないことを意味している。
【実施例1】
【0072】
このように、時不変性を仮定しない推定モデルは、時不変性を仮定しないモデルに比べ可観測となるための条件が厳しく、実画像への適用には注意が必要である。
【実施例1】
【0073】
【数10】
JP0005504426B2_000011t.gif
【実施例1】
【0074】
続いて、カルマンフィルタによる推定について説明する。瞬時推定では、輝度の時空間微分の陽な計算が必要であり、画像情報からこれらの情報を得るためには差分演算が不可避であった。この差分演算は外乱に弱く、オプティカルフローの推定の信頼性に大きく影響する。
【実施例1】
【0075】
一方、カルマンフィルタは、雑音が加わる動的システムの出力の時系列データから逐次的にシステムの状態を推定する。カルマンフィルタによる推定は、時間解像度は犠牲にするものの、時間微分の陽な計算は不要となり、式(31)の線形方程式を解く際の逆行列計算も不要となり、外乱に強く精度の高い推定が可能となる。
【実施例1】
【0076】
オプティカルフローの推定にカルマンフィルタを用い推定精度の向上を試みることは既に行われている(非特許文献7など参照)。しかし、これらの手法は、あくまでも瞬時的な方法に基づいて求まったオプティカルフローの推定値に、時間方向の滑らかさを要請するためにカルマンフィルタを用いているだけであり、式(31)の線形方程式を解くという意味で本質的には瞬時的な推定方法となんら変わらない。
【実施例1】
【0077】
そこで、提案した推定モデル(11)にカルマンフィルタを適用し、オプティカルフローを推定する方法について説明する。
【実施例1】
【0078】
まず、空間勾配を用いない推定モデルについて説明する。カルマンフィルタの特徴は、時間微分を用いる必要がないことである。一方、提案した推定モデルの観測量は、輝度の空間微分を含んでいる。そのため、これらの推定モデルをそのまま用いては、空間微分の計算は不可欠である。
【実施例1】
【0079】
そこで、推定モデルの観測方程式を修正し、カルマンフィルタによる逐次推定において空間微分の計算を不要となる推定モデルを提案する。具体的には、観測量として注目点P(x0,y0)の空間勾配の代わりに、注目点P(x0,y0)の空間近傍の輝度Iを用いることを考え、新たな観測量z(t)として、式(40)という、注目点P(x0,y0)の3×3近傍の輝度を考える。
【実施例1】
【0080】
近傍点の輝度I(x0+Δx,y0+Δy)(Δx,Δy>0)は式(41)と近似できるので、z(t)は式(42)のように近似できる。ただし、nは状態qの次数(又は要素数)である。ここで、式(42b)の行列Hのランクが常に6であり、式(43)によってz(t)からz(t)が復元できる。このことから、システムの可観測性が維持されることが示せる。このことより、空間勾配の代わりに近傍点の輝度情報を観測量とすることでカルマンフィルタが構成できる。
【実施例1】
【0081】
なお、ここでは簡単のため3×3近傍を考えたが、一般のk×l近傍(ただし、3×3以上)や矩形以外の近傍に対しても式(42b)のHは簡単に計算でき、そのランクが6であればカルマンフィルタが構成できる。
【実施例1】
【0082】
【数11】
JP0005504426B2_000012t.gif
【実施例1】
【0083】
次に、図1の画像解析処理部13の状態推定処理部27による、カルマンフィルタを用いた推定処理について説明する。雑音を付加した式(44)のモデルを考える。ただし、f(q),Hは式(11c),(42b)で与えられ、システム雑音u(t),観測雑音w(t)は、それぞれ共分散行列がQ,Rのガウス雑音と仮定する。この枠組みにおいて、カルマンフィルタによる逐次推定を行えばオプティカルフローの推定が行える。
【実施例1】
【0084】
オプティカルフローの推定モデルは非線形システムであり、その非線形性も強い。そこで、非線形性を線形近似する拡張カルマンフィルタではなく、推定値の共分散を近似する無香料カルマンフィルタ(unscented Kalman filter)(非特許文献2参照)を用いて状態推定を行い、オプティカルフローを推定することを提案する。無香料カルマンフィルタの特徴として、システム外乱を状態に含めて推定を行うことにより、推定精度を向上させることができること(非特許文献6参照)、時間方向の離散化において、ルンゲ・クッタ法などの高次の積分公式を用いることが可能で、これによっても推定精度を向上させることができることが挙げられる。これらは推定に必要な計算時間とのトレードオフになるが、システム外乱を状態に含めたモデルを採用し、数値積分公式は非線形性を考慮して2次以上の積分公式を用いるべきである。
【実施例1】
【0085】
【数12】
JP0005504426B2_000013t.gif
【実施例1】
【0086】
以上をまとめると、本実施例では、輝度不変の仮定と局所的な輝度情報からのみによるオプティカルフロー推定可能性を動的システムの可観測性の立場から示した。オプティカルフローに対する並進性の仮定を緩めるために、輝度不変の拘束式の拡張を行った。導出した拘束式は、画像上の注目点の近傍において輝度不変であるための条件式をテーラー展開し、その各項の係数が0となるための条件である。そのように解釈すると、従来の輝度不変の拘束式はテーラー展開の0次の項に相当することが分かる。
【実施例1】
【0087】
さらに、本実施例では、オプティカルフローに対する並進性の仮定を緩めるだけでなく、オプティカルフローとその空間勾配を同時に推定するという立場から、動的システムとしての推定モデルを提案した。そして、動的システムの可観測性の立場から、推定可能性に対して考察を行い、輝度のヘッセ行列が零行列であってもオプティカルフローとその空間勾配の推定が行える場合があることを示した。
【実施例1】
【0088】
また、ヘッセ行列などの逆行列計算や、時空間勾配の陽な計算を排除するために、推定モデルの出力方程式を修正し、カルマンフィルタを用いた数値的に安定な推定法を提案した。
【実施例1】
【0089】
なお、カルマンフィルタは一例であり、他の逐次推定手法を用いてもよい。
【実施例1】
【0090】
また、例えば、テーラー展開のより高次の項まで用いた条件式に基づく推定モデルを導出したり、オプティカルフローの時変性へ対応したりするようにしてもよい。
【実施例2】
【0091】
本実施例では、具体的な例を通して、提案した推定モデルの有効性を示す。
【実施例2】
【0092】
元画像の輝度I(x,y,t)を式(45)のように与える。この元画像は、輝度の空間勾配が平坦な(ヘッセ行列が零行列の)画像を、点(0,0)を中心に一定角速度ω(≠0)で回転させたものである。この元画像の座標(x,y)におけるオプティカルフロー及びその空間勾配は、時不変性の仮定の元では一意に決まり、式(46)である。一方、輝度の時空間勾配は式(47)であり、輝度のヘッセ行列が零行列となるので、従来の局所推定法ではオプティカルフローの推定は行えない。
【実施例2】
【0093】
【数13】
JP0005504426B2_000014t.gif
【実施例2】
【0094】
次に、理論計算について説明する。ここでは、式(45)の元画像の輝度及びその空間勾配から、オプティカルフローが理論的に計算可能かどうかを検討する。
【実施例2】
【0095】
まず、Hornら(1981)の大域法を適用する。Hornら(1981)では、ある領域Dについて式(48)を最小化する。ただし、γ>0は平滑化の強さを調整するパラメータである。領域D={(x,y)|-a≦x≦a,-b≦y≦b}(a,b>0),時刻は一般性を失わずt=0を考える。式(47a)、(47b)より、t=0で上記の評価関数は式(49)となり、u,γの選び方に関わらずvx=vy=0、つまり、v=const.が解となる。このことは、v(x,y,0)が一意に決定できないこと、決定したとしても真値(46)とは異なることを意味する。また、u(x,y,0)についても、領域Dが仮定のように矩形の場合はux=0となるようなuのうち式(50)を最小化するものを選べばよい。変分法を用いて解くと式(51)が最小解となる。このu(x,y,0)は滑らかさの重みγがγ→0で真値に一致するものの、γ>0である限りはやはり真値とは一致しない。以上より、この数値例ではHornら(1981)の大域法を用いてもオプティカルフローが一意に定められないこと、定められたとしても真値とは一致しないことがわかる。
【実施例2】
【0096】
一方、提案した推定モデルの瞬時推定式(31)は、式(47c)に注意すると式(52)となる。ここで、両辺とも0となる自明な方程式は除くとともに、方程式の順番を入れ替えている。上式は3組の2次元線形連立代数方程式となり、式(47a),(47b)を代入することで式(53)の3つの式と等価になる。いずれの式もtによらず常に一意に解が定まり、式(46)の理論値と一致する。この事実は、大域法に対する提案した推定モデルの優位性を示している。
【実施例2】
【0097】
次に、数値計算について説明する。ここでは、式(45)の元画像のパラメータをβ=0.2、ω=π/100、I0=128とし、時空間及び輝度の量子化を行った計測画像に対して提案手法を適用し、その有効性を示す。
【実施例2】
【0098】
具体的には、図1の量子化部7が、式(45)で与えられる元画像を撮像画像として、tが整数の時刻において(x,y)が整数の点で小数点以下を切り捨てて量子化を行い、これを計測画像とする。そして、図1の平滑化部11が、計測画像の各時刻において、σ=3のガウスフィルタを用いて平滑化を行う。画像解析処理部15は、この平滑化画像の輝度情報を用いてオプティカルフローの推定を行う。
【実施例2】
【0099】
まず、提案した推定モデルを用いて瞬時推定を行った結果を示す。図3は、座標(60,80)におけるオプティカルフロー[u v]Tの推定値を400フレーム(2回転)分示している。量子化誤差の影響で推定値に大きな誤差が加わっており、推定がうまくできているとは言い難い。これは元画像が非常に特徴の少ない画像であるため、量子化誤差程度でも逆行列計算に大きく影響するためと考えられる。
【実施例2】
【0100】
次に、量子化誤差に対応するため、カルマンフィルタを用いて推定を行った結果を示す。推定は提案した推定モデルである式(11)に、式(42)による出力方程式の修正を施したモデルを用いる。このモデルに対して雑音が印可された式(44)を考え、無香料カルマンフィルタを用いて推定を行う。ただし、式(44)における雑音の共分散行列はそれぞれ式(54)、式(55)とし、カルマンフィルタで用いる状態の推定値の初期値はすべて0としている。また、オプティカルフローのモデルの数値積分は古典的ルンゲ・クッタの4次の公式を用い、かつ無香料カルマンフィルタのモデルとしては、状態にシステム雑音を含め拡張した推定モデル(非特許文献6参照)で実験を行った。
【実施例2】
【0101】
図4は、座標(60, 80)におけるオプティカルフロー[u v]Tとその空間勾配ux、uy、vx、vyの推定値を400フレーム(2回転)分示している。初期値が大きくずれているため収束まで時間がかかっているものの、精度良く推定できていることが分かる。また、オプティカルフローの空間勾配も同時に推定できていることが確認できる。これより、提案した推定モデル及びカルマンフィルタを用いた推定法の有効性を示すことができた。
【実施例2】
【0102】
【数14】
JP0005504426B2_000015t.gif

【産業上の利用可能性】
【0103】
オプティカルフローは、画像による物体の運動計測に用いることができる汎用性の高い技術である。具体的には、例えば、自動車の車載カメラによる移動体の運動計測がある。車載カメラは、基本的に進行方向に向けられるので光軸に沿った動きが避けられない。また、ドライブレコーダのような広角画像では、画像の歪みによる拡大が避けられない。本願発明によれば、このような場合にも高精度でオプティカルフローが計算できる。さらに、移動体の一般的な検出も可能であり、例えば、車載カメラによる飛び出しや追い越し車両の警告、建物における侵入者検出、運動するカメラの座標補正なども可能である。
【0104】
また、既に組みあがってしまった回転機械の回転速度を、回転軸に何かを設置することなく測定することもできる。従来の角速度センサは回転軸に取り付けるものが主流である。本願発明によれば、必ずしも回転中心を含まない回転体の時系列画像から回転角速度及び回転の中心までの距離を計測することが可能になる。
【0105】
さらに、同様に物体の運動の並進性が仮定できない、流体計測(特に渦、乱流)などにも有用である。
【符号の説明】
【0106】
1 物体運動推定装置、13 画像解析処理部、21 輝度勾配演算部、23 時間勾配演算部、25 方程式演算部、27 状態推定処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3