Top > Search of Japanese Patents > OBJECT MOTION ESTIMATING DEVICE, OBJECT MOTION ESTIMATING METHOD, AND PROGRAM

OBJECT MOTION ESTIMATING DEVICE, OBJECT MOTION ESTIMATING METHOD, AND PROGRAM

Patent code P120007232
File No. 11035
Posted date Apr 5, 2012
Application number P2011-196460
Publication number P2013-058105A
Patent number P5874996
Date of filing Sep 8, 2011
Date of publication of application Mar 28, 2013
Date of registration Jan 29, 2016
Inventor
  • (In Japanese)瀬部 昇
  • (In Japanese)延山 英沢
  • (In Japanese)榎田 修一
  • (In Japanese)深見 友也
Applicant
  • (In Japanese)国立大学法人九州工業大学
Title OBJECT MOTION ESTIMATING DEVICE, OBJECT MOTION ESTIMATING METHOD, AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To provide an object motion estimating device and the like improving an estimation accuracy compared with a conventional optical flow estimating method and being robust to, for example, illumination fluctuation, and to detect a boundary or the like of the motion object.
SOLUTION: An object motion estimating device (1) estimates an optical flow representing the motion of an object in an image data series on the basis of a dynamic system model. States of the dynamic system model are luminance of each pixel in an estimation area of the image data, and an optical flow of the whole or a part of the respective pixels. A luminance time evolution section (11) calculates luminance at a novel time from the luminance and an optical flow in a state at a given time. An optical flow time evolution section (13) at least calculates an optical flow in a state at a novel time from the optical flow in the state at the given time.
Outline of related art and contending technology (In Japanese)

オプティカルフローは、画像における物体の動作を表すベクトルである。オプティカルフロー方程式は、式(1)の保存則により表される(非特許文献1参照)。ここで、I(x,y,t)は輝度であり、(x,y)は画像上の座標を示し、tは時間である。そして、[u v]Tは、オプティカルフローを表す。

変数u及びvを決定するには、拘束条件として、式(1)のみでは十分でない。そのため、従来、オプティカルフローを計算するために、付加的な拘束条件を導入することがなされてきた。

付加的な拘束条件を表す一つのアプローチは、すべてのオプティカルフローは同じと仮定して、(x,y)の近傍に空間的に分布する複数の点を考えることである(非特許文献2参照)。オプティカルフローは、各点に対する保存則を構成する連立代数方程式を解くことによって計算される。このアプローチの基本的な推定原理は、式(2)により与えられる線形方程式によって表すことができる(非特許文献3及び4参照)。ここで、添字は、偏微分を表す。すなわち、例えば、Itx=∂2I/∂t∂xである。輝度のヘッセ行列(式(2)の行列の下部分)は、画像における物体の角に深く関係している(非特許文献5参照)。このヘッセ行列の行列式(線形方程式の解法の数値的正確性に関係する)も、推定されたオプティカルフローの信頼性の度合いとして使用される(非特許文献6参照)。

拘束条件を表す他のアプローチは、勾配法(大域法)と呼ばれるものである。これは、付加的な拘束条件として、オプティカルフローの滑らかさを導入するものである(非特許文献1、5、7及び8参照)。勾配法では、ヘッセ行列の正則性は失われ、オプティカルフロー推定の信頼性が低下する画像中の領域が存在する。このような画像中の領域に対しては、信頼できる領域のオプティカルフローを使って補間によって求める。

勾配法の関連研究には、輝度の一定性に代えて、勾配(すなわち、式(2)の第2及び第3行)の一定性を使うものもある(非特許文献8参照)。この修正により、結果として、推定法において、照明変動に対して、より頑健になる。勾配の一定性は、同様に、推定された領域において、並進的な動きを仮定する。

他方、カルマンフィルタは、観測出力の時系列データから動的システムの状態を逐次的に推定する。さらに、カルマンフィルタを使用することにより、結果として、時間解像度を犠牲にするものの、時間の導関数の明示的な計算を必要としない。それゆえ、カルマンフィルタを用いることで、より頑健でかつ正確なオプティカルフロー推定を構築することができる。さらに、近年、時間的な逐次処理は、動画像(ムービー)のような時系列データを扱う場合に、より重要なものとなってきた。カルマンフィルタは、潜在的に、時系列データの処理に対して、強力な方法になりうる。

オプティカルフロー推定にカルマンフィルタを使う試みは、様々になされてきた(非特許文献9-12参照)。これらの研究は、すべて、共通のフレームワークがある。すなわち、
(i)輝度の時空間勾配(すなわち、Ix、Iy、It)を計算する。
(ii)線形方程式又は最小化問題を解くことにより、オプティカルフローを推定する。
(iii)スムーザーとして、カルマンフィルタを適用する。

第3のステップ(iii)において、オプティカルフローの動的モデルは、式(3)として与えられる。ここで、u(k)及びv(k)は、時刻kにおけるオプティカルフローベクトルを示し、N(0,s)は、標準偏差sのガウス性白色ノイズを示す。

発明者らは、オプティカルフロー方程式を、オプティカルフローを推定するためにカルマンフィルタを適用する動的システムとして考察した(特許文献1、非特許文献13参照)。これにより、他の従来技術と比較して、画像の輝度とオプティカルフローの振る舞いをシミュレートする動的システムモデルを提案した。オプティカルフローを、式(2)のような線形方程式を解くことなく、カルマンフィルタ処理中に推定することができる。これは、Lucas-Kanade法(非特許文献2参照)やHorn-Schunck法(非特許文献1参照)とは異なり、オプティカルフローの並進性の仮定も、オプティカルフローの滑らかさに対する人工的なペナルティパラメータも必要としない。

【数1】
(省略)

Field of industrial application (In Japanese)

本発明は、物体運動推定装置、物体運動推定方法及びプログラムに関し、特に、画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する物体運動推定装置等に関する。

Scope of claims (In Japanese)
【請求項1】
 
画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する物体運動推定装置であって、
前記動的システムモデルの状態は、前記画像データの推定領域における複数のピクセルの輝度、及び、前記各ピクセルの全部又は一部でのオプティカルフローであって、輝度とオプティカルフローの空間勾配を含まず
前記動的システムモデルの前記状態を記憶する状態記憶手段と、
前記状態記憶手段に記憶された前記状態における前記輝度及び前記オプティカルフローから、新たな時刻の前記状態における前記輝度を演算して、前記状態記憶手段に記憶する輝度時間発展手段と、
少なくとも前記状態記憶手段に記憶された前記状態における前記オプティカルフローから、新たな時刻の前記状態における前記オプティカルフローを演算して、前記状態記憶手段に記憶するオプティカルフロー時間発展手段を備える物体運動推定装置。

【請求項2】
 
前記動的システムモデルは、ノイズを含み、
前記輝度時間発展手段及び/又は前記オプティカルフロー時間発展手段は、カルマンフィルタを用いて前記状態に適用される差分計算を含む状態空間方程式により前記ノイズの影響を抑制するとともに、濾過推定値に加えて予測推定誤差共分散を得ることにより、信頼性の尺度として用いて推定されたオプティカルフローの信頼性の評価を可能にする、請求項1記載の物体運動推定装置。

【請求項3】
 
前記状態に含まれるオプティカルフローの数は、前記推定領域におけるピクセル数よりも少なく、前記推定領域における各ピクセルでのオプティカルフローには、前記状態に含まれないものが存在し、
前記輝度時間発展手段は、
前記状態記憶手段に記憶された前記状態に含まれるオプティカルフローを補間して前記状態に含まれないオプティカルフローを求めて、
前記状態記憶手段に記憶された前記状態における前記輝度、並びに、前記状態に含まれるオプティカルフローの全部若しくは一部と共に又は前記状態に含まれるオプティカルフローに代えて前記補間して得られたオプティカルフローから、新たな時刻の前記状態における前記輝度を演算するものであり、
前記オプティカルフロー時間発展手段は、少なくとも前記状態記憶手段に記憶された前記状態に含まれる前記オプティカルフローから、新たな時刻の前記状態に含まれる前記オプティカルフローを演算する、請求項1又は2記載の物体運動推定装置。

【請求項4】
 
前記動的システムモデルの観測変数と予測推定値との観測残差から、前記オプティカルフローの不連続性を判断する不連続検出手段を備える請求項1から3のいずれかに記載の物体運動推定装置。

【請求項5】
 
物体運動推定装置において、画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する物体運動推定方法であって、
前記物体運動推定装置は、状態記憶手段と、時間発展手段を備え、
前記状態記憶手段は、前記動的システムモデルの状態を記憶するものであり、
前記動的システムモデルの状態は、前記画像データの推定領域における複数のピクセルの輝度、及び、前記各ピクセルの全部又は一部での前記オプティカルフローであって、輝度とオプティカルフローの空間勾配を含まず
前記時間発展手段が、
前記状態記憶手段に記憶された前記状態における前記輝度及び前記オプティカルフローから、新たな時刻の前記状態における前記輝度を演算して前記状態記憶手段に記憶し、
少なくとも前記状態記憶手段に記憶された前記状態における前記オプティカルフローから、新たな時刻の前記状態における前記オプティカルフローを演算して前記状態記憶手段に記憶する時間発展ステップを含む物体運動推定方法。

【請求項6】
 
コンピュータにおいて請求項5記載の物体運動推定方法を実現するためのプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2011196460thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close