TOP > 国内特許検索 > 物体運動推定装置、物体運動推定方法及びプログラム

物体運動推定装置、物体運動推定方法及びプログラム コモンズ

国内特許コード P120007232
整理番号 11035
掲載日 2012年4月5日
出願番号 特願2011-196460
公開番号 特開2013-058105
登録番号 特許第5874996号
出願日 平成23年9月8日(2011.9.8)
公開日 平成25年3月28日(2013.3.28)
登録日 平成28年1月29日(2016.1.29)
発明者
  • 瀬部 昇
  • 延山 英沢
  • 榎田 修一
  • 深見 友也
出願人
  • 国立大学法人九州工業大学
発明の名称 物体運動推定装置、物体運動推定方法及びプログラム コモンズ
発明の概要 【課題】 従来のオプティカルフロー推定法と比較して、推定精度を向上させ、かつ、例えば照明変動などに対して頑健な物体運動推定装置等を提供する。また、運動物体の境界等も検出可能とする。
【解決手段】 物体運動推定装置(1)は、画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する。この動的システムモデルの状態は、画像データの推定領域における各ピクセルの輝度、及び、各ピクセルの全部又は一部でのオプティカルフローである。輝度時間発展部(11)は、ある時刻の状態における輝度及びオプティカルフローから、新たな時刻の輝度を演算する。オプティカルフロー時間発展部(13)は、少なくとも、ある時刻の状態におけるオプティカルフローから、新たな時刻の状態におけるオプティカルフローを演算する。
【選択図】 図1
従来技術、競合技術の概要


オプティカルフローは、画像における物体の動作を表すベクトルである。オプティカルフロー方程式は、式(1)の保存則により表される(非特許文献1参照)。ここで、I(x,y,t)は輝度であり、(x,y)は画像上の座標を示し、tは時間である。そして、[u v]Tは、オプティカルフローを表す。



変数u及びvを決定するには、拘束条件として、式(1)のみでは十分でない。そのため、従来、オプティカルフローを計算するために、付加的な拘束条件を導入することがなされてきた。



付加的な拘束条件を表す一つのアプローチは、すべてのオプティカルフローは同じと仮定して、(x,y)の近傍に空間的に分布する複数の点を考えることである(非特許文献2参照)。オプティカルフローは、各点に対する保存則を構成する連立代数方程式を解くことによって計算される。このアプローチの基本的な推定原理は、式(2)により与えられる線形方程式によって表すことができる(非特許文献3及び4参照)。ここで、添字は、偏微分を表す。すなわち、例えば、Itx=∂2I/∂t∂xである。輝度のヘッセ行列(式(2)の行列の下部分)は、画像における物体の角に深く関係している(非特許文献5参照)。このヘッセ行列の行列式(線形方程式の解法の数値的正確性に関係する)も、推定されたオプティカルフローの信頼性の度合いとして使用される(非特許文献6参照)。



拘束条件を表す他のアプローチは、勾配法(大域法)と呼ばれるものである。これは、付加的な拘束条件として、オプティカルフローの滑らかさを導入するものである(非特許文献1、5、7及び8参照)。勾配法では、ヘッセ行列の正則性は失われ、オプティカルフロー推定の信頼性が低下する画像中の領域が存在する。このような画像中の領域に対しては、信頼できる領域のオプティカルフローを使って補間によって求める。



勾配法の関連研究には、輝度の一定性に代えて、勾配(すなわち、式(2)の第2及び第3行)の一定性を使うものもある(非特許文献8参照)。この修正により、結果として、推定法において、照明変動に対して、より頑健になる。勾配の一定性は、同様に、推定された領域において、並進的な動きを仮定する。



他方、カルマンフィルタは、観測出力の時系列データから動的システムの状態を逐次的に推定する。さらに、カルマンフィルタを使用することにより、結果として、時間解像度を犠牲にするものの、時間の導関数の明示的な計算を必要としない。それゆえ、カルマンフィルタを用いることで、より頑健でかつ正確なオプティカルフロー推定を構築することができる。さらに、近年、時間的な逐次処理は、動画像(ムービー)のような時系列データを扱う場合に、より重要なものとなってきた。カルマンフィルタは、潜在的に、時系列データの処理に対して、強力な方法になりうる。



オプティカルフロー推定にカルマンフィルタを使う試みは、様々になされてきた(非特許文献9-12参照)。これらの研究は、すべて、共通のフレームワークがある。すなわち、
(i)輝度の時空間勾配(すなわち、Ix、Iy、It)を計算する。
(ii)線形方程式又は最小化問題を解くことにより、オプティカルフローを推定する。
(iii)スムーザーとして、カルマンフィルタを適用する。



第3のステップ(iii)において、オプティカルフローの動的モデルは、式(3)として与えられる。ここで、u(k)及びv(k)は、時刻kにおけるオプティカルフローベクトルを示し、N(0,s)は、標準偏差sのガウス性白色ノイズを示す。



発明者らは、オプティカルフロー方程式を、オプティカルフローを推定するためにカルマンフィルタを適用する動的システムとして考察した(特許文献1、非特許文献13参照)。これにより、他の従来技術と比較して、画像の輝度とオプティカルフローの振る舞いをシミュレートする動的システムモデルを提案した。オプティカルフローを、式(2)のような線形方程式を解くことなく、カルマンフィルタ処理中に推定することができる。これは、Lucas-Kanade法(非特許文献2参照)やHorn-Schunck法(非特許文献1参照)とは異なり、オプティカルフローの並進性の仮定も、オプティカルフローの滑らかさに対する人工的なペナルティパラメータも必要としない。



【数1】


産業上の利用分野


本発明は、物体運動推定装置、物体運動推定方法及びプログラムに関し、特に、画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する物体運動推定装置等に関する。

特許請求の範囲 【請求項1】
画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する物体運動推定装置であって、
前記動的システムモデルの状態は、前記画像データの推定領域における複数のピクセルの輝度、及び、前記各ピクセルの全部又は一部でのオプティカルフローであって、輝度とオプティカルフローの空間勾配を含まず
前記動的システムモデルの前記状態を記憶する状態記憶手段と、
前記状態記憶手段に記憶された前記状態における前記輝度及び前記オプティカルフローから、新たな時刻の前記状態における前記輝度を演算して、前記状態記憶手段に記憶する輝度時間発展手段と、
少なくとも前記状態記憶手段に記憶された前記状態における前記オプティカルフローから、新たな時刻の前記状態における前記オプティカルフローを演算して、前記状態記憶手段に記憶するオプティカルフロー時間発展手段を備える物体運動推定装置。

【請求項2】
前記動的システムモデルは、ノイズを含み、
前記輝度時間発展手段及び/又は前記オプティカルフロー時間発展手段は、カルマンフィルタを用いて前記状態に適用される差分計算を含む状態空間方程式により前記ノイズの影響を抑制するとともに、濾過推定値に加えて予測推定誤差共分散を得ることにより、信頼性の尺度として用いて推定されたオプティカルフローの信頼性の評価を可能にする、請求項1記載の物体運動推定装置。

【請求項3】
前記状態に含まれるオプティカルフローの数は、前記推定領域におけるピクセル数よりも少なく、前記推定領域における各ピクセルでのオプティカルフローには、前記状態に含まれないものが存在し、
前記輝度時間発展手段は、
前記状態記憶手段に記憶された前記状態に含まれるオプティカルフローを補間して前記状態に含まれないオプティカルフローを求めて、
前記状態記憶手段に記憶された前記状態における前記輝度、並びに、前記状態に含まれるオプティカルフローの全部若しくは一部と共に又は前記状態に含まれるオプティカルフローに代えて前記補間して得られたオプティカルフローから、新たな時刻の前記状態における前記輝度を演算するものであり、
前記オプティカルフロー時間発展手段は、少なくとも前記状態記憶手段に記憶された前記状態に含まれる前記オプティカルフローから、新たな時刻の前記状態に含まれる前記オプティカルフローを演算する、請求項1又は2記載の物体運動推定装置。

【請求項4】
前記動的システムモデルの観測変数と予測推定値との観測残差から、前記オプティカルフローの不連続性を判断する不連続検出手段を備える請求項1から3のいずれかに記載の物体運動推定装置。

【請求項5】
物体運動推定装置において、画像データの系列における物体の運動を表すオプティカルフローを、動的システムモデルに基づき推定する物体運動推定方法であって、
前記物体運動推定装置は、状態記憶手段と、時間発展手段を備え、
前記状態記憶手段は、前記動的システムモデルの状態を記憶するものであり、
前記動的システムモデルの状態は、前記画像データの推定領域における複数のピクセルの輝度、及び、前記各ピクセルの全部又は一部での前記オプティカルフローであって、輝度とオプティカルフローの空間勾配を含まず
前記時間発展手段が、
前記状態記憶手段に記憶された前記状態における前記輝度及び前記オプティカルフローから、新たな時刻の前記状態における前記輝度を演算して前記状態記憶手段に記憶し、
少なくとも前記状態記憶手段に記憶された前記状態における前記オプティカルフローから、新たな時刻の前記状態における前記オプティカルフローを演算して前記状態記憶手段に記憶する時間発展ステップを含む物体運動推定方法。

【請求項6】
コンピュータにおいて請求項5記載の物体運動推定方法を実現するためのプログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2011196460thum.jpg
出願権利状態 登録
詳細は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close