TOP > 国内特許検索 > 物体追跡方法および物体追跡装置ならびにプログラム

物体追跡方法および物体追跡装置ならびにプログラム

国内特許コード P110001598
整理番号 4080
掲載日 2011年3月7日
出願番号 特願2005-041822
公開番号 特開2006-227973
登録番号 特許第4625949号
出願日 平成17年2月18日(2005.2.18)
公開日 平成18年8月31日(2006.8.31)
登録日 平成22年11月19日(2010.11.19)
発明者
  • 江島 俊朗
  • 榎田 修一
  • 林 豊洋
出願人
  • 学校法人九州工業大学
発明の名称 物体追跡方法および物体追跡装置ならびにプログラム
発明の概要

【課題】追跡対象物体の移動、回転、変形ならびに照明条件の変動等に対してロバストな、高精度で安定性の高い物体追跡方法、装置およびプログラムを提供する。
【解決手段】動画像の一のフレームに属する複数の位置の部分画像の特徴量と追跡対象物体の画像の特徴量との間の類似性尺度を算出して、前記一の画面上における類似性尺度の分布を算出する類似性尺度算出手段2と、前記類似性尺度の分布に基づいて、前記一のフレームから前記対象物体の画像に類似する領域を抽出する領域抽出手段3と、前記領域の重心座標を算出して、前記重心座標を前記一のフレームにおける前記追跡対象物体の位置座標とする位置算出手段4を備える。
【選択図】 図3

従来技術、競合技術の概要


物体追跡とは、動画像中の追跡対象物体の位置座標を順次検出する技術であり、追跡対象物体の一部領域又は全領域の画像(追跡対象画像)の特徴量を求め、特徴量が前記追跡対象画像の特徴量と一致または近似する領域を各フレームから探し出して、その領域の位置座標を追跡対象物体の位置座標に決定することによって行われる。物体追跡には、テンプレートマッチングを行うもの、物体領域の色ヒストグラムと入力フレーム中の色ヒストグラムを比較して、色ヒストグラムの類似性が高い領域の位置を対象物体の位置とするものなどがある。



テンプレートマッチングによる物体追跡は、追跡対象画像の形状的特徴を抽出したテンプレート画像を作成して、入力フレームからそのテンプレート画像と形状的特徴が一致する領域を検出するものであるが、追跡対象物体の画像の形状的特徴は追跡対象物体の移動、回転、変形あるいは照明の変動等によって変化するので、追跡精度や安定性が低いという問題がある。そこで、一のフレームで追跡対象物体の検出に成功する度に、テンプレート画像を更新して、次のフレームの入力に備える方法、あるいは、入力画像とテンプレート画像の類似度が所定の閾値を下回る場合にテンプレート画像を更新する方法などが採られている(特許文献1)。



色ヒストグラムは追跡対象物体の移動・回転等によって変化しないので、物体追跡に適している。例えば特許文献2には、参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成し、処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出し、算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合した統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する画像処理方法が開示されている。



また、色ヒストグラムによる物体追跡を更にロバストにするために、追跡対象物体の検出に成功する度に、色ヒストグラムを更新して、次のフレームの入力に備えることが行われていた。このような物体追跡方法、つまり、最初のフレームの追跡対象物体の画像から参照領域ヒストグラムを作成し、入力フレームから候補領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムの間のヒストグラムインターセクションを算出し、ヒストグラムインターセクションが最大となる候補領域の位置座標を入力画像中の追跡対象物体の位置座標に決定するともに、前記候補領域の色ヒストグラムを新たな参照領域ヒストグラムにして、次の入力フレームを待つ操作を繰り返す物体追跡方法を「従来方法」と呼ぶことにする。




【特許文献1】特開2004-118485号公報

【特許文献2】特開2004-348273号公報

産業上の利用分野


本発明は、動画像中の追跡対象物体の位置座標を順次検出する物体追跡方法および物体追跡装置およびプログラムに関する。

特許請求の範囲 【請求項1】
動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像である追跡対象画像に対応する部分画像の位置座標を決定する対応位置決定ステップを、前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡方法において、
前記対応位置決定ステップは、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度分布算出ステップと、
前記一のフレームにおける前記各部分画像について、前記類似性尺度が所定の閾値以上である部分画像を抽出し、又は前記類似性尺度が最大になる部分画像から類似性尺度がk(kは2以上の自然数)番目に大きい部分画像までのk個の部分画像を抽出することにより、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域である類似領域を抽出する領域抽出ステップと、
前記類似領域前記各部分画像の座標の相加平均である重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出ステップと、を有し、
前記特徴量は、画像のある領域内の各画素に出現する各色成分の頻度分布である色ヒストグラムであり、
前記対応位置決定ステップは、前記追跡対象画像の前記色ヒストグラムHを算出するステップを有し、
前記類似性尺度算出ステップは、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の前記色ヒストグラムHを算出するステップと、
当該部分画像の前記色ヒストグラムHと前記追跡対象画像の前記色ヒストグラムHとの間の前記類似性尺度であるヒストグラムインターセクションを次式(1)により算出するステップと、を有し、
前記色ヒストグラムは、前記画像の色空間を次式(2)で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用い、且つ次式(3)で定義される(r’,g’)が(1/3,1/3)から半径0.02以内にある画素を除外して作成される2次元ヒストグラムであることを特徴とする物体追跡方法。
【数式1】


【数式2】


【数式3】



【請求項2】
前記対応位置決定ステップは、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出ステップを有し、
前記領域抽出ステップにおいては、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする請求項1に記載の物体追跡方法。

【請求項3】
動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像である追跡対象画像に対応する部分画像の位置座標を決定する操作を前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡装置において、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度分布算出手段と、
前記一のフレームにおける前記各部分画像について、前記類似性尺度が所定の閾値以上である部分画像を抽出し、又は前記類似性尺度が最大になる部分画像から類似性尺度がk(kは2以上の自然数)番目に大きい部分画像までのk個の部分画像を抽出することにより、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域である類似領域を抽出する領域抽出手段と、
前記類似領域前記各部分画像の座標の相加平均である重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出手段と、を備え
前記特徴量は、画像のある領域内の各画素に出現する各色成分の頻度分布である色ヒストグラムであり、
前記類似性尺度分布算出手段は、
前記追跡対象画像の前記色ヒストグラムHを算出する手段と、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の前記色ヒストグラムHを算出する手段と、
当該部分画像の前記色ヒストグラムHと前記追跡対象画像の前記色ヒストグラムHとの間の前記類似性尺度であるヒストグラムインターセクションを次式(1)により算出する手段と、を備え、
前記色ヒストグラムは、前記画像の色空間を次式(2)で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用い、且つ次式(3)で定義される(r’,g’)が(1/3,1/3)から半径0.02以内にある画素を除外して作成される2次元ヒストグラムであることを特徴とする物体追跡装置。
【数式4】


【数式5】


【数式6】



【請求項4】
釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出手段を有するとともに、
前記領域抽出手段は、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする請求項に記載の物体追跡装置。

【請求項5】
コンピュータに読み込んで実行させることにより、請求項1又は2に記載の物体追跡方法をコンピュータに実行させることを特徴とするプログラム。
産業区分
  • 計算機応用
  • 工業用ロボット
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2005041822thum.jpg
出願権利状態 権利存続中
詳細は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close