TOP > 国内特許検索 > 物体追跡方法および物体追跡装置ならびにプログラム > 明細書

明細書 :物体追跡方法および物体追跡装置ならびにプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4625949号 (P4625949)
公開番号 特開2006-227973 (P2006-227973A)
登録日 平成22年11月19日(2010.11.19)
発行日 平成23年2月2日(2011.2.2)
公開日 平成18年8月31日(2006.8.31)
発明の名称または考案の名称 物体追跡方法および物体追跡装置ならびにプログラム
国際特許分類 G06T   7/20        (2006.01)
FI G06T 7/20 B
請求項の数または発明の数 5
全頁数 16
出願番号 特願2005-041822 (P2005-041822)
出願日 平成17年2月18日(2005.2.18)
審査請求日 平成19年8月24日(2007.8.24)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】江島 俊朗
【氏名】榎田 修一
【氏名】林 豊洋
個別代理人の代理人 【識別番号】100121371、【弁理士】、【氏名又は名称】石田 和人
【識別番号】100133592、【弁理士】、【氏名又は名称】山口 浩一
審査官 【審査官】鹿野 博嗣
参考文献・文献 特開2004-355601(JP,A)
特開2004-226339(JP,A)
特開2004-012429(JP,A)
特開2004-362210(JP,A)
特開2004-264893(JP,A)
特開平05-197804(JP,A)
特開2004-348273(JP,A)
調査した分野 G06T 7/20
特許請求の範囲 【請求項1】
動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像である追跡対象画像に対応する部分画像の位置座標を決定する対応位置決定ステップを、前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡方法において、
前記対応位置決定ステップは、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度分布算出ステップと、
前記一のフレームにおける前記各部分画像について、前記類似性尺度が所定の閾値以上である部分画像を抽出し、又は前記類似性尺度が最大になる部分画像から類似性尺度がk(kは2以上の自然数)番目に大きい部分画像までのk個の部分画像を抽出することにより、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域である類似領域を抽出する領域抽出ステップと、
前記類似領域前記各部分画像の座標の相加平均である重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出ステップと、を有し、
前記特徴量は、画像のある領域内の各画素に出現する各色成分の頻度分布である色ヒストグラムであり、
前記対応位置決定ステップは、前記追跡対象画像の前記色ヒストグラムHを算出するステップを有し、
前記類似性尺度算出ステップは、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の前記色ヒストグラムHを算出するステップと、
当該部分画像の前記色ヒストグラムHと前記追跡対象画像の前記色ヒストグラムHとの間の前記類似性尺度であるヒストグラムインターセクションを次式(1)により算出するステップと、を有し、
前記色ヒストグラムは、前記画像の色空間を次式(2)で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用い、且つ次式(3)で定義される(r’,g’)が(1/3,1/3)から半径0.02以内にある画素を除外して作成される2次元ヒストグラムであることを特徴とする物体追跡方法。
【数1】
JP0004625949B2_000013t.gif
【数2】
JP0004625949B2_000014t.gif
【数3】
JP0004625949B2_000015t.gif

【請求項2】
前記対応位置決定ステップは、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出ステップを有し、
前記領域抽出ステップにおいては、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする請求項1に記載の物体追跡方法。
【請求項3】
動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像である追跡対象画像に対応する部分画像の位置座標を決定する操作を前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡装置において、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度分布算出手段と、
前記一のフレームにおける前記各部分画像について、前記類似性尺度が所定の閾値以上である部分画像を抽出し、又は前記類似性尺度が最大になる部分画像から類似性尺度がk(kは2以上の自然数)番目に大きい部分画像までのk個の部分画像を抽出することにより、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域である類似領域を抽出する領域抽出手段と、
前記類似領域前記各部分画像の座標の相加平均である重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出手段と、を備え
前記特徴量は、画像のある領域内の各画素に出現する各色成分の頻度分布である色ヒストグラムであり、
前記類似性尺度分布算出手段は、
前記追跡対象画像の前記色ヒストグラムHを算出する手段と、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の前記色ヒストグラムHを算出する手段と、
当該部分画像の前記色ヒストグラムHと前記追跡対象画像の前記色ヒストグラムHとの間の前記類似性尺度であるヒストグラムインターセクションを次式(1)により算出する手段と、を備え、
前記色ヒストグラムは、前記画像の色空間を次式(2)で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用い、且つ次式(3)で定義される(r’,g’)が(1/3,1/3)から半径0.02以内にある画素を除外して作成される2次元ヒストグラムであることを特徴とする物体追跡装置。
【数4】
JP0004625949B2_000016t.gif
【数5】
JP0004625949B2_000017t.gif
【数6】
JP0004625949B2_000018t.gif

【請求項4】
釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出手段を有するとともに、
前記領域抽出手段は、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする請求項に記載の物体追跡装置。
【請求項5】
コンピュータに読み込んで実行させることにより、請求項1又は2に記載の物体追跡方法をコンピュータに実行させることを特徴とするプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画像中の追跡対象物体の位置座標を順次検出する物体追跡方法および物体追跡装置およびプログラムに関する。
【背景技術】
【0002】
物体追跡とは、動画像中の追跡対象物体の位置座標を順次検出する技術であり、追跡対象物体の一部領域又は全領域の画像(追跡対象画像)の特徴量を求め、特徴量が前記追跡対象画像の特徴量と一致または近似する領域を各フレームから探し出して、その領域の位置座標を追跡対象物体の位置座標に決定することによって行われる。物体追跡には、テンプレートマッチングを行うもの、物体領域の色ヒストグラムと入力フレーム中の色ヒストグラムを比較して、色ヒストグラムの類似性が高い領域の位置を対象物体の位置とするものなどがある。
【0003】
テンプレートマッチングによる物体追跡は、追跡対象画像の形状的特徴を抽出したテンプレート画像を作成して、入力フレームからそのテンプレート画像と形状的特徴が一致する領域を検出するものであるが、追跡対象物体の画像の形状的特徴は追跡対象物体の移動、回転、変形あるいは照明の変動等によって変化するので、追跡精度や安定性が低いという問題がある。そこで、一のフレームで追跡対象物体の検出に成功する度に、テンプレート画像を更新して、次のフレームの入力に備える方法、あるいは、入力画像とテンプレート画像の類似度が所定の閾値を下回る場合にテンプレート画像を更新する方法などが採られている(特許文献1)。
【0004】
色ヒストグラムは追跡対象物体の移動・回転等によって変化しないので、物体追跡に適している。例えば特許文献2には、参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成し、処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出し、算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合した統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する画像処理方法が開示されている。
【0005】
また、色ヒストグラムによる物体追跡を更にロバストにするために、追跡対象物体の検出に成功する度に、色ヒストグラムを更新して、次のフレームの入力に備えることが行われていた。このような物体追跡方法、つまり、最初のフレームの追跡対象物体の画像から参照領域ヒストグラムを作成し、入力フレームから候補領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムの間のヒストグラムインターセクションを算出し、ヒストグラムインターセクションが最大となる候補領域の位置座標を入力画像中の追跡対象物体の位置座標に決定するともに、前記候補領域の色ヒストグラムを新たな参照領域ヒストグラムにして、次の入力フレームを待つ操作を繰り返す物体追跡方法を「従来方法」と呼ぶことにする。
【0006】

【特許文献1】特開2004-118485号公報
【特許文献2】特開2004-348273号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来方法は、照明条件の変動等の外乱の影響を受けないロバストな物体追跡の実現を目指したものではあるが、入力フレームの中からヒストグラムインターセクションが最大となる候補領域を1つだけ検出して、検出した候補領域の色ヒストグラムを次のフレームの検出に使用するので、候補領域の検出を行う度に検出誤差が累積して、検出位置が追跡対象物体の真の位置から徐々に外れていくドリフティング(drifting)と呼ばれる現象が発生し、追跡不能に陥るおそれがあった。
【0008】
本発明は、このような問題を解決するために成されたものであり、追跡対象物体の移動、回転、変形ならびに照明条件の変動等に対してロバストな、高精度で安定性の高い物体追跡方法、装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の物体追跡方法の第1の構成は、動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像(以下、「追跡対象画像」という。)に対応する部分画像の位置座標を決定する対応位置決定ステップを、前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡方法において、前記対応位置決定ステップは、前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度算出ステップ;前記一のフレームにおける類似性尺度の分布に基づいて、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域(以下、「類似領域」という。)を抽出する領域抽出ステップ;および、前記類似領域の重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出ステップ;を有することを特徴とする。
【0010】
この構成によれば、追跡対象画像に類似する複数の部分画像の重心座標を追跡対象物体の位置座標にするので、誤差が相殺されて、精度の高い物体追跡が可能になるとともに、ドリフティングの発生が抑制されて、安定した物体追跡が可能になる。
【0011】
なお、画像の特徴量とはその画像を他の画像と識別する変数の事であり、画像の色相、彩度、明度、輝度、あるいはこれらのヒストグラムなどである。また特徴量に、画像の形状的な特徴を示す変数を用いてもよい。また、物体追跡に用いる特徴量は1個に限られない。複数の特徴量を組み合わせて使用してもよい。
【0012】
本発明の物体追跡方法の第2の構成は、前記第1の構成に加えて、前記対応位置決定ステップは、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出ステップを有し、前記領域抽出ステップは、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする。
【0013】
この構成によれば、類似性尺度の分布形状に基づいて、フレームを追跡対象画像に類似する領域と背景領域に分別するので、ノイズに対してロバストな追跡が可能になる。なお、閾値の算出には、大津の2値化基準、Kittlerの基準に依る方法、あるいは類似性尺度の最大値と最小値の加重平均を閾値にする方法などを選択することができる。
【0014】
ここで類似性尺度の分布形状の高台部とは、類似性の高い部分のことをいい、裾野部とは高台部の外側を取り巻く類似性の低い部分のことをいう。類似性尺度としてヒストグラムインターセクションのような数値の大きさが類似性の高さを示す尺度を用いる場合は、高台部の類似性尺度の値は大きな値になる。一方、距離を類似性尺度に使う場合は、距離の大きさは類似性の低さを示すから、高台部の類似性尺度の値は小さな値になる。
【0015】
本発明の物体追跡方法の第3の構成は、前記第1の構成に加えて、前記領域抽出ステップは、類似性尺度が最大になる部分画像から類似性尺度がk(kは2以上の自然数)番目に大きい部分画像までのk個の部分画像を前記類似領域として抽出することを特徴とする。
【0016】
この構成によれば、類似性尺度の大小比較だけで部分画像を抽出するので、計算が簡易、容易であり、高速処理が可能になる。
【0017】
本発明の物体追跡方法の第4の構成は、前記第1乃至第3のいずれかの構成において、前記特徴量は色ヒストグラムであることを特徴とする。
【0018】
この構成によれば、色ヒストグラムを特徴量とするので、対象物体の回転、移動、変形に対してロバストになる。
【0019】
本発明の物体追跡方法の第5の構成は、前記第4の構成において、前記色ヒストグラムは、前記画像の色空間を次式で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された2次元ヒストグラムであることを特徴とする。
【0020】
【数1】
JP0004625949B2_000002t.gif

【0021】
rg色空間は人間の肌色を的確に表現するので、この構成による物体追跡方法は、人物の顔面等の追跡に効果がある。
【0022】
本発明の物体追跡方法の第6の構成は、前記第1乃至第5のいずれかの構成において、前記類似性尺度は、ヒストグラムインターセクションであることを特徴とする。
【0023】
ヒストグラムインターセクションは他の類似性尺度に較べて、単純な演算で算出できるので、この構成によれば、高速処理が可能になる。
【0024】
本発明の物体追跡方法の第7の構成は、前記第1乃至第5のいずれかの構成において、前記類似性尺度は、距離であることを特徴とする。
【0025】
ここで、距離とは、ユークリッド距離、マハラノビス距離、マンハッタン距離、類似度
などベクトル間の類似性の尺度である。この構成は、特徴量が多変数の組み合わせで表せる場合、つまり、特徴量をベクトルとして取り扱える場合に、部分画像の類似性を的確に評価できるので、物体追跡の精度と安定性が向上する。
【0026】
本発明の物体追跡装置の第1の構成は、動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像(以下、「追跡対象画像」という。)に対応する部分画像の位置座標を決定する操作を前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡装置において、前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度算出手段と、前記一のフレームにおける類似性尺度の分布に基づいて、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域(以下、「類似領域」という。)を抽出する領域抽出手段と、前記類似領域の重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出手段とを備えることを特徴とする。
【0027】
本発明の物体追跡装置の第2の構成は、前記第1の構成に加えて、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出手段を有するとともに、前記領域抽出手段は、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする。
【0028】
本発明の物体追跡装置の第3の構成は、前記領域抽出手段は、類似性尺度が最大になる部分画像から類似性尺度がk(kは2以上の自然数)番目に大きい部分画像までのk個の部分画像を前記類似領域として抽出することを特徴とする。
【0029】
本発明の物体追跡装置の第4の構成は、前記第1乃至第3のいずれかの構成に加えて、前記特徴量は色ヒストグラムであることを特徴とする。
【0030】
本発明の物体追跡装置の第5の構成は、前記第4の構成において、前記色ヒストグラムは、前記画像の色空間を次式で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された2次元ヒストグラムであることを特徴とする。
【0031】
【数2】
JP0004625949B2_000003t.gif

【0032】
本発明の物体追跡装置の第6の構成は、前記第1乃至第5のいずれかの構成において、前記類似性尺度は、ヒストグラムインターセクションであることを特徴とする。
【0033】
本発明の物体追跡装置の第7の構成は、前記第1乃至第5のいずれかの構成において、前記類似性尺度は、距離であることを特徴とする。
【0034】
本発明のプログラムの構成は、前記第1乃至第7のいずれかの構成の物体追跡方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【0035】
以上説明したように、本発明の物体追跡方法、物体追跡装置は、追跡対象物体の移動、回転、変形に加えて、照明の条件など撮像環境の変化に対してもロバストであり、例えば、移動ロボットの視覚センサーの能力の向上などに資するところが大きい。
【発明を実施するための最良の形態】
【0036】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【実施例】
【0037】
図1は、追跡開始時刻のフレームに設定された追跡対象領域を示す図であり、人物の顔面を追跡対象とする例を示している。図に示すように、作業者はフレーム上の追跡対象の人物の顔面が映っている部分に、追跡対象領域W(x)をマニュアル設定する。追跡対象領域W(x)は、画像平面上の座標x=(x,y)に中心を置く大きさa×bの矩形の窓領域であり、座標x=(x,y)を領域W(x)の位置ということにする。
【0038】
追跡対象領域W(x)の設定の後、適当な追跡半径Dを選んで入力する。追跡半径Dは、次時刻のフレームにおいて追跡対象物体を追跡する範囲を制限するパラメータであり、追跡対象領域W(x)を中心とする半径Dの追跡範囲R(x)で追跡対象物体の追跡が行われる。
【0039】
追跡半径Dは、予想される追跡対象物体の移動速度、撮像手段の移動速度および撮像手段のサンプリングレート(撮像フレーム数/時間)に基づいて、必要十分な値を設定する。追跡対象物体の移動速度等が大きくて、追跡範囲を制限出来ない場合は、追跡半径Dをフレームの対角線の長さより大きな長さに設定すれば、フレームの全範囲を追跡対象にする事ができる。
【0040】
また、領域W(x)の全てが物体領域の内部にあるとき、領域W(x)の位置、すなわち座標x=(x,y)を追跡対象物体の位置といい、追跡時に検出した追跡対象物体の位置がこの条件を満たせば、追跡に成功したとする。
【0041】
特徴量は領域W(x)と他の領域と区別するパラメータであり、領域W(x)に含まれる画像の形状、面積、色、明るさ等を表示するパラメータである。本実施例では、特徴量として色ヒストグラムを用いる。
【0042】
色ヒストグラムとは、画像のある領域に出現する各色成分の頻度分布のことであり、前記領域に属する画素を色成分に分けたときの各色成分の画素数で表現される。色ヒストグラムは撮像手段の動きや追跡対象物の運動に対する変動が他の特徴に比べて小さいので、動画像の中から追跡対象物を捜しだすのに都合が良い。
【0043】
さて、特定の色を表現する空間を色空間といい、色空間が定義されると、色はその色空間上の位置を示す座標で表現される。色空間には、赤(R)、緑(G)、青(B)の3色の階調で色を表現するRGB空間、シアン(C)、マゼンタ(M)、黄色(Y)、黒(K)の4色の階調により表現するCYMK空間、輝度(Y)と赤の色差(U)、青の色差(V)により表現するYUV空間など各種のものがある。物体追跡においては、画像を追跡対象の物体が映っている領域と背景領域に分けるのに適した色空間を選ぶ必要がある。
【0044】
物体追跡に用いる色ヒストグラムは、(1)照明の変化に対する変動が少ないこと。(2)作成コストが低いことが要求される。ここで作成コストを低くするという事は単なる費用の問題だけではなく、作成のための演算時間を小さくして、高速処理、実時間処理を可能にすることを意味する。このような要求に答えるために、本実施例では、領域W(x)の色空間を下記の式(1)および式(2)で定義される示されるrg色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された2次元色ヒストグラムを用いる。なお、R,G,Bは、赤、緑、青の各原色成分の輝度である。
【0045】
【数3】
JP0004625949B2_000004t.gif
rg色空間は、画素中の赤色および緑色成分の比率を表現する2次元空間であり、肌色の表現に適している。しかしながら、rg色空間は無彩色(つまり、R=G=Bとなる色)および無彩色に近い色を適切に表現できない性質があるので、無彩色の画素および無彩色に近い色をヒストグラムに組み入れるとノイズとして働くことが問題になる。そこで、(r,g)の組又は下記の式(3)および式(4)で定義される(r’,g’)が(1/3,1/3)から半径0.02以内にある画素をヒストグラムの要素から除外することにした。なお、(r’、g’)は黒色(R=G=B=0)近傍の無彩色を除外するため設定したパラメータである。また、半径0.02は、人物の黒色の頭髪領域を100枚の画像から抽出し、これらの画素の90%を無彩色として判定する値を選択した。
【0046】
【数4】
JP0004625949B2_000005t.gif

【0047】
図2は、無彩色および無彩色に近い色を除外した色ヒストグラムを示す図であり、図で白抜きの円で示した部分にある画素が除外されたことを示している。このようにして無彩色および無彩色に近い色を除外したrg色空間を適切な色深度で均等量子化した色空間を利用して色ヒストグラムを作成する。本実施例では、下記の式(5)および式(6)のような正規化された色ヒストグラムH(r,g)を使用する。
【0048】
【数5】
JP0004625949B2_000006t.gif

【0049】
追跡対象領域W(x)の色ヒストグラムに最も近い色ヒストグラムを持つ領域を、次時刻のフレームから捜し出すための類似性を評価する尺度として、本実施例では、下記の式(7)で定義されるヒストグラムインターセクションScを用いた。このヒストグラムインターセクションScは、2つの色ヒストグラムH1(r,g)およびH2(r,g)の重複部分に存在する画素数を類似性の尺度とするものであり、他の尺度に比べて、計算が容易なので、高速処理に向いている。
【0050】
【数6】
JP0004625949B2_000007t.gif

【0051】
なお、色ヒストグラムH1(r,g)およびH2(r,g)は正規化されているので、ヒストグラムインターセクションScの値は0から1の範囲をとり、2つのヒストグラムが等しいときには1になる。
【0052】
また、ヒストグラムインターセクションScに代えて、色ヒストグラムH1(r,g)、H2(r,g)をベクトルとして取り扱って、両者の距離(ユークリッド距離、マハラノビス距離、マンハッタン距離、類似度など)を求めて、これらの距離を両者の類似性の尺度としてもよい。
【0053】
〔類似性尺度分布法〕
図3は本実施例に係る画像追跡装置の概念的な構成図であり、図4は画像追跡方法を示すフローチャートである。図3において、1は画像追跡装置であり、画像追跡装置1は、類似性尺度分布算出手段2、領域抽出手段3、位置算出手段4および閾値算出手段5を備え、撮像手段6あるいは記録再生手段7から入力される動画像における追跡対象物の位置を推定して、出力手段8に出力する装置である。
【0054】
なお、類似性尺度分布算出手段2は図示しないディスプレイ装置と入力装置(キーボードおよびマウス等)を備えて追跡中の画像を表示するとともに、作業者によるマニュアル入力ができる。撮像手段6は例えばビデオカメラのような、動画像を撮像して電気信号の形で出力する手段である。撮像手段6が出力する電気信号はVTR装置やDVD装置のような記録再生手段7に一旦記録されて、その後、再生されて画像追跡装置1に入力されるが、撮像手段6から直接、画像追跡装置1に入力してもよい。出力手段8は、例えば、画像追跡装置1で算出した追跡対象物の位置を示すマークを動画像に重ね合わせて表示するディスプレイ装置であるが、ディスプレイ装置に代えて、VTR装置、DVD装置あるいはデータレコーダ等に出力してもよい。
【0055】
なお、画像追跡装置1は、コンピュータと、以下に詳述する画像追跡方法のプログラムを記載した当該コンピュータで読み取り可能な媒体の組み合わせによって実現できる。また、一般的な画像解析方法、つまり、動画の特定のフレームの特定の領域に存在する画素の情報を読み込んで、統計処理する技術等は、既に公知であるので説明を省略する。
【0056】
次に、図4に付したステップ番号を引用しながら、画像追跡方法の詳細を説明する。
【0057】
〔S1〕
まず、動画の最初(時刻t=0)のフレームを、記録再生手段7から類似性尺度分布算出手段2に読み出す。
【0058】
〔S2〕
作業者は、類似性尺度分布算出手段2が図示しないディスプレイ装置に表示する前記最初(時刻t=0)のフレームを見ながら、追跡対象の人物の顔面の適当な位置に追跡対象領域W(x)を設定し、次いで追跡半径Dを入力して、追跡範囲R(x)を設定する。
【0059】
〔S3〕
追跡対象領域W(x)が決定されると、類似性尺度分布算出手段2は追跡対象領域W(x)に存在する画素の色情報を読み出して、追跡対象領域W(x)の色ヒストグラムH(x)を算出する。
【0060】
〔S4〕
記録再生手段7に、次時刻のフレームが無ければ、処理を終了し、次時刻の画像があれば、S5に進む。
【0061】
〔S5〕
記録再生手段7から、次時刻(t=1)のフレームを類似性尺度分布算出手段2に読み出す。
【0062】
〔S6〕
類似性尺度分布算出手段2は、次時刻(t=1)のフレームを、座標xを中心とする大きさa×bの矩形の窓領域W(x)に分割して、各窓領域W(x)の色ヒストグラムH(x)を算出し、各窓領域W(x)の色ヒストグラムH(x)と追跡対象領域W(x)の色ヒストグラムH(x)の間のヒストグラムインターセクションSc(H(x),H(x))を算出して、次時刻(t=1)のフレーム上のヒストグラムインターセクションSc(H(x),H(x))の分布を得る。
【0063】
図5はヒストグラムインターセクションの分布の例を示す図である。図5に示すように、ヒストグラムインターセクションSc(H(x),H(x))の分布の概略形状は、釣鐘状をなし、照明などの環境変化によっては、変化しない。
【0064】
〔S7〕
次に、類似性尺度分布算出手段2は、下記の式(8)および(9)で定義されるような、追跡範囲R(x)に存在する窓領域W(x)のヒストグラムインターセクションS(x|x)の集合Vを求め、閾値算出手段5に送信する。
【0065】
【数7】
JP0004625949B2_000008t.gif

【0066】
閾値算出手段5は、集合Vを、対象物体クラスVobjと背景クラスVbgに分ける閾値Tを算出する。Vobjは釣鐘状をなすヒストグラムインターセクションSc(H(x),H(x))の分布形状の高台部に相当し、Vbgは裾野部に相当する。また、Tは前記高台部と前記裾野部の境界を画する高さに相当する。Tの算出には、物体クラスVobjと背景クラスVbgのクラス内分散とクラス間分散の比が最小にする基準(大津の基準)に従って閾値Tを決定する方法、それぞれのクラスを正規分布で近似したときの誤識別率を最小にする基準(Kittlerの基準)に従って閾値Tを決定する方法などを用いる。なお、大津の基準およびKittlerの基準については、下記の文献に詳述されているので、ここでは説明を省略する。
【0067】
大津、”判別および最小2乗基準に基づく自動しきい値選定法”電気通信学会論文誌、Vol.J63-D,No.4,pp.41-47,1980
【0068】
J.Kittler and J.Illingworth,"Minimum Error Thresholding," Pattern Recognition,Vol.19,No.1,pp41-47,1986
【0069】
また、集合Vの最大値S_maxと最小値S_minを求め、下記の式(10)に依って算出した両者の加重平均を閾値Tにしてもよい。この場合、αは概ね0.5程度の値を用いる。この方法は、前述の大津の基準、Kittlerの基準に基づく方法に比べて計算速度が圧倒的に速いという利点がある。
【0070】
【数8】
JP0004625949B2_000009t.gif

【0071】
以上のいずれかの方法で決定された閾値Tは領域抽出手段3に送信され、領域抽出手段3は、図6および下記の式(11)に示す集合U、すなわち、追跡範囲R(x)に存在する窓領域W(x)であって、ヒストグラムインターセクションS(x|x)が閾値T以上になるような窓領域W(x)の中心の座標の集合を求めて、位置算出手段4に送信する。
【0072】
【数9】
JP0004625949B2_000010t.gif

【0073】
〔S8〕
位置算出手段4は、下記の式(12)に示すように集合Uに含まれる座標の相加平均xを算出し、これを時刻t=1における、対象物体の位置として、出力手段8に出力するとともに、類似性尺度分布算出手段2に送信する。
【0074】
【数10】
JP0004625949B2_000011t.gif

【0075】
言うまでもなく、xはヒストグラムインターセクションSc(x/x)が閾値T以上になるような領域の中心、すなわち重心の座標である。このようにして、追跡対象領域W(x)に対する類似性尺度が所定の水準を超える領域の重心の座標が追跡対象物体の位置座標に決定される。
【0076】
〔S9〕
類似性尺度分布算出手段2は、xを中心とする追跡対象領域W(x)を次時刻(t=1)のフレームに設定し、追跡対象領域W(x)の色ヒストグラムH(x)を算出し、次次時刻(t=2)のフレームの入力に備える。
【0077】
以上のように、S4からS9までのステップを、繰り返して、各時刻(t=3,4‥‥)のフレームにおける対象物体の位置を決定する。S4からS9までのステップを総称して、対応位置決定ステップという。
【0078】
なお、以上説明した物体追跡方法を本明細書では、「類似性尺度分布法」と呼ぶことにする。
【0079】
〔k-最大類似性尺度法〕
類似性尺度分布法は、画像を類似領域とそれ以外の領域に分けるための閾値Tを、ヒストグラムインターセクションS(x|x)の分布形状から算出したが、この閾値Tの算出には時間がかかるので、処理時間の高速化を優先する場合は、ステップS7において、ヒストグラムインターセクションS(x|x)の大きい領域を抽出するのに、追跡範囲R(x)に存在する窓領域W(x)を、ヒストグラムインターセクションS(x|x)が大きい方からk個(kは2以上の自然数)の窓領域W(x)を抽出して、ステップS8で、このk個の窓領域W(x)の重心を追跡対象物体の位置にしてもよい。この方法を、本明細書では、「k-最大類似性尺度法」と呼ぶことにする。
【0080】
なお、k-最大類似性尺度法を実施するための物体追跡装置の基本的な構成は、前述の物体追跡装置1と同一である。ただし、閾値Tの算出を行わないので、閾値算出手段5は不要である。
【0081】
〔性能比較〕
従来方法と本発明の方法の性能比較するために5種類の画像について、物体追跡を行った結果を以下に示す。
【0082】
図7は、実験に使用した5種類の画像のサンプルである。
【0083】
画像(a)および(b)は、固定カメラで撮像した画像であり、照明条件の変動もない。画像(a)の追跡対象は旋回台に置かれて旋回する人形であり、画像(b)は正面を向いた人物の顔面である。
【0084】
画像(c)および(d)は、移動する人物の顔面を、移動カメラで撮像した画像であり、画像(c)は照明条件の変動が小さい例であり、画像(d)は照明条件の変動が大きい例である。
【0085】
画像(e)は、固定カメラの前で旗を振る様子を撮像した画像であり、非剛体、つまり時間とともに形状が変化する物体を追跡する例である。
【0086】
類似性尺度分布法については、式(10)の方法つまり、集合Vの最大値S_maxと最小値S_minの加重平均によって閾値Tを決定する方法を選んだ。ただしα=0.5とした。
【0087】
k-最大類似性尺度法については、k=10を用いた。
【0088】
また、全ての動画像は、QVGA(320×240)解像度でコンピュータに入力し、追跡対象領域W(x)の幅と高さは20~30ピクセルとした。
【0089】
以上の条件の下で、物体追跡を行った結果を表1に示す。なお、表中の数字の分母は同画像の全フレーム数であり、分子は対象物体の追跡に成功した最終フレームの番号である。つまり、最後まで追跡に成功した場合に分母と分子が等しくなり、途中で失敗すると分子は小さくなる。また、最後まで追跡に成功したものには*印を付している。
【0090】
【表1】
JP0004625949B2_000012t.gif

【0091】
表1に示したように、従来方法は全ての画像について、ごく初期の段階で追跡に失敗しているが、類似性尺度分布法は全ての画像について最後まで追跡に成功している。また、k-最大類似性尺度法は、画像(b)および(c)については最後まで追跡に成功したものの、他の画像については途中で失敗している。
【0092】
類似性尺度分布法は非常に高い性能を示し、k-最大類似性尺度法も類似性尺度分布法に較べて多少性能が劣るものの、従来方法に較べて高い性能を示していることが解る。
【0093】
なお、k-最大類似性尺度法は類似性尺度分布法に較べて多少性能が劣るので、適用対象の画像は照明等の変化の小さい安定した環境で撮像された画像に限定されるが、類似性尺度分布法に較べて処理時間が短いので、高速処理を要求される用途に適している。
【図面の簡単な説明】
【0094】
【図1】追跡開始時のフレームに設定された追跡対象領域を示す図である。
【図2】無彩色および無彩色に近い色を除外したヒストグラムを示す図である。
【図3】本発明の実施例を示す画像追跡装置の概念的な構成図である。
【図4】本発明の実施例を示す画像追跡方法のフローチャートである。
【図5】ヒストグラムインターセクションの分布の例を示す図である。
【図6】閾値による領域の分別を説明する図である。
【図7】実験に使用した画像のサンプルである。
【符号の説明】
【0095】
1 画像追跡装置
2 類似性尺度分布算出手段
3 領域抽出手段
4 位置算出手段
5 閾値算出手段
6 撮像手段
7 記録再生手段
8 出力手段

図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6