TOP > 国内特許検索 > 物体追跡装置、異常状態検知装置及び物体追跡方法 > 明細書

明細書 :物体追跡装置、異常状態検知装置及び物体追跡方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4769943号 (P4769943)
公開番号 特開2007-272436 (P2007-272436A)
登録日 平成23年7月1日(2011.7.1)
発行日 平成23年9月7日(2011.9.7)
公開日 平成19年10月18日(2007.10.18)
発明の名称または考案の名称 物体追跡装置、異常状態検知装置及び物体追跡方法
国際特許分類 G06T   7/20        (2006.01)
G06T   1/00        (2006.01)
H04N   7/18        (2006.01)
FI G06T 7/20 B
G06T 1/00 280
H04N 7/18 D
H04N 7/18 G
請求項の数または発明の数 5
全頁数 12
出願番号 特願2006-095587 (P2006-095587)
出願日 平成18年3月30日(2006.3.30)
審査請求日 平成21年3月12日(2009.3.12)
特許権者または実用新案権者 【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
発明者または考案者 【氏名】今井 順一
【氏名】金子 正秀
個別代理人の代理人 【識別番号】100122884、【弁理士】、【氏名又は名称】角田 芳末
【識別番号】100133824、【弁理士】、【氏名又は名称】伊藤 仁恭
審査官 【審査官】松永 稔
参考文献・文献 特開2005-236508(JP,A)
調査した分野 G06T 7/20
G06T 1/00
H04N 7/18
特許請求の範囲 【請求項1】
追跡対象となる物体の画像を取り込む画像取込手段と、
上記取り込まれた画像から、上記追跡対象の尤度モデルに基づく仮説より上記追跡対象の動作予測をしながら上記追跡対象の尤度を生成して、上記物体の追跡処理を行う追跡処理手段と、
上記生成された上記追跡対象の尤度と予め定められた閾値との比較により上記物体の追跡処理の異常状態を検知する異常状態検知手段と、
上記異常状態が一定時間継続されたときに上記追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、
上記遮蔽状態であると判定されたときに上記尤度モデルを追加登録すると共に上記閾値を上記追加登録された回数毎に低下させて更新する尤度モデル更新手段と、
を備えたことを特徴とする物体追跡装置。
【請求項2】
上記遮蔽状態判定手段は、上記遮蔽状態であると判定された後に、最後に上記追加登録された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに上記遮蔽状態が解消されたと判定し、
上記尤度モデル更新手段は、最大の尤度が生成された上記尤度モデルよりも後に上記追加登録された上記尤度モデルの登録をすべて削除し、上記閾値を上記削除された尤度モデルの個数毎に増大させて更新することを特徴とする請求項に記載の物体追跡装置。
【請求項3】
追跡対象となる物体の画像から、上記追跡対象の尤度モデルに基づく仮説より上記追跡対象の動作予測をしながら上記追跡対象の尤度を生成して、上記物体の追跡処理を行う際の異常状態を検知する異常状態検知装置であって、
上記生成された上記追跡対象の尤度と予め定められた閾値との比較により上記物体の追跡処理の異常状態を検知する異常状態検知手段と、
上記異常状態が検知されたときに上記追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成手段と、
上記異常状態が一定時間継続されたときに上記追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、
上記遮蔽状態であると判定されたときに上記作成された上記尤度モデルを追加登録すると共に上記閾値を上記追加登録された回数毎に低下させて更新する尤度モデル更新手段と、
を備えたことを特徴とする異常状態検知装置。
【請求項4】
上記遮蔽状態判定手段は、上記遮蔽状態であると判定された後に、最後に上記追加登録された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに上記遮蔽状態が解消されたと判定し、
上記尤度モデル更新手段は、最大の尤度が生成された上記尤度モデルよりも後に上記追加登録された上記尤度モデルの登録をすべて削除し、上記閾値を上記削除された尤度モデルの個数毎に増大させて更新することを特徴とする請求項に記載の異常状態検知装置。
【請求項5】
追跡対象となる物体の画像から、上記追跡対象の尤度モデルに基づく仮説より上記追跡対象の動作予測をしながら上記追跡対象の尤度を生成して、上記物体の追跡処理を行う追跡処理ステップと、
上記生成された上記追跡対象の尤度と予め定められた閾値との比較により上記物体の追跡処理の異常状態を検知する異常状態検知ステップと、
上記異常状態が検知されたときに上記追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成ステップと、
上記異常状態が一定時間継続されたときに上記追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定ステップと、
上記遮蔽状態であると判定されたときに上記作成された上記尤度モデルを追加すると共に上記閾値を上記追加された回数毎に低下させて更新する尤度モデル追加ステップと、
上記遮蔽状態であると判定された後に、最後に上記追加された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに上記遮蔽状態が解消されたと判定する遮蔽状態解消判定ステップと、
上記遮蔽状態が解消されたと判定されたときに上記尤度モデルを削除すると共に上記閾値を上記削除された上記尤度モデルの個数毎に増大させて更新する尤度モデル削除ステップと、
を含むことを特徴とする物体追跡方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えば、画像中の物体を追跡する物体追跡装置、異常状態検知装置及び物体追跡方法に関する。
【背景技術】
【0002】
従来から、動画像中の注目すべき物体を追跡する技術が数多く提案されている。この技術では、追跡対象の部分的な遮蔽に対して見失うことなくある程度頑健な追跡を行うものや(特許文献1)、追跡対象の短時間の遮蔽により追跡対象を見失った状態からスムーズに追跡を再開するものが提案されている(非特許文献1、2)。
【0003】
また、異なる複数のアングルからの動画像情報を統合し、この統合された動画像情報を用いて追跡対象の物体を追跡する技術も提案されている(非特許文献3)。さらに、標準的な対象物追跡法を示すパーティクルフィルタを拡張することによりベイズ理論に基づいた推論を用いて複数対象物の追跡を行う技術も提案されている(特許文献2)。

【特許文献1】特開2005-250989号公報
【特許文献2】特開2005-165688号公報
【非特許文献1】K.Nummiaro, et al., “An adaptive color‐based particle filter,” Image and Vision Computing, Vol.21, No.1, pp.99‐110, 2002.
【非特許文献2】A.D. Jepson, et al., “Robust online appearance models for visual tracking,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.25, No.10, 2003.
【非特許文献3】鈴木ら、「環境モデルの導入による人物追跡の安定化」、電子情報通信学会論文誌D‐II, Vol.J88‐D‐II, No.8, pp.1592-1600, 2005.
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上述した特許文献1及び非特許文献1、2に記載の技術では、追跡対象が別の物体に完全に遮蔽された場合の処理が不十分であり、特に、長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合、具体的には、遮蔽物として箱状物体やカバン、乗り物等の内部に追跡対象が含まれた状態で移動する場合には対応できず、追跡の継続が困難であった。
【0005】
また、非特許文献3に記載の技術では、異なる複数のアングルからの動画像情報を得るための複数のカメラを利用できる限定された状況下でしか、統合された動画像情報を追跡に用いることができなかった。
さらに、特許文献2に記載の技術では、全く重なり合いのない対象物及び多数の重なり合いのある対象物を取り扱うのみで、上述したような長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合には追跡の継続が困難であった。
【0006】
そこで、本発明は、長時間にわたる追跡対象の遮蔽や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合にも追跡を可能とする物体追跡装置、異常状態検知装置及び物体追跡方法を提供することを目的とするものである。
【課題を解決するための手段】
【0007】
上記課題を解決し、本発明の目的を達成するため、本発明の物体追跡装置は、追跡対象となる物体の画像を取り込む画像取込手段と、取り込まれた画像から、追跡対象の尤度モデルに基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う追跡処理手段と、生成された追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知手段と、異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、遮蔽状態であると判定されたときに尤度モデルを追加登録すると共に閾値を追加登録された回数毎に低下させて更新する尤度モデル更新手段と、を備える。
【0008】
これにより、生成された追跡対象の尤度と予め定められた閾値との比較により、異常状態検知手段が物体の追跡処理の異常状態を検知したときに、尤度モデル作成手段は追跡対象と異なる他の追跡対象の尤度モデルを作成する。従って、追跡の異常があったときに、追跡の対象を本来の対象から遮蔽物に移して、遮蔽物を仮の追跡対象と認識して追跡を続行することができる。
【0009】
また、本発明の異常状態検知装置は、生成された追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知手段と、異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成手段と、異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定手段と、遮蔽状態であると判定されたときに作成された尤度モデルを追加登録すると共に閾値を追加登録された回数毎に低下させて更新する尤度モデル更新手段と、を備える。
【0010】
これにより、異常状態が一定時間継続されたときに遮蔽状態判定手段が追跡対象は他の追跡対象により遮蔽された状態であると判定する。遮蔽状態であると判定されたときに尤度モデル更新手段は作成された尤度モデルを追加登録すると共に閾値を追加登録された回数毎に低下させて更新する。従って、異常状態の継続時間を監視し、正常状態への復帰がないとき追跡対象は遮蔽物に覆われたと判定し、異常判定の閾値を下げて尤度モデルを追加登録することにより、追跡対象の遮蔽状態が解消したときに、尤度の小さい遮蔽物から尤度の大きい本来の対象物に追跡の対象を戻して、追跡を続行することができる。
【0011】
また、本発明の物体追跡方法は、追跡対象となる物体の画像から、追跡対象の尤度モデルに基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う追跡処理ステップと、生成された追跡対象の尤度と予め定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知ステップと、異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成ステップと、を含む。
【0012】
さらに、本発明の物体追跡方法は、異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定ステップと、遮蔽状態であると判定されたときに作成された尤度モデルを追加すると共に閾値を追加された回数毎に低下させて更新する尤度モデル追加ステップと、遮蔽状態であると判定された後に、最後に上記追加された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに遮蔽状態が解消されたと判定する遮蔽状態解消判定ステップと、遮蔽状態が解消されたと判定されたときに尤度モデルを削除すると共に閾値を削除された尤度モデルの個数毎に増大させて更新する尤度モデル削除ステップと、を含む。
【0013】
従って、追跡の異常があったときに、追跡の対象を本来の対象から遮蔽物に移して、遮蔽物を仮の追跡対象と認識して追跡を続行することができる。さらに、異常状態の継続時間を監視し、正常状態への復帰がないとき追跡対象は遮蔽物に覆われたと判定し、異常判定の閾値を下げて尤度モデルを追加登録することにより、追跡対象の遮蔽状態が解消したときに、尤度の小さい遮蔽物から尤度の大きい本来の対象物に追跡の対象を戻して、追跡を続行することができる。
【発明の効果】
【0014】
本発明によれば、長時間にわたり追跡対象が遮蔽された場合や、遮蔽後に遮蔽物が追跡対象と一体となって移動する場合にも追跡が可能となる。従って、一般的な街頭、ビル内やオフィス空間等、遮蔽物となる可能性が高い物体が多く存在する場面での物体の追跡をより確実に実現することが可能となる。さらに、本発明は、人間共存型ロボットや監視カメラ等、生活空間での物体追跡の利用が想定されるシステムに応用する際に多大な効果を奏することができる。
【0015】
また、どの物体が遮蔽物となるかを事前に知ることができないため、遮蔽物に対する尤度モデルを事前に準備しておくことは現実的に不可能であった。しかし、本発明によれば、取得された画像情報の変化から追跡対象とカメラとの間に遮蔽物が現れたと判断して、動的に尤度モデルを構築することができるので、遮蔽物についての事前情報を用いることなく、確実な物体追跡を行うことが可能となる。特に、画像内の環境が動的に変化する場合や、環境自体は静的であってもカメラ自体が移動するものも含む相対的な移動環境に応用する際に多大な効果を奏することができる。また、カメラから得られる画像情報と距離情報とを融合させて動的な尤度モデルを構築することも可能である。
【0016】
また、複数の尤度モデル生成時に尤度の低下更新及び異常判定の閾値の低下を行うことにより、尤度の低い遮蔽物から尤度の高い本来の追跡対象に自律的に注目を切り替えるという柔軟な処理が可能となる。このような柔軟な処理は、例えば、遮蔽物の追跡をするのと同時に本来の追跡対象に対しても注意を払いながら、遮蔽状態が解消されて本来の追跡対象が現れる場合などの追跡処理に特に有効なものとなる。これにより、例えば、知的ロボットへの応用において、より人間に近い、自然で柔軟なインタラクションの実現を可能とすることができる。
【発明を実施するための最良の形態】
【0017】
以下に、本発明の実施の形態について、適宜、図面を参照しながら説明する。
図1は、物体追跡装置のシステム構成を示す図である。
図1において、物体追跡装置1は、追跡対象となる物体の画像を取り込むカメラ装置2と、各種初期設定を行う初期設定部3と、カメラ装置2により取り込まれた画像から、追跡対象の尤度に基づく仮説より追跡対象の動作予測をしながら追跡対象の尤度を生成して、物体の追跡処理を行う物体追跡処理部4とを備えている。
【0018】
ここで、カメラ装置2は追跡対象となる物体の画像と共に距離情報を取得することができるものである。初期設定部3は、追跡対象の尤度モデル設定、物体追跡処理部4の後述するパーティクルフィルタで利用する仮説群の初期化等、追跡開始に必要な諸処理を行う。これらの処理は必要に応じて外部からの入力装置14より設定するようにしてもよい。
【0019】
物体追跡処理部4には、汎用のパーティクルフィルタが利用される。ここでは最も基本的な構成のパーティクルフィルタを想定しているが、適宜、構成を入れ替えることが可能となっている。物体追跡処理部4は、仮説生成部5と、動作予測部6と、観測・評価部7の3つの構成部分からなる。
【0020】
仮説生成部5は、各仮説(パーティクル)をその尤度に比例する確率でサンプリングすることにより、新たな仮説群を生成する。動作予測部6は、予め定義された動作モデルを適用することで追跡対象の画像上の位置を予測し、各仮説を更新する。動作モデルとしては、任意のものが利用可能である。すなわち、追跡対象の動作に関して事前知識があれば、それを動作モデルに盛り込むことも可能だが、そうでなければ一般的なモデルを利用することができる。また、これに限らず、動作のダイナミクスを学習する任意の機構を動作モデルに導入することも可能である。
【0021】
観測・評価部7は、画像情報を観測し、更新された仮説の尤度を評価する。仮説sに対する尤度L(s)は以下の数1式のように算出される。
[数1]

L(s)=Σ[L(s)/α
i=0
【0022】
ここで、L(s)は初期設定部3及び尤度モデル更新部11により「システム追跡対象尤度モデル」に登録されている各尤度モデルの尤度関数、αは事前に設定した1以上の実数である。このような尤度評価を行うと、先に「システム追跡対象尤度モデル」に登録されたモデルの尤度関数がより大きな影響をもつことになるため、尤度の小さい現在の対象を追跡しつつ、尤度の大きい先に登録された対象が現れた場合には尤度の大きい方を優先して追跡することが可能になる。初期設定部3では追跡対象の尤度モデルのみをL(s)として登録する。
また、システム全体の代表となる仮説(以下、代表仮説と呼ぶ)とその尤度を算出する。代表仮説としては、仮説群の平均に相当する仮説、仮説群が近似する確率密度関数のモードに相当する仮説、あるいは最大の尤度を持つ仮説等、応用に応じて選択することが可能である。
【0023】
数1式の尤度関数でαのi乗を用いている点について、以下に理由を説明する。
これは、遮蔽する側(第i番目のモデル)の尤度が常に遮蔽される側(第i-1番目のモデル)の尤度の1/α倍のレベルになるという関係を保つためである。例えばα=10とした場合、遮蔽される側の尤度は遮蔽する側の尤度よりも一桁高くなることになり、遮蔽される側の物体が遮蔽物の陰から再び現れた場合に一桁高い尤度をもつ物体の出現により追跡対象の注意を戻すことを可能にする。
【0024】
また、物体追跡装置1は、物体追跡処理部4により生成された追跡対象の尤度と予め閾値設定部12で定められた閾値との比較により物体の追跡処理の異常状態を検知する異常状態検知部8と、異常状態検知部8により異常状態が検知されたときに追跡対象と異なる他の追跡対象の尤度モデルを作成する尤度モデル作成部9とを備えている。
【0025】
また、物体追跡装置1は、異常状態検知部8の検知により異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定する遮蔽状態判定部10と、遮蔽状態判定部10により遮蔽状態であると判定されたときに尤度モデル作成部9により作成された尤度モデルを「システム追跡対象尤度モデル」に追加登録すると共に閾値更新部13を用いて閾値設定部12で設定された閾値を尤度モデルが追加登録された回数毎に低下させて更新する尤度モデル更新部11とを備えている。
【0026】
また、遮蔽状態判定部10は、遮蔽状態であると判定された後に、最後に登録された尤度モデルの尤度関数の値よりも大きな尤度関数の値をもつ尤度モデルが存在するときに遮蔽状態が解消されたと判定し、尤度モデル更新部11は、最大の尤度をもつ尤度モデルよりも後に追加された尤度モデルの登録をすべて削除すると共に、閾値更新部13を用いて閾値設定部12で設定された閾値を削除された尤度モデルの個数毎に増大させて更新する。
物体追跡装置1の追跡状態等の出力は外部の出力装置15に出力される。
【0027】
上述した異常状態検知部8による異常状態か否かの判定には、事前に閾値設定部12に設定した閾値を用いるが、ここで、尤度モデル更新部11で遮蔽物のモデルが一つ登録されるたびに、閾値更新部13を用いて閾値設定部12で設定された閾値の値が1/α倍される。これは、「正常に遮蔽物を追跡している」状態では、その尤度はモデルを追加する前の1/αのレベルになるためである。逆に遮蔽状態判定部10で遮蔽状態が解消されたと判定された場合には、尤度モデル更新部11で削除するモデルの数だけ閾値更新部13を用いて閾値設定部12で設定された閾値をα倍することになる。
なお、上述した物体追跡装置1のうち、カメラ装置2以外の初期設定部3~閾値更新部13までは、例えば、制御部としてのCPUとプログラムや制御データの記憶部としてのメモリとにより、上述した各機能を有するように構成される。
【0028】
以下、このように構成される物体追跡装置の動作について、図2に示すフローチャートに基づいて説明する。
図2のフローチャートは、図1に示した各部の処理を一連の流れとして連続的に示すものである。
図2において、まず、初期設定の処理が行われる(ステップS1)。具体的には図1に示した初期設定部3がシステムのデフォルト値を設定する。例えば、初期設定部3は物体追跡処理部4の仮説生成部5で生成される追跡対象の尤度モデルを「システム追跡対象尤度モデル」に「第0番目のモデル」として登録し、尤度モデルの数N=0とする。また、初期設定部3はシステムの「追跡状態」を「正常」に設定する。
【0029】
「尤度モデル」は尤度関数によって「仮説」が追跡対象の位置をどれほど的確に表しているかを数値(尤度)として評価可能とするものである。尤度関数は最大値が1、最小値が0をとるように正規化されている。尤度モデルとしては任意のものが使用可能であるが、「対象の事前知識を必要とせずに汎用的に使用可能である」という条件をみたすことが望ましい。ここでは、「仮説が表す画像領域内での色分布」を尤度モデルとして利用することを想定している。この場合、モデルの持つ色分布と仮説が表す画像領域で観測した色分布との類似度が判定され、近いものほど高い尤度が与えられるようになされる。
【0030】
次に、物体追跡処理の各処理が行われる(ステップS2)。具体的には図1に示した物体追跡処理部4の仮説生成部5が追跡対象の仮説の尤度モデルを生成し(ステップS3)、動作予測部6が予め定義された動作モデルを適用することで追跡対象の画像上の位置を予測・更新し(ステップS4)、観測・評価部7が画像情報を観測し、更新された仮説の尤度を評価する。また、それをもとに代表仮説とその尤度を算出する(ステップS5)。
【0031】
次に、追跡する対象物の直前の状態が正常であるか異常であるかを判断する(ステップS6)。具体的には、図1に示した物体追跡処理部4は、観測・評価部7で仮説の尤度が評価された際に、システムの「追跡状態」が「正常」又は「異常」のどちらに設定されているかを判断する。この判断ステップS6の判断結果に応じてそれ以降の処理の流れが分岐する。
【0032】
判断ステップS6で直前の状態が正常であると判断されたときは、続いて異常状態が検知されているか否かの判定をする(ステップS7)。具体的には図1に示した異常状態検知部8が、物体追跡処理部4により生成された追跡対象の代表仮説の尤度と予め閾値設定部12で定められた閾値との比較により物体の追跡処理が異常状態であるか否かを検知する。
例えば、ステップS2で生成された代表仮説の尤度が予め定められた閾値を上回る場合には、追跡処理は正常に実行されているとみなして、追跡処理を続行する。
【0033】
判断ステップS7で異常状態検知判定の結果が正常であると判断された場合は、続いて遮蔽状態が解消されたか否かが判断される(ステップS8)。そして、この判断ステップS8で未解消であると判断された場合、つまり遮蔽状態にない場合は、次に終了条件であるか否かの判断をする(ステップS9)。具体的には、終了条件の例として、次のようなものが考えられる。第1に、事前に設定した時間(ループ回数)に達した場合、第2に、追跡対象が画面外へ移動して追跡不可能となり、一定時間が経過した場合、第3に、ロボットや監視カメラ等への応用において、ユーザから追跡終了の入力指示があった場合などである。
【0034】
判断ステップS9で終了条件でないと判定されたときは、ステップS3へ戻って、ステップS3~ステップS9までの処理及び判断を繰り返す。
【0035】
判断ステップS6で直前の状態が正常であると判定されたものの、判断ステップS7で異常状態検知判定が異常であると判断された場合は、図1に示す尤度モデル作成部9が尤度モデル作成処理を行う(ステップS17)。具体的には、異常状態検知部8が、物体追跡処理部4により生成された追跡対象の代表仮説の尤度と予め閾値設定部12で定められた閾値との比較により物体の追跡処理が異常状態であるか否かを検知する。そして、例えば、ステップS2の物体追跡処理で生成された尤度が予め定められた閾値を下回る場合には、何らかの原因で追跡対象を見失った状態であると判断する。この場合、追跡対象の物体が急激な動作をした等の理由で一時的に見失っただけの可能性と、他の物体により追跡対象の物体が遮蔽された可能性の2つが考えられる。
【0036】
ステップS17の尤度モデル作成処理は、上述したようにステップS6で追跡対象物の直前の状態が正常であって、ステップS7で異常状態検知部8により現在の状態が異常であると検知された場合の処理であるが、実際には、現在の追跡対象の物体が遮蔽された可能性に備えて、図1に示した尤度モデル作成部9は追跡対象と異なる他の追跡対象である遮蔽物の尤度モデルを作成する。
そして、判断ステップS6で正常であると判断された状態を「異常」に設定する(ステップS18)。具体的には図1に示した異常状態検知部8がこのシステムの「追跡状態」を「正常」から「異常」に設定する。
【0037】
上述したステップS17の尤度モデル作成処理は、異常状態検知部8が追跡処理の異常を検知した時点で行う。ただし、ステップS17で作成された尤度モデルは、後述するステップS14で示す追跡処理の異常が一定時間継続するまでは、「システム追跡対象尤度モデル」に登録されない。
【0038】
具体的な尤度モデル作成処理は、以下の通りである。
まず、図1に示した尤度モデル作成部9はカメラ装置2から取得される距離情報を利用して、追跡対象とする画像領域を抽出する。より詳細に言えば、尤度モデル作成部9は、物体追跡処理部4の仮説生成部5で生成された代表仮説が表す画像領域内で、追跡対象の前時刻での平均距離よりも手前側、つまりカメラ装置2に近い側にある画像領域を抽出する。この抽出された画像領域は追跡対象の物体に対する遮蔽物である可能性が高い物体が存在する領域を表している。
次に、尤度モデル作成部9は、抽出された画像領域内の画像情報を基に、遮蔽物の尤度モデルを作成する。
【0039】
また、判断ステップS6で追跡対象物の直前の状態が異常であると判断されたときにも、判断ステップS7と同様に、異常状態が検知されているか否かの判断が行われる(ステップS10)。具体的には図1に示した異常状態検知部8が、物体追跡処理部4により生成された追跡対象の代表仮説の尤度と予め閾値設定部12で定められた閾値との比較により物体の追跡処理が異常状態であるか否かを検知する。
【0040】
この判断ステップS10で異常状態検知判定が正常であると判断されたときは、判断ステップS6で異常であると判断された状態を「正常」に設定する(ステップS11)。具体的には図1に示した異常状態検知部8がシステムの「追跡状態」を「異常」から「正常」に設定する。そして、尤度モデル廃棄処理を行う(ステップS12)。具体的には図1に示した尤度モデル更新部11がステップS17で作成した尤度モデルを廃棄する。
【0041】
判断ステップS10で異常状態検知判定が異常であると判断された場合は、次にこの異常状態を監視して、異常状態が一定時間継続しているか否かの判定をする(ステップS13)。具体的には直前の状態が異常であって、図1に示した異常状態検知部8により現在の状態も異常であると検知されたときは、現在も追跡対象の物体を見失った状態を継続している可能性に備えて、異常状態が継続している時間が事前に設定されている一定時間を越えたか否かを判定する。
【0042】
判断ステップS13で異常状態が一定時間継続していると判断されたときは、図1に示した尤度モデル更新部11は追跡対象と異なる他の追跡対象である遮蔽物の尤度モデルを作成して「システム追跡対象尤度モデル」に追加登録する(ステップS14)。
具体的には、図1に示した遮蔽状態判定部10は、異常状態検知部8の検知により異常状態が一定時間継続されたときに追跡対象は他の追跡対象により遮蔽された状態であると判定し、尤度モデル更新部11は尤度モデル作成部9により作成された尤度モデルを追加登録する。このように追跡処理の異常が一定時間継続された場合に、ステップS14の尤度モデルの追加処理が実行される。このとき、尤度モデル更新部11は登録モデル数Nの値を1つ増加させ、「システム追跡対象尤度モデル」に追加登録させる。
【0043】
そして、閾値の値を1/α倍する(ステップS15)。具体的には図1に示した尤度モデル更新部11は、遮蔽状態判定部10により遮蔽状態であると判定されたときに尤度モデル作成部9により作成された尤度モデルを追加登録すると共に、閾値更新部13を用いて閾値設定部12で設定された閾値を尤度モデルが追加登録された回数毎に低下させて更新する。
さらに、判断ステップS10で異常であると判断された状態を「正常」に設定する(ステップS16)。具体的には図1に示した異常状態検知部8がシステムの「追跡状態」を「異常」から「正常」に設定する。
【0044】
判断ステップS13で異常状態が一定時間継続していないと判断されたときは、判断ステップS13の異常状態のまま、判断ステップS8,S9の処理を経て、ステップS2の物体追跡処理に移行する。そして、引き続きステップS2の物体追跡処理及び判断ステップS13の監視処理を継続する。この処理を継続するのは、追跡対象の物体が遮蔽されたのではなく、一時的に見失った場合には、一定時間内にこのシステムの追跡状態が正常な状態に復帰することが予想されるからである。
【0045】
ステップS18で追跡状態が「異常」に設定された場合、ステップS12で尤度モデルが廃棄処理された場合、ステップS16で追跡状態が「正常」に設定された場合、及び判断ステップS13で異常状態が一定時間継続していないと判断された場合には、続いて、判断ステップS8に進み、遮蔽状態が解消されているか否かが判断される。
【0046】
この判断ステップS8において、遮蔽状態が解消していないと判断された場合は、既に説明したステップS9の終了条件の判定に移行する。そして、終了条件が満たされていないと判断された場合は、ステップS3の仮設生成処理に戻り、終了条件が満たされていると判定された場合は処理を終了する。
【0047】
また、判断ステップS8において、遮蔽状態が解消していると判断された場合は、尤度モデルの削除が行われる(ステップS19)。そして、閾値更新部13により閾値設定部12で設定された閾値の値を削除した尤度モデルの個数だけα倍する処理が実行される(ステップS20)。そして、ステップS9の終了条件が満たされているかどうかの判断に移行する。
【0048】
以上の処理をさらに詳細に説明する。判断ステップS7で異常判定であったが追跡対象の物体を一時的に見失っただけの場合を考える。このとき、ステップS17で尤度モデルが作成され、ステップS18のシステムの「追跡状態」が「異常」に設定された後に、判断ステップS8、S9を経て、判断ステップS2の物体追跡処理に戻る。このような場合は、次回の判断ステップS10では正常に戻ったと判断されるので、ステップS11で状態が「正常」に設定され、ステップS12の尤度モデルの廃棄が行われる。そして、終了条件(ステップS9)を満たすまで、次回以降追跡処理が続行される。
【0049】
また、上述したように、判断ステップS13で異常状態が一定時間継続して追跡対象の物体が遮蔽状態であると判断されて、ステップS14で遮蔽物の尤度モデルが追加されたとき、ステップS15で閾値の値が1/α倍される。そして、ステップS16のシステムの「追跡状態」が「正常」に設定された後に、遮蔽状態が解消しているか否かが判定される(ステップS8)。具体的には図1に示した遮蔽状態判定部10は、遮蔽状態であると判定された後に、最後に上記追加された上記尤度モデルよりも大きな尤度が生成された上記尤度モデルが存在するときに遮蔽状態が解消されたと判定する。
【0050】
これを詳細に説明すると、遮蔽状態判定部10は、尤度モデル作成部9による登録モデル数Nの値が1以上であること、及び物体追跡処理部4による代表仮説に対する数1式の尤度評価において、各尤度関数L(s)の中で最大値をとるものが第N番目のモデル以外のモデルの尤度関数であることの2つの条件をすべて満たすとき、追跡対象がその最大値をとる尤度関数を持つモデルに移り、遮蔽状態が解消されたと判断する。
【0051】
判断ステップS8で遮蔽状態が解消していると判断されたときは、尤度モデル削除処理を行う(ステップS19)。具体的には、図1に示した尤度モデル更新部11が、ステップS14で追加された尤度モデルの削除を行う。ここでは、判断ステップS8で最大尤度を有するモデル以降にステップS14で登録されたモデルすべてを削除対象として尤度モデルの削除処理を行う。この処理をさらに詳細に説明すれば、尤度モデル更新部11は、まず、削除対象となる尤度モデルの登録を「システム追跡対象尤度モデル」からすべて削除し、登録モデル数Nの値を削除したモデルの数だけ減少させる処理を実行することを意味している。
【0052】
そして、閾値の値を削除した尤度モデルの個数だけα倍する(ステップS20)。具体的には図1に示した尤度モデル更新部11は、閾値更新部13を用いて閾値設定部12で設定された閾値を遮蔽状態が解消された回数毎に増大させて更新する。ここで、尤度モデル更新部11で遮蔽物のモデルが一つ削除されるたびに、閾値更新部13を用いて閾値設定部12で設定された閾値の値がα倍される。
【0053】
判断ステップS8で遮蔽状態が未解消のとき、及び判断ステップS8で遮蔽状態が解消し、ステップS9で尤度モデル削除処理を行い、ステップS10で閾値の値を削除した尤度モデルの個数だけα倍した後には、判断ステップS9で終了条件の判断を行い、上述した終了条件を満たすときは処理を終了する。
【0054】
上述した本実施の形態によれば、追跡対象に対する遮蔽の判断は、何重に起こった場合でも対応することができる。例えば、本来の追跡対象の物体を遮蔽した物体を追跡しているときに、さらに新たな遮蔽が発生した場合、その新たな遮蔽物の尤度モデルを「システム追跡対象尤度モデル」に登録することによって追跡を続行することが可能となり、複数の遮蔽が解除されて本来の追跡対象が出現することを判定することが可能となる。
上述した本実施の形態に限らず、本発明の要旨を逸脱しない限り、適宜、変更しうることはいうまでもない。
【図面の簡単な説明】
【0055】
【図1】物体追跡装置のシステム構成を示す図である。
【図2】物体追跡装置の動作を示すフローチャートである。
【符号の説明】
【0056】
1…物体追跡装置、2…カメラ装置、3…初期設定部、4…物体追跡処理部、5…仮説生成部、6…動作予測部、7…観測・評価部、8…異常状態検知部、9…尤度モデル作成部、10…遮蔽状態判定部、11…尤度モデル更新部、12…閾値設定部、13…閾値更新部、14…入力装置、15…出力装置
図面
【図1】
0
【図2】
1