Top > Search of Japanese Patents > (In Japanese)歩行者トラッキング方法及び歩行者トラッキング装置

(In Japanese)歩行者トラッキング方法及び歩行者トラッキング装置 foreign

Patent code P09S000248
File No. 1359
Posted date Dec 18, 2009
Application number P2008-524722
Patent number P4686663
Date of filing Feb 8, 2007
Date of registration Feb 25, 2011
International application number JP2007052271
International publication number WO2008007471
Date of international filing Feb 8, 2007
Date of international publication Jan 17, 2008
Priority data
  • P2006-189849 (Jul 10, 2006) JP
Inventor
  • (In Japanese)宮本 龍介
  • (In Japanese)芦田 純平
Applicant
  • (In Japanese)国立大学法人京都大学
Title (In Japanese)歩行者トラッキング方法及び歩行者トラッキング装置 foreign
Abstract (In Japanese)歩行者トラッキング方法及び歩行者トラッキング装置において、簡単な構成により、色情報を用いることなく画像中の歩行者の動きを推定して、頑健な歩行者トラッキングを可能とする。歩行者トラッキング装置(1)は、撮像装置(10)によって時間連続的に撮影された画像を時系列的に受信する画像受信手段(2)と、画像受信手段(2)によって受け取った画像から歩行者候補領域を抽出し、特定の歩行者領域を選択する歩行者領域選択手段(3)と、選択された歩行者領域を時系列的に与えられ、その歩行者領域の動きを、歩行者をモデル化したスケルトンモデルと歩行者領域から得た距離変換画像とモンテカルロフィルタとを用いて推定し、時間方向に関連づけることによりその歩行者領域を追跡するトラッキング手段(4)と、トラッキング手段(4)によって追跡される歩行者領域を時系列的に表示する歩行者軌跡表示手段(5)と、を備えている。
【選択図】
 図1
Outline of related art and contending technology (In Japanese)


従来から、画像データに基づいて移動体の動き、特に人の動きを自動的に追跡する方法や装置があり、例えば、音楽分野やスポーツ分野において、動作の解析と評価に基づく能力開発や様々な目的のために開発されている。一例を挙げると、コンピュータに入力されたダンスする被験者の映像から人物シルエット画像を抽出し、色処理によって人物シルエット画像から被験者の各部位を検出すると共に人物シルエット画像をスケルトン画像に変換し、そのスケルトン画像をハフ変換して各部位を直線近似し、各部位をカルマンフィルタにより時間追跡する身体動作解析装置が知られている(例えば、特開2005-339100号公報参照)。



上述の身体動作解析装置は、時間追跡されたハフパラメータにSVD(Singular Value Decomposition;特異値分解)を施して身体動作の動き特徴量を抽出し、その後、抽出した動き特徴量の時系列データをフーリエ変換して周波数解析し、被験者の身体動作全体のリズム要素を抽出評価する装置である。



また、画像データに基づいて歩行者を自動的に追跡する歩行者トラッキング方法及び歩行者トラッキング装置は、事故防止や監視などの用途に応えるため、高精度化、効率化が進められている。すなわち、誤動作(誤追跡)のない、より確実で、より高速な、歩行者トラッキング方法や装置が求められている。



ところで、画像を処理して歩行者の動きを推定し、時間方向に関連づける手段として、種々のフィルタ技術が用いられる。フィルタは、画像データなどの入力信号に対して望みの応答の推定を出力する方法又は装置である。歩行者トラッキングに用いられるフィルタは、雑音の加わっている現在の入力信号から雑音を除去すると共に未来の信号値を、望みの応答の推定として出力する。このようなフィルタによる未来の推定は、フィルタによる予測と呼ばれる。



例えば、カルマンフィルタは、上述の特許文献(特開2005-339100号公報)で用いられているように、移動体一般の追跡を行うオブジェクトトラッキングの分野で広く用いられており、歩行者トラッキングへも適用されている。



カルマンフィルタを用いるトラッキングの概要を説明する。カルマンフィルタは、観測ベクトルytから逐次的に各時刻における状態ベクトルxtを推定する。ここで、yt,xt、後述のFtなどにおける下付文字のtは、ある特定の時刻を表し、その時刻よりも1ステップ前の時刻は、t-1によって表わされる。すなわち、観測(例えば、時系列画像の撮影)は、時間間隔(ステップ)毎に行われる。これらの下付き文字による時刻の表記方法は、以下においても同様に用いられる。観測ベクトルytは、観測可能な時系列データによって数学的に定義される観測空間のベクトルである。また、状態ベクトルxtは、観測ベクトルを本質的に決定付けるシステムの状態を示す状態空間と呼ばれる空間のベクトルであり、ガウス-マルコフ過程(Gauss-Markov process)に従うと仮定される(例えば、片山徹著「応用カルマンフィルタ」朝倉書店、1983年、参照)。



また、カルマンフィルタは、状態ベクトルの時間方向の遷移を特徴付けるシステムモデルの式、xt=Ftxt-1+Gtvt、及び、状態ベクトルから観測ベクトルへの写像を特徴付ける観測モデルの式、yt=Htxt+wtの両者に線形性、及びガウス性を仮定する。ここで、vtとwtは、それぞれプラント雑音、観測雑音と呼ばれるガウス白色雑音であり、Ft,Gt,Htは、それぞれ状態遷移行列、駆動行列、観測行列と呼ばれる行列である。これらの式の形から、観測ベクトルytと状態ベクトルxtが、線形性を有することがわかる。



上述の各モデルにガウス性を仮定することは、状態空間における状態ベクトルxの確率分布、すなわち状態確率分布p(x)にガウス分布の仮定を置くことに相当する。歩行者トラッキングにおいて、状態確率分布がガウス分布から大きく外れる場合として、例えば、一時的に歩行者が陰に隠れるオクルージョンの存在、トラッキングターゲット(歩行者)の速度の急変、トラッキングターゲットに似た複数のオブジェクトの存在、などの状況がある。このような場合にカルマンフィルタを適用すると、実際の状態確率分布として、図36(a)に示すようなガウス分布とは異なる分布が想定されるにも拘わらず、図36(b)に示すガウス分布を用いて状態を推定することになる。従って、ガウス分布を前提としているカルマンフィルタ適用の限界のため、このような場合に、十分な精度の状態推定ができなくなる。



そこで、ガウス性や線形性を前提としないモンテカルロフィルタを用いてトラッキングを行う手法が提案され、コンデンセーション(CONDENSATION:conditional density propagation)と呼ばれている(例えば、ミカエル・イザード(Michael Isard)、アンドリュー・ブレイク(Andrew Blake)著 「コンデンセーション-コンディショナル デンシティ プロパゲーション フォー ヴィジュアル トラッキング(Conditional Density Propagation for Visual Tracking)」、インターナショナル ジャーナル オン コンピュータ ビジョン(International Journal on Computer Vision)、Vol.29,pp5-28(1989)、参照)。



モンテカルロフィルタを用いる場合、カルマンフィルタを用いる場合と同様に、観測ベクトルに基づいて、各時刻における状態ベクトルが逐次的に推定される。モンテカルロフィルタを用いる推定において、状態確率分布は、状態空間の1点を示すベクトルを保持する粒子の分布に基づいて生成される。従って、モンテカルロフィルタは、上述のカルマンフィルタにおけるシステムモデルと状態空間モデルとを一般化した非線形、非ガウス型のモデルを扱うことができる(例えば、北川源四朗著「時系列解析入門」岩波書店、2005年、参照)。



そこで、ガウス性などの仮定を置く従来の手法によると失敗するような、オクルージョンの存在や速度急変の状況においても、コンデンセーションによると、高精度な確率的状態推定、すなわち誤動作のより少ないトラッキングが実現可能と考えられる。



(モンテカルロフィルタの概要)
ここで、モンテカルロフィルタの概要を説明する。モンテカルロフィルタにおけるシステムモデルと観測モデルとは、それぞれ次の式(1)(2)で表わされる。
【数1】




状態空間における状態ベクトルxtの状態確率分布p(xt)は、次式(3)(4)のようにN個の粒子のセット{st(n),n=1,..,N}によって表現される。ここで、st(n)はn番目の粒子が保持する状態空間Xの1点を示すベクトルであり、δ(x)はデルタ関数である。
【数2】




モンテカルロフィルタにおける状態確率分布は、離散的な粒子の粗密によって表現される。例えば、本来の確率分布が図37(a)に示される分布の場合に、モンテカルロフィルタにおいては、図37(b)に示すように、確率分布が離散的な粒子の粗密によって表現される。従って、粒子の数が多いほど、状態確率分布の表現がより精度良くなる。このような粒子による表現によって、どのような状態確率分布も表現可能となる。



(モンテカルロフィルタを用いた状態推定アルゴリズム)
次に、上述のモンテカルロフィルタを用いた状態推定のアルゴリズムを説明する。図38は、N個の各粒子s(1),s(2),..,s(N)に対して時間ステップ毎に行う処理を示す。この図において、横軸は時間軸であり、縦軸は状態空間(1次元で表されている)を示す。また、黒丸や破線白丸で示している粒子の大きさは、その状態があり得る尤度(もっともらしさ、実現性)を示す。モンテカルロフィルタを用いる処理は、この図に示すように、予測、計測、再抽出(再設定)の3ステップの処理の繰り返えしである。



上述の3ステップの繰り返しにより、ある時刻tにおける状態確率分布p(xt)が、その前の時刻t-1の確率分布p(xt-1)と観測データとを用いて逐次的に求められ、各時刻における状態確率分布が次々推定される。そして、状態確率分布は、ガウス性を前提とすることなく、各時刻の状態に応じて、柔軟に決められたものである。従って、状態確率分布が観測データによって補正され、かつ、その補正された状態確率分布を用いて、次の状態確率分布が求められるので、トラッキングの結果を表す状態空間における粒子の軌跡がより確からしいものとなる。



予測ステップでは、各粒子(n=1,..,N)に対し、過程確率密度p(xt|xt-1=st-1(n))に従って、次状態s’t(n)を予測する(以下、上述の北川源四朗著「時系列解析入門」参照)。



計測ステップでは、各粒子に対し、予測された状態の尤度πt(n)を観測確率密度p(yt|xt)に従って算出する。言い換えると、このステップでは、各粒子に対応するトラッキングターゲットモデルの状態と、観測データ(トラッキングターゲットの画像)との、似かより具合(likelyfood)を、適切に設定した比較方法に基づいて比較することにより求める。ここでytは時刻tにおける観測ベクトル(観測データ)である。



再抽出ステップでは、以下の(i)(ii)(iii)の処理を、粒子の個数Nに応じてN回繰り返すことにより、時刻tにおける粒子のセット{st(n),n=1,..,N}を抽出する。言い換えると、このステップでは、予測した状態を表す粒子の尤度に基づいて、尤度の大きな粒子のところには粒子数を多くし、尤度の小さな粒子のところには粒子数を少なくしたり、ゼロにしたりして、状態空間におけるN個の粒子の再配分(再設定)を行い、観測データによる補正を反映した、時刻tにおける状態確率分布が決定される。
【数3】




上述した予測、計測、再抽出(再設定)の3ステップの処理によって、時刻tにおける粒子の状態確率分布p(xt)が得られる。モンテカルロフィルタを用いる場合、アプリケーションに応じて、状態空間X、すなわちターゲットのモデルなど、をどのように構成するか、予測ステップにおいて状態遷移、特に遷移に対する制約条件など、をどのように行うか、計測ステップにおける粒子の尤度の算出法、すなわち比較方法など、をどうするか、などについて適切に設定する必要がある。



次に、コンデンセーションを用いる例として、ターゲットの輪郭を用いてターゲットを追跡する輪郭トラッキングを説明する。輪郭トラッキングの手法では、トラッキングターゲットの輪郭をB-スプライン曲線によってモデル化し、そのスプライン曲線の制御点の座標値などからなる空間を状態空間として定義する。そして、その状態空間における点を指し示す状態ベクトルの動き(遷移)を、モンテカルロフィルタを用いて推定(予測)する。言い換えると、状態空間の1つの点が、輪郭の1つの状態に一対一対応をしており、状態空間において、時間経過とともに、ある点(状態)から、ある点(状態)に現在の状態が移動、すなわち遷移することになる。その遷移は、ある制約条件のもとで確率的に実現されると考えられる。



状態遷移を予測する場合に、予め遷移の可能性のある状態を制限しておくことにより、つまり状態遷移に制約をかけることにより、予測の精度を上げることができる。従来行われているコンデンセーションによる輪郭トラッキングでは、主成分分析による事前学習を行うことによって、状態遷移に制約をかけることが行われている。以下、コンデンセーションによる輪郭トラッキングにおける状態空間、状態遷移、及び尤度の算出について示す。



(状態空間)
トラッキングターゲットの輪郭をB-スプライン曲線により近似し、B-スプライン曲線の制御点の位置や速度を状態空間Xとして定義する。



(状態遷移)
主成分分析を用いて教師データを事前に学習する。状態空間がM次元の場合、第1主成分ベクトルから第L主成分ベクトル(L<M)の線形結合を基に状態遷移(st’-st-1)を決定して状態遷移の自由度をMからLに下げる。これにより、教師データが偏っている方向に状態が散らばるように、すなわち、教師データの特徴に従うように、状態遷移を制約する。



(尤度の算出)
粒子の尤度πは、以下の手順に基づき、B-スプライン曲線と入力画像との比較によって算出される。まず、予測されたB-スプライン曲線上のK個の点からなる基点を設定し、そこから法線方向に長さμの直線を設定する。次に、この直線上において画像の特徴点であるエッジ(ターゲット部分の画像輪郭)を検出し、k番目の基点から検出されたエッジまでの距離をδkとする。輪郭の状態を表す状態空間における粒子の尤度πは、このδkを用いて、次式(7)のように算出される。
【数4】




上述のコンデンセーションによる輪郭トラッキングは、手のひらや葉っぱなどのトラッキングに適用され、優れた成果をあげている。また、コンデンセーションのフレームワークを用いた歩行者トラッキング手法が、提案がされている(例えば、イザード(Isard)、マッコーミック(MacCormick)著 「ア ベイジアン マルチプル-ブロブ トラッカ(A Bayesian Multiple-Blob Tracker)」、IEEEインターナショナル コンファレンス オン コンピュータ ビジョン(IEEE International Conference on Computer Vision)、pp34-41(2001)、参照)。



しかしながら、コンデンセーションによる輪郭トラッキングを歩行者トラッキングに適用した場合、次のような問題点がある。歩行者のようなオブジェクトは、輪郭の遷移の方向や大きさが、時間とともに著しく変化する。このようなオブジェクトの輪郭に対して、状態遷移を適切に制約することは一般に困難であり、従って、コンデンセーションによる輪郭トラッキングは歩行者のトラッキングには不適である。



歩行者の輪郭の遷移を、図39(a)(b)(c)を参照して説明する。これらの図は、ある実シーケンスにおける連続する3フレームの画像から検出した歩行者領域を示す。図39(a)(b)の2つの歩行者領域の間には、上半身の輪郭に大きな変動はないが、下半身の輪郭に大きな変動が見られる。一方、図39(b)(c)の間では、上半身の輪郭が大きく変動しているが、下半身の輪郭に大きな変動はない。このように、歩行している人の輪郭は、時間と共に変化、すなわち、状態が遷移し、その変化する部位や変化の大きさも時間的に変化している。



また、上述したように、コンデンセーションによる輪郭トラッキングでは、主成分分析によって状態遷移を制約する。従って、状態空間における教師データが、ある特定の方向に偏っている場合に大きな制約の効果が得られる。しかしながら歩行者の輪郭の遷移は多様であり、教師データの分布がばらつくので偏りが少ない。このような状態空間に対して、主成分分析に基づいて状態遷移を適切に制約することは、原理的に無理がある。状態遷移を制約するのは、状態遷移に対する推定の精度を向上させるためである。従って、制約ができなければ推定の精度の向上が望めなく、誤動作のないトラッキングができないことになる。



そこで、安定で誤動作のない、頑健(ロバスト)な歩行者トラッキングを実現するには、輪郭を特徴量として用いる方法に替えて、状態遷移の方向や大きさが、より安定となる特徴量を採用し、その特徴量に基づいて推定の精度を向上させることが必要である。



また、モンテカルロフィルタを用いると、カルマンフィルタを用いる場合のガウス性などの仮定は必要なくなり、より頑健なトラッキングが実現可能となるので、このフレームワークを用いた種々のトラッキング手法が提案されている。しかしながら、歩行者のトラッキングに適合した実用的な手法は、いまだ提案されていない。例えば、上述のイザード(Isard)とマッコーミック(MacCormick)の文献に示されるようなコンデンセーションを用いる歩行者トラッキングは、画像中における歩行者領域が大きい場合に適用され、かつ、3次元情報などを用いた精密な歩行者モデルに基づいてトラッキングするものであり、歩行者領域が小さい画像に対応する必要がある実用的な用途には不適である。



また、監視用途の歩行者トラッキングにおいては、一般的に、ダイナミックレンジの広いグレイスケール画像が用いられ、さらに、夜間のトラッキングの場合、赤外線カメラの使用が考えられるので、これらの状況に対応して歩行者トラッキングを可能とするためには、色情報を利用しないトラッキング手法が望まれる。

Field of industrial application (In Japanese)


本発明は、連続的に歩行者を撮影した画像に基づいて歩行者を追跡する歩行者トラッキング方法および歩行者トラッキング装置に関する。

Scope of claims (In Japanese)
【請求項1】
 
時間連続的に撮影した画像中に現れる特定の歩行者領域を時系列的に与えられ、その歩行者領域の動きをモンテカルロフィルタを用いて推定して時間方向に関連づけることによりその歩行者領域を追跡する歩行者トラッキング方法であって、
歩行者モデルを複数の節点とその節点間を連結する複数のスティックとを有するスケルトンモデルとして構成し、前記スケルトンモデルの状態と1対1の対応をなす点を表す多次元空間である状態空間に、その状態空間の点が示す状態の実現確率の属性をその点に付与して成る粒子を、定義すると共に、当該状態空間に初期状態として複数のスケルトンモデルの粒子を設定する工程と、
第1の時刻における前記状態空間に設定された粒子の組に対し、モンテカルロフィルタの方法に基づいて当該第1の時刻より後の第2の時刻における状態を表す粒子の組を予測する工程と、
前記第2の時刻において与えられた歩行者領域を2値画像化すると共にその2値画像の距離変換画像から成る観測データを生成する工程と、
前記予測工程によって予測された各スケルトンモデルと前記距離変換画像とを比較することにより、第2の時刻における各スケルトンモデルの状態の尤度を算出する工程と、
前記工程によって算出した各スケルトンモデルの尤度に基づいて、前記状態空間におけるスケルトンモデルの粒子の組を抽出すると共に、抽出した粒子の組を第2の時刻における前記状態空間の新たな粒子の組として設定する工程と、備え、
前記粒子の組を予測する工程から前記抽出した粒子の組を新たな粒子の組として設定する工程までの工程を、時刻を進める毎に実行することにより、スケルトンモデルの状態空間における粒子の動きを推定して時間方向に関連づけることにより歩行者領域を追跡することを特徴とする歩行者トラッキング方法。
【請求項2】
 
前記スケルトンモデルは、胴体スティックと、前記胴体スティックの上端に交差して接続した肩幅スティックと、前記胴体スティックの下端に交差して接続した腰幅スティックと、前記胴体スティックの延長部としての頭長スティックと、前記腰幅スティック及び肩幅スティックの両端部にそれぞれ接続された4本の四肢スティックと、の8本のスティックからなることを特徴とする請求項1に記載の歩行者トラッキング方法。
【請求項3】
 
前記スケルトンモデルは、前記肩幅及び腰幅スティックの長さをそれぞれゼロとする状態と、前記肩幅、腰幅、及び両手スティックの長さをゼロとする状態と、前記肩幅及び両手スティックの長さをゼロとする状態と、を取り得ることを特徴とする請求項2に記載の歩行者トラッキング方法。
【請求項4】
 
前記スケルトンモデルの1つの状態は、そのスケルトンを構成する各スティックの位置と角度とによって決定され、前記各スティックの相互の空間配置が人体の構造上可能な空間配置となるように制約されていることを特徴とする請求項1乃至請求項3のいずれか一項に記載の歩行者トラッキング方法。
【請求項5】
 
前記尤度を算出する工程で用いる距離変換画像は、歩行者領域を表す黒の輪郭部から輪郭内部に行くほど高輝度と成るように白黒濃度で表現した画像であり、
前記予測された各スケルトンモデルの尤度は、スケルトンモデルと距離変換画像とを重ねた状態で、スケルトンモデルを構成するスティック上の複数の点から、各点における該スティックの法線方向に存在する距離変換画像の輝度極値点までの距離を用いて算出されることを特徴とする請求項1乃至請求項4のいずれか一項に記載の歩行者トラッキング方法。
【請求項6】
 
前記粒子の組を予測する工程と前記新たな粒子の組を設定する工程とにおいて乱数が用いられ、前記乱数が疑似乱数生成アルゴリズムを用いて生成されることを特徴とする請求項1乃至請求項5のいずれか一項に記載の歩行者トラッキング方法。
【請求項7】
 
前記予測工程によって予測された各スケルトンモデルにおける、胴体スティックと頭長スティックとの節点の座標の分散を算出し、当該分散が一定の値を超える場合には追跡を終了する工程、をさらに備えることを特徴とする請求項1乃至請求項6のいずれか一項に記載の歩行者トラッキング方法。
【請求項8】
 
時間連続的に撮影された画像を時系列的に受信する画像受信手段と、
前記画像受信手段によって受け取った画像から歩行者候補領域を抽出し、前記抽出した歩行者候補領域を歩行者領域と非歩行者領域とに分類すると共に、特定の歩行者領域を選択する歩行者領域選択手段と、
前記歩行者領域選択手段によって選択された歩行者領域を時系列的に与えられ、その歩行者領域の動きを請求項1乃至請求項7のいずれか一項に記載の歩行者トラッキング方法を用いて追跡するトラッキング手段と、
前記トラッキング手段によって追跡される歩行者領域を時系列的に表示する歩行者軌跡表示手段と、を備えることを特徴とする歩行者トラッキング装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2008524722thum.jpg
State of application right Registered
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close