Top > Search of Japanese Patents > MOTION EXPRESSION METHOD AND MOTION RECOGNITION METHOD FOR MOVING OBJECT > Specification

Specification :(In Japanese)動体の動作認識方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4929460
Publication number P2008-165578A
Date of registration Feb 24, 2012
Date of issue May 9, 2012
Date of publication of application Jul 17, 2008
Title of the invention, or title of the device (In Japanese)動体の動作認識方法
IPC (International Patent Classification) G06T   7/20        (2006.01)
G06T   3/00        (2006.01)
FI (File Index) G06T 7/20 B
G06T 3/00 300
Number of claims or invention 1
Total pages 21
Application Number P2006-355662
Date of filing Dec 28, 2006
Date of request for substantive examination Nov 25, 2009
Patentee, or owner of utility model right (In Japanese)【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
Inventor, or creator of device (In Japanese)【氏名】石川 聖二
【氏名】タン ジュークイ
【氏名】緒方 健人
Representative (In Japanese)【識別番号】100090697、【弁理士】、【氏名又は名称】中前 富士男
【識別番号】100139262、【弁理士】、【氏名又は名称】中嶋 和昭
Examiner (In Japanese)【審査官】鹿野 博嗣
Document or reference (In Japanese)特開平10-285581(JP,A)
特開2002-374520(JP,A)
申 煕卓,テンポラルテンプレートを用いた動画解析手法,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2002年10月11日,第102巻,第382号,p.53~58
Alexei A. Efros,Recognizing Action at a Distance,International Conference on Computer Vision,フランス,2003年10月
Field of search G06T 7/20
G06T 3/00
Scope of claims (In Japanese)【請求項1】
入力された時系列画像の連続する2枚の画像から動体の動きベクトルを計算し、この動きベクトル成分を異なる複数方向にそれぞれ動きのみを表現する複数種類の画像に分解し、該複数種類の画像をそれぞれ独立して時間軸方向に重みを付けて重ね合わせ画像を形成する工程1と、
前記工程1によって得られた前記重ね合わせ画像から特徴量を抽出し、認識を行う前に予め用意していたテンプレート画像の特徴量とのユークリッド距離を計算することによって行うパターンマッチングによって、前記動体の動作を認識する工程2とを有し、
しかも、前記テンプレート画像は、既知の動作を行う動体を含む映像から前記工程1の方法によって得られる重ね合わせ画像からなり、前記異なる複数方向は、前記動きベクトルの画像に対して上下左右の4方向であることを特徴とする動体の動作認識方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、カメラによって撮像された映像、動画像に映る人物などの動きの画像をコンピュータによって自動で認識する動体の動作認識方法に関する。
【背景技術】
【0002】
従来、人物などの動作認識のための動作表現方法の一つとして、例えば、特許文献1または非特許文献1には、一定期間の動き情報を重ねて表現するモーションヒストリーイメージ法(以下、単に「MHI」いう)が提案されている。これは、対象となる動体の複数の画像から動体動作を認識する場合に、新しい画像ほど明るく、過去の画像ほど暗く表示し、時系列画像として表現される人物(動体)の動きを二次元画像に圧縮する表現方法である。即ち、一定期間の時系列画像から動いている部分を抽出し、重みを付け重ね合わせた画像で表現する方法であり、この重ね合わせ画像は、得られた時系列画像の連続する2枚の画像を差分し、画素値の変化があった部分を閾値処理によって抽出し、抽出した部分にある値を持たせ、それ以外の部分は現在の重みが0以上であれば1減らすことを繰り返すことによって得られる。
そして、これらの画像の動作認識にあっては、認識したい動作を行う人物などを含む画像から以上の方法によって求められた画像と、予め取得していた動作のテンプレート画像(即ち、学習画像)とのパターンマッチングを行って、該当人物の動作認識を行っている。
【0003】

【特許文献1】米国特許第6654483号公報
【非特許文献1】エー・エフ・ボビック(A.F. Bobick)とジェイ・ダブル・ダビス(J.W. Davis)著、「テンポラルテンプレートを用いた人の動作認識(The Recognition of Human Movement Using Temporal Templates)」、IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)、Vol.23、No.3、2001年、p.257-267
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1および非特許文献1で開示されている動作表現方法は、動きの変化が激しい場合、新しい動きが次々と上書きされ古い動きが消されてしまうため、複雑な動きを表現するのに適しておらず、認識精度が劣化するという問題がある。
また、以上の例に使用されているMHIはフレーム間差分画像を2値化した画像から生成するため、閾値の設定によっては、同じ動作でも異なるMHIが生成されてしまうという問題がある。また、フレーム間差分で得られる動き情報には動作認識の対象となる人とカメラの相対的な移動情報も含まれるため、同じ動作でも対象者の移動速度の違いやカメラの移動によって、生成されるMHIが異なるという問題がある。
【0005】
本発明はかかる事情に鑑みてなされたもので、このような従来法で表現が困難であった映像中の人物などの動作を表現するための動体の動作の認識方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に用いる動きの情報に着目した動体の動作表示方法は、入力された時系列画像の連続する2枚の画像から動体(即ち、局所領域)の動きベクトルを計算し、この動きベクトル成分を異なる複数方向にそれぞれ動きのみを表現する複数種類の画像に分解し、該複数種類の画像をそれぞれ独立して時間軸方向に重みを付けて重ね合わせ画像を形成する。
ここで前記異なる複数方向は、前記動きベクトルの画像に対して上下左右の4方向であるまた、動きベクトルを複数方向に分解して表現する以外の具体的処方については従来技術が適用可能である。
この場合、MHI(正確にはDMHI)に処理するデータは動きベクトル(フレーム画像ではない)であるから、単なるフレーム画像と異なり、閾値は必ずしも必要でない。
【0007】
また、前記目的に沿う発明に係る動体の動作認識方法は、認識したい動作を行う動体を含む画像から前記した動体の動作表現方法によって得られた前記重ね合わせ画像、および認識を行う前に予め用意していたテンプレート画像のパターンマッチングによって、前記動体の動作を認識する。なお、双方の特徴量を抽出してパターンマッチングを行う方がデータ処理がより簡単となる。
そして、この動体の動作認識方法において、前記テンプレート画像は、既知の動作を行う動体を含む映像から前記動作表現方法によって得られる重ね合わせ画像からなるこれによって同一処理物の比較となるので、認識精度が向上する。
【発明の効果】
【0008】
本発明に用いる動体の動作表示方法においては、一定期間内の複数方向(下左右の4方向)の動きの履歴を画像として表現することによって、動体、例えば人などの複雑な動作を、従来法より更に詳しく表現できる。
そして、本発明に係る動体の動作認識方法においては、上記のような動体の動作表現方法を用いることによって、更に認識率の向上を図ることが可能となるとともに、観察方向に依存しない動作認識が可能となる。
【発明を実施するための最良の形態】
【0009】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
ここで、図1は本発明の一実施の形態に係る動体の動作認識方法を適用した動作認識装置の構成図、図2はフレーム画像の説明図(写真を含む)、図3は差分画像の説明図、図4は本発明の一実施の形態に係る動体の動作表示方法の説明用写真、図5は同方法の説明用写真、図6はフーモーメント処理の説明図、図7は実施例の状況を示すカメラ配置図、図8は動体(人物)の各動作を示す写真、図9は実施例で用いた各動作から生成されるMHIとDMHIの例を示す写真である。
【0010】
本発明の一実施の形態に係る動体の動作認識方法では、動体の一例である人の動作を対象としてその表現の認識を行う場合について説明する。
図1に示すように、本発明の一実施の形態に係る動作認識方法を適用した動作認識装置10は、映像データを入力する映像入力部11と、映像入力部11に記憶されている画像データから動きベクトルを生成する動きベクトル生成部12と、動きベクトル生成部12によって処理された動きベクトルの動作を複数方向(即ち、上下左右)に分解する動きベクトル分解部13と、動きベクトル分解部13によって分解された上下左右の各画像からモーションヒストリーイメージを作成する重ね合わせ画像生成部14と、重ね合わせ画像生成部14から特徴ベクトルを抽出する特徴ベクトル抽出部15と、特徴ベクトル抽出部15の画像を学習データ(テンプレート画像)と比較して人の動作を決定する動作認識部16とを備えている。以下、これらについて詳細に説明する。
【0011】
映像入力部11は、ビデオカメラからの映像信号、またはパーソナルコンピュータのハードディスク内の映像データベースからの映像(画像)データを、時系列の連続映像として入力する。
この様子を図2に示すが、映像データは、幅がW、高さがHで撮影した映像(動画像)のある時点tにおけるフレーム画像の集合からなり、各フレーム画像は、W×H個の画素(ピクセル)を持つ。従って、映像データは、画像の左上を原点としてそこから右にx、下にy画素分だけ進んだ場所にあるピクセルがf(x,y,t)と表わされる。このf(x,y,t)は例えば0~255の値を持ち、255が真っ白、0が真っ黒で、その間の場合は0に近いほど黒く、255に近いほど白くなる(グレイスケール画像)。従って、図2では壁の部分におけるf(x,y,t)は255に近い値を持ち、人の髪の毛やズボンの部分のf(x,y,t)は0に近い値を持つことになる。
【0012】
ここで、まず画像の差分について説明する。いま、幅W、高さHで撮影した映像(動画像)から、t時点でのフレーム画像とt-1時点でのフレーム画像を取り出して、その差分をとることを考える。画像間の差分とは、同じ位置のピクセル値の差をとることである。取り出した2枚の画像において、左上の原点から右にx、下にy画素の位置にある画素は、f(x,y,t)およびf(x,y,t-1)で表現できるので、その差分は、単純に|f(x,y,t)-f(x,y,t-1)|となる。これを原点から1画素ずつ計算し、その結果を画素値とする画像を生成すれば、画素値が0に近いと黒くなるので、2つの画像の間で変化のない部分は黒く、逆に動きがある部分は画素値が大きくなるので白くなる画像が生成できる。これを差分画像と呼び、差分画像の例を図3に示す。
【0013】
ところが、先に説明した差分画像は、動きがある部分に大きな画素値が入いるので、動きがあったかなかったかを知ることができるが、その動きがどの方向であるかを知ることはできない。そこで、この実施の形態においては、動きベクトル生成部12でオプティカルフローを生成し、被写体の動きベクトルを算出する。
【0014】
オプティカルフローを計算するためには、差分画像の場合と同様に2枚のフレーム画像が必要となる。そして、片方の画像内の画素一つ一つが、もう片方の画像内のどこに移動しているかを求め、その位置関係を示す2次元ベクトルを画素とする画像が、オプティカルフローである。例えば、t時点のフレーム画像とt-1時点のフレーム画像間のオプティカルフローを求める場合は、t-1時点での画像の画素一つ一つが、もう片方のt時点でのフレーム画像内のどこに移動したかを探す。t-1時点のフレームの原点から右にx、下にy移動した場所の画素f(x,y,t-1)が、t時点のフレームの画像でf(x+dx,y+dy,t)に移動していた場合は、t-1時点での、(x,y)の位置のオプティカルフローは(dx,dy)となり、2次元ベクトルとなる。動きベクトル生成部12は、入力された映像画像からオプティカルフローを生成し、被写体の動きベクトルを算出する。片方の画像内の画素がもう片方の画像内のどの位置に移動したかというのを求める方法には、ブロックマッチング法と勾配法があるがいずれも周知の技術であるので、詳しい説明は省略する。この結果、ある時点での画像の局所領域が次の時点でどの方向に動いたのかという2次元のベクトルを各画素に持つ動きベクトル画像が得られる。図4(a)に示す2つのフレーム画像18、19から、図4(b)に示すように動きベクトル画像20を作成している。
【0015】
動きベクトル分解部13は、動きベクトル生成部12によって算出された動きベクトル画像20を上下左右の動き(複数方向の一例)のみを表す成分に分解する。この分解により動きベクトル画像20は4種類の独立した画像となる。図4(d)に、xプラス方向、xマイナス方向、yプラス方向、yマイナス方向に分解された画像21~24を示している。図4(c)はその前工程を示す画像で、x方向およびy方向に動きベクトル画像20を分解している。
【0016】
このようにして、一連のフレーム画像f(x,y,t)から以上の処理によってxプラス方向、xマイナス方向、yプラス方向、yマイナス方向に分解された画像21~24を作成し、これらのモーションヒストリーイメージを作成する。
モーションヒストリーイメージは、前述のBobick(非特許文献1)らによって提案されたもので、一つの画像に過去の画像を残して行く時系列画像の表現方法の一つであって、新しい画像ほど明るく、過去の画像ほど暗く表示され、以下の式(1)によって生成される。
【0017】
【数1】
JP0004929460B2_000002t.gif

【0018】
ここで、x、y、tはそれぞれ画像の座標値および時間を示し、D(x,y,t)は入力画像、τはどれだけの期間の過去の画像を残すかを決定するパラメータである。
これに対応する、τの期間に動きのあった領域を表現する2値画像モーションエナジーイメージ(MEI; Motion Energy Image)は式(2)で与えられる。
【0019】
本実施の形態においては、このモーションヒストリーイメージ法を用いて、動きベクトル分解部13で作成された4種類の画像21~24それぞれについて、重ね合わせ画像生成部14で4枚のモーションヒストリーイメージ(重ね合わせ画像)を生成する。これを式で示せば以下の通りとなる。
【0020】
【数2】
JP0004929460B2_000003t.gif

【0021】
ここでHτx+(x,y,t)、Hτx-(x,y,t)は左右の動きから生成されるMHI、Hτy+(x,y,t)、Hτy-(x,y,t)は上下の動きから生成されるMHIであり、thHは方向成分の閾値である。この閾値処理は、式(1)のMHIの2値入力画像D(x,y,t)を生成することに対応する。式(3)~(6)より生成されるMHIは、それぞれ上下左右の方向に発生した動きの履歴を表している。これらのMHIを動きの向きの情報を持つモーションヒストリーイメージ(DMHI; Directional Motion History Images)と称する。動きの向きに分解された成分からそれぞれ独立したDMHIを生成することで、従来のMHIでは動きの向きの変化によって上書きされて失われていた過去の動き情報を残すことができる。図5(c)にその例を示す。
【0022】
なお、図5(a)は「箱をつかんで持ち上げる」という動作のフレーム画像の一部であり、同図(b)はこれらのフレーム画像からMHIを生成したものの一部で、図5(a)は原画像、図5(b)は従来のMHI、図5(c)の4つの段の画像はそれぞれFx,Fx,FyおよびFyから生成したDMHIである。この動作は、最初人が箱をつかむ際に体を下にかがめ、箱をつかんだ後上体を上げるという動作であり、体をかがめた時点のフレームが図5(a)の2列目に、箱をつかんで上体を上げた時点のフレームが図5(a)の3列目に示されている。ここで従来のMHIを見ると2列目の時点で描かれている上体を下げるという動きの情報が、3列目の上体を上げるという動きの情報によって上書きされ、情報が失われていることがわかる。一方、同図(c)に示すDMHIを見ると、2列目での上体を下げるという動きは下方向の成分Hτy+に描かれ、3列目での上体を上げるという動きは上方向の成分Hτy-に描かれているため、上書きが回避され最初の下方向の動きの履歴が失われず残っていることがわかる。
以上の手法によって、動体の画像を複数枚のDMHIによって表現できる。
【0023】
特徴ベクトル抽出部15は、得られた重ね合わせ画像からフーモーメント(Hu moment)を用いて特徴ベクトル(特徴量)を抽出する。なお、Hu momentについては非特許文献2(M.Hu, "Visual pattern recognition by moment invariants,"IRE Transactions on Information Theory, Vol.8, No.2, pp.179-187,1962)に詳細に記載されているので、その理論については省略し、Hu momentに基づく動作認識手法をDMHIに拡張した動作認識手法を以下に示す。
まず、(3)~(6)式で示されるDMHIに対応する動きの情報を持つモーションエナジーイメージ(DMEI; Directional Motion Energy Images)を生成する。これは(2)式で示されるMEIの場合と同様に、式(2)によりDMHIを閾値0で2値化して得られる。得られたDMHIおよびDMEIの合計8つの特徴画像からそれぞれ7つのHu momentを求め、合計56個の特徴量を得る。
【0024】
また、DMHIは動きの向きを考慮しているため、動きの向きによって大きい動きが表れる成分と、あまり動きが表れない成分がある。図5の箱をつかんで持ち上げる動作の場合、上下方向のMHIは左右方向のMHIより大きな動きが表れていることがわかる。そこで、DMHI間の方向による動きの割合を考慮するために、各DMHIの0次モーメントを新たな特徴量として加える。各0次モーメントは4つのDMHIから得られる0次モーメントの合計で合計が1になるように正規化する。同様にDMEI間でも正規化された0次モーメントを求め、計8つの特徴量を求める。これとHu momentより得られた56個の特徴量を加え、合計64個の特徴量を成分とする64次元のベクトルを、その動作を表現する特徴ベクトルとする。
【0025】
Bobickら(非特許文献1)は、MHIおよびMEIから得られる特徴ベクトルを用いた認識手法として統計モデルに基づく手法を用いている。すなわち、学習データから特徴ベクトルを計算し平均と分散を求め、未知データとのマハラノビス距離を用いて最も近い動作を求めている。しかし、Hu momentは1つの画像を7次元のベクトルで表現するため、その表現に限りがある。そのため、複数の動作からHu momentに基づく特徴ベクトルを求め、特徴ベクトルから構成される多次元の特徴空間内での分布を考える場合、全ての動作が離れて分布するとは限らない。そのため平均と分散のみで分布を近似する認識法では誤認識が増える可能性がある。そこで、提案する手法では学習データのサンプルを全て記憶しておく全点探索に基づくk‐近傍法(k‐NN)を用いる。全点探索の手法は計算コストが大きいという欠点はあるが、複雑な分布を持つクラスタの認識に適している(非特許文献3:鳥脇純一郎,テレビジョン学会教科書シリーズ9 認識工学‐パターン認識とその応用‐,コロナ社,2002参照)。
【0026】
よって、動作認識処理の流れは以下のようになる。まず事前に認識したい動作データから重ね合わせ画像からなるテンプレート画像であるDMHIおよびDMEIを求め、特徴ベクトルを算出しデータベース内に特徴ベクトルと動作ラベルを対応させて記憶しておく。そして認識させたい未知の動作が得られた場合、これからDMHIとDMEIを求め特徴ベクトルを算出し、データベース内の特徴ベクトルとのユークリッド距離を求め最も近いk個のサンプルを抽出するパターンマッチングを行い、このサンプルに対応する動作ラベルの多数決により動作を認識する。この動作認識処理の概略を図6に示す。
【0027】
なお、前述した実施の形態で説明した動体の動作表示方法は、非特許文献1に記載された手法に基づくものであるが、式(3)~(6)に示すように閾値を要件とする。そこで、閾値が異なると解が異なるので、閾値のないDMHIについて説明する。
先の式(1)で説明したように、多値の入力画像から生成されるMHIは以下の式(7)で表される。
Hσ(x,y,t)=max(f(x,y,t),σHσ(x,y,t-1)) ・・・(7)
ここでf(x,y,t)はtフレーム目における入力画像、保存率σはτに対応するパラメータで0<σ<1の値を持ち、1に近いほど過去の画像が残り、0に近いほど過去の画像は早く消去される。この式より得られるMHIは0を最小値とした実数値画像である。
一方、DMHIの入力として用いられる方向成分は、オプティカルフローの垂直・水平成分を正負に分解した値の絶対値が入っているため、これも0を最小値とした実数値画像である。よって、式(7)はそのままDMHIの生成に用いることができる。
【0028】
以上で述べたHu momentに基づく動作認識手法は、Hu momentの表現に限界があり、特徴空間内で同じ動作から得られた特徴ベクトルのクラスタが動作ごとに集まって構成されるとは限らない。前記実施の形態では、この問題解決のためk‐NN法を用いたが、サンプル数が増加すると計算コストの面でこの方法は現実的ではない。そこで、MHIをバウンディングボックスで切り出し大きさの正規化を行った画像から特徴ベクトルを抽出することもできる。特徴ベクトルの抽出には固有空間法を適用した後、線形識別分析法(LDA; Linear Discriminant Analysis)を適用し、固有空間内で各動作のクラスタが最も分かれる最小次元の特徴量を抽出する。
【0029】
LDAは前述の非特許文献3に記載されているが、d次元の特徴ベクトルxで表現されるデータ群がc個のクラスに分類されているとき、特徴ベクトルを各クラス内の分散が小さく、かつ各クラス間の分散が最大となるような(c-1)次元の空間に線形写像する手法である。
まず、与えられているデータ群を用いて特徴ベクトルを低次元空間に写像する写像行列を求める。クラスωi(i=1,・・・,c)に属するデータの平均ベクトルおよびデータ数をベクトルxiおよびNiとし、クラスωiの共分散行列Σiを、式(8)と定義すると、クラス内変動行列Σwおよびクラス間変動行列ΣBは式(9)、式(10)より得られる。ここでベクトルxおよびNは全データの平均ベクトルおよびデータ数である。
【0030】
【数3】
JP0004929460B2_000004t.gif

【0031】
ΣwおよびΣBより、ΣBei=λiΣweiとなる固有方程式を解き、得られた固有値のうち大きいものから(c-1)番目までの固有値に対応する固有ベクトルより写像行列PLDA=[e1e2・・・ec-1]が求まる。
認識は、未知データがどのクラスに属するかの判定を写像行列により写像された空間内で行う。本発明では、変換後の空間での各クラスの平均ベクトルと共分散行列を用いてそのクラスを表現し、未知データの写像点とのマハラノビス距離が最も近いクラスが未知データの属するクラスであるという判定を行う。なお、認識実験の前にLDAによる写像行列および平均ベクトル、共分散行列をあらかじめ算出する作業を「学習」と呼ぶこととする。
【0032】
本発明ではクラスは動作の種類とし、特徴ベクトルとして大きさを正規化したDMHIを用いる。DMHIは4つの成分を持つ2次元画像であるので、ラスタスキャンにより4つの画像データを1つのベクトルとして繋げる。したがって、1つのMHIの総画素数がPであれば、DMHIから生成される画像ベクトルの次元は4Pとなる。なお、LDAを適用する場合、学習データの次元数が全データ数からクラス数を引いた値以下であることを満たす必要があるため、本発明方法ではLDAの前処理として主成分分析(PCA; Principal Component Analysis)を学習データに適用する。この画像ベクトルに対しまずPCAを行い、PCAにより無意味な情報を削減したベクトルに対しLDAを適用する。なお、PCAにより得られる写像行列とLDAにより得られる写像行列の乗算により、画像ベクトルからLDAにより得られる特徴空間へ直接写像することができる。
【実施例】
【0033】
続いて、本発明の作用効果を確認するために行った実施例について説明する。
[実施例1]
図7に示すように、対象者の向いている方向を中心に取り囲むように配置された4台のカメラを用いて、11人の5種類の動作を撮影した。動作は「箱をつかんで持ち上げる」、「小さなものを拾う」、「うずくまる」、「その場で歩く」、そして「倒れる」である。動作の例を図8に示す。
この実験では、動作1つを1つの動画ファイルとして切り出し、その動画ファイルの最終フレーム時点で得られるMHIおよびDMHIを認識に用いた。MHIおよびDMHIに残す履歴の長さを決定するパラメータτはファイルのフレーム数と同じとした。
【0034】
実験の学習にはLeave-one-out法を用いた。一人分のデータをテスト用に取り出し、残りのデータを用いて学習を行った。学習時サンプルをデータベースに登録する際にはカメラの向きに関係なく動作ラベルのみを登録した。
パラメータの設定は以下の通りである。MHIの入力画像を生成するためのフレーム間差分画像の閾値は40、DMHIの閾値thHは1.0、認識のためのk‐NNはk=3とした。実験結果より得られた認識率を表1に示す。表1(a)がMHI(従来例)の結果、(b)がDMHI(本発明)の結果である。
【0035】
【表1】
JP0004929460B2_000005t.gif

【0036】
また、LDAに基づく認識手法をこの実験で生成されたMHIおよびDMHIに適用した場合の結果を表2に示す。同様に、(a)がMHIの結果、(b)がDMHIの結果である。LDAの前処理に用いた固有空間法は累積寄与率が90%となる最小の次元を用いた。また、LDAを適用する領域の切り出しには対象者の追跡は行わず、MHIの場合MEIをラベリングし最大面積となった領域を、DMHIの場合はDMEIの論理OR画像をラベリングし最大面積となった領域を32×32[pixel]に正規化したものを用いた。
この実験で得られたMHIおよびDMHIの例を図9に示す。
【0037】
【表2】
JP0004929460B2_000006t.gif

【0038】
[実施例2]
実験は9人の6種類の動作を用いた。結果の比較のため、次の4種類の手法で実験を行った。
1.フレーム間差分の2値画像を入力とする式(1)で生成されるMHI(従来技術)に先に述べたLDAに基づく認識を用いる手法
2.フレーム間差分を入力とする式(7)で生成されるMHIにLDAに基づく認識を用いる手法
3.オプティカルフローの方向成分の2値画像を入力とする式(3)~式(6)で生成されるDMHIにLDAに基づく認識を用いる手法(本発明)
4.オプティカルフローの方向成分を入力とする式(7)で生成されるDMHIにLDAに基づく認識を用いる手法(本発明)
【0039】
これらの手法を実装したのは、式(7)から生成される閾値の必要ないMHIおよびDMHIと、2値画像から生成されるMHIおよびDMHIとの比較による性能評価、および従来のMHIとの比較によるDMHIの性能評価のためである。
パラメータの設定は以下の通りである。2値画像を入力とするMHIの生成のためのフレーム間差分の閾値は20、DMHI生成のための方向成分の閾値は1.0とした。LDAの前処理に用いたPCAは累積寄与率が90%となる最小の次元を用いた。なお、式(7)からDMHIを生成する手法では、ノイズ除去のため、動きベクトルを方向成分に分割後、各成分の値がある閾値以上であった場合はその閾値に置き換えその値を抑制した。この実験では方向成分が3.0以上だった場合とした。
この実験でも認識結果を算出する際に複数の異なるパラメータで生成されたMHIの多数決を行っている。今回は3つのMHIの多数決を行った。MHIのパラメータは、2値画像から生成されるMHIで25、30、35、多値のMHIで0.95、0.92、0.89とした。
【0040】
実験結果を表3に示す。表3(a)は式(1)より生成されたMHIによる結果、(b)は式(7)より生成されたMHIによる結果、(c)は式(3)~式(6)より生成されたDMHIの結果、そして(d)は式(7)より生成されたDMHIの結果である。
【0041】
【表3】
JP0004929460B2_000007t.gif

【図面の簡単な説明】
【0042】
【図1】本発明の一実施の形態に係る動体の動作認識方法を適用した動作認識装置の構成図である。
【図2】フレーム画像の説明図(写真を含む)である。
【図3】差分画像の説明図である。
【図4】本発明の一実施の形態に係る動体の動作表示方法の説明用写真である。
【図5】同方法の説明用写真である。
【図6】フーモメント処理の説明図である。
【図7】実施例の状況を示すカメラ配置図である。
【図8】動体(人物)の各動作を示す写真である。
【図9】実施例で用いた各動作から生成されるMHIとDMHIの例を示す写真である。
【符号の説明】
【0043】
10:動画認識装置、11:映像入力部、12:動きベクトル生成部、13:動きベクトル分解部、14:重ね合わせ画像生成部、15:特徴ベクトル抽出部、16:動画認識部、18、19:フレーム画像、20:動きベクトル画像、21~24:画像
Drawing
(In Japanese)【図1】
0
(In Japanese)【図6】
1
(In Japanese)【図7】
2
(In Japanese)【図2】
3
(In Japanese)【図3】
4
(In Japanese)【図4】
5
(In Japanese)【図5】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8