TOP > 国内特許検索 > 歩容解析装置 > 明細書

明細書 :歩容解析装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2018-026018 (P2018-026018A)
公開日 平成30年2月15日(2018.2.15)
発明の名称または考案の名称 歩容解析装置
国際特許分類 G06T   7/20        (2017.01)
H04N   7/18        (2006.01)
FI G06T 7/20 300
H04N 7/18 D
H04N 7/18 U
請求項の数または発明の数 9
出願形態 OL
全頁数 15
出願番号 特願2016-158232 (P2016-158232)
出願日 平成28年8月10日(2016.8.10)
発明者または考案者 【氏名】中島 重義
出願人 【識別番号】506122327
【氏名又は名称】公立大学法人大阪市立大学
個別代理人の代理人 【識別番号】100124039、【弁理士】、【氏名又は名称】立花 顕治
【識別番号】100156845、【弁理士】、【氏名又は名称】山田 威一郎
【識別番号】100179213、【弁理士】、【氏名又は名称】山下 未知子
【識別番号】100170542、【弁理士】、【氏名又は名称】桝田 剛
【識別番号】100195305、【弁理士】、【氏名又は名称】本田 恵
審査請求 未請求
テーマコード 5C054
5L096
Fターム 5C054CC02
5C054EA05
5C054FC12
5C054FC14
5C054HA19
5L096BA02
5L096EA15
5L096EA43
5L096FA06
5L096FA23
5L096FA32
5L096FA60
5L096GA02
5L096GA08
5L096HA03
要約 【課題】人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる歩容解析装置を提供する。
【解決手段】人物の歩容を解析する歩容解析装置が提供される。歩容解析装置は、GEI作成部と、微分画像作成部と、移動量算出部と、特徴量算出部とを備える。GEI作成部は、歩容を捉えた第1動画に含まれる複数の第1フレームを、人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成する。微分画像作成部は、第1GEIを微分した第1微分画像を作成する。移動量算出部は、第1微分画像と各第1フレーム上の人物に対応する領域の輪郭とをマッチングし、マッチングによる第1微分画像に対する各第1フレームの移動量である第1移動量を算出する。特徴量算出部は、第1移動量に基づいて、歩容の特徴量である第1特徴量を算出する。
【選択図】図6
特許請求の範囲 【請求項1】
人物の歩容を解析する歩容解析装置であって、
前記歩容を捉えた第1動画に含まれる複数の第1フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成するGEI作成部と、
前記第1GEIを微分した第1微分画像を作成する微分画像作成部と、
前記第1微分画像と前記各第1フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第1微分画像に対する前記各第1フレームの移動量である第1移動量を算出する移動量算出部と、
前記第1移動量に基づいて、前記歩容の特徴量である第1特徴量を算出する特徴量算出部と
を備える、歩容解析装置。
【請求項2】
前記GEI作成部は、前記人物に対応する領域の重心どうしが重なるように、前記複数の第1フレームを重ね合わせる、
請求項1に記載の歩容解析装置。
【請求項3】
前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる、
請求項1又は2のいずれかに記載の歩容解析装置。
【請求項4】
前記スペクトル指標は、前記歩容の1回のストロークに対応する周波数の7倍以下の周波数帯での前記スペクトルの特徴を表す指標である、
請求項3に記載の歩容解析装置。
【請求項5】
前記スペクトルは、前記歩容の3回以下のストロークに対応する前記移動量の時系列データを周波数解析したスペクトルである、
請求項3又は4に記載の歩容解析装置。
【請求項6】
前記移動量には、前記人物の上下方向の移動量が含まれる、
請求項1から5のいずれかに記載の歩容解析装置。
【請求項7】
前記GEI作成部は、前記歩容を捉えた第2動画に含まれる複数の第2フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第2GEIをさらに作成し、
前記微分画像作成部は、前記第2GEIを微分した第2微分画像をさらに作成し、
前記移動量算出部は、前記第2微分画像と前記各第2フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第2微分画像に対する前記各第2フレームの前記移動量である第2移動量を算出し、
前記特徴量算出部は、前記第2移動量に基づいて、前記歩容の特徴を表す前記特徴量である第2特徴量をさらに算出し、
前記第1特徴量と前記第2特徴量とを比較することにより、前記第1動画に捉えられた前記人物と前記第2動画に捉えられた前記人物とが同一人物であるか否かを判定する判定部
をさらに備える、
請求項1から6のいずれかに記載の歩容解析装置。
【請求項8】
人物の歩容を解析する歩容解析プログラムであって、
前記歩容を捉えた第1動画に含まれる複数の第1フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成するステップと、
前記第1GEIを微分した第1微分画像を作成するステップと、
前記第1微分画像と前記各第1フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第1微分画像に対する前記各第1フレームの移動量である第1移動量を算出するステップと、
前記第1移動量に基づいて、前記歩容の特徴量である第1特徴量を算出するステップと、
をコンピュータに実行させる、歩容解析プログラム。
【請求項9】
人物の歩容を解析する歩容解析方法であって、
前記歩容を捉えた第1動画に含まれる複数の第1フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成するステップと、
前記第1GEIを微分した第1微分画像を作成するステップと、
前記第1微分画像と前記各第1フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第1微分画像に対する前記各第1フレームの移動量である第1移動量を算出するステップと、
前記第1移動量に基づいて、前記歩容の特徴量である第1特徴量を算出するステップと、
を含む、歩容解析方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人物の歩容を捉えた動画に基づいて、人物の歩容を解析する歩容解析装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年、GEIと呼ばれる歩容エネルギー画像に基づいて、人物の歩く様子、すなわち歩容を解析する様々な技術が提案されている(例えば、非特許文献1等参照)。GEIとは、人物の歩容を捉えた動画に含まれる複数のフレームを、人物に対応する領域(人物領域)どうしが重なるように重ね合わせた画像であり、人が歩くときの歩容のエネルギーの分散を表す画像である。図4は、GEIの一例であり、図1のような歩行中の人物のシルエットが抽出されたシルエット画像を重ね合わせて作成したものである。そして、このような歩容のエネルギーの分散は、人によって異なる。そのため、2枚のGEIの相関係数が高ければ、歩容が似ており、両画像に写る人物は同一人物であると判定することができ、反対に、相関係数が低ければ、別人物であると判定することができる。かかる判定手法は、従来、GEIに基づく人物の同定を行う場面でしばしば用いられてきた。
【先行技術文献】
【0003】

【非特許文献1】東山侑真、他3名,「様々な歩行状況下における歩容認証手法の性能評価」,情報処理学会,研究報告コンピュータビジョンとイメージメディア(CVIM),2013-CVIM-187巻,10号,1-8頁,2013年5月23日
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の判定手法には問題がある。図2及び図3は、図1の部分拡大図であるが、これらの図に示されるように、しばしば人物の背景化と、背景の人物化が起こる。例えば、図2の例では、人物の胸辺りの服の色が背景の色と似ているため、当該服の部分は人物領域として抽出されることなく、人物領域から抜けてしまっている。これが人物の背景化である。また、図3の例では、人物領域に人物の陰が入り込んでしまっている。これが背景の人物化である。
【0005】
人物の背景化及び背景の人物化によるシルエット画像上での人物領域の誤認識は、シルエット画像を重ね合わせて作成されるGEIにも反映される。従って、2枚のGEIの相関係数を比較して人物の同定を行おうとしたとき、人物の背景化及び背景の人物化が起きていると、同一人物であるにも関わらず相関係数が低くなり、誤判定が生じ得る。
【0006】
本発明は、人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる歩容解析装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
第1観点に係る歩容解析装置は、人物の歩容を解析する歩容解析装置であって、GEI作成部と、微分画像作成部と、移動量算出部と、特徴量算出部とを備える。前記GEI作成部は、前記歩容を捉えた第1動画に含まれる複数の第1フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成する。前記微分画像作成部は、前記第1GEIを微分した第1微分画像を作成する。前記移動量算出部は、前記第1微分画像と前記各第1フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第1微分画像に対する前記各第1フレームの移動量である第1移動量を算出する。前記特徴量算出部は、前記第1移動量に基づいて、前記歩容の特徴量である第1特徴量を算出する。
【0008】
第2観点に係る歩容解析装置は、第1観点に係る歩容解析装置であって、前記GEI作成部は、前記人物に対応する領域の重心どうしが重なるように、前記複数の第1フレームを重ね合わせる。
【0009】
第3観点に係る歩容解析装置は、第1観点又は第2観点のいずれかに係る歩容解析装置であって、前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる。
【0010】
第4観点に係る歩容解析装置は、第3観点に係る歩容解析装置であって、前記スペクトル指標は、前記歩容の1回のストロークに対応する周波数の7倍以下の周波数帯での前記スペクトルの特徴を表す指標である。
【0011】
第5観点に係る歩容解析装置は、第3観点又は第4観点に係る歩容解析装置であって、前記スペクトルは、前記歩容の3回以下のストロークに対応する前記移動量の時系列データを周波数解析したスペクトルである。
【0012】
第6観点に係る歩容解析装置は、第1観点から第5観点のいずれかに係る歩容解析装置であって、前記移動量には、前記人物の上下方向の移動量が含まれる。
【0013】
第7観点に係る歩容解析装置は、第1観点から第6観点のいずれかに係る歩容解析装置であって、判定部をさらに備える。前記GEI作成部は、前記歩容を捉えた第2動画に含まれる複数の第2フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第2GEIをさらに作成する。前記微分画像作成部は、前記第2GEIを微分した第2微分画像をさらに作成する。前記移動量算出部は、前記第2微分画像と前記各第2フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第2微分画像に対する前記各第2フレームの前記移動量である第2移動量を算出する。前記特徴量算出部は、前記第2移動量に基づいて、前記歩容の特徴を表す前記特徴量である第2特徴量をさらに算出する。前記判定部は、前記第1特徴量と前記第2特徴量とを比較することにより、前記第1動画に捉えられた前記人物と前記第2動画に捉えられた前記人物とが同一人物であるか否かを判定する。
【0014】
第8観点に係る歩容解析プログラムは、人物の歩容を解析する歩容解析プログラムであって、以下のステップ(1)~(4)をコンピュータに実行させる。
(1)前記歩容を捉えた第1動画に含まれる複数の第1フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成するステップ。
(2)前記第1GEIを微分した第1微分画像を作成するステップ。
(3)前記第1微分画像と前記各第1フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第1微分画像に対する前記各第1フレームの移動量である第1移動量を算出するステップ。
(4)前記第1移動量に基づいて、前記歩容の特徴量である第1特徴量を算出するステップ。
【0015】
第9観点に係る歩容解析プログラムは、人物の歩容を解析する歩容解析方法であって、以下のステップ(1)~(4)を含む。
(1)前記歩容を捉えた第1動画に含まれる複数の第1フレームを、前記人物に対応する領域どうしが重なるように重ね合わせることにより、第1GEI(歩容エネルギー画像)を作成するステップ。
(2)前記第1GEIを微分した第1微分画像を作成するステップ。
(3)前記第1微分画像と前記各第1フレーム上の前記人物に対応する領域の輪郭とをマッチングし、前記マッチングによる前記第1微分画像に対する前記各第1フレームの移動量である第1移動量を算出するステップ。
(4)前記第1移動量に基づいて、前記歩容の特徴量である第1特徴量を算出するステップ。
【発明の効果】
【0016】
本発明では、人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる。
【図面の簡単な説明】
【0017】
【図1】人物領域を表す二値フレーム(シルエット画像)を示す図。
【図2】図1の人物の胸辺りの部分拡大図。
【図3】図1の人物の足元の部分拡大図。
【図4】GEIを示す図。
【図5】歩容解析装置の構成を示すブロック図。
【図6】歩容解析処理の流れを示すフローチャート。
【図7】GEIを微分した微分画像を示す図。
【図8】二値フレームの輪郭を抽出した輪郭フレームを示す図。
【図9】移動量の上下方向の成分の波形を示すグラフ。
【図10】移動量の前後方向の成分の波形を示すグラフ。
【図11】移動量の時系列データのスペクトルを示すグラフ。
【図12】実施例に係る歩容解析処理の受信者操作特性を示す図。
【発明を実施するための形態】
【0018】
以下、図面を参照しつつ、本発明の一実施形態に係る歩容解析装置について説明する。
<1.歩容解析装置の構成>
図5に、本実施形態に係る歩容解析装置1を含む歩容解析システム100の全体構成を示す。歩容解析装置1は、人物P1,P2の歩容を捉えた動画M1,M2に基づいて、歩容を解析する装置である。本実施形態に係る歩容解析装置1は、動画M1に写る人物P1の歩容の特徴量C1と、動画M2に写る人物P2の歩容の特徴量C2とを算出し、これらの特徴量C1,C2を比較することにより、人物P1,P2が同一人物であるか否かを判定する。動画M1,M2は、それぞれ異なる位置に設置されたカメラ21,22により撮影され、歩容解析装置1は、カメラ21,22とともに、歩容解析システム100を構成する。動画M1,M2は、インターネット、LAN、専用のケーブル等のネットワーク6経由で、カメラ21,22から歩容解析装置1に送信される。なお、歩容解析装置1とカメラ21,22とは、常時接続されていてもよいし、動画M1,M2の受け渡し時のみ接続されてもよい。

【0019】
歩容解析装置1は、ハードウェアとしては、汎用のコンピュータである。歩容解析装置1には、CD-ROM、USBメモリ等のコンピュータで読み取り可能な記録媒体5から、又はネットワーク6を介して別のコンピュータから歩容解析プログラム2がインストールされている。歩容解析プログラム2は、本発明の一実施形態に係る歩容解析プログラムであり、カメラ21,22から取得される動画M1,M2に基づいて、人物P1,P2の歩容を解析する機能を有するアプリケーションソフトウェアである。歩容解析プログラム2は、歩容解析装置1に後述するステップを実行させる。

【0020】
図5に示すとおり、歩容解析装置1は、表示部10、入力部20、記憶部30、制御部40及び通信部50を有する。これらの部10~50は、互いにバス線7で接続されている。表示部10は、液晶ディスプレイ等で構成されており、適当な画面をユーザに対し表示する。また、入力部20は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、歩容解析装置1に対するユーザからの操作を受け付ける。通信部50は、歩容解析装置1をネットワーク6に接続し、ネットワーク6上に存在するカメラ21,22等の外部装置との間でデータ通信を行う通信インターフェースである。記憶部30は、ハードディスク、フラッシュメモリ等の不揮発性の記憶装置から構成されており、記憶部30内には、歩容解析プログラム2が格納されている。

【0021】
制御部40は、CPU、ROM及びRAM等から構成されており、記憶部30内に格納されている歩容解析プログラム2を読み出して実行することにより、仮想的に動画取得部41、GEI作成部42、微分画像作成部43、移動量算出部44、特徴量算出部45、判定部46及び表示制御部47として動作する。各部41~47の動作については、後述する。

【0022】
<2.歩容解析処理の流れ>
以下、図6を参照しつつ、歩容解析装置1により実行される歩容解析処理について説明する。まず、動画取得部41が、通信部50を介してネットワーク6経由で、カメラ21,22からそれぞれ動画M1,M2を取得する(ステップS1)。動画M1には、人物P1の歩容が捉えられており、動画M2には、人物P2の歩容が捉えられている。

【0023】
続くステップS2では、GEI作成部42が、動画M1,M2からそれぞれGEI(歩容エネルギー画像)71,72を作成する。具体的には、GEI作成部42は、動画M1に含まれる複数のフレームF11,F12,・・・の平均画像を作成し、これを背景画像H1とする。平均画像とは、画素毎に、フレームF11,F12,・・・の画素値を平均した画像である。続いて、GEI作成部42は、各フレームF11,F12,・・・から背景画像H1を減算し、差分フレームI11,I12,・・・を作成する。差分フレームI11,I12,・・・は、それぞれ、画素毎に、フレームF11,F12,・・・の画素値から背景画像H1の画素値を減算した画像である。さらに、GEI作成部42は、各差分フレームI11,I12,・・・を二値化し、図1に示すような二値フレームK11,K12,・・・を作成する。二値化とは、所定の閾値以上の画素値を有する画素に画素値「1(白)」を与え、それ以外の画素に画素値「0(黒)」を与える処理である。二値フレームK11,K12,・・・上では、人物P1に対応する領域が「白」で表され、背景に対応する領域が「黒」で表される。すなわち、二値フレームK11,K12,・・・は、人物P1のシルエットを表すシルエット画像である。

【0024】
続いて、GEI作成部42は、以上の二値フレームK11,K12,・・・を、人物に対応する領域(人物領域)どうしが重なるように重ね合わせることにより、GEI71を作成する。本実施形態では、GEI作成部42は、二値フレームK11,K12,・・・にそれぞれ写る人物領域の重心G11,G12,・・・を計算し、これらの重心G11,G12,・・・どうしが重なるように二値フレームK11,K12,・・・を位置合わせする。GEI71とは、図4に示すような画像であり、画素毎に、位置合わせされた二値フレームK11,K12,・・・の画素値を平均した画像である。なお、二値フレームK11,K12,・・・の位置合わせの方法は、これに限られず、人物領域が適切に重なる限り、任意の方法を採用することができる。例えば、ICP(Iterative Closest Point)と呼ばれる位置合わせのアルゴリズムを用いることもできる。また、例えば、2枚の二値フレームどうしの相対位置を変化させながら両フレームの積和を計算し、当該積和が最大となるような相対位置で両フレームを重ね合わせることもできる。

【0025】
GEI作成部42は、同様の方法で、動画M2に含まれる複数のフレームF21,F22,・・・に基づいて、順次、背景画像H2、差分フレームI21,I22,・・・、二値フレームK21,K22,・・・、重心G21,G22,・・・を導出し、GEI72を作成する。

【0026】
ところで、人物が歩くときには、手足が前後及び鉛直上下に概ね周期的に移動する。そのため、図4に示すように、GEI上では、常時動いている手足に対応する領域は薄くなる。また、頭や上半身に対応する領域も、歩行中前後に揺れるため、薄くなる。これに対し、身体の重心に近く、ほぼ等速運動をしている腰の辺りに対応する領域は、色が濃くなる。さらに、前方斜め下に蹴り出した太ももに対応する領域も、余り動かないため、色が濃くなる。

【0027】
続くステップS3では、微分画像作成部43が、GEI71,72を微分し、それぞれ微分画像J1,J2を作成する。ここでいう微分とは、画素毎に、当該画素と当該画素に隣接する画素との間の画素値の変化量を求める処理である。本実施形態では、PREWITTフィルタを用いた1次微分が行われる。すなわち、画素毎に、画像の上下及び左右の両方向の画素値の変化量を算出し、当該上下及び左右の変化量の二乗和のルートが新たな画素値とされる。

【0028】
図7は、GEI71の微分画像J1を示している。同図から分かるように、微分画像J1上では、人物領域の輪郭が現れ、GEI71上で濃く現れた部分は、当該輪郭上でも濃く現れ、GEI71上で薄く現れた部分は、当該輪郭上でも薄く現れる傾向にある。すなわち、GEIを微分した微分画像上では、人物領域の輪郭が、身体の歩行中に余り動かない部分、典型的には、腰の辺り及び前方斜め下に蹴り出した太ももと重なる部分において濃く現れる。つまり、GEI上において、身体の歩行中に余り動かない部分に対応する領域と背景領域との境界では、白と黒のコントラストが大きくなるため、微分画像上では、このような境界に対応する輪郭上の画素値(微分成分)が大きくなる。一方、微分画像上では、人物領域の輪郭のうち、身体の歩行中によく動く部分と重なる部分においては薄く現れる。

【0029】
続くステップS4では、移動量算出部44は、微分画像J1と各二値フレームK11,K12,・・・とを人物領域の輪郭に基づいてマッチングし、このマッチングによる微分画像J1に対する各二値フレームK11,K12,・・・の移動量d11,d12,・・・を算出する。具体的には、まず、移動量算出部44は、各二値フレームK11,K12,・・・に対しエッジ検出を行い、人物領域の輪郭が現れる輪郭フレームL11,L12,・・・(図8参照)を作成する。次に、移動量算出部44は、微分画像J1と各輪郭フレームL11,L12,・・・とを、両画像に現れる輪郭どうしが重なるようにマッチングする。そして、このマッチングの結果に従って、各二値フレームK11,K12,・・・を微分画像J1に対し位置合わせしたときの、各二値フレームK11,K12,・・・の移動量d11,d12,・・・を算出する。このとき、移動量d11,d12,・・・は、微分画像J1上において、GEI71の作成時にステップS2で重心G11,G12,・・・を重ね合わせた位置G1からの、微分画像J1に対する位置合わせ後の二値フレームK11,K12,・・・上の重心G11,G12,・・・の位置の移動量として算出することができる(図7参照)。本実施形態では、移動量d11,d12,・・・は、2次元ベクトルであり、上下(概ね鉛直上下に一致する)方向の移動量と、左右(概ね水平に一致する)方向の移動量との2つの値を要素とする。

【0030】
本実施形態では、微分画像J1と各二値フレームK11,K12,・・・とのマッチングは、微分画像J1と輪郭フレームL11,L12,・・・との相対位置を変化させながら両画像の積和を計算し、当該積和が最大となるような両画像の相対位置を検出することにより行われる。なお、このときの相対位置が、移動量d11,d12,・・・である。また、微分画像J1と各二値フレームK11,K12,・・・とのマッチングの方法は、これに限られず、人物領域の輪郭どうしが重なる限り、任意の方法を採用することができる。

【0031】
移動量d11,d12,・・・は、この順番に、動画M1のフレームレートに対応する時間間隔で並ぶ時系列データを構成している。図9は、2回のストローク分の時間に対応する移動量d11,d12,・・・の上下方向の成分の波形を表しており、図10は、2回のストローク分の時間に対応する移動量d11,d12,・・・の前後方向の成分の波形を表している。このように移動量d11,d12,・・・の特に上下方向の成分は、ステップ毎に山を形成し、ストローク毎に周期的な波形を構成することが分かる。なお、1回のストロークとは、右足を前に出す1回のステップと、続いて左足を前に出す1回のステップとからなる。

【0032】
移動量算出部44は、同様の方法で、微分画像J2と各二値フレームK21,K22,・・・とに基づいて、輪郭フレームL21,L22,・・・を算出し、移動量d21,d22,・・・を算出する。すなわち、微分画像J2と各二値フレームK21,K22,・・・とを人物領域の輪郭に基づいてマッチングし、このマッチングによる微分画像J2に対する各二値フレームK21,K22,・・・の移動量d21,d22,・・・を算出する。

【0033】
微分画像J1,J2上では、上記のとおり、歩行中に余り動かない部分が濃く現れる。従って、このような微分画像J1,J2に対して各輪郭フレームL11,L12,・・・及びL21,L22,・・・がマッチングされることにより、ステップS4では、人物領域のうち、歩行中に余り動かない部分どうしが優先的に重なるように位置合わせされる。また、微分画像J1,J2と輪郭フレームL11,L12,・・・及びL21,L22,・・・とを両画像の積和が最大化されるようにマッチングするということは、歩行中に余り動かない部分の輪郭どうしが強く重なるように位置合わせされるということである。従って、この位置合わせ時に微分画像J1,J2を基準として算出される移動量d11,d12,・・・及びd21,d22,・・・の動きは、人物P1,P2の歩容のリズムを適切に表すことができる。

【0034】
続くステップS5では、特徴量算出部45は、上述した移動量d11,d12,・・・に基づいて、人物P1の歩容の特徴量C1を算出する。本実施形態では、特徴量C1として、移動量d11,d12,・・・の時系列データを周波数解析したスペクトルの特徴を表すスペクトル指標vr,vi,wr,wiが算出される。より具体的には、特徴量算出部45は、移動量d11,d12,・・・に含まれる上下方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標vr,viとする。周波数解析の対象となるデータは、移動量d11,d12,・・・の上下方向の成分の1回のストロークに対応する時系列データである。また、基本周波数の1倍、2倍、3倍、4倍、5倍及び6倍の周波数でのvr,viが算出される。基本周波数は、1回のストロークに対応する周波数、すなわち、1回のストロークに要する時間(周期)の逆数である。

【0035】
また、特徴量算出部45は、移動量d11,d12,・・・に含まれる前後方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標wr,wiとする。周波数解析の対象となるデータは、上下方向の成分の場合と同じく、移動量d11,d12,・・・の前後方向の成分の1回のストロークに対応する時系列データである。また、上下方向の成分の場合と同じく、基本周波数の1倍、2倍、3倍、4倍、5倍及び6倍の周波数でのwr,wiが算出される。

【0036】
さらに、特徴量算出部45は、同様の方法で、移動量d21,d22,・・・に基づいて、人物P2の歩容の特徴量C2となるスペクトル指標vr,vi,wr,wiを算出する。

【0037】
図11は、ある特定の人物について、上記のとおり定義されるスペクトル指標vr,vi,wr,wiを実際に算出した結果を表している。本実施形態では、上記のとおり、1回のストロークに対応する移動量の時系列データに基づいて、基本周波数の1倍~6倍の整数倍の周波数でのvr,vi,wr,wiが算出される。しかしながら、勿論、ここでの例に限定されず、1回のストロークよりも長い移動量の時系列データを周波数解析してもよいし、基本周波数の6倍よりも大きい周波数帯でのスペクトル指標を算出してもよい。ただし、1回のストローク分の移動量の時系列データからでも、十分な精度を達成することができる。その意味では、3回以下のストロークに対応する移動量の時系列データを周波数解析することが好ましい。また、本発明者が検証したところ、基本周波数の6倍を超える周波数帯のスペクトル指標を用いて解析を行うと、移動量の時系列データに含まれる高周波成分のノイズが影響し、誤差が大きくなる。その意味では、基本周波数の7倍以下の周波数帯でのスペクトル指標を算出することが好ましく、6倍以下の周波数帯であればより好ましい。また、スペクトルの特徴を表すスペクトル指標も、vr,vi,wr,wiに限られず、適宜設定することができる。

【0038】
続くステップS6では、判定部46が、人物P1の歩容の特徴量C1と、人物P2の歩容の特徴量C2とを比較するべく、特徴量C1,C2の差分を算出する。本実施形態では、特徴量C1,C2を構成する4つのスペクトル指標vr,vi,wr,wiは、各々、6つの周波数に対応する6つの値からなる6次元ベクトルであるため、特徴量C1,C2は、各々、6×4=24次元のベクトルである。判定部46は、これら24個の要素について、各要素どうしの差の二乗の平均(分散)を算出し、特徴量C1,C2の差分を表す差分値とする。

【0039】
続くステップS7では、判定部46は、ステップS6の差分値を予め設定されている閾値と比較する。そして、差分値が閾値以下であれば、人物P1と人物P2とを同一人物であると判定し、差分値が閾値よりも大きければ、人物P1と人物P2とを別人物であると判定する。

【0040】
以上の判定が終わると、表示制御部47は、以上の判定結果を示す画面を作成し、表示部10上に表示させる。以上により、歩容解析処理は終了する。

【0041】
<3.用途>
上記実施形態に係る歩容解析装置1は、例えば、近年、空港や商業施設等の至るところに設置されている監視カメラに捉えられた人物の動画から、人の動きの流れ(動線)を発見するために用いることができる。特に、テロ対策への応用も期待される。

【0042】
<4.特徴>
上記実施形態では、GEIの微分画像が作成され、微分画像と、動画に含まれる各フレーム上の人物領域の輪郭とがマッチングにより位置合わせされる。そして、この位置合わせ時の微分画像に対する各フレームの移動量が算出され、当該移動量に基づいて人物の歩容の特徴量が算出される。ところで、微分画像上には、人物領域の輪郭が現れ、このうち、歩行中に余り動かない部分、典型的には腰付近に対応する部分が濃く現れる。従って、このような微分画像に対して各フレーム上の人物領域の輪郭がマッチングされることにより、歩行中に余り動かない部分どうしが優先的に重なるように位置合わせされる。そのため、微分画像を基準として算出される各フレームの移動量の動きは、人物に固有の歩容のリズムを適切に表すものとなる。その結果、このような移動量に基づいて算出される特徴量により、人物に固有の歩容のリズムを評価することができ、精度よく人物の歩容を解析することができる。

【0043】
また、人物の背景化及び背景の人物化が起こった場合、GEIは大きく変化し得るが、上記移動量は余り変化しない。すなわち、GEIの微分画像と、各フレーム上に現れる輪郭とは、人物の歩行中に余り動かない部分に重点を置いてマッチングされるため、足元の陰が人物化していたとしても、人物の服が背景化していたとしても、微分画像に対する各フレームの移動量は、人物の背景化及び背景の人物化の影響を余り受けない。従って、上記特徴量を用いることにより、人物の背景化及び背景の人物化の影響を低減し、精度よく人物の歩容を解析することができる。

【0044】
<5.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。

【0045】
<5-1>
上記実施形態に係る歩容解析処理は、異なる場所で撮影された異なる動画に写る複数の人物が同一人物であるか否かを判定するのに用いられた。かかる構成では、例えば、異なるA地点及びB地点にそれぞれカメラを配置し、A地点及びB地点でカメラに捉えられた人物が同一人物か否かを判定することにより、ある人物がA地点からB地点に移動したか否かの判定を行うことができる。

【0046】
しかしながら、本発明に係る歩容解析処理の用途は、これに限定されない。例えば、ある動画の異なる時間に写る人物どうしが同一人物であるか否かを判定するのにも使用することができる。この場合、1台のカメラで撮影された動画の異なるシーンを切り出し、これらのシーンに写る人物どうしが同一人物であるか否かを判定することができる。

【0047】
別の例を挙げると、個人の歩容の特徴量のデータを予め記録しておき、当該記録されているデータと、カメラにより撮影された動画に含まれる人物の歩容の特徴量のデータとを比較し、これらが一致するか否かで同一人物か否かを判定することができる。

【0048】
さらに、同一人物の同定に限らず、正常な人の歩容と怪我をした人の歩容とを比較し、怪我をした人の回復の程度を評価するのにも使用することができる。

【0049】
<5-2>
上記実施形態では、GEIが、動画に含まれる各フレーム上の人物領域の重心を重ね合わせることにより作成されたが、GEIは、他の方法によっても作成することができる。例えば、人物の頭の頂点に対応する点や、腰の位置等、重心以外の特定の点を重ね合わせることによっても算出することもできる。
【実施例】
【0050】
上記実施形態に係る歩容解析処理と同じ方法で、同一人物の判定を行った。このとき用いた動画は、ミュンヘン工科大学が公開している“tumiitgait”データベースから取得した。また、同一人物の別時間の1ストロークの動画データを20対用意し、別人物の1ストロークの動画データを20対用意した。そして、ステップS7で用いられる閾値を0.21に設定して検証したところ、以下の結果が得られた。
【表1】
JP2018026018A_000003t.gif
【実施例】
【0051】
全体の40例のうち、正解は18+19=37例あり、0.925という高い正解率が確認された。また、TruePositive/(TruePositive+FalsePositive)と定義される適合率は、18/(18+1)=0.947となり、TruePositive/(TruePositive+FalseNegative)と定義される再現率は、18/(18+2)=0.900となり、いずれも高い値が得られた。
【実施例】
【0052】
また、上記実施形態に係る歩容解析処理のアルゴリズムによる判定の能力を評価するために、ステップS7で用いられる閾値を変化させながら、受信者操作特性を示すROC曲線を求めたところ、図12に示す結果が得られた。ROC曲線は、図12に示すような感度を縦軸とし、1-特異度を横軸とする領域において、(0.0,1.0)を通ることが理想的であり、ROC曲線よりも下の面積(AUC)が1.0に近いほど優れていることになる。なお、感度は、再現率に等しく、特異性とは、TrueNegative/(TrueNegative+FalsePositive)と定義される。本実施例では、AUCが0.97となり、上記実施形態に係る歩容解析処理のアルゴリズムが非常に優れていることが確認された。
【符号の説明】
【0053】
1 歩容解析装置
2 歩容解析プログラム
42 GEI作成部
43 微分画像作成部
44 移動量算出部
45 特徴量算出部
46 判定部
71 GEI(第1GEI)
72 GEI(第2GEI)
P1 人物(第1人物)
P2 人物(第2人物)
M1 動画(第1動画)
M2 動画(第2動画)
K11,K12,・・・ 二値フレーム(第1フレーム)
K21,K22,・・・ 二値フレーム(第2フレーム)
J1 微分画像(第1微分画像)
J2 微分画像(第2微分画像)
L11,L12,・・・輪郭フレーム(第1フレーム)
L21,L22,・・・輪郭フレーム(第2フレーム)
d11,d12,・・・ 移動量(第1移動量)
d12,d22,・・・ 移動量(第2移動量)
C1 特徴量(第1特徴量)
C2 特徴量(第2特徴量)
vr スペクトル指標
vi スペクトル指標
wr スペクトル指標
wi スペクトル指標
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11