TOP > 国内特許検索 > 歩容解析装置 > 明細書

明細書 :歩容解析装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-077017 (P2020-077017A)
公開日 令和2年5月21日(2020.5.21)
発明の名称または考案の名称 歩容解析装置
国際特許分類 G06T   7/20        (2017.01)
H04N   7/18        (2006.01)
FI G06T 7/20 300Z
H04N 7/18 K
請求項の数または発明の数 7
出願形態 OL
全頁数 17
出願番号 特願2018-207876 (P2018-207876)
出願日 平成30年11月5日(2018.11.5)
発明者または考案者 【氏名】中島 重義
出願人 【識別番号】519135633
【氏名又は名称】公立大学法人大阪
個別代理人の代理人 【識別番号】100124039、【弁理士】、【氏名又は名称】立花 顕治
【識別番号】100179213、【弁理士】、【氏名又は名称】山下 未知子
【識別番号】100170542、【弁理士】、【氏名又は名称】桝田 剛
審査請求 未請求
テーマコード 5C054
5L096
Fターム 5C054CC02
5C054EA05
5C054FC03
5C054FC12
5C054FD07
5C054FE13
5C054HA05
5L096BA02
5L096EA13
5L096EA43
5L096FA06
5L096FA23
5L096FA32
5L096FA60
5L096GA02
5L096GA08
5L096HA03
5L096JA11
要約 【課題】カメラでの撮影方向によらず、精度よく人物の歩容を解析する。
【解決手段】歩容解析装置は、人物の歩容を捉えた動画に含まれる各フレームに対し、当該フレームに写る人物のサイズの変動をキャンセルするように、当該フレームに含まれる人物領域のサイズ調整を行う。次に、サイズ調整された人物領域どうしを重ね合わせることにより、GEI(歩容エネルギー画像)が作成される。次に、GEIの微分画像と、サイズ調整された人物領域の輪郭とがマッチングされ、微分画像に対する各人物領域の移動量が算出される。さらに、移動量が補正され、補正された移動量に基づいて、人物の歩容の特徴量が算出される。移動量の補正は、フレームに写る人物のサイズの対数関数に、算出された移動量をフィットさせることにより、移動量の近似関数を導出し、算出された移動量から近似関数の値を減算することにより、行われる。
【選択図】図4
特許請求の範囲 【請求項1】
人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うサイズ調整部と、
前記サイズ調整された人物領域どうしを重ね合わせることにより、GEI(歩容エネルギー画像)を作成するGEI作成部と、
前記GEIを微分した微分画像を作成する微分部と、
前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出する移動量算出部と、
前記移動量を補正する補正部と、
前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出する特徴量算出部と
を備え、
前記補正部は、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正する、
歩容解析装置。
【請求項2】
前記サイズ調整部は、前記フレームに写る前記人物のサイズが前記距離に反比例し、前記距離は時刻に対し線形に変化するとの仮定の下、前記人物領域のサイズ調整を行う、
請求項1に記載の歩容解析装置。
【請求項3】
前記サイズ調整部は、前記人物領域の面積が前記フレームに写る前記人物のサイズの二乗に比例するとのさらなる仮定の下、前記人物領域の面積を表す時刻の関数を導出し、当該関数を特定するパラメータに基づいて、前記人物領域のサイズ調整を行う、
請求項2に記載の歩容解析装置。
【請求項4】
前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる、
請求項1から3のいずれかに記載の歩容解析装置。
【請求項5】
前記サイズ調整部、前記GEI作成部、前記微分部、前記移動量算出部、前記補正部及び前記特徴量算出部は、同じ又は異なる動画に写る2人以上の人物の各々の像に対し処理を行い、
前記2人以上の人物にそれぞれ対応する前記特徴量どうしを比較することにより、前記2人以上の人物が同一人物であるか否かを判定する判定部
をさらに備える、
請求項1から4のいずれかに記載の歩容解析装置。
【請求項6】
人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップと、
前記サイズ調整された人物領域どうしを重ね合わせることにより、GEI(歩容エネルギー画像)を作成するステップと、
前記GEIを微分した微分画像を作成するステップと、
前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップと、
前記移動量を補正するステップと、
前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップと
をコンピュータに実行させ、
前記移動量を補正するステップは、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正するステップを含む、
歩容解析プログラム。
【請求項7】
人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップと、
前記サイズ調整された人物領域どうしを重ね合わせることにより、GEI(歩容エネルギー画像)を作成するステップと、
前記GEIを微分した微分画像を作成するステップと、
前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップと、
前記移動量を補正するステップと、
前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップと
を含み、
前記移動量を補正するステップは、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正するステップを含む、
歩容解析方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人物の歩容を捉えた動画に基づいて、人物の歩容を解析する歩容解析装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年、GEIと呼ばれる歩容エネルギー画像に基づいて、人物の歩く様子、すなわち歩容を解析する様々な技術が提案されている(例えば、非特許文献1等参照)。GEIとは、人物の歩容を捉えた動画に含まれる複数のフレームを、人物に対応する領域(人物領域)どうしが重なるように重ね合わせた画像であり、人が歩くときのエネルギーの分散を表す画像である。図6は、GEIの一例であり(ただし、図6は、後述するとおり、本発明に係る処理が施された後のGEIであり、従来手法によってのみ作成されたものではない。後述する図7の微分画像についても同じである。背景技術の説明としては、図6及び図7は、GEI及び微分画像を理解するための参考図として参照されたい。)、GEIは、図5のような歩行中の人物のシルエットが抽出されたシルエット画像を重ね合わせることにより作成される。そして、このような歩容のエネルギーの分散は、人によって異なる。そのため、2枚のGEIの相関係数が高ければ、歩容が似ており、両画像に写る人物は同一人物であると判定することができ、反対に、相関係数が低ければ、別人物であると判定することができる。かかる判定手法は、従来、GEIに基づく人物の同定を行う場面でしばしば用いられてきた。
【0003】
しかしながら、上述の判定手法には問題がある。図5にも示されるように、しばしば人物の背景化と、背景の人物化が起こる。例えば、図5の例では、人物の胸辺りの服の色が背景の色と似ているため、当該服の部分は人物領域として抽出されることなく、人物領域から抜けてしまっている。これが人物の背景化である。また、図5の例では、人物領域に人物の陰が入り込んでしまっている。これが背景の人物化である。人物の背景化及び背景の人物化によるシルエット画像上での人物領域の誤認識は、シルエット画像を重ね合わせて作成されるGEIにも反映される。従って、2枚のGEIの相関係数を比較して人物の同定を行おうとしたとき、人物の背景化及び背景の人物化が起きていると、同一人物であるにも関わらず相関係数が低くなり、誤判定が生じ得る。
【0004】
以上のような問題を解決するために、本発明者は、特許文献1の方法を発明した。この方法では、GEIの微分画像(図7参照)を作成し、微分画像と、シルエット画像に現れる人物の輪郭(図8参照)とをマッチング(位置合わせ)する。そして、このマッチング時の微分画像に対するシルエット画像の移動量に基づいて、人物の歩容の特徴量を算出し、この特徴量に基づいて人物の同定を行う。この方法によれば、人物領域全体ではなく、人物の輪郭の動きに基づいて歩容の特徴量が算出されるため、人物の背景化及び背景の人物化の影響が低減され、精度よく人物の歩容を解析することができる。また、微分画像には、歩行中に余り動かない腰等の身体の重心に近い部位が濃く表れ、歩行中によく動く身体の部位が薄く表れる傾向がある。そのため、微分画像とシルエット画像に含まれる人物の輪郭とは、歩行中に余り動かない部位の輪郭どうしが強く重なるようにマッチングされる。よって、このマッチング時に微分画像を基準として算出される移動量の動きは、人物の歩容のリズムを適切に表すことになる。よって、この意味でも、特許文献1の方法は、精度よく人物の歩容を解析することができる。
【先行技術文献】
【0005】

【非特許文献1】東山侑真、他3名,「様々な歩行状況下における歩容認証手法の性能評価」,情報処理学会,研究報告コンピュータビジョンとイメージメディア(CVIM),2013-CVIM-187巻,10号,1-8頁,2013年5月23日
【0006】

【特許文献1】特開2018-26018号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、本発明者は、さらに研究を進めていく中で、特許文献1の方法に潜む課題を見出した。具体的には、図1Aに示すように、カメラの撮影方向(光軸方向)と、人物の進行方向とが概ね垂直な場合には、問題は顕在化しないが、図1Bに示すように、これらの方向が斜めに交差している場合には、問題が生じ得る。つまり、動画に写る人物のサイズが、前者の場合には変化しないが、後者の場合には時刻とともに変化する。よって、後者の場合、シルエット画像間で人物のサイズが異なるため、GEIの作成時にシルエット画像の重ね合わせが上手くいかず、微分画像がにじんでしまう。さらに、その後のマッチングでは、微分画像に対しシルエット画像の人物の輪郭を位置合わせすることができなくなる。その結果、マッチングにより得られる移動量の動きが歩容のリズムを適切に表さなくなり、誤判定が生じ得る。
【0008】
図2Aは、カメラの撮影方向と人物の進行方向とが概ね垂直な場合の、特許文献1の方法で得られた実際の人物の重心の上下方向の移動量である。このグラフは、4ステップ(2ストライド)分の移動量のグラフである。このグラフからは、移動量は、ステップ毎に山を形成し、ストライド毎に周期的な波形を形成することが分かる。なお、1回のストライドとは、右足を前に出す1回のステップと、続いて左足を前に出す1回のステップとからなる(左右が逆であってもよい)。一方、図2Bは、カメラの撮影方向と人物の進行方向とが斜めに交差している場合の、同じく特許文献1の方法で得られた実際の人物の重心の上下方向の移動量(位置)のグラフである。図2Bが示すように、特許文献1の方法で移動量を算出すると、移動量の動きが歩容のリズムを適切に表さない。また、図2Bの例では、点線の円で囲んだ部分においては、一瞬で100ピクセル近く移動している。この100ピクセルは26cm程に相当するが、人物が通常歩行するときに、一瞬で26cmも重心の位置が上下することはない。これは、フレームに写る人物のサイズが変化したために、フレーム上の人物の輪郭が広がり、マッチングにエラーが出たためと考えることができる。
【0009】
本発明は、カメラでの撮影方向によらず、精度よく人物の歩容を解析することができる歩容解析装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
第1観点に係る歩容解析装置は、人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うサイズ調整部と、前記サイズ調整された人物領域どうしを重ね合わせることにより、GEI(歩容エネルギー画像)を作成するGEI作成部と、前記GEIを微分した微分画像を作成する微分部と、前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出する移動量算出部と、前記移動量を補正する補正部と、前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出する特徴量算出部とを備える。前記補正部は、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正する。
【0011】
第2観点に係る歩容解析装置は、第1観点に係る歩容解析装置であって、前記サイズ調整部は、前記フレームに写る前記人物のサイズが前記距離に反比例し、前記距離は時刻に対し線形に変化するとの仮定の下、前記人物領域のサイズ調整を行う。
【0012】
第3観点に係る歩容解析装置は、第2観点に係る歩容解析装置であって、前記サイズ調整部は、前記人物領域の面積が前記フレームに写る前記人物のサイズの二乗に比例するとのさらなる仮定の下、前記人物領域の面積を表す時刻の関数を導出し、当該関数を特定するパラメータに基づいて、前記人物領域のサイズ調整を行う。
【0013】
第4観点に係る歩容解析装置は、第1観点から第3観点のいずれかに係る歩容解析装置であって、前記特徴量には、前記移動量の時系列データのスペクトルの特徴を表すスペクトル指標が含まれる。
【0014】
第5観点に係る歩容解析装置は、第1観点から第4観点のいずれかに係る歩容解析装置であって、判定部をさらに備える。前記サイズ調整部、前記GEI作成部、前記微分部、前記移動量算出部、前記補正部及び前記特徴量算出部は、同じ又は異なる動画に写る2人以上の人物の各々の像に対し処理を行う。前記判定部は、前記2人以上の人物にそれぞれ対応する前記特徴量どうしを比較することにより、前記2人以上の人物が同一人物であるか否かを判定する。
【0015】
第6観点に係る歩容解析プログラムは、以下のステップ(1)~(6)をコンピュータに実行させる。第7観点に係る歩容解析方法は、以下のステップ(1)~(6)を含む。
(1)人物の歩容を捉えた動画に含まれる複数のフレームの各々に対し、当該フレームの撮影点から前記人物までの距離に応じて生じる、当該フレームに写る前記人物のサイズの変動をキャンセルするように、当該フレームに含まれる前記人物に対応する領域である人物領域のサイズ調整を行うステップ
(2)前記サイズ調整された人物領域どうしを重ね合わせることにより、GEI(歩容エネルギー画像)を作成するステップ
(3)前記GEIを微分した微分画像を作成するステップ
(4)前記微分画像と前記各フレームの前記サイズ調整された人物領域の輪郭とをマッチングし、前記マッチング時の前記微分画像に対する前記各人物領域の移動量を算出するステップ
(5)前記移動量を補正するステップ
(6)前記補正された移動量に基づいて、前記人物の歩容の特徴量を算出するステップ
【0016】
(5)の前記移動量を補正するステップは、前記フレームに写る前記人物のサイズの対数関数に前記移動量をフィットさせることにより、前記移動量の近似関数を導出し、前記移動量から前記近似関数の値を減算することにより、前記移動量を補正するステップを含む。
【発明の効果】
【0017】
本発明では、カメラでの撮影方向によらず、精度よく人物の歩容を解析することができる。
【図面の簡単な説明】
【0018】
【図1A】カメラの撮影方向と人物の進行方向との関係を示す図。
【図1B】カメラの撮影方向と人物の進行方向との関係を示す別の図。
【図2A】カメラの撮影方向と人物の進行方向とが概ね垂直な場合の、従来技術による人物の重心の上下方向の移動量の時系列グラフ。
【図2B】カメラの撮影方向と人物の進行方向とが斜めに交差している場合の、従来技術による人物の重心の上下方向の移動量(位置)の時系列グラフ。
【図3】歩容解析装置の構成を示すブロック図。
【図4】歩容解析処理の流れを示すフローチャート。
【図5】人物領域を表す二値フレーム(シルエット画像)を示す図。
【図6】GEIを示す図。
【図7】GEIを微分した微分画像を示す図。
【図8】二値フレームの輪郭を抽出した輪郭フレームを示す図。
【図9】補正前の人物の重心の移動量(位置)の上下方向の成分の波形を示すグラフ。
【図10】補正後の人物の重心の移動量の上下方向の成分の波形を示すグラフ。
【図11】人物の重心の移動量の時系列データのスペクトルを示すグラフ。
【発明を実施するための形態】
【0019】
以下、図面を参照しつつ、本発明の一実施形態に係る歩容解析装置について説明する。
<1.歩容解析装置の構成>
図3に、本実施形態に係る歩容解析装置1を含む歩容解析システム100の全体構成を示す。歩容解析装置1は、人物P1,P2の歩容を捉えた動画M1,M2に基づいて、歩容を解析する装置である。本実施形態に係る歩容解析装置1は、動画M1に写る人物P1の歩容の特徴量C1と、動画M2に写る人物P2の歩容の特徴量C2とを算出し、これらの特徴量C1,C2を比較することにより、人物P1,P2が同一人物であるか否かを判定する。動画M1,M2は、それぞれ異なる位置に設置されたカメラ21,22により撮影され、歩容解析装置1は、カメラ21,22とともに、歩容解析システム100を構成する。動画M1,M2は、インターネット、LAN、専用のケーブル等のネットワーク6経由で、カメラ21,22から歩容解析装置1に送信される。なお、歩容解析装置1とカメラ21,22とは、常時接続されていてもよいし、動画M1,M2の受け渡し時のみ接続されてもよい。

【0020】
歩容解析装置1は、ハードウェアとしては、汎用のコンピュータである。歩容解析装置1には、CD-ROM、USBメモリ等のコンピュータで読み取り可能な記録媒体5から、又はネットワーク6を介して別のコンピュータから歩容解析プログラム2がインストールされている。歩容解析プログラム2は、本発明の一実施形態に係る歩容解析プログラムであり、カメラ21,22から取得される動画M1,M2に基づいて、人物P1,P2の歩容を解析する機能を有するアプリケーションソフトウェアである。歩容解析プログラム2は、歩容解析装置1に後述するステップを実行させる。

【0021】
図3に示すとおり、歩容解析装置1は、表示部10、入力部20、記憶部30、制御部40及び通信部50を有する。これらの部10~50は、互いにバス線7で接続されている。表示部10は、液晶ディスプレイ等で構成されており、適当な画面をユーザに対し表示する。また、入力部20は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、歩容解析装置1に対するユーザからの操作を受け付ける。通信部50は、歩容解析装置1をネットワーク6に接続し、ネットワーク6上に存在するカメラ21,22等の外部装置との間でデータ通信を行う通信インターフェースである。記憶部30は、ハードディスク、フラッシュメモリ等の不揮発性の記憶装置から構成されており、記憶部30内には、歩容解析プログラム2が格納されている。

【0022】
制御部40は、CPU、ROM及びRAM等から構成されており、記憶部30内に格納されている歩容解析プログラム2を読み出して実行することにより、仮想的に動画取得部41、サイズ調整部42、GEI作成部43、微分部44、移動量算出部45、補正部46、特徴量算出部47、判定部48及び表示制御部49として動作する。各部41~49の動作については、後述する。

【0023】
<2.歩容解析処理の流れ>
以下、図4を参照しつつ、歩容解析装置1により実行される歩容解析処理について説明する。まず、動画取得部41が、通信部50を介してネットワーク6経由で、カメラ21,22からそれぞれ動画M1,M2を取得する(ステップS1)。動画M1には、人物P1の歩容が捉えられており、動画M2には、人物P2の歩容が捉えられている。

【0024】
続くステップS2では、サイズ調整部42が、動画M1,M2に含まれる複数のフレームの各々に対し、当該フレームに写る人物P1,P2のサイズの変動をキャンセルするように、当該フレームに含まれる人物P1,P2に対応する領域(人物領域)のサイズ調整を行う。フレームに写る人物P1,P2のサイズの変動は、それぞれ動画M1,M2の撮影点から人物P1,P2までの距離に応じて生じる。すなわち、この変動は、遠近法により、撮影点から人物P1,P2が遠い程、フレーム上に人物P1,P2が小さく写り、近い程、大きく写る現象である。

【0025】
より具体的には、サイズ調整部42は、動画M1に含まれる複数のフレームF11,F12,・・・の平均画像を作成し、これを背景画像H1とする。平均画像とは、画素毎に、フレームF11,F12,・・・の画素値を平均した画像である。続いて、サイズ調整部42は、各フレームF11,F12,・・・から背景画像H1を減算し、差分フレームI11,I12,・・・を作成する。差分フレームI11,I12,・・・は、それぞれ、画素毎に、フレームF11,F12,・・・の画素値から背景画像H1の画素値を減算した画像である。さらに、サイズ調整部42は、各差分フレームI11,I12,・・・を二値化し、二値フレームK11,K12,・・・を作成する(二値フレームについては、図5参照)。二値化とは、所定の閾値以上の画素値を有する画素に画素値「1(白)」を与え、それ以外の画素に画素値「0(黒)」を与える処理である。二値フレームK11,K12,・・・上では、人物P1に対応する人物領域が「白」で表され、背景に対応する領域が「黒」で表される。すなわち、二値フレームK11,K12,・・・は、人物P1のシルエットを表すシルエット画像である。

【0026】
人物P1が歩行している場合、二値フレームK11,K12,・・・に写る人物P1のサイズである人物サイズL(t)は、時刻とともに変化する。なお、tは、時間軸に沿って配列されるフレームK11,K12,・・・の配列順を表すフレーム番号であり、これに対応する時刻を表す。ここで、人物サイズL(t)に基づいて、フレームK11,K12,・・・に含まれる人物領域のサイズ調整を行うために、以下の仮定A1~A3をおく。まず、人物P1が地面という2次元平面上を一定速度で一定の方向に移動すると仮定し、近似的に、人物P1を撮影するカメラ21の位置(撮影点)から人物P1までの距離D(t)が、時刻tに対し線形に変化するものとみなす。これが仮定A1である。次に、人物P1の実世界での身長(サイズ)は変わらないため、フレームK11,K12,・・・に写る人物P1の人物サイズL(t)は、距離D(t)に反比例する。これが仮定A2である。最後に、フレームK11,K12,・・・上での人物の背景化及び背景の人物化は不定期に出現し、さらに人物P1の手が胴体に重なる等の影響は無視できる程度に小さいと仮定し、フレームK11,K12,・・・に含まれる人物領域の面積S(t)が、人物サイズL(t)の二乗に比例するものとみなす。これが仮定A3である。

【0027】
以上の仮定A1~A3は、それぞれ以下の式(1)~(3)ように数式化される。ここで、α,β,α',β',α'',β'',γ及びδは、所定の定数である。式(2)は、線形式の逆数であり、双曲線を描く。
【数1】
JP2020077017A_000003t.gif

【0028】
サイズ調整部42は、二値フレームK11,K12,・・・に含まれる各時刻tでのフレーム(以下、K1(t)と表すことがある)に対し、当該フレームK1(t)に含まれる人物領域の面積S(t)を算出する。そして、式(3)に従って、こうして得られた(t,S(t))の多数のデータセットから、時刻tの関数であるS(t)を導出する。すなわち、関数S(t)を特定するためのパラメータα''及びβ''が導出される。なお、S(t)の導出方法は、特に限定されないが、例えば、最小二乗誤差となるように関数S(t)を最適化する任意のアルゴリズムを用いることができ、好ましい例を挙げると、最大勾配法を用いることができる。

【0029】
ここで、二値フレームK11,K12,・・・に含まれる1枚の基準フレーム(例えば、時間軸に沿って中央のフレーム)のフレーム番号をtmと表す。サイズ調整部42は、二値フレームK11,K12,・・・に含まれる各時刻tでのフレームK1(t)に対し、当該フレームK1(t)に含まれる人物領域をL(tm)/L(t)倍にサイズ調整する。これにより、各時刻tでの人物領域のサイズが、基準フレームK1(tm)の人物サイズL(tm)を基準として正規化される。このとき、本実施形態では、人物領域だけでなく、フレームK1(t)の全体をL(tm)/L(t)倍にサイズ調整する。また、このときの倍率であるL(tm)/L(t)は、式(3)から(α''t+β'')/(α''tm+β'')と表すことができるため、この式に従って、既出のパラメータα''及びβ''に基づいて導出される。なお、L(tm)/L(t)では、δが相殺されるため、δについては考慮する必要がない。

【0030】
サイズ調整部42は、同様の方法で、動画M2に含まれる複数のフレームF21,F22,・・・に基づいて、順次、背景画像H2、差分フレームI21,I22,・・・、二値フレームK21,K22,・・・(以下、K2(t)と表すことがある)を導出する。さらに同様に、サイズ調整部42は、各時刻tでの二値フレームK2(t)に含まれる人物領域が、基準フレームK2(tm)を基準としてサイズ調整されるように、二値フレームK2(t)の全体を等倍率でサイズ調整する。

【0031】
続くステップS3では、GEI作成部43が、人物P1,P2にそれぞれ対応するGEI(歩容エネルギー画像)71,72を作成する。具体的には、GEI作成部43は、ステップS2でサイズ調整された二値フレームK11,K12,・・・を、それぞれに含まれる人物領域どうしが重なるように重ね合わせることにより、GEI71を作成する。本実施形態では、GEI作成部43は、二値フレームK11,K12,・・・にそれぞれ写る人物領域の重心G11,G12,・・・を計算し、これらの重心G11,G12,・・・どうしが重なるように人物領域を位置合わせする。GEI71とは、図6に示すような画像であり、画素毎に、位置合わせされた二値フレームK11,K12,・・・の画素値を平均した画像である。なお、人物領域の位置合わせの方法は、これに限られず、人物領域が適切に重なる限り、任意の方法を採用することができる。例えば、ICP(Iterative Closest Point)と呼ばれる位置合わせのアルゴリズムを用いることもできる。また、例えば、2つの人物領域どうしの相対位置を変化させながら両人物領域間の積和を計算し、当該積和が最大となるような相対位置で両人物領域を重ね合わせることもできる。

【0032】
また、GEI作成部43は、同様の方法で、ステップS2でサイズ調整された二値フレームK21,K22,・・・を、それぞれに含まれる人物領域どうしが重なるように重ね合わせることにより、GEI72を作成する。

【0033】
ところで、人物が歩くときには、手足が前後及び鉛直上下に概ね周期的に移動する。そのため、図6に示すように、GEI上では、常時動いている手足に対応する領域は薄くなる。また、頭や上半身に対応する領域も、歩行中前後に揺れるため、薄くなる。これに対し、身体の重心に近く、ほぼ等速運動をしている腰の辺りに対応する領域は、色が濃くなる。さらに、前方斜め下に蹴り出した太ももに対応する領域も、余り動かないため、色が濃くなる。

【0034】
続くステップS4では、微分部44が、GEI71,72を微分し、それぞれ微分画像J1,J2を作成する。ここでいう微分とは、画素毎に、当該画素と当該画素に隣接する画素との間の画素値の変化量を求める処理である。本実施形態では、PREWITTフィルタを用いた1次微分が行われる。すなわち、画素毎に、画像の上下及び左右の両方向の画素値の変化量を算出し、当該上下及び左右の変化量の二乗和のルートが新たな画素値とされる。

【0035】
図7は、GEI71の微分画像J1を示している。同図から分かるように、微分画像J1上では、人物領域の輪郭が現れ、GEI71上で濃く現れた部分は、当該輪郭上でも濃く現れ、GEI71上で薄く現れた部分は、当該輪郭上でも薄く現れる傾向にある。すなわち、GEIを微分した微分画像上では、人物領域の輪郭が、身体の歩行中に余り動かない部位、典型的には、腰の辺り及び前方斜め下に蹴り出した太ももの近傍において濃く現れる。つまり、GEI上において、身体の歩行中に余り動かない部位に対応する領域と背景領域との境界では、白と黒のコントラストが大きくなるため、微分画像上では、このような境界に対応する輪郭上の画素値(微分成分)が大きくなる。一方、微分画像上では、人物領域の輪郭のうち、身体の歩行中によく動く部位の近傍の箇所においては薄く現れる。

【0036】
続くステップS5では、移動量算出部45は、微分画像J1と、ステップS2でサイズ調整された各二値フレームK11,K12,・・・に含まれる人物領域の輪郭とをマッチング(位置合わせ)し、このマッチング時の微分画像J1に対する各人物領域の移動量(位置調整量)d11,d12,・・・を算出する。具体的には、まず、移動量算出部45は、ステップS2でサイズ調整された各二値フレームK11,K12,・・・に対しエッジ検出を行い、人物領域の輪郭が現れる輪郭フレームL11,L12,・・・を作成する(輪郭フレームについては、図8参照)。次に、移動量算出部45は、微分画像J1と、各輪郭フレームL11,L12,・・・とを、両画像に現れる人物領域の輪郭どうしが重なるようにマッチングする。そして、このマッチングの結果に従って、各人物領域を微分画像J1に対し位置合わせしたときの、各人物領域の移動量d11,d12,・・・を算出する。このとき、移動量d11,d12,・・・は、微分画像J1上において、GEI71の作成時にステップS2で重心G11,G12,・・・を重ね合わせた位置G1からの、微分画像J1に対する位置合わせ後の人物領域上の重心G11,G12,・・・の位置の移動量として算出することができる(図7参照)。本実施形態では、移動量d11,d12,・・・は、2次元ベクトルであり、上下方向の移動量と、左右方向の移動量との2つの値を要素とする。

【0037】
本実施形態では、微分画像J1と人物領域の輪郭とのマッチングは、微分画像J1と輪郭フレームL11,L12,・・・との相対位置を変化させながら両画像の積和を計算し、当該積和が最大となるような両画像の相対位置を検出することにより行われる。なお、このときの相対位置が、移動量d11,d12,・・・である。ただし、マッチングの方法は、これに限られず、人物領域の輪郭どうしが重なる限り、任意の方法を採用することができる。

【0038】
微分画像J1上では、上記のとおり、歩行中に余り動かない部分が濃く現れる。従って、このような微分画像J1に対して各輪郭フレームL11,L12,・・・がマッチングされることにより、ステップS5では、人物領域のうち、歩行中に余り動かない部位どうしが優先的に重なるように位置合わせされる。また、微分画像J1と輪郭フレームL11,L12,・・・とを、両画像の積和が最大化されるようにマッチングするということは、歩行中に余り動かない部分の輪郭どうしが強く重なるように位置合わせするということである。従って、微分画像J1を基準として算出される移動量d11,d12,・・・の動きは、人物P1の歩容のリズムを適切に表し得る。

【0039】
移動量d11,d12,・・・は、この順番に、動画M1のフレームレートに対応する時間間隔で並ぶ時系列データを構成している。図9は、2回のストライド分の時間に対応する移動量d11,d12,・・・の上下方向の成分の時系列グラフである。ここで、図2A及び図2Bのグラフをもう一度参照されたい。図2A及び図2Bは、ステップS2のサイズ調整がされていない場合の、実際の人物の重心の上下方向の移動量のグラフである。図2Aは、カメラの撮影方向と人物の進行方向とが概ね垂直な場合のグラフであり、図2Bは、これらの方向が斜めに交差している場合のグラフである。図2Bでは、カメラに写る人物のサイズが時刻とともに変動することの影響から、図2Aのようなステップ毎の山やストライド毎の周期性といった歩容のリズムに由来する特徴を見出すことはできない。しかし、図9のグラフには、僅かにこうした歩容の特徴を見出すことができる。これは、ステップS2のサイズ調整により、人物領域の重ね合わせが上手くいき、マッチングが成功したためである。

【0040】
移動量算出部45は、同様の方法で、微分画像J2とステップS2でサイズ調整された各二値フレームK21,K22,・・・とに基づいて、輪郭フレームL21,L22,・・・を算出し、移動量d21,d22,・・・を算出する。すなわち、微分画像J2と、各輪郭フレームL21,L22,・・・とを、人物領域の輪郭どうしが重なるようにマッチングし、このマッチング時の微分画像J2に対する各人物領域の移動量d21,d22,・・・を算出する。

【0041】
ところで、以上のとおり算出される移動量d11,d12,・・・及びd21,d22,・・・には、図9に示すとおり、歩容の特徴がある程度現れるものの、依然として図2Aほど明確には現れない。つまり、フレームF11,F12,・・・間で人物領域のサイズを正規化するのみでは、撮影方向に由来する人物のサイズの変動に伴う誤差を除去しきれていない。図9のグラフは、右上がりに延びており、このような傾向の誤差により、ステップの山がかき消されている。この誤差とは、以下のようなものである。

【0042】
フレームに写る人物のサイズが変化すると、これに比例して、動画が捉える人物の速度も変化する。また、移動量は、速度の積分である。よって、フレームに写る人物のサイズの変動は、誤差として移動量の値に蓄積される。ここで、上記のとおり、人物サイズL(t)は、式(2)のとおり、双曲線で変化する。双曲線の積分は、対数で表される。以上のことから、移動量をG(t)と表すとき、式(3)も参照して、G(t)は、以下の式(4)のとおり数式化される。ここで、ε、ξ、η及びθは、所定の定数である。
【数2】
JP2020077017A_000004t.gif

【0043】
続くステップS6では、補正部46は、以上の式(4)に従って、移動量d11,d12,・・・及びd21,d22,・・・を補正する。より具体的には、補正部46は、ステップS2で算出されたα''及びβ''の値を(4)式に代入した上で、(t,d1(t))の多数のデータセットから、時刻tの関数であるG(t)を導出する。すなわち、関数G(t)を特定するためのパラメータη及びθが導出される。なお、d1(t)とは、ステップS5で算出された移動量d11,d12,・・・のうち、時刻tでの移動量である。G(t)の導出方法は、特に限定されないが、例えば、最小二乗誤差となるように関数G(t)を最適化する任意のアルゴリズムを用いることができ、好ましい例を挙げると、最大勾配法を用いることができる。

【0044】
以上のとおり、ステップS6では、補正部46は、ステップS5で算出された移動量d11,d12,・・・を、式(4)の人物サイズL(t)の対数関数にフィットさせることにより、移動量d11,d12,・・・の近似関数G(t)を導出する。続いて、補正部46は、各時刻tに対し、以上のとおり導出されたパラメータη及びθに基づき、式(4)に従って、近似関数G(t)の値を算出する。そして、補正部46は、各時刻tに対し、ステップS5で算出された移動量d1(t)から、近似関数G(t)の値を減算することにより、移動量d1(t)の補正値であるd1’(t)を算出する。すなわち、d1’(t)=d1(t)-G(t)である。

【0045】
図10は、図9の移動量d1(t)の上下方向の成分を補正した移動量d1’(t)のグラフである。同図からは、ステップS6の補正により、図2Aのように歩容の特徴が明確に抽出可能になることが分かる。

【0046】
補正部46は、同様の方法で、各時刻tに対し、移動量d2(t)の補正値である補正値d2’(t)を導出する。なお、d2(t)は、ステップS5で算出されたd21,d22,・・・のうち、時刻tでの移動量である。

【0047】
続くステップS7では、特徴量算出部47は、ステップS6で補正された移動量d11,d12,・・・である移動量d11’,d12’,・・・に基づいて、人物P1の歩容の特徴量C1を算出する。本実施形態では、特徴量C1として、補正後の移動量d11’,d12’,・・・の時系列データを周波数解析したスペクトルの特徴を表すスペクトル指標vr,vi,wr,wiが算出される。より具体的には、特徴量算出部47は、移動量d11’,d12’,・・・に含まれる上下方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標vr,viとする。周波数解析の対象となるデータは、移動量d11’,d12’,・・・の上下方向の成分の1回のストライドに対応する時系列データである。また、基本周波数の1倍、2倍、3倍、4倍、5倍及び6倍の周波数でのvr,viが算出される。基本周波数は、1回のストライドに対応する周波数、すなわち、1回のストライドに要する時間(周期)の逆数である。

【0048】
また、特徴量算出部47は、補正後の移動量d11’,d12’,・・・に含まれる左右方向の成分の時系列データを離散フーリエ変換してスペクトルを導出し、当該スペクトルの実数部及び虚数部をそれぞれスペクトル指標wr,wiとする。周波数解析の対象となるデータは、上下方向の成分の場合と同じく、移動量d11’,d12’,・・・の左右方向の成分の1回のストライドに対応する時系列データである。また、上下方向の成分の場合と同じく、基本周波数の1倍、2倍、3倍、4倍、5倍及び6倍の周波数でのwr,wiが算出される。

【0049】
さらに、特徴量算出部47は、同様の方法で、ステップS6で補正された移動量d21,d22,・・・である移動量d21’,d22’,・・・に基づいて、人物P2の歩容の特徴量C2となるスペクトル指標vr,vi,wr,wiを算出する。

【0050】
図11は、上記のとおり定義されるスペクトル指標vr,vi,wr,wiの例(概念図)である。本実施形態では、上記のとおり、1回のストライドに対応する移動量の時系列データに基づいて、基本周波数の1倍~6倍の整数倍の周波数でのvr,vi,wr,wiが算出される。しかしながら、勿論、ここでの例に限定されず、1回のストライドよりも長い移動量の時系列データを周波数解析してもよいし、基本周波数の6倍よりも大きい周波数帯でのスペクトル指標を算出してもよい。ただし、1回のストライド分の移動量の時系列データからでも、十分な精度を達成することができる。その意味では、3回以下のストライドに対応する移動量の時系列データを周波数解析することが好ましい。また、本発明者が検証したところ、基本周波数の6倍を超える周波数帯のスペクトル指標を用いて解析を行うと、移動量の時系列データに含まれる高周波成分のノイズが影響し、誤差が大きくなる。その意味では、基本周波数の7倍以下の周波数帯でのスペクトル指標を算出することが好ましく、6倍以下の周波数帯であればより好ましい。また、スペクトルの特徴を表すスペクトル指標も、vr,vi,wr,wiに限られず、適宜設定することができる。

【0051】
続くステップS8では、判定部48が、人物P1の歩容の特徴量C1と、人物P2の歩容の特徴量C2とを比較するべく、特徴量C1,C2の差分を算出する。本実施形態では、特徴量C1,C2を構成する4つのスペクトル指標vr,vi,wr,wiは、各々、6つの周波数に対応する6つの値からなる6次元ベクトルであるため、特徴量C1,C2は、各々、6×4=24次元のベクトルである。判定部48は、これら24個の要素について、各要素どうしの差の二乗の平均(分散)を算出し、特徴量C1,C2の差分を表す差分値とする。

【0052】
続くステップS9では、判定部48は、ステップS8の差分値を予め設定されている閾値と比較する。そして、差分値が閾値以下であれば、人物P1と人物P2とを同一人物であると判定し、差分値が閾値よりも大きければ、人物P1と人物P2とを別人物であると判定する。

【0053】
以上の判定が終わると、表示制御部49は、以上の判定結果を示す画面を作成し、表示部10上に表示させる(ステップS10)。以上により、歩容解析処理は終了する。

【0054】
<3.用途>
上記実施形態に係る歩容解析装置1は、例えば、近年、空港や商業施設等の至るところに設置されている監視カメラに捉えられた人物の動画から、人の動きの流れ(動線)を発見するために用いることができる。特に、テロ対策への応用も期待される。

【0055】
<4.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。

【0056】
<4-1>
上記実施形態に係る歩容解析処理は、異なる場所で撮影された異なる動画に写る複数の人物が同一人物であるか否かを判定するのに用いられた。かかる構成では、例えば、異なるA地点及びB地点にそれぞれカメラを配置し、A地点及びB地点でカメラに捉えられた人物が同一人物か否かを判定することにより、ある人物がA地点からB地点に移動したか否かの判定を行うことができる。

【0057】
しかしながら、本発明に係る歩容解析処理の用途は、これに限定されない。例えば、ある動画の異なる時刻に写る人物どうしが同一人物であるか否かを判定するのにも使用することができる。この場合、1台のカメラで撮影された動画の異なるシーンを切り出し、これらのシーンに写る人物どうしが同一人物であるか否かを判定することができる。

【0058】
別の例を挙げると、個人の歩容の特徴量のデータを予め記録しておき、当該記録されているデータと、カメラにより撮影された動画から算出される人物の歩容の特徴量のデータとを比較し、これらが一致するか否かで同一人物か否かを判定することができる。

【0059】
さらに、同一人物の同定に限らず、正常な人の歩容と怪我をした人の歩容とを比較し、怪我をした人の回復の程度を評価するのにも使用することができる。

【0060】
<4-2>
上記実施形態では、GEIが、動画に含まれる各フレーム上の人物領域の重心を重ね合わせることにより作成されたが、GEIは、他の方法によっても作成することができる。例えば、人物の頭の頂点に対応する点や、腰の位置等、重心以外の特定の点を重ね合わせることによっても算出することもできる。
【符号の説明】
【0061】
1 歩容解析装置
2 歩容解析プログラム
42 サイズ調整部
43 GEI作成部
44 微分部
45 移動量算出部
46 補正部
47 特徴量算出部
48 判定部
71,72 GEI
P1,P2 人物
M1,M2 動画
K11,K12,・・・,K21,K22,・・・ 二値フレーム
J1,J2 微分画像
L11,L12,・・・,L21,L22,・・・輪郭フレーム
d11,d12,・・・,d12,d22,・・・ 移動量
C1,C2 特徴量
vr スペクトル指標
vi スペクトル指標
wr スペクトル指標
wi スペクトル指標
図面
【図1A】
0
【図1B】
1
【図2A】
2
【図2B】
3
【図3】
4
【図4】
5
【図5】
6
【図6】
7
【図7】
8
【図8】
9
【図9】
10
【図10】
11
【図11】
12