TOP > 国内特許検索 > 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 > 明細書

明細書 :周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5303355号 (P5303355)
公開番号 特開2010-271944 (P2010-271944A)
登録日 平成25年6月28日(2013.6.28)
発行日 平成25年10月2日(2013.10.2)
公開日 平成22年12月2日(2010.12.2)
発明の名称または考案の名称 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体
国際特許分類 G06T   7/20        (2006.01)
FI G06T 7/20 300A
請求項の数または発明の数 12
全頁数 23
出願番号 特願2009-123486 (P2009-123486)
出願日 平成21年5月21日(2009.5.21)
審査請求日 平成24年5月14日(2012.5.14)
特許権者または実用新案権者 【識別番号】599011687
【氏名又は名称】学校法人 中央大学
発明者または考案者 【氏名】梅田 和昇
【氏名】入江 耕太
【氏名】高橋 真人
【氏名】寺林 賢司
個別代理人の代理人 【識別番号】100085660、【弁理士】、【氏名又は名称】鈴木 均
【識別番号】100149892、【弁理士】、【氏名又は名称】小川 弥生
審査官 【審査官】佐藤 実
参考文献・文献 特開2003-248829(JP,A)
特開2001-067483(JP,A)
調査した分野 G06T 7/20
特許請求の範囲 【請求項1】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、
前記被写体画像から取得した各フレームに係る画素の濃淡値を時系列に取得する画素濃淡値取得手段、及び前記画素の濃淡値変化に対してフーリエ変換処理を行ってパワースペクトルを抽出するスペクトル抽出手段を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行って周期運動領域を画素ごとに抽出することにより、前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、
該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記周期運動検出手段により抽出された周期運動領域の全画素に対してモルフォロジー処理を施し、ラベリング処理を行って最大連結領域のみを選択することにより、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、
該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別装置。
【請求項2】
前記周期運動検出手段は、
前記画素濃淡値取得手段により取得した直前フレームにおける画素の濃淡値の最大値と最小値を用いて正規化する正規化手段を備え
前記スペクトル抽出手段は、前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行ことを特徴とする請求項1に記載の周期ジェスチャ識別装置。
【請求項3】
前記周期ジェスチャ識別手段は、
前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項1又は2に記載の周期ジェスチャ識別装置。
【請求項4】
前記被写体画像から取得した濃淡画像をフレーム単位にm×n画素に低解像度化する低解像度化手段を備え、
画素濃淡値取得手段は、前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得することを特徴とする請求項1乃至3の何れか一項に記載の周期ジェスチャ識別装置。
【請求項5】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項3に記載の周期ジェスチャ識別装置。
【請求項6】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、
周期運動検出手段の画素濃淡値取得手段が、前記被写体画像から取得した各フレームに係る画素の濃淡値を時系列に取得するステップと、
周期運動検出手段のスペクトル抽出手段が、前記画素の濃淡値変化に対してフーリエ変換処理を行ってパワースペクトルを抽出するステップと、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行って周期運動領域を画素ごとに抽出することにより、周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと
記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、特定部位動作領域抽出手段が、前記周期運動検出手段により抽出された周期運動領域の全画素に対してモルフォロジー処理を施し、ラベリング処理を行って最大連結領域のみを選択することにより、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、
周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別方法。
【請求項7】
正規化手段が前記画素濃淡値取得手段により取得した直前フレームにおける画素の濃淡値の最大値と最小値を用いて正規化するステップを備え
前記スペクトル抽出手段は、前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行ことを特徴とする請求項6に記載の周期ジェスチャ識別方法。
【請求項8】
前記周期ジェスチャ識別手段は、
矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成するステップと、
位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項6又は7に記載の周期ジェスチャ識別方法。
【請求項9】
低解像度化手段が、前記被写体画像から取得した濃淡画像をフレーム単位にm×n画素に低解像度化するステップを備え、
画素濃淡値取得手段は、前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得することを特徴とする請求項6乃至8の何れか一項に記載の周期ジェスチャ識別方法。
【請求項10】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項に記載の周期ジェスチャ識別方法。
【請求項11】
請求項6乃至10の何れか一項に記載の周期ジェスチャ識別方法をコンピュータ制御可能にプログラミングしたことを特徴とする周期ジェスチャ識別プログラム。
【請求項12】
請求項11に記載の周期ジェスチャ識別プログラムをコンピュータ読み取り可能な形式で記録したことを特徴とする記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、周期ジェスチャ識別装置に関し、濃淡値の時系列変化を利用して、画像から周期ジェスチャを認識する装置及び認識方法に関するものである。
【背景技術】
【0002】
ロボットを始めとする機械が我々人間のパートナーとなって安全で豊かな暮らしを実現するために、人間から機械への意思伝達を自然に行える柔軟なヒューマン・マシン・インタフェース(Human Machine Interface:HMI)を構築することが重要である。即ち、我々の日常的なコミュニケーションを考えた場合、意識的あるいは無意識的に身振り、手振りなどのジェスチャを頻繁に用いている。そこで、直感的かつ非接触での操作を可能にするHMIの一つとして、ジェスチャを用いることが考えられる。
【0003】
これまでに、ジェスチャ認識を用いたHMIの研究が、人工現実感やコンピュータビジョンなどの分野で数多く報告されている。人工現実感では、3次元位置センサや加速度センサを搭載したグローブ型のデバイスを用いて空間的な手の配置や動きを検出して、ジェスチャを認識する手法が提案されている。ほかにも、情報機器や情報家電機器の操作を実現する指装着型のウェアラブルデバイスが提案されている。このような装着型の入力デバイスは人工現実感システムにおける重要な入力手段として用いられてきたが、自然なインタラクションという観点からは、着脱の手間やケーブルなどによって動きに制約があるなどの問題から必ずしも適しているとはいえない。
このようなことから、ケーブルなどを必要としない非接触型のアプローチとして画像処理に基づく手法が研究されてきた。画像処理に基づくジェスチャ認識の手法は、マーカを利用する手法と利用しない手法に分けられる。前者のマーカを利用する手法は、例えばユーザの手足に装着したマーカの位置を、ステレオ法などにより3次元的に追跡してジェスチャを認識するものである。しかし、マーカなどを手足に装着することは、自然なインタラクションを実現するうえでは望ましくない。これに対して、後者のマーカを利用しない手法では、入力画像から抽出された手などの領域に対して、動き、形状変化などからマッチングを行ってジェスチャを認識している。そして、手などの領域を抽出するためには、2つの手法が一般的に用いられている。1つは、カラー画像からユーザの肌の色に近い色領域を抽出することにより手領域を特定する手法である。しかし、この手法では、光源環境の変化によりユーザの肌色も変化するため、安定した領域抽出が困難である。もう1つは、画像間の差分を利用する手法である。この手法では、背景が複雑である場合、背景が一定でない場合、対象領域と背景が同様の色を持つ場合などでは、対象領域だけを安定して抽出することが困難となる。そのため、背景を一定の状態や色に制限する必要があり、使用可能な環境が限定されるという問題が生じる。
【0004】
また、マーカなどを用いず、且つユーザの手に対応する画像領域を抽出するという前処理を行うことなくジェスチャを認識する手法も提案されているが、人物が複数存在するなどで移動領域が複数の場合、適用が困難である。一方、手振り動作を認識することで、複数の人物が存在する環境下においてもロバストに動作者及び動作者の位置の特定を行う手法も提案されている。さらにこの手法では、色情報を用いていないため、照明条件や肌色の個人差に対してロバストであることが示されている。しかしながら、手を左右に振るなどの繰り返し動作を認識するのみで、その繰り返し動作がジェスチャであることを識別できないという問題がある。
また、従来技術として特許文献1には、多軸角速度センサ又は多軸加速度センサによりジェスチャを入力する技術が開示されているが、この様な接触型のセンサを使用するため、操作可能な範囲が限定されてしまうといった課題がある。また、特許文献2には、時間差分画像を二値化して、そのパターンによってジェスチャを認識する手法について開示されている。しかし、この手法では処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献3には、動画像の各フレームについて対数極座標変換を行い、その変換画像の各画素における高次局所自己相関特徴を用いたジェスチャ認識する技術について開示されている。しかし、特許文献2と同様に処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献4には、距離値を画素値とする距離画像を連続的に生成する距離画像センサの出力データを利用したジェスチャ認識手法について開示されている。しかし、この従来技術では高価な距離画像センサを使用するため、装置のコストが嵩むといった問題がある。
【先行技術文献】
【0005】

【特許文献1】特開平7-219703号公報
【特許文献2】特開平10-162151号公報
【特許文献3】特開2005-122492公報
【特許文献4】特開2006-99749公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、かかる課題に鑑みてなされたものであり、濃淡画像の各画素に対して時間軸方向のFFTを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手等の特定部位の動作領域を抽出し、その領域内の位相スペクトルを用いて周期ジェスチャの種類を識別することにより、直感的かつ非接触での操作、自然なインタラクションを可能にした周期ジェスチャ識別装置及び識別方法を提供することを目的とする。
また、他の目的は、あらかじめ肌色の情報などを使って手領域等の特定部位を抽出するといった画像処理を不必要として、高速な計算が可能なFFTを適用することで、極めて簡潔な処理を実現することにより、システムの小型化、ハードウェア化が期待でき、且つ汎用性のあるインタフェースを実現することである。
【課題を解決するための手段】
【0007】
本発明はかかる課題を解決するために、請求項1は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、前記被写体画像から取得した各フレームに係る画素の濃淡値を時系列に取得する画素濃淡値取得手段、及び前記画素の濃淡値変化に対してフーリエ変換処理を行ってパワースペクトルを抽出するスペクトル抽出手段を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行って周期運動領域を画素ごとに抽出することにより、前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記周期運動検出手段により抽出された周期運動領域の全画素に対してモルフォロジー処理を施し、ラベリング処理を行って最大連結領域のみを選択することにより、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明の周期ジェスチャ識別装置は、まず、ビデオカメラ等の撮像手段により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。即ち、画素の濃淡値変化に対して高速フーリエ変換(FFT)を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出して、被写体画像が周期運動をしているか否かを判定する。
判定の結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位(例えば、手)の画像だけを抽出する。
画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難である。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対してモルフォロジー処理とラベリング処理を行い、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位を的確に抽出することができる。
そして、抽出された特定部位の画像の特徴量(位相スペクトル)に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが所定回数以上同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
【0008】
請求項2は、前記周期運動検出手段は、前記画素濃淡値取得手段により取得した直前フレームにおける画素の濃淡値の最大値と最小値を用いて正規化する正規化手段を備え前記スペクトル抽出手段は、前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行ことを特徴とする。
被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換(FFT)を行い、パワースペクトルと位相スペクトルを抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に認識することができる。
【0009】
請求項3は、前記周期ジェスチャ識別手段は、前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
請求項4は、前記被写体画像から取得した濃淡画像をフレーム単位にm×n画素に低解像度化する低解像度化手段を備え、画素濃淡値取得手段は、前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得することを特徴とする。
本発明の周期運動検出手段では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果のために、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。即ち、取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはm×n画素により決定される。即ち、被写体画像の大きさ(手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される)と処理速度との兼ね合いで決定される。また、被写体画像の一定領域(ブロック)ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる。
【0010】
求項は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
パワースペクトルが最大となる周波数は、周期運動の特徴を表す代表値とみなすことができる。そこで本発明では、周期ジェスチャの識別に用いる位相スペクトルは、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。これにより、パターン認識の誤差を低減して認識率を高めることができる。
【0011】
請求項は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、周期運動検出手段の画素濃淡値取得手段が、前記被写体画像から取得した各フレームに係る画素の濃淡値を時系列に取得するステップと、周期運動検出手段のスペクトル抽出手段が、前記画素の濃淡値変化に対してフーリエ変換処理を行ってパワースペクトルを抽出するステップと、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行って周期運動領域を画素ごとに抽出することにより、周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、特定部位動作領域抽出手段が、前記周期運動検出手段により抽出された周期運動領域の全画素に対してモルフォロジー処理を施し、ラベリング処理を行って最大連結領域のみを選択することにより、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明は請求項1と同様の作用効果を奏する。
請求項、正規化手段が前記画素濃淡値取得手段により取得した直前フレームにおける画素の濃淡値の最大値と最小値を用いて正規化するステップを備え前記スペクトル抽出手段は、前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行ことを特徴とする。
本発明は請求項2と同様の作用効果を奏する。
【0012】
請求項は、前記周期ジェスチャ識別手段は、矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画像を含む矩形領域を生成するステップと、位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
本発明は請求項3と同様の作用効果を奏する。
請求項は、低解像度化手段が、前記被写体画像から取得した濃淡画像をフレーム単位にm×n画素に低解像度化するステップを備え、画素濃淡値取得手段は、前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得することを特徴とする。
本発明は請求項4と同様の作用効果を奏する
【0013】
請求項10は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
本発明は請求項と同様の作用効果を奏する。
請求項11は、請求項6乃至10の何れか一項に記載の周期ジェスチャ識別方法をコンピュータ制御可能にプログラミングしたことを特徴とする。
かかる発明によれば、本発明の周期ジェスチャ識別方法をコンピュータ制御可能なOSに従ってプログラミングすることにより、そのOSを備えたコンピュータであれば同じ処理方法により制御することができる。
請求項12は、請求項11に記載の周期ジェスチャ識別プログラムをコンピュータ読み取り可能な形式で記録したことを特徴とする。
かかる発明によれば、周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【発明の効果】
【0014】
本発明によれば、濃淡画像の各画素に対して時間軸方向のFFTを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手等の特定部位の動作領域を抽出し、特定部位の特徴量に基づくパターン認識により被写体画像の周期運動の中から特定部位が行っている周期ジェスチャを識別するので、そのジェスチャの種別を正確に且つ迅速に判定することができる。


【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。
【図2】本発明の周期ジェスチャ識別装置の動作について説明するフローチャートである。
【図3】時系列低解像度画像を示す図である。
【図4】(a)は取得画像15、(b)は低解像度化した画像17の例を示す図である。
【図5】(a)は各フレームにおける画像の濃淡値を示す図、(b)は(a)を正規化した図、(c)はパワースペクトルを表す図、(d)は位相スペクトルを表す図である。
【図6】(a)は取得画像を示す図、(b)は周期運動を検出した画素を示す図である。
【図7】(a)は不要な周期運動領域を除去した図、(b)は補正された周期運動領域を示す図である。
【図8】(a)は抽出された手の動作領域を示す図、(b)は全画素を内包する矩形領域28を示す図である。
【図9】位相スペクトル取得領域を示す図である。
【図10】(a)は取得パワースペクトルの選択を説明する図、(b)は取得位相スペクトルの選択を説明する図である。
【図11】(a)はLinearly-separable、(b)はLinearly-inseparableのマージンと識別面を示す図である。
【図12】(a)はHorizontal、(b)はVertical、(c)はClockwise、(d)はCounterclockwiseの4種類の周期ジェスチャを示す図である。
【図13】周期運動の検出率の結果を示す図である。
【図14】周期ジェスチャの認識率の結果を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図1は本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。尚、ハードウェアの最小構成としては、ビデオカメラ又は連写可能なデジタルカメラ(モノクロ)、PC(パーソナルコンピュータ)、表示ディスプレイにより実現することができる。そして、動作を制御するプログラムはROM等のメモリに格納され、そのプログラム(ソフトウェア)を実行することにより各機能が実現される。従って、各手段は、プログラムに含まれる機能を実現するブロックとして見做すことができる。この周期ジェスチャ識別装置100は、図示しない被写体画像の動作に基づいて被写体画像に係る特定部位(例えば手)が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置100であって、大きく分けると、被写体画像を撮像する撮像手段(ビデオカメラ又は連写可能なデジタルカメラ)1と、撮像手段1により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段2と、周期運動検出手段2により被写体画像が周期運動をしていると判定された場合、被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段3と、特定部位動作領域抽出手段3により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段4と、各手段を同期制御する制御手段5と、を備えて構成されている。また、被写体画像等を一時的に記憶するメモリ6と、装置の動作を制御するプログラムを格納するROM7と、を備える。そして、連続した所定数のフレームが周期ジェスチャ識別手段2により所定回数以上同一の周期ジェスチャとして識別された場合、周期ジェスチャの種別(例えば、横振り、縦振り、時計方向の回転、反時計方向の回転等)を最終的に確定する。そして、各種別に意味合いを持たせておくことにより、種別に基づいた動作(例えば、横振りでスイッチON、縦振りでスイッチOFF等)を実行することができる。

【0017】
即ち、本実施形態の周期ジェスチャ識別装置100は、まず、カメラ等の撮像手段1により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位(例えば、手)の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量(位相スペクトル)に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
更に具体的には、周期運動検出手段2は、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段8と、低解像度化手段8により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段9と、低解像度画素濃淡値取得手段9により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段10と、正規化手段10により正規化した画素の濃淡値変化に対してフーリエ変換処理(本発明では、処理速度を速めるために高速フーリエ変換:FFTを利用する)を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段11と、を備え、スペクトル抽出手段11により抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。

【0018】
即ち、被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、周期ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本実施形態の周期運動検出手段2では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった理由から、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換(FFT)を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に検出することができる。

【0019】
また、低解像度化手段8は、取得した各フレームの濃淡画像をm×n画素にして低解像度化することを特徴とする。即ち、取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはm×n画素により決定される。即ち、モザイクの大きさは被写体画像の大きさ(手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される)と処理速度との兼ね合いで決定され、被写体画像の一定領域(ブロック)ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる(詳細は後述する)。
また、特定部位動作領域抽出手段3は、周期運動検出手段2により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なう。即ち、画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位だけを的確に抽出することができる(詳細は後述する)。

【0020】
また、周期ジェスチャ識別手段4は、特定部位動作領域抽出手段3により抽出された特定部位の全画像を含む矩形領域を生成する矩形領域生成手段12と、矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段13と、を備え、位相スペクトル差算出手段13により算出された位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する。
即ち、ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。

【0021】
以下、本発明の周期ジェスチャ識別装置100の動作について詳細に説明する。
図2は本発明の周期ジェスチャ識別装置100の動作について説明するフローチャートである。まず、撮像手段1により取得した濃淡画像をm×n画素に低解像度化し(S1)、全画素の濃淡値I(i、j、t)を時系列で取得する(S2)(図3参照)。ただし、i=1、2、…、m、j=1、2、…、nは画像座標、tはフレーム数である。図4(a)に被写体画像15、図4(b)に被写体画像15を低解像度化した画像17の例を示す。ここで、図4(b)の符号16が低解像度化した単位画素となる。画像の低解像度化は、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果が期待できる。
つぎに、図5(a)で示すように各画素における濃淡値の時系列変化を取得し、前uフレームにおける最大値と最小値の差を用いて正規化処理を施す(S3)。さらに図5(b)で示すような正規化した濃淡値変化に対してFFTを行い(S4)、図5(c)、(d)に示すようなスペクトルを取得する(S5)。図5(c)はパワースペクトル、図5(d)は位相スペクトルである。その中からパワースペクトルを算出して(S6)、そのパワースペクトルを特徴量とし、SVMを用いて判別分析を行い(S7)、周期運動領域を画素毎に抽出する(S8)。尚、特徴量にはパワースペクトルGを用いる。Gは式(1)で与えられる。

JP0005303355B2_000002t.gif
Nはサンプリング数、WはDFT(Discrete Fourier Transform)における回転子を表す。

【0022】
本発明では、ソフトマージン法・カーネルトリックをSVMに適用する。学習の際、Gaussカーネルを用い、2つの未知パラメータを決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション(Cross validation)を用いてパラメータを決定する。図6に周期運動を検出した画像21の例を示す。
画素毎に抽出された周期運動領域22には、図6(b)に示すように手振り動作領域以外にジェスチャを行う際同時に振動してしまう頭や肩、服なども含まれている。このため、ジェスチャを行っている手の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域22を補正する。具体的にはまず、周期運動が認識された全画素に対してモルフォロジー処理を施すことで、図7(a)に示すように頭や肩などのジェスチャを識別するうえで不要な周期運動領域を除去して、周期運動領域24とする。さらに、ラベリング処理で最大連結領域のみ選択することで、図7(b)に示すように服などの振動領域を除去して周期運動領域26とする。このように補正された周期運動領域を手の動作領域とする(S9)。

【0023】
次に、抽出された手の動作領域27(図8(a)参照)の全画素を内包する矩形領域28を生成し(図8(b)参照)、その領域内における画素間の位相スペクトル差を算出する(S10)(図9参照)。ここで、識別に用いる位相スペクトルは図10に示すように、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。即ち、図10では、パワースペクトルのピーク周波数は3であるので(符号30)、位相スペクトルは周波数が3の位相スペクトル31を採用する。次にマハラノビス距離を用いた判別分析により(S11)、この位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する(S12)。尚、より確実な認識を行うために、lフレーム以上同一のジェスチャが識別された場合(S13でYes)に、最終結果として周期ジェスチャの種別を確定する(S14)。

【0024】
次に、周期運動を検出するために用いる判別分析の概要について説明する。周期運動の検出は、周期運動とそれ以外に分類する2クラスの識別問題として扱う。線形しきい素子はニューロンを非常に単純化したモデルである。このモデルは入力xに対し、2値の出力yを以下に示す識別関数によって出力する。

JP0005303355B2_000003t.gif
wは重みベクトル、xは特徴空間内の点、bはバイアス項と呼ばれるパラメータである。関数sign(u)は、u≧0のとき1をとり、u<0のとき-1をとる符号関数である。このモデルは、wxがしきい値を超えれば1を出力し、超えなければ-1を出力する。これは、幾何学的には、識別平面により、入力特徴空間を2つに分けることに相当する。線形しきい素子の学習はw、bをうまく判別できるように調整することによって行われる。

【0025】
線形判別法は、パターンの分布全体を考慮して識別面を決定する代表的な手法である。各クラスの学習パターンの平均をMA、MBとすると、クラス内変動SW、クラス間変動SBは以下のように定義される。

JP0005303355B2_000004t.gif
JP0005303355B2_000005t.gif
線形判別法は、クラス内変動、クラス間変動比

JP0005303355B2_000006t.gif
を最大にする方向wにパターンを射影し、この1次元軸上でバイアス項bにより識別を行う。評価関数j(w)の最大化は固有問題に帰着し、その解は、

JP0005303355B2_000007t.gif
となることが知られている。
バイアス項はb=-wT(MA+MB)/2とする。

【0026】
マハラノビス距離による識別法は識別を誤る確率を考慮した手法である。
各クラスの平均ベクトルをMとし、各クラスの共分散行列をVとする。計測された特徴量ベクトルXとのマハラノビス距離dM

JP0005303355B2_000008t.gif
で与えられる。2クラスの判別の場合、d=MA-MBとすると、

JP0005303355B2_000009t.gif
となることが知られている。

【0027】
ここでは、SVMのソフトマージン法について述べる。ソフトマージン法とは、入力データが図11(b)のように線形識別可能である場合の分離超平面を少しだけはみ出る場合に、パラメータζi≧0を用いて制約条件を緩める手法である。入力データのエラーをなるべく小さく、マージンは大きくさせるため、分離超平面は以下の条件付き最適化問題の最適解から求めることになる。

JP0005303355B2_000010t.gif
JP0005303355B2_000011t.gif

【0028】
γは識別エラーに対するペナルティであり、この値の調節によってマージンとはみ出し具合とのバランスを決めることができる。2つの制約条件に対して、Lagrange乗数αi、および、νを導入すると、目的関数は

JP0005303355B2_000012t.gif
と書き換えられる。w、b、βに関する偏微分を0とする停留点では、

JP0005303355B2_000013t.gif
JP0005303355B2_000014t.gif
JP0005303355B2_000015t.gif
となるので、これを式(14)に代入すると、

JP0005303355B2_000016t.gif
JP0005303355B2_000017t.gif
とする双対問題が得られる。最適な分離超平面のwTは制約条件(式(19))の下で得られた最適解αiを用いて、以下のように求まる。

JP0005303355B2_000018t.gif

【0029】
さらに、カーネルトリックを取り入れると、

JP0005303355B2_000019t.gif
JP0005303355B2_000020t.gif
のように内積をカーネルで置き換えた形となる。Kはカーネル関数であり、高次元空間への写像を陰に定義している。また、最適な識別関数は、

JP0005303355B2_000021t.gif
のようにSVMの内積をカーネルで置き換えた形となる。

【0030】
本発明では、周期運動を検出するために必要な特徴量であるパワースペクトルの要約統計量を式(23)に代入し、求められた値から周期運動が行われているか否かの判別を行う。

【0031】
[実施例]
濃淡値の時系列変化を利用した周期ジェスチャ認識手法の有効性を確認するために、認識実験を行った。
まず、本発明が照明環境に対してロバストであることを確認するために、照明環境を変えて周期運動の検出実験を行った。同時に、周期運動を検出するためのパターン認識手法として線形判別法、マハラノビス距離による識別法、SVMを比較し検討を行った。次に、位相スペクトルを用いた周期ジェスチャの識別手法の有効性を確認するために、4種類の周期ジェスチャ認識実験を行った。図12に実験で扱った4種類の周期ジェスチャを示す(Horizontal:H、Vertical:V、Clockwise:CW、Counterclockwise:CCW)。
サンプリング数Nは周波数分解能から32とし、正規化フレーム数uは32、周期ジェスチャの種別を確定するためのフレーム数lは10、解像度は20×15とした。また、カメラから被験者までの距離は2[m]とした。2名の被験者に周期ジェスチャとそれ以外の動作を行ってもらい、スペクトルを取得して学習を行った。

【0032】
本発明では、ソフトマージン法・カーネルトリックをSVMに適用し学習する際、次式に示すGaussカーネルを用いる。

JP0005303355B2_000022t.gif
ここで、ソフトマージン法で用いる、逸脱する範囲を決める定数である式(12)のγと、カーネルトリックで用いる式(24)Gaussカーネルのσの2つの未知数を決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション(Cross validation)を用いてパラメータを決定する。

【0033】
パターン認識の手法として線形判別法、マハラノビス距離による識別法、SVM、それぞれを用いて周期運動の検出に関するシミュレーション実験を行った。シミュレーション実験を行うためのSVMツールとしてLIBSVMを利用した。
まず、2名の被験者に4種類の周期ジェスチャと室内を前後左右に歩行する動作や室内における無造作な動作を行ってもらい、周期運動とそれ以外の動作に対してそれぞれ4000フレーム分のパワースペクトルを取得し学習用データとした。実験環境は室内の照明をすべてつけた状態で行った。
次に、2パターンの照明環境下で、周期ジェスチャを行ってもらい、2000フレーム分のパワースペクトルを取得しテスト用データとした。実験環境は蛍光灯のみの照明とし、手領域付近の鉛直面照度は約60~190[lx](室内の照明を約1/3にした場合)と約250~315[lx](室内の照明をすべてつけた場合)で行った。

【0034】
図13は周期運動検出実験結果である。異なる照明環境においても高い精度で周期動作が認識されていることがわかる。このことから、照明環境に左右されることなく周期運動を認識可能であることが確認できる。室内の照明が明るい場合と暗い場合の認識率を比較すると、どの手法を用いた場合でも照明を暗くした方が若干認識率が高い。これは照明が明るい場合、壁面が十分に照らされ、手と背景で濃淡の差が生じなかったことが考えられる。また、SVMが線形判別法やマハラノビス距離による識別法より優れていることがわかる。以上のことから、周期運動の検出に関して、濃淡値の時系列変化を利用した認識手法が有効であり、周期運動を検出するためのパターン認識の手法として、SVMが有効であるといえる。

【0035】
また、本発明で照明環境に対してロバストに周期運動を検出できることを示した。さらに、パターン認識の手法について検討し、SVMが有効であることを示した。本実施例では、SVMを用いて周期運動を検出し、各周期ジェスチャを認識する実験を行い考察する。
まず、2名の被験者に4種類の周期ジェスチャを行ってもらい、各ジェスチャに対して1000フレーム分の位相スペクトル差を取得した。このようにして集めた合計4000フレーム分の位相スペクトル差を用いて学習を行った。次に、学習データを提供した2名を含む4名の被験者により、各周期ジェスチャの認識実験を行った。各被験者が各ジェスチャを25回ずつ行い、4種類のジェスチャで合計100回の動作を行った。実験環境は室内の照明をすべてつけた状態で行った。各被験者は4つの周期ジェスチャを行うように求められ、求められたジェスチャと本システムにより判別されたジェスチャの一致度で評価を行った。

【0036】
図14に周期ジェスチャの判別結果を示す。各周期ジェスチャを正しく認識する確率(Probability of correct recognition-PCR)は80.3%である。PCRは図14の対角要素の平均である。横動作に関しては、96%と高い認識率が得られていることがわかる。さらに、同じ回転動作である時計周りと反時計まわりに関しても高い認識率が得られていることから、各周期ジェスチャを識別するうえで位相スペクトル差を用いることが有効であると確認できる。反時計まわりの回転動作の方が若干認識率が低くなっているが、これは個人により利き手があるように回転させる方向にも得意、不得意などの個人差があったと考えられる。また、縦動作の認識率が他のジェスチャと比較し低いことがわかる。これは、周期運動検出後に精度良く手の動作領域を抽出できなかったため、的確に位相スペクトル差を取得出来なかったことが原因と考えられる。

【0037】
以上、本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の周期ジェスチャ識別装置を構成する各機能をそれぞれプログラム化し、あらかじめCD-ROM等の記録媒体に書き込んでおき、コンピュータに搭載したCD-ROMドライブのような媒体駆動装置にこのCD-ROM等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
尚、プログラムを格納する記録媒体としては半導体媒体(例えば、ROM、不揮発性メモリカード等)、光媒体(例えば、DVD、MO、MD、CD等)、磁気媒体(例えば、磁気テープ、フレキシブルディスク等)等のいずれであってもよい。

【0038】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、インターネット等を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
尚、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【符号の説明】
【0039】
1 撮像手段、2 周期運動検出手段、3 特定部位動作領域抽出手段、4 周期ジェスチャ識別手段、5 制御手段、6 メモリ、7 ROM、8 低解像度化手段、9 濃淡値画素取得手段、10 正規化手段、11 スペクトル抽出手段、12 矩形領域生成手段、13 位相スペクトル差算出手段、100 周期ジェスチャ識別装置
図面
【図1】
0
【図2】
1
【図3】
2
【図13】
3
【図14】
4
【図4】
5
【図5】
6
【図6】
7
【図7】
8
【図8】
9
【図9】
10
【図10】
11
【図11】
12
【図12】
13