TOP > 国内特許検索 > 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体

周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 新技術説明会

国内特許コード P100000635
整理番号 中央大129
掲載日 2010年4月16日
出願番号 特願2009-123486
公開番号 特開2010-271944
登録番号 特許第5303355号
出願日 平成21年5月21日(2009.5.21)
公開日 平成22年12月2日(2010.12.2)
登録日 平成25年6月28日(2013.6.28)
発明者
  • 梅田 和昇
  • 入江 耕太
  • 高橋 真人
  • 寺林 賢司
出願人
  • 学校法人 中央大学
発明の名称 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体 新技術説明会
発明の概要

【課題】直感的かつ非接触での操作、自然なインタラクションを可能にした周期ジェスチャ識別装置及び識別方法を提供する。
【解決手段】この周期ジェスチャ識別装置100は、大きく分けると、被写体画像を撮像する撮像手段1、撮像手段1により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段2と、周期運動検出手段2により被写体画像が周期運動をしていると判定された場合、被写体画像から特定部位に係る動作領域を抽出する特定部位動作領域抽出手段3と、特定部位動作領域抽出手段3により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段4と、各手段を同期制御する制御手段5と、を備えて構成されている。
【選択図】図1

従来技術、競合技術の概要


ロボットを始めとする機械が我々人間のパートナーとなって安全で豊かな暮らしを実現するために、人間から機械への意思伝達を自然に行える柔軟なヒューマン・マシン・インタフェース(Human Machine Interface:HMI)を構築することが重要である。即ち、我々の日常的なコミュニケーションを考えた場合、意識的あるいは無意識的に身振り、手振りなどのジェスチャを頻繁に用いている。そこで、直感的かつ非接触での操作を可能にするHMIの一つとして、ジェスチャを用いることが考えられる。



これまでに、ジェスチャ認識を用いたHMIの研究が、人工現実感やコンピュータビジョンなどの分野で数多く報告されている。人工現実感では、3次元位置センサや加速度センサを搭載したグローブ型のデバイスを用いて空間的な手の配置や動きを検出して、ジェスチャを認識する手法が提案されている。ほかにも、情報機器や情報家電機器の操作を実現する指装着型のウェアラブルデバイスが提案されている。このような装着型の入力デバイスは人工現実感システムにおける重要な入力手段として用いられてきたが、自然なインタラクションという観点からは、着脱の手間やケーブルなどによって動きに制約があるなどの問題から必ずしも適しているとはいえない。
このようなことから、ケーブルなどを必要としない非接触型のアプローチとして画像処理に基づく手法が研究されてきた。画像処理に基づくジェスチャ認識の手法は、マーカを利用する手法と利用しない手法に分けられる。前者のマーカを利用する手法は、例えばユーザの手足に装着したマーカの位置を、ステレオ法などにより3次元的に追跡してジェスチャを認識するものである。しかし、マーカなどを手足に装着することは、自然なインタラクションを実現するうえでは望ましくない。これに対して、後者のマーカを利用しない手法では、入力画像から抽出された手などの領域に対して、動き、形状変化などからマッチングを行ってジェスチャを認識している。そして、手などの領域を抽出するためには、2つの手法が一般的に用いられている。1つは、カラー画像からユーザの肌の色に近い色領域を抽出することにより手領域を特定する手法である。しかし、この手法では、光源環境の変化によりユーザの肌色も変化するため、安定した領域抽出が困難である。もう1つは、画像間の差分を利用する手法である。この手法では、背景が複雑である場合、背景が一定でない場合、対象領域と背景が同様の色を持つ場合などでは、対象領域だけを安定して抽出することが困難となる。そのため、背景を一定の状態や色に制限する必要があり、使用可能な環境が限定されるという問題が生じる。



また、マーカなどを用いず、且つユーザの手に対応する画像領域を抽出するという前処理を行うことなくジェスチャを認識する手法も提案されているが、人物が複数存在するなどで移動領域が複数の場合、適用が困難である。一方、手振り動作を認識することで、複数の人物が存在する環境下においてもロバストに動作者及び動作者の位置の特定を行う手法も提案されている。さらにこの手法では、色情報を用いていないため、照明条件や肌色の個人差に対してロバストであることが示されている。しかしながら、手を左右に振るなどの繰り返し動作を認識するのみで、その繰り返し動作がジェスチャであることを識別できないという問題がある。
また、従来技術として特許文献1には、多軸角速度センサ又は多軸加速度センサによりジェスチャを入力する技術が開示されているが、この様な接触型のセンサを使用するため、操作可能な範囲が限定されてしまうといった課題がある。また、特許文献2には、時間差分画像を二値化して、そのパターンによってジェスチャを認識する手法について開示されている。しかし、この手法では処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献3には、動画像の各フレームについて対数極座標変換を行い、その変換画像の各画素における高次局所自己相関特徴を用いたジェスチャ認識する技術について開示されている。しかし、特許文献2と同様に処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献4には、距離値を画素値とする距離画像を連続的に生成する距離画像センサの出力データを利用したジェスチャ認識手法について開示されている。しかし、この従来技術では高価な距離画像センサを使用するため、装置のコストが嵩むといった問題がある。

産業上の利用分野


本発明は、周期ジェスチャ識別装置に関し、濃淡値の時系列変化を利用して、画像から周期ジェスチャを認識する装置及び認識方法に関するものである。

特許請求の範囲 【請求項1】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、
前記被写体画像から取得した各フレームに係る画素の濃淡値を時系列に取得する画素濃淡値取得手段、及び前記画素の濃淡値変化に対してフーリエ変換処理を行ってパワースペクトルを抽出するスペクトル抽出手段を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行って周期運動領域を画素ごとに抽出することにより、前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、
該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記周期運動検出手段により抽出された周期運動領域の全画素に対してモルフォロジー処理を施し、ラベリング処理を行って最大連結領域のみを選択することにより、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、
該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別装置。

【請求項2】
前記周期運動検出手段は、
前記画素濃淡値取得手段により取得した直前フレームにおける画素の濃淡値の最大値と最小値を用いて正規化する正規化手段を備え
前記スペクトル抽出手段は、前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行ことを特徴とする請求項1に記載の周期ジェスチャ識別装置。

【請求項3】
前記周期ジェスチャ識別手段は、
前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項1又は2に記載の周期ジェスチャ識別装置。

【請求項4】
前記被写体画像から取得した濃淡画像をフレーム単位にm×n画素に低解像度化する低解像度化手段を備え、
画素濃淡値取得手段は、前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得することを特徴とする請求項1乃至3の何れか一項に記載の周期ジェスチャ識別装置。

【請求項5】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項3に記載の周期ジェスチャ識別装置。

【請求項6】
被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、
周期運動検出手段の画素濃淡値取得手段が、前記被写体画像から取得した各フレームに係る画素の濃淡値を時系列に取得するステップと、
周期運動検出手段のスペクトル抽出手段が、前記画素の濃淡値変化に対してフーリエ変換処理を行ってパワースペクトルを抽出するステップと、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行って周期運動領域を画素ごとに抽出することにより、周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと
記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、特定部位動作領域抽出手段が、前記周期運動検出手段により抽出された周期運動領域の全画素に対してモルフォロジー処理を施し、ラベリング処理を行って最大連結領域のみを選択することにより、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、
周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別方法。

【請求項7】
正規化手段が前記画素濃淡値取得手段により取得した直前フレームにおける画素の濃淡値の最大値と最小値を用いて正規化するステップを備え
前記スペクトル抽出手段は、前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行ことを特徴とする請求項6に記載の周期ジェスチャ識別方法。

【請求項8】
前記周期ジェスチャ識別手段は、
矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成するステップと、
位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項6又は7に記載の周期ジェスチャ識別方法。

【請求項9】
低解像度化手段が、前記被写体画像から取得した濃淡画像をフレーム単位にm×n画素に低解像度化するステップを備え、
画素濃淡値取得手段は、前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得することを特徴とする請求項6乃至8の何れか一項に記載の周期ジェスチャ識別方法。

【請求項10】
前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする請求項に記載の周期ジェスチャ識別方法。

【請求項11】
請求項6乃至10の何れか一項に記載の周期ジェスチャ識別方法をコンピュータ制御可能にプログラミングしたことを特徴とする周期ジェスチャ識別プログラム。

【請求項12】
請求項11に記載の周期ジェスチャ識別プログラムをコンピュータ読み取り可能な形式で記録したことを特徴とする記録媒体。
産業区分
  • 計算機応用
  • 工業用ロボット
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2009123486thum.jpg
出願権利状態 権利存続中
参考情報 (研究プロジェクト等) 中央大学 理工学部 精密機械工学科 知的計測システム研究室
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close