TOP > 国内特許検索 > ジェスチャ認識装置及びジェスチャ認識方法 > 明細書

明細書 :ジェスチャ認識装置及びジェスチャ認識方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5733656号 (P5733656)
公開番号 特開2012-113525 (P2012-113525A)
登録日 平成27年4月24日(2015.4.24)
発行日 平成27年6月10日(2015.6.10)
公開日 平成24年6月14日(2012.6.14)
発明の名称または考案の名称 ジェスチャ認識装置及びジェスチャ認識方法
国際特許分類 G06F   3/01        (2006.01)
FI G06F 3/01 310C
請求項の数または発明の数 7
全頁数 15
出願番号 特願2010-262195 (P2010-262195)
出願日 平成22年11月25日(2010.11.25)
審査請求日 平成25年10月15日(2013.10.15)
特許権者または実用新案権者 【識別番号】506301140
【氏名又は名称】公立大学法人会津大学
発明者または考案者 【氏名】荊 雷
【氏名】程 子学
【氏名】王 軍波
個別代理人の代理人 【識別番号】100091904、【弁理士】、【氏名又は名称】成瀬 重雄
審査官 【審査官】松田 岳士
参考文献・文献 特開2009-165826(JP,A)
特開平11-031047(JP,A)
特開2001-236174(JP,A)
調査した分野 G06F 3/01
G06F 3/03 -3/0482
G06F 3/0485
G06F 3/0487-3/0489
G06F 3/14 -3/153
G06T 7/00 -7/60
特許請求の範囲 【請求項1】
検出部と処理部とを備えており、
前記検出部は、3軸方向への加速度をそれぞれ検出できる構成となっており、
かつ、前記検出部は、使用者の動作に対応して三次元空間内を移動させられるものであり、
前記処理部は、前記3軸方向のうちの少なくとも一つの軸方向における前記加速度についての、既定時間内での標準偏差と、他の一つ又は二つの軸方向における前記加速度についての、既定時間内での標準偏差との大小関係を異なる軸方向の間で判断するノードを有する木構造に基づいてジェスチャを認識する構成となっている
ジェスチャ認識装置。
【請求項2】
前記処理部は、さらに、前記加速度の方向を判別することにより、前記ジェスチャの方向を特定する構成となっている
請求項1に記載のジェスチャ認識装置。
【請求項3】
前記処理部は、特定の軸方向における加速度の最大値と最小値の発生順序を比較することにより、前記ジェスチャの方向を特定する構成となっている
請求項1に記載のジェスチャ認識装置。
【請求項4】
前記検出部は、使用者の指に装着されるものである
請求項1~3のいずれか1項に記載のジェスチャ認識装置。
【請求項5】
以下のステップを備える、装置を用いるジェスチャ認識方法:
(1)3軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の一つ又は二つの軸方向における前記加速度についての、既定時間内での標準偏差とを算出するステップ;
(2)前記算出された標準偏差どうしの大小関係を異なる軸方向の間で判断するノードを有する木構造に基づいてジェスチャを認識するステップ。
【請求項6】
請求項5に記載の各ステップをコンピュータで実行させるためのコンピュータプログラム。
【請求項7】
以下のステップを備える、ジェスチャ認識のための木構造の生成方法:
(1)標準的なジェスチャについて、3軸方向における加速度についての、既定時間内での標準偏差を、各軸について算出するステップ;
(2)前記各軸における標準偏差の大小関係を異なる軸方向の間で順次判断することにより前記標準的なジェスチャに辿りつけるように、ジェスチャを特定するための木構造を決定するステップ。
発明の詳細な説明 【技術分野】
【0001】
本発明は、使用者によって行われるジェスチャを認識するための技術に関するものである。
【背景技術】
【0002】
使用者のジェスチャを認識する技術として、下記特許文献1~5に記載のものがある。
【0003】
例えば、特許文献1の技術では、複数の多軸加速度センサを使用者の身体に取り付ける。そして、一つの多軸加速度センサの出力を基準として、このセンサと他のセンサとの出力の差分を、各軸において算出する。ついで、この差分出力の時間変化のデータと辞書データとを照合する。辞書データでは、差分出力の時間変化のデータとジェスチャとが対応付けられているので、使用者のジェスチャを特定することができる。
【0004】
ところで、この技術においては、特定の一つのセンサの出力を基準とするので、基準となるセンサの初期位置が重要になる。そして、基準センサが初期位置に正しく設置されないと、ジェスチャの認識精度が劣化すると考えられる。
【0005】
また、他の各文献の技術でも、ジェスチャの認識動作が煩雑であるという問題があった。
【先行技術文献】
【0006】

【特許文献1】特開平7-219703号公報
【特許文献2】特開平4-257014号公報
【特許文献3】特開平7-121294号公報
【特許文献4】特開2008-112459号公報
【特許文献5】特開2002-7030号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、前記の状況に鑑みてなされたものである。本発明は、ジェスチャの認識を簡便な手順で比較的正確に行うことが可能な技術を提供することを目的としている。
【課題を解決するための手段】
【0008】
前記した課題を解決する手段は、以下の項目のように記載できる。
【0009】
(項目1)
検出部と処理部とを備えており、
前記検出部は、3軸方向への加速度をそれぞれ検出できる構成となっており、
かつ、前記検出部は、使用者の動作に対応して三次元空間内を移動させられるものであり、
前記処理部は、前記3軸方向のうちの少なくとも一つの軸方向における前記加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成となっている
ジェスチャ認識装置。
【0010】
検出部は、通常、使用者の身体、例えば指に取り付けられる。操作者は、検出部を三次元空間内で移動させることにより、各種の動作、すなわちジェスチャを行うことができる。ここで、三次元空間とは、空気中に限らず、例えば水中であってもよい。
【0011】
(項目2)
前記処理部は、さらに、前記加速度の方向を判別することにより、前記ジェスチャの方向を特定する構成となっている
項目1に記載のジェスチャ認識装置。
【0012】
(項目3)
前記処理部は、前記標準偏差どうしの大小関係を用いた木構造に基づいて前記ジェスチャを認識する構成となっている
項目1又は2に記載のジェスチャ認識装置。
【0013】
(項目4)
前記検出部は、使用者の指に装着されるものである
項目1~3のいずれか1項に記載のジェスチャ認識装置。
【0014】
(項目5)
以下のステップを備えるジェスチャ認識方法:
(1)3軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差とを算出するステップ;
(2)前記算出された標準偏差どうしの大小関係を用いた木構造に基づいてジェスチャを認識するステップ。
【0015】
(項目6)
項目5に記載の各ステップをコンピュータで実行させるためのコンピュータプログラム。
【0016】
(項目7)
以下のステップを備える、ジェスチャ認識のための木構造の生成方法:
(1)標準的なジェスチャについて、3軸方向における加速度についての、既定時間内での標準偏差を、各軸について算出するステップ;
(2)前記各軸における標準偏差の大小関係を用いて前記標準的なジェスチャに辿りつけるように、ジェスチャを特定するための木構造を決定するステップ。
【発明の効果】
【0017】
本発明によれば、ジェスチャの認識を簡便な手順で比較的正確に行うことが可能になる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係るジェスチャ認識装置の概要を説明するための説明図である。
【図2】図1のジェスチャ認識装置において用いる筐体の概略的な斜視図である。
【図3】本実施形態のジェスチャ認識方法の全体的な流れを説明するためのフローチャートである。
【図4】ジェスチャにおける特徴値を取得する手順を説明するための説明図である。
【図5】検出部を取り付ける指のモデルを示す説明図である。
【図6】三次元座標系の取り方を示す説明図である。
【図7】基本的なジェスチャにおける加速度の波形を示す説明図である。
【図8】各軸方向における加速度の標準偏差の状況を説明するための説明図である。
【図9】ジェスチャを認識するための決定木の一例を示す説明図である。
【図10】ジェスチャ認識動作を説明するためのフローチャートである。
【発明を実施するための形態】
【0019】
以下、添付図面を参照しながら、本発明の実施形態に係るジェスチャ認識装置について説明する。

【0020】
(本実施形態の構成)
本実施形態のジェスチャ認識装置は、検出部1と処理部2とを備えている(図1及び図2参照)。

【0021】
(検出部)
検出部1は、3軸方向への加速度をそれぞれ検出できる構成となっている。さらに、検出部1は、使用者の動作に対応して三次元空間内を移動させられるものとなっている。

【0022】
具体的には、この実施形態における検出部1は、加速度センサ11と、MPU(マイクロプロセッサ)ボード12と、パワーボード13と、電池14と、筐体15を備えている(図1及び図2参照)。

【0023】
加速度センサ11は、3軸方向、すなわちX-Y-Z方向への加速度をそれぞれ測定することができる構成となっている。このような加速度センサは、一軸方向への加速度検出用の部品を互いに直交して配置することにより容易に得ることができる。

【0024】
MPUボード12は、柔軟性のあるコネクタ部材を介して加速度センサ11に接続されており、加速度センサ11から出力される各軸方向での加速度値を取得することができるようになっている。また、MPUボード12は、チップアンテナ121を備えており、処理部2との間で無線通信を行うことができるようになっている。すなわち、MPUボード12は、無線を介して、処理部2に、検出された加速度値を送信できるようになっている。

【0025】
パワーボード13は、柔軟性のあるコネクタ部材を介してMPUボード12に接続されており、電池14から供給される電力をMPUボード12に供給できるようになっている。

【0026】
電池14としては、通常の一次電池あるいは再充電可能な二次電池(蓄電池)を用いることができる。ただし、電池14としては、なるべく小型軽量であることが好ましい。

【0027】
筐体15は、この実施形態では,指に装着可能な指輪型の形状とされている。さらに、筐体15の内部には、前記した加速度センサ11等の各要素部材が収納されている。

【0028】
(処理部)
処理部2は、通信I/F(インタフェース)部21と、記憶部22と、CPU(中央処理装置)23とを備えている(図1参照)。

【0029】
通信I/F部21は、検出部1のMPUボード12に搭載されたチップアンテナ121と通信するためのインタフェースとなる部分である。また、通信I/F部21は、電波送受信用のアンテナ211を備えている。

【0030】
記憶部22は、CPU23において実行されるコンピュータプログラムと、動作のために必要な各種のデータを格納している。

【0031】
CPU23は、ジェスチャの認識を行うためのコンピュータプログラムを、記憶部22に記憶されたデータと、検出部1から送られた加速度とを用いて実行するように構成されている。CPU23で実行されるジェスチャ認識動作の詳細は後述する。

【0032】
前記の構成により、本実施形態の処理部2は、3軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成とされている。

【0033】
(本実施形態の動作)
つぎに、本実施形態に係るジェスチャ認識装置を用いたジェスチャ認識方法を、図3~図10をさらに参照して説明する。

【0034】
(図3のステップSA-1)
まず、基本的なジェスチャに対応して、3軸方向における加速度の特徴値を取得する。このステップは、学習のためのステップである。ここで、本実施形態では、加速度の特徴値として、標準偏差の差分を用いる。以下、図4を参照しながら、詳しく説明する。

【0035】
(サンプリング)
まず、説明の前提として、この実施形態における検出部1の装着状態を、図5に基づいて説明する。図5は、指をモデル化した図を示している。この例では、第1関節と第2関節との間に検出部1の筐体15を取り付けたと仮定している。ただし、他の部位に筐体15を取り付けることは可能である。また、手の指以外の箇所に検出部1を取り付けることも可能である。その場合は、筐体15の形状を、取り付け箇所に適合するように構成することが好ましい。

【0036】
図5の状態におけるヨー、ロール、ピッチ等の動作の方向の取り方を、図6に示した。

【0037】
サンプリング動作においては、基本的なジェスチャを実行し、そのときの各軸における加速度を測定する。図7の(a)~(l)に、基本的な12種類のジェスチャと、そのときの各軸における加速度の値とを示す。図7の(a)~(l)に示したグラフにおいて、縦軸は加速度値、横軸はサンプル点を示す。なお、この例では、50Hzでサンプリングを行った。つまり、1秒間あたり50個の加速度データを、各軸方向において取得した。また、図4においては、図6(c)に示すL-Shiftの動作(左方向に指先を動かす動作)での加速度値を記載してある。このサンプリングを複数回(例えば100回)行う。なお、この明細書では、特に言及しない限り、1回の動作に対する複数のサンプル点の取得の全体をサンプリングと称する。

【0038】
(標準偏差の算出)
ついで、1回のサンプリングにおける標準偏差を下記のようにして算出する。まず、各軸における平均加速度を下記式により求める。

【0039】
JP0005733656B2_000002t.gif

【0040】
ここで、
N:各回の加速度サンプリングにおけるサンプル点の数(例えばN=50);
i:i番目のサンプル点における加速度値;
aバー:平均加速度。

【0041】
求めた平均加速度aバーを用いて、各軸における標準偏差sdを下記式により求める。

【0042】
JP0005733656B2_000003t.gif

【0043】
この標準偏差sdを、各回のサンプリングについて求める。したがって、サンプリングを100回行った場合は、100個の標準偏差sdを、各軸について求めることができる。

【0044】
L-Shiftという動作について、百回のサンプリングを行った結果を図8に示す。このグラフにおける縦軸は、X,Y,Zの各軸について前記の計算によって得た、加速度値の標準偏差である。このグラフの横軸は、各サンプリングの回数(何回目のサンプリングか)を示す。

【0045】
この図から分かるように、各回の動作において、Y軸方向の標準偏差が、他の方向の標準偏差より大きい。また、第11回目のサンプリングにおけるジェスチャは、第35回目のサンプリングにおけるジェスチャよりもゆっくりした動作である。このため、加速度の絶対値として、第11回目のデータは、第35回目のデータよりも小さい。しかしながら、標準偏差に着目すると、いずれの場合でも、Y軸方向の標準偏差が、他の方向の標準偏差より大きいという特徴を維持している。したがって、標準偏差の大小という、比較的単純な判断を行うことにより、ジェスチャの判別が可能であることが分かる。すなわち、sdy>sdxかつsdy>sdzという特徴判定により、一つのジェスチャ判別が可能となる。

【0046】
(図3のステップSA-2)
前記と同様な特徴抽出を、各ジェスチャについて行う。これにより、図9に示すように、標準偏差の比較を用いた決定木を作成することができる。すなわち、取得された特徴値に基づいて、ジェスチャ認識用の決定木を生成する。この決定木の生成は、通常、特徴値を見ながら作業者が行うことができる。

【0047】
なお、この決定木では、ジェスチャの方向を決定するために、最大及び最小の加速度が得られたサンプル番号の大小をさらに比較している。例えば、図7の(c)に示す左への移動と、図7の(d)に示す右への移動は、前記した標準偏差の大小だけでは区別が難しい。しかしながら、Y軸方向への加速度の最大値と最小値が、それぞれ、どのサンプル値で発生したかという情報を追加的に用いると、ジェスチャの方向を決定することができる。例えば、図7(c)を見ると、Y方向加速度の最大値は、最小値よりも後のサンプル値番号で得られている。つまり、YmaxNo>YminNoとなる。一方、図7(d)の波形を見ると、逆にYmaxNo<YminNoとなっている。このようにサンプル番号を比較することにより、つまり、最大値と最小値の発生順序を比較することにより、ペアとなるジェスチャを区別することができる。

【0048】
(図3のステップSA-3)
ついで、使用者は、実際のジェスチャを実行する。検出部1は、3軸方向での加速度を検出し、処理部2は、ジェスチャの認識を行う。このジェスチャ認識は、前記した決定木を用いて行われる。ジェスチャ認識動作の詳細を、図10をさらに参照しながら説明する。

【0049】
(図10のステップSB-1)
まず、使用者は、検出部1の筐体15を指に取り付ける。この状態では、加速度センサ11と指との位置関係が固定される。

【0050】
ついで、使用者は、既定の動作開始ジェスチャを行う。動作開始ジェスチャとは、ジェスチャ判定が容易な特別のジェスチャである。例えば、使用者は、指を水平方向に進めるジェスチャを行う。このとき、各軸の加速度センサの値としては、動作開始時に0以外であり、その後はほぼ0となる。このような加速度値は、処理部2に送られる。処理部2のCPU23は、記憶部22に格納されたデータを参照する。そして、前記のような特別な値の場合は、動作開始ジェスチャであると判定することができる。動作開始ジェスチャと判定した場合は、後述の処理が行われる。

【0051】
(図10のステップSB-2)
前記した動作開始ジェスチャを行った後、使用者は、既定のジェスチャを行う。例えば、本実施形態では、図7に示した12種類のジェスチャのうちのいずれかを行う。このジェスチャによって発生した各軸方向での加速度は、検出部1によって検出され、処理部2に送られる。

【0052】
(図10のステップSB-3)
ついで、使用者は、既定の動作終了ジェスチャを行う。この動作終了ジェスチャは、動作開始ジェスチャと同様に、ジェスチャ判定が容易な特別のジェスチャである。この実施形態では、既定時間の間動作を停止する(検出部1を動かさない)というジェスチャを行う。サンプリングを行う時間を1秒間とすると、1秒間の間、動作を停止させる。このようにすると、各軸方向での加速度値はほぼ0を維持するので、処理部2は、動作終了ジェスチャを判定することができる。

【0053】
(図10のステップSB-4)
ついで、処理部2のCPU23は、記憶部22に格納されたコンピュータプログラムに従って、得られた加速度値を用いて、各軸方向での特徴値を計算する。つまり、各軸方向での加速度の標準偏差、加速度の最大値、加速度の最小値をそれぞれ算出する。また、加速度の最大値と最小値が得られたサンプル番号をそれぞれ特定する。

【0054】
(図10のステップSB-5)
ついで、処理部2のCPU23は、算出された特徴値を、図9に一例として示す決定木に適用する。この決定木において&とあるのはアンド条件を示す。これにより、図9の四角枠で示すジェスチャを特定することができる。

【0055】
(図10のステップSB-6)
前記ステップSB-5によりジェスチャを特定できた場合は、次のステップに進む。ジェスチャを特定できなかった場合は、処理部2は、適宜の手段(例えば警告音や警告表示)によりエラーメッセージを表示する。これにより、使用者に対して、再度の動作開始ジェスチャの実行を促すことができる。既定時間内に動作開始ジェスチャが行われた場合は、前記したSB-2からのステップを再度実行する。

【0056】
(図10のステップSB-7)
ついで、処理部2は、特定したジェスチャに対応する命令を特定する。例えば、コンピュータ(図示せず)への特定の指令内容を特定する。この操作は、記憶部22に適宜な照合テーブルを備えることにより実行できる。

【0057】
(図10のステップSB-8)
ついで、処理部2は、コンピュータ(図示せず)に対して、特定された命令を送信する。これにより、コンピュータは、使用者のジェスチャに対応する動作を行うことができる。

【0058】
本実施形態では、前記したように、加速度の標準偏差の大小関係を用いて、ジェスチャ認識用決定木を生成することができる。このため、決定木が簡潔であるという利点がある。

【0059】
また、本実施形態では、閾値最適化を行う必要がない。このため、人間によって、安定した決定木を簡単に生成できるという利点もある。

【0060】
さらに、本実施形態では、ジェスチャ判定に必要な計算量が少ないという利点もある。例えば、従来の技術では、2つの信号シーケンスの間の類似度を測る認識手法(動的時間伸縮法 、隠れマルコフモデル)を用いるものがある。このような従来手法では、積分やマトリックス計算が必要となり、計算量が多い。これに対して、本実施形態では、前記した通り、少ない計算量でジェスチャの認識を行うことができる。

【0061】
なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。例えば、前記した検出部における各機能要素は、ネットワークを介して分散配置されていてもよい。また、各機能要素が、複数のハードウエアの組み合わせによって実現されていてもよく、さらには、各機能要素が集合して一つのハードウエアを構成していてもよい。要するに、各機能要素は、必要な機能を実行できるように構成されていればよい。
【符号の説明】
【0062】
1 検出部
11 加速度センサ
12 ボード
121 チップアンテナ
13 パワーボード
14 電池
15 筐体
2 処理部
21 通信I/F部
211 アンテナ
22 記憶部
23 CPU
図面
【図1】
0
【図2】
1
【図3】
2
【図6】
3
【図9】
4
【図10】
5
【図4】
6
【図5】
7
【図7】
8
【図8】
9