TOP > 国内特許検索 > 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 > 明細書

明細書 :入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4934813号 (P4934813)
公開番号 特開2008-192004 (P2008-192004A)
登録日 平成24年3月2日(2012.3.2)
発行日 平成24年5月23日(2012.5.23)
公開日 平成20年8月21日(2008.8.21)
発明の名称または考案の名称 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
国際特許分類 G06F   3/038       (2006.01)
G06F   3/01        (2006.01)
FI G06F 3/038 310Y
G06F 3/01 310C
請求項の数または発明の数 10
全頁数 26
出願番号 特願2007-027230 (P2007-027230)
出願日 平成19年2月6日(2007.2.6)
新規性喪失の例外の表示 特許法第30条第1項適用 2006年9月14日 社団法人 日本ロボット学会発行の「第24回日本ロボット学会学術講演会講演概要集」に発表
特許法第30条第1項適用 平成18年11月18日 社団法人 計測自動制御学会 中国支部発行の「第15回計測自動制御学会中国支部学術講演会論文集」に発表
審査請求日 平成21年10月28日(2009.10.28)
特許権者または実用新案権者 【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】辻 敏夫
【氏名】市座 智之
【氏名】白石 大樹
【氏名】杉山 利明
【氏名】島 圭介
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人原謙三国際特許事務所
審査官 【審査官】土居 仁士
参考文献・文献 特開2004-167056(JP,A)
調査した分野 G06F 3/01
G06F 3/038
特許請求の範囲 【請求項1】
ユーザの腕に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、
前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備え
前記操作対象は、前腕部および上腕部を有する義手型機器であり、
前記制御部は、
前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定部と、
前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定部と、
前記手先移動変位推定部によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御部と、
前記手先動作推定部によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御部とを備えることを特徴とする入力情報処理装置。
【請求項2】
前記手先動作推定部は、
前記筋音信号から特徴パターンベクトルを算出する特徴パターンベクトル算出部と、
前記特徴パターンベクトルからニューラルネットを用いて、前記義手型機器の手先の動作を識別する手先動作識別部とを備えることを特徴とする請求項に記載の入力情報処理装置。
【請求項3】
前記手先動作推定部は、さらに、前記筋音信号から前記義手型機器の手先の動作を発生させるタイミングを推定するタイミング推定部を備えることを特徴とする請求項に記載の入力情報処理装置。
【請求項4】
前記手先動作識別部は、前記義手型機器の手先の動作の誤識別を防止するための誤識別防止部を備えることを特徴とする請求項またはに記載の入力情報処理装置。
【請求項5】
ユーザの腕に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、
前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備え、
前記制御部は、
前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ推定部と、
前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定部と、
ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別部によって識別される前記ジェスチャおよび前記筋収縮レベル推定部によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定部と、
前記動作決定部によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御部とを備え
前記操作対象は、表示装置に表示された画像の動作を含むことを特徴とする入力情報処理装置。
【請求項6】
前記ジェスチャ推定部は、
前記加速度信号から識別パターンベクトルを算出する識別パターンベクトル算出部と、
前記識別パターンベクトルからニューラルネットを用いて、ユーザのジェスチャを識別するジェスチャ識別部とを備えることを特徴とする請求項に記載の入力情報処理装置。
【請求項7】
人体の腕に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、
前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程と含み、
前記操作対象は、前腕部および上腕部を有する義手型機器であり、
前記制御工程は、
前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定工程と、
前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定工程と、
前記手先移動変位推定工程によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御工程と、
前記手先動作推定工程によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御工程とを備えることを特徴とする入力情報処理方法。
【請求項8】
ユーザの腕に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、
前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程とを備え、
前記制御工程は、
前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ識別工程と、
前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定工程と、
ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別工程によって識別される前記ジェスチャおよび前記筋収縮レベル推定工程によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定工程と、
前記動作決定工程によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御工程とを備え、
前記操作対象は、表示装置に表示された画像の動作を含むことを特徴とする入力情報処理方法。
【請求項9】
請求項1~のいずれか1項に記載の入力情報処理装置の前記各部としてコンピュータを機能させるための入力情報処理プログラム。
【請求項10】
請求項9に記載の入力情報処理装置の入力情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【0002】
近年、高齢者や障害者が増加傾向にあり、機器を用いた人間支援に関する研究が数多く行われている。このような人間支援のための機器としては、例えば、体肢を切断した障害者が用いる動力義肢や、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置等が挙げられる。
【0003】
体肢を切断した障害者の動力義肢の制御手段として、あるいは、ほとんど身動きができない重度障害者の外部環境への伝達手段として、生体信号の一種である筋電位(EMG)信号の利用が数多く試みられている。EMG信号は、人の筋収縮レベルに応じて発生する信号であり、動作や力、運動の柔らかさ等の有益な情報を数多く含んでいる。そのため、動力義肢の動作制御にEMG信号を用いることにより、より自然な感覚で動力義肢の動作を制御することが可能である。
【0004】
また、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置では、ジェスチャの種類を識別するために、従来から磁気センサや加速度センサ等を用いてユーザの身体運動成分を取得する技術が数多く提案されている。また、ジェスチャの種類を識別するために、ユーザの身体運動成分以外の成分を用いる技術も提案されている。例えば、特許文献1には、ジェスチャを作り出す筋肉運動を表す時間進展信号から、ユーザが行ったジェスチャを決定する技術が開示されている。
【0005】
また、前腕部および上腕部を有する義手型装置の動作制御や、ユーザが行ったジェスチャの種類の識別には、筋の電気活動を表すEMG信号と、ユーザの上肢の身体運動成分とを両方用いる技術も提案されている。このように、ユーザの筋活動成分と、身体運動成分とを両方用いることにより、上記義手型装置では動作を自由に制御することが可能となり、上記ジェスチャの識別では力の利用も識別することが可能となる。

【特許文献1】特開2004-157994号(平成16年6月3日公開)
【特許文献2】特開2002-366927号(平成14年12月20日公開)
【非特許文献1】T.Tsuji, O.Fukuda, H.Ichinobe and M.Kaneko:“A Log-Linearized Gaussian Mixture Network and Its Application to EEG Pattern Classification”IEEE Transactions on Systems, Man, and CyberneticsPart C, vol. 29, no.1, pp.60-72, 1999
【発明の開示】
【発明が解決しようとする課題】
【0006】
上述したように、動力義肢やジェスチャを用いた制御装置等の動作を制御するためには、ユーザの身体運動成分および筋活動成分が用いられている。このような機器は、ユーザの身体運動成分および筋活動成分のどちらか1つを用いて制御を行う場合よりも、両方を用いて制御を行う方が、より自由にまたはより直感的に動作を制御することが可能となる。
【0007】
しかしながら、ユーザの身体運動成分および筋活動成分の両方を得るためには、例えば、身体運動成分を得るための三次元位置センサおよび筋活動成分を得るためのEMGセンサの2つのセンサを用いる必要があり、装置が複雑になってしまうという問題がある。
【0008】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0009】
本発明の入力情報処理装置は、上記課題を解決するために、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴としている。
【0010】
本発明の入力情報処理装置では、1つの加速度センサによって測定された信号を、信号分離部によって加速度信号および筋音信号の2つの信号に分離することができる。そのため、加速度センサが装着されたユーザの操作対象の動作を制御するために、上記加速度信号および上記筋音信号の2つの信号を用いることが可能となる。
【0011】
ここで、加速度信号とは、ユーザの身体運動の加速度を表した信号である。また、筋音信号とは、ユーザの活動筋の機械的な活動を表した信号であり、筋の収縮レベルにしたがって信号の振幅が変化する等、EMG信号と同等の性質を有している。
【0012】
すなわち、本発明の入力情報処理装置では、筋活動成分としてEMG信号ではなく筋音信号を用いることにより、1つの加速度センサによって測定された信号から、ユーザの身体運動成分および筋活動成分を得ることができる。その結果、従来のように、ユーザの身体運動成分および筋活動成分を得るために2つのセンサを用いる必要がなく、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を提供することができる。
【0013】
また、従来では、一般に、筋活動成分を得るためにEMG信号を利用しているが、EMG信号は、発汗等の皮膚インピーダンス変化の影響を受けてしまうために、筋活動成分の測定が困難になる可能性がある。そこで、本発明の入力情報処理装置では、筋活動成分として、皮膚インピーダンス変化の影響を受けない筋音信号を用いることにより、加速度センサによって確実に測定することが可能となる。
【0014】
また、本発明の入力情報処理装置では、前記操作対象は、前腕部および上腕部を有する義手型機器であり、前記制御部は、前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定部と、前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定部とを備え、前記手先移動変位推定部によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御部と、前記手先動作推定部によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御部とを備えていてもよい。
【0015】
上記構成により、ユーザの操作対象が前腕部および上腕部を有する義手型機器である場合、1つの加速度センサから得られた信号を、信号分離部によって加速度信号および筋音信号に分離し、該加速度信号を上腕部の駆動を制御するために、該筋音信号を前腕部の駆動を制御するために用いることが可能である。
【0016】
具体的には、手先移動変位推定部は、信号分離部によって分離された加速度信号から、現在位置からユーザが意図する目標位置までの義手型機器の手先の移動方向および移動距離を推定する。また、手先動作推定部は、信号分離部によって分離された筋音信号から、ユーザが意図する義手型機器の手先の動作を推定する。
【0017】
そして、上腕制御部は、上記手先移動変位推定部によって推定された、現在位置からユーザが意図する目標位置までの義手型機器の手先の移動方向および移動距離に基づいて、上腕部の駆動を制御する。また、前腕制御部は、手先動作推定部によって推定された義手型機器の手先の動作に基づいて、前腕部の駆動を制御する。
【0018】
すなわち、本発明の入力情報処理装置では、加速度センサによって測定された信号を、信号分離部によって加速度信号と筋音信号に分離することにより、該筋音信号からユーザが意図する手先の動作を推定するだけでなく、該加速度信号からユーザが意図する目標位置までの移動距離および移動方向の推定も行うことができる。その結果、1つの加速度センサを用いて、前腕部および上腕部を有する義手型機器を自由に制御することができる。
【0019】
また、本発明の入力情報処理装置では、前記手先動作推定部は、前記筋音信号から特徴パターンベクトルを算出する特徴パターンベクトル算出部と、前記特徴パターンベクトルからニューラルネットを用いて、前記義手型機器の手先の動作を識別する手先動作識別部とを備えていてもよい。
【0020】
本発明の入力情報処理装置では、ユーザが意図する手先の動作を推定するために、ニューラルネットを用いている。特に、本発明では、上記ニューラルネットとして、フィードフォワード型ニューラルネットの一種であるLog-Linearized Gaussian Mixture Network(LLGMN)を用いている。LLGMNは、内部に混合ガウス分布モデルを含んでいるために、特徴パターンベクトルに対する各動作の事後確率を算出することが可能である。
【0021】
そのため、特徴パターンベクトル算出部によって筋音信号から算出された特徴パターンベクトルは、手先動作識別部において上記ニューラルネットを用いることにより、該特徴パターンベクトルに対する予め学習させた義手型機器の手先の動作の事後確率を算出することができる。その結果、手先動作識別部は、算出された事後確率から、上記特徴パターンベクトルが、どの手先動作に対応するか識別することができる。
【0022】
また、LLGMNの学習能力により、個人差による筋音信号の違いや、加速度センサの装着位置のずれ、疲労等による筋音信号の変化等に対応することができるために、本発明の入力情報処理装置では、ユーザが意図する義手型機器の手先動作を高精度に識別することが可能である。
【0023】
また、本発明の入力情報処理装置では、前記手先動作推定部は、さらに、前記筋音信号から前記義手型機器の手先の動作を発生させるタイミングを推定するタイミング推定部を備えていてもよい。
【0024】
上記構成により、本発明の入力情報処理装置では、タイミング推定部は、手先動作識別部によって識別されたユーザの意図する義手型機器の手先の動作が、どのタイミングで行われたかを筋音信号から推定することができる。そのため、ユーザが意図する義手型機器の手先の動作を、ユーザが意図するタイミングで行うことができ、該義手型機器をより自由に制御することが可能となる。
【0025】
また、本発明の入力情報処理装置では、前記手先動作識別部は、前記義手型機器の手先の動作の誤識別を防止するための誤識別防止部を備えていてもよい。
【0026】
ユーザの操作対象が前腕部および上腕部を有する義手型機器である場合、手先動作推定部の手先動作識別部において、ユーザが意図する該義手型機器の動作の推定を誤識別してしまうと、日常生活に支障をきたす可能性がある。そのため、手先動作識別部における動作識別では、できるだけ誤識別を防止する必要がある。
【0027】
そこで、本発明の上記構成により、ユーザが意図する義手型機器の手先の動作を識別する際に、誤識別が生じる可能性を低くすることが可能である。
【0028】
また、本発明の入力情報処理装置では、前記制御部は、前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ識別部と、前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定部と、ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別部によって識別される前記ジェスチャおよび前記筋収縮レベル推定部によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定部と、前記動作決定部によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御部とを備えていてもよい。
【0029】
上記構成により、1つの加速度センサから得られた信号を、信号分離部によって加速度信号および筋音信号に分離し、該加速度信号をユーザが行ったジェスチャの種類を識別するために、該筋音信号をユーザの筋収縮レベルを推定するために用いることが可能である。
【0030】
具体的には、ジェスチャ識別部は、信号分離部によって分離された加速度信号から、ユーザが行ったジェスチャの種類を識別する。また、筋収縮レベル推定部は、信号分離部によって分離された筋音信号から、ユーザの筋収縮レベル、すなわち力の入れ具合を推定する。
【0031】
そして、動作決定部は、ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、ジェスチャ識別部によって識別されるジェスチャおよび筋収縮レベル推定部によって推定される筋収縮レベルに対応するユーザの操作対象の動作を読み出す。そして、動作制御部は、動作決定部によって決定された動作に基づいて、ユーザの操作対象の動作を制御する。
【0032】
すなわち、本発明の入力情報処理装置では、加速度センサによって測定された信号を、信号分離部によって加速度信号と筋音信号に分離することにより、該加速度信号からジェスチャの推定を行うだけでなく、該筋音信号から力の入れ具合の推定も行うことができる。その結果、ジェスチャだけを測定する構成と比較して、身体の動きが同じでも力の入れ具合に応じて別のジェスチャとして扱うことが可能となり、識別可能なジェスチャの種類を増やすことなく、行うことができるユーザの操作対象の動作の制御の種類を増加させることができる。
【0033】
また、本発明の入力情報処理装置では、前記ジェスチャ推定部は、前記加速度信号から識別パターンベクトルを算出する識別パターンベクトル算出部と、前記識別パターンベクトルからニューラルネットを用いて、ユーザのジェスチャを識別するジェスチャ識別部とを備えていてもよい。
【0034】
本発明の入力情報処理装置では、ユーザが行ったジェスチャの種類を識別するために、ニューラルネットを用いている。特に、本発明では、上記ニューラルネットとして、リカレント型ニューラルネットの一種であるRecurrent-Log-Linearized Gaussian Mixture Network(R-LLGMN)を用いている。R-LLGMNは、内部に混合ガウス分布モデルおよび隠れマルコフモデルを含んでいるために、識別パターンベクトルの時系列信号に対する各動作の事後確率を算出することが可能である。
【0035】
そのため、識別パターンベクトル算出部によって加速度信号から算出された識別パターンベクトルは、ジェスチャ識別部において上記ニューラルネットを用いることにより、該識別パターンベクトルに対する予め学習させたジェスチャの種類の事後確率を算出することができる。その結果、ジェスチャ識別部は、算出された事後確率から、上記識別パターンベクトルが、どのジェスチャに対応するか識別することができる。
【0036】
また、R-LLGMNの学習能力により、個人差による加速度信号の違いや、加速度センサの装着位置のずれ、疲労等による加速度信号の変化等に対応することができるために、本発明の入力情報処理装置では、ユーザが行ったジェスチャの種類を高精度に識別することが可能である。
【0037】
また、本発明の入力信号制御方法は、人体に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程と含むことを特徴としている。
【0038】
入力情報処理方法の各工程においては、入力情報処理装置の各部と同様の処理が実現されているので、入力情報処理装置と同様の作用効果を得ることができる。
【0039】
なお、上記入力情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記入力情報処理装置をコンピュータにて実現させる入力情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0040】
本発明の入力情報処理装置は、以上のように、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴としている。
【0041】
本発明の入力情報処理装置では、筋活動成分としてEMG信号ではなく筋音信号を用いることにより、1つの加速度センサによって測定された信号から、ユーザの身体運動成分および筋活動成分を得ることができる。その結果、従来のように、ユーザの身体運動成分および筋活動成分を得るために2つのセンサを用いる必要がなく、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を実現できる。
【発明を実施するための最良の形態】
【0042】
本発明の一実施形態について図1~図14に基づいて説明すると以下の通りである。
【0043】
本発明の入力情報処理装置は、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離し、該加速度信号および該筋音信号に基づいて、ユーザの操作対象の動作を制御する。
【0044】
〔第1実施形態〕
まず、本発明の第1実施形態の入力情報処理装置について図1~図7を参照して説明する。図1は、本実施形態の入力情報処理装置1の概略構成を示すブロック図である。
【0045】
本実施形態の入力情報処理装置1は、ユーザが意図する動作を加速度センサ2によって測定された信号から推定し、該信号に基づいてユーザの操作対象の動作を制御するためのものであり、信号分離部3と、制御部4とから構成されている。
【0046】
本実施形態では、ユーザの操作対象として、図2に示すような、上腕部14および前腕部13を有する義手型装置(義手型機器)12が挙げられる。なお、以下の説明において、入力情報処理装置1は、義手型装置12の動作を制御するものとして説明する。
【0047】
加速度センサ2は、義手型装置12を操作するユーザの腕に装着され、ユーザの腕の動きに応じた信号を測定するためのものである。加速度センサ2によって測定された上記信号には、ユーザの上肢運動の加速度信号(acceleration:ACC)と、加速度センサ2を装着した活動筋の機械的な活動を示す筋音信号(mechanomyogram:MMG)とが含まれている。
【0048】
信号分離部3は、加速度センサ2によって測定された上記信号を、加速度信号と筋音信号とに分離するためのものである。信号分離部3は、各信号の周波数帯域の差を利用して、加速度センサ2によって測定された上記信号を加速度信号と筋音信号とに分離する。
【0049】
ここで、加速度センサ2によって測定された上記信号と、加速度信号と、筋音信号との関係について図3を参照して説明する。図3(a)は、ユーザが把持状態と手先を動かした状態とを同時に行った場合に、加速度センサ2によって測定された信号における時間と加速度との関係を示すグラフであり、図3(b)は、図3(a)の信号から分離された筋音信号における時間と加速度との関係を示すグラフであり、図3(c)は、図3(a)の信号から分離された加速度信号における時間と加速度との関係を示すグラフである。なお、図3(a)~(c)において、横軸は時間(秒)を、縦軸は加速度(m/s)を、陰影をつけた箇所は把持を行っていることを示している。
【0050】
ここで、図3(b)に示す筋音信号を得るために、図3(a)に示す加速度センサ2によって測定された信号を、通過帯域が25~150〔Hz〕のバンドパス型バタワースフィルタを用いて分離している。また、図3(c)に示す加速度信号を得るために、図3(a)に示す加速度センサ2によって測定された信号を、通過帯域が1~3〔Hz〕のバンドパス型バタワースフィルタを用いて分離している。
【0051】
筋音信号は、図3(b)に示すように、図中の陰影をつけた箇所のみ、すなわち把持を行っているときのみに検出されていることが分かる。すなわち、筋の随意収縮時の筋音信号は、比較的高周波帯域の周波数成分が含まれているために、加速度センサ2によって測定された信号を、適切なフィルタ処理を施すことにより、加速度信号と筋音信号とに分離することができる。
【0052】
制御部4は、信号分離部3によって分離された加速度信号および筋音信号を用いて、義手型装置12の上腕部14および前腕部13の駆動を制御するためのものであり、手先移動変位推定部5と、上腕制御部6と、手先動作推定部7と、前腕制御部8とから構成されている。
【0053】
手先移動変位推定部5は、信号分離部3によって分離された加速度信号から、現在位置からユーザが意図する目標位置までの義手型装置12の手先の移動方向および移動距離を算出するためのものである。
【0054】
ここで、手先移動変位推定部5が加速度信号から義手型装置12の手先の移動方向および移動距離を算出する方法について図4を参照して説明する。図4は、上肢を動作させた場合の加速度信号を示すグラフである。なお、図4において、横軸は時間(秒)を、縦軸は加速度(m/s)を示している。
【0055】
まず、手先移動変位推定部5が、正確な義手型装置12の手先の移動方向および移動距離を算出するためには、図4に示す加速度信号からバイアス成分の影響を除去する必要がある。そのため、加速度信号からユーザの上肢の動作に対応する動作期間の切り出しを行う。ここでは、加速度信号の閾値ACCthが予め設定されている。
【0056】
図4に示すように、加速度信号ACC(t)が閾値ACCthを初めて超えた時点を時刻Tとし、時刻Tから加速度信号ACC(t)が最初にゼロ交差する時刻を動作開始時刻Tstrとする。また、動作開始時刻Tstrから加速度信号ACC(t)が2回ゼロ交差した時点の時刻を動作終了時刻Tendとする。そして、動作開始時刻Tstrから動作終了時刻Tendまでの区間、すなわち図4の陰影をつけた区間を動作期間とする。
【0057】
上述した方法によって抽出した加速度信号の動作期間を、台形積分法を用いて、下記数式1により速度V(t)を算出する。
【0058】
【数1】
JP0004934813B2_000002t.gif

【0059】
そして、上記数式1によって算出された速度V(t)を用いて、下記数式2により位置P(t)を算出する。
【0060】
【数2】
JP0004934813B2_000003t.gif

【0061】
上腕制御部6は、手先移動変位推定部5によって算出された義手型装置12の手先の目標位置P(t)に基づいて、義手型装置12の上腕部14の駆動を制御するためのものである。
【0062】
手先動作推定部7は、義手型装置12の前腕部13における手先の動作を推定するためのものであり、特徴パターンベクトル算出部9と、手先動作識別部10と、タイミング推定部11とから構成されている。
【0063】
特徴パターンベクトル算出部9は、信号分離部3によって分離された筋音信号から、特徴パターンベクトルを算出するためのものである。特徴パターンベクトルは、筋音信号から下記数式3によって算出される。
【0064】
【数3】
JP0004934813B2_000004t.gif

【0065】
ここで、x(t)(i=1,・・・,L)は、特徴パターンベクトルの各要素を示している。また、MMG(t)は信号分離部3によって分離された時刻tにおける筋音信号を示しており、MMGstは安静時に計測したMMG(t)の平均値を示している。なお、Lは加速度センサの個数を示している。
【0066】
手先動作識別部10は、特徴パターンベクトル算出部9によって算出された特徴パターンベクトルから、ニューラルネットを用いてユーザの意図する義手型装置12の手先の動作を識別するためのものである。
【0067】
ここで、ニューラルネットとしては、フィードフォワード型ニューラルネットの一種であるLog-Linearized Gaussian Mixture Network(LLGMN)が用いられる。LLGMNは、内部に混合ガウス分布モデルを含んでいるために、特徴パターンベクトルに対する各動作の事後確率を算出することが可能である。
【0068】
そのため、手先動作識別部10は、上記ニューラルネットを用いることにより、特徴パターンベクトル算出部9によって筋音信号から算出された特徴パターンベクトルに対する、予め上記ニューラルネットに学習させた義手型装置12の手先の動作の事後確率を算出することができる。その結果、手先動作識別部10は、算出された事後確率から、上記特徴パターンベクトルが、どの手先動作に対応するか識別することができる。
【0069】
また、LLGMNの学習能力により、個人差による筋音信号の違いや、加速度センサ2の装着位置のずれ、疲労等による筋音信号の変化等に対応することができるために、入力情報処理装置1では、ユーザが意図する義手型装置12の手先動作を高精度に識別することが可能である。なお、LLGMNについては、非特許文献1に具体的に記載されている。
【0070】
また、手先動作識別部10において、ユーザが意図する義手型装置12の動作を誤識別してしまうと、ユーザは日常生活に支障をきたす可能性がある。そのため、手先動作識別部10における動作識別では、できるだけ誤識別を防止する必要がある。
【0071】
そこで、本実施形態の入力情報処理装置1では、手先動作識別部10がユーザが意図する義手型装置12の手先の動作の誤識別を防止するための誤識別防止部(図示せず)を備えることにより、ユーザが意図する義手型装置12の手先の動作を識別する際に、誤識別が生じる可能性を低くすることができる。
【0072】
上記誤識別防止部としては、上記ニューラルネットによって算出された事後確率から、該ニューラルネットが学習している各手先動作のエントロピーを求め、該エントロピーが所定の閾値Hthを下回った場合には識別動作を行い、該エントロピーが所定の閾値Hthを超えた場合には識別動作を保留するエントロピー判定部が挙げられる。また、上記誤識別防止部として、上記ニューラルネットによって識別された識別結果に対し安定識別回数Tistbを設定し、同じ識別結果が連続し安定識別回数Tistb回繰り返された場合のみ制御を行う安定識別回数判定部が挙げられる。
【0073】
タイミング推定部11は、ユーザが意図する手先動作のタイミングを推定するためのものである。筋音信号は、筋収縮レベルに対応して、その振幅が大きくなる。そのため、筋音信号からユーザの筋力を推定することにより、ユーザが手先動作を行うタイミングを推定することができる。ユーザの筋力の推定は、下記数式4および下記数式5から求めることができる。
【0074】
まず、下記数式4によって、筋音信号から筋音信号のRMS(Root-mean-square)値であるRMS(t)を算出する。ここで、nはRMSの履歴数を示す。
【0075】
【数4】
JP0004934813B2_000005t.gif

【0076】
次に、上記数式4によって算出されたRMS(t)を、チャネル毎に最大随意筋収縮時のRMS値で正規化する。正規化した各信号から、下記数式5によってチャネル数で平均化し、推定筋力FMMG(t)を算出する。ここで、RMSmaxは最大随意収縮時のRMS(t)、RMSstは安静時に測定したRMS(t)の平均値である。
【0077】
【数5】
JP0004934813B2_000006t.gif

【0078】
そして、算出された推定筋力FMMG(t)に対し、予め閾値Fthを設定しておき、動作発生のタイミングを調べる。推定筋力FMMG(t)が閾値Fthを超えたときに動作発生と判定し、LLGMNにより推定された手先動作を行い、推定筋力FMMG(t)が閾値Fthを下回ったときに動作停止と判定する。
【0079】
前腕制御部8は、手先動作識別部10によって識別されたユーザが意図する義手型装置12の手先の動作と、タイミング推定部11によって推定された手先動作を行うタイミングとを取得し、それらの情報に基づいて前腕部13の駆動を制御するためのものである。
【0080】
ここで、本実施形態の入力情報処理装置1における処理手順について図5を参照して説明する。図5は、本実施形態の入力情報処理装置1における処理手順を示すフローチャートである。
【0081】
まず、ユーザに装着された加速度センサ2は、ユーザの動きに応じた信号を測定する(S1)。そして、信号分離部3は、加速度センサ2によって測定された上記信号を、加速度信号および筋音信号に分離する(S2)。
【0082】
次に、手先移動変位推定部5は、信号分離部3によって分離された加速度信号を取得し、該加速度信号からユーザが意図する義手型装置12の手先の移動変位を推定する(S3)。そして、上腕制御部6は、手先移動変位推定部5によって推定されたユーザが意図する義手型装置12の手先の移動変位に基づいて、義手型装置12の上腕部14の駆動を制御する(S4)。
【0083】
また、S3およびS4と同時に、手先動作推定部7は信号分離部3によって分離された筋音信号を取得し、該筋音信号からユーザが意図する義手型装置12の手先の動作を推定する(S5)。そして、前腕制御部8は、手先動作推定部7によって推定されたユーザが意図する義手型装置12の手先の動作に基づいて、義手型装置12の前腕部13の駆動を制御する(S6)。
【0084】
次に、S5の「手先動作を推定」する処理について、図6を参照して具体的に説明する。図6は、図5に示すフローチャートにおける手先動作の推定の処理手順を具体的に示すフローチャートである。
【0085】
まず、特徴パターンベクトル算出部9は、信号分離部3によって分離された筋音信号を取得し、該筋音信号に基づいて特徴パターンベクトルを算出する(S7)。そして、手先動作識別部10は、特徴パターンベクトル算出部9によって算出された特徴パターンベクトルを取得し、該特徴パターンベクトルをニューラルネットを用いて識別し(S8)、ユーザが意図する義手型装置12の手先の動作を推定する(S9)。
【0086】
また、S7~S9と同時に、タイミング推定部11は、信号分離部3によって分離された筋音信号を取得し、該筋音信号に基づいて、ユーザの推定筋力を算出する(S10)。そして、タイミング推定部11は、上記推定筋力からユーザが意図する義手型装置12の手先の動作を行うタイミングを推定する(S11)。
【0087】
次に、図4のS6に戻り、手先動作識別部10によって識別されたユーザの意図する義手型装置12の手先の動作と、タイミング推定部11によって推定されたユーザが意図する義手型装置12の手先の動作を行うタイミングに基づき、前腕制御部8が前腕部13の駆動を制御する。
【0088】
ここで、本実施形態の入力情報処理装置1が、加速度信号から義手型装置12の手先の移動変位を、筋音信号から義手型装置12の手先の動作を制御することが可能であるか否かについて、図7(a)および図7(b)を参照して説明する。図7(a)は、健常者のユーザが行う4種類の手先動作を示す図であり、図7(b)は、入力情報処理装置1においてユーザが図7(a)に示す各動作および上腕の往復運動を行った場合の、加速度信号と、筋音信号と、推定筋力と、エントロピーと、識別結果と、義手型装置12の上腕部14の変位との関係を示すグラフである。なお、図7(b)において、エントロピーの閾値Hthは0.4、推定筋力の閾値Fthは0.3、安定識別回数であるTistbを400としている。
【0089】
まず、入力情報処理装置1が筋音信号から義手型装置12の手先の動作を制御することが可能であるかを検証するために、加速度センサ2を装着した健常者のユーザが、図7(a)に示すように、1開き、2握り、3掌屈、4背屈の4種類の手先動作を行った場合に、手先動作識別部10において各手先動作を識別できるかを調べる。
【0090】
なお、ここでは、加速度センサ2として、3軸加速度センサを1つ、1軸加速度センサを3つ用いており、全てのセンサを被験者の右腕前腕部に装着している。したがって、筋音信号は、3軸加速度センサのz軸と1軸加速度センサ3個の計4チャネルから取得し、加速度信号は3軸加速度センサのx、y、z軸から取得する。
【0091】
また、手先動作識別部10のLLGMNでは、特徴パターンベクトル算出部9において、図7(a)に示す各動作200組の特徴パターンベクトルを算出し、各動作200組の特徴パターンベクトルを教師信号として学習を行っている。
【0092】
図7(b)の1~4列に示すように、図7(a)に示す1~4の手先動作を行った場合、加速度信号はほとんど検出されていないが、筋音信号は検出されており、上記各手先動作が正確に識別されていることが分かる。すなわち、本実施形態の入力情報処理装置1は、筋音信号から義手型装置12の手先の動作を制御することが可能であるといえる。
【0093】
次に、本実施形態の入力情報処理装置1が加速度信号から義手型装置12の手先の移動変位を制御することが可能であるか検証するために、加速度センサ2を装着した健常者のユーザが、上腕の動作ができるだけx、y、z軸上に沿うように腕の往復運動を行った場合に、手先移動変位推定部5において手先の移動変位を推定することができるかを調べる。なお、図7(b)においては、x軸方向の移動を5列目に、y軸方向の移動を6列目に、z軸方向の移動を7列目に示している。
【0094】
図7(b)の5~7列に示すように、上腕の上記各動作を行った場合、筋音信号はほとんど検出されていないが、加速度信号は検出されており、上腕の上記各動作の移動変位が正確に推定されていることが分かる。すなわち、本実施形態の入力情報処理装置1は、加速度信号から義手型装置12の手先の移動変位を制御することが可能であるといえる。
【0095】
また、手先動作識別部10は、安定識別判定およびエントロピーによる判断基準を設けているために、図7(b)から、ユーザの意図する手先動作を安定して識別できていることが分かる。
【0096】
〔第2実施形態〕
次に、本発明の第2実施形態の入力情報処理装置21について図8~図14に基づいて説明する。図8は、本発明の第2実施形態に係る入力情報処理装置21の概略構成を示すブロック図である。なお、第1実施形態の入力情報処理装置1における構成要素と、同等の機能を有する構成要素については同一の符号を付記している。
【0097】
本実施形態の入力情報処理装置21は、ユーザが行ったジェスチャおよび筋収縮を、加速度センサ2が測定した信号から推定し、該推定結果に基づいてユーザの操作対象の動作を制御するためのものであり、信号分離部3と、制御部24と、記憶部28とから構成されている。
【0098】
本実施形態では、ユーザの操作対象として、図9に示すような、パーソナルコンピュータ34の表示装置35に表示された画像が挙げられる。図9では、本実施形態の入力情報処理装置21は、パーソナルコンピュータ34に搭載されている。
【0099】
図9では、ユーザがジェスチャおよび筋収縮を行うことにより、加速度センサ2によって測定された信号が、例えばBluetoothを介してパーソナルコンピュータ34に送信される。パーソナルコンピュータ34に搭載された入力情報処理装置21は、受信した上記信号に基づいて表示装置35に表示された画像の動作を制御する。そして、入力情報処理装置21は、表示装置35に表示された画像の動作に対応付けられた処理、例えばランプ36を点灯させる。なお、以下の説明において、入力情報処理装置21は、表示装置35に表示された画像の動作を制御するものとして説明する。
【0100】
ここで、本実施形態の入力情報処理装置21の構成要素と、第1実施形態の入力情報処理装置1の構成要素とで異なる構成について説明する。
【0101】
制御部24は、信号分離部3によって分離された加速度信号および筋音信号を用いて、表示装置35に表示された画像の動作を制御し、その制御結果に基づいてランプ36を点灯させるためのものであり、ジェスチャ推定部25と、筋収縮レベル推定部26と、動作決定部27と、動作制御部29とから構成されている。
【0102】
ジェスチャ推定部25は、ユーザが行ったジェスチャの種類を推定するものであり、識別パターンベクトル算出部30と、ジェスチャ識別部31とから構成されている。
【0103】
識別パターンベクトル算出部30は、信号分離部3によって分離された加速度信号を取得し、該加速度信号から識別パターンベクトルを算出するためのものである。
【0104】
ジェスチャ識別部31は、識別パターンベクトル算出部30によって算出された識別パターンベクトルから、ニューラルネットを用いてユーザが行ったジェスチャの種類を識別するためのものである。
【0105】
ここで、ニューラルネットとしては、リカレント型ニューラルネットの一種であるRecurrent-Log-Linearized Gaussian Mixture Network(R-LLGMN)が用いられる。R-LLGMNは、内部に混合ガウス分布モデルおよび隠れマルコフモデルを含んでいるために、識別パターンベクトルの時系列信号に対する各動作の事後確率を算出することが可能である。
【0106】
そのため、ジェスチャ識別部31は、上記ニューラルネットを用いることにより、識別パターンベクトル算出部30によって加速度信号から算出された識別パターンベクトルに対する、予め上記ニューラルネットに学習させた数種類のジェスチャの事後確率を算出することができる。その結果、ジェスチャ識別部31は、算出された事後確率から、上記識別パターンベクトルが、どの種類のジェスチャに対応するか識別することができる。
【0107】
また、R-LLGMNの学習能力により、個人差による加速度信号の違いや、加速度センサ2の装着位置のずれ、疲労等による加速度信号の変化等に対応することができるために、入力情報処理装置21では、ユーザが行ったジェスチャの種類を高精度に識別することが可能である。なお、R-LLGMNについては、特許文献2に具体的に記載されている。
【0108】
また、ジェスチャ識別部31において、ユーザが行ったジェスチャの種類を正確に推定するためには、識別パターンベクトル算出部30が加速度信号から識別パターンベクトルを算出する際に、ユーザがジェスチャを行っている区間の加速度信号を用いて識別パターンベクトルを算出することが望ましい。
【0109】
そのため、まず、加速度信号のどの区間でユーザがジェスチャを行っているか検出する必要がある。そこで、識別パターンベクトル算出部30は、信号分離部3によって分離された加速度信号から、下記数式6および下記数式7によって、ジェスチャの検出の指標であるジェスチャ検出信号を算出する。ここで、gmax(i=x、y、z)は、ユーザがジェスチャを行っている場合のg(t)(i=x、y、z)の絶対値の最大値を示す。
【0110】
【数6】
JP0004934813B2_000007t.gif

【0111】
【数7】
JP0004934813B2_000008t.gif

【0112】
識別パターンベクトル算出部30によって、上記数式6および上記数式7を用いて算出されたジェスチャ検出信号を図10に示す。図10は、ジェスチャ検出信号を示すグラフである。なお、図10において、横軸は時間(秒)、縦軸は加速度(m/s)を示す。
【0113】
次に、識別パターンベクトル算出部30が、図10に示すジェスチャ検出信号から、ユーザがジェスチャを行っている区間を切り出し、その区間を用いて識別パターンベクトルを算出する方法について説明する。ここでは、その値を越えると動作が開始しているとみなされる動作開始閾値Thstrと、その値を下回ると動作が終了したとみなされる動作終了閾値Thendとが予め設定されている。
【0114】
図10に示すように、ジェスチャ検出信号が動作開始閾値Thstr以上になる時点の時刻をジェスチャ開始時刻tstrとする。また、ジェスチャ開始時刻tstr以降、ジェスチャ検出信号が動作終了判定時間Tendの間連続して動作終了閾値Thendを下回った最初の時点の時刻をジェスチャ終了時刻tendとする。そして、ジェスチャ開始時刻tstrからジェスチャ終了時刻tendまでの区間のうち、ジェスチャ検出信号の最初の極大値から最後の極大値までの区間をジェスチャ識別区画とする。
【0115】
次に、識別パターンベクトル算出部30は、ジェスチャ識別区画のジェスチャ検出信号から、下記数式8によって、識別パターンベクトルG(t)(i=x、y、z)を算出する。
【0116】
【数8】
JP0004934813B2_000009t.gif

【0117】
筋収縮レベル推定部26は、ユーザの筋収縮レベルを推定するためのものであり、筋収縮情報抽出部32と、閾値判定部33とから構成されている。
【0118】
筋収縮情報抽出部32は、信号分離部3によって分離された筋音信号を取得し、該筋音信号から筋収縮情報を抽出するためのものである。筋音は筋側方への振動であるために、x、y、z軸成分からなる筋音信号から、ユーザの体表面に垂直なz軸成分のm(t)を筋収縮レベルの推定に用いる。筋収縮レベルの増加に伴い、筋音信号の振幅が大きくなるために、筋音信号の振幅からユーザの力の入れ具合を求めることができる。筋収縮情報抽出部32は、m(t)から下記数式9によって筋収縮情報を算出する。
【0119】
【数9】
JP0004934813B2_000010t.gif

【0120】
ここで、平均値mges(t)、平均値mcon(t)は、それぞれ事前に測定したジェスチャ時および筋収縮時の平均値m(t)の最大値を示す。
【0121】
閾値判定部33は、筋収縮情報抽出部32によって抽出された筋収縮情報が、所定の閾値Thを越えた時点で、ユーザが力を入れて筋収縮を行ったと判定するためのものである。
【0122】
動作決定部27は、ジェスチャ推定部25のジェスチャ識別部31によって推定されたジェスチャの種類と、筋収縮レベル推定部26の閾値判定部33によって判定された筋収縮レベルとに基づいて、記憶部28に記憶されている動作テーブルから、該ジェスチャの種類および該筋収縮レベルに対応する動作を検索し、動作を決定するためのものである。ここで、記憶部28は、ジェスチャと、筋収縮レベルと、図9のパーソナルコンピュータ34の表示装置35に表示された画像の動作とを対応付けた動作テーブルを記憶している。すなわち、動作決定部27は、ユーザが行ったジェスチャの種類および筋収縮レベルに対応する、図9のパーソナルコンピュータ34の表示装置35に表示された画像の動作を決定する。
【0123】
動作制御部29は、動作決定部27によって決定された動作に基づいて、図9のパーソナルコンピュータ34の表示装置35に表示された画像の動作を制御するためのものである。さらに、動作制御部29は、表示装置35に表示された画像の動作に対応付けられた処理、例えばランプ36を点灯させる。
【0124】
ここで、本実施形態の入力情報処理装置21における処理手順について図11を参照して説明する。図11は、本実施形態の入力情報処理装置21における処理手順を示すフローチャートである。
【0125】
まず、ユーザに装着された加速度センサ2は、ユーザの動きに応じた信号を測定する(S21)。そして、信号分離部3は、加速度センサ2によって測定された上記信号を、加速度信号および筋音信号に分離する(S22)。
【0126】
次に、ジェスチャ推定部25の識別パターンベクトル算出部30は、信号分離部3によって分離された加速度信号を取得し、該加速度信号から識別パターンベクトルを算出する(S23)。そして、ジェスチャ推定部25のジェスチャ識別部31は、識別パターンベクトル算出部30によって算出された識別パターンベクトルを取得し、該識別パターンベクトルをニューラルネットで識別し(S24)、ユーザが行ったジェスチャを推定する(S25)。
【0127】
また、S23~S25と同時に、筋収縮レベル推定部26の筋収縮情報抽出部32は、信号分離部3によって分離された筋音信号を取得し、該筋音信号から筋収縮情報を抽出する(S26)。そして、筋収縮レベル推定部26の閾値判定部33は、筋収縮情報抽出部32によって抽出された筋収縮情報が所定の閾値を超えるか否かを判定することにより、筋収縮レベルを推定する(S27)。
【0128】
次に、動作決定部27は、ジェスチャ推定部25によって推定されたユーザが行ったジェスチャと、筋収縮レベル推定部26によって推定された筋収縮レベルとに基づいて、記憶部28に記憶された動作テーブルを参照して、ユーザの操作対象の動作を決定する(S28)。
【0129】
次に、動作制御部29は、動作決定部27によって決定された動作に基づいて、上記操作対象を制御する(S29)。
【0130】
ここで、ジェスチャ推定部25によるジェスチャの推定と、筋収縮レベル推定部26による筋収縮レベルの推定とを、それぞれ別々に行うことが可能か否かについて、図12および図13を参照して説明する。
【0131】
図12は、ジェスチャの種類を示す図である。また、図13は、入力情報処理装置21において、ユーザが図12に示す各ジェスチャおよび把持を行った場合の、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
【0132】
なお、図13において、a(t)はx軸方向の加速度信号、a(t)はy軸方向の加速度信号、a(t)はz軸方向の加速度信号を示す。また、g(t)はジェスチャ検出信号、M(t)は筋収縮情報信号を示す。また、図13において、陰影をつけた領域は、ジェスチャの識別区画もしくは筋収縮レベルの推定区画を示している。
【0133】
上記検証を行うために、ユーザの右前腕部に加速度センサ2を装着し、ユーザが図12に示す6つのジェスチャ、すなわち、1.右、2.上、3.左、4.下、5.奥、6.手前を行った後、無ジェスチャ状態で2回把持を行った場合、ジェスチャ推定部25によるジェスチャの推定と、筋収縮レベル推定部26による筋収縮レベルの推定とが、それぞれ別々に行われるか否かを調べる。
【0134】
ここで、加速度センサ2としては、3軸加速度センサを用いている。また、識別パターンベクトル算出部30において、動作開始閾値Thstrを0.2、動作終了閾値Thendを0.25、動作終了判定時間Tendを0.15として、ジェスチャ識別区画を抽出している。また、閾値判定部33において、閾値Thを0.3としている。
【0135】
図13の1~6列に示すように、ユーザが図12に示すジェスチャ1~6を行った場合には、加速度信号およびジェスチャ検出信号が検出され、筋収縮情報信号は所定の閾値Thを超えていない。また、図13の7、8列に示すように、無ジェスチャ状態で把持を行った場合には、加速度信号およびジェスチャ検出信号は検出されず、筋収縮情報信号のみが所定の閾値Thを超えている。そして、識別結果では、各ジェスチャおよび筋収縮レベルが正確に推定されていることが分かる。
【0136】
すなわち、図13に示す結果から、本実施形態の入力情報処理装置21は、ジェスチャ推定部25によるジェスチャの推定と、筋収縮レベル推定部26による筋収縮レベルの推定とを、それぞれ別々に行うことが可能であるといえる。
【0137】
次に、ユーザが力を入れながらジェスチャを行った場合においても、ジェスチャ推定部25によるジェスチャの推定と、筋収縮レベル推定部26による筋収縮レベルの推定とをそれぞれ行うことが可能であるかについて、図14を参照して説明する。図14は、ユーザが力を入れながら図12の各ジェスチャを行った場合における、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別・推定結果との関係を示すグラフである。なお、図中のa(t)、a(t)、a(t)、g(t)、M(t)については、図13と同じであるために、ここでは説明は省略する。また、図中の陰影をつけた領域は、ジェスチャの識別区間または筋収縮レベルの推定区間を示している。すなわち、図中の濃い陰影の領域は、ジェスチャの識別区間および筋収縮レベルの推定区間が重なっており、力を入れながらジェスチャを行ったと認識されている領域である。
【0138】
上記検証を行うために、ユーザの右前腕部に加速度センサ2を装着し、ユーザが力をいれながら、図12に示す6つのジェスチャ、すなわち、1.右、2.上、3.左、4.下、5.奥、6.手前を行った場合、ジェスチャ推定部25によるジェスチャの推定と、筋収縮レベル推定部26による筋収縮レベルの推定とをそれぞれ行うことが可能であるか調べる。
【0139】
図14の1~6列に示すように、ユーザが力を入れながら図12に示すジェスチャ1~6を行った場合には、加速度信号およびジェスチャ検出信号が検出されるとともに、筋収縮情報信号が所定の閾値Thを超えている。そして、識別結果では、力を入れているにも関らず、各ジェスチャが正確に推定されていることが分かる。
【0140】
すなわち、図14に示す結果から、本実施形態の入力情報処理装置21は、ユーザが力を入れながらジェスチャを行った場合においても、ジェスチャ推定部25によるジェスチャの推定と、筋収縮レベル推定部26による筋収縮レベルの推定とをそれぞれ行うことが可能であるといえる。
【0141】
以上のように、本実施形態の入力情報処理装置21では、加速度センサ2によって測定された信号を、信号分離部3によって加速度信号と筋音信号に分離することにより、ジェスチャ推定部25によって該加速度信号からジェスチャの推定を行うだけでなく、筋収縮レベル推定部26によって該筋音信号から力の入れ具合の推定も行うことができる。
【0142】
その結果、ジェスチャだけを測定する構成と比較して、身体の動きが同じでも力の入れ具合に応じて別のジェスチャとして扱うことが可能となり、識別可能なジェスチャの種類を増やすことなく、行うことができるユーザの操作対象の動作の制御の種類を増加させることができる。
【0143】
また、本実施形態の入力情報処理装置21は、例えば、テレビゲームのようなゲーム機にも好適に適用することができる。入力情報処理装置21は、上述したように、筋音信号から力の入れ具合の推定も行うことができるため、テレビゲームにおいて表示装置に表示された画像の動作、例えばテニスゲームやゴルフゲーム等のキャラクターの動作とユーザの動作とを連動させることによって、ユーザはキャラクターにより複雑な動作を行わせることが可能となる。
【0144】
例えば、テニスゲームにおいて、ゲームのキャラクターの動作とユーザの動作とを連動させた場合、ユーザがサーブやスマッシュ等を行うときに、入力情報処理装置21は、身体運動成分から動作を推測するだけでなく、筋音信号から筋収縮レベルの推定も行うことができるために、ユーザが意図するプレーをより的確にゲームのキャラクターに行わせることができる。
【0145】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0146】
最後に、入力情報処理装置1、21の各ブロック、特に信号分離部3、制御部4、24は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0147】
すなわち、入力情報処理装置1、21は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力情報処理装置1、21の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記入力情報処理装置1、21に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0148】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0149】
また、入力情報処理装置1、21を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0150】
本発明の入力情報処理装置は、体肢を切断した障害者が用いる動力義肢や、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置等、ユーザの身体運動成分および筋活動成分を用いて動作を制御する機器に好適に用いられる。
【図面の簡単な説明】
【0151】
【図1】本発明の第1実施形態に係る入力情報処理装置の概略構成を示すブロック図である。
【図2】前腕部および上腕部を有する義手型装置を示す図である。
【図3】(a)はユーザが把持状態と手先を動かした状態とを同時に行った場合に、加速度センサ2によって測定された信号における時間と加速度との関係を示すグラフであり、(b)は(a)の信号から分離された筋音信号における時間と加速度との関係を示すグラフであり、(c)は(a)の信号から分離された加速度信号における時間と加速度との関係を示すグラフである。
【図4】上肢を動作させた場合の加速度信号を示すグラフである。
【図5】上記入力情報処理装置における処理手順を示すフローチャートである。
【図6】上記フローチャートにおける手先動作の推定の処理手順を具体的に示すフローチャートである。
【図7】(a)は健常者のユーザが行う4種類の手先動作を示す図であり、(b)は上記入力情報処理装置において、ユーザが(a)に示す各動作および上腕の往復運動を行った場合の、加速度信号と、筋音信号と、推定筋力と、エントロピーと、識別結果と、義手型装置の上腕部の変位との関係を示すグラフである。
【図8】本発明の第2実施形態に係る入力情報処理装置の概略構成を示すブロック図である。
【図9】ユーザが行ったジェスチャおよび筋収縮により、動作を制御するユーザの操作対象の一例を示す図である。
【図10】ジェスチャ検出信号を示すグラフである。
【図11】本実施形態の入力情報処理装置における処理手順を示すフローチャートである。
【図12】ジェスチャの種類を示す図である。
【図13】上記入力情報処理装置において、ユーザが図12に示す各ジェスチャおよび把持を行った場合の、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
【図14】ユーザが力を入れながら図12の各ジェスチャを行った場合における、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
【符号の説明】
【0152】
1、21 入力情報処理装置
2 加速度センサ
3 信号分離部
4 制御部
5 手先移動変位推定部
6 上腕制御部
7 手先動作推定部
8 前腕制御部
9 特徴パターンベクトル算出部
10 手先動作識別部
11 タイミング推定部
12 義手型装置(義手型機器)
13 前腕部
14 上腕部
24 制御部
25 ジェスチャ推定部
26 筋収縮レベル推定部
27 動作決定部
28 記憶部
29 動作制御部
30 識別データパターン算出部
31 ジェスチャ識別部
32 筋収縮情報抽出部
33 閾値判定部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図8】
6
【図9】
7
【図10】
8
【図11】
9
【図12】
10
【図13】
11
【図14】
12
【図7】
13