Top > Search of Japanese Patents > MOUSE CURSOR CONTROL SYSTEM USING OCULAR POTENTIAL > Specification

Specification :(In Japanese)眼電位を用いたマウスカーソル制御システム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5483152
Publication number P2010-205099A
Date of registration Feb 28, 2014
Date of issue May 7, 2014
Date of publication of application Sep 16, 2010
Title of the invention, or title of the device (In Japanese)眼電位を用いたマウスカーソル制御システム
IPC (International Patent Classification) G06F   3/038       (2013.01)
A61B   3/113       (2006.01)
A61B   3/10        (2006.01)
G06F   3/01        (2006.01)
FI (File Index) G06F 3/038 310A
A61B 3/10 B
A61B 3/10 E
G06F 3/01 310B
Number of claims or invention 7
Total pages 18
Application Number P2009-051580
Date of filing Mar 5, 2009
Exceptions to lack of novelty of invention (In Japanese)特許法第30条第1項適用 刊行物:第16回 電子情報通信学会九州支部 学生会講演会論文集 発行者:社団法人電子情報通信学会 九州支部 発行日:平成20年9月26日 該当頁:D-63
Date of request for substantive examination Feb 29, 2012
Patentee, or owner of utility model right (In Japanese)【識別番号】504224153
【氏名又は名称】国立大学法人 宮崎大学
Inventor, or creator of device (In Japanese)【氏名】田村 宏樹
【氏名】淡野 公一
Representative (In Japanese)【識別番号】100091096、【弁理士】、【氏名又は名称】平木 祐輔
【識別番号】100105463、【弁理士】、【氏名又は名称】関谷 三男
【識別番号】100102576、【弁理士】、【氏名又は名称】渡辺 敏章
Examiner (In Japanese)【審査官】山崎 慎一
Document or reference (In Japanese)特開昭58-072235(JP,A)
特開平09-034630(JP,A)
特開平11-085384(JP,A)
特開2002-099386(JP,A)
特開平06-289985(JP,A)
特開平09-167049(JP,A)
特開2006-059147(JP,A)
特開2007-268164(JP,A)
特開2000-276280(JP,A)
Field of search G06F 3/038
A61B 3/10
A61B 3/113
G06F 3/01
Scope of claims (In Japanese)【請求項1】
眼球を挟んで上下に配置される一対の電極より検出される第1の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第2の眼電位信号とを増幅する増幅回路と、
前記増幅回路で増幅された前記第1及び第2の眼電位信号をそれぞれディジタル値に変換するアナログ/ディジタル変換回路と、
前記アナログ/ディジタル変換回路から入力される前記第1及び第2の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、
前記ノイズカット処理部から入力される前記各ディジタル値のそれぞれと各ディジタル値に対応するキャリブレーション値との差分を算出し、算出された各差分と各眼電位信号に対応する変化方向別の閾値との比較結果に基づいて表示画面上における視線の移動方向を識別し、当該識別方向にマウスカーソルを設定量だけ移動制御するマウスカーソル制御信号生成部と
を有し、
前記マウスカーソル制御信号生成部は、
前記第1及び第2の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第1及び第2の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しないものであり、
前記マウスカーソル制御信号生成部は、
キャリブレーションの実行に基づく入力であるか否かの前記判定として、
現在の前記キャリブレーション値と前記第1及び第2の眼電位信号に対応する各ディジタル値との各差分が第1の判定範囲に含まれるか否か判定する第1の処理と、
前記第1の処理において前記各差分がいずれも前記第1の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第1の判定範囲より制限された第2の判定範囲に含まれるか否か判定する第2の処理と、
前記第2の処理において前記各差分がいずれも前記第2の判定範囲に含まれると判定される場合、前記第1及び第2の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第3の判定範囲に含まれるか否か判定する第3の処理と
を一組とする更新判定処理を所定回実行し、
前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第1及び第2の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する
ことを特徴とするマウスカーソル制御システム。
【請求項2】
前記マウスカーソル制御信号生成部は、
スクロール機能が特定の方向に割り当て当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、表示画面上のマウスカーソルをスクロール制御する請求項1に記載のマウスカーソル制御システム。
【請求項3】
前記マウスカーソル制御信号生成部は、
クリック機能が特定の方向に割り当て当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、クリック操作をアプリケーションプログラムに出力する請求項1に記載のマウスカーソル制御システム。
【請求項4】
前記マウスカーソル制御信号生成部は、
識別方向別に設定される各閾値の大きさを、マウスカーソルの表示位置に応じて随時更新する請求項1に記載のマウスカーソル制御システム。
【請求項5】
眼球を挟んで上下に配置される一対の電極より検出される第1の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第2の眼電位信号とを増幅する増幅回路と、
前記増幅回路で増幅された前記第1及び第2の眼電位信号をそれぞれディジタル値に変換するアナログ/ディジタル変換回路と、
前記アナログ/ディジタル変換回路から入力される前記第1及び第2の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、
前記ノイズカット処理部から入力される前記各ディジタル値のそれぞれと、各ディジタル値に対応するキャリブレーション値との差分に基づいて表示画面上におけるマウスカーソルの表示座標を算出し、当該表示座標に基づいてマウスカーソルの表示座標を制御するマウスカーソル制御信号生成部と
を有し、
前記マウスカーソル制御信号生成部は、
前記第1及び第2の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第1及び第2の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しないものであり、
前記マウスカーソル制御信号生成部は、
キャリブレーションの実行に基づく入力であるか否かの前記判定として、
現在の前記キャリブレーション値と前記第1及び第2の眼電位信号に対応する各ディジタル値との各差分が第1の判定範囲に含まれるか否か判定する第1の処理と、
前記第1の処理において前記各差分がいずれも前記第1の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第1の判定範囲より制限された第2の判定範囲に含まれるか否か判定する第2の処理と、
前記第2の処理において前記各差分がいずれも前記第2の判定範囲に含まれると判定される場合、前記第1及び第2の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第3の判定範囲に含まれるか否か判定する第3の処理と
を一組とする更新判定処理を所定回実行し、
前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第1及び第2の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する
ことを特徴とするマウスカーソル制御システム。
【請求項6】
眼球を挟んで上下に配置される一対の電極より検出される第1の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第2の眼電位信号に対応するディジタル値のそれぞれから電源ノイズ成分を除去する処理と、
前記処理後の各ディジタル値のそれぞれと各ディジタル値に対応するキャリブレーション値との差分を算出する処理と、
算出された各差分と各眼電位信号に対応する変化方向別の閾値との比較結果に基づいて表示画面上における視線の移動方向を識別する処理と、
当該識別方向にマウスカーソルを設定量だけ移動制御する処理と、
前記第1及び第2の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第1及び第2の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しない処理と
をコンピュータに実行させ
さらに、キャリブレーションの実行に基づく入力であるか否かの前記判定として、
現在の前記キャリブレーション値と前記第1及び第2の眼電位信号に対応する各ディジタル値との各差分が第1の判定範囲に含まれるか否か判定する第1の処理と、
前記第1の処理において前記各差分がいずれも前記第1の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第1の判定範囲より制限された第2の判定範囲に含まれるか否か判定する第2の処理と、
前記第2の処理において前記各差分がいずれも前記第2の判定範囲に含まれると判定される場合、前記第1及び第2の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第3の判定範囲に含まれるか否か判定する第3の処理と
を一組とする更新判定処理を所定回実行させ、
前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第1及び第2の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する処理と
をコンピュータに実行させるプログラム。
【請求項7】
眼球を挟んで上下に配置される一対の電極より検出される第1の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第2の眼電位信号に対応するディジタル値のそれぞれから電源ノイズ成分を除去する処理と、
前記処理後の各ディジタル値のそれぞれと、各ディジタル値に対応するキャリブレーション値との差分を算出する処理と、
算出された各差分に基づいて表示画面上におけるマウスカーソルの表示座標を算出する処理と、
当該表示座標に基づいてマウスカーソルの表示座標を制御する処理と、
前記第1及び第2の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第1及び第2の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しない処理と
をコンピュータに実行させ
さらに、キャリブレーションの実行に基づく入力であるか否かの前記判定として、
現在の前記キャリブレーション値と前記第1及び第2の眼電位信号に対応する各ディジタル値との各差分が第1の判定範囲に含まれるか否か判定する第1の処理と、
前記第1の処理において前記各差分がいずれも前記第1の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第1の判定範囲より制限された第2の判定範囲に含まれるか否か判定する第2の処理と、
前記第2の処理において前記各差分がいずれも前記第2の判定範囲に含まれると判定される場合、前記第1及び第2の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第3の判定範囲に含まれるか否か判定する第3の処理と
を一組とする更新判定処理を所定回実行させ、
前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第1及び第2の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する処理と
をコンピュータに実行させるプログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、人の眼球周辺から計測される眼電位を用いて視線方向を識別する視線入力インターフェースに関する。特に、本発明は、眼電位をマウスカーソルの制御に用いるシステムに関する。
【背景技術】
【0002】
現在、日本には2万1千人を超える筋委縮性側策硬化症の患者がいる。筋委縮性側策硬化症(ALS:Amyotrophic Lateral Screlosis )とは、身体を動かすための神経系が侵され、手足・のど・舌の筋肉や呼吸に必要な筋肉がだんだんやせて力がなくなっていく病気である。しかし、動き以外では知覚神経や自律神経は侵されないので、五感(視覚、聴覚、嗅覚、味覚、触覚)記憶、知性を司る神経には障害は見られない。すなわち、患者の意志は病状末期でも明確であるため会話や手話を使って家族や友人、愛する人とコミュニケーションがとれない精神的なストレスは計り知れない。
【0003】
その一方で、ALS患者の特徴として眼球周辺の筋肉が侵されにくいことが挙げられる。そこで、比較的後期まで随意運動が残る眼球運動を用いた視線入力インターフェースの開発が多くの研究者により行われている。
【0004】
眼球運動を用いた入力方式には、角膜反射法、サーチコイル法、オプティカルレバー法、眼電図法がある。このうち角膜反射法は、眼球運動に伴う角膜上での虚像の移動をビデオカメラで撮影する方法である。しかし、角膜反射法は外部光に弱く、装置も大規模になるという問題点を有している。一方、サーチコイル法とオプティカルレバー法は、高い精度で眼球運動を測定することができる。しかし、特殊なコンタクトレンズを用いる必要があり、患者側の負担が大きい。また、特殊なコンタクトレンズは、長時間の使用や扱いに注意が必要である。
【0005】
ところで、眼電図法は、眼球運動を電位変動として測定する。このため、眼電図法は、他の手法に比して安価にシステムを構築することができる。また、眼窩周辺に装着する装置の取り付けも容易である。加えて、装着装置の取り付けによる患者に対する負担も少なく済み、長時間の使用にも適している。
【先行技術文献】
【0006】

【特許文献1】特開2005-11037号公報
【特許文献2】特開2007-252879号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
これらの特性より、発明者らは、眼電図法を用いた入力インターフェースの実用化を検討した。しかしながら、眼電図法の入力インターフェースへの適用には、電源ノイズ対策や眼球運動とは無関係に電位が変動する現象(いわゆるドリフト現象)への対策が必要であることが分かった。
【課題を解決するための手段】
【0008】
そこで、発明者らは、眼球を挟んで上下に配置される一対の電極より検出される第1の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第2の眼電位信号とを増幅する増幅回路と、増幅後の第1及び第2の眼電位信号をそれぞれディジタル値に変換するアナログ/ディジタル変換回路と、アナログ/ディジタル変換回路から入力される第1及び第2の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、ノイズカット処理部から入力される各ディジタル値のそれぞれと各ディジタル値に対応するキャリブレーション値との差分を算出し、算出された各差分と各眼電位信号に対応する変化方向別の閾値との比較結果に基づいて表示画面上における視線の移動方向を識別し、当該識別方向にマウスカーソルを設定量だけ移動制御するマウスカーソル制御信号生成部とを有するマウスカーソル制御システムを提案する。
【0009】
なお、マウスカーソル制御信号生成部は、スクロール機能が特定の方向に割り当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、表示画面上のマウスカーソルをスクロール制御する機能を有することが望ましい。
【0010】
また、マウスカーソル制御信号生成部は、クリック機能が特定の方向に割り当て当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、クリック操作をアプリケーションプログラムに出力する機能を有することが望ましい。
【0011】
また、マウスカーソル制御信号生成部は、視線の移動方向の識別処理の基準値として使用されるキャリブレーション値を、マウスカーソルの表示位置に応じて随時更新する機能を有することが望ましい。
【0012】
また、マウスカーソル制御信号生成部は、識別方向別に設定される各閾値の大きさを、マウスカーソルの表示位置に応じて随時更新する機能を有することが望ましい。
【0013】
更に、眼球を挟んで上下に配置される一対の電極より検出される第1の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第2の眼電位信号とを増幅する増幅回路と、増幅回路で増幅された前記第1及び第2の眼電位信号をそれぞれディジタル値に変換するアナログ/ディジタル変換回路と、アナログ/ディジタル変換回路から入力される第1及び第2の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、ノイズカット処理部から入力される各ディジタル値のそれぞれと、各ディジタル値に対応するキャリブレーション値との差分に基づいて表示画面上におけるマウスカーソルの表示座標を算出し、当該表示座標に基づいてマウスカーソルの表示座標を制御するマウスカーソル制御信号生成部とを有するマウスカーソル制御システムを提案する。
【発明の効果】
【0014】
発明に係るマウスカーソル制御システムの場合、眼電位信号から電源ノイズの影響を除去でき、マウスカーソル制御部における眼球運動の検出精度を高めることができる。これにより、眼電位信号を用いたマウスカーソルの移動制御を実現することができる。この結果、眼電位信号の検出電極を装着したユーザによる眼球運動又は視線移動に基づいて、表示画面上におけるマウスカーソルの移動操作を実現することができる。また、当該マウスカーソルの制御技術を医療福祉分野に応用することにより、従来以上に豊かなコミュニケーションや知的活動を利用者に提供することができる。
【図面の簡単な説明】
【0015】
【図1】眼球の回転方向と眼電位との関係を説明する図である。
【図2】マウスカーソル制御システムの全体構成例を示す図である。
【図3】電源ノイズ成分の除去動作イメージを説明する図である。
【図4】表示領域に対する座標の設定例を示す図である。
【図5】視線の4方向識別イメージを示す図である。
【図6】4方向識別処理を実現するフローチャート例である。
【図7】視線の8方向識別イメージを利用した機能の割当例を示す図である。
【図8】8方向識別処理を実現するフローチャート例である。
【図9】キャリブレーション値の更新処理を実現するフローチャート例である。
【図10】位置情報に応じたキャリブレーション値の更新条件の変化を説明する図である。
【図11】判定窓B2の更新条件を示す図である。
【図12】判定窓B1の更新条件を示す図である。
【図13】判定窓B3の更新条件を示す図である。
【図14】位置情報に応じた方向識別条件の変化を説明する図である。
【発明を実施するための形態】
【0016】
以下、本発明に係るマウスカーソル制御システムの形態例を説明する。

【0017】
(1)眼電図法の概要
図1を用い、眼電図法の概要を説明する。眼球には角膜側に正の電位が帯電し、網膜側に負の電位が帯電している。従って、眼球の回転運動に伴って眼球周辺の電位勾配も変化する。眼電図法では、眼球周辺の皮膚上に一対の電極を貼り付けることにより、眼球の回転に伴う電位変化を検出する。検出できる活動電位は、おおよそ0Vから約1mVであり、その周波数は0から50Hz程度である。

【0018】
図1(a)は、眼球が垂直方向に回転する場合の電位変化を説明する図である。図中左端の絵は眼球が正面を向いている状態、図中中央の絵は眼球が上方に回転した状態、図中右端の絵は眼球が下方に回転した状態の電位変化を表している。図1(a)に示すように、眼球が上方に回転すると、眼電位はキャリブレーション値(眼球が正面を向いているときの眼電位)よりも上がることが分かる。反対に、眼球が下方に回転すると、眼電位はキャリブレーション値よりも下がることが分かる。なお、この眼電位の測定は、眼球の上下に位置するように一対の電極を貼り付けることより行う。

【0019】
図1(b)は、眼球が水平方向に回転する場合の電位変化を説明する図である。図中左端の絵は眼球が左方向に回転した状態、図中中央の絵は眼球が正面を向いている状態、図中右端の絵は眼球が右方向に回転した状態の電位変化を表している。図1(b)に示すように、眼球が左方向に回転すると、眼電位はキャリブレーション値(眼球が正面を向いているときの眼電位)よりも下がることが分かる。反対に、眼球が右方向に回転すると、眼電位はキャリブレーション値よりも上がることが分かる。なお、この眼電位の測定は、眼球の左右に位置するように一対の電極を貼り付けることより行う。なお、貼り付け位置は、検出対象とする眼の眼尻と目元の位置でも良いし、検出対象とする眼の眼尻と他方の眼の眼尻の位置でも良い。

【0020】
因みに、図1(a)及び(b)は眼電位のおおよその変化方向を説明するためのものであり、測定条件等によってキャリブレーション値は異なることに注意する。また、図1(a)及び(b)のそれぞれでは、おおよその変化方向を表現するため眼電位を直流で表現しているが、前述したように実際の眼電位の変化は0Hzから50Hzの交流波形として検出される。

【0021】
以下では、このような電位変化が認められる眼電位を入力信号とするマウスカーソル制御システムの形態例を説明する。

【0022】
(2)基本システムの構成
図2に、形態例に係るマウスカーソル制御システム100の全体構成例を示す。マウスカーソル制御システム100は、左右一対の電極101と、上下一対の電極102と、手首用の電極103と、増幅回路111と、A/D変換回路112と、マウスカーソル制御部113と、表示装置114とで構成される。

【0023】
図2の場合、左右一対の電極101は、左右の目尻付近に貼り付けられる。この形態例の場合、電極101には、Neuroline700(Ag-AgCl電極)を使用する。勿論、同様の性能を有していれば他の電極を用いることができる。この左右一対の電極101に発生する電位の変化を、この明細書では眼電位信号1(CH1)と呼ぶ。

【0024】
上下一対の電極102は、いずれか一方の眼の上下付近に貼り付けられる。図2は、右目の上下に貼り付けた例を示している。この電極102にも、Neuroline700(Ag-AgCl電極)を使用する。この上下一対の電極102に発生する電位の変化を、この明細書では眼電位信号2(CH2)と呼ぶ。

【0025】
電極103は、左右いずれのかの手首に貼り付けられる。図2の場合には右手に貼り付けている。この電極103は接地電位GND(図1の0V)を設定するために使用する。なお、電極103の貼り付け位置は任意であり、例えば額の位置に貼り付けても構わない。

【0026】
増幅回路111は、眼電位信号1と眼電位信号2を増幅する回路である。この形態例の場合、増幅回路111には計測アンプINA116を用い、増幅率は1000倍に設定する。また、増幅回路111には5Vの電圧源を使用する。

【0027】
A/D変換回路112は、0から50Hzで現れる眼電位信号1及び2のそれぞれを個別にサンプリングし、それぞれに対応するディジタルデータに変換する回路である。この形態例の場合、サンプリング周波数を960Hzに設定する。また、この形態例の場合、A/D変換回路112には、PCI-3523Aを使用し、その分解能は12ビット、入力レンジは±10Vに設定した。

【0028】
マウスカーソル制御部113は、A/D変換回路112から入力されるディジタルデータからマウスカーソル制御信号を生成するハードウェア又はソフトウェアである。この形態例の場合、マウスカーソル制御部113は、コンピュータ(算術論理ユニット、制御回路、記憶装置、入出力装置)上で実行されるプログラム機能の一つとして実現される。マウスカーソル制御部113によるマウスカーソル座標の生成動作の具体例は、後述する手法1に~手法3において説明する。

【0029】
ここでは、全ての形態例に共通する機能として、マウスカーソル制御部113が採用する電源ノイズのノイズカット機能について説明する。この機能を搭載するのは、A/D変換回路112からマウスカーソル制御部113に入力されるディジタルデータに電源ノイズが重畳するのを避け得ないためである。図3(a)に、電源ノイズ成分(太線で示す)と眼電位信号成分(細線で示す)の重畳イメージを示す。

【0030】
このため、A/D変換回路112から入力されるディジタルデータをそのままマウスカーソルの移動制御に用いると、電源ノイズの影響により眼球運動の識別精度が低下する問題が予想される。そこで、発明者らは、マウスカーソル制御部113における前処理として、電源ノイズ成分をディジタル的に除去するカットフィルタ機能を実行する。例えば電圧源の周波数が60Hzの場合、ディジタルデータを480Hzでサンプリングし、サンプリング値を平均化する処理を実行する。従って、60Hzのノイズ成分の場合、1周期について8つのサンプルデータを取得できる。この形態例の場合は、サンプリング数を16とすることにより、2周期分のノイズ成分を平均化する。図3(b)に、平均化処理後の電源ノイズ成分と眼電位信号成分の重畳イメージを示す。図3(b)に示すように、平均化処理を実行しても眼電位信号成分には大きな変化は生じないのに対し、電源ノイズ成分は大幅に低減することができる。従って、マウスカーソル制御部113は、その前処理として電源ノイズのカットフィルタを実行する。

【0031】
表示装置114は、マウスカーソル制御部113において生成されたマウスカーソル座標にマウスカーソル115を、アプリケーション画像に重ねて表示する表示デバイスである。この表示装置114は、例えば液晶ディスプレイ装置、プラズマディスプレイ装置の他、プロジェクタ装置でも良い。

【0032】
(3)マウスカーソル制御部の処理手法例
以下では、マウスカーソル制御部113に搭載して好適な制御手法例を順番に説明する。
(3-1)手法1
ここでは、マウスカーソル制御部113が、眼電位信号(ディジタル信号)からポインティング座標を直接求める場合について説明する。

【0033】
なお、後述する処理動作の前提として、マウスカーソル制御部113は、眼電位信号(ディジタル信号)に対して電源ノイズの除去処理を実行しているものとする。

【0034】
また、この手法1の場合、表示装置114の表示領域面に図4に示すような座標が設定されている場合を考える。すなわち、表示領域の左上隅を原点とし、水平方向(X方向)の最大座標を1024ピクセル、垂直方向(Y座標)の最大座標を768ピクセルとする場合について考える。なお、この場合、表示領域の中央の座標は(X座標,Y座標)=(512,386)で与えられる。

【0035】
この場合、マウスカーソル制御部113は、式1及び式2に基づいて、眼電位信号1及び2に基づいてポインティング座標(xpos,ypos)を算出する。

【0036】
xpos =512+{512/(xc -xm)}x(xc-xin) (式1)
ypos =384+{384/(yc -ym)}x(yc-yin) (式2)

【0037】
なお、式1及び2におけるxc 及びyc は、それぞれ表示領域の中心部分に視線を合わせた場合に検出される眼電位信号値(キャリブレーション値)である。すなわち、xc は、表示領域の中心部分に視線を合わせた場合に一対の電極101について検出される眼電位信号の値である。また、yc は、表示領域の中心部分に視線を合わせた場合に一対の電極102から検出される眼電位信号の値である。

【0038】
また、式1及び2におけるxm とym は、それぞれ眼電位信号が採り得る最大値で与えられるものとする。すなわち、xm は、視線を表示領域の左端又は右端に合わせた場合に一対の電極101について検出される眼電位信号の値である。また、ym は、視線を表示領域の上端又は下端に合わせた場合に一対の電極102から検出される眼電位信号の値である。

【0039】
また、式1及び2におけるxinとyinは、それぞれ眼電位信号の入力値である。すなわち、xinは一対の電極101について検出される眼電位信号の値であり、yinは一対の電極101について検出される眼電位信号の値である。ただし、xin>xc かつyin>yc を満たすものとする。従って、式1及び2は、図4に示す破線で区切られた4つの領域のうち第4象限に対応する領域部分の座標値の算出にのみ適用可能である。

【0040】
また、式1及び2に現れる512と384の数値は、それぞれ表示領域の中心座標を与えるx座標値とy座標値である。

【0041】
なお、式1及び2におけるxc 、yc 、xm とym は、眼電位信号をポインティング座標の入力に使用する前に実行されるキャリブレーション動作時に、マウスカーソル制御部113に取り込まれる。これらの値は、不図示の記憶部にキャリブレーション値として格納される。このうち、xc 、ycは、眼球の回転方向の基準点を与えるキャリブレーション値を与え、他の手法でも使用される。一方、xm とym は、手法1に固有のキャリブレーション値である。

【0042】
これらのキャリブレーション値は、例えば表示領域中央に視線を合わせるための第1のターゲットと、表示領域の右端に視線を合わせるための第2のターゲットと、表示領域の下端に視線を合わせるための第3のターゲットを表示領域上に順番に表示することにより取り込むことができる。また、これらのキャリブレーション値は、例えば表示領域中央に視線を合わせるための第1のターゲットと、表示領域の右下端に視線を合わせるための第2のターゲットとを表示領域上に順番に表示することにより取得することができる。

【0043】
これらのターゲットの表示は、マウスカーソル制御部113に実装されたキャリブレーションプログラムによって実現される。なお、キャリブレーション機能の実行は、電極の装着者や補助者による操作入力により実行しても良いし、プログラム的に定期的に実行しても良い。

【0044】
この後、マウスカーソル制御部113は、算出されたポインティング座標をマウスカーソル制御信号の生成プログラムに与え、表示画面上のマウスカーソル115の表示位置を移動制御する。なお、マウスカーソル制御信号の生成プログラム自体は既知であるため詳細な説明は省略する。

【0045】
以上のように、この手法1を用いれば、電源ノイズの影響を受けることなく、眼球の回転方向(視線位置)を正確に検出できる。また、手法1の場合には、実時間でマウスカーソル115の表示位置(座標値)を計算することができるため、応答性の高いマウスカーソル制御システムを実現することができる。

【0046】
(3-2)手法2
ここでは、眼電位信号値に基づいて眼球の回転方向(視線の移動方向)を識別し、マウスカーソルの表示位置を、画面中央に対して上下左右の4方向に移動制御する手法について説明する。図5に、マウスカーソル115の移動制御イメージを示す。

【0047】
この形態例の場合、マウスカーソル制御部113は、キャリブレーション値と眼電位信号1及び2の各信号値との差分に基づいて眼球の回転方向(視線の移動方向)を検出し、その検出方向にマウスカーソル115(図1)を設定量だけ移動させる。なお、この形態例の場合には、視線の移動方向を4方向についてのみ識別しているが、検出可能な限り識別可能な方向の数はこれに限らない。

【0048】
図6に、マウスカーソル制御部113に搭載する制御機能のフローチャートを示す。まず、マウスカーソル制御部113は、眼電位信号1(CH1)及び眼電位信号2(CH2)のそれぞれを対象として平均化処理を実行する(ステップ601)。この処理により各眼電位信号に含まれる電源ノイズ成分を除去する。

【0049】
次に、マウスカーソル制御部113は、表示画面の中心を視認する場合に検出される眼電位信号1(CH1)及び眼電位信号2(CH2)の信号値(キャリブレーション値)に変化がないか否かを判定する(ステップ602)。この判定は、現在の入力値である眼電位信号1(CH1)及び眼電位信号2(CH2)のそれぞれと対応するキャリブレーション値との差分が閾値より小さい状態が一定時間、例えば2秒以上継続するかの判定処理により行う。

【0050】
差分値が閾値より小さい状態が2秒以上継続する場合(図6の肯定結果の場合)、マウスカーソル制御部113は、眼電位信号1(CH1)及び眼電位信号2(CH2)の各値でキャリブレーション値を更新する(ステップ603)。

【0051】
これに対し、差分値が閾値より小さい状態が2秒以上継続しない場合(図6の否定結果の場合)、マウスカーソル制御部113は、方向識別処理を実行する(ステップ604)。この場合、マウスカーソル制御部113は、図1(a)及び(b)で説明したように、眼電位信号1(CH1)及び眼電位信号2(CH2)のそれぞれについて眼電位の変化方向を検出する。そして、検出された方向に設定量(例えば20ピクセル)だけマウスカーソル115を移動させることを指示するマウスカーソル制御信号を発生する。移動方向と移動量が与えられた状態でのマウスカーソル制御信号の発生方法は既知であるので詳細な説明は省略する。

【0052】
なお、この形態例の場合、キャリブレーション値の更新処理が実行された後も、この方向識別処理を実行する。勿論、キャリブレーション値が更新された場合は、視線が表示画面の中央に位置していることを意味するので、マウスカーソル115の移動を命じるマウスカーソル制御信号は生成されない。

【0053】
以上の制御の後、マウスカーソル制御部113は、再びステップ601に戻り、一連の処理動作を繰り返し実行する。

【0054】
以上のように、この手法2を用いれば、検出用の電極の装着者は、一定時間視線を一定方向に向け続けることにより、表示画面上におけるマウスカーソル115を一定方向に移動させ続けることができる。勿論、移動方向の検出に使用される眼電位信号からは電源ノイズの影響が取り除かれているため、マウスカーソル115の移動に装着者の意図を高い精度で反映させることができる。また、この手法2の場合には、閾値を用いた移動の判定であるため、視線の移動量が閾値より小さければ、表示画面上におけるマウスカーソルの表示位置も静止させることができる。

【0055】
(3-3)手法3
ここでは、手法2の処理機能に加え、マウスカーソル115の左右方向へのスクロール制御機能とクリック入力機能を実現できる手法について説明する。なお、この形態例の場合、マウスカーソル制御部113は、眼電位信号値に基づいて眼球の回転方向(視線の移動方向)を上、下、左、右、左上、左下、右上、右下の8方向について識別できるものとする。この手法3の場合、マウスカーソル制御部113は、図7に示すように、右上方向に左右スクロール機能を割り当て、左下方向にクリック入力機能を割り当てるものとする。

【0056】
図8に、マウスカーソル制御部113に搭載する制御機能のフローチャートを示す。ステップ801からステップ804までの処理は、手法2におけるステップ601からステップ604までの処理と同じである。すなわち、マウスカーソル制御部113は、キャリブレーション値と眼電位信号1及び2の各信号値との差分に基づいて眼球の回転方向(視線の移動方向)を検出する。ただし、この形態例の場合、マウスカーソル制御部113は、検出方向が上、下、右、左の4方向の場合にのみ検出方向にマウスカーソル115(図1)を設定量だけ移動させるマウスカーソル制御信号を生成する(ステップ804)。

【0057】
ステップ804における検出方向が左上、左下、右上、右下のいずれかであった場合、マウスカーソル制御部113は、手法2で説明したような移動制御は実行せず、ステップ805の処理に移る。

【0058】
ステップ805の処理において、マウスカーソル制御部113は、検出された方向が右上であるか否かを判定する。肯定結果が得られた場合、マウスカーソル制御部113は、左右スクロールへの切り替え機能が選択されたと判定する(ステップ806)。この状態で、視線が右方向に移動されたことが検出された場合、マウスカーソル制御部113は、マウスカーソル115を画面上で右方向にスクロールさせる処理を実行する。一方、視線が左方向に移動されたことが検出された場合、マウスカーソル制御部113は、マウスカーソル115を画面上で左方向にスクロールさせる処理を実行する。

【0059】
なお、マウスカーソル制御部113は、単位量だけマウスカーソルをスクロールすると、ステップ807に移動し、視線が上又は下方向に移動されたか否か判定する。この判定処理において否定結果が得られた場合、マウスカーソル制御部113は、ステップ806に戻り、視線の入力方向にマウスカーソル115をスクロールさせる処理を実行する。一方、ステップ807の判定処理において肯定結果が得られた場合、マウスカーソル制御部113は、スクロール機能が解除されたと判定し、ステップ804の方向識別処理に戻る。

【0060】
ステップ804に戻ったマウスカーソル制御部113は、視線方向の識別処理を再び実行し、上下左右の4方向が検出された場合には、各方向に対する所定の移動量、例えば20ピクセル分だけマウスカーソル115を移動制御する動作を実行する。

【0061】
ステップ804における検出方向が左上、左下、右上、右下のいずれかであった場合、マウスカーソル制御部113は、ステップ805の判定処理を再び実行する。ここでは、否定結果が得られたものとする。その場合、マウスカーソル制御部113は、検出された方向が左下であるか否かを判定する(ステップ808)。肯定結果が得られた場合、マウスカーソル制御部113は、クリック機能が選択されたと判定し、クリック信号を発生する(ステップ809)。この後、マウスカーソル制御部113はステップ810に移動し、視線が上又は下方向に移動されたか否か判定する。この判定処理において否定結果が得られた場合、マウスカーソル制御部113は、ステップ809に戻り、クリック信号を再度発生する。一方、ステップ810の判定処理において肯定結果が得られた場合、マウスカーソル制御部113は、スクロール機能が解除されたと判定し、ステップ804の方向識別処理に戻る。なお、図8に示したステップ810の処理を省略し、クリック信号の発生後(ステップ809)は直接、ステップ804の処理に戻っても良い。

【0062】
ステップ804に戻ったマウスカーソル制御部113は、視線方向の識別処理を再び実行し、上下左右の4方向が検出された場合には、各方向に対する所定の移動量、例えば20ピクセル分だけマウスカーソル115を移動制御する動作を実行する。

【0063】
なお、ステップ804において、図7における左上方向と右下方向とが検出された場合、マウスカーソル制御部113は、ステップ805とステップ808のそれぞれにおいて否定結果を得、再びステップ801に戻り、前述した一連の処理動作を繰り返し実行する。

【0064】
以上のように、この手法3を用いれば、手法2の効果に加え、マウスカーソル115の水平方向への高速スクロールを実現することができる。これにより、操作時間の短縮を実現できる。また、この手法3の場合には、装着者によるクリック入力が可能になる。クリック入力が可能になることにより、装着者が操作可能なアプリケーションが格段に拡大し、装着者の意図や意思をより多く他者に対して伝えることができる。

【0065】
なお、この形態例の場合、左上方向と右下方向には機能を割り当てていないが、勿論、これらの方向にも機能を割り当てることができる。例えば左上方向に左スクロール機能を割り当て、右上方向に右スクロール機能を割り当てることもできる。また例えば右下方向にダブルクリック機能を割り当てることもできる。

【0066】
(3-4)手法4
ここでは、手法2及び3の改良機能例について説明する。具体的には、装着者がマウスカーソル115を目視した状態のまま、マウスカーソル115の移動方向を指示入力できるマウスカーソル制御部113の機能について説明する。この機能の実現のため、手法4では、手法2及び3の処理機能に追加して、キャリブレーション値の随時更新機能を搭載する。以下では、このキャリブレーション値の随時更新機能について説明する。

【0067】
図9に、キャリブレーション値の随時更新機能を実現するフローチャート例を示す。キャリブレーション機能が有効化されている場合、マウスカーソル制御部113は、眼電位信号1及び2について更新判定処理(窓A)を実行する(ステップ901)。この更新判定処理(窓A)では、キャリブレーション値と眼電位信号値との差分値を入力として、入力が方向識別状態か否かを判定する。なお、更新判定処理(窓A)の判定条件は固定であり、後段の更新判定処理(窓B)よりも判定条件が緩く設定されている。具体的には、判定窓Aの大きさが判定窓Bよりも大きく設定されている。なお、差分値の許容範囲を与える判定窓Aの上下方向の大きさと左右方向の大きさは別々に定められている。

【0068】
更新判定処理(窓A)において差分値が判定窓Aに含まれると判定された場合(すなわち、方向識別状態でないと判定された場合)、マウスカーソル制御部113は、2つ目の更新判定処理(窓B)に移る(ステップ902)。この更新判定処理(窓B)の場合も、キャリブレーション値と眼電位信号値との差分値が入力値として与えられる。更新判定処理(窓B)では、マウスカーソルの位置と視線方向との整合性が確認される。更新判定処理(窓B)は1つ目の更新判定処理(窓A)とは異なり、判定条件がマウスカーソル115の表示位置に応じて可変的に設定される。

【0069】
図10に、更新判定処理(窓B)において使用する判定条件のイメージを示す。図中に破線で囲んだ範囲が判定窓B1、B2及びB3である。これら判定窓B1、B2及びB3の拡大図を図11、図12及び図13に示す。判定窓B1、B2及びB3は、直前時点におけるマウスカーソル115の表示位置を中心に設定される。図10~図13に示すように、マウスカーソル115の表示位置により判定窓の大きさや方向別の許容量が変化していることが分かる。

【0070】
例えば画面中央に対応する判定窓B1では、中心位置に対して左方向への許容量と右方向への許容量とが均等に設定されている。また、上方向への許容量と下方向への許容量とが均等に設定されている。

【0071】
また、画面左下に対応する判定窓B2では、マウスカーソル115の移動量が限られる表示画面外側方向への許容量が小さく、反対に画面中央方向への許容量が大きく設定されている。

【0072】
同様に、画面右上に対応する判定窓B3も、マウスカーソル115の移動量が限られる表示画面外側方向への許容量が小さく、反対に画面中央方向への許容量が大きく設定されている。

【0073】
マウスカーソル制御部113は、水平方向又は上下方向に対する差分値が判定窓Bに含まれる場合(すなわち、マウスカーソル115の表示位置と視線方向との一致が確認された場合)、肯定結果を得て3つ目の更新判定処理(窓C)に移る(ステップ904)。この更新判定処理(窓C)では、眼電位信号値が変化していないか否かが判定される。このため、更新判定処理(窓C)では、眼電位信号値の変化量を入力値として使用する。

【0074】
この更新判定処理(窓C)の判定条件も更新判定処理(窓B)と同様、判定条件がマウスカーソル115の表示位置に応じて可変的に設定される。ただし、眼電位信号値の変化の有無を判定対象とするため、判定窓Cの大きさが同位置の判定窓Bよりも小さく設定されている。この例の場合、判定窓Cの大きさは、判定窓Bの3分の1の面積に設定する。

【0075】
この判定窓Cを用いた判定でも肯定結果が得られた場合、マウスカーソル制御部113は、キャリブレーション値の更新処理を継続する。なお、更新判定処理(窓A)、(B)及び(C)のいずれかにおいて否定結果が得られるとキャリブレーション値の更新処理は中止される。すなわち、更新判定処理(窓A)で入力が方向識別状態であると判定された場合、更新判定処理(窓B)でカーソル表示位置と視線方向とが一致しないと判定された場合、更新判定処理(窓C)で眼電位信号値の閾値以上の変化が検出された場合、キャリブレーション値の更新処理は中止される。

【0076】
さて、更新判定処理(窓C)において肯定結果が得られた場合、マウスカーソル制御部113は、この判定処理が得られたのが5回目か否かを判定する(ステップ904)。4回目以下と判定された場合、マウスカーソル制御部113は、2回目の更新判定処理(窓B)と2回目の更新判定処理(窓C)を実行する。

【0077】
そして、この2回目の更新判定処理(窓B)と2回目の更新判定処理(窓C)のループ処理が5回に達した時点で、マウスカーソル制御部113は、眼電位の現在値にキャリブレーション値を更新する(ステップ905)。勿論、ここでの更新は、眼電位信号1と眼電位信号2の両方について実行される。

【0078】
以上の処理により、キャリブレーション値がマウスカーソルの移動に伴って更新される。このことは、表示画面内でのマウスカーソル115の表示位置に応じてキャリブレーション値を変更できることを意味する。すなわち、視線の方向を考慮しながら移動中心を与えるキャリブレーション値を更新することができる。この機能により、マウスカーソル115を表示画面上に目視した状態のまま眼電位によるマウスカーソル115の移動制御が可能になる。

【0079】
ところで、このようにキャリブレーション値を更新した状態で、視線の移動方向を識別する場合には工夫が必要である。例えば表示画面上の位置とは関係無く同じ大きさの閾値を用いて視線の移動方向を識別した場合、上手く識別できない場合が認められた。その理由として、マウスカーソル115を見ている目の位置(目線)から眼球を動かせる範囲が変化することが考えられる。

【0080】
そこで、発明者らは、図14に示すように、方向識別用の閾値についてもマウスカーソル115の位置情報に応じて変更する機能を追加する。具体的には、表示画面の外周部付近では、マウスカーソル115の移動余白の小さい方向への眼電位の変化は小さくても視線の移動として識別するのに対し、移動余白の大きい方向への眼電位の変化は相対的に大きく変化しないと視線の移動として識別しないようにする。

【0081】
これらの処理機能をマウスカーソル制御部113に実装することにより、視線の変化方向を適切に識別することができる。その結果、電極101~103の装着者は、マウスカーソル115を見ながらその移動方向を制御することができる。

【0082】
また、この眼電位の中心位置をキャリブレーションする機能が実装されることにより、眼電位が無意識に変動する現象(ドリフト現象)にも実時間で対応することができる。

【0083】
(4)他の形態例
前述の形態例の説明では、60Hzの電源ノイズが眼電位に重畳する場合について説明した。しかし、50Hzの電源ノイズが重畳する場合には、この50Hzの電源ノイズ成分だけを除去できる平均化処理を実行すれば良い。

【0084】
前述した手法1の場合には、表示領域の第4象限に対応するポインティング座標(xpos,ypos)のみを算出により求めたが、計算式や座標の与え方を工夫すれば他の象限についてもポインティング座標を算出することができる。
【符号の説明】
【0085】
100…マウスカーソル制御システム
101…電極
102…電極
103…電極
111…増幅回路
112…A/D変換回路
113…マウスカーソル制御部
114…表示装置
115…マウスカーソル
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13