TOP > 国内特許検索 > 意思伝達支援装置及び方法 > 明細書

明細書 :意思伝達支援装置及び方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5544620号 (P5544620)
公開番号 特開2012-053656 (P2012-053656A)
登録日 平成26年5月23日(2014.5.23)
発行日 平成26年7月9日(2014.7.9)
公開日 平成24年3月15日(2012.3.15)
発明の名称または考案の名称 意思伝達支援装置及び方法
国際特許分類 G06F   3/01        (2006.01)
A61B   5/0484      (2006.01)
G09B  21/00        (2006.01)
FI G06F 3/01 310B
A61B 5/04 320M
G09B 21/00 H
請求項の数または発明の数 4
全頁数 16
出願番号 特願2010-195463 (P2010-195463)
出願日 平成22年9月1日(2010.9.1)
審査請求日 平成25年3月5日(2013.3.5)
特許権者または実用新案権者 【識別番号】301021533
【氏名又は名称】独立行政法人産業技術総合研究所
発明者または考案者 【氏名】長谷川 良平
【氏名】長谷川 由香子
【氏名】高井 英明
審査官 【審査官】篠塚 隆
参考文献・文献 長谷川 良平,“1-3 サル上丘ニューロンの活動に基づく意志決定過程の予測”,ブレイン・マシン・インタフェース -脳と機械をつなぐ-,株式会社オーム社,2007年 9月25日,第1版,p.32-51
調査した分野 A61B5/0484
G06F3/01
G09B21/00
特許請求の範囲 【請求項1】
刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、
該処理装置は、該脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断する処理装置であり
前記判別関数は、脳波電極の各チャンネルにおいて記録された、刺激後の各時間窓における脳波の電圧値を、説明変数とし、前記刺激が目標の第一群か非目標の第二群かを判別するための判別関数であり
前記成功率は、刺激提示の回数と前記判別関数による成功率との関係を予め求めておいた、予め決めておいた目標と判別関数の出力が一致した割合であることを特徴とする意思伝達支援装置。
【請求項2】
上記処理装置は、上記脳波データを解析して得た判別関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力することを特徴とする請求項1記載の意思伝達支援装置。
【請求項3】
脳波計によって測定したデータを解析して得た判別関数であって、脳波電極の各チャンネルにおいて記録された、刺激提示後の各時間窓における脳波の電圧値を、説明変数とし、前記刺激が、目標の第一群か非目標の第二群かを判別するための判別関数と、
刺激提示の回数と判別関数による成功率との関係を予め求めておいた、予め決めておいた目標と判別関数の出力が一致した割合である成功率と、
に基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする意思伝達支援方法。
【請求項4】
脳波計によって測定したデータを解析して得た判別関数による累積判別得点と、成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力することを特徴とする請求項3記載の意思伝達支援方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、操作者が手や足を使うことなく、操作者の意思によって直接機器を操作することを可能とするために、脳活動を検出して、操作者の意思を分析して伝達する意思伝達装置及び方法に関する。
【背景技術】
【0002】
現在、情報科学分野、医工学応用分野、脳活動による福祉機器制御の分野において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器等の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。
【0003】
従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献1および2に示されている。特許文献1には、五十音の文字盤の文字をブロックごとに順次点灯して選択させる技術や身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献2には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。しかしながら、介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、従来の操作を必要としないで直接的に意思を伝えることができる機器が望まれている。また、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。
【0004】
近年、脳科学の進歩により、人の思考や行動と脳活動との関係性について様々な研究がなされている。脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするBrain-Machine Interface(BMI)技術が注目されている。
【0005】
例えば、消費者行動と関係した脳活動を機能的MRI(fMRI)等の装置を使って調べるニューロマーケティングという研究がある。fMRIの装置を用いた脳活動計測実験によって、コカコーラとペプシコーラに対する嗜好性やブランド意識に関する脳部位を同定し、また脳活動の差を調べた研究が知られている(非特許文献1)。
【0006】
本発明者達は、動物の脳内に設置した電極による単一ニューロンの活動電位の細胞外記録という計測手法とニューロン集団活動のシミュレーションによって、複数の外部刺激(実験条件)が脳内でどのような関係性があると表現されているかを低次元の空間情報として推定できることを示した(非特許文献2参照)。しかしながら、脳活動についてはまだまだ未知な部分が多く、またその計測方法には制約がある。
【0007】
また、本発明者達は、仮想意思決定関数を提案し、その計算方法を示した(非特許文献3参照)。非特許文献3には、単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示している。
【先行技術文献】
【0008】

【特許文献1】特開2004-286768号公報
【特許文献2】特開2003-255825号公報
【0009】

【非特許文献1】McClure SM他,“Neural Correlates of Behavioral Preference for Culturally Familiar Drinks” Neuron 44,p379-387,2004
【非特許文献2】松本有央、長谷川良平「前頭連合野ニューロン集団の単一試行活動に基づく多次元意志決定の予測」Neuroscience Research,vol.58,Supplement 1,pageS161(P2-f34),2007
【非特許文献3】長谷川良平他「Single trial-based prediction of a go/no-go decision in monkey superior colliculus」 Neural Networks 19(2006)1223-1232
【発明の概要】
【発明が解決しようとする課題】
【0010】
ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を、手足等を使うことなく、できるだけ簡単な操作で意思を伝えることができる機器が望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。
【0011】
脳活動を機能的MRI(fMRI)等の装置を使って調べる技術では、MRI装置の中で測定する必要があるので、入力操作をリアルタイムで行うことが不可能であり、大型の装置を必要とする問題がある。
【0012】
従来の意思伝達に関する研究で提案されている装置では、脳波等の生体情報を測定するには、ノイズが大きく、正解の確率が低く、判定まで時間がかかるという問題があった。
【0013】
特に、従来の上記BMI技術のコアとなるのが、脳内意思決定をリアルタイムで解読する技術である。しかし、S/N比の悪い頭皮上脳波記録、あるいは同時記録できる数の少ないニューロン活動記録条件下では、正確かつ迅速に脳内意思決定を解読するのは極めて困難である。例えば、パソコン画面上に選択肢となる視覚刺激を複数個提示し、それらを疑似ランダムにフラッシュ(点灯)することによって得られる誘発脳波(刺激提示後300ミリ秒後の陽性の電位変化等のP300と呼ばれる事象関連脳波)の反応の強さによって、操作者が選択した選択肢を予測又は推測する手法が用いられている。その際、提示回数を増やすと予測精度が高くなる一方、時間がかかり、逆に提示回数を少なくすると予測に要する時間が短くなるものの精度が悪くなるという問題があった。
【0014】
本発明は、これらの問題を解決しようとするものであり、脳内意思を誤判定なく短時間で判別することを目的とする。また、本発明は、操作者が脳で考えることでリアルタイムに機器を直接操作することを目的とする。また、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることのできる装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明は、前記目的を達成するために、本発明者が開発した「仮想意思決定関数」という、意思決定の脳内過程を定量化する手法により実現するものである。仮想意思決定関数は、元来、脳内の意思決定機構を調べるために考案された基礎的研究のための解析手法であり、脳内設置電極によって記録されたニューロン活動(特に活動電位の発火頻度)のミリ秒単位の時間経過から、後に観察される二者択一的意思決定の形成過程の推定に役立つものであった(非特許文献3参照)。本発明では、この仮想意思決定関数の概念を大幅に拡張し、脳波計測による意思伝達装置のための脳内意思解読手法として活用したものである。また、予測確率が十分高まればフラッシュを打ち切って答えを出すという変動的にフラッシュを制御する手法を用いるものである。
【0016】
本発明は、前記目的を達成するために、以下の特徴を有するものである。
【0017】
本発明の装置は、意思伝達支援装置であって、刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、該処理装置は、該脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする。また、上記脳波データを解析して得た判別関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。
【0018】
本発明の、該脳波データを解析して得た関数と成功率とに基づく関数は、意思決定の脳内過程(時間的経過)を推定する関数であることから、仮想意思決定関数(Virtual Decision Function:VDF)と呼ぶことができる。また、脳波計によって測定したデータを解析して得た関数は、多変量解析の関数であり、ロジスティック関数や線形判別分析関数等である。変数の重み付けは、脳波のチャンネルと刺激提示後の経過時間毎に設定する。
【0019】
本発明では、意思決定として、二者択一の意思決定を利用することが好ましい。また、意思伝達装置による意思伝達の方法の実施に当たっては、教師信号により学習モデルを生成することが好ましい。また、事前のシミュレーションによって閾値を適度に調節することにより、予測精度と予測速度に関して、いずれを優先にするかの設定や、双方バランスがとれた設定を選択することができる。
【0020】
本発明の刺激を提示する装置は、表示画面が代表例であり、コンピューターの表示手段等を用いる。本発明の装置は、福祉機器に適用することができる。
【0021】
本発明の方法は、意思伝達支援方法であって、脳波計によって測定したデータを解析して得た判別関数と、成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする。また、脳波計によって測定したデータを解析して得た判別関数による累積判別得点と、成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。本発明の方法によれば、リアルタイムで意思伝達が実行できる。
【発明の効果】
【0022】
本発明によれば、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を、脳内活動で直接操作することができる。本発明は、二者択一の選択を操作者にさせてこれに対する脳波等の生体情報を、関数として取り出し、高い精度で短時間に、かつリアルタイムで、操作入力情報とすることができる。
【0023】
また、本発明によれば、操作者に脳波測定のための電極を固着するだけであり、例えば電極を備えるネットや帽子を装着する感覚であり、該電極と入力装置とは無線で接続することをすれば、操作者の位置の自由度が高く小型化できる。本発明は、意思伝達のための特殊な入力操作の習得を必要とすることがないから、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることができる。
【0024】
NIRSによる血流量変化に着目した従来的な手法では、一般に脳内意思決定の解読には数十秒の時間がかかることが報告されているが、本発明では、1回の選択に2~3秒という早さで9割以上の予測精度があることを確認した。本発明では、従来のようにあらかじめ設定されたブロック数が終了するのを待つことなく、信頼度の高い推測が可能な段階でデータ取得を打ち切って正解を導くことができるので、高速でかつ効率良い判別が可能となる。また、脳波データを解析して得た判別関数による判別得点をさらに累積した累積判別得点を用いることにより、ブロック数が増えるに従い判別得点が累積されることになるので、特定の選択肢が他の選択肢に比べて高い累積判別得点を獲得することになり、より高精度及び高速度の推測ができ、リアルタイムで意志伝達できる。
【0025】
二者択一の選択の組み合わせで、複数から1つを選択させることもでき、階層的にメッセージを表示し、これらの多様なメッセージをたった数回の選択動作によって、意思伝達を実行できる。このように、本発明は、入力操作が簡単でかつ早くメッセージを伝えることができる。
【図面の簡単な説明】
【0026】
【図1】第1の実施の形態による入力装置及び方法を模式的に示す図
【図2】第1の実施の形態の仮想意思決定関数による脳内意思識別を説明する図
【図3】第2の実施の形態で用いる表示画面を示す図
【図4】第2の実施の形態における判別分析過程を説明する図
【図5】第2の実施の形態における被験者の頭部における脳波の電極の配置を模式的に表す図
【図6】第2の実施の形態における全試行の脳波生成波形を示す図
【図7】第2の実施の形態における成功率、判別得点、VDFを示す図
【図8】第2の実施の形態におけるデータの構造を説明する図
【図9】第2の実施の形態におけるデータを説明する図
【発明を実施するための形態】
【0027】
本発明の装置及び方法について、実施の形態により以下説明する。

【0028】
本発明の実施の形態における構成は、主に次の要素からなる。
(1)脳内意思決定を解読する状況として、視覚的に提示される複数の選択肢(例えば視覚刺激)の中から一つを選択する行動課題を設定する。
(2)課題各試行において視覚刺激提示直後に誘発される意思決定に関与する脳活動(例えば視覚誘発P300脳波)などのイベントにタイムロックした生体信号に着目する。
(3)モデル学習用データ取得セッション(トレーニングセッションともいう。)において、刺激提示前後および刺激の種類の違い(例えば選択肢の違い)によって視覚誘発脳波のパターンを比較し、刺激提示の経過時間ごとに、識別モデルのパラメータを設定する。
(4)行動予測セッション(テストセッションともいう)において、決定されたパラメータを用いて得られる判別分析関数の値と決定係数(確からしさを表す係数、例えば成功率)を、ミリ秒単位の時間ごとに、かけ合わせることで、どのような意思決定をどの程度確からしく脳内で表現しているかを連続的な値の変化として推定できる。このような意思決定の脳内過程(時間的経過)を推定する関数を仮想意思決定関数(VDF)と呼ぶ。
(5)仮想意思決定関数がある閾値を超えた時に「特定の意思決定が脳内でなされた」と判断し、判断結果を外部プロセスに伝達する。

【0029】
本発明では、二者択一の意思決定を行わせている。二者択一の場合、0を中心としてVDFの高い値を一方の選択肢、低い値をもう一方の選択肢に割り振ることで、排他的な意思決定の推定が可能である。複数のVDF(複数の二者択一)を組み合わせることで2のべき乗の多次元意思決定を想定することも可能である。また、各選択肢を選ぶかどうかをそれぞれ二者択一的に評価し、最も早く閾値を超えた選択肢を採択することも可能である。

【0030】
上記閾値については、事前のシミュレーションによって閾値を適度に調節することにより、予測精度と予測速度に関して、どちらかを優先する設定や、双方バランスがとれた設定を選ぶことができる。

【0031】
本発明では、「特定の意思決定が脳内でなされた」と判断し、判断結果を外部機器に伝達することで、福祉機器の制御や他者への意思伝達をリアルタイムで行うシステムを構築できる。

【0032】
(第1の実施の形態)
本実施の形態について、図1を参照して以下説明する。図1は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。図2は、図1の仮想意思決定関数による脳内意思識別7を説明する図である。

【0033】
刺激提示用の表示画面2を被験者に見せて、被験者の頭皮上脳波を記録する(図1の被験者への刺激提示1参照)。被験者は、実施に当たっては、一般の機器ユーザー、健常者、介護を必要とする障害者や老人等である。被験者は、脳波を測定するための脳波計電極3を頭に装着している。例えば、脳波計電極を固定したヘッドキャップを用いる。表示画面(モニター)に様々な視覚刺激を提示する。被験者に、視覚刺激を提示して、それが「はい」か「いいえ」かの判断させる課題を行わせる。例えば、「はい」と「いいえ」を交互にフラッシュしている画面を見させ、その際、脳波計(図中脳波アンプ4)によって脳活動を計測する。例えば、脳波生成波形5として図示したデータ(横軸は刺激からの経過時間、縦軸は電圧変化を示す)を得る。脳波生成波形のデータをコンピューター6で解析し、仮想意思決定関数を計算し、被験者の意思決定を予測する(図1の仮想意思決定関数による脳内意思識別7参照)。仮想意思決定関数による脳内意思識別7の処理において、「はい」をフラッシュした直後の仮想意思決定関数が、意思決定推定値の領域「はい」内にあれば(8)、脳内の意思決定は「はい」であると推測する(10)。一方、「いいえ」をフラッシュした直後の仮想意思決定関数が、意思決定推定値の領域「いいえ」内にあれば(9)、脳内の意思決定は「いいえ」であると推測する。図1の仮想意思決定関数による脳内意思識別7のグラフにおいて、横軸は、「はい」と「いいえ」を交互にフラッシュするフラッシュ回数であり、縦軸は、仮想意思決定関数の値であり、意思決定推定値とも呼べるものである。意思決定推定値の領域「はい」は、仮想意思決定関数が所定の閾値以上の領域である。また、意思決定推定値の領域「いいえ」は、仮想意思決定関数が所定の閾値以下の領域である。また、横軸はフラッシュ回数が2回以上の適切な回数以上を、意思決定推定の領域「はい」「いいえ」とするとよい。また、図1の仮想意思決定関数による脳内意思識別のグラフでは、全フラッシュ回数を行った線が図示されているが、これは模式的な線であり、所定の閾値を超えた時に「特定の意思決定が脳内でなされた」と判断し、フラッシュを中断することが望ましい。図2も、図1の仮想意思決定関数による脳内意思識別7と同様であり、横軸は、「はい」と「いいえ」を交互にフラッシュするフラッシュ回数であり、縦軸は、仮想意思決定関数の値であり、意思決定推定値である。図2では、刺激経過時間Pで、仮想意思決定関数が「はい」の閾値を超えたことが示されている。

【0034】
また、上記判断の予測の結果が正しかったかどうかは、口頭やボタンなどによる意思決定内容の表出と照らし合わせて評価することが可能である。事前のシミュレーションによって、閾値を調節することができるので、予測精度と予測速度の必要性に応じて閾値を設定することができる。

【0035】
意思決定の推定値の出力信号は、コンピューターの入力信号として伝達され、表示画面に表示させたり、機器を操作制御させたりすることができる。このように、本発明の装置は、脳波による生体信号に基づき、操作者の意思決定を判別すると、その結果を画面に表示したり、実機の操作を実行したりする。操作者にとって、直観的なインターフェースで機器を操作したり、意思を伝達することができる。

【0036】
(第2の実施の形態)
第1の実施の形態では、基本的な例を説明したが、操作対象の機器として、電子メッセージボードを用いて行うことができる。電子メッセージボードは重度の運動機能や発話機能に重度の障害を持つ人々のための意思伝達支援ツールである。簡単なものでは「はい」か「いいえ」の選択を、複雑なものであれば喜怒哀楽の感情種や具体的なトイレや体のケアなど具体的なメッセージ内容を、従来キーボードやタッチパネル等で選択することによって他者とのコミュニケーションを行うものである。

【0037】
第2の実施の形態では、表示画面に多数の選択肢を表示して、多数から1つを選択させる例を図3~9を参照しながら説明する。図3に、本実施の形態で用いる表示画面の例を示す。表示画面上に、絵や文字のシンボル表示を多数個表示し、順にまたはランダムに光らせて光る箇所を変更しながら、利用者の脳波、特にP300と呼ばれる事象関連脳波(刺激提示後300ミリ秒後の陽性の電位変化)を計測する。仮想意思決定関数を求め、予測確率が十分高まったところでフラッシュを打ち切って、利用者の伝えたいシンボル表示(選びたい選択肢、目標)を検出してこれを入力とする。これは、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。本実施の形態では、LDA法(線形判別分析法)を利用する。

【0038】
本実施の形態における判別分析の過程を図4を参照しながら説明する。実施にあたり、利用者の意思伝達の解読の精度を上げるために、実際の利用の前に、トレーニングセッションとパラメータ決定とを行い、その後、テストセッション(実行)を行うことが望ましい。

【0039】
(a)トレーニングセッション
トレーニングセッション(a)では、教師信号とともにEEG(Electroencephalogram、頭皮上の電位変化を計測する脳波計)計測21を行い、学習モデルの生成22を行う。図1の表示画面のように、シンボル表示(絵文字、ピクトとも呼ぶ)を8個表示し、ランダムにフラッシュさせる(光らせる)箇所を一巡させ、これを1ブロック目とする。同様にして1から15ブロック目までを続けてフラッシュさせて被験者の脳波(電極の位置に対応してチャンネル1・・・チャンネル8)を測定する。図5に、被験者の頭部における脳波の電極の配置を模式的に表示する。被験者は、伝えたい特定の1つのシンボル表示(目標)を意識しているようにする。同様に1から15ブロック目までの測定を続けて行う。このようにして、8つのシンボル表示について、即ち全シンボル表示について同様に1から15ブロック目までの測定を行う。

【0040】
図6に、全試行の脳波生成波形の平均値の条件別比較を示す。図6は、ch1からch8の、目的刺激が提示された時のP300誘発脳波である。ch1からch8の全てのチャンネルで記録する。太線は、着目している絵カード(選びたい選択肢、目標)であったとき(答え「はい」)の誘発脳波であり、細線は着目している絵カード以外(非目標)のとき(答え「いいえ」)の誘発脳波であり、その違いが、チャンネルと経過時間(ms)によって異なっていることがわかる。

【0041】
(b)パラメータ決定
学習モデルの生成後、判別得点(LDA Score)の計算23を行う。脳波計による脳波電位は、目標のシンボル表示であるとき(答え「はい」)の脳波と、非目標のシンボル表示であるとき(答え「いいえ」)の脳波とで、各チャンネルと刺激後の経過時間によって、異なっているので、各チャンネルと刺激後の経過時間に応じて、判別分析の重み付け係数を求め設定する。重み付け係数を用いて判別得点の計算をすることができる。

【0042】
該判別得点の計算23の結果と、成功率の計算24の結果とから、仮想的に意思を決定することが可能である関数(本発明では仮想意思決定関数VDFと呼ぶ)の計算25を実行する。次に該仮想意思決定関数VDFのしきい値の計算26を行い、しきい値を設定する。

【0043】
(c)テストセッション(実行)
実際の意思伝達判別をリアルタイムで行うセッションである。教師信号なしでEEG計測27を行い、仮想意思決定関数がしきい値以上に達したら、EEG計測を打ち切り(VDF打ち切り予測法による画像選択28)、意思が決定したと判断して、上記ピクトの選択を、機器に伝達する。あるいは、複数のシンボル表示の内で最もVDFの値が高いもの、または最初に所定の値に達するものを、または他のシンボル表示と比較してVDF値が高いものを、選択されたと判断して、機器に伝達するようにしてもよい。

【0044】
例えば、図1の表示画面のように、シンボル表示を8個表示し、ランダムにフラッシュさせる(光らせる)箇所を1巡させ、これを1ブロック目とする。同様にして2ブロック目、3ブロック目と続けてフラッシュさせて脳波(電極の位置に対応してチャンネル1・・・チャンネル8)を測定する。このとき、仮想意思決定関数が閾値以上に達したら、予測確率が十分高まったとして、フラッシュを打ち切って、利用者の伝えたいシンボル表示を検出してこれを入力とする。

【0045】
図7に、リアルタイムで、VDFを計算して、途中で答えを出す例を示す。図7上段、中段、下段は、それぞれ成功率(Success Rate)、判別得点(LDA score)、VDFを示す図である。図7の各折れ線は各シンボル表示をフラッシュさせたときの値を示し、横軸はブロック回数を示す。図7下段に、ブロック回数5で太線がしきい値(太い横線。なお、しきい値の設定の仕方は後述する。)を超える様子が示されている。この例では、ブロック回数5でフラッシュを打ち切り、しきい値に達したシンボル表示を答えとして、意思伝達する。即ち所定の機器の入力操作信号とする。なお、図7の例では本実施例の時間的優位性を比較するために実際には7ブロックまでフラッシュを行っている。

【0046】
本実施の形態によれば、固定回数のフラッシュ刺激に対するデータを用いて最後に1回の識別を行う方法に比べて、しきい値に達した時に打ち切るために高速で答えを出すことができた。ただし、もし判別得点に着目して同じしきい値に達した候補を選ぼうとすると、2ブロック目でしきい値を超え、かつ最大の判別得点を示した候補が目標とする候補とは異なる候補であったため、正しい判断ができないことがこの図からわかる。つまり、これらのことからVDFに着目した打ち切り法は、高精度を維持したまま高速で予測をすることを可能にすることが示された。

【0047】
本実施の形態を図と数式を参照して以下に説明する。

【0048】
(A)データの構造と判別関数による分類
8個の各選択肢に対応する刺激(並べられた8個の選択肢のひとつをフラッシュさせるか、8個のうちひとつを画面に提示する)が疑似ランダムな順序で1度ずつあたえられる(これをブロックとする)。1ブロックは、刺激が選択肢を一巡する単位である。1度の選択肢決定(1ゲーム)につき、事前に設定されたブロック数(B)刺激が繰り返される(図8参照)。このとき、各刺激に対する説明変数(特徴量)xは、各チャンネルにおいて記録された、刺激後の各時間窓における脳波の電圧値(振幅値)を組み合わせたものである(図9参照)。ここで時間窓は、刺激の生起タイミングを1番目としたとき1からtn番目までのサンプリング区間である。該サンプリング区間は、図6の脳波生成波形の横軸の経過時間に対応している。たとえばここでnは15とした。したがって、xの数は、N=tn*Chとなる。

【0049】
(A-1) 選択肢の中から選びたいもの1つを決定するために、選択肢の1つを第一群(目標)、その他を第二群(非目標)とした2群にわける判別関数(モデルとよぶ)を準備する。

【0050】
【数1】
JP0005544620B2_000002t.gif

【0051】
判別関数である判別得点(yの値)が正のとき第一群、負のとき第二群と判別される。ここに、変数xが標準化されていれば、係数aの大きさは、そのままその変数が判別に与える影響の大きさである。

【0052】
(A-2) 各選択肢に対して判別得点(yの値)を算出し、比較して最も高い判別得点を示した選択肢を「選びたい選択肢」と推定する。

【0053】
まずこのモデルを作成する段階として、予めどの選択肢が目標かを決めたうえでの計測を複数ゲーム行う(例えば、表1で1ゲーム目はAが目標、2ゲーム目はBが目標)。

【0054】
(B)線形判別関数yの求め方
判別関数には様々なタイプがあるが、ここでは線形判別関数を用いて説明する。この判別式は2群から最も遠い位置に引かれることにより、2群を区分けする最も良い基準線となる。このとき、係数aは、全変動(2群全体のばらつき)に占める級間変動(群間のばらつき)の割合を最大化することにより決定され、これには以下のように分散・共分散を利用して求める方法がある。

【0055】
(B-1) 第一群、第二群について、それぞれ各変数における標本kの間の分散(平方和)Siiおよび各変数間における標本間の共分散(積和)Sijを求める。

【0056】
【数2】
JP0005544620B2_000003t.gif

【0057】
(B-2) 第一群と第二群の平方和・積和をプールする。同じ2変数について足し、自由度N1+N2-2で除す。
ij=(Sij(第一群)+Sij(第二群))/(N1+N2-2)
ここで、N1、N2は、それぞれ第一群、第二群の標本数を表し、例えば図8の場合、ゲーム数*ブロック数*目標選択肢数、ゲーム数*ブロック数*非目標選択肢数となる。

【0058】
(B-3) Sijを、そのi行j列に対応させて分散共分散行列Sとし、各変数にかかる係数aをn行1列に並べた行列をA、第一群の各変数の平均値から第二群の各変数の平均値を引いた数x(第一群)-x(第二群)をn行1列に並べた行列をXとすると以下の式が成り立つ。
SA=X ゆえに A=S-1

【0059】
(B-4) これにより各変数にかかる係数aを求めることができる。
なお、定数項は、a=-1/2[a{x(第一群平均値)+x(第二群平均値)}+・・・+a{x(第一群平均値)+x(第二群平均値)}]である。

【0060】
(C)判別得点による成功率の求め方
判別分析を用いる従来の脳波識別方法では、固定のブロック数分データを取得後、1回きりの判別分析を行い、もっとも判別得点の高い値を示す選択肢を「正解」として推定する。しかし、この固定回数法では、ブロック数が少なすぎるとデータ取得時間が短くても正答率(成功率ともいう)が低くなり、逆にブロック数が多すぎると正答率が高くてもデータ取得時間が無駄に長くなりすぎることになる。そこで、どの程度のブロック数を参照すればどの程度正確な判別分析を行うことが可能かを調べるために、刺激提示の回数(ブロック数)と判別分析による成功率との関係を求める。具体的な手順を以下に述べる。

【0061】
(C-1) 各ゲームについて、ブロックの経過ごとに(A-1)の式にてブロックbにおける各選択肢の判別得点y(b)を求め、それまでの累積である累積判別得点Y(b)を計算する。

【0062】
【数3】
JP0005544620B2_000004t.gif

【0063】
【数4】
JP0005544620B2_000005t.gif

【0064】
元のデータから該ゲームのデータを外して判別式を得、外したゲームのデータを新たなデータとして適用した際に妥当な結果が得られるかを全てのゲームについて繰り返し検証する、交差検証法を用いてデータの判別得点を得る。

【0065】
(C-2) 各ブロックにおいて、選択肢の中で最も累積判別得点Yの高いものを(今利用者が選びたいという意思のある選択肢として)出力に決定する。
(C-3) これを全ゲームについて行い、予め決めておいた目標と一致したかを調べることにより、各ブロックにおける成功率SR(目標と出力が一致したゲーム数の割合)を得る。

【0066】
(D)判別得点と成功率を用いた仮想意思決定関数(VDF)の求め方
通常、ブロック数が増え、判別得点が累積されることによって、特定の選択肢が他の選択肢に比べて高い累積判別得点を獲得することになる。この際、従来的なあらかじめ設定されたブロック数が終了するのを待つことなく、信頼度の高い推測が可能な段階でデータ取得を打ち切って正解を導くことができれば、効率良い判別が可能となる。この「打ち切り法」によって、高速・高精度で脳内の判断を推定するために、本発明では後述する「しきい値」に最も早く達した候補を、「選びたい候補」と推定する。ただし、しきい値の設定に際して、比較的信頼度の低いブロック回数のデータに基づく判別得点のばらつき(偶然によってしきい値に達する可能性)を考慮しなければならない。本発明では、非特許文献3の仮想意思決定関数の概念を大幅に拡張し、以下のような手順で、脳波計測による意思伝達装置のための脳内意思解読手法として活用するものである。

【0067】
(D-1) (C-1)で得られた累積判別得点Yに、(C-3)で得られた該ブロックにおける成功率を乗じることにより、仮想意思決定関数VDFを得る。

【0068】
【数5】
JP0005544620B2_000006t.gif

【0069】
(E)しきい値の求め方
(E-1) 各ゲームについていずれかの候補のVDFが任意の値(しきい値候補)をはじめて超えたときのブロック数とそのときの出力を得、各しきい値候補における成功率と平均ブロック数を求める。
(E-2) 各しきい値候補における成功率が最も高いもののうち、平均ブロック数が最も少ないものをしきい値θに決定する。

【0070】
(F)VDFとしきい値による打ち切り手法
(A)~(E)までの手法で得られたa、SR、θの値を用い、新たなゲームを行う。ただし、aはモデル作成用に計測した際の全てのゲームのデータにより得る。
(F-1) ブロックの経過ごとに各選択肢のVDFを求める。
(F-2) ある選択肢についてVDFの値がしきい値θを超えた場合、該ブロック時点で出力を決定して該ゲームの処理を終了し、以降のブロックを行わない。

【0071】
以上(A)~(F)に従って、脳内の意思をリアルタイムで解読し、意思伝達を支援することができる。数式を用いた説明では、累積判別得点を用いて説明したが、累積しない判別得点でも同様に行うことができる。

【0072】
なお、しきい値の設定については、しきい値と成功率との関係は、しきい値を高くすると成功率が高まるが、逆にしきい値を下げると成功率が減少する。しきい値の設定値を低くすると到達ブロック回数が減少するものの、ノイズが多くなり判別の精度が低下する。しきい値は、要求される意思伝達の精度と速度に応じて適宜選定することができる。

【0073】
上記実施の形態に示したような提示するシンボル表示を、例えば会話の構成要素を階層的に表示する内容にすると、各階層の選択画面で複数表示して、各階層で選択された構成要素を組み合わせることにより、複雑な意思伝達に用いることができる。多様なメッセージをたった数回の選択動作によって生成することができる。具体的には、本発明によれば、例えば8種類の選択肢から一つを選ぶ動作を3回行う簡単な入力操作で、512種のメッセージから1つを選ぶことができる。発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。

【0074】
実施の形態では、視覚刺激について説明したが、視覚刺激に換え聴覚刺激等を与えて対応する脳波を計測して解析するようにしてもよい。

【0075】
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
【産業上の利用可能性】
【0076】
本発明によれば、手足等を用いることなく、脳内の意思をリアルタイムで解読することができるので、意思伝達支援装置あるいは一般ユーザー入力装置への支援入力手段として利用可能である。
【符号の説明】
【0077】
1 被験者への刺激提示
2 表示画面
3 被験者の脳波計電極
4 脳波アンプ
5 脳波生成波形
6 コンピューター
7 脳内意思識別
8 脳内意思決定「はい」
9 脳内意思決定「いいえ」
10 脳内意思決定判断結果
図面
【図6】
0
【図7】
1
【図8】
2
【図9】
3
【図1】
4
【図2】
5
【図3】
6
【図4】
7
【図5】
8