TOP > 国内特許検索 > 意思解読装置及び意思伝達支援装置 > 明細書

明細書 :意思解読装置及び意思伝達支援装置

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成31年3月7日(2019.3.7)
発明の名称または考案の名称 意思解読装置及び意思伝達支援装置
国際特許分類 G09B  21/00        (2006.01)
A61B   5/0476      (2006.01)
G06F   3/01        (2006.01)
FI G09B 21/00 Z
A61B 5/04 322
G06F 3/01 515
国際予備審査の請求 未請求
全頁数 16
出願番号 特願2018-511979 (P2018-511979)
国際出願番号 PCT/JP2017/014383
国際公開番号 WO2017/179486
国際出願日 平成29年4月6日(2017.4.6)
国際公開日 平成29年10月19日(2017.10.19)
優先権出願番号 2016081229
優先日 平成28年4月14日(2016.4.14)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ
発明者または考案者 【氏名】長谷川 良平
出願人 【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
個別代理人の代理人 【識別番号】110002572、【氏名又は名称】特許業務法人平木国際特許事務所
審査請求
テーマコード 4C127
5E555
Fターム 4C127AA03
4C127DD01
4C127GG10
4C127GG13
5E555AA11
5E555AA28
5E555BA02
5E555BA22
5E555BB02
5E555BB22
5E555BC04
5E555BC30
5E555BE08
5E555CA41
5E555CB70
5E555DB56
5E555DC13
5E555DD07
5E555EA25
5E555FA00
要約 キャリブレーション工程等のための事前の脳波計測を必要としないで、迅速で、かつ正確に、脳波を解析して意思決定を解読する意思解読装置、解読方法、脳内意思決定解読結果を用いた意思伝達支援装置、意思伝達支援システム及びプログラムを提供する。脳波を解析して意思を解読する意思解読装置であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定する。また、意思伝達支援装置は、意思解読装置の解読結果を提示する提示部を備える。
特許請求の範囲 【請求項1】
脳波を解析して意思を解読する意思解読装置であって、
複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定することを特徴とする意思解読装置。
【請求項2】
前記処理は、前記複数の刺激事象のうちの1つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記1つの刺激事象の判別得点を算出する処理であり、
得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする請求項1記載の意思解読装置。
【請求項3】
請求項1又は2記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする意思伝達支援装置。
【請求項4】
刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、
前記刺激事象提示装置は、複数の刺激事象を、それぞれ1回以上提示し、
前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、
前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定し、
前記提示装置は処理結果を提示することを特徴とする意思伝達支援システム。
【請求項5】
脳波を解析して意思を解読する意思解読方法であって、
複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定することを特徴とする意思解読方法。
【請求項6】
コンピューターを、
複数の刺激事象を、それぞれ1回以上提示する刺激事象提示手段と、
複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定する処理手段と、
特定された前記1刺激事象を提示する提示手段として機能させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、脳波を解析して意思決定を解読する解読装置、意思解読方法、該意思決定解読結果を用いた意思伝達支援装置、意思伝達支援システム、及びプログラムに関する。
【背景技術】
【0002】
近年、人の思考や行動と脳活動との関係性について様々な研究がなされ、脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするBrain-Machine Interface(BMI)技術が注目されている。
【0003】
本発明者は、仮想意思決定関数を提案し、その計算方法を示した(非特許文献1参照)。非特許文献1では、サルの単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示した。
【0004】
また、本発明者は、脳活動の解析により意思を伝達できる意思伝達支援装置及び方法を提案した(特許文献1、2参照)。特許文献1、2の技術により、例えば、発話や書字の困難な運動障がい者、手足等による各種機器の入力操作が困難な重度の運動障がい者のために、意思伝達を支援できる。
【0005】
また、本発明者は、健常者を含めた一般の被験者を対象として、脳波解析により脳内情報表現を地図的に示す手法を提案した(特許文献3参照)。また、本発明者は、脳波解析により、調査対象物を序列化する装置及び方法を提案した(特許文献4参照)。また、本発明者は、脳波解析により、被験者の認知機能を評価する装置及び方法を提案した(特許文献5参照)。
【先行技術文献】
【0006】

【特許文献1】特開2012-053656号公報
【特許文献2】特開2012-073329号公報
【特許文献3】特開2010-274035号公報
【特許文献4】特開2013-178601号公報
【特許文献5】国際公開2015/111331
【0007】

【非特許文献1】長谷川良平他「Single trial-based prediction of a go/no-go decision in monkey superior colliculus」Neural Networks 19(2006)1223-1232
【発明の概要】
【発明が解決しようとする課題】
【0008】
脳卒中や神経難病の主症状である運動機能障害は、日常生活動作だけでなく、家族や介護者への意思伝達をも困難にする。そのため、残存運動機能に着目する従来の支援技術では、症状が全身に及ぶ重度の運動機能障がい者に対しては、有効でないことが多い。
【0009】
また、脳波データを解析することにより、脳内における意思決定を解読するために、高速で高精度で解読できることが望まれている。本発明者は、重度の運動機能障がい者のコミュニケーション支援を目指し、脳と機械を直結するBMI技術として、特に頭皮上で計測される脳波に基づく意思伝達装置技術(「ニューロコミュニケーター」とも呼ぶ。)の提案をしてきた(特許文献1、2、3等参照)。ニューロコミュニケーターは、ユーザーの選択的注意を反映する事象関連電位に着目した脳内意思解読によって、パソコン画面上に表示された複数の絵カードのうちから1つ(標的)を選び、関連したメッセージを表出可能なシステムである。これまでの提案では、コンパクトな無線脳波計や樹脂製ヘッドギアを用いて高品質な脳波データを簡便に計測できることや、提案したアルゴリズムで高速・高精度で脳波から標的を解読できることを示した。
【0010】
上述のニューロコミュニケーターを利用する前提として、各ユーザーに独特の脳波パターン(標的か非標的かによって異なる事象関連電位の時系列データ)を線形判別分析などのパターン識別手法によって解読するために、予測モデル式の重みづけ係数の値を最適化するためのデータ収集(以下「キャリブレーション」とも呼ぶ。)のプロセスが不可欠であった。
【0011】
図6は、教師信号を必要とする従来の脳波解読の手順を説明する図である。図6に示すように、次のステップ(1)(2)(3)で脳波解読を行う。図6は刺激事象が8個の場合の例で説明した図である。
【0012】
(1) 教師信号の有るデータを取得する工程。
複数の刺激事象のうちの1つを「標的」として被験者に指示しておき、複数の刺激事象を提示し、刺激事象に対する被験者の脳の反応として、脳波を計測する。図中(1)のように、刺激事象ID1~8に対して、ID1が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、ID2が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、以下同様の脳波データを取得する。取得した脳波データは、指示された標的に対して被験者が標的として選択した際の脳波データと、指示された標的以外に対して被験者が示した脳波データとからなる。全ての刺激事象に対して「標的」と指示して、脳波データを取得する。該脳波データを、教師信号の有る脳波データとして使用する。
【0013】
(2) 1種類のモデル式を作成する工程。
(1)で取得した教師信号の有る脳波データから、図中(2)で示すような判別モデル式(「判別関数」とも呼ぶ。)を作成する。脳波データは、刺激事象毎に、標的の場合の脳波データと、非標的の場合の脳波データとで、電極位置によるチャンネルや刺激後の経過時間によって異なっている。各チャンネルと刺激後の経過時間に応じて、判別分析の重み係数を求めることができる。図中、判別モデル式は、判別得点が正のとき第1クラス(標的)、負のとき第2クラス(非標的)に分ける判別関数である。yは判別得点である。
【0014】
(3) 教師信号の無い新規データを解読する工程。
被験者に対して、標的を指示しないで、複数の刺激事象を提示して被験者の脳波を計測する。得られた、教師信号の無い脳波データについて、(2)で求めた判別モデル式を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点を示す刺激事象を、刺激事象が脳内で意思決定された刺激事象であると、決定する。より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。
【0015】
上述の工程(1)(2)はキャリブレーション工程である。キャリブレーション工程では、「システム側の指定する任意の絵カードを標的、それ以外の絵カードを非標的とする条件」をユーザーに提示し、その条件で各絵カードに対する事象関連電位を取得する。つまり、各脳波データが、標的に対するものか、非標的に対するものかの「教師信号」が存在する条件で、判別モデル式が1種類、生成されるのである。なお、システムからの指示で、絵カードに依存しないタグ付けを行うためにキャリブレーション途中で標的の絵カードを変更する場合があるが、その場合もシステム側の定義に応じて教師信号の内容(標的かどうか)が決定される。
【0016】
キャリブレーションの具体例を説明する。キャリブレーション工程では、キャリブレーション後の意思解読の実施工程と同様の、画面に表示される複数の絵カード(例えば8種類の絵カード)を刺激対象として用いる。従来の手法では、被験者に対して、特定の絵カードを「標的」と指示した後、絵カードを順次提示する。絵カードは1種類ずつ、擬似ランダムで提示する。絵カード1種類ずつを擬似ランダムで1度ずつ提示する単位を「ブロック」と呼ぶ。ブロックを複数回繰り返す。同一の標的に対する刺激提示の繰り返しを「1ゲーム」と呼ぶ。通常、各ゲームの開始後、ユーザーは標的の提示回数を頭の中でカウントする作業を行う。これは標的に対する注意を促すためであるが、標的かどうかという観点からユーザーの注意が絵カードに対する維持される限り、必ずしもカウントは必要ではない。指示した標的を提示した直後の脳波データであるか、それ以外の非標的の提示直後の脳波データであるか、が区別されている脳波データを、「教師信号付き脳波データ」という。判別モデル式作成のために教師信号付き脳波データを用いる場合には、キャリブレーションのために数ゲームを実施する。各ゲームでは、実験者(システム側)が例えば8種類の絵カードのうち、1種類を標的と定義し、被験者(ユーザー側)に教示する。これにより自動的にそれ以外の7種類は非標的となる。数ゲーム分の刺激提示によって、判別モデル式の項目数との関係(項目数の多さに比例して必要なデータ数が増える)で十分なデータを取得後、判別モデル式の重みづけ係数を最適化する。通常、判別モデル式の出力が標的に対して正の値に、非標的に対して負の値になるように設定する。この一連の作業によって生成された判別モデル式を用いることにより、その後の(教師信号の無い)新規データに対する解読が可能となる。
【0017】
キャリブレーションを予め行っておくことによって、キャリブレーション後の意思解読の実施工程で、ユーザーが標的を任意に選んだ時の脳波データのセット(教師信号が存在しない)に対しても、どの絵カードが標的であったのかが推定できることになる。
【0018】
しかしながら、このようなモデル生成のためのキャリブレーションは、重度患者にとっては体力を消耗する余分なプロセスであり、このプロセスを省略できる手法の可能性を本発明者は検討してきた。
【0019】
以上のように、従来の脳波解析による意思解読技術では、判別分析関数(判別モデル式)を作成するための脳波計測を必要とし、該計測により取得した脳波データに基づいて判別モデルを作成する工程(キャリブレーション工程)を必要としたので、脳波データの取得やそれに基づく判別モデル作成処理に、時間を要するという問題がある。一方、キャリブレーションのための脳波データを準備しないと、判別モデル式を作成することができないという問題がある。また、キャリブレーション工程を前提としないと、正確な脳内意思決定を解読できないという問題がある。
【0020】
本発明は、これらの問題を解決しようとするものであり、事前の準備工程を必要としないで迅速で、かつ正確に、脳波を解析して意思決定を解読する解読装置、解読方法、解読システム、プログラム、並びに脳内意思決定解読結果を用いた意思伝達支援装置、意思伝達支援方法、意思伝達支援システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0021】
本発明は、前記目的を達成するために、以下の特徴を有する。
(1) 本発明は、脳波を解析して意思を解読する意思解読装置であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定することを特徴とする。
(2) 前記(1)において、前記処理は、前記複数の刺激事象のうちの1つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記1つの刺激事象の判別得点を算出する処理であり、得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする。
(3) 本発明は、意思伝達支援装置であって、前記(1)又は(2)記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする。
(4) 本発明は、刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、前記刺激事象提示装置は、複数の刺激事象を、それぞれ1回以上提示し、前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定し、前記提示装置は処理結果を提示することを特徴とする。
(5) 本発明は、脳波を解析して意思を解読する意思解読方法であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定することを特徴とする。
(6) 本発明は、プログラムであって、コンピューターを、複数の刺激事象を、それぞれ1回以上提示する刺激事象提示手段と、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記1刺激事象を前記意思と特定する処理手段と、特定された前記1刺激事象を提示する提示手段として機能させるためのプログラムである。
【発明の効果】
【0022】
本発明により、脳内意思決定解読のための事前の準備を必要としないで、脳波を解析することが可能になる。本発明により、脳内で意思決定される内容を、迅速にかつ高精度で解読できる。また、本発明の意思決定解読による解読結果を種々の手段により提示することにより、介助者等の第三者に意思伝達をすることが可能となる。
【0023】
本発明は、健常者は勿論、運動障がい者等に対して、有効である。
【図面の簡単な説明】
【0024】
【図1】本発明の実施形態の、教師信号が必要ない脳波解読手順を説明する図。
【図2】本発明の実施形態の脳波解読装置を説明する図。
【図3】本発明の実施形態の、脳波解読方法における認知課題の刺激提示を、時間経過と共に表示し、かつ各刺激提示に対する脳波の反応の相違を説明する図。
【図4】本発明の実施形態における、脳波データに対して、標的と想定した刺激がID2又はID5の場合の、全刺激に対する累積判別得点を求めた例を説明する図。
【図5】本発明の実施形態における、脳波データに対して、標的と想定した刺激がID1~8の場合の、標的刺激の累積判別得点を求めた例を説明する図。
【図6】従来の、教師信号を必要とする脳波解読手順を説明する図。
【発明を実施するための形態】
【0025】
本発明の実施形態について以下説明する。

【0026】
本発明は、教師信号を必要としない脳波解読を行うものである。本発明の、教師信号が存在しない条件での脳波解読の原理について説明する。キャリブレーションを行わないにも関わらず、どの刺激が標的であるかを解読できる原理は、「標的刺激と関連した脳波データのクラスは、残り全ての非標的刺激と関連した脳波データのクラスの特徴と著しく異なるために、この組み合わせでクラス分けを行い特徴量の分散を調べた時の方が、他のどの組み合わせのクラス分けを行い特徴量の分散を調べたときよりも大きくなるはず」という仮説に基づく。この仮説に基づけば、標的と想定した刺激が本当に標的だった場合に、計測された脳波データに対する判別得点が他の場合に比べて高い傾向にあるはずである。なお、標的に与えられる判別得点の高さ以外にも、非標的となる残りの刺激の判別得点の平均値の低さに着目した解読、もしくは標的の判別得点の高さと非標的の判別得点の平均値の低さの両方に着目した解読を行うことも可能である。本願で用いる多変量解析では、脳波データを解析して、その脳波データの特徴量の分散を調べるために、脳波データに例えば判別分析を行って判別得点の分散を調べた。

【0027】
本発明では、複数の刺激に対する脳波データから、複数の刺激のうちいずれの刺激が「脳内で意思決定が行われた場合の決定対象の刺激」であるかどうかを判別する。そのために、脳波データを、判別分析による判別得点により、「脳内で意思決定が行われた場合の決定対象の刺激」(例えば、判別得点が大)と「脳内で意思決定が行われた場合の決定対象の刺激以外の刺激」(例えば、判別得点が小)の2つの群に判別する。ここで、本発明では、例えば、判別モデル式を予め作成しておくのではなく、複数の刺激事象のうちの全てについて、刺激事象が脳内で意思決定された刺激事象と想定したときの他の刺激事象と判別するための判別モデル式を作成し、該判別モデル式により算出される判別得点のうちで、最大の判別得点を示す刺激事象を、脳内で意思決定された刺激事象であると、決定しようとするものである。

【0028】
図1は、本発明の脳内意思決定を解読するための、脳波解読を説明する概略図である。本発明の実施形態では、図1に示すように、次のステップ(1)(2)(3)(4)で脳波による脳内意思決定を解読する。図1は、刺激事象が8個の場合の例である。

【0029】
(1) 標的がどの刺激であるか不明のデータを計測する工程。
被験者に対して、標的を指示しないで、複数の刺激事象を提示して、刺激事象の提示に対する被験者の脳波を計測する。

【0030】
(2) 各刺激を標的と想定して複数の判別モデル式を生成する工程。
(1)で取得した、教師信号の無い脳波データから、図中(2)で示すように、判別モデル式を作成する。作成する方法は、従来と同じであるが、本実施形態では、教師信号が無いので、次のように各刺激を標的と想定して複数のモデル式を生成する。前記教師信号の無い脳波データを用いて、ID1を標的と想定し、それ以外は非標的として、判別モデル式(ID1標的想定)を作成する。前記教師信号の無い脳波データを用いて、ID2を標的と想定し、それ以外は非標的として、判別モデル式(ID2標的想定)を作成する。同様にして、判別モデル式(ID3標的想定)、・・・判別モデル式(ID8標的想定)と、8種類の判別モデル式を作成する。ここで、図中では簡略的に、判別得点yの式を同じに記載しているが、各脳波データに対する重みづけ係数wと定数項cは、各判別式で異なるものである。なお、yの式において、xはあるチャネルのある時点における脳波データ(電圧)の値である。xの種類はチャンネル数(被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数)とデータポイント(各刺激後の各時間窓)を掛け合わせた種類(n)が存在する。

【0031】
(3) 各モデル式が算出する、標的に対する累積判別得点を、比較する工程。
(1)で取得した、教師信号の無い脳波データについて、(2)で求めた判別モデル式(ID1標的想定)を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点(以下「最大判別得点(判別モデル式(ID1標的想定))」と呼ぶ。)を示す刺激事象は、当然、標的と想定したID1である。同様に、(1)で取得した、教師信号の無い脳波データについて、(2)で求めた判別モデル式(ID2標的想定)を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点(以下「最大判別得点(判別モデル式(ID2標的想定))」と呼ぶ。)を示す刺激事象は、当然、標的と想定したID2である。以下同様にして、各判別モデル式(ID3~ID8標的想定)を用いて、最大判別得点(判別モデル式(ID3~ID8標的想定))を求める。なお、より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。得られた最大判別得点(判別モデル式(ID1~ID8標的想定))は、図中に、累積判別得点として、25、12、38、・・21と図示されている。累積判別得点を比較する。

【0032】
前記(2)と(3)の工程が、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の1刺激事象とその他の刺激事象とをクラス分けして特徴量の分散を調べる処理を、全ての刺激事象に対して行う工程である。

【0033】
(4) 判別得点が最大となる判別モデル式を提供した刺激事象がどれかを特定する工程。
(3)で求めた最大判別得点(判別モデル式(ID1~ID8標的想定))のうち、最大となる判別モデル式を提供した刺激事象が、ID1~ID8のうちのどれであるかを特定する。図1の例では、累積判別得点38である刺激事象ID3を特定し、解読結果とする。解読結果(刺激事象ID3)を、脳内で意思決定された内容として、提示する。

【0034】
前記(4)の工程が、特徴量の分散が最も大きくなる刺激事象のクラス分けを特定して該クラス分けにおける該刺激事象を前記意思と特定する工程である。

【0035】
本発明では、脳活動、特に頭皮上で記録される脳波の種類である事象関連電位に着目して、刺激事象の提示に対する脳の反応性を分析する。具体的には、本発明の実施形態は、刺激事象提示、脳波計測、脳波データ解析、解析結果の提示の要素を含む。刺激事象として、画面に表示する視覚刺激、音声で提示する聴覚刺激、皮膚への振動等による触覚刺激、ほか味覚や嗅覚刺激が挙げられる。

【0036】
図2は、本発明の実施形態における脳波解読装置を説明する図である。本発明の実施形態で用いる装置は、被験者(以下「ユーザー」ともいう。)用サブモニターと、被験者が装着する脳波計測用ヘッドギアと、刺激提示制御およびデータ解析用の処理装置(コンピューター等)とを備える。被験者用サブモニターの表示画面に被験者用の刺激事象を提示する。なお、刺激提示制御およびデータ解析用の処理装置(コンピューター等)と、被験者用サブモニターと、解読結果を提示する表示画面又は音声等出力装置とを、1つのコンピューターで実現できる。

【0037】
(第1の実施の形態)
本実施の形態を図1~5を参照して以下説明する。図2のような脳波解読装置を用いて解読を実施する。

【0038】
図3は、本実施の形態における、脳内意思決定解読用認知課題となる複数の刺激事象の提示と、これに対するユーザーの脳波の反応とを、時間経過と共に模式的に示す図である。図3に示すように、刺激事象(注意喚起事象、テスト刺激事象ともいう。)、例えば簡単な絵を1事象(1枚)ずつユーザーに提示する。これを見たユーザーの脳波を計測し、該脳波をコンピューター等の脳波解析処理装置により解析する。刺激事象は、記号、イラスト、絵、写真などである。これはユーザーが脳内意思決定の提示として利用したい内容により異なる。例えば、図3のように、「飲み物(が飲みたい)」「エアコン(をつけたい)」「寝返り(をしたい)」「トイレ(をしたい)」等の、ユーザーが希望する介助内容を表す絵カードの表示画面を用いる。

【0039】
教師信号が無い状態での脳波解読が可能な認知課題の詳細を述べる。

【0040】
例えば、8種類の絵カードの表示画面を刺激事象として用いる。認知課題が開始されると、絵カードが順次提示される。各絵カードの1回当たりの提示時間は250ミリ秒間とし、375ミリ秒のブランク後、別の絵カードを提示する。絵カード1種類ずつを擬似ランダムで1度ずつ提示する単位を「ブロック」と呼ぶ。ブロックを複数回繰り返す。同一の標的(ユーザーが脳内で設定している事象、ユーザーが脳内で意思決定している事象)に対する刺激提示の繰り返しを「1ゲーム」と呼ぶ。

【0041】
ゲームの開始後、ユーザーは、標的の提示回数を頭の中でカウントする作業を行う。カウント作業は、標的に対する注意を促すためであるが、標的かどうかという観点からユーザーの注意が絵カードに対する維持される限り、必ずしもカウントは必要ではない。絵カードを一枚ずつ提示する方法以外にも、全絵カードを画面上に並べて提示し続けたうえで、何らかの手がかり刺激を用いて一つずつ注意付けを行う場合もある。例えば、瞬間的に絵カードの輝度を変えたり、言葉やイラストを絵カードに重ねて提示したりする。

【0042】
本実施形態では、上述のように、ユーザーは、認知課題遂行中に、標的の提示回数を頭の中でカウントするが、標的・非標的の設定は自らの脳内でのみ行い、どの刺激が標的であるかどうかは実験者(システム側)に知らせる必要は一切無い。それにもかかわらず、キャリブレーションを行わずとも新規データの解読が可能となる。

【0043】
計測により取得した脳波データを、図1ステップ(2)(3)(4)の工程により解析する。

【0044】
実際の実験データを用いて、キャリブレーションを行わずに標的の解読ができることを次に示す。図4は、標的として想定する刺激を変えた時の、全刺激に対する累積判別得点の比較を示す図である。例えば、図4では、ID5の刺激を標的と想定し、それ以外の刺激を非標的としてクラス分けを行った際の判別モデル式を用いて、各IDの判別得点を算出してみた。実験では複数のデータを累積した判別得点で比較した。黒丸を結ぶ細線の折れ線は、ID5をターゲット(標的)と想定して作成した判別モデル式で算出した、各IDの判別得点を、プロットしたものである。その結果、当然のことながら、ID5の刺激に対する判別得点は、他のどの刺激に対してもよりも高くなる。一方、同様の解析を、ID2が標的と想定して行ってみると、ID2の判別得点が、他のどの刺激に対してよりもはるかに高くなっている。白丸を結ぶ太線の折れ線は、ID2をターゲット(標的)と想定して作成した判別モデル式で算出した、各IDの判別得点を、プロットしたものである。さらに、判別モデル式(ID2標的想定)で算出した「最大判別得点(判別モデル式(ID2標的想定))」の値は、判別モデル式(ID5標的想定)で算出した「最大判別得点(判別モデル式(ID5標的想定))」の値よりも高くなっていることが分かる。

【0045】
図5は、各刺激を標的とそれぞれ想定したときの、標的刺激に対する判別得点の比較を示す図である。全刺激に対して、図4に示したID2やID5と同様の解析を行い、標的と想定した刺激に対する判別得点どうしを比較してみると、やはりID2を標的として想定したときに判別得点(図中では縦軸「累積判別得点」)が最大になっている。実際、この脳波データは、ID-2を標的としてユーザーが設定していたものであった。解読に成功していたことが、実証された。

【0046】
(第2の実施形態)
第1の実施の形態では、判別得点yの式として、xの種類はチャンネル数(被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数)とデータポイント(各刺激後の各時間窓)を掛け合わせた種類(n)が存在する例で説明した。教師信号を必要としない解読法は、1ゲーム単位(複数ブロック)で即時に解読結果を求めることができる一方、判別モデル式の項目数を従来方式のままにすると、最適化に必要なデータ数が十分得られていない場合もある。そのような場合には、チャンネル平均を求めたり、主成分分析の第1~2主成分を用いたりするなど、次元圧縮を行うことによってモデル式の項目数、すなわち重みづけの係数の種類を大幅に削減する。例えば、8種類の刺激(標的1種類と非標的7種類)を10ブロック間で提示すると80回の刺激提示が行われ、80セット分のデータ系列が存在する。一方、各1セットのデータの構成要素が1チャンネル15時点ずつの8チャンネル分、つまり計120個の電圧値であるとすると、モデルの項目数に対するデータ数が1倍未満の比率しかないために、モデルを作成することが不可能となる。そこで、チャンネル平均を用いることで項目数を8分の1(15個)に減らすことができるために、比率も5.3となり、モデルの作成が可能となる。

【0047】
上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5