TOP > 国内特許検索 > 情動認識装置、情動認識方法、及び情動認識プログラム > 明細書

明細書 :情動認識装置、情動認識方法、及び情動認識プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6124239号 (P6124239)
公開番号 特開2014-033715 (P2014-033715A)
登録日 平成29年4月14日(2017.4.14)
発行日 平成29年5月10日(2017.5.10)
公開日 平成26年2月24日(2014.2.24)
発明の名称または考案の名称 情動認識装置、情動認識方法、及び情動認識プログラム
国際特許分類 A61B   5/0476      (2006.01)
A61B   5/0452      (2006.01)
A61B   5/16        (2006.01)
A61B   5/04        (2006.01)
FI A61B 5/04 320Z
A61B 5/04 312U
A61B 5/04 322
A61B 5/16
A61B 5/04 ZDM
請求項の数または発明の数 4
全頁数 10
出願番号 特願2012-174946 (P2012-174946)
出願日 平成24年8月7日(2012.8.7)
新規性喪失の例外の表示 特許法第30条第2項適用 平成24年3月22日 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0033006
審査請求日 平成27年8月5日(2015.8.5)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】国立研究開発法人科学技術振興機構
発明者または考案者 【氏名】久保 賢太
【氏名】川合 伸幸
【氏名】岡ノ谷 一夫
個別代理人の代理人 【識別番号】100064908、【弁理士】、【氏名又は名称】志賀 正武
【識別番号】100094400、【弁理士】、【氏名又は名称】鈴木 三義
【識別番号】100147267、【弁理士】、【氏名又は名称】大槻 真紀子
審査官 【審査官】湯本 照基
参考文献・文献 久保 賢太,岡ノ谷 一夫,川合 伸幸,一言の謝罪で怒りは抑制される -中枢・自律・主観指標による検討-,2011年度日本認知科学会第28回大会 電子版Proceedings,2011年,32-35
調査した分野 A61B 5/0476
A61B 5/04
A61B 5/0452
A61B 5/16
特許請求の範囲 【請求項1】
ユーザの左脳の脳波及び前記ユーザの右脳の脳波を検出し、前記左脳の脳波から左脳のαパワー値を検出し、前記右脳の脳波から右脳のαパワー値を検出する第1検出部と、
前記左脳のαパワー値と前記右脳のαパワー値との不均衡度を算出する算出部と、
前記ユーザの心拍を検出する第2検出部と、
前記検出された心拍のタイミングに基づいて、1分間あたりの心拍数を計数する計数部と、
前記不均衡度の二乗と前記心拍数の二乗との合計値の平方根を算出することにより、前記ユーザの怒りの攻撃性の強度として状態攻撃性強度を取得する認識部と、
を備える動認識装置。
【請求項2】
前記算出部は、前記左脳のαパワー値と前記右脳のαパワー値との比を、前記不均衡度として算出する請求項に記載の情動認識装置。
【請求項3】
情動を認識する情動認識装置が行う情報認識方法であって、
前記情報認識装置が、ユーザの左脳の脳波及び前記ユーザの右脳の脳波を検出し、
前記情報認識装置が、前記左脳の脳波から左脳のαパワー値を検出し、
前記情報認識装置が、前記右脳の脳波から右脳のαパワー値を検出し、
前記情報認識装置が、前記左脳のαパワー値と前記右脳のαパワー値との不均衡度を算出し、
前記情報認識装置が、前記ユーザの心拍を検出し、
前記情報認識装置が、前記検出された心拍のタイミングに基づいて、1分間あたりの心拍数を計数し、
前記情報認識装置が、前記不均衡度の二乗と前記心拍数の二乗との合計値の平方根を算出することにより、前記ユーザの怒りの攻撃性の強度として状態攻撃性強度を取得する
動認識方法。
【請求項4】
コンピュータに、
ユーザの左脳の脳波及び前記ユーザの右脳の脳波を検出し、
前記左脳の脳波から左脳のαパワー値を検出し、
前記右脳の脳波から右脳のαパワー値を検出し、
前記左脳のαパワー値と前記右脳のαパワー値との不均衡度を算出し、
前記ユーザの心拍を検出し、
前記検出された心拍のタイミングに基づいて、1分間あたりの心拍数を計数し、
前記不均衡度の二乗と前記心拍数の二乗との合計値の平方根を算出することにより、前記ユーザの怒りの攻撃性の強度として状態攻撃性強度を取得する
ことを実行させるための情動認識プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、情動を認識する情動認識装置、情動認識方法、及び情動認識プログラムに関する。
【背景技術】
【0002】
現代社会において、怒りの制御は非常に重要である。なぜなら、突然の怒りが甚大な事件を引き起こすこともあるからである。怒りは、攻撃性と不快感とに区別することができる。ここで、攻撃性とは、接近の動機づけ(Approach Motivation)のうち、相手に攻撃や介入をしようとする強い衝動である(非特許文献1参照)。
【先行技術文献】
【0003】

【非特許文献1】久保賢太、外2名、「一言の謝罪で怒りは抑制される-中枢・自律・主観指標による検討-Apology suppresses physiological but not psychological anger.」、日本認知科学会、平成23年9月23日、p.32-35
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来は、ユーザの怒りを認識する際、怒りの攻撃性を、怒りの不快感と区別して認識することができないという問題がある。怒りの攻撃性を怒りの不快感と区別して認識することができなければ、ユーザは、自らの怒りを制御することが難しい場面がある。
【0005】
本発明は、前記の点に鑑みてなされたものであり、怒りの攻撃性を、怒りの不快感と区別して認識することができる情動認識装置、情動認識方法、及び情動認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するためになされたものであり、ユーザの中枢神経系反応を検出する第1検出部と、前記ユーザの自律神経系反応を検出する第2検出部と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する認識部と、を備えることを特徴とする情動認識装置である。
【0007】
また、本発明の一態様は、前記第1検出部が、前記中枢神経系反応としての脳波を検出し、前記第2検出部は、前記自律神経系反応としての心拍を検出することを特徴とする情動認識装置でもよい。
【0008】
また、本発明の一態様は、前記第1検出部が、前記ユーザの左脳及び右脳について、前記脳波をそれぞれ検出し、前記認識部は、前記左脳の脳波と前記右脳の脳波との不均衡度と、前記心拍の数とに基づいて、前記攻撃性を認識することを特徴とする情動認識装置でもよい。
【0009】
また、本発明の一態様は、前記左脳のαパワー値と前記右脳のαパワー値とに基づいて、前記不均衡度を算出する算出部を備えることを特徴とする情動認識装置でもよい。
【0010】
また、本発明の一態様は、前記算出部が、前記左脳のαパワー値と前記右脳のαパワー
値との比を、前記不均衡度として算出することを特徴とする情動認識装置でもよい。
【0011】
また、本発明は、情動を認識する情動認識装置における情動認識方法であって、第1検出部が、ユーザの中枢神経系反応を検出するステップと、第2検出部が、前記ユーザの自律神経系反応を検出するステップと、認識部が、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識するステップと、を有することを特徴とする情動認識方法である。
【0012】
また、本発明は、コンピュータに、ユーザの中枢神経系反応を取得する手順と、前記ユーザの自律神経系反応を取得する手順と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する手順と、を実行させるための情動認識プログラムである。
【発明の効果】
【0013】
本発明によれば、認識部は、中枢神経系反応及び自律神経系反応に基づいて、ユーザの怒りの攻撃性を認識する。これにより、怒りの攻撃性を、怒りの不快感と区別して認識することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態における、情動認識装置の構成例を示すブロック図である。
【図2】本発明の一実施形態における、怒りの攻撃性及び不快感を説明するための図である。
【図3】本発明の一実施形態における、情動認識装置の動作手順の例を示すフローチャートである。
【発明を実施するための形態】
【0015】
本発明の一実施形態について図面を参照して詳細に説明する。情動認識装置は、ユーザの怒りを認識する際、怒りの攻撃性を怒りの不快感と区別して認識する。

【0016】
まず、情動認識装置の構成例について説明する。
図1には、情動認識装置の構成例が、ブロック図により示されている。情動認識装置10は、第1検出部11と、算出部12と、第2検出部13と、計数部14と、認識部15と、出力部16とを備える。

【0017】
第1検出部11は、ユーザの中枢神経系反応をセンシングするためのセンサから、センシング結果を取得する。このセンサは、例えば、ユーザの頭部に装着されるヘッドギアに備えられる。第1検出部11は、ユーザの中枢神経系反応としての脳波を、左脳及び右脳についてそれぞれ検出する。

【0018】
また、第1検出部11は、検出した左脳の脳波に対して、高速フーリエ変換(Fast Fourier Transform:FFT)を施すことにより、左脳のα波のパワー値(以下、「左αパワー値」という)を検出し、左αパワー値を示す信号を、算出部12に出力する。同様に、第1検出部11は、検出した右脳の脳波に対して、高速フーリエ変換を施すことにより、右脳のα波のパワー値(以下、「右αパワー値」という)を検出し、右αパワー値を示す信号を、算出部12に出力する。以下、ユーザが怒り状態にある場合、左αパワー値は、右αパワー値よりも小さな値(αパワー値は脳活動の強さとは逆の関係にあるため、脳活動は左優勢の状態)であるものとして説明を続ける。

【0019】
算出部12には、左αパワー値を示す信号と、右αパワー値を示す信号とが、第1検出部11から入力される。算出部12は、左脳のαパワー値と右脳のαパワー値とに基づいて、不均衡度e(Asymmetry of Alpha power)を算出し、不均衡度eを示す信号を、認識部15及び出力部16に出力する。ここで、算出部12は、左αパワー値と右αパワー値との比を、不均衡度eとして算出する。

【0020】
なお、算出部12は、左αパワー値と右αパワー値との差分値を、不均衡度eとして算出してもよい。また、算出部12は、左αパワー値と右αパワー値とに対して、それぞれの重み係数を乗算してもよい。また、算出部12は、不均衡度eを示す信号のみならず、左αパワー値を示す信号と、右αパワー値を示す信号とを、出力部16に出力してもよい。

【0021】
第2検出部13は、ユーザの自律神経系反応をセンシングするためのセンサから、センシング結果を取得する。このセンサは、例えば、ユーザの手首等に装着されるバンド(帯)に備えられる。第2検出部13は、ユーザの自律神経系反応としての心拍を検出し、心拍のタイミングを示す信号を、計数部14に出力する。また、第2検出部13は、自律神経系反応としての皮膚温度及び皮膚抵抗(Skin Conductance:SC)のうち、少なくとも一つを検出し、この検出結果を示す信号を、計数部14に出力してもよい。以下、ユーザが怒り状態にある場合、心拍、皮膚温度及び皮膚抵抗は増大するものとして説明を続ける。

【0022】
計数部14には、心拍のタイミングを示す信号が、第2検出部13から入力される。計数部14は、心拍のタイミングに基づいて、1分間あたりの心拍数b(Heart Rate:HR)(beats per minute:bpm)を計数し、1分間あたりの心拍数bを示す信号を、認識部15及び出力部16に出力する。

【0023】
認識部15には、不均衡度eを示す信号が、算出部12から入力される。また、認識部15には、1分間あたりの心拍数bを示す信号が、計数部14から入力される。認識部15は、中枢神経系反応及び自律神経系反応に基づいて、ユーザの怒りの攻撃性を認識する。すなわち、認識部15は、中枢神経系反応に応じた不均衡度eと、自律神経系反応に応じた心拍数とに基づいて、ユーザの怒りの攻撃性を認識する。ここで、認識部15は、ユーザの怒りの攻撃性の強度(怒りゲージ)として、状態攻撃性強度(Approach Motivation:AM)を算出し、状態攻撃性強度を示す信号を、出力部16に出力する。

【0024】
図2は、怒りの攻撃性及び不快感を説明するための図である。図2において、縦軸は、状態攻撃性強度(AM)を示す。状態攻撃性強度(-a)は、不均衡度e及び心拍数b(HR)に基づく強度であり、一例として、式(1)により表される。

【0025】
-a=√(e+b) …(1)

【0026】
ここで、eは、不均衡度を示す。また、bは、1分間あたりの心拍数を示す。例えば、不均衡度eが、左αパワー値を右αパワー値で除算した値である場合、不均衡度eは、目安として100以内であり、1分間あたりの人の心拍数に近い値となる。

【0027】
一方、横軸は、状態不快強度(Negative Affect:NA)を示す。状態不快強度は、皮膚温度及び皮膚抵抗(SC)のうち、少なくとも一方に基づく強度であり、ユーザの快感又は不快感を示す強度である。

【0028】
図2では、怒りは、ベクトルにより概念的に示されている。図2に示されているように、怒りの成分は、攻撃性と不快感とに区別することができる。また、謝罪は、怒りの攻撃性を抑えることができるが、不快感を抑えることができないことが、ベクトルにより概念的に示されている。

【0029】
図1に戻り、情動認識装置の構成例についての説明を続ける。出力部16には、不均衡度eを示す信号が、算出部12から入力される。また、出力部16には、1分間あたりの心拍数bを示す信号が、計数部14から入力される。また、出力部16には、状態攻撃性強度を示す信号が、認識部15から入力される。

【0030】
出力部16は、不均衡度eを示す信号を、脳波をモニタリングするための信号として、フィードバック装置(不図示)に出力する。また、出力部16は、左αパワー値を示す信号と、右αパワー値を示す信号とを、脳波をモニタリングするための信号として、フィードバック装置に出力してもよい。

【0031】
また、出力部16は、1分間あたりの心拍数bを示す信号を、心拍をモニタリングするための信号として、フィードバック装置に出力する。また、出力部16は、状態攻撃性強度を示す信号を、フィードバック装置に出力する。これにより、不均衡度eと、1分間あたりの心拍数bと、状態攻撃性強度(-a)とは、フィードバック装置(例えば、表示装置、音声出力装置)を介して、ユーザにフィードバックされる。

【0032】
情動認識装置10が、怒りの攻撃性(状態攻撃性強度)を、怒りの不快感(状態不快強度)と区別して認識することができるので(図2を参照)、ユーザは、情動認識装置10からフィードバックされた状態攻撃性強度に基づいて、自らの怒りを制御することが容易となる。

【0033】
次に、情動認識装置の動作手順の例を説明する。
図3は、情動認識装置の動作手順の例を示すフローチャートである。
(ステップS1)第1検出部11は、ユーザの中枢神経系反応としての脳波を、左脳及び右脳についてそれぞれ検出する。第1検出部11は、左αパワー値を示す信号と、右αパワー値を示す信号とを、算出部12に出力する。

【0034】
(ステップS2)算出部12は、左脳のαパワー値と右脳のαパワー値とに基づいて、不均衡度eを算出し、不均衡度eを示す信号を、認識部15及び出力部16に出力する。
(ステップS3)第2検出部13は、ユーザの自律神経系反応としての心拍を検出し、心拍のタイミングを示す信号を、計数部14に出力する。
(ステップS4)計数部14は、心拍のタイミングに基づいて、1分間あたりの心拍数bを計数し、1分間あたりの心拍数bを示す信号を、認識部15及び出力部16に出力する。

【0035】
(ステップS5)認識部15は、中枢神経系反応に応じた不均衡度eと、自律神経系反応に応じた心拍数とに基づいて、ユーザの怒りの攻撃性を認識する。ここで、認識部15は、ユーザの怒りの攻撃性の強度(例えば、怒りゲージ)として、状態攻撃性強度を算出し、状態攻撃性強度を示す信号を、出力部16に出力する。

【0036】
(ステップS6)出力部16は、状態攻撃性強度を示す信号を、フィードバック装置に出力する。これにより、状態攻撃性強度(-a)は、フィードバック装置を介して、ユーザにフィードバックされる。

【0037】
次に、情動認識装置が適用されるアプリケーションの例について説明する。
<非対面コミュニケーション・アプリケーション>
情動認識装置10は、電子メールを作成して送信しようとするユーザの怒りの攻撃性(状態攻撃性強度)を、怒りの不快感(状態不快強度)と区別して認識する。この場合、情動認識装置10は、例えば、以下のように構成されても良い。

【0038】
情動認識装置10は、電子メールを作成しているユーザの状態攻撃性強度を認識し、所定の条件が満たされたか否か判定する。上記の所定の条件が満たされた場合、情動認識装置10は、状態攻撃性強度が高い(所定閾値以上である)状態のユーザにより作成された電子メールであることを、所定のタイミング(例えば、電子メールの送信ボタンをユーザが選択したタイミング、上記の所定の条件が満たされたと判定したタイミング)で通知する。このとき、情動認識装置10は、作成された電子メールを本当に送信しても良いか否か確認するメッセージ(以下、「確認メッセージ」という)を出力する。この時点では、電子メールは未送信の状態である。情動認識装置10は、作成された電子メールを送信しても良い旨の指示が、確認メッセージに対してユーザから入力された場合、その未送信の電子メールを送信する。

【0039】
なお、情動認識装置10は、上記の所定の条件が満たされた場合、ユーザが本当に謝罪していないこと(状態攻撃性強度が高いこと)を示すデータを生成し、生成したデータをメールに添付して送信しても良い。一方、情動認識装置10は、上記の所定の条件が満たされなかった場合、ユーザが本当に謝罪していること(状態攻撃性強度が低いこと)を示すデータを生成し、生成したデータをメールに添付して送信しても良い。

【0040】
<医療アプリケーション>
他者の情動を察知することが苦手でコミュニケーションに不調を抱えることがある患者を、社会復帰させるため、情動認識装置10は、その患者の怒りの攻撃性(状態攻撃性強度)を、怒りの不快感(状態不快強度)と区別して認識してもよい。この認識結果は、患者の治療に役立てられてもよい。

【0041】
例えば、情動認識装置10は、患者の状態攻撃性強度が高い(所定閾値以上である)状態であるか否かを、所定のタイミング(例えば、カウンセラが患者に話し終えたタイミング)で通知する。これにより、カウンセラは、その通知に基づいて、患者に適切なカウンセリングをすることができる。

【0042】
<環境アプリケーション>
情動認識装置10は、乗用車を運転中であるユーザの怒りの攻撃性(状態攻撃性強度)を、怒りの不快感(状態不快強度)と区別して認識してもよい。例えば、情動認識装置10は、ユーザの状態攻撃性強度が所定閾値以上であると認識した場合、運転操作ミスを防止するためのセルフチェックメッセージを、フィードバック装置としての音声出力装置から出力させてもよい。また、情動認識装置10は、ユーザの状態攻撃性強度が所定閾値以上であると認識した場合、その乗用車のアクセルの動きを固くすることにより、運転操作ミスを防止させてもよい。

【0043】
<ビジネス・アプリケーション>
情動認識装置10は、例えば、マーケティング会社において、マネージメント層に属するユーザの状態攻撃性強度を認識し、アンガーコントロール(怒り抑制)をセルフカウンセリングするためのメッセージを、所定のタイミング(例えば、そのユーザが部下に話し終えたタイミング)で、フィードバック装置としての表示装置に表示させてもよい。また、例えば、情動認識装置10は、接客業に属するユーザの状態攻撃性強度を認識し、アンガーコントロールをセルフカウンセリングするためのメッセージを、所定のタイミング(例えば、接客中において所定の周期)で、フィードバック装置としての表示装置に表示させてもよい。

【0044】
以上のように、情動認識装置10は、ユーザの中枢神経系反応を検出する第1検出部11と、前記ユーザの自律神経系反応を検出する第2検出部13と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する認識部15と、を備える。
この構成により、認識部15は、前記ユーザの自律神経系反応を検出する第2検出部13と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する。これにより、情動認識装置は、怒りの攻撃性を、怒りの不快感と区別して認識することができる。また、情動認識装置は、ユーザの音声又は表情に惑わされることなく、怒りの攻撃性を、怒りの不快感と区別して認識することができる。

【0045】
また、第1検出部11は、前記中枢神経系反応としての脳波を検出し、第2検出部13は、前記自律神経系反応としての心拍を検出してもよい。
また、第1検出部11は、前記ユーザの左脳及び右脳について、前記脳波をそれぞれ検出し、認識部15は、前記左脳の脳波と前記右脳の脳波との不均衡度(例えば、左優勢)と、前記心拍の数とに基づいて、前記攻撃性を認識してもよい。

【0046】
また、情動認識装置は、前記左脳のαパワー値と前記右脳のαパワー値とに基づいて、前記不均衡度を算出する算出部12を備えてもよい。
また、算出部12は、前記左脳のαパワー値と前記右脳のαパワー値との比を、前記不均衡度として算出してもよい。

【0047】
また、情動認識方法は、情動を認識する情動認識装置における情動認識方法であって、第1検出部11が、ユーザの中枢神経系反応を検出するステップと、第2検出部13が、前記ユーザの自律神経系反応を検出するステップと、認識部15が、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識するステップと、を有する。

【0048】
また、情動認識プログラムは、コンピュータに、ユーザの中枢神経系反応を取得する手順と、前記ユーザの自律神経系反応を取得する手順と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する手順と、を実行させる。

【0049】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0050】
また、上記に説明した情動認識装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。

【0051】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0052】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0053】
10…情動認識装置、11…第1検出部、12…算出部、13…第2検出部、14…計数部、15…認識部、16…出力部
図面
【図1】
0
【図2】
1
【図3】
2