TOP > 国内特許検索 > 人間の心的状態の評価装置 > 明細書

明細書 :人間の心的状態の評価装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6249490号 (P6249490)
登録日 平成29年12月1日(2017.12.1)
発行日 平成29年12月20日(2017.12.20)
発明の名称または考案の名称 人間の心的状態の評価装置
国際特許分類 A61B   5/16        (2006.01)
FI A61B 5/16
請求項の数または発明の数 6
全頁数 18
出願番号 特願2014-551900 (P2014-551900)
出願日 平成25年12月13日(2013.12.13)
国際出願番号 PCT/JP2013/007352
国際公開番号 WO2014/091766
国際公開日 平成26年6月19日(2014.6.19)
優先権出願番号 2012274147
優先日 平成24年12月15日(2012.12.15)
優先権主張国 日本国(JP)
審査請求日 平成28年11月21日(2016.11.21)
特許権者または実用新案権者 【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
発明者または考案者 【氏名】三宅 美博
個別代理人の代理人 【識別番号】100105924、【弁理士】、【氏名又は名称】森下 賢樹
【識別番号】100109047、【弁理士】、【氏名又は名称】村田 雄祐
【識別番号】100109081、【弁理士】、【氏名又は名称】三木 友由
【識別番号】100133215、【弁理士】、【氏名又は名称】真家 大樹
審査官 【審査官】湯本 照基
参考文献・文献 特開2012-79265(JP,A)
特開2011-8393(JP,A)
特開2010-16796(JP,A)
特開2012-128882(JP,A)
調査した分野 A61B 5/16
G06Q 10/00
G06T 7/20
特許請求の範囲 【請求項1】
複数の被験者間のコミュニケーションにおける、被験者間の関係を評価する評価装置であって、
前記複数の被験者それぞれを観測し、前記複数の被験者それぞれについて、それぞれから得られる非言語情報を数値化した時系列信号である第1信号を生成する非言語情報測定部と、
前記複数の被験者それぞれについて得られた前記第1信号にもとづいて、前記複数の被験者それぞれの前記非言語情報のリズムとしての特性に関連する量である第2信号を生成する波形解析部と、
前記複数の被験者それぞれに対応する複数の第2信号の相対的な関係にもとづき、前記複数の被験者の間の関係にかかわる心的状態を示す指標である第3信号を生成する関係評価部と、
を備えることを特徴とする評価装置。
【請求項2】
前記第2信号は、前記第1信号の周波数情報および/または位相情報にもとづいて生成されることを特徴とする請求項1に記載の評価装置。
【請求項3】
前記複数の第2信号の相対的な関係は、(i)同期の程度、(ii)位相差、(iii)相関関係、(iv)周波数の関係、(v)位相の関係、(vi)振幅の関係、(vii)波形パターンとしての幾何学的特徴量の関係のいずれか、またはそれらの任意の組み合わせを含むことを特徴とする請求項1または2に記載の評価装置。
【請求項4】
前記関係評価部は、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感のいずれかを評価することを特徴とする請求項1から3のいずれかに記載の評価装置。
【請求項5】
前記関係評価部は、前記複数の第2信号の相対的な関係に加えて、前記複数の被験者の空間的な位置関係にもとづいて、前記第3信号を生成することを特徴とする請求項1から4のいずれかに記載の評価装置。
【請求項6】
前記複数の被験者それぞれについて得られた第2信号にもとづき、前記複数の被験者それぞれについて、各被験者の心的状態を示す指標である第4信号を生成する個人評価部をさらに備えることを特徴とする請求項1から5のいずれかに記載の評価装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人間の心的状態の評価技術に関する。
【背景技術】
【0002】
人間の心的、精神状態などを、ある指標にもとづいて客観的に、または定量的に評価する技術が求められている。従来、この種の評価(心的状態の評価という)の手法としては、(i)アンケートによるもの、(ii)被験者の脳波、心拍数、血圧、発汗、呼吸、温度、等の生理反応を測定し、それを利用するもの、が知られている。そのほか、(iii)脳波や心拍数などから得られる生理情報や、非言語情報(ため息、頷き、声の調子など)から得られる観測情報と、アンケートなどの主観評価データと、を学習させ、観測情報から心的状態を推定する方法も提案されている(特許文献1参照)。
【先行技術文献】
【0003】

【特許文献1】特開2010-22649号公報
【特許文献2】特開2007-97668号公報
【特許文献3】特開2013-52049号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、アンケートによる手法は、定量性やリアルタイム性の点で問題が残されていた。また、生理反応を測定する手法では、被験者の身体にセンサを接着する必要があり、取り扱い上の問題がある。
【0005】
特許文献1、2に記載の技術では、ある被験者の心的状態を評価するために、その被験者自身の状態(生理情報、観測情報などを含む)のみを観測するにとどまっていた。コミュニケーションにおいて個人の心的状態は「人間関係」の中で大きく変化する。その意味で「関係」の評価は重要であるが、従来ではコミュニケーションにおける「関係」まで含めて評価するには至っていなかった。ここでいう「関係」とは、複数の個人(被験者)の間の関係にかかわる心的状態として把握され、コミュニケーションの基盤にあるコンテクスト共有に関わる感覚や情報が対応する。具体的には、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感などが含まれる。これは、個人の心的状態である、相手に対する好悪、興味、認知、不同意(異論)、妥協、理解不能(聞き流し)、疑問(疑惑)などとは区別されるものである。居場所感とは、その場に溶け込んでいるか、ライブ感とは、その場にいることの実感である。
【0006】
特許文献3には、対話の同調性を検出する同調性検出装置が開示される。この装置は、第1話者と第2話者それぞれについて生理指標を所定時間測定し、それらを畳み込みすることで、同調性を検出する。この装置は、2人の話者の生理指標の時間軸上のずれが短いほど同調性が高く、そのずれが長いほど同調性が低いことを前提としている。
【0007】
本発明者は、特許文献3に記載の技術について検討した結果、以下の課題を認識するに至った。
図1(a)、(b)は、二人の被験者から得られる生理指標の生データの例を示す波形図である。S1a、S1bは、第1話者、第2話者それぞれから1次的に得られる生理指標の生データを模式的に示す。特許文献3に記載の技術では、図1(a)のケースの方が、図1(b)のケースよりも、同調性が高いと判定される。
【0008】
しかしながら本発明者が検討を行ったところ、複数の話者(被験者)の心的状態に着目したとき、必ずしも図1(a)のように生理指標の時間軸上のずれがゼロのときに同調性が高いとは限らず、図1(b)のように、時間軸上のずれは大きくても、波形が近い方が同調性が高いと言える場合もある。このように特許文献3の評価方法では、必ずしも、複数の被験者間の心的状態を反映した指標を得ることができないケースがある。
【0009】
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、従来とは異なるアプローチにより、リアルタイムで複数の個人間の関係を評価する技術の提供にある。
【課題を解決するための手段】
【0010】
本発明のある態様は、複数の被験者間のコミュニケーションにおける、被験者間の関係を評価する評価装置に関する。評価装置は、複数の被験者それぞれを観測し、複数の被験者それぞれについて、それぞれから得られる非言語情報を数値化した時系列信号である第1信号を生成する非言語情報測定部と、複数の被験者それぞれについて得られた第1信号にもとづいて、複数の被験者それぞれの非言語情報のリズムとしての特性に関連する量である第2信号を生成する波形解析部と、複数の被験者それぞれに対応する複数の第2信号の相対的な関係にもとづき、複数の被験者の間の関係にかかわる心的状態を示す指標である第3信号を生成する関係評価部と、を備える。
【0011】
本発明者は、複数の被験者それぞれについて、各被験者の行動に対応づけて得られる非言語情報の時系列信号、特にそのリズムとしての特性に関連する量(リズム関連量という)の相対的な関係が、被験者間の関係にかかわる心的状態に依存して変化することを見いだした。この態様によれば、複数の被験者について得られる、複数の非言語情報のリズム関連量の相対的な関係に応じた第3信号にもとづいて、被験者間の関係にかかわる心的状態を評価することができる。
【0012】
なお、以上の構成要素を任意に組み合わせたもの、あるいは本発明の表現を、方法、装置などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0013】
本発明のある態様によれば、複数の被験者間の関係を評価できる。
【図面の簡単な説明】
【0014】
【図1】図1(a)、(b)は、二人の被験者から得られる生理指標の生データの例を示す波形図である。
【図2】実施の形態に係る評価装置を示す図である。
【図3】評価装置の具体的な構成を示す図である。
【図4】図4(a)、(b)は、実施例1の実験で得られた第1信号および第2信号の波形図である。
【図5】図5(a)は、実施例1の実験で取得された第2信号の波形図であり、図5(b)、(c)は、異なるタイムスロットにおける第2信号の相関図である。
【図6】図6(a)、(b)は、実施例2における第2信号を説明する図である。
【図7】図7(a)は、実施例2の実験により得られた第2信号の波形図であり、図7(b)は、第3信号の波形図である。
【図8】実施例2における第3信号および心的状態の関係を示す波形図である。
【図9】図9(a)は、実施例2における第1信号の波形図、図9(b)は、第2信号の波形図であり、図9(c)は、第2信号の相関図であり、図9(d)は、第1信号の相関図である。
【図10】実施例3における第1信号と第2信号の波形図である。
【図11】実施例3の実験で得られた第3信号のヒストグラムである。
【図12】実施例4の実験で得られた第1信号と第2信号の波形図である。
【図13】実施例4における第3信号を説明する図である。
【図14】図14(a)は、実施例5における第2信号の波形図であり、図14(b)は同期レートのヒストグラムである。
【図15】変形例5に係る評価装置を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0016】
本発明者が検討を行ったところ、人間の興味や感情などの心理的な活動、すなわち心的状態は、人間の行動、すなわち非言語(ノンバーバル)情報のダイナミクスに反映される。たとえば相づちや頷きなどコミュニケーション時に発生するリズムは身近な現象であるが、本発明はそのような非言語情報のダイナミクスに注目し、そのリズムを解析し、心的状態を推定する。

【0017】
図2は、実施の形態に係る評価装置100を示す図である。評価装置100は、複数の人間(被験者)2a、2b間のコミュニケーションにおける、各被験者2a、2bの心的状態を評価する。ここでいう心的状態とは、個人としての側面と、人間関係としての側面に分類することができ、評価装置100は、後者の人間関係の側面を評価することを主たる目的とする。また、ここでの心的状態は、知的活動状態の評価に限定されるものではなく、感情や共感、一体感など、人間の潜在的状態も含みうる。

【0018】
さらに本発明者は、心的状態のうち、個人としての側面(本明細書において、心的状態の個人的側面ともいう)は、各被験者から得られる非言語情報のダイナミクスの振幅、振動数などに反映され、人間関係の側面(心的状態の関係的側面ともいう)は、複数の被験者2について得られる複数の非言語情報の相対的な関係、特に、リズムとして把握される量同士の関係に反映される傾向が強いことを見いだした。実施の形態に係る評価装置100は、かかる知見にもとづいて、複数の被験者2の心的状態を評価する。

【0019】
具体的には評価装置100は、複数の被験者2a、2bによる対人コミュニケーションにおける、被験者間の関係を評価する。被験者間の関係、すなわち被験者間の関係にかかわる心的状態とは、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感などが例示され、評価装置100はそれらのうちのひとつ、あるいは任意の組み合わせを評価する。被験者間の関係にかかわる心的状態は、個々の心的状態、たとえば各人が相手に抱く感情とは区別されるものである。

【0020】
本実施の形態では、理解の容易化と説明の簡素化のため、被験者が2名の場合を例に説明をする。
被験者2a、2bは、たとえば同じ空間で対面しており、コミュニケーションを行っている。コミュニケーションの種類は特に限定されず、たとえば、日常会話、ディスカッション、プレゼンテーション、レクチャー、など、さまざまなものが含まれる。

【0021】
また、必ずしも被験者2a、2bは、同じ空間に存在することは要求されず、電話やテレビ会議システムを介してコミュニケーションを行う場合にも、評価装置100は利用可能である。

【0022】
実施の形態に係る評価装置100は、被験者2a、2bの生理情報ではなく、被験者の外部から視覚的、聴覚的に、あるいはそれらに類して観測可能な非言語情報を監視する。観測可能な非言語情報とは、頷き動作、身振り、手振り、体幹の動き、視線の滞留時間、声の調子、ため息、ターンテーキングに関わる非言語情報(発話長やポーズ長、発話速度や発話タイミングなど)、あるいは声のピッチやイントネーションなど発話に関する非言語情報等が例示される。

【0023】
非言語情報測定部10は、カメラやマイク、運動計測にかかわるセンサ(加速度センサ、速度センサ、ジャイロスコープ)、空間での位置計測にかかわるセンサ、その他のセンサを含み、各被験者2a、2bから得られる非言語情報S0a、S0bを観測し、非言語情報を数値化した時系列信号(以下、第1信号S1と称する)を生成する。非言語情報測定部10の種類は、観測すべき非言語情報S0に応じて選択すればよい。この第1信号S1は、特許文献3でいうところの生理指標に相当することに留意されたい。

【0024】
信号処理部20は、複数の第1信号S1a、S1bにもとづいて、複数の被験者2の間の心的状態の指標となる第3信号S3を生成する。また、信号処理部20は、第1信号S1にもとづいて、複数の被験者2それぞれの心的状態を示す第4信号S4a、S4bを生成する。以上が評価装置100の概要である。

【0025】
図3は、評価装置100の具体的な構成を示す図である。
評価装置100は、非言語情報測定部10、波形解析部22、関係評価部24、個人評価部26を備える。

【0026】
上述したように、非言語情報測定部10は、複数の被験者2a、2bそれぞれから得られる非言語情報を観測し、複数の被験者2a、2bそれぞれについて、非言語情報を数値化した時系列信号である第1信号S1a、S1bを生成する。

【0027】
図2の信号処理部20は、波形解析部22、関係評価部24、個人評価部26を含む。被験者の行動を数値化した第1信号S1がそのまま、被験者2の心的状態を評価するために適していることは稀である。そこで波形解析部22は、第1信号S1にもとづいて、第2信号S2を生成する。第2信号S2は、非言語情報のリズムとしての特性に関連する時系列信号(リズム関連量)である。

【0028】
非言語情報のリズム関連量である第2信号S2としては、以下が例示される。
(i)第1信号S1を区間ごとに統計処理、信号処理した時系列信号
たとえば、第1信号を、平均や分散、標準偏差を計算し、あるいはフィルタリングすることで第2信号を生成してもよい。
(ii)第1信号S1を時間微分、時間積分した時系列信号
たとえば、第1信号が速度のディメンジョンを有する場合、第2信号S2は、加速度や変位のディメンジョンを有する。
(iii)第1信号S1を粗視化した時系列信号
この場合の第2信号S2としては、第1信号S1の包絡線などが例示される。
(iv)第1信号S1の波形を示す情報に関する時系列信号
具体的には(iv-1)波形の種類、(iv-2)スペクトル、(iv-3)周波数、(iv-4)デューティ比、(iv-5)振幅、(iv-6)波形パターンの幾何学的特徴の抽出、などが例示される。

【0029】
たとえば、「タン、タン、タン」というリズムと、「タタタ」というリズムは異なって認識される。第2信号S2は、(i)~(iv)に例示した信号のうち、このようなリズムの相違を表現しうる情報を含むデータとなる。本発明者が得た知見によれば、第2信号S2としては、
(a) 第1信号S1の周波数情報の時系列データ
(b) 第1信号S1の位相情報の時系列データ
(c) (a)、(b)の組み合わせ
のいずれかが好適である。

【0030】
(a)としては、(a-1)特定の周波数に着目したときの、その周波数成分の強度(振幅あるいはパワースペクトル)の時系列データ、あるいは(a-2)最大強度をとる周波数成分の時系列データ、などが好適である。

【0031】
(b)としては、(b-1)特定の周波数(あるいは周波数帯域)の位相の時系列データ、あるいは(b-2)第1信号S1から把握される所定のイベントが発生する位相の時系列データなどが好適である。

【0032】
当業者であれば、ここに例示される以外にも、リズム関連量として利用可能な信号が存在することが理解され、それらも本発明の範囲に含まれる。また、第2信号S2の生成方法(信号処理方法)は、第2信号S2の種類に応じて選択すればよく、特に限定されない。

【0033】
関係評価部24は、複数の被験者2a、2bそれぞれに対応する複数の第2信号S2a、S2bの相対的な関係にもとづいて、複数の被験者2a、2bの間の心的状態を示す指標である第3信号S3生成する。ここで、複数の第2信号S2a、S2bの相対的な関係は、(i)同期の程度、(ii)位相差、(iii)相関関係、(iv)周波数の関係、(v)位相の関係、(vi)振幅の関係、(vii)波形パターンとしての幾何学的特徴量の関係のいずれか、またはそれらの任意の組み合わせを含む。詳しくは、後述するように、複数の被験者がコミュニケーションをとる際には、合意が形成される過程においては、各被験者のリズム関連量の位相差が安定し、あるいは、振動数(周波数)が近接し、あるいは、それらの相関強度が強くなることが事前検証によって確認されている。

【0034】
たとえば、複数の第2信号S2a、S2bの相対的関係と、複数の被験者の間の心的状態との対応は、事前の実験、検証によりあらかじめ学習しておき、それをデータベースに蓄積してもよい。また評価装置100を実際に運用するに当たり、新たに得られた対応を学習し、データベースに蓄積してもよい。

【0035】
第3信号S3は、共感、信頼感、一体感、居場所感、ライブ感、合意や同意、納得感などの、個人の間の心的状態の指標であり、1、0の2値、あるいは多値データとして、あるいはベクトル量として取得される。

【0036】
非言語情報である第1信号の種類、それから得られるリズム関連量である第2信号の種類、複数の第2信号の相対的な関係の種類は、最終的に評価すべき複数の被験者2a、2bの間の心的状態の種類に応じて選択、決定され、これらは事前の実験、検証の結果を考慮して定めることになる。

【0037】
個人評価部26は、複数の被験者2a、2bそれぞれについて得られた第2信号S2a’、S2b’にもとづき、複数の被験者2a、2bそれぞれについて、それぞれの心的状態を示す指標である第4信号S4a、S4bを生成する。個人評価部26に入力される第2信号S2a’、S2b’は、関係評価部24に入力されるS2a、S2bと同じ信号であってもよいし、波形解析部22によって異なる信号処理を受けた信号であってよい。

【0038】
以上が評価装置100の構成である。
以下、複数の被験者の間の心的状態として、それらの間の合意度を評価する場合について説明する。
本発明者が検討したところ、合意度を評価する場合、非言語情報測定部10が測定する非言語情報S0として、被験者2の頷き動作が有用であることを独自に認識した。

【0039】
非言語情報測定部10は、複数の被験者2a、2bそれぞれの頷き運動、すなわち顎の動きを測定し、それを数値化した第1信号S1a、S1bを生成する。非言語情報測定部10は、カメラと画像処理装置の組み合わせで構成することができる。カメラは、被験者ごとに設けてもよいし、1台のカメラで複数の被験者の頷き動作をまとめて観測してもよい。また状況が許容する場合、被験者2a、2bに速度センサや加速度センサを取り付けることにより、頷き運動S0a、S0bを測定してもよい。

【0040】
なお、後述するように、複数の被験者2a、2bの空間的な位置関係を考慮する場合、位置センサを設けてもよい。

【0041】
波形解析部22は、複数の被験者2a、2bそれぞれについて得られた第1信号S1a、S1bを受け、所定の信号処理を施す。以下、信号処理の具体例について、いくつかの実施例をもとに説明する。

【0042】
(実施例1)
第1信号S1a、S1bは、現実に2人の被験者2が対面対話を行う状況において、頷き運動を測定して数値化したものである。実施例1において、波形解析部22は、第1信号S1の振幅を時間平均することにより、第2信号S2を生成する。

【0043】
実施例1の妥当性を検証するために実験を行った。この実験では、被験者の一方が教師役、他方が生徒役となり、教師役の被験者2aが所定のテーマに関する説明を行い、生徒役の被験者2bがそれを理解する。教師役のみの発話が許可されている。実験は男性12名、女性8名の20代学生を対象として行い、2人一組として10ペアについて行った。

【0044】
この実験では、3次元加速度センサが被験者2a、2bには取り付けられる。より詳しくは、鉛直方向にX軸を、視線方向にZ軸をとったときに、X方向の加速度x(t)と、Z方向の加速度z(t)を測定し、それらのノルム√(x(t)+z(t))を第1信号S1とした。

【0045】
図4は、実施例1において、実験1により得られた第1信号S1と、第1信号S1から得られる第2信号S2を示す波形図である。

【0046】
実施例1において、第2信号S2a、S2bは、非言語情報測定部10によって得られた第1信号S1a、S1bの、0.6秒ごとの標準偏差(SD)を計算することにより生成される。これは頷きの振幅に相当する量であり、頷きが発生する時間区間においては、加速度の変化が大きくなるため、第2信号S2は、頷き運動のリズム関連量となる。

【0047】
事後検証によれば、2人の被験者2a、2bについて得られた第2信号S2a、S2bに着目すると、合意度が低い期間T1では、2つの第2信号S2a、S2b、つまり頷き運動の振幅が同調していない。一方、合意度が高い後半の期間T2では、2つの第2信号S2a、S2b、すなわち頷き運動の振幅が期間T1に比べて同調している。すなわち合意形成プロセスにおいては、複数の被験者の頷き運動の振幅の時間波形が、非同調状態から同調状態に変化する可能性が示唆される。

【0048】
関係評価部24は、2人の被験者2a、2bについて得られた第2信号S2a、S2bの相対的な関係、具体的には、同調の有無にもとづいて、被験者2a、2bの間の関係を示す指標である第3信号S3を生成する。

【0049】
2つの時系列信号が与えられたときに、それらの同調、同期の程度を評価する手法については公知の技術を用いればよく、本発明において特に限定されない。たとえば2つの波形の相関度(相関係数r)を計算したり、単純に2つの信号の差分波形を計算し、差分波形にもとづいて2つの信号の同調、同期の程度を評価してもよい。

【0050】
本実施例において関係評価部24は、時間スロットTSごとに第2信号S2a、S2bの相関係数rを計算する。

【0051】
図5(a)は、実施例1の実験で取得された第2信号S2の波形図であり、図5(b)、(c)は、異なるタイムスロットにおける第2信号S2の相関図である。タイムスロットの長さは15秒である。

【0052】
タイムスロットTS1では、相関係数rは0.007と小さく、タイムスロットTS2では、相関係数rは0.345(p<0.001)であり、強い相関がみられる。
また、統計的有意性の指標であるp値を計算すると、タイムスロットTS2ではp値は<0.001となり、統計的有意性が高いことがわかる。

【0053】
実験の後に、被験者2a、2bに対するヒアリング検証を行った。生徒役の理解の状態を評価することにより、タイムスロットごとに共感度を評価したところ、第2信号S2a、S2b(つまり頷きの振幅)が大きくなるタイムスロットではそれらの相関が強くなり、さらに相関係数rが大きなタイムスロットにおいて、共感的なコミュニケーションが成立する傾向があることが見いだされた。つまり、この実施例で得られる相関係数rは、被験者間のインターパーソナルな心的状態を表す指標であることが裏付けられる。そこで関係評価部24は、相関係数rを、第3信号S3として出力してもよいし、相関係数rを離散値化して出力してもよい。

【0054】
以上をまとめると、頷き運動の振幅の時間波形を、第2信号S2として利用し、複数の被験者2それぞれについて得られる第2信号S2の同調の程度を評価することにより、複数の被験者2の心的状態のうち関係性を示す指標として、同意の程度を推定することができる。

【0055】
(実施例2)
この実施例では、リズム関連量である第2信号S2を生成する際に、第1信号S1の周波数成分に着目する。第1信号S1は、実施例1と同様に頷き運動、より具体的にはX方向およびZ方向の加速度のノルムである。波形解析部22は、第1信号S1を周波数領域のデータに変換する。これには高速フーリエ変換などが利用できる。

【0056】
図6(a)、(b)は、実施例2における第2信号S2を説明する図である。図6(a)には、第1信号S1が、図6(b)には、第1信号S1をフーリエ変換した周波数領域データF(t,f)が示される。図6(b)は、横軸が時間、縦軸が周波数であり、濃淡が周波数領域データF(t,f)の強度(パワースペクトル)を示す。頷き運動は、2~4Hzの周波数成分が支配的である。そこで、図6(b)において、2~4Hzの周波数帯域のエネルギー(パワー)を周波数方向に積分することにより、リズム関連量である第2信号S2を生成してもよい。
S2(t)=∫F(t,f)df

【0057】
実施例2の妥当性を検証するために、以下の実験を行った。この実験は、2人の被験者が協力することにより、ひとつの課題を解決するというものである。2人の被験者は自由に会話することが許されており、双方的なコミュニケーションが行われる点で、実施例1における実験と異なっている。課題としては、あるマンションの見取り図やその他の情報が与えられた状況下で、2人の被験者が協力してその家賃を推定するというものである。実験は男性6名、女性4名の20代学生を対象として行い、2人一組として5ペアについて行った。

【0058】
図7(a)は、実施例2において実験により得られた第2信号S2a、S2bを示す波形図であり、図7(b)は、第3信号S3を示す波形図である。第3信号S3は、第2信号S2a、S2bの所定の時間区間ごとに相関係数rを計算し、それを閾値判定することにより、インターパーソナルな心的状態を、同調状態(1)と非同調状態(0)の2値で表したものである。

【0059】
図8は、第3信号S3および心的状態の関係を示す波形図である。心的状態は、事後アンケートにより、2人の被験者が各時間帯の合意度を1~5の5段階で評価した値の平均値である。約15分のディスカッションにおいて、合意度が相対的に低い前半(1~6分)の5分間では、第3信号S3が1となる頻度が低い。これに対して合意度が相対的に高くなる後半(10~15分)の5分間では、第3信号S3が1となる頻度が高い。したがって、第3信号S3そのもの、あるいはそれを時間的に平均して得られる数値は、複数の被験者2の間のインターパーソナルな心的状態を表しているといえる。

【0060】
ここで、特許文献3に記載される従来技術に対する、実施の形態に係る評価装置100の利点を説明する。
図9(a)は、実施例2における第1信号S1a、S1bを示す波形図、図9(b)は、第2信号S2a、S2bを示す波形図であり、図9(c)は、第2信号S2a、S2bの相関図であり、図9(d)は、第1信号S1a、S1bの相関図である。図9(d)から計算した相関係数はr=0.05であり、2つの信号の間に相関関係は認められない。すなわち従来技術では、被験者から1次的に得られた生データである第1信号S1a、S1bの相関に着目するに過ぎないため、同調や合意が生じている場合においても、それを検出できない場合がある。これに対して実施の形態に係る評価装置100によれば、リズム関連量である第2信号S2a、S2bに変換した後に、それらの関係性を評価するため、同調や合意などを検出することができる。

【0061】
(実施例3)
この実施例では、リズム関連量である第2信号S2を生成する際に、第1信号S1の位相成分に着目する。第1信号S1は、実施例1、2と同様に頷き運動、より具体的にはX方向およびZ方向の加速度のノルムである。

【0062】
リズムは、周波数情報のみでなく、位相情報としても把握することができる。実施例3において波形解析部22は、位相情報として、第1信号S1から把握される所定のイベントが発生する位相を第2信号S2として利用する。具体的には波形解析部22は、第1信号S1a、S1bそれぞれについて、所定区間にわたる移動平均をとり、移動平均を所定のしきい値と比較することにより、明確な頷き運動を検出する。そして、明確な頷き運動が検出された後、移動平均を継続的に監視することにより、頷きのピークの発生時刻(位相)を検出する。実施例3では、頷きのピークの発生をイベントとしてとらえ、当該イベントの発生時刻を第2信号S2とする。

【0063】
実施例3の妥当性を検証するために実験を行った。この実験では、被験者の一方が教師役、他方が生徒役となり、教師役の被験者2aが所定のテーマに関する説明を行い、生徒役の被験者2bがそれを理解する。レクチャはテレビモニタを介して行われ、教師役の被験者から、生徒役の被験者に対して一方的に説明が行われる。実験は男性12名、女性8名の20代学生を対象として行い、2人一組として10ペアについて行った。

【0064】
図10は、実施例3における第1信号S1と第2信号S2を示す波形図である。
関係評価部24は、第2信号S2a、S2bの位相差を第3信号S3とする。この第3信号S3は、頷き動作のリズムの位相差に相当する。図11は、第3信号S3のヒストグラムである。二人の被験者間にインターパーソナルな同調が生じている場合、頷きのタイミングもシンクロすることから、図11に実線(i)で示すように、ヒストグラムはある値(この例では0ms)にピークをもち、それを中心として分布する。これに対して同調が生じていない場合、頷きのタイミングはランダムに変動することから、図11に破線(ii)で示すように、ヒストグラムはピークをもたずに平均化される。

【0065】
このように実施例3によれば、リズム関連量として位相情報に着目することにより、インターパーソナルな心的状態を評価できる。

【0066】
(実施例4)
この実施例では、リズム関連量である第2信号S2を生成する際に第1信号S1の周波数成分に着目する点で実施例2と共通する。第1信号S1としては、頷き運動に代えて、被験者の体の動きに着目しており、被験者の体に取り付けられた加速度センサから得られるX方向、Y方向(体左右方向)、Z方向の加速度のノルムである。
S1=√(X(t)+Y(t)+Z(t))

【0067】
波形解析部22は、第1信号S1を周波数領域のデータに変換する。たとえば波形解析部22は、所定の時間区間(たとえば10秒)において、第1信号S1が、それ自身の時間平均値とクロスする回数を測定し、測定値にもとづいて振動数(周波数)を示す第2信号S2を取得してもよい。たとえば第2信号S2は、10秒ごとに測定される振動数の、1分間にわたる平均値である。図12は、実施例4における第1信号S1と第2信号S2を示す波形図である。なお、実施例4において第2信号S2を取得する際に、高速フーリエ変換を利用してもよい。

【0068】
関係評価部24は、被験者の体の動きの振動数ωに応じた第2信号S2にもとづいて、複数の被験者間の心的状態を評価する。図13は、実施例4における第3信号S3を説明する図である。この実施例4では、i番目の被験者の振動数ω(t)と、j番目の被験者の振動数ω(t)の差Δωij(t)に着目する。本発明者の実験によれば、振動数差Δωij(t)が小さいほど、同調度が高いという知見が得られている。

【0069】
このように実施例4によれば、リズム関連量として周波数情報、より具体的には体の動きの周波数の差分に着目することにより、インターパーソナルな心的状態を評価できる。

【0070】
(実施例5)
この実施例においても、実施例4と同様に、体の動きの周波数情報に着目し、第2信号S2として、被験者の体の動きの振動数ω(t)を利用する。

【0071】
そして関係評価部24は、振動数ω(t)、ω(t)の差Δωij(t)に代えて、振動数ω(t)、ω(t)の変動方向に着目して、被験者間の心的状態を評価する。

【0072】
本実施例では、i番目とj番目の被験者の同調度を示す指標として、以下の式(1)で表される同期レートSijを定義した。
ij=Σt∈Tij g(Δx(t)・Δx(t))/|Tij| …(1)

【0073】
(t)はi番目の被験者から得られた第2信号であり、サンプリング周期をΔtとすれば、t=k×Δtである。Δx(t)は、i番目の被験者のx(t)の変動量であり、x(t)-x(tk+1)である。これは微分値とも把握できる。関数g(a)は、a>0のとき+1を、a<0のとき-1を返す関数である。Tijは、時間区間を表す。x(t)として、第2信号S2である振動数ω(t)が利用され、Δx(t)は、振動数変動に相当する。

【0074】
実施例5の妥当性を検証するために実験を行った。この実験は、多数の被験者が、任意の相手と自由にコミュニケーションをとる。同期レートSijは、すべての被験者のペアついて計算することができる。

【0075】
図14(a)は、実施例5における第2信号S2を示す波形図であり、図14(b)は同期レートSijのヒストグラムである。図14(a)の前半の期間TijNFは、被験者同士が対面していない状態を、後半の期間Tijは、被験者同士が対面した状態を示す。図14(b)には、期間TijNFにおいて得られた同期レートSijNFのヒストグラムと、期間Tijにおいて得られた同期レートSijのヒストグラムと、が示される。

【0076】
i番目とj番目の被験者が非対面の状態では、第2信号S2、S2はランダムに変化する。したがって同期レートSijはゼロに近づき、したがって複数の被験者のペアから得られるヒストグラムはゼロ付近にピークを有する。一方、対面状態では、第2信号S2、S2が同調して変化する傾向が強まるため、同期レートSijは非ゼロとなり、ヒストグラムのピークは非ゼロの値をとる。図14(b)から明らかなように、式(1)で定義される同期レートSijのヒストグラムには、対面状態と非対面状態とで有意な差が認められる。このことは、同期レートSijがインターパーソナルな心的状態を表す第3信号S3として有用であることを示している。

【0077】
このように実施例5によれば、リズム関連量として周波数変動に着目することにより、インターパーソナルな心的状態を評価できる。

【0078】
実施の形態に係る評価装置100は、人間同士のコミュニケーションを対象として、そのコミュニケーションの質を評価し、その改善に役立てることができる。たとえば、会議などにおける人間のコミュニケーション活動の活性度評価や、グループ活動の評価指標を求め、その活動プロセスや環境の改善に使用できる。あるいは、教師と生徒のあいだでの教育効果の評価や、プレゼンにおける納得の評価、カウンセリングにおける信頼感の評価、合意形成における共感の評価など、本発明の用途は多岐にわたる。さらに、高齢者施設における孤立防止など見守りにも活用可能である。

【0079】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

【0080】
(変形例1)
実施の形態では、被験者の心的状態を反映する非言語情報として、頷き運動に着目する場合について詳細に説明したが、本発明はそれには限定されない。着目する第1信号としては、心的状態が反映されるさまざまな非言語情報が利用できる。具体的には、相づち、まばたき、視線の滞留時間、身振り、手振り、首振り、体幹の揺れ、視線の動き、など、被験者の外部から視覚的に把握できるものや、会話のターンテーキング、ため息、声の調子、発話に関する非言語情報など、被験者の外部から聴覚的に把握できるもの、それらの組み合わせを利用してもよい。当業者によれば、事前の実験、検証から得られた経験則、学習にもとづいて、いずれの非言語情報に被験者のどのような心的状態が反映されるかを把握することができ、したがって、評価すべき心的状態に応じて、適切な非言語情報を選択すればよいことが理解される。

【0081】
(変形例2)
実施の形態では、第1信号の振幅の時間平均値をとることにより頷き運動の振幅を抽出し、心的状態を評価する場合を説明したが、本発明はそれには限定されない。波形解析部22によるリズム解析には様々な可能性がある。具体的には、個人の評価としては運動リズムの振幅や振動数や波形の種類、周波数スペクトルなどが考えられる。また時間スケールも重層的に考えることが可能であり、あるリズムの包絡線から構成されるリズムも高次のリズムとみなすことが可能である。したがって波形解析部22によって、第1信号S1から、これらの情報が反映された第2信号S2a’、S2b’を生成してもよい。

【0082】
また、心的状態の関係的側面の評価においては、リズムの同調関係や位相関係に加えて、複数の被験者2の空間的な位置関係なども含めた関係性を考慮してもよい。
たとえば複数の人間が会議、打ち合わせを行う場合を考察する。コミュニケーションを密にとる場合には寄せ集まり、ある人間が主張したい場合には中央に座る、共感すると、相互の距離は近くなり、反感すると相互の距離は離れるといった傾向がある。さらに、事務的なコミュニケーションの場合は正面から対面する状態で一定距離離れて会話することが多いが、友人など親しい関係になると側面方向に並び近接して会話することになる。
そこで、複数の被験者2の空間的な位置関係を、複数の被験者の間の心的状態の評価結果に反映させることができる。

【0083】
さらに心的状態の関係的側面、個人的側面の評価においては、被験者2の概日リズム(24時間の日周リズム)などを反映させてもよい。社会生活の中で、個々人の一日の生活活動リズムは同調することが多くなる。職場や学校のように半ば強制的に同期させられる場合もあれば、家庭のように自発的に同調することもある。このような生活のリズムに関しても同様に評価することで、人間のあいだの関係に関わる心的状態を評価することができる。これは24時間の日周リズムに限られず、1週間や1か月、さらには年単位の活動リズムに関しても適用可能である。

【0084】
(変形例3)
実施の形態では、複数の被験者2の関係の評価に、同一の非言語情報から得られる信号を利用する場合を説明したが、本発明はそれには限定されない。たとえば、一方の被験者2aの心的状態を評価するに当たり、その被験者2aについては第1の非言語情報(たとえば、頷き運動)を観測し、別の被験者2bについては、第1の非言語情報とは異なる第2の非言語情報(たとえば、視線の動き)を観測し、それぞれで得られた第2信号S2a、S2bの相対的な関係にもとづいて、心的状態の関係的側面を評価してもよい。

【0085】
(変形例4)
実施例3で説明したように、複数の被験者は、通信システムを介してコミュニケーションをとってもよい。近年、ビジネスや教育の分野においても、遠隔地の人間同士が、テレビ電話システムや音声電話システム、スマートホン、タブレット端末などの通信システムを通じてコミュニケーションをとることが頻繁に行われている。評価装置100により得られるデータは、音声電話システムや、テレビ電話システムの評価に役立てることもできる。

【0086】
(変形例5)
実施の形態では、人間同士のコミュニケーションを対象として、心的状態を評価する場合を説明したが、本発明はそれには限定されず、人間と相互作用するメディアの設計・評価やテレビメディア番組の評価など多様な応用が想定される。メディアは、テレビ放送や、DVDなどのソフト、電子学習システムなどが例示される。

【0087】
図15は、変形例5に係る評価装置100aを示す図である。
図15の評価装置100aでは、図2の評価装置100の被験者2bがコンピュータやテレビ、タブレットなどのマルチメディアデバイス3に置換される。そして、非言語情報測定部10bは、マルチメディアデバイス3から被験者2aに提供される情報のダイナミクス、たとえば音声信号や画像信号を監視し、それに応じた第1信号S1bを生成する。

【0088】
たとえば教育現場で使用される教材ソフトを評価装置100aによって評価する場合を考える。この場合、たとえばマルチメディアデバイス3から出力される音声信号の音量に着目することができる。この場合、音量のダイナミクスと、被験者2aの心的情報が反映される非言語情報を測定することで、それらの相対的な関係から、被験者2aの理解度などを評価しうる。

【0089】
このように、評価装置は、TVメディアやその他のメディアに対する評価システムとして用いることができる。さらに、このような評価を指標とすることで、TVなどマルチメディアデバイスの開発にも活用できる。

【0090】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【符号の説明】
【0091】
100…評価装置、2…被験者、10…非言語情報測定部、20…信号処理部、22…波形解析部、24…関係評価部、26…個人評価部。
【産業上の利用可能性】
【0092】
本発明は、人間の心的状態の評価技術に利用できる。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14