TOP > 国内特許検索 > 乳幼児の感情診断装置及び方法 > 明細書

明細書 :乳幼児の感情診断装置及び方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5278952号 (P5278952)
公開番号 特開2010-210730 (P2010-210730A)
登録日 平成25年5月31日(2013.5.31)
発行日 平成25年9月4日(2013.9.4)
公開日 平成22年9月24日(2010.9.24)
発明の名称または考案の名称 乳幼児の感情診断装置及び方法
国際特許分類 G10L  25/63        (2013.01)
G10L  15/10        (2006.01)
FI G10L 11/00 402H
G10L 15/10 500N
請求項の数または発明の数 3
全頁数 9
出願番号 特願2009-054487 (P2009-054487)
出願日 平成21年3月9日(2009.3.9)
新規性喪失の例外の表示 特許法第30条第1項適用 研究集会名 2008 2▲nd▼ International Symposium on Universal Communication 主催者名 International Symposium on Universal Communication Organizing Committee 開催日 平成20年12月15日~16日 発行者名 IEEE computer society 刊行物名 2008 2▲nd▼ International Symposium on Universal Commu
審査請求日 平成24年2月22日(2012.2.22)
特許権者または実用新案権者 【識別番号】504145320
【氏名又は名称】国立大学法人福井大学
発明者または考案者 【氏名】荒木 睦大
【氏名】谷口 秀次
【氏名】森 幹男
【氏名】小越 康宏
【氏名】橋向 晋一郎
個別代理人の代理人 【識別番号】100111855、【弁理士】、【氏名又は名称】川崎 好昭
審査官 【審査官】井上 健一
参考文献・文献 特開2004-259238(JP,A)
調査した分野 G10L 25/63,15/10
G09B 19/00
特許請求の範囲 【請求項1】
乳幼児及び母親のそれぞれの音声を取得する音声取得手段と、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出する感情評価手段と、算出された乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて乳幼児と母親との間の相互作用の影響の度合いを分析することで乳幼児の感情診断を行う感情診断手段とを備えていることを特徴とする乳幼児の感情診断装置。
【請求項2】
乳幼児及び母親のそれぞれの音声を取得し、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出し、算出された乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて乳幼児と母親との間の相互作用の影響の度合いを分析することで乳幼児の感情診断を行うことを特徴とする乳幼児の感情診断方法。
【請求項3】
コンピュータを、請求項1に記載の感情評価手段及び感情診断手段として機能させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、乳幼児及び母親のそれぞれの音声分析に基づいて乳幼児及び母親のそれぞれの感情を判定し、乳幼児の感情と母親の感情との間の相互作用を分析して感情診断を行う乳幼児の感情診断装置及び方法に関する。
【背景技術】
【0002】
赤ちゃんのように感情を言葉で表現できない乳幼児は、泣き声、表情及び動作によりその感情を発露するのが一般的である。しかしながら、母親等の育児に携わる者には乳幼児の感情をうまく把握できない場合があり、乳幼児に対する適切な対応をとれないといった課題がある。
【0003】
こうした課題に対しては、乳幼児の泣き声等の音声を分析し、分析したパターンを空腹、退屈、不快、眠気、ストレスといった感情別の標準パターンとのマッチング処理により乳幼児の感情を判定することが行われている。
【0004】
例えば、特許文献1では、マイクロフォンで赤ちゃんの声をサンプリングし、音声分析して基準音声パターンとマッチング処理することで赤ちゃんの感情を判定し、判定した感情が予め設定された緩和すべき感情に該当する場合には、スピーカから所定の音パターンで音出力したり、電動玩具をリモコン操作して所定の動作パターンで駆動させたり、ライトをリモコン操作して所定の点灯パターンで点灯させるといった感情緩和動作を行う点が記載されている。また、特許文献2では、状況解析部において乳児の画像、音声、生体情報に基づいて乳児の心理状態を推定し、推定した心理状態に基づいて原因推定部において過去の食事やおむつ交換の状況データ等に基づいてその原因を推定する点が記載されている。
【先行技術文献】
【0005】

【特許文献1】特開2005-185630号公報
【特許文献2】特開2006-127057号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した先行文献では、乳幼児の音声を分析してその感情を判定しているが、現実には乳幼児の感情の原因には様々な要因が絡んでおり、統計的に泣き声及び感情の相関関係を分析しても、判定された感情の原因を特定することは難しいのが現状である。特許文献2では、予め特定された複数の原因(食事、おむつ交換、体調等)について該当するか否か分析して心理状態が生じた原因を推定しているが、乳幼児が泣く場合には周囲の環境や体調といった原因が複数重なり合っており、特定の原因に絞り込むのは現実的ではない。
【0007】
乳幼児の感情の原因を分析する場合、周囲の環境においてで最も重要な要因の1つに母親の存在が挙げられる。一般に、乳幼児は母親の育児により成長していくため、母親との関係が乳幼児にとって重要であると考えられるが、先行文献では、母親との関係については考慮されていない。
【0008】
そこで、本発明は、乳幼児にとって重要な存在である母親との関係に着目し、乳幼児の感情と母親の感情との間の相互作用を分析して感情診断を行う乳幼児の感情診断装置及び方法を提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本発明に係る乳幼児の感情診断装置は、乳幼児及び母親のそれぞれの音声を取得する音声取得手段と、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出する感情評価手段と、算出された乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて乳幼児と母親との間の相互作用の影響の度合いを分析することで乳幼児の感情診断を行う感情診断手段とを備えていることを特徴とする。
【0010】
本発明に係る乳幼児の感情診断方法は、乳幼児及び母親のそれぞれの音声を取得し、取得された乳幼児及び母親の音声データに基づいてそれぞれの感情評価データを算出し、算出された乳幼児及び母親に関する感情評価データの時系列データにおける相関関係に基づいて乳幼児と母親との間の相互作用の影響の度合いを分析することで乳幼児の感情診断を行うことを特徴とする。
【発明の効果】
【0011】
乳幼児が母親を認識し得る環境において、乳幼児及び母親のそれぞれの音声に基づいて両者の感情評価データを算出して感情評価を行うことで、母親の感情が与える影響を考慮して乳幼児の感情を診断することができ、より精度の高い感情診断を行うことが可能となる。
【0012】
また、こうした乳幼児の感情に関する診断結果から乳幼児と母親との間の実際の感情の相互作用が具体化され、母親に対して育児行為における感情表現が乳幼児にどのように影響を与えるのか指摘することで育児の実態に即した的確な支援を行うことができる。
【0013】
そして、音声データのピッチ周期及び/又は振幅に基づいて感情評価データを算出することで感情診断の精度を高めることができる。ここで、ピッチ周期とは、音声データの波形において繰り返し現れる波形の周期で、声帯の振動周期に対応した一定の周期を意味する。また、振幅とは音圧を意味し、通常音声データの波形では音圧である縦軸方向の大きさで表す。
【図面の簡単な説明】
【0014】
【図1】本発明に係る実施形態に関する概略構成図である。
【図2】取得した乳児の音声の音声波形の一例を示すグラフである。
【図3】図2に示す音声データのピッチ周期を時系列で示すグラフである。
【図4】図3に示すピッチ周期のゆらぎ成分を時系列で示すグラフである。
【図5】乳児及び母親のゆらぎ成分の時間的推移を模式的に示すグラフである。
【図6】図3に示すピッチ周期に基づいて2質量振動モデルにより音声合成した音声波形に関するグラフである。
【図7】本体部における感情診断に関する処理フローである。
【発明を実施するための形態】
【0015】
以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。

【0016】
図1は、本発明に係る実施形態に関する概略構成図である。乳児Bが母親Mを認識し得る環境(例えば、家庭内)において、乳児Bには、音声を入力する気導マイク1が取り付けられ、母親には、音声を入力する骨導マイク2が取り付けられている。母親に骨導マイクを取り付けることで、母親の音声を入力する際にノイズを減らすことができ、また、骨導マイクを頭部に取り付ければ、母親が家事等の動作を行う場合にも邪魔になることがなく、普段通りの状態にすることができる。

【0017】
気導マイク1から入力された乳児Bの音声は音声取得部10に送信されて音声DB11に記憶される。そして、乳児Bの音声は、音声取得部10から音響処理部12に送信されて、乳児Bの音声からピッチ周期を算出する処理が行われる。ピッチ周期は、所定の時間区間毎に音声データをサンプリングし、自己相関関数等の公知の手法でサンプリング区間毎のピッチ周期を算出する。こうして算出されたピッチ周期は、時系列に関連付けられて処理DB13に記憶される。

【0018】
図2は、取得した乳児Bの音声の音声波形の一例を示すグラフである。縦軸に振幅をとり、横軸に時間をとっている。図3は、図2に示す音声波形を24ミリ秒毎にサンプリングしてピッチ周期を算出した結果を時系列で示したグラフである。縦軸にピッチ周期(このグラフでは周波数で表記)をとり、横軸に時間をとっている。

【0019】
骨導マイク2から入力された母親Mの音声についても、乳児Bの場合と同様に音声取得部10に送信されて音声DB11に記憶され、音響処理部12においてピッチ周期が算出されて処理DB13にピッチ周期を時系列に配列して記憶される。

【0020】
本体部20では、乳児B及び母親Mの感情評価データとしてピッチ周期のゆらぎ成分を算出して評価を行う感情評価部21、算出された乳児B及び母親Mの感情評価データに基づいて乳児Bの感情の原因分析及び推論を行う感情診断部22、及び、乳児Bの感情診断結果に基づいて母親に対する育児支援を行う育児支援部23を備えている。また、本体部20には、メモリ24が接続されており、メモリ24には、感情評価データを時系列で記憶する評価DB25、乳児の感情に関する原因分析結果や診断結果を記憶するとともに様々な事例に関する診断知識を記憶する診断DB26、及び、診断結果に対応する育児支援メッセージ等を記憶する支援DB27が記憶されている。

【0021】
本体部20には、画像表示部30及び音声出力部31が取り付けられており、画像表示部30は、音声データや分析データ等を表示し、音声出力部31は、後述する合成音声等を出力する。

【0022】
本体部20は、公知のコンピュータシステムを用いて構成することができる。感情評価部21、感情診断部22及び育児支援部23で行われる処理は、メモリ24に記憶されたプログラムを読み出してCPU等の処理装置により処理されるようになっている。そして、画像表示部30及び音声出力部31としては、コンピュータシステムに接続される公知の液晶パネルディスプレイ及びスピーカで構成することができる。

【0023】
感情評価部21は、感情評価データとして用いるピッチ周期のゆらぎ成分PPQ1を以下の式により算出する。この評価式により、ピッチ周期の平均値に対してどの程度ピッチ周期が変動しているのかがわかる。ここで、Nはピッチ周期を算出したサンプリング数、piは各サンプリング区間において算出されたピッチ周期である。

【0024】
【数1】
JP0005278952B2_000002t.gif
図4は、図3に示すピッチ周期に基づいて算出したゆらぎ成分を時系列で示したグラフである。縦軸にゆらぎ成分をとり、横軸に時間をとっている。このグラフをみると、ゆらぎ成分は、所定の基準値に対して振動するように変動することがわかる。

【0025】
本発明者らは、こうしたゆらぎ成分の変動は、乳児の喜び及び悲しみといった感情と相関関係があることを実証している(C.Araki et.al. "An experimental system to analyze or synthesize baby's emotional voice using the varidation of pitch frequencies", ISUC.2008, 2008.12, IEEE参照)。そこで、感情評価部21では、乳児B及び母親Mの音声のピッチ周期のゆらぎ成分を算出して、両者の感情の変化を定量化する。定量化された評価データを時系列に関連付けて評価DB25に記憶する。

【0026】
算出されたゆらぎ成分の定量化の手法としては、例えば、ピッチ周期のゆらぎ成分の変動幅を100として、閾値を45に設定する。なお、閾値は、収集したデータを統計的に分析して決定すればよい。そして、45より小さいときは感情が「悲しみ」の状態にあると判定され、45より大きいときは「喜び」の状態にあると判定される。また、100に近いほど「喜び」の状態が強く、0に近いほど「悲しみ」の状態が強いと判定される。

【0027】
感情診断部22は、感情評価部21においてゆらぎ成分に基づいて評価された乳幼児B及び母親Mの感情の推移から乳幼児Bの感情を診断する。乳幼児の感情診断を行う場合、感情評価データの時間的な推移をみて、母親Mの感情との間の相関関係に着目して感情診断を行う。

【0028】
例えば、乳児Bが「喜び」又は「悲しみ」のどちらの状態にあるか判定し、判定された状態が「悲しみ」の状態であると判定された場合に、それより前の所定時間内(例えば、1分~10分以内)に、母親Mが「悲しみ」の状態と判定される場合がないか調査する。乳児Bの「悲しみ」の状態が、それ以前の母親Mの「悲しみ」の状態と強い相関関係がある場合には、乳児Bの「悲しみ」の状態の原因が、母親の感情との間の相互作用の影響によるものと分析される。乳児Bが「喜び」の状態にあると判定された場合でも、同様に母親Mの「喜び」の状態との相関関係が調査されて、母親との間の相互作用の影響の度合いが分析される。

【0029】
図5は、乳児B及び母親Mのゆらぎ成分に関する時間的推移を模式的に示すグラフである。この例では、閾値を45に設定して、45以下では「悲しみ」の状態と判定し、45を超えると「喜び」の状態と判定する。乳児Bの感情(点線で表示)は、時刻t1から時刻t2までは「悲しみ」の状態となっており、その後時刻t3から時刻t4までは「喜び」の状態となっている。これに対して、母親Mの感情(実線で表示)は、乳児Bの感情が発露する直前に同様の感情状態となっており、両者の間に強い相関関係があることがわかる。したがって、母親の感情の起伏が乳児の感情に強く影響を及ぼしていることが伺われ、母親の感情が乳児の感情の主な原因の1つになっていると分析される。そして、母親の感情の起伏の大きさ、感情変動の時間間隔、日常的な感情変動の傾向といった要因と乳児の感情との相関関係が分析されて、乳児の感情の原因分析が行われる。

【0030】
また、乳児Bが空腹時やおしめの交換時における「悲しみ」の状態では、母親Mが「喜び」の状態でも乳児の感情との間では相関関係が小さくなるが、こうした母親Mと乳児Bとの間の状況と感情の相互作用との間の関連については、両者の状況を録画しておき、録画した状況と対比させて乳児の感情の原因分析を行うことで、さらに精度の高い原因分析を行うことができる。

【0031】
以上のような乳児の感情に関する原因分析結果は診断DB26に蓄積される。また、診断DB26には、過去の事例に関する原因分析及び診断結果に基づく診断知識が記憶されており、こうした診断知識を利用して乳児の感情の原因分析に基づいて推論が行われる。

【0032】
例えば、母親が「何か嫌なことがあって、悲しい思いを持ち続けていた」ならば、乳児は「母親とのコミュニケーションによりその思いを感じとって、悲しみをいだくようになる」、逆に、母親が「とてもうれしい気分で、にこにこ顔で、乳児をかわいいと思っている」ならば、乳児も「うれしい気分になる」といったように、乳児は、母親の「悲しみ」に対しては「悲しみ」で、母親の「喜び」に対しては「喜び」で返すという規則を仮説として立て、こうした仮説に基づいて乳児の感情について推論し、診断を行う。

【0033】
そして、診断DB26には、様々な事例において乳児及び母親の感情の相互作用がどのように行われたか分析してパターン化し、様々な事例に関する感情パターンを蓄積しておく。例えば、母親の精神状態が悪化した状態(もう死んでしまいたい、この子は可愛くない、いらない子だ-等)である場合の感情パターン、又は、精神状態が良好な状態(この子のためならどんなことでもしてあげたい-等)である場合の感情パターンといった様々な感情パターンを定量化してデータベース化しておく。

【0034】
そして、診断する事例と感情パターンとの間の類似関係をマッチング分析することで、より具体化した精度の高い診断を行うことが可能となる。

【0035】
育児支援部23は、感情診断部22における乳児の感情に関する診断結果に基づいて母親に対する育児支援情報を作成して画像表示部30に表示する。例えば、母子の関係について良好な状態であると診断された場合には、母親に対するメッセージとして「今の調子で赤ちゃんに接してください」と表示する。逆に、乳児の感情が「悲しみ」の状態と判定されて母子の関係が悪化していると診断された場合は、母親に対するメッセージとして「お母さんの感情の状態はあまりよくありませんよ。もっと落ち着いて赤ちゃんに接してください。もっと明るくなるように、楽しいことを思い出したり、イメージしてください。」と表示する。

【0036】
このように診断結果に対応したメッセージをパターン化して支援DB27に予め記憶しておき、診断結果に応じて該当するメッセージを読み出して表示する。

【0037】
音声合成部14は、音響処理部12において算出されたピッチ周期に基づいて音声を合成する。合成された音声は合成音声DB15に記憶される。

【0038】
ピッチ周期から音声を合成する技術に関して、本発明者らは、声帯の2質量振動モデルを用いて実際の感情を反映した音声合成が可能であることを実証している(上記の本発明者らの論文参照)。使用する声帯の振動モデルは、1質量振動モデルを用いてもよい。特に、乳児の場合には1質量振動モデルを用いた方が実際の音声に近い合成音声を得ることができる。図6は、図3に示すピッチ周期に基づいて2質量振動モデルにより音声合成した音声波形に関するグラフである。

【0039】
音声合成部14において合成された音声データは、本体部20に送信されて音声取得部10からの実際の音声データと比較されて合成音声が実際の音声にどの程度近づいているか感情評価部21で検証される。また、育児支援部23では、乳児の「喜び」及び「悲しみ」の状態における合成音声を音声出力部31から出力して母親に乳児の感情に対応した声を聞かせたり、「悲しみ」の状態の乳児に対して母親の「喜び」の状態の合成音声を聞かせる、といったように育児支援に用いることもできる。

【0040】
図7は、本体部20における感情診断に関する処理フローである。まず、音響処理部12から入力される乳児及び母親のピッチ周期の時系列データに基づいてピッチ周期のゆらぎ成分を上述のように算出してゆらぎ成分の時系列データを得る(S100)。ゆらぎ成分の時系列データに基づいて乳児及び母親が「喜び」の状態又は「悲しみ」の状態であるか所定の閾値を基準に判定し、判定された両者の感情の時間的な推移からその相関関係を分析する(S101)。

【0041】
両者の感情の相関関係に基づいて乳児の感情の原因分析を行い、推論により母子関係の診断を行う(S102)。そして、診断結果に対応した育児支援メッセージを選択して読み出し(S103)、読み出された育児支援メッセージを表示部に表示する(S104)。
【符号の説明】
【0042】
1 気導マイク
2 骨導マイク
10 音声取得部
11 音声DB
12 音響処理部
13 処理DB
14 音声合成部
15 合成音声DB
20 本体部
21 感情評価部
22 感情診断部
23 育児支援部
24 メモリ
25 評価DB
26 診断DB
27 支援DB
30 表示部
31 音声出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6