TOP > 国内特許検索 > 人間の感情状態に応じた音楽出力装置及び音楽出力方法

人間の感情状態に応じた音楽出力装置及び音楽出力方法 コモンズ

国内特許コード P140010533
整理番号 03-200
掲載日 2014年5月13日
出願番号 特願2004-172615
公開番号 特開2005-352151
登録番号 特許第4627154号
出願日 平成16年6月10日(2004.6.10)
公開日 平成17年12月22日(2005.12.22)
登録日 平成22年11月19日(2010.11.19)
発明者
  • 村田 真樹
  • 一井 康二
  • 岡井 隆弘
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 人間の感情状態に応じた音楽出力装置及び音楽出力方法 コモンズ
発明の概要 【課題】 人間の感情状態に基づいて自動的に音楽出力すると共に、音楽選択の的確性、装置の簡易性を図ること。
【解決手段】 人間の発する音声又は活動に伴って生じる活動音を取得し、音響情報として入力する音響情報入力手段21と、音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出手段22と、それを入力して、状態判断テーブル31に基づき音響情報に係る人間の感情状態を判断する状態判断手段23と、音楽選択テーブル32に基づき音楽を選択する音楽選択手段24と、楽曲データ33から音楽を出力する音楽出力手段25とを備える。
【選択図】 図1
従来技術、競合技術の概要


音楽が人間の感情を高めたり抑制したりする効果をもつことが知られている。また演劇やドラマなどでは、登場人物の感情状態を表現し、あるいは視聴者の感情を盛り立てる目的で背景音楽が多用されている。
このような背景音楽の選択や出力は、従来熟練した音響効果の専門家に委ねられており、日常生活において手軽に利用できる技術ではない。



例えば、特許文献1では、利用者が付与したいと思う意図する感情を手動により選択することで背景音楽信号を音声信号に重畳して再生する音声再生データ出力装置が提案されている。本技術は利用者が自発的に音楽を再生することを企図したものであり、従来専門家でなければ難かった感情に合わせた音楽選択を感情・音声データベースを用いることで、容易に選択ができるようにした点が優れている。



【特許文献1】
特開2001-166786号公報



また、音声情報から話者の感情状態を認識する方法が知られている。例えば特許文献2に開示される対話処理装置では、ユーザから入力された語句の概念を抽出し、その語句の概念に基づいて、ユーザの感情を推定し、その感情を表す感情情報を出力する。さらに、感情情報に基づいてユーザに出力する出力文を生成する機能を有している。



【特許文献2】
特開2001-215993号公報



本技術は、音響情報を用いてこれを音声認識し、得られた語句の概念が抽出され、その概念に基づいて、ユーザの感情が推定される。そして、その結果推定された感情情報に基づいて、ユーザに出力する出力文が生成される。また、ロボットから合成音を出力してユーザに応答するなど、ユーザインタフェースとして提供することも提案されている。



さらに、特許文献3に開示される音声制御装置では、話者の意図にあった細かな制御を目的として、人間の状態(感情、体調等)による音声指示の変化を的確に判断し、単なる音声命令だけでなく、その状態を加味して出力する装置を開示している。
本装置によって音声命令に含まれるニュアンスにも対応した制御を可能にしており、例えばテレビのリモコンに搭載して音量調節の程度を変化させることなどが可能である。



【特許文献3】
特開平10-55194号公報



特許文献4に開示される構成では、音声認識時に、感情の変化に伴う音韻スペクトルの変形を加味し、認識結果と共に音声がもっている話者の感情の度合を示す感情レベルを出力する技術を開示している。



【特許文献4】
特開平11-119791号公報



上記は話者の音声から感情状態を取得する技術であるが、その他にテキストから人間の感情状態を取得する技術としては特許文献5に開示されるような技術もある。
本技術は、電子文書が有する感情を自動的に判定すると共に、その判定の精度を高くするものであり、単語の感情表現を感情ベクトル値で表した感情表現辞書を用いることを特徴としている。



【特許文献5】
特開2002-230011号公報

産業上の利用分野



本発明は、音楽を選択し出力する音楽出力装置及び音楽出力方法に係り、より詳しくは人間の発する音声や活動音或いはテキストから人間の感情状態を推定してその感情状態に適した音楽を選択し、出力する技術に係るものである。

特許請求の範囲 【請求項1】
人間の発する音声及び活動に伴って生じる活動音に対して、当該人の感情状態に適し、該音声及び該活動音の背景音楽を選択して出力可能な音楽出力装置であって、
感情状態学習用テーブルと、
該感情状態学習テーブルに基づいて第1の機械学習モデルにより音響特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習手段と、
音楽選択学習用テーブルと、
該音楽選択学習テーブルに基づいて第2の機械学習モデルにより選択する音楽と感情状態との関連を取得して音楽選択テーブルに学習結果を保存する音楽選択学習手段と、
該音声及び該活動音を取得し、音響情報として入力する音響情報入力手段と、
該音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出手段と、
該音響特徴量を入力して、該状態判断テーブルに基づいて音響情報に係る人間の感情状態を該第1の機械学習モデルにより判断する状態判断手段と、
判断された該感情状態を入力して、該音楽選択テーブルに基づいて該第2の機械学習モデルにより音楽を選択する音楽選択手段と、
該音楽を背景音楽として出力する音楽出力手段と
を備え、
該音響スペクトルに係る特徴量として、強度、テンポ、及び周波数を全て用いる
ことを特徴とする人間の感情状態に応じた音楽出力装置。

【請求項2】
前記感情状態学習用テーブルを、前記音声及び活動音を生じさせる人間の特徴別に用意して学習し、
前記状態判断手段において、判断時に選択された特徴別の学習結果を用いて音響情報に係る当該人間の感情状態を判断する
請求項1に記載の人間の感情状態に応じた音楽出力装置。

【請求項3】
前記状態判断テーブルにおいて、
同一の音響特徴量に対して、複数の感情状態の確度が定義される
請求項1又は2に記載の人間の感情状態に応じた音楽出力装置。

【請求項4】
前記機械学習モデルが、
最大エントロピーモデル、サポートベクトルマシンモデル
のいずれかである
請求項1ないし3のいずれかに記載の人間の感情状態に応じた音楽出力装置。

【請求項5】
前記音楽出力装置が、電話回線との接続手段を備え、
前記音声情報入力手段が、電話回線における通話音声を取得して入力すると共に、
前記音楽出力手段が、電話回線における通話音声に音楽を挿入する
請求項1ないし4のいずれかに記載の人間の感情状態に応じた音楽出力装置。

【請求項6】
人間の発する音声及び活動に伴って生じる活動音に対して、当該人の感情状態に適し、該音声及び該活動音の背景音楽を選択して出力可能な音楽出力方法であって、
感情状態学習手段により、予め備えた感情状態学習テーブルに基づいて第1の機械学習モデルにより音響特徴量と感情状態との関連を取得して状態判断テーブルに学習結果を保存する感情状態学習ステップ、
音楽選択学習手段により、予め備えた音楽選択学習テーブルに基づいて第2の機械学習モデルにより選択する音楽と感情状態との関連を取得して音楽選択テーブルに学習結果を保存する音楽選択学習ステップ、
音響情報入力手段により、該音声及び該活動音を取得し、音響情報として入力する音響情報入力ステップ、
音響特徴量抽出手段により、該音響情報から該音響情報の音響スペクトルに係る特徴量を抽出する音響特徴量抽出ステップ、
状態判断手段により、該音響特徴量を入力して、該状態判断テーブルに基づいて音響情報に係る人間の感情状態を該第1の機械学習モデルにより判断する状態判断ステップ、
音楽選択手段により、該感情状態を入力して、該音楽選択テーブルに基づいて該第2の機械学習モデルにより音楽を選択する音楽選択ステップ、
音楽出力手段により、該音楽を背景音楽として出力する音楽出力ステップ
の各ステップを含むことを特徴とする人間の感情状態に応じた音楽出力方法。

【請求項7】
前記感情状態学習ステップにおいて、
前記感情状態学習用テーブルを、前記音声及び活動音を生じさせる人間の特徴別に用意して学習し、
前記状態判断ステップにおいて、
前記状態判断手段が、判断時に選択された特徴別の学習結果を用いて音響情報に係る当該人間の感情状態を判断する
請求項6に記載の人間の感情状態に応じた音楽出力方法。

【請求項8】
前記状態判断テーブルにおいて、
同一の音響特徴量に対して、複数の感情状態の確度が定義される
請求項6又は7に記載の人間の感情状態に応じた音楽出力方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2004172615thum.jpg
出願権利状態 登録
※ 詳細内容の開示にあたっては、別途、JSTと秘密保持契約を締結していただくことが必要となります。


PAGE TOP

close
close
close
close
close
close
close