TOP > 国内特許検索 > 情動制御装置 > 明細書

明細書 :情動制御装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5603157号 (P5603157)
公開番号 特開2012-019977 (P2012-019977A)
登録日 平成26年8月29日(2014.8.29)
発行日 平成26年10月8日(2014.10.8)
公開日 平成24年2月2日(2012.2.2)
発明の名称または考案の名称 情動制御装置
国際特許分類 A63J  99/00        (2009.01)
G10K  15/04        (2006.01)
H04R   1/00        (2006.01)
H04S   1/00        (2006.01)
FI A63J 99/00 C
G10K 15/04 302M
H04R 1/00 317
H04S 1/00 L
H04R 1/00 310G
請求項の数または発明の数 21
全頁数 16
出願番号 特願2010-160488 (P2010-160488)
出願日 平成22年7月15日(2010.7.15)
審査請求日 平成25年7月3日(2013.7.3)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】安藤 英由樹
【氏名】渡邊 淳司
【氏名】佐藤 雅彦
個別代理人の代理人 【識別番号】100079359、【弁理士】、【氏名又は名称】竹内 進
【識別番号】100158229、【弁理士】、【氏名又は名称】水野 恒雄
審査官 【審査官】中村 祐一
参考文献・文献 特開平09-308768(JP,A)
特開2005-261792(JP,A)
特開2005-056205(JP,A)
特表2006-526452(JP,A)
特開2004-209157(JP,A)
特開2001-067572(JP,A)
実開平03-018803(JP,U)
特開2002-229568(JP,A)
特開2008-227806(JP,A)
特開平08-152893(JP,A)
特開2008-153795(JP,A)
橋本 悠希 他,Hi-Fi触覚提示に関する研究 : ハードウェアの基礎的検討,日本バーチャルリアリティ学会論文誌,日本,日本バーチャルリアリティ学会,2009年12月31日,第14巻,第4号,第491-499頁
調査した分野 A63J 99/00
G10K 15/04
H04R 1/00
H04S 1/00
特許請求の範囲 【請求項1】
映像鑑賞者自らの人体音を取得する人体音信号抽出部と、
抽出された前記人体音を入力する人体音信号入力部と、
取得された前記人体音の電気信号をフィルタリングするフィルタ部と、
映像に付随して出力される音声信号入力部と、
フィルタリングされた前記人体音信号と前記音声信号をミキシングするミキサ部と、
ミキシングされた音声を出力する出力部と、
を備えたことを特徴とする情動制御装置。

【請求項2】
請求項1に記載の情動制御装置に於いて、
前記人体音信号抽出部は、電子聴診器であることを特徴とする情動制御装置。

【請求項3】
請求項1に記載の情動制御装置に於いて、
前記人体音信号取得部は、小型マイクロホンであることを特徴とする情動制御装置。

【請求項4】
請求項1に記載の情動制御装置に於いて、
前記フィルタ部は、人体音から150Hz以上の周波数領域を遮断して心音を取り出すことを特徴とする情動制御装置。

【請求項5】
請求項1に記載の情動制御装置に於いて、
前記出力部は、音声出力可能なスピーカであることを特徴とする情動制御装置。

【請求項6】
請求項1に記載の情動制御装置に於いて、
前記出力部は、鑑賞者の人体内部に音を定位させるヘッドホンまたはイヤホンであることを特徴とする情動制御装置。

【請求項7】
請求項1に記載の情動制御装置に於いて、
前記出力部は、鑑賞者に自らの人体内部の音を骨導音により伝導させる骨伝導ヘッドホンであることを特徴とする情動制御装置。

【請求項8】
請求項1に記載の情動制御装置に於いて、
前記出力部は、音声を出力する音声出力部と、皮膚感覚で音声を鑑賞者に伝えるために振動を出力する振動出力部を備えていることを特徴とする情動制御装置。

【請求項9】
請求項8に記載の情動制御装置に於いて、
前記振動出力部は、前記映像鑑賞者が座位する椅子に取り付けられていることを特徴とする情動制御装置。

【請求項10】
請求項1に記載の情動制御装置に於いて、
前記音声信号入力部は無線信号を受信する機能を備え、映像出力装置からの電波による送信された音声信号を受信することを特徴とする情動制御装置。

【請求項11】
請求項1に記載の情動制御装置に於いて、
複数の鑑賞者に対応した数の前記情動制御装置が同一の映像からの同一の音声信号を入力し、各情動制御装置を使用して同一の映像を鑑賞している鑑賞者の心音を、複数の前記情動制御装置に個別に抽出して取得して提示することを特徴とする情動制御装置。

【請求項12】
請求項11に記載の情動制御装置に於いて、
複数の鑑賞者に対応した数の前記情動制御装置の音声信号入力部は無線信号を受信する機能を備え、映像出力装置からの電波による送信された音声信号を受信することを特徴とする情動制御装置。

【請求項13】
請求項1に記載の情動制御装置に於いて、
前記人体音信号を、映像鑑賞者が映像の中での任意のシーン、任意のキャラクタに対して選択的に入力するための音量制御部をさらに備えたことを特徴とする情動制御装置。

【請求項14】
請求項13に記載の情動制御装置に於いて、
製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、
前記映像情報から心音付加期間情報を取り出す映像情報分析部と、
前記映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、
ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされることを特徴とする情動制御装置。

【請求項15】
請求項13に記載の情動制御装置に於いて、
人体音信号抽出部からの抽出信号からトリガ信号を発生させるトリガ信号発生部と、
前記トリガ信号発生部からのトリガ信号により、予め記憶されている心音を発生させる心音発生部と、
をさらに備えたことを特徴とする情動制御装置。

【請求項16】
請求項15に記載の情動制御装置に於いて、
前記人体音信号抽出部で抽出される信号は、脈拍信号であることを特徴とする情動制御装置。

【請求項17】
請求項16に記載の情動制御装置に於いて、
前記トリガ信号発生部では、前記脈拍信号の脈拍に対応してトリガ信号を発生し、
1つのトリガに対して1周期分の心音を、予め格納されている心音記憶部から読み出して、心音を発生させることを特徴とする情動制御装置。

【請求項18】
請求項15に記載の情動制御装置に於いて、
心音記憶部に予め格納されている心音は、鑑賞者自身の心音であることを特徴とする情動制御装置。

【請求項19】
請求項15に記載の情動制御装置に於いて、
心音記憶部に予め格納されている心音は、鑑賞者以外で鑑賞者が指定した任意の人の心音であることを特徴とする情動制御装置。

【請求項20】
請求項19に記載の情動制御装置に於いて、
心音は、映像に出演している出演者の心音を、予め格納していることを特徴とする情動制御装置。

【請求項21】
請求項15に記載の情動制御装置に於いて、
製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、
前記映像情報から心音付加期間情報を取り出す映像情報分析部と、
前記映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、
ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされることを特徴とする情動制御装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、デジタルメディア技術を用いた映像系のエンタテインメント分野における鑑賞者自らの心音を利用した新たな鑑賞空間を創生する情動制御装置に関する。

【背景技術】
【0002】
映像コンテンツのデジタル化が急速に進み、インターネット利用に見られるように配信チャネルの多様化の流れの中、視聴者におけるメディア接触行動は、大きく変化し、デジタルコンテンツ市場は順調に拡大してきている。DVD(Digital Video Disc),デジタル放送、携帯電話など、急速に進歩するデジタル技術と新たなメディアビジネスへの期待が牽引役である。デジタルコンテンツ市場は、媒体別には、パッケージ、ネットワーク、携帯電話、デジタル放送の4分野に区分され、内容別には、出版系、ゲーム系、音楽系、そして映像系の4分野に分けられる。
【0003】
しかし、デジタルコンテンツはその技術的な側面において確かに表現手法は高度化し、表示装置の高画質化も急速に進展してきたが、最終的な鑑賞方法は映像を見て、音声を聴くことであり本質的な点では従来と変わらない。
【0004】
本発明は人間の持つ心音に着目しているが、心音を利用する方法としては、他人の心音を利用する場合と、自分の心音を利用する場合が考えられ、利用コンテンツとしては、音情報のみの場合と、映像と音が合わさった場合とがある。
【0005】
音情報のみの場合に、他人の心音を利用した装置は、主に赤ちゃんに安心感を与えるための装置として利用されている。
【0006】
例えば、保育器の赤ちゃんが聴き取り可能な箇所に母親の心音を発する発音装置を設けたもの(特許文献1参照)、マットの一部に心音もしくはそれに類似する音を発する心音発生器を設けたもの(特許文献2参照)、消臭と遠赤外線・マイナスイオンを発生する炭化綿パットと揺籠効果が出る粘調液体マット、精神的癒し効果を出す母体心音再生装置を一体化した清潔で安心感を与えるベット(特許文献3参照)等がある。
【0007】
妊娠中に母体から取得した心音を記録した赤ちゃんへの記念品で、成長後の子供に癒しを与える心音アルバムの提案もある(特許文献4参照)。
【0008】
また、映像情報と音情報が合わさった場合に、他人の心音を利用した場合としては、スポーツ放送の娯楽性を高めるため、競技やスポーツにおいて、選手や動物に生体信号を検出する生体信号検出器を付けて、そのとき検出したデータを無線送信し、観戦者が、選手や動物のコンディション、緊張度をリアルタイムに知ることを可能とした装置が提案されている(特許文献5参照)。
【0009】
以上述べた心音の利用は、心音を聴く立場の視聴者と聴いている心音の当時者とは別であり、視聴者自らの心音を聴いているものではない。
【0010】
音情報のみの場合に、自らの心音を聴く装置の提案としては、体に巻きつけ固定することが出来るベルトに、集音器を設ける装置があり、集音器を手で押さえることなく、力を抜いた状態で自分自身の心音、体音を長時間聴くことが出来る(特許文献6参照)。
【0011】
この自らの心音を聴く装置は、自らの心音を聴くのみであり他の現象等と連携して新たな効果を奏するものではない。
【0012】
映像情報と音情報を合せた場合に、これまで自分の心音を利用して、映像の演出に利用したものは存在していないのが現状である。

【先行技術文献】
【0013】

【特許文献1】実開平7-5623号公報
【特許文献2】実開平6-19614号公報
【特許文献3】登録実用新案第3094623号公報
【特許文献4】登録実用新案第3154097号公報
【特許文献5】特開2004-192632号公報
【特許文献6】登録実用新案第3124535号公報
【発明の概要】
【発明が解決しようとする課題】
【0014】
映像演出に心音を利用することは、映像に緊張感や娯楽性をもたらすものであるが、鑑賞者自らの心音を利用した装置の提案は従来されていない。これまでも様々な映像の中で心音が使用されてきたが、鑑賞者自身の心音を利用したものはなく、その心音によって、感情移入する対象は、映像制作側の意図によってのみ決定され、鑑賞者側は選択し、自ら演出することはできなかった。
【0015】
このため、本発明は、鑑賞者自身の心音を抽出して、映像コンテンツの音声信号とミキシングし、映像の音声とともに鑑賞者自らの心音を聴くことにより効果的な感情移入を可能とし、さらに鑑賞者が自らの意思で効果を演出できる情動制御装置を提供することを目的としている。

【課題を解決するための手段】
【0016】
本発明による情動制御装置は、映像鑑賞者の人体音を抽出する人体音信号抽出部と、抽出された人体音を入力する人体音信号入力部と、取得された人体音の電気信号をフィルタリングするフィルタ部と、映像に付随して出力される音声信号入力部と、フィルタリングされた人体音信号と音声信号をミキシングするミキサ部と、ミキシングされた音声を出力する出力部とを備えたことを特徴とする。
【0017】
人体音信号抽出部は、電子聴診器または小型マイクロホンである。
【0018】
フィルタ部は、人体音から150Hz以上の周波数領域を遮断して心音を取り出している。
【0019】
出力部は、音声出力可能なスピーカ、イヤホンまたはヘッドホンである。また、骨伝導ヘッドホンを使用することもできる。これらの出力機器は、その特長を生かして心音の効果を独特の方法で演出することになる。
【0020】
出力部は、音声を出力する音声出力部と振動を出力する振動出力部を備えてもよい。振動出力部は、例えば、映像鑑賞者が座位する椅子に取り付けられる。
【0021】
情動制御装置の音声信号入力部は無線信号を受信する機能を備え、映像出力装置からの電波による送信された音声信号を受信するようにしてもよい。
【0022】
複数の情動制御装置により複数の鑑賞者が同一の映像を鑑賞する場合には、同一の映像からの同一の音声信号を入力し、各情動制御装置を使用して同一の映像を鑑賞している鑑賞者の心音を、複数の情動制御装置に個別に抽出して取得する。この場合、複数の情動制御装置の音声信号入力部は無線信号を受信する機能を備え、映像出力装置から電波により送信された音声信号を受信する。
【0023】
人体音信号は、映像鑑賞者により映像の中での任意のシーン、任意のキャラクタに対して選択的に挿入され、映像鑑賞者がフィルタ通過後の心音の音量を変化させることができる音量制御部をさらに備える。
【0024】
また、製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、映像情報から心音付加期間情報を取り出す映像情報分析部と、映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされるようにしてもよい。これにより、鑑賞者自らが細かな操作に煩わされることなく感情移入の演出ができる。
【0025】
心音は鑑賞者の胸に心音の抽出機器を当接することにより抽出するが、胸に直接機器を当てることなく簡易な方法で心音を得るために、心音と同じ周期のリズムで脈動する心拍を抽出する方法もある。
【0026】
このような情動制御装置は、脈拍を人体音信号抽出部で手などの血管から取り出し、この信号から周期的なトリガ信号を発生させるトリガ信号発生部と、トリガ信号発生部からのトリガ信号により、予め記憶されている心音を発生させる心音発生部とをさらに備え、トリガ信号発生部では、脈拍信号の脈拍に対応して発生した1つのトリガ信号に対して1周期分の心音を、予め格納されている心音記憶部から読み出して心音を発生させる。
【0027】
記憶されている心音は、鑑賞者自らの心音であるため、擬似的に鑑賞者の現在の心音を抽出した場合と同様の効果が得られる。音質よりリズム感の方が、心理的な影響が大きいからである。また、心音は鑑賞者が指定した人の心音でもよい。この場合でも鑑賞中の心音のリズム即ち心音の周期は鑑賞者に依存しているため、演出効果は鑑賞者自身の心音を聴く場合に相当する。
【0028】
脈拍から心拍の周期的なトリガ信号を抽出して心音を発生させる場合であっても、映像製作者側による心音付加期間情報が加えられた映像情報を入力する映像信号入力部と、映像情報から心音付加期間情報を取り出す映像情報分析部と、映像情報分析部での映像分析により、心音付加期間のタイミングを抽出するタイミング抽出部をさらに備え、ミキサ部において、抽出されたタイミングの期間のみ映像音声に心音がミキシングされ、その他の期間では心音はカットされるようにしてもよい。

【発明の効果】
【0029】
本発明により、映像演出に使用する心音として、最も効果的な心音を利用した新たな鑑賞空間を創製できるため、より緊張感があり、娯楽性に満ちた映像鑑賞ができる効果を奏する。また、鑑賞者が胸に心音信号取得のための機器、例えばマイクをあてるだけで、簡単に心音が取得でき、容易に装置の実現が可能である。
【0030】
複数の鑑賞者が同一の映像を鑑賞する場合であっても、映像にともなう音声に、鑑賞者自身の心音を加えて、鑑賞者自身が聴くことができ、同じ映像からも、個人個人に異なる演出をすることができる。
【0031】
鑑賞者が感情移入するにあたっては、心音のリズムは、自身の心音と同じリズムであることが望ましく、映像演出にあたり、その場で取得した自身の心音を利用することは、鑑賞者が映像に感情移入するにあたっての最適な心音となる。また、映像の上映中に、どのシーンやどのキャラクタに感情移入するかは、鑑賞者自身が関与することができ、より演出効果の高い映像が鑑賞できる。
【0032】
また、鑑賞者が指定した人の心音を使用する場合においては、心音の提供者との特別な関係から、感情記入において、さらに心理的な効果を加えることができる。

【図面の簡単な説明】
【0033】
【図1】本発明による情動制御装置の概略を示すブロック図。
【図2】心音を説明するための波形例を示す図。
【図3】本発明による情動制御装置を使用した映像鑑賞で、出力部の音声出力機器としてスピーカを用いた場合の具体例を示す図。
【図4】本発明による情動制御装置を使用した映像鑑賞で、出力部の音声出力機器としてヘッドホンを用いた場合の具体例を示す図。
【図5】音声出力機器として使用する骨伝道イヤホンを説明する図。
【図6】出力部が音声と振動である場合の出力部ブロック図。
【図7】本発明による情動制御装置の出力部に音声出力と振動出力がある場合の映像鑑賞の具体例を示す図。
【図8】本発明による情動制御装置を使用して、複数の鑑賞者が同じ映像を鑑賞する場合の具体例を示す図。
【図9】鑑賞者が音量を制御することができる情動制御装置の概略を示すブロック図。
【図10】鑑賞者の心音を挿入するタイミングを映像製作者側から送信する情動制御装置の概略を示すブロック図。
【図11】予め記憶された心音を、鑑賞者の人体信号から検出したタイミングで挿入する情動制御装置の概略を示すブロック図。
【図12】予め記憶された心音を、映像製作者側から送信されるタイミングで挿入する情動制御装置の概略を示すブロック図。
【発明を実施するための形態】
【0034】
以下、本発明の一実施形態について、図1~図3に基づいて説明する。

【0035】
図1は、本発明による情動制御装置10の概略を示すブロック図である。情動制御装置10は、人体音信号抽出部12、人体音信号入力部14、フィルタ部16、音声信号入力部18、ミキサ部20及び出力部22から構成されている。

【0036】
人体音は、人体音信号抽出部12により抽出する。人体音の抽出を行うための具体的な機器としては、電子聴診器または小型マイクロホンがある。例えば電子聴診器を使用する場合は、電子聴診器を胸に当てて、人体音を電気信号として取得する。取得した人体信号は、電子聴診器に備えられている外部出力端子から人体音信号入力部14に接続し、人体音信号入力部14に抽出した人体音を入力する。

【0037】
人体音信号入力部14では、人体音信号抽出部12で抽出されたアナログ信号をサンプリングによりデジタル信号として処理する。サンプリング周波数は、例えば4kHzとしてA-D(Analog-Digital)変換して、人体音信号入力部14に設けられている記憶領域に格納する。

【0038】
フィルタ部16は、抽出した人体音から心音を取り出すために、A-D変換によりデジタル信号化された人体音をディジタルフィルタ等により信号処理する。

【0039】
抽出される人体音には、心音の他に、呼吸音等がある。呼吸音の周期は、通常0.6Hz以下であり、心音の周期は一般的に安静時で0.8~1.6Hz程度である。これらの周波数領域は可聴周波数以下であり耳に音として聴こえることはない。また、呼吸音は主に口からの外部音声であるために、胸に当接して抽出する人体音信号に混入する呼吸音は少ない。従って、医療関係での心音診断とは異なり、音としての可聴音信号の抽出であるために、150Hzまでの周波数領域をフィルタにより取り出せば、純粋に鼓動音のみを取り出すことができ、心音効果としての音質は十分な品質を有している。また、高周波数領域は、衣服などの擦れる音等の外部音を含んでいるので、これらの雑音を遮断する意味でも150Hz以上の高周波数領域は遮断した。

【0040】
フィルタ部における信号処理は、必ずしもデジタル化して処理する必要は無く、アナログ信号のままでアナログ回路によるフィルタ処理してもよい。

【0041】
音声入力部18には、映像コンテンツを鑑賞する場合における音声信号を入力する。映像コンテンツは、例えばDVDレコーダを使用してDVDに記録された映像コンテンツを再生するが、映像はDVDレコーダの表示画面に表示されている。音声は、DVDプレーヤに付属しているスピーカから出力されるが、イヤホン端子にプラグを差し込んで外部出力機器に音声信号を取り出すことができる。このイヤホン端子から取り出した音声信号を音声入力部18に入力している。

【0042】
ミキサ部20では、フィルタ部16で取り出された心音が、アナログ信号に変換されて入力され、音声信号入力部18に入力された映像の音声信号と合成される。

【0043】
そして、ミキサ部20で合成されたた信号は、出力部22により音声として出力され、鑑賞者が聴くことになる。

【0044】
図2は、心音を説明するための概略波形である。

【0045】
心音35は心臓から聞こえる音のことであり、1回の心臓の拍動で2つの音が聞こえてくる。この2つの音を、心音のI音36-1、36-2とII音37-1、37-2と言う。I音36-1、36-2は心臓が収縮して血液を全身に送り出す時に聞こえる音であり、主に房室弁(僧帽弁と三尖弁)が閉まる音と血液が大動脈や肺動脈に流出していく時の血管の振動の音である。II音37-1、37-2は心室が収縮し終わった時に聞こえる音であり、主に、大動脈弁と肺動脈弁が閉まる音である。

【0046】
心雑音は、これらのI音36-1、36-2とII音37-1、37-2の間に聞こえる血液の乱流である。I音36-1とII音37-1の間に聞こえる雑音が収縮期雑音38、II音37-1とI音36-2の間に聞こえるのが拡張期雑音39である。

【0047】
ここに示した心音35は、興奮状態における情感的な表現としての「心臓の高鳴り」や「胸がどきどきする」といった状態のときに、I音36-1、36-2及びII音37-1、37-2の周期が短くなったり、振幅が大きくなったりする。また、収縮期雑音38や拡張期雑音39も雑音というよりもむしろ精神状態を適格に示す指標ともいえるものである。

【0048】
従って、映像の鑑賞時に映像に伴う音声と、鑑賞者が発する心音を同時に外部から鑑賞者が聴くことは、鑑賞者の内部音と外部音のリズムが一致しているため、映像に依存して感情が移入する演出効果を奏することになる。この効果により、鑑賞者はより緊張感を伴う娯楽性を楽しむことができるようになる。

【0049】
図3は、これまでに説明した情動制御装置10を使用した映像鑑賞で、出力部22の音声出力機器としてスピーカ50を用いた場合の具体例を示している。

【0050】
鑑賞者40は椅子42に座って映像鑑賞している場面である。情動制御装置10の人体音信号抽出部12は、鑑賞者40の胸に取り付けられ、心音を抽出する。映像は、DVDレコーダ46により再生されている。DVDは、DVDレコーダ46のディスク挿入口48から挿入され、映像表示機器44の表示画面に表示されている。映像の音声と心音は、情動制御装置10に取り入れられ、ミキシングされて出力部22としての外部スピーカ50から音声出力されている。

【0051】
次に、出力部22に於いて、様々な出力機器を用いた場合における効果を図4~図7を用いて説明する。

【0052】
図4は、情動制御装置10の出力部22として、ヘッドホン52を用いた場合の具体的な例である。ヘッドホン52は、音源を聴取すると頭の内部に音像が定位することになり、音楽等では反響音を含めた自然な音の広がりが得られないことがあるものの、心音は人体内の音でありむしろ演出効果を増幅させる。

【0053】
図5は、情動制御装置10の出力部22として、骨伝導ヘッドホン54を用いた場合に、耳56の近傍に装着した場合の図である。

【0054】
音は、空気の振動により耳56で聴く「気導音」と、頭蓋骨の振動で伝えられた音を耳の中にある蝸牛に伝えて聴く「骨導音」とがある。通常、耳56から聴く音は気導音であり、映像に付随する音声は、気導音のほうが自然な形態で聴くことができる。しかし、心音は体内で発する音であり、自分自身の音は骨導音として聴くほうがリアルな演出効果を生じさせることができる。

【0055】
このため、図4で示した装置構成において、ヘッドホン52に代えて骨伝導ヘッドホン54としてもよいが、その場合、映像からの音質が低下することは避けられない。従って、図3に示したように、出力部22に外部スピーカ50を使用しながら、骨伝導ヘッドホン54を併用する。これにより、映像からの音は自然な音を聴きながら、心音は骨導音を聴くことができ、頭の内部に音を定位させるヘッドホンとは異なった新たな演出効果を得ることができる。

【0056】
また、情動制御装置10の出力部22からの出力として、映像からの音は外部スピーカ52に、鑑賞者40から抽出した心音は骨伝導ヘッドホン54から分離した形態で出力してもよい。骨伝導ヘッドホン54は、外耳や中耳を経由することなく、内耳の蝸牛に直接音の振動を伝えるため、耳56が塞がれず、外部からの音は完全にフリーな状態で聴くことができるので、本発明の実施には最も好適な形態とも言える。

【0057】
図6は、ミキサ部20でミキシングされた音を、出力部22において、音声信号増幅部24を介して音声出力部28で出力すると同時に、振動増幅部26を介して振動出力部30に出力する場合のブロック図である。ミキシングされた音は、音声出力により鑑賞者に伝えることは勿論であるが、物理的な振動により鑑賞者40に、皮膚感覚で伝える手段として振動出力部30を備えている。

【0058】
図7は、情動制御装置10の出力部22に音声出力部28と振動出力部30がある場合の映像鑑賞の具体例を示す図である。DVDレコーダ46で再生された映像は映像表示機器44で表示され、音声は情動制御装置10に入力されている。鑑賞者40は椅子42に座り、胸部には心音を取り出すために人体音信号抽出部12をつけている。椅子42には、振動機器58が取り付けられている。振動機器58は、例えば超磁歪スピーカ等であり、椅子42に振動を与えて、鑑賞者40が皮膚感覚で振動を感じることができるようになっている。情動制御装置10を介した音声はヘッドホンで聴いている。

【0059】
情動制御装置10からの音は、ヘンドホン52の特性により頭の内部に定位するとともに、椅子42に取り付けられた振動機器58によって、鑑賞者40の皮膚から体に伝えられる。振動機器58は、その構造からして低周波数成分を伝えやすいので、特に心音のような低周波数帯に属する音は人体への伝達効果が高い。

【0060】
このように、鑑賞者自身の心音を頭の内部に定位させ、さらに人体に皮膚感覚で伝えることにより、内部発生の心音と外部からの心音とを同時に聴くことによる演出効果により、さらに感情移入の感覚が強くなる。出力部22における音声信号増幅部24と振動信号増幅部26の増幅率を、鑑賞者40の好みにより調整可能として、快適な演出効果を自らが選択できる様にしてもよい。

【0061】
図7では、音声出力機器としてヘッドホン52を使用した場合を示しているが、ヘッドホン52に限らず、外部スピーカ50でもよい。また、さらに骨伝導ヘッドホンを併用した実施形態としてもよい。

【0062】
図8は、情動制御装置10を使用して、複数の鑑賞者40-1、40-2、40-3、40-4が同じ映像を鑑賞する場合の具体例を示す図であり、情動制御装置10-1、10-2、10-3、10-4は、DVDレコーダ46からの音声信号を電波により送受信している場合の具体例を示す図である。

【0063】
情動制御装置10を使用した映像鑑賞は、個人に限定されることはなく、映像及びその音声を共通として、心音のみ鑑賞者40-1、40-2、40-3、40-4は、自身の胸に装着した人体音信号抽出部12-1、12-2、12-3、12-4から抽出する。鑑賞者40-1、40-2、40-3,40-4は、それぞれが情動制御装置10-1、10-2、10-3、10-4を有し、映像に伴う同一の音声を受信する。

【0064】
複数の鑑賞者が同じ映像を鑑賞する場合は、心音をミキシングした音は個人に対してのみ演出効果を生ずるので、音声出力機器はヘッドホン52-1、52-2、52-3、52-4による。さらに図8に示したように、振動機器58-1、58-2、58-3、58-4も個々に取り付ける。

【0065】
ヘッドホン52-1、52-2、52-3,52-4や振動機器58-1、58-2、58-3、58-4は、鑑賞者40-1、40-2、40-3、40-4によってそれぞれ好みがあり、すべてを共通の機器とする必要は無く、例えば振動機器を無くすことや、ヘッドホン52-1、52-2、52-3、52-4に代えて鑑賞者40-1、40-2、40-3、40-4個人が好みにより骨伝導ヘッドホン54とすることもできる。

【0066】
さらに適用人数を多人数にし、例えば映画館のような場合に、多数の映画鑑賞者に対するシステムとして提供することもできる。

【0067】
次に、図9~図12を用いて、さらに機能的な拡張と応用について説明する。

【0068】
図9は、心音の音量を鑑賞者40が自らの好みに応じて調整することが出来る様に、フィルタ部16を通過後に音量制御部32を設けた情動制御装置60である。音量制御部32では、鑑賞者が外部から、手元に備えられたボリュームコントローラにより、心音の音量を調整して、映像の場面やキャラクタに対して演出効果を操作する。最小音量は耳に聞こえない場合も含み、心音のオン・オフ機能も兼ねている。

【0069】
図10は、映像製作者が鑑賞者40の心音を取り入れたいと考えている場面を知らせることができる情動制御装置70である。

【0070】
映像製作者は、映像信号の中に鑑賞者40に心音効果を演出したいと考える場面、キャラクタにタイミング信号を埋め込む。タイミング信号を埋め込まれた映像信号は、情動制御装置70の映像信号入力部72から取り込まれ、映像情報分析部74でタイミング信号を分析して、タイミング信号のみをタイミング抽出部76で抽出する。このタイミング信号により、ミキサ部では人体音信号抽出部12で抽出され、人体音信号入力部14、フィルタ部16、音量制御部32を介して入力される心音をミキシングする。

【0071】
音声信号入力部18から入力された映像の音声に心音を挿入するタイミングは、映像製作者に依存するが、心音は鑑賞者40の心音であり、演出効果のオン・オフを半自動的に行え、煩わしい操作をすることなく鑑賞できることになる。この場合であっても、心音のリズムや音質は鑑賞者40のものであるため、映像鑑賞における演出は同様の効果が得られる。

【0072】
図11は、人体音信号抽出部12からの信号をトリガとして予め記憶してある心音を発生させることのできる情動制御装置80である。トリガ信号発生部82では、人体音信号抽出部12からの心音のリズムとなる周期に応じてトリガ信号を発生させる。心音発生部84には、予め記憶領域に心音の波形データが格納されており、トリガにより心音記憶領域から心音を読み込んで心音を発生させる。

【0073】
心音のリズムは、心臓の鼓動によるリズムであって、脈動のリズムと同じである。従って、トリガ信号のみを取り出せれば、後は予め記憶領域に格納された心音データにより心音を発生させることができるので、人体音信号抽出部12では、脈拍を抽出してもよい。

【0074】
この場合は、例えば手首に検知器を取り付ければよく、心音を抽出する場合のような胸に直接的に電子聴診器や小型マイクを当てるよりも極めて簡単に情動制御装置80を利用することができる効果をも奏することになる。また、心音の抽出状態が悪い場合、即ち雑音が多い場合にも適用できる。

【0075】
心音発生部84に予め記憶しておく心音は、鑑賞者40の心音とすることは必ずしも必須要件ではなく、ある人の心音を標準音として情動制御装置80に固定しておくこともできる。

【0076】
しかしながら、映像鑑賞に心音を使用することは、極めて心理的、生理的な要因を考慮しての効果の付加であり、とすれば心音の音質が微小な差であっても、鑑賞者との特別な人間関係にある人の心音を利用することにより、さらに心理的な効果を相乗させて演出効果を高めることができる。

【0077】
例えば恋愛関係にある相手の心音である。鑑賞者40の自らの心音リズムを基にして、相手の心音を聞いているとの心理的効果、生理的効果はさらに映像鑑賞の演出に効果がある。また、映像に出演している演技者の心音の提供を受け、予め記憶領域に格納しておいてもよい。この場合は、鑑賞者40は、出演者が好みの出演者であれば、演技者と一体となれるとの心理的効果により、より一層の感情移入により映像の鑑賞効果を促進することになる。

【0078】
図12は、予め心音を格納する図11に示した情動制御装置80に、さらに映像製作者による心音のミキシングタイミング機能を追加した情動制御装置90である。映像製作者による心音のミキシングタイミング機能は、図10で説明したと同様である。

【0079】
映像製作者による心音のミキシングタイミングは、出演者ごとに区別することができるように信号を埋め込み、出演者ごとの心音を心音発生部84で発生させることもできる。

【0080】
以上、本発明の実施例を説明したが、本発明はその目的と利点を損なうことのない適宜の変形を含み、例えば、出力部22における出力機器の任意の組み合わせや、誰の心音を予め格納しておくかの決定や、心音の切り替え等であり、上記の実施形態による限定は受けない。

【符号の説明】
【0081】
10,10-1,10-2,10-3,10-4、60,70,80,90:情動制御装置
12,12-1,12-2,12-3,12-4:人体音信号抽出部
14:人体音信号入力部
16:フィルタ部
18:音声信号入力部
20:ミキサ部
22:出力部
24:音声信号増幅部
26:振動信号増幅部
28:音声出力部
30:振動出力部
32:音量制御部
35:心音
36-1,36-2:I音
37-1,37-2:II音
38:収縮期雑音
39:拡張期雑音
40,40-1,40-2,40-3,40-4:鑑賞者
42:椅子
44:映像表示機器
46:DVDレコーダ
48:ディスク挿入口
50:音声スピーカ
52:ヘッドホン
54:骨伝導ヘッドホン
56:耳
58,58-1,58-2,58-3,58-4:振動機器
72:映像信号入力部
74:映像情報分析部
76:タイミング抽出部
82:トリガ信号発生部
84:心音発生部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11