TOP > 国内特許検索 > 音源選択装置 > 明細書

明細書 :音源選択装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4837512号 (P4837512)
公開番号 特開2008-092193 (P2008-092193A)
登録日 平成23年10月7日(2011.10.7)
発行日 平成23年12月14日(2011.12.14)
公開日 平成20年4月17日(2008.4.17)
発明の名称または考案の名称 音源選択装置
国際特許分類 H04S   1/00        (2006.01)
H04R   3/00        (2006.01)
G10L  15/00        (2006.01)
H04R   5/033       (2006.01)
FI H04S 1/00 L
H04R 3/00 320
G10L 15/00 200G
H04R 5/033 B
請求項の数または発明の数 9
全頁数 32
出願番号 特願2006-269623 (P2006-269623)
出願日 平成18年9月29日(2006.9.29)
審査請求日 平成21年2月24日(2009.2.24)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】浜中 雅俊
【氏名】李 昇姫
個別代理人の代理人 【識別番号】100091443、【弁理士】、【氏名又は名称】西浦 ▲嗣▼晴
審査官 【審査官】鈴木 圭一郎
参考文献・文献 特開平09-090963(JP,A)
特開平10-042396(JP,A)
特開2003-304600(JP,A)
特開2005-051801(JP,A)
特開2002-149163(JP,A)
特開平10-124292(JP,A)
特開2005-333621(JP,A)
調査した分野 H04S 1/00
G10L 15/00
H04R 3/00
H04R 5/033
特許請求の範囲 【請求項1】
ヘッドフォンと、前記ヘッドフォンを装着した受聴者に対して前記ヘッドフォンを介して定位した複数の仮想音源を提供する仮想音源提供手段と、前記複数の仮想音源から1つの仮想音源を選択する仮想音源選択手段とを備えた音源選択装置であって、
前記仮想音源提供手段が、前記受聴者に対して提供する前記複数の仮想音源の複数の定位音源配置パターンを記憶する定位音源配置パターン記憶手段と、前記受聴者の選択動作に応じて前記複数の定位音源配置パターンから所望のパターンを選択する配置パターン選択手段と、前記定位音源配置パターンに従って前記複数の仮想音源を提供するミキシング手段とを有し、
前記ヘッドフォンに装着されて前記受聴者の頭部の動きを検出する頭部動作検出センサと、前記頭部動作検出センサの出力に基づいて前記頭部の動きを判定する頭部動作判定手段とを更に備え、
前記配置パターン選択手段は、前記頭部動作判定手段が前記頭部の動きから予め定めた配置パターン変更動作を検出すると前記定位音源配置パターン記憶手段から別の前記定位音源配置パターンを選択して前記ミキシング手段に出力するように構成されていることを特徴とする音源選択装置。
【請求項2】
前記仮想音源提供手段は、音声認識により、前記定位音源配置パターンで提供する前記複数の仮想音源の種類を変更する音源種類変更手段を更に備えていることを特徴とする請求項1に記載の音源選択装置。
【請求項3】
前記仮想音源提供手段は、前記頭部動作判定手段が前記頭部の動きから予め定めた音源変更動作を検出すると、前記定位音源配置パターンで提供する前記複数の仮想音源の種類を変更する音源種類変更手段を更に備えていることを特徴とする請求項1に記載の音源選択装置
【請求項4】
前記仮想音源選択手段は、前記配置パターン選択手段が前記定位音源配置パターンを選択した後に前記頭部動作判定手段が前記頭部の動きから予め定めた音源決定動作を検出すると音源を決定する音源決定指令を前記ミキシング手段に出力する音源決定手段を備えていることを特徴とする請求項1に記載の音源選択装置。
【請求項5】
前記頭部動作検出センサは、前記ヘッドフォンに設けられて、予め定めた基準方位と前記受聴者の顔の正面が前記複数の仮想音源が存在する仮想音源空間内に向いている指示方位との間の方位角度差を検出する方位角度差検出手段を備え、
前記ミキシング手段は、前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして音響再生装置に出力するように構成され、
更に前記ミキシング手段は、
前記方位角度差が0度のときには、前記複数の音響信号チャンネルから供給される前記複数の音響信号をそのままミキシングして出力し、
前記方位角度差が0度以外のときには、前記基準方位を基準にして前記複数の仮想音源の位置を固定した状態を作り、しかも前記指示方位に位置する1以上の前記仮想音源の音量が、前記方位角度差が0度のときの前記1以上の仮想音源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整と位相調整とを行ってミキシングした後出力するように構成されている請求項1に記載の音源選択装置。
【請求項6】
前記指示方位を中心にして所定の方位角度範囲を設定する角度範囲設定手段を更に備え、
前記ミキシング手段は、前記方位角度範囲が設定されると、前記方位角度範囲内にある1以上の前記仮想音源の音量を、前記方位角度範囲外の他の前記仮想音源の音量よりも大きくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行うように構成されている請求項に記載の音源選択装置。
【請求項7】
前記角度範囲設定手段は、前記ヘッドフォンに設けられて前記操作者の手と前記ヘッドフォンとの間の距離を検出する距離検出センサを備え、前記距離検出センサが検出する距離が小さくなると前記方位角度範囲を狭くし、前記距離検出センサが検出する距離が大きくなると前記方位角度範囲を広くするように構成されていることを特徴とする請求項に記載の音源選択装置。
【請求項8】
前記距離検出センサは、操作者の手に当てた赤外線の反射を検出して前記距離を検出する赤外線センサからなる請求項に記載の音源選択装置。
【請求項9】
前記複数の定位音源配置パターンには、前記受聴者から見て第1の仰角位置にあり且つ第1の距離範囲内に所定の間隔をあけて方位方向に並ぶ前記複数の仮想音源から構成される第1の仮想音源列と、前記第1の仰角位置とは異なる第2の仰角位置にあり且つ前記第1の距離範囲よりも更に前記受聴者から離れた第2の距離範囲内に所定の間隔をあけて方位方向に並ぶ前記複数の仮想音源から構成される第2の仮想音源列とを少なくとも含む、多重の仮想音源列を備えた1以上の前記定位音源配置パターンが含まれており、
前記基準方位を定めるときの前記ヘッドフォンの仰角を基準仰角として、前記基準仰角と前記ヘッドフォンの仰角との差を仰角差として検出し、前記基準方位を定めたときの姿勢から前記ヘッドフォンを上方に向けたときに現れる仰角差を正の仰角差とし且つ前記ヘッドフォンを下方に向けたときに現れる仰角差を負の仰角差として出力する仰角角度差検出手段を更に備えており、
前記ミキシング手段は、前記仰角角度差検出手段が前記正の仰角差を出力しているときには、前記指示方位に並ぶ複数の前記仮想音源の音量を、前記仰角差に比例して、前記ヘッドフォンから離れる前記仮想音源ほど大きくし、前記仰角角度差検出手段が前記負の仰角差を出力しているときには、前記指示方位に並ぶ複数の前記仮想音源の音量を、前記仰角差に比例して、前記ヘッドフォンから離れる前記仮想音源ほど小さくするように、前記指示方位に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の音響信号の音量調整を行うように構成されている請求項に記載の音源選択装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、ヘッドフォンを装着した操作者が複数の仮想音源から1つの仮想音源を選択する仮想音源選択装置に関するものである。
【背景技術】
【0002】
近年,インターネット経由の楽曲ダウンロードサービスを利用して莫大な数の楽曲にアクセスすることが可能となった。しかしながら、メジャーでない楽曲に触れる機会は依然として限られており、多くのユーザが聴くのはごく一部のメジャーな楽曲に限られている。そこでディスプレイなどの画面表示がなくても音のみで多くの楽曲をプリビューしながら目的の楽曲を円滑に探し出す技術が種々提案されている。
【0003】
例えば、特開平9-90963号公報(特許文献1)には、ヘッドフォンを付けたユーザの周囲に複数の音像(仮想音源)を固定配置し、ユーザの頭部の前面を、固定されている特定の音像に向けることにより、複数の音像から特定の音像を選択する技術が開示されている。
【0004】
特開2000-236600号公報(特許文献2)には、ヘッドフォンを付けたユーザの前面に複数の音像(仮想音源)を円周状で回転させて、ユーザの直ぐ目の前に回って来た音像を選択できるようにする技術が示されている。
【0005】
特開2000-194460号公報(特許文献3)には、ヘッドフォンを付けたユーザの周囲に複数の音像(仮想音源)を配置し、頭部の動きに応じてユーザの周囲において複数の音像を回転させ、ユーザの前方に来た音像を選択する技術が示されている。
【0006】
また特開平2-25900号公報[特許文献4]には振動ジャイロを受聴者が装着するヘッドフォンに装着して、受聴者の頭部の回転を検出し、検出した回転に伴って左右の音量を調整することにより、受聴者の頭部が回転しても音源が空間の一点に固定されるようにして、臨場感を増大させる技術が示されている。また特開平8-9490号公報[特許文献5]にはヘッドフォン本体に取りつけたマイクロフォンにより頭部の回転角度を検出する技術が開示されている。さらに特開平9-205700号公報[特許文献6]にはヘッドフォンの頭の向きを検出するセンサをヘッドフォンに搭載する技術が開示されている。さらに特開平8-237790号公報[特許文献7]には、頭部の回転だけでなく、受聴者の向きや位置の情報を合わせて検出する技術が開示されている。

【特許文献1】特開平9-90963号公報
【特許文献2】特開2000-236600号公報
【特許文献3】特開2000-194460号公報
【特許文献4】特開平2-25900号公報
【特許文献5】特開平8-9490号公報
【特許文献6】特開平9-205700号公報
【特許文献7】特開平8-237790号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら特許文献1に示された技術では、仮想音源の数が、多くなった場合において、簡単に音像を選択することができない。また特許文献2及び3に記載の技術では、自分の目の前に所望の仮想音源が現れるまで選択を待たなければならないため、所望の仮想音源を選択するまでの時間を短縮することができない。さらに特許文献1乃至3に記載の技術では、仮想音源の配置パターンが固定されているため、選択動作も固定されたものとなる。そのため、仮想音源の数が多くなった場合や、仮想音源が近似しているために識別がしづらい場合でも、操作者の努力により選択をしなければならなかった。また実施場所によって、予め定めた選択動作をすることが周囲の人に迷惑をかける問題もあった。
【0008】
本発明の目的は、従来よりも複数の仮想音源の選択動作の自由度を高めることができる音源選択装置を提供することにある。
【0009】
本発明の他の目的は、頭部の動きにより、仮想音源を選択する場合において、実施場所の状況に応じて、頭部の動作範囲を限定することが可能な音源選択装置を提供することにある。
【0010】
本発明の他の目的は、一度に提供する仮想音源の数が多くなった場合でも、選択動作が容易でしかも短い時間で仮想音源の選択をすることができる音源選択装置を提供することにある。
【課題を解決するための手段】
【0011】
本発明の音源選択装置は、ヘッドフォンと、ヘッドフォンを装着した受聴者に対してヘッドフォンを介して定位した複数の仮想音源を提供する仮想音源提供手段と、複数の仮想音源から1つの仮想音源を選択する仮想音源選択手段とを備えている。そして仮想音源提供手段は、定位音源配置パターン記憶手段と、配置パターン選択手段と、ミキシング手段とを有している。ここで定位した複数の仮想音源とは、ヘッドフォンを装着した受聴者の頭部を動かしても、移動しない(固定された)状態にある複数の仮想音源を意味する。
【0012】
定位音源配置パターン記憶手段は、受聴者に対して提供する複数の仮想音源の複数の定位音源配置パターンを記憶する。複数の定位音源配置パターンとしては、例えば、受聴者の周囲に仮想円や仮想多角形等に沿って定位した複数の仮想音源を配置する配置パターンや、受聴者の前方に定位した複数の仮想音源を仮想直線や仮想円弧等に沿って配置する配置パターン等種々の配置パターンを採用することができる。また配置パターン選択手段は、受聴者の選択動作に応じて複数の定位音源配置パターンから所望のパターンを選択する。ここで受聴者の選択動作とは、受聴者が定位音源配置パターンを選択する際にとる動作を意味し、専用のコントローラを用いる場合には、コントローラを操作する動作を含み、またヘッドフォンにスイッチを装着している場合には、そのスイッチを操作する動作を含み、さらにヘッドフォンを装着した受聴者の頭部の動きに基づいて所定の選択をする場合には、受聴者の頭部の動作を含み、さらに複数種類の動作が組み合わされた複合動作も含まれるものである。そしてミキシング手段は、選択された定位音源配置パターンに従って複数の仮想音源を提供する。
【0013】
本発明のように、複数の定位音源配置パターンから所望のパターンを選択することができるようにすると、仮想音源の数が多くなった場合や、仮想音源が近似しているために識別がしづらい場合に、定位音源配置パターンを変更することで、音源の選択動作の自由度を高めて、音源の選択を容易にすることがができる機会を得ることができる。また公共の乗り物の中で音源の選択をする場合のように、予め定めた選択動作をすることが周囲の人に迷惑をかける問題を発生させる場合に、定位音源配置パターンを変更することで、選択動作の範囲を限定することで、周囲に迷惑をかけることなく、音源の選択をすることも可能になる。
【0014】
主として受聴者の頭部の動作を利用して選択を行う場合には、頭部動作検出センサと頭部動作判定手段とを更に設ける。頭部動作検出センサとしては、ヘッドフォンに装着されて受聴者の頭部の動きを検出するものを用いることができる。そして頭部動作判定手段は、頭部動作検出センサの出力に基づいて頭部の動きを判定し、頭部の動きが予め定めた複数の動作の一つであることを検出すると、その検出結果に基づいて各種の指令を出力する。頭部動作判定手段を用いる場合、配置パターン選択手段は、頭部動作判定手段が頭部の動きから予め定めた配置パターン変更動作を検出すると、定位音源配置パターン記憶手段から別の定位音源配置パターンを選択してミキシング手段に出力するように構成することができる。このようにすると頭部で所定の動作をすることにより、受聴者に提供する定位した複数の仮想音源の配置パターンを変更することが可能になる。したがって乗り物に乗っている際や、歩いている際のように、スイッチ操作をすることができない場合であっても、頭部で所定の動作することにより、簡単に配置パターンを変更する可能になる。なおスタート時(起動時)においては、所定の配置パターン変更動作をすることなく、予め定めた一つの定位音源配置パターンで複数の仮想音源を提供し、その後配置パターン変更動作を検出したときに、一つの定位音源配置パターンから別の定位音源配置パターンに変更するようにしてもよい。またスタート時から、配置パターン変更動作を検出することを条件に最初の定位音源配置パターンを決定して、その決定した最初の定位音源配置パターンで複数の仮想音源を提供するようにしてもよい。なお配置パターン変更動作による選択可能な複数の定位音源配置パターンの種類及び配置パターンの形状は任意である。またこの選択は、予め定めた順番で行うのが一般的であるが、パターンの種類が少ない場合には、順番を定めずにランダムに行ってもよい。
【0015】
選択の対象となる音源の数が多い場合には、一度にすべての音源を受聴者に提供することはできない。そこでこのような場合には、仮想音源提供手段には、音源種類変更手段をを更に設ける。この音源種類変更手段は、音声認識により、定位音源配置パターンで提供する複数の仮想音源の種類を変更するあってもよい。また音源種類変更手段を、頭部動作判定手段が頭部の動きから予め定めた音源変更動作を検出すると、定位音源配置パターンで提供する複数の仮想音源の種類を変更するように構成してもよい。具体的には、ミキシング手段に提供する複数の音源(音響信号)を変更することになる。すなわち音源種類変更手段は、例えば10曲の音源(音響信号)を所定の配置パターンで提供しているときに、音声による変更指令または音源変更動作が検出されると、前の10曲の音源を別の10曲の音源に変更する。なお音源変更動作の態様に応じて、過去に提供された10曲に戻すことも可能である。
【0016】
また仮想音源選択手段は、音源決定手段を備えている。音源決定手段は、配置パターン選択手段が定位音源配置パターンを選択した後に、頭部動作判定手段が頭部の動きから予め定めた音源決定動作を検出すると、音源を決定する音源決定指令をミキシング手段に出力する。この音源決定動作は任意である。例えば、複数の仮想音源は、定位した(動かない)状態にあるため、受聴者は動かない複数の音源の中から好みの1つの音源を捜し、その1つの音源に向かうことにより、決定候補の音源を定めることができる。そして頭部を上下に振ってうなずく動作をすることを音源決定動作とすれば、その動作を頭部動作判定手段が判定することにより、その音源を決定することができる。音源が決定されると、ミキシング手段は決定された音源だけを再生するための音響信号を音響再生装置に提供する。
【0017】
頭部動作検出センサは、ヘッドフォンに設けられて、予め定めた基準方位と受聴者の顔の正面が複数の仮想音源が存在する仮想音源空間内に向いている指示方位との間の方位角度差を検出する方位角度差検出手段を備えているのが好ましい。またミキシング手段は、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして音響再生装置に出力するように構成されている。頭部動作検出センサが方位角度差検出手段を備えている場合、ミキシング手段を更に次の動作をするように構成すると、受聴者が顔を向けた位置にある仮想音源の音量を他の位置にある仮想音源の音量よりも大きくして、音源の選択を容易にすることができる。これを可能にするために、ミキシング手段は、方位角度差が0度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。そして方位角度差が0度以外のときには、基準方位を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位に位置する1以上の仮想音源の音量が、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくなるように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整(例えばステレオの場合に左右のスピーカから出る音の割合の調整)とを行ってミキシングした後出力するように構成することができる。
【0018】
また指示方位を中心にして所定の方位角度範囲を設定する角度範囲設定手段を更に設けることができる。この場合、ミキシング手段は、方位角度範囲が設定されると、方位角度範囲内にある1以上の仮想音源の音量を、方位角度範囲外の他の仮想音源の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行うように構成することができる。このようにすると、複数の仮想音源の数が多く、選択がしづらい場合でも、一つの仮想音源をはっきりと聴取した後に選択することが可能になる。
【0019】
なお角度範囲設定手段は、ヘッドフォンに設けられて操作者の手とヘッドフォンとの間の距離を検出する距離検出センサを備えて、距離検出センサが検出する距離が小さくなると方位角度範囲を狭くし、距離検出センサが検出する距離が大きくなると方位角度範囲を広くするように構成することができる。このような距離検出センサを設けると、操作者の手の動きで仮想音源の絞り込みを行うことができるので、角度範囲の設定を頭部の動きと無関係に行うことができ、音源の選択動作における誤動作の発生を有効に防止することができる。なお距離検出センサは、操作者の手に当てた赤外線の反射の角度の変化を検出して距離を検出する赤外線センサで構成するのが好ましい。赤外線センサを用いると、操作者の手の動きだけで、角度範囲の設定動作を検出することができるので、ヘッドフォンに角度範囲絞り込み用のスイッチ等を設ける必要がなくなって、ヘッドフォンの外形をコンパクトなものとすることが可能になる。
【0020】
また複数の定位音源配置パターンには、受聴者から見て第1の仰角位置にあり且つ第1の距離範囲内に所定の間隔をあけて方位方向に並ぶ複数の仮想音源から構成される第1の仮想音源列と、第1の仰角位置とは異なる第2の仰角位置にあり且つ第1の距離範囲よりも更に受聴者から離れた第2の距離範囲内に所定の間隔をあけて方位方向に並ぶ複数の仮想音源から構成される第2の仮想音源列とを少なくとも含む、多重の仮想音源列を備えた1以上の定位音源配置パターンを含めることができる。そして、このような多重の仮想音源列を備えた定位音源配置パターンを用いる場合には、仰角角度差検出手段を更に設ける。仰角角度差検出手段は、基準方位を定めるときのヘッドフォンの仰角を基準仰角として、基準仰角とヘッドフォンの仰角との差を仰角差として検出し、基準方位を定めたときの姿勢からヘッドフォンを上方に向けたときに現れる仰角差を正の仰角差とし且つヘッドフォンを下方に向けたときに現れる仰角差を負の仰角差として出力するように構成されている。この場合、ミキシング手段は、仰角角度差検出手段が正の仰角差を出力しているときには、指示方位に並ぶ複数の仮想音源の音量を、仰角差に比例して、ヘッドフォンから離れる仮想音源ほど大きくし、仰角角度差検出手段が負の仰角差を出力しているときには、指示方位に並ぶ複数の仮想音源の音量を、仰角差に比例して、ヘッドフォンから離れる仮想音源ほど小さくするように、指示方位に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行うように構成するのが好ましい。すなわちミキシング手段は、仰角角度差検出手段が正の仰角差を出力しているときには、指示方位に並ぶ複数の仮想音源の音量を、仰角差に比例して、ヘッドフォンから離れる仮想音源ほど大きくなるようにする。またミキシング手段は、仰角角度差検出手段が負の仰角差を出力しているときには、指示方位に並ぶ複数の仮想音源の音量を、仰角差に比例して、ヘッドフォンから離れる仮想音源ほど小さくなるようにする。このようにするとヘッドフォンの仰角を変えることによって、指示方位に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにすると、複数の仮想音源を複数の仮想音源列に分けて配置し、ヘッドフォンの仰角設定により、複数の仮想音源列から一つの仮想音源列に含まれる複数の仮想音源の音量を他の仮想音源列に含まれる複数の仮想音源の音量よりも大きくすることができる。このようにすると、音源の選択動作を行う際に、ヘッドフォンの仰角設定に基づいて仮想音源列の選択を行うことにより、候補の絞り込みを行うことができる。そしてその後、ヘッドフォンの方位角の設定により、一つの仮想音源列中の特定の音源を選択することができる。したがって狭い仮想空間範囲に多数の仮想音源を配置する場合でも、ヘッドフォンの仰角と方位角の設定動作によって、簡単に所望の音源を選択することができる。
【0021】
頭部動作検出センサに、どのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ及び仰角角度検出センサを1つのセンサで構成することができて、部品点数を少なくすることができる。
【発明の効果】
【0022】
本発明によれば、複数の定位音源配置パターンから所望のパターンを選択することができるので、仮想音源の数が多くなった場合や、仮想音源が近似しているために識別がしづらい場合でも、定位音源配置パターンを変更することで、音源の選択動作の自由度を高めて、音源の選択を容易にすることがができる機会を得ることができる利点が得られる。また公共の乗り物の中で音源の選択をする場合のように、予め定めた選択動作をすることが周囲の人に迷惑をかける問題を発生させる場合でも、定位音源配置パターンを変更することで、選択動作の範囲を限定することで、周囲に迷惑をかけることなく、音源の選択をすることも可能になるという利点が得られる。
【発明を実施するための最良の形態】
【0023】
以下図面を参照して本発明の実施の形態を詳細に説明する。図1は、本発明の音源選択装置の一例の構成の概略構成を示すブロック図である。図2は実際に使用するセンサ付きのヘッドフォン7を示す図である。本実施の形態の音源選択装置1は、受聴者の周囲に複数の仮想音源を作り出す音響再生装置3に、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段5を備えている。またミキシング装置1は、受聴者に装着される頭部動作検出センサ付きのヘッドフォン7と、演算ユニット9とを備えている。図2に示すように、ヘッドフォン7には、基準方位決定スイッチ13と、方位角度検出センサ15と、仰角角度検出センサ17と、絞り込み用赤外線センサ19とが少なくとも設けられている。また演算ユニット9には、前述のミキシング手段5に加えて、仰角角度差演算手段21と、方位角度差演算手段23と、角度範囲決定手段25と、音響信号チャンネル記憶手段27とが設けられている。ミキシング手段5は、チャンネル選択手段29とミキシング部31とから構成される。また演算ユニット9には、頭部動作判定手段33と、音源決定手段35と、音源記憶手段37と、音源種類変更手段39と、定位音源配置パターン記憶手段41と、配置パターン選択手段43とを備えている。なお本実施の形態では、頭部動作判定手段33と音源決定手段35とにより、仮想音源選択手段が構成され、ミキシング手段5と信号チャンネル記憶手段27と、頭部動作判定手段33と、音源記憶手段37と、音源種類変更手段39と、定位音源配置イパターン記憶手段41と、配置パターン選択手段43とにより仮想音源提供手段が構成されている。なお演算ユニット9の主要部はコンピュータによって実現される。
【0024】
基準方位決定スイッチ13は、ヘッドフォン7に装着されてミキシングを開始する際に受聴者によって操作されるスイッチである。例えば、音響再生装置3によって選択の対象となる複数の音楽が再生されているときに、基準方位決定スイッチ13が操作されると、そのときに方位角度検出センサ15が検出する方位角θが基準方位の基準方位角として方位角度差演算手段23の内部メモリに保存される。また基準方位決定スイッチ13が操作されると、そのときに仰角角度検出センサ17が検出する仰角φが、基準方位における基準仰角として、仰角角度差演算手段21の内部メモリに保存される。
【0025】
基準方位決定スイッチ13が操作された後は、所定のサンプリング周期で方位角度検出センサ15により検出された方位角度θは、方位角度差演算手段23に入力される。方位角度差演算手段23は、予め定めた基準方位の基準方位角とヘッドフォン7を装着した受聴者の頭部の方位を検出する方位角度検出センサ15の出力(検出方位角)との差すなわち方位角度差θdを演算する。本実施の形態では、基準方位決定スイッチ13、方位角度検出センサ15及び方位角度差演算手段23により、方位角度差検出手段24が構成されている。この方位角度差検出手段24は、音響再生装置3によって再生されて受聴者の目前に仮想で存在する複数の仮想音源によって構成される仮想音源空間内を指示するヘッドフォン7の指示方位と基準方位との間の方位角度差を検出する。
【0026】
また基準方位決定スイッチ13が操作された後は、所定のサンプリング周期で仰角角度検出センサ17により検出された仰角φは、仰角角度差演算手段21に入力される。仰角角度差演算手段21は、予め定めた基準方位の基準方位角とヘッドフォン7を装着した受聴者の頭部の方位を検出する仰角角度検出センサ17の出力(検出仰角)との差すなわち仰角差φdを演算する。本実施の形態では、基準方位決定スイッチ13、仰角角度検出センサ17及び仰角角度差演算手段21により、仰角角度差検出手段22が構成されている。この仰角角度差検出手段22は、最初に基準方位を定めるときのヘッドフォン7の仰角を基準仰角として、この基準仰角とヘッドフォン7の仰角との差を仰角差φdとして検出する。そしてし仰角角度差検出手段22は、基準方位を定めたときの姿勢からヘッドフォン7を上方に向けたときに現れる仰角差を正の仰角差とし、前記ヘッドフォン7を下方に向けたときに現れる仰角差を負の仰角差として出力する。
【0027】
仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θは、角度範囲決定手段25に入力される。角度範囲決定手段25は、ヘッドフォン7を装着した操作者が顔を向けている指示方位を中心にして所定の方位角度範囲を設定する。角度範囲決定手段25は、ヘッドフォン7に設けられた絞り込み用赤外線センサ19からの出力に応じて方位角度範囲を設定する。絞り込み用赤外線センサ19は、赤外線発光部と赤外線受光部とを備えており、赤外線発光部ら放射した赤外線が操作者の手に当たって反射したものを赤外線受光部で受光し、反射光の角度の変化に応じてヘッドフォン7と手との間の距離を測定する。本実施の形態では、角度範囲決定手段25と赤外線センサ19とから角度範囲設定手段26が構成されている。絞り込み用赤外線センサ19から積極的に絞り込み指令が入力されていない場合、角度範囲設定手段26は、仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θを、そのままミキシング手段5のチャンネル選択手段29に出力する。
【0028】
仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θが、そのまま入力された場合、ミキシング手段5は、後述する事項を実現するように、音響信号チャンネル記憶手段27の複数の音響信号チャンネルから供給される複数の音響信号(複数の仮想音源のための信号)の音量調整と位相調整とを行い、これら信号をミキシングして出力する。複数の音響信号は、音源記憶手段37に記憶されている多数の音響信号(曲)の中から、音源種類変更手段39により選択された複数の音源(曲)の信号である。例えば、音源記憶手段37に数百曲分の音響信号が記憶されているとした場合、音源種類変更手段39は一度に10曲分の音響信号を選択して音響信号チャンネル記憶手段27に選択した10曲分の音響信号を記憶させる。なお本実施の形態で使用可能な音源種類変更手段39は、音声認識機能を有して音声による変更指令の入力で曲の変更を行うものや、頭部動作判定手段33が頭部の動きから予め定めた音源変更動作を検出すると、後述する定位音源配置パターンで提供する複数の仮想音源の種類を変更するもののいずれであってもよい。すなわち音源種類変更手段39は、例えば10曲の音源(音響信号)を所定の配置パターンで提供しているときに、前の10曲の音源を別の10曲の音源に変更する機能を有するものであればどのようなものでもよい。なお実際には、本実施の形態の音源種類変更手段39は、音声認識機能を有している。そのためヘッドフォン7にマイクロフォンを装着し、そのマイクロフォンから音声で変更を指示すると、その音声を認識して、認識結果に基づいてジャンルの曲(音源)を選択して音響信号チャンネル記憶手段27に出力する。したがって本実施の形態では、音声によって音源の種類が変更可能である。
【0029】
仮想音源提供手段は、定位音源配置パターン記憶手段41と、配置パターン選択手段43と、ミキシング手段5、音響信号チャンネル記憶手段27と、音源記憶手段37と音源種類変更手段39とを有している。定位音源配置パターン記憶手段41は、ヘッドフォン7を装着している受聴者に対して提供する複数の仮想音源(選択対象となる複数の曲)を仮想空間に配置する場合に採用する複数の定位音源配置パターンを記憶している。複数の定位音源配置パターンとしては、例えば、図3(A)乃至(D)に示すような定位音源配置パターンが記憶されている。図3(A)乃至(D)において、中央に配置した大きな円が受聴者の位置を示しており、受聴者を示す円の半径を示す線が径方向外側に延びる方向が、受聴者の顔の正面が向く方向(指示方位)を示している。そして受聴者を示す円よりも小さい円が、仮想空間における仮想音源の位置を示している。そして複数の小さい円をつなぐ線は、配置パターンのイメージを判りやすくするために描いた仮想線である。図3(A)に示す配置パターンでは、受聴者を中心にして10個の仮想音源(曲)を受聴者の周囲の仮想区間に仮想円に沿って等間隔をあけて配置している。このような配置パターンでは、仮想音源の数が多くなっても、仮想音源間の距離をある程度長く確保できるので、仮想音源を区別して認識しやすい。しかしながら後に詳しく説明するように、頭部の動作で音源を選択する場合には、受聴者が動かさなければならない頭部の動作範囲が広くなる。 また図3(B)の配置パターンでも、図3(A)の配置パターンと同様に、受聴者を中心にして複数の仮想音源を配置している。図3(A)の配置パターンと異なるのは、図3(B)の配置パターンでは、二重の仮想円に沿って複数の仮想音源が分散して配置されている点である。図3(C)及び図3(D)の配置パターンは、受聴者の前方に二列の仮想線に沿って複数の仮想音源を分散して配置している。図3(C)及び図3(D)の配置パターンは、図3(A)及び図3(B)の配置パターンと比べて、いずれも受聴者が頭部を動かす範囲が狭くなる利点がある。また図3(C)の配置パターンと比べて、図3(D)の配置パターンの方が、受聴者と仮想音源との距離を短くできる利点がある。
【0030】
図3(B)乃至図3(D)の配置パターンを採用する場合には、前方の列に位置する仮想音源と後方の列に位置する仮想音源とを区別して選択することになる。そこで本実施の形態では、いずれの配置パターンでも、前方に位置する複数の仮想音源が並ぶ第1の仮想音源列を、受聴者から見て第1の仰角位置にあり且つ第1の距離範囲内に所定の間隔をあけて方位方向に並ぶ複数の仮想音源から構成する。また後方に位置する複数の仮想音源が並ぶ第2の仮想音源列を、第1の仰角位置とは異なる第2の仰角位置にあり且つ第1の距離範囲よりも更に受聴者から離れた第2の距離範囲内に所定の間隔をあけて方位方向に並ぶ複数の仮想音源から構成する。なお必要に応じて、さらに第3、第4の仮想音源列を形成して多重の仮想音源列を構成するようにしてもよい。なお多重の仮想音源列を形成する場合の複数の仮想音源の提供態様については後に詳しく説明する。
【0031】
また配置パターン選択手段43は、受聴者の選択動作に応じて複数の定位音源配置パターンから所望のパターンを選択し、配置パターンをミキシング手段5のミキシング部31に出力する。ミキシング部31は、選択された定位音源配置パターンで複数の仮想音源を受聴者の周囲に配置するようにミキシング動作を行う。受聴者の選択動作とは、本実施の形態の場合には、ヘッドフォン7に装着している基準方位決定スイッチ13を操作する動作を含み、またヘッドフォン7を装着した受聴者の頭部の動きに基づいて所定の選択をする場合には、受聴者の頭部の動作を含み、さらに複数種類の動作が組み合わされた複合動作も含むものである。
【0032】
本実施の形態では、主として受聴者の頭部の動作を利用して選択を行う。そこで頭部動作検出センサ(仰角角度検出センサ17、方位角度検出センサ15)と頭部動作判定手段33とを用いる。頭部動作判定手段33は、頭部動作検出センサの出力に基づいて頭部の動きを判定し、頭部の動きが予め定めた複数の動作の一つであることを検出すると、その検出結果に基づいて各種の指令を出力する。例えば、受聴者が頭部を360度回転する動作を検出したときは、仮想音源の種類を変更する音源変更指令を出力し、頭部を左右に横に傾ける動作を検出したときには、配置パターンを変更する配置パターン変更指令を出力し、頭部を前後に振る動作を検出したときには、決定指令を出力し、頭部を左右に振る動作を検出したときには、現在の再生動作中止してスタートに戻る指令を出力するように、頭部動作判定手段33を構成することができる。
【0033】
配置パターン選択手段43は、頭部動作判定手段33が頭部の動きから予め定めた配置パターン変更動作を検出すると、定位音源配置パターン記憶手段41から別の定位音源配置パターンを選択してミキシング手段5のミキシング部31に出力する。このようにすると頭部で所定の動作をすることにより、受聴者に提供する定位した複数の仮想音源の配置パターンを変更することが可能になる。したがって乗り物に乗っている際や、歩いている際のように、スイッチ操作をすることができない場合であっても、頭部で所定の動作することにより、簡単に配置パターンを変更することが可能になる。なお本実施の形態では、スタート時(起動時)においては、予め定めた一つの定位音源配置パターンで複数の仮想音源を提供し、その後配置パターン変更動作を検出したときに、一つの定位音源配置パターンから別の定位音源配置パターンに変更する。なお配置パターン変更動作による選択可能な複数の定位音源配置パターンの種類及び配置パターンの形状は任意である。本実施の形態では、予め定めた順番でパターンの変更を行う。
【0034】
また本実施の形態では、選択の対象となる音源の数が多い場合を考えて、音源種類変更手段39を設けている。音源種類変更手段39は、配置パターン選択手段43が配置パターンを選択した後に、頭部動作判定手段33が頭部の動きから予め定めた音源変更動作を検出すると、定位音源配置パターンで提供する複数の仮想音源の種類を変更する。具体的には、ミキシング手段5に提供する複数の音源(音響信号)を変更する。すなわち音源種類変更手段は、例えば10曲の音源(音響信号)を所定の配置パターンで提供しているときに、音源変更動作が検出されると、前の10曲の音源を別の10曲の音源に変更する。なお音源変更動作の態様に応じて、過去に提供された10曲に戻すことも可能である。
【0035】
また本実施の形態では、音源決定手段35を備えている。音源決定手段35は、配置パターン選択手段43が定位音源配置パターンを選択した後に、頭部動作判定手段33が頭部の動きから予め定めた音源決定動作を検出すると、音源を決定する音源決定指令をミキシング手段5に出力する。具体的にはチャンネル選択手段29に対して再生するチャンネルを指令し、チャンネル選択手段29は音源決定指令が入力されると選択された音源に対応するチャンネルだけを選択する。後に詳しく説明するが、音源決定動作は任意である。本実施の形態では、複数の仮想音源は、定位した(動かない)状態にあるため、受聴者は動かない複数の音源の中から好みの1つの音源を捜し、その1つの音源に向かうことにより、決定候補の音源を定める。そして頭部を上下に振ってうなずく動作をすることを音源決定動作として、その動作を頭部動作判定手段33が判定することにより、その音源を決定する。音源が決定されると、ミキシング手段5は決定された音源だけを再生するための音響信号を音響再生装置3に提供する。
【0036】
以下、本実施の形態の具体的な動作態様を詳しく説明する。まず例えば、仰角角度差演算手段21から入力される仰角差φdが0であると仮定して、方位角度差演算手段23の出力θがミキシング手段5に入力されている場合を考える。この場合において、方位角度差が0度のときには、チャンネル選択手段29は、複数の音響信号チャンネルから供給される複数の音響信号をすべてそのままミキシング部31へと供給する。ミキシング部31は、供給された複数の音響信号をそのままミキシングして音響再生装置3に出力する。
【0037】
また方位角度差が0度以外のときには、ミキシング手段5は、基準方位を基準にして複数の仮想音源の位置を固定した状態を作る。すなわちヘッドフォン7を装着した受聴者が、頭部を回転しても、仮想音源の位置が移動しないように、ヘッドフォンの左右の出力のバランスを調整して、常に複数の仮想音源が仮想空間内の同じ位置に存在するようにする。この固定技術の詳細は、特開平2-25900号公報等の複数の公知文献に記載されているので説明を省略する。またこの場合には、チャンネル選択手段29は、方位角度差θdによって特定される指示方位(受聴者が顔の正面を向けている方位)に位置する1以上の仮想音源を選択して、ミキシング部31に選択された仮想音源を指定する指令を出力する。ミキシング部31は、チャンネル選択手段29により選択された1以上の仮想音源の音量を、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくし、他の仮想音源の音量はそのまま維持してミキシングを行う。仮想音源の音量を大きくするためには、選択されたチャンネルの音響信号の増幅率を大きくすればよい。どの程度増幅率を大きくするかは任意に定めればよい。
【0038】
このようにすると、受聴者がヘッドフォン7を装着して、複数の仮想音源が存在する仮想音源空間内に顔の正面を向けると、方位角度差検出手段24が基準方位に対する指示方位との方位角度差を検出する。そしてミキシング手段5は、基準方位を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段5は、ヘッドフォン7を装着した受聴者が向いて指示した指示方位に位置する1以上の仮想音源の音量を、方位角度差が0度のときの該1以上の仮想音源の音量よりも大きくする。このようにすることにより、複数の仮想音源を移動させることなく、受聴者が向いた方位にある仮想音源即ち受聴者が聞きたい音源(曲)の音量を簡単に大きくすることが実現できる。したがって複雑なミキシング技術を知らない受聴者でも、顔(頭部)を動かすだけで、所定の仮想音源の音量を増加させて、仮想音源が提供する曲の内容を確認することができる。なお別の仮想音源の曲を聴きたい場合には、聞きたい仮想音源が存在する方向に首を回して、指示方位をを別の方向にすればよい。
【0039】
次に、方位角度差演算手段23から出力される方位角度差が変動しないと仮定して、角度範囲決定手段25に入力される仰角角度差演算手段21が出力する仰角差変動する場合を考える。仰角角度差検出手段22は、基準方位を定めたときの姿勢からヘッドフォン7を上方に向けたときに(受聴者の頭を上に向けたときに)現れる仰角差を正の仰角差+φとし且つヘッドフォン7を下方に向けたときに(受聴者の頭を下に向けたときに)現れる仰角差を負の仰角差-φとして出力する。この場合、チャンネル選択手段29は、前述と同様に、方位角度演算手段23によって演算された方位角度差θdにより定まる指定方位に並ぶ複数の仮想音源の音響信号チャンネルを選択する。そしてミキシング部31は、例えば仰角角度差検出手段22が正の仰角差+φを出力しているときには、指示方位に並ぶ複数の仮想音源の音量を、仰角差+φに比例して、ヘッドフォン7から離れる仮想音源ほど大きくなるようにする。またミキシング部31は、仰角角度差検出手段22が負の仰角差-φを出力しているときには、指示方位に並ぶ複数の仮想音源の音量を、仰角差に比例して、ヘッドフォン7から離れる仮想音源ほど小さくなるようにする。このようにするとヘッドフォン7の仰角を変えることによって、指示方位に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにすると、複数の仮想音源を図3(B)乃至図3(D)に示すような多重の仮想音源列を構成するように定位音源配置パターンを採用して複数の仮想音源を受聴者の周囲に配置する場合には、ヘッドフォン7の仰角設定により、複数の仮想音源列から一つの仮想音源列に含まれる複数の仮想音源の音量を他の仮想音源列に含まれる複数の仮想音源の音量よりも大きくすることができる。すなわち音源の選択動作を行う際に、ヘッドフォン7の仰角設定に基づいて仮想音源列の選択を行うことにより、候補の絞り込みを行うことができる。またその後、ヘッドフォン7の方位角の設定により、一つの仮想音源列中の特定の音源に受聴者の顔を向けることにより前述のように指示方位を定めて、その指示方位にある仮想音源の音量を大きくすることができる。したがって本実施の形態によれば、狭い仮想空間範囲に多数の仮想音源を配置する場合でも、ヘッドフォン7の仰角と方位角の設定動作によって、簡単に所望の音源を選択することができる。
【0040】
通常は、仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θの両方が角度範囲決定手段25に入力されるため、これら二つの出力によって指示方位に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりする。
【0041】
角度範囲決定手段25に絞り込み用赤外線センサ19から角度範囲を設定する指令が入力されると、角度範囲決定手段25は、仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θを基準にして角度範囲の絞り込みを行う。そしてミキシング手段5は、設定された方位角度範囲内にある1以上の仮想音源の音量を、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくする。また同時に、ミキシング手段5は、方位角度範囲外の他の仮想音源の音量を、方位角度範囲内にある1以上の仮想音源の音量よりも小さくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。
【0042】
角度範囲決定手段25は、絞り込み用赤外線センサ19に受聴者が手を近づける動作をする(絞り込み方向への操作をする)と、方位角度範囲を小さくし、絞り込み用赤外線センサ19から手を離す動作をする(絞り込みを解除する方向への操作をする)と、方位角度範囲を大きくするように構成されている。例えば、絞り込み用赤外線センサ19が検出するヘッドフォン7と受聴者の手との距離に比例して、例えば方位角差θ±αのα値を設定する。赤外線センサ19が手の存在を検出していないときには、特にαは設定されず、指定方位を中心にして全ての仮想音源からの音が聞ける状態になっている。そして赤外線センサ19が手の存在を検知すると、全ての仮想音源からの音が聞ける状態から、距離に比例して(逆比例の関係で)αの値が変わるように設定が変わる。その結果、この角度範囲内に入る仮想音源の音響信号の音量だけを大きし、この角度範囲外の仮想音源の音響信号の音量を小さくする。
【0043】
赤外線センサ19が検出する距離が短くなるほど、αの値が小さくなって方位角差θ±α及び仰角差φdで決まる絞り込まれた一領域の位置にある仮想音源の音量だけが大きくなり、その周囲の仮想音源の音量は小さくなる。このような赤外線センサ19を設けると、手を赤外線センサ19に近づける動作をするだけで、角度範囲を絞り込んで、特定の仮想音源の音量だけを簡単に調整することができる。
【0044】
図2には、絞り込み用赤外線センサ19、方位角度検出センサ15及び仰角角度検出センサ17が取りつけられている部分に符号を付してある。このようになヘッドフォン7を利用すると、受聴者の頭の回転と頭の仰角によって、仮想音源の選択または指定ができるため、受聴者が聞きたいと思う仮想音源に向かって顔を向けるだけで、所望の仮想音源の音量を上げることができる。またヘッドフォン7に絞り込み用赤外線センサ19を設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作を手ですることにより、音量を上げることができる。したがって自然な動作で音量調整をすることができる。
【0045】
なお方位角度検出センサ15及び仰角角度検出センサ17としてどのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ15及び仰角角度検出センサ17を1つのセンサで構成することができる。
【0046】
次に上記実施の形態をパーソナル・コンピュータを用いて具体的に実現する場合に用いるプログラムについて説明する。なお以下の説明では、方位角度検出センサ15及び仰角角度検出センサ17を電子コンパスにより構成している。電子コンパスによって構成される方位角度検出センサ15と仰角角度検出センサ17の出力(アナログ信号)は、A/DコンバータでA/D変換し、コンピュータに入力する。コンピュータは、仮想音源の位置を算出し、音量、位相を決定し、それらをミキシングして出力する。以下に説明する具体例では、複数の仮想音源の位置と受聴者の頭の正面との角度差(方位角の差)を電子コンパスで測定し、その角度差によって、各音源の音量、位相(左右から出る音の割合)を変化させる。また受聴者の頭の仰角を電子コンパスで測定し、仰角が大きいほど、遠くに配置した音源のミキシングの音量を大きく、近くに配置した音源のミキシングの音量を小さくする。そしてヘッドフォン7に搭載されている赤外線センサ19により手とヘッドフォン7との距離を測定し、測定した距離に応じて指向性を変化させる。
【0047】
本実施の形態は、実際にはコンピュータを利用して実現する。以下コンピュータを利用して本実施の形態を実現する場合のより具体的な実施例ついて説明する。具体的には、方位角と、仰角を同時に測定することができる電子コンパスを使用する。電子コンパスで測定した方位角θ、仰角φの値は、A/Dコンバータで0から127の数値に置き換えられてコンピュータに取り込まれる。以下の説明では、角度の単位はラジアンを用い、-π≦θ<π、-π≦φ<πとして説明する。ただし以下の説明では、仰角φ、方位角θは受聴者が初期状態で向いている方向を0とするものである。したがって以下の説明では、仰角φ及び方位角θは、前述の基準方位との仰角差φd及び方位角度差θdと一致する。また絞り込みに用いられる絞り込み用赤外線センサ19の出力もA/Dコンバータで0から127の数値に置き換えられてコンピュータに取り込まれる。コンピュータ上では、ヘッドフォンと手との距離の長さを0から1までの値に正規化して用いる。
【0049】
また複数の音源としては、複数の楽曲をそれぞれ録音して得た複数の音響チャンネルの音響信号を用いるものとする。そして事前に、各音源の信号レベルは同じレベルに調節しておくものとする。
【0050】
最初に音源の選択方法とその際の音源の絞り込みについて説明する。以下の説明では、図4に示すように、電子コンパスから得られる方位角θを-π≦θ<πとして説明する。また仰角φを-π≦φ<πとし、絞り込み用赤外線センサ19と手との間の距離δを0≦δ≦1(0のとき:手の存在を検出していない状態、1のとき:手が近くに存在している状態)として説明する。角度の単位はラジアンを用い、仰角、方位角はユーザが初期状態で向いている方向を0とする。距離センサは、0cmから3cmの距離を検出するがδはそれを0から1までの値に正規化したもので、距離が0cmのときに0、距離が3cmまたはそれより長いときに1、0cmと3cmの間のときは0と1の間の値を出力する。例えば図5(a)に示す定位音源配置パターンで10曲分の仮想音源(楽曲)Snを,仮想空間上に配置する。以下の説明では、各音源の信号をSnとする。nは何番目の信号であることを示す。このとき,受聴者から各仮想音源1~10までの距離をl、方位角をθとする。但しθの単位はラジアン、l(0≦l≦1)は一番遠くに配置した仮想音源(楽曲)までの距離を1として正規化した値である。まず仰角φに応じて変化させる各仮想音源Snの増幅率(減衰率)hφを以下の(1)式に基づいて算出する。ここでは,上を向けばより遠くに配置した楽曲の増幅率が大きくなり、下を向けば近くに配置した曲の増幅率が大きくなるよう次式を用いることにした。
【数1】
JP0004837512B2_000002t.gif

【0052】
但し、
【数2】
JP0004837512B2_000003t.gif

【0053】
mは音源の総数である。
【0054】
各楽曲を図5(a)のように配置しているとすると、仰角φ=0のとき、各音源の増幅率は図5(b)のようになる。一方仰角φ<0のときは図5(c)のようになり、近く(遠く)に配置した音源の増幅率が増加(減少)する。図5(b)及び(c)は、理解を容易にするために増幅率を音楽用ミキサーのように表示したものである。図5(b)及び(c)の縦のスライドバーは左から順に1番から10番の音源に対応しており,スライダーが上にあるほど、増幅率が高いことを表している。
【0055】
次に、距離δに応じて変化させる各音源の増幅率hφを以下の(2)式で算出する。
【0056】
|a|はaの絶対値、θ´(-π≦θ´<π)は、θとθとの作る角即ち角度差である。
【数3】
JP0004837512B2_000004t.gif

【0057】
たとえば,θ=π/3,距離δ=0.5の場合には、図6のように,そのとき受聴者が向いている方向の後ろ半分の領域に配置した仮想音源で増幅率hφ=0となり、前方半分に配置した仮想音源で増幅率hφ=1となる。これにより不要な仮想音源の音を除外することができる.
次に電子コンパスから得られる方位角θに応じて変化させる各音源の増幅率hθを、下記の式(3)に示す式で算出する。
【数4】
JP0004837512B2_000005t.gif

【0058】
但し
【数5】
JP0004837512B2_000006t.gif

【0059】
増幅率hθは受聴者が向いている方向に配置されている音源では大きな値を、そうでない音源では小さな値を示す関数である。この場合に、定位音源配置パターンとして、図3(a)に示す配置パターンを選択して複数の仮想音源を配置しているものとすると、受聴者が左を向いているときの増幅率は図7(a)のようになり,正面を向いているときの増幅率は図7(b)のようになり、右を向いているときの増幅率は図7(c)のようになる。α(0≦α≦1)は調節可能なパラメータで、耳を澄ますポーズをして耳に手を近づけて距離δ<1となった場合の増幅率の変化を設定する。α=0の場合には、耳を澄ますポーズをしても各音源の増幅率に変化はないが、α>0の場合には、耳に手が近くなるに応じて増幅率が減少する。このとき受聴者が向いている方向の音源の増幅率の減少よりも、向いていない方向の音源の増幅率の減少のほうが大きいため、正面の音が相対的に大きな音で聞こえるようになる。各音源を図3(a)のように配置しているとすると、δ=0のときの増幅率は図8(a)のようになる。耳を澄ますポーズをして耳に手を近づけてδ<1となった場合の増幅率は図8(b)のようになり,正面の音源がより明瞭に聴こえるようになっている。
【0060】
次に電子コンパスから得られる方位角θに応じて、複数の仮想音源の定位(左右の増幅率の比率)p(0≦pα≦1)を下記(4)式を用いて算出する。
【数6】
JP0004837512B2_000007t.gif

【0061】
が0のとき,その音源の右と左の増幅率の比率は0:1、pが0.5のとき、増幅率の比率は1:1とする。そしてβは、調節可能なパラメータで、β=1の場合には,耳を澄ますポーズをして耳に手を近づけても定位に変化はないが、β>0の場合には耳に手を近づけるにしたがって、そのとき正面にある音源以外の音源の定位が後ろに移動していく。たとえば、右前方に定位している音源は右後方に定位が移動する。このようにすることで、正面の音源をより明瞭に聞くことが可能になる。
【0062】
そしてミキシング手段5では、すべての仮想音源の信号を加算してヘッドフォン7から出力する。その際に上記で求めた角増幅率を掛け合わせる。下記の式(5)はヘッドフォンの右スピーカの出力を示しており、下記の式(6)はヘッドフォンの左スピーカの出力を示している。
【数7】
JP0004837512B2_000008t.gif

【0063】
図10及び図11は、コンピュータにインストールされて本発明の音源選択装置を実現するプログラムのアルゴリズムを示すフローチャートである。図10のフローチャートにおける、ステップST1の音源の配置は、音響再生装置3で音響信号を再生して受聴者の前または周囲に音源を配置することを意味する。この例では、ステップST1において、予め定めた最初の定位音源配置パターンに従って複数の仮想音源を受聴者に対して提供する。
【0064】
図10のステップST2では、基準方位決定スイッチ13が押されたか否かが判定される。そして基準方位決定スイッチ13が押されている場合には、ステップST3で、ヘッドフォン7が向いている方位(ヘッドフォンを装着した受聴者が向いている方位)が、正面と設定される(即ち基準方位及び基準仰角とが決定される)。初期段階では、必ずステップST3が実行される。なお途中で基準方位を変更することも可能である。
【0065】
次にステップST4で、ヘッドフォン7により指示している方位におけるヘッドフォン7の仰角が変わっているか否かが検出される。仰角が変わっていれば、ステップST5へと進む。ステップST5では、基準方位を定めるときのヘッドフォンの仰角を基準仰角として、基準仰角とヘッドフォンの仰角との差を仰角差として検出する。この場合、基準方位を定めたときの姿勢からヘッドフォンを上方に向けたときに現れる仰角差を正の仰角差とし且つヘッドフォンを下方に向けたときに現れる仰角差を負の仰角差とする。そしてステップST5では仰角による各音源の増幅率hnφが算出される。具体的には、電子コンパスから得られる仰角φに応じて、各音源nの増幅率即ち増幅比(減衰比)hnφ(0≦hnφ≦1)を算出する。
【0066】
次にステップST6では、ヘッドフォン7を装着した受聴者が向いている方位が変更されたか否かを判定する。そして方位角が変化している場合にはステップST8へと進み、方位角が変化していない場合にはステップST7へと進む。ステップST7では、距離検出センサとしての絞り込み用赤外線センサ19が手の存在を検出して絞り込み操作(動作)が行われたか否かを判定する。ステップST7では距離検出センサとしての赤外線センサ19が絞り込み操作(動作)を検出しているいか否かをその出力で判定している。
【0067】
ステップST7で、絞り込み量即ち距離の調整変更(距離の長さの変更)が行われると、距離δが測定される。ステップST8では、これを受けて、距離検出センサとしての赤外線センサから得られる、距離δに応じて各音源の前述の増幅率hnδを算出する。
【0068】
次にステップST9へと進む。ステップST9では、電子コンパスから得られる指定方位θに応じて各音源の増幅率hnθを算出する。増幅率hnθは受聴者が向いている指定方位に配置されている音源では大きな値を、そうでない方向に配置されている音源では小さな値を示す関数である。
【0069】
次にステップST10へと進み各音源との方位に応じて左右の音量の音量比Pを算出する。各仮想音源の音量比を定めることにより位相調整がなされて、受聴者が頭を回転しても、その回転と一緒に仮想音源が移動することはなくなる。
【0070】
次にステップST11に進んで、ヘッドフォンの左右の音量を算出する。すなわちすべての仮想音源の信号を加算しヘッドフォンから出力する。その際に、ステップST5、ステップST8及びステップST9で求めた各増幅率を乗算する。上記計算は、ミキシング手段5によって実行される。図9は、ミキシング手段5で実行している増幅率の乗算イメージを図で示している。図9において3段階に並ぶ3つの「×h1」は、仮想音源1の上記各ステップST5、ステップST8及びステップST9で求めた増幅率である。そして最終段の「×」及び「×1-」は、上記ステップ10における左右の音量比をヘッドフォンの左右の出力に乗算することを意味している。そして最後の「Σ」がすべての仮想音源の音響信号に増幅率及び音量比を乗算した乗算信号を加算してすることを意味している。
【0071】
次に図11に示すステップST12へと進む。ステップST12からステップST22までが、複数の仮想音源から1つの音源を選択する選択ステップを構成している。ステップST12では、音声認識機能を有する音源種類変更手段39が音声認識機能により、定位音源配置パターンに配置する複数の音源の種類の変更を認識したか否かが判定される。音声認識により「ロック」や「ジャズ」のようにジャンルが認識された場合には、ステップST13で認識結果に従って検索した10曲の音源が所定の配置パターンで受聴者に対して提供される。なお受聴者の首の動作により、ジャンルの選択をするようにしてもよい。例えば、首を180度回転してまた基に戻す動作等でジャンルの選択変更をするようにしてもよいのは勿論である。音源種類変更手段39の音声認識機能により、現在の10曲には希望する曲がない場合に、別の10曲に種類を変更する旨を指令する音声信号を入力するようにしてもよい。
【0072】
しかしながら本実施の形態では、音源種類変更手段39の音声認識機能を使用しないで、受聴者の頭部の動作により提供されている10曲(10の音源の種類)を変更する。そこで本実施の形態では、次の10曲を提供する(音源の種類を変更する)場合には、受聴者が「首を360度一回転回する」動作し、この動作をステップST14で判定する。このステップST14の判定は、頭部動作判定手段33によって実行されることになる。ステップST14で「首を360度一回転回する」動作が検出されたときには、ステップST15で、今の検索の次の10曲を定位音源配置パターンに提供する。もしこの後で、受聴者が首を左右に振る動作を行った場合には、ステップST16でこれを判定し、ステップST17で前の10曲に戻る。
【0073】
もし現在選択している定位音源配置パターンでは、10曲の音源の演奏が聞きずらい場合には、定位音源配置パターンを変更することが可能である。定位音源配置パターンの変更は、首を左右に傾ける動作をすることにより実現できる。そこでステップST18では、このパターン変更動作が行われたか否かの判定が行われる。そしてこのパターン変更動作が検出されるとステップST19へと進んで定位音源配置パターン変更が行われる。このパターン変更は、例えば、予め準備されている定位音源配置パターンに順番をつけておき、パターン変更動作が1回行われると、順番に定位音源配置パターンが変更される。この例では、変更されたパターンが気に入らない場合には、特に動作をしないことにより、ステップST20からステップST1へと戻り、再度ステップST18でパターン変更動作をすることにより、次のパターンの変更をすることができる。なおステップST20では、受聴者が、うなずく動作(頭部を前方で上下に振る動作)をすることによりパターンの決定及び音源(曲)の決定を指令する決定動作をしたか否かの判定が一緒に行われる。すなわちステップST20で、受聴者が決定動作をすると、定位音源配置パターンの選択が完了するのと同時に、受聴者の正面にある曲(音源)を選択したことが決定される。そのため決定動作が検出されると、ステップST21へと進み受聴者の正面にある曲(音源)だけで再生されるようになる。もしその再生されている曲が気に入らなければ、首を左右に振る動作(楽曲変更動作)をすればよい。この動作がステップST22で判定されると、ステップST1へと戻る。ステップST1へ戻った場合には、ステップST19で決定された定位音源配置パターンにより仮想音源の提供が実行される。特に首を左右に振る動作をしなければ、選択した曲(音源)の再生が継続される。
【0074】
なお図11には、図12に示した受聴者の頭部または首の動作(A)乃至(D)の判定をする判定ステップに(A)乃至(D)の記号を付してある。
【図面の簡単な説明】
【0075】
【図1】本発明の音源選択装置を実施するミキシング装置の一例の構成の概略構成を示すブロック図である。
【図2】実際に使用するセンサ付きのヘッドフォンを示す図である。
【図3】(A)乃至(D)は定位音源配置パターンの異なる例を示す図である。
【図4】受聴者の頭部と各角度との関係を示す図である。
【図5】(A)乃至(C)は、定位音源配置パターンの一例と各音源の増幅率の関係をミシング装置の増幅率決定レバーに置き換えて擬似化した図である。
【図6】ある定位音源配置パターンの例と増幅率の関係を示す図である。
【図7】(A)乃至(C)は、各音源の増幅率の関係をミシング装置の増幅率決定レバーに置き換えて擬似化した図である。
【図8】(A)及び(B)は、各音源の増幅率の関係をミシング装置の増幅率決定レバーに置き換えて擬似化した図である。
【図9】ミキシング手段で実行している増幅率の乗算イメージを示す図である。
【図10】本実施の形態の音源選択装置をコンピュータを用いて実現する場合に用いるプログラムのアルゴリズムの一部を示すフローチャート図である。
【図11】本実施の形態の音源選択装置をコンピュータを用いて実現する場合に用いるプログラムのアルゴリズムを残部を示すフローチャート図である。
【図12】頭部の動作態様を説明するために用いる図である。
【符号の説明】
【0076】
1 ミキシング装置
3 音響再生装置
5 ミキシング手段
7 ヘッドフォン
9 演算ユニット
13 基準方位決定スイッチ
15 方位角度検出センサ
17 仰角角度検出センサ
19 絞り込み用赤外線センサ
21 仰角角度差演算手段
22 仰角角度差検出手段
23 方位角度差演算手段
24 方位角度差検出手段
25 角度範囲決定手段
26 角度範囲設定手段
27 音響信号チャンネル記憶手段
29 チャンネル選択手段
31 ミキシング部
33 頭部動作判定手段
35 音源決定手段
37 音源記憶手段
39 音源種類変更手段
41 定位音源配置パターン記憶手段
43 配置パターン選択手段
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11