TOP > 国内特許検索 > ミキシング装置及び方法並びにプログラム > 明細書

明細書 :ミキシング装置及び方法並びにプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4295798号 (P4295798)
登録日 平成21年4月17日(2009.4.17)
発行日 平成21年7月15日(2009.7.15)
発明の名称または考案の名称 ミキシング装置及び方法並びにプログラム
国際特許分類 H04R   3/00        (2006.01)
H04S   1/00        (2006.01)
H04S   7/00        (2006.01)
FI H04R 3/00 320
H04S 1/00 L
H04S 7/00 F
請求項の数または発明の数 4
全頁数 26
出願番号 特願2007-522295 (P2007-522295)
出願日 平成18年6月20日(2006.6.20)
国際出願番号 PCT/JP2006/312332
国際公開番号 WO2006/137400
国際公開日 平成18年12月28日(2006.12.28)
審査請求日 平成20年10月23日(2008.10.23)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】浜中 雅俊
【氏名】池月 雄哉
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100091443、【弁理士】、【氏名又は名称】西浦 ▲嗣▼晴
審査官 【審査官】志摩 兆一郎
参考文献・文献 特開2001-276197(JP,A)
特開平09-090963(JP,A)
特開平07-336793(JP,A)
特開2003-143683(JP,A)
特開平10-172390(JP,A)
特開昭50-023603(JP,A)
調査した分野 H04R 3/00
H04S 1/00
H04S 7/00
特許請求の範囲 【請求項1】
受聴者の周囲に複数の仮想音源を作り出す音響再生装置に対して、前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段を有するミキシング装置であって、
前記受聴者が頭に装着するヘッドフォンをユニット本体として構成されて前記受聴者により操作されて、前記複数の仮想音源が存在する仮想音源空間を指示する操作ユニットと、
前記操作ユニットに設けられて、予め定めた基準方位角と前記受聴者が前記操作ユニットを用いて前記複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角度差を検出する方位角度差検出手段と、
前記指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段と、
前記基準方位角を定めるときの前記操作ユニットの仰角を基準仰角として、前記基準仰角と前記操作ユニットの仰角との差を仰角角度差として検出し、前記基準方位角を定めたときの姿勢から前記操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ前記操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する仰角角度差検出手段とを具備し、
前記ヘッドフォンに前記方位角度差検出手段に用いられる方位角度検出センサと、前記仰角角度差検出手段に用いられる仰角角度検出センサと、前記角度範囲選定手段の操作部とが少なくとも実装されており、
前記角度範囲設定手段は、前記ヘッドフォンに設けた前記操作部としての絞り込みスイッチが絞り込み方向に操作されると、前記方位角度範囲を小さくし、前記絞り込みスイッチが開放方向に操作されると、前記方位角度範囲を大きくするように構成され、
前記複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして前記音響再生装置に出力する前記ミキシング手段は、
前記方位角度差が0度のときには、前記複数の音響信号チャンネルから供給される前記複数の音響信号をそのままミキシングして出力し、
前記方位角度差が0度以外のときには、前記基準方位角を基準にして前記複数の仮想音源の位置を固定した状態を作り、且つ前記指示方位角の方向に位置する1以上の前記仮想音源の音量が、前記方位角度差が0度のときの前記1以上の仮想音源の音量よりも大きくなるように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整と位相調整とを行ってミキシングした後出力し、
前記方位角度範囲が設定されると、前記方位角度範囲内にある1以上の前記仮想音源の音量を、前記方位角度差が0度のときの前記1以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外の他の前記仮想音源の音量を、前記方位角度範囲内にある前記1以上の仮想音源の音量よりも小さくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行い、
前記仰角角度差検出手段が前記正の仰角角度差を出力しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して大きくし、前記仰角角度差検出手段が前記負の仰角角度差を出力しているときには、前記指示方位角の方向に並ぶ複数の前記仮想音源の音量を、前記仰角角度差に比例して小さくするように、前記指示方位角の方向に並ぶ複数の前記仮想音源に対応する前記複数の音響信号チャンネルの前記複数の音響信号の音量調整を行うように構成されているミキシング装置。
【請求項2】
前記ミキシング手段は、前記方位角度範囲が設定されると、前記指示方位角と前記複数の仮想音源の方位角との方位角度差を求め、前記方位角度差から前記方位角度範囲内にある1以上の前記仮想音源に対応する1以上の前記音響信号チャンネルを選択するチャンネル選択手段と、
前記チャンネル選択手段により選択された前記1以上の音響信号チャンネルの前記1以上の音響信号の音量を選択されていない他の音響信号チャンネルの前記音響信号の音量よりも大きくするように、前記複数の音響信号チャンネルから供給される前記複数の音響信号の音量調整を行うミキシング部とからなることを特徴とする請求項1に記載のミキシング装置。
【請求項3】
前記絞り込みスイッチは、前記ヘッドフォンの左右のスピーカの少なくとも一方の外側に装着され、前記受聴者の手を前記スピーカに近づける動きをすることにより前記絞り込み方向への操作が行われ、前記受聴者の手を前記スピーカから離すことにより自動的に前記開放方向への操作が行われる構造を有している請求項1に記載のミキシング装置。
【請求項4】
前記方位角度検出センサ及び前記仰角角度検出センサが、電子コンパスによって構成されている請求項1に記載のミキシング装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、音楽のミキシング技術に関し、特に受聴者がミキシングを変更することを可能にするミキシング装置及び方法並びにプログラムに関するものである。
【背景技術】
【0002】
人間は2つの耳を使って、両耳間の音量差、両耳間の時間差、周波数特性の変化など複数の要素をもとに音源の位置を知る能力を持っている。通常、コンパクトディスクなどに録音されている音楽は、音楽用ミキサーで各音源(楽器など)の音量と定位(両耳の音量比率)を調節して、複数の音源がうまく分離し、聴きやすいようにミックスダウンされている。ミックスダウン後の音楽を再生した場合、複数の音源の音量と定位は固定されており、ユーザがある特定の音源の音量を大きくしたいと感じた場合でも、ユーザにより調整することはできなかった。たとえばクラッシック曲で、ユーザが全体の音量を変化させずに第一バイオリンの音量を上げたいと感じた場合でも、その実現は困難であった。
【0003】
ユーザが、音楽用ミキサーを手動で操作しながら音楽を聴くことができれば、対象とする音源の、音量および定位を変更することは可能であったが、実際には音楽用ミキサーの操作は複雑でアマチュアのユーザが直感的に操作することは困難であった。ちなみに特許第3633459号公報[特許文献1]に示されるようなミキシング録音再生装置は、操作が難しく、一般のユーザ(受聴者)が、自分の聞きたいパートの音量を上げたり、自分の聞きたくないパートの音量を下げることを演奏を聞きながら簡単に行うことができない。
【0004】
たとえば、バイオリンのソロが始まった瞬間に、バイオリンの音量を上げ、定位を中央にもってきて(左右の比率を1:1にして)、さらにその他の楽器の音量を少し下げてその定位を調節するなど、一連の動作を瞬時に行うことは困難である。
【0005】
また特開2000-69600号公報[特許文献2]に示された音楽的臨場感形成装置の制御方法では、音源を空間上に配置し、音源や聴取者の位置を変更できる。しかしながらこの技術では、音量をコントロールするために音源若しくは聴取者の位置を変化させる必要があり、一般のユーザ(受聴者)が自分の聴きたいパートを近くに配置して音量を上げたり、自分の聴きたくないパートを遠くに配置して音量を下げたりする操作を、演奏を聴きながら行うことが困難である。
【0006】
また従来、ヘッドフォンにジャイロセンサ(加速度センサ)を搭載した製品もあったが、それらは、頭の傾きに合わせて音の方向を微調整することにより、頭を振ることによる音場の乱れ(頭をある方向に動かすと、音源も同じ方向に動いたように感じること)を防ぐことが目的であり、センサから得られる情報を用いて各音源の音量、定位を変更しミキシングを行う本発明とは本質的に異なる。例えば、特開平2-35900号公報[特許文献3]等には振動ジャイロを受聴者が装着するヘッドフォンに装着して、受聴者の頭部の回転を検出し、検出した回転に伴って左右の音量を調整することにより、受聴者の頭部が回転しても音源が空間の一点に固定されるようにして、臨場感を増大させる技術が示されている。また特開平8-9490号公報[特許文献4]等にはヘッドフォン本体に取りつけたマイクロフォンにより頭部の回転角度を検出する技術が開示されている。さらに特開平9-205700号公報[特許文献5]等にはヘッドフォンの頭の向きを検出するセンサをヘッドフォンに搭載する技術が開示されている。さらに特開平8-237790号公報[特許文献6]には、頭部の回転だけでなく、受聴者の向きや位置の情報を合わせて検出する技術が開示されている。
【0007】
その他、左右の増幅率を独立に調節することの可能がアンプや、中央に定位する音を消す装置(ボーカルキャンセルマシン)では、ミックスダウン後の音楽の音量、定位を部分的に変更することはできても、ある特定の音源の音量、定位を自由に調節するという目的に使用することは困難であった。

【特許文献1】特許第3633459号公報
【特許文献2】特開2000-69600号公報
【特許文献3】特開平2-35900号公報
【特許文献4】特開平8-9490号公報
【特許文献5】特開平9-205700号公報
【特許文献6】特開平8-237790号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
従来技術では、受聴者が聴きたい音源の音量をリアルタイムで大きくしたり、不要な音源の音量を小さくしたり、また、その音量、定位の変化を連続的に行うことは困難であった。すなわち従来の技術では、複数の仮想の音源の位置を固定した状態で、受聴者が指定する音源(パート)の音量を簡単な操作で上げたり下げたりするミキシングを行うことができなかった。
【0009】
本発明の具体的な目的は、複数の仮想の音源の位置を固定した状態で、受聴者が指定する音源の音量を簡単に上げたり下げたりすることができるミキシング装置及び方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明のミキシング装置は、受聴者の周囲に複数の仮想音源を作り出す音響再生装置に、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段を有する。また本発明のミキシング装置は、受聴者により操作される操作ユニットと、操作ユニットに設けられる方位角度差検出手段とを備えている。方位角角度差検出手段は、予め定めた基準方位角(reference azimuth angle)と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指すことにより定まる指示方位角との間の方位角角度差(azimuth angle difference)を検出する。そしてミキシング手段は、後述する事項を実現するように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整(例えばステレオ・オーディオ音響装置の場合に左右のスピーカから出る音の割合の調整)とを行い、これら信号をミキシングして出力する。まずミキシング手段は、方位角度差が0度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。またミキシング手段は、方位角度差が0度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する1以上の仮想音源の音量が、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくなるようにする。
【0011】
本発明によれば、受聴者が操作ユニットを用いて、複数の仮想音源が存在する仮想音源空間内を指示すると、方位角度差検出手段が基準方位角に対する指示方位角との方位角度差を検出する。ミキシング手段は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段は、操作ユニットを用いて指示した指示方位角の方向に位置する1以上の仮想音源の音量を、方位角度差が0度のときの該1以上の仮想音源の音量よりも大きくする。このようにすることにより、複数の仮想音源を移動させることなく、受聴者が指示した方位にある仮想音源即ち受聴者が聞きたいパート(楽器)の音量を簡単に大きくすることができる。したがって、複雑なミキシング技術を知らない受聴者でも、操作ユニットで方向を指し示すだけで、所定のパートの音量を増減することができる。音量を下げる場合には、操作ユニットで指し示す指示方位角を別の方向(例えば基準方位角)にすればよい。
【0012】
また操作ユニットが指している指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定手段を更に設けてもよい。この場合には、ミキシング手段を、方位角度範囲が設定されると、方位角度範囲内にある1以上の仮想音源の音量を、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくし、しかも前記方位角度範囲外にある他の仮想音源の音量を、方位角度範囲内にある1以上の仮想音源の音量よりも小さくするように(音量を0にする場合を含む)、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行うように構成する。このようにすると、所定の角度範囲に入る特定の仮想音源の音量だけを増大させて、その周囲の他の仮想音源の音量を小さくすることにより、明瞭に所望の仮想音源の音を聞くことができる。
【0013】
ミキシング手段は、チャンネル選択手段とミキシング部とから構成することができる。チャンネル選択手段は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方位角との方位角度差を求める。そして方位角角度差から方位角度範囲内にある1以上の仮想音源に対応する1以上の音響信号チャンネルを、チャンネル選択手段は選択する。またミキシング部は、チャンネル選択手段により選択された1以上の音響信号チャンネルの1以上の音響信号の音量を、選択されていない他の音響信号チャンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。ミキシング手段をこのように構成すると、指示方位角を基準にして、方位角度範囲内にある1以上の仮想音源を簡単に選択することができる。
【0014】
なお角度範囲設定手段は、操作ユニットに設けた絞り込みスイッチを備えているのが好ましい。この場合、角度範囲設定手段は、絞り込みスイッチが絞り込み方向に操作されると、方位角度範囲を一緒に小さくし、絞り込みスイッチが開放方向に操作されると、方位角度範囲を大きくするように構成するのが好ましい。このような絞り込みスイッチを設けると、絞り込みスイッチの操作だけで、角度範囲を絞り込んで、特定の仮想音源の音量だけを簡単に調整することができる。なおこの絞り込みスイッチは、ばね機構などにより自動的に開放方向に操作される構造を有していてもよい。このようなばね機構が設けられていると、絞り込みスイッチの操作が簡単になる。
【0015】
また基準方位角を定めるときの操作ユニットの仰角を基準仰角(reference elevation angle)として、基準仰角と操作ユニットの仰角(elevation angle)との差を仰角角度差として検出する仰角角度差検出手段を設けることができる。この仰角角度差検出手段は、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する。このような仰角角度差検出手段を設けた場合には、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行って、次のことを達成できるようにミキシング手段を構成する。すなわちミキシング手段は、仰角角度差検出手段が正の仰角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。すなわち、操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量(増幅率)が大きくなる。またミキシング手段は、仰角角度差検出手段が負の仰角角度差を出力しているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくする。すなわち、操作ユニットと仮想音源との間の距離に比例して、その仮想音源の音量(増幅率)が小さくなる。このようにすると操作ユニットの仰角を変えることによって、指示方位角の方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにしても特定の仮想音源に集中して音を聞くことが可能になる。
【0016】
操作ユニットは、受聴者が頭に装着するヘッドフォンをユニット本体として構成することができる。この場合には、ヘッドフォンに方位角度差検出手段に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度範囲設定手段の操作部とを少なくとも実装する。ヘッドフォンをユニット本体とすると、受聴者の頭の回転と頭の仰角によって、指定ができるため、受聴者が聞きたいと思う仮想音源に向かって顔を向け、頭を上下に傾ける動作をするだけで、所望の仮想音源の音量を上げたり下げたりすることができる。またヘッドフォンに前述の絞り込みスイッチを設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作をして絞り込みスイッチを操作することにより、音量を上げることができる。したがって自然な動作で音量調整をすることができる。
【0017】
また操作ユニットは、受聴者が手に持って操作するリモートコントローラをユニット本体として構成してもよい。この場合には、リモートコントローラに方位角度差検出手段に用いられる方位角度検出センサと、仰角角度差検出手段に用いられる仰角角度検出センサと、角度範囲設定手段の操作部とを少なくとも実装すればよい。このような操作ユニットを用いると、リモートコントローラで方位角を指示したり、仰角を指示することによりミキシングすることができるので、受聴者は楽な姿勢で頭部の位置を気にせずにミキシングをすることができる。
【0018】
方位角度検出センサ及び仰角角度検出センサとしてどのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ及び仰角角度検出センサを1つのセンサで構成することができて、部品点数を少なくすることができる。
【0019】
本発明のミキシング方法は、次の2つのステップにより構成される。まず最初のステップでは、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指している指示方位角との間の方位角度差を検出する。そして次のミキシングするステップでは、方位角度差が0度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力する。そして方位角度差が0度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する1以上の仮想音源の音量が、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくなるように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行う。
【0020】
また指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステップを更に実施することもできる。この場合、ミキシングするステップでは、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行って次のことを行う。すなわち、方位角度範囲が設定されると、方位角度範囲内にある1以上の仮想音源の音量を、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくする。そして方位角度範囲外にある残りの仮想音源の音量を、方位角度範囲内にある1以上の仮想音源の音量よりも小さくする。
【0021】
更に、本発明の方法では、仰角角度差検出ステップを加えることができる。このステップでは、基準方位角を定めるときの操作ユニットの仰角を基準仰角として、基準仰角と操作ユニットの仰角との差を仰角角度差として検出する。この場合、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差とする。そしてミキシングするステップでは、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行って次のことをする。すなわち正の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。また負の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくする。
【0022】
コンピュータにインストールされて本発明を実施するプログラムは、次のように構成される。すなわち、予め定めた基準方位角と受聴者が操作ユニットを用いて複数の仮想音源が存在する仮想音源空間内を指している指示方位角との間の方位角度差を検出するステップと、指示方位角を中心にして所定の方位角度範囲を設定する角度範囲設定ステップと、基準方位角を定めるときの操作ユニットの仰角を基準仰角として、基準仰角と操作ユニットの仰角との差を仰角角度差として検出し、基準方位角を定めたときの姿勢から操作ユニットを上方に向けたときに現れる仰角角度差を正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差とする仰角角度差検出ステップと、以下のミキシングをするステップとをコンピュータで実行させるように構成されている。ミキシングするステップでは、方位角度差が0度のときには、複数の音響信号チャンネルから供給される複数の音響信号をそのままミキシングして出力し、方位角度差が0度以外のときには、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作り、しかも指示方位角の方向に位置する1以上の仮想音源の音量が、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくなるように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行い、方位角度範囲が設定されると、方位角度範囲内にある1以上の仮想音源の音量を、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくし、しかも方位角度範囲外にある残りの仮想音源の音量を、方位角度範囲内にある1以上の仮想音源の音量よりも小さくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行い、正の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくし、負の仰角角度差が検出されているときには、指示方位角の方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して小さくするように、指示方位角の方向に並ぶ複数の仮想音源に対応する複数の音響信号チャンネルの複数の音響信号の音量調整を行うようにミキシングする。
【発明を実施するための最良の形態】
【0023】
以下図面を参照して本発明の実施の形態を詳細に説明する。図1は、本発明のミキシング方法を実施するミキシング装置の一例の概略構成を示すブロック図である。本実施の形態のミキシング装置1は、受聴者の周囲に複数の仮想音源を作り出す音響再生装置3に、複数の仮想音源に対応する複数の音響信号チャンネルから供給される複数の音響信号をミキシングして出力するミキシング手段5を備えている。ここで音響再生装置3は、いわゆるオーディオ機器であって、受聴者の周囲に3次元で複数の仮想音源を作り出す機能を有する公知の装置である。またミキシング装置1は、受聴者により操作される操作ユニット7と、演算ユニット9とを備えている。操作ユニット7には、基準方位決定スイッチ13と、方位角度検出センサ15と、仰角角度検出センサ17と、絞り込みスイッチ19とが少なくとも設けられている。また演算ユニット9には、前述のミキシング手段5に加えて、仰角角度差演算手段21と、方位角度差演算手段23と、角度範囲決定手段25と、音響信号チャンネル記憶手段27とが設けられている。ミキシング手段5は、チャンネル選択手段29とミキシング部31とから構成される。なお演算ユニット9の主要部はコンピュータによって実現される。そして本実施の形態では、操作ユニット7のユニット本体は、受聴者の頭部に装着されるヘッドフォンである。
【0024】
基準方位決定スイッチ13は、ヘッドフォンに装着されてミキシングを開始する際に受聴者によって操作されるスイッチである。例えば、音響再生装置3によってある音楽が再生されているときに、基準方位決定スイッチ13が操作されると、そのときに方位角度検出センサ15が検出する角度が基準方位における基準方位角として方位角度差演算手段23の内部メモリに保存される。また基準方位決定スイッチ13が操作されると、そのときに仰角角度検出センサ17が検出する仰角φが、基準方位における基準仰角として、仰角角度差演算手段21の内部メモリに保存される。
【0025】
基準方位決定スイッチ13が操作された後は、所定のサンプリング周期で方位角度検出センサ15により検出された指示方位角θは、方位角度差演算手段23に入力される。方位角度差演算手段23は、予め定めた基準方位角とヘッドフォンを装着した受聴者の頭部の方位を検出する方位角度検出センサ15の出力(検出された指示方位角)との差すなわち方位角度差θdを演算する。本実施の形態では、基準方位決定スイッチ13、方位角度検出センサ15及び方位角度差演算手段23により、方位角度差検出手段24が構成されている。この方位角度差検出手段24は、音響再生装置3によって再生されて受聴者の目前に仮想で存在する複数の仮想音源によって構成される仮想音源空間内を指示する操作ユニット7の指示方位角θと基準方位角との間の方位角度差θdを検出する。
【0026】
また基準方位決定スイッチ13が操作された後は、所定のサンプリング周期で仰角角度検出センサ17により検出された仰角φは、仰角角度差演算手段21に入力される。仰角角度差演算手段21は、予め定めた基準方位の基準仰角とヘッドフォンを装着した受聴者の頭部の仰角を検出する仰角角度検出センサ17の出力(検出された仰角)との差すなわち仰角角度差φdを演算する。本実施の形態では、基準方位決定スイッチ13、仰角角度検出センサ17及び仰角角度差演算手段21により、仰角角度差検出手段22が構成されている。この仰角角度差検出手段22は、最初に基準方位角を定めるときの操作ユニット7の仰角を基準仰角として、この基準仰角と操作ユニット7の仰角との差を仰角角度差φdとして検出する。そして仰角角度差検出手段22は、基準方位角を定めたときの姿勢から操作ユニット7を上方に向けたときに現れる仰角角度差を正の仰角角度差とし、前記操作ユニット7を下方に向けたときに現れる仰角角度差を負の仰角角度差として出力する。
【0027】
仰角角度差演算手段21の出力φdと方位角度差演算手段23の出力θdは、角度範囲決定手段25に入力される。角度範囲決定手段25は、操作ユニット7が指している指示方位角θを中心にして所定の方位角度範囲を設定する。角度範囲決定手段25は、操作ユニット7に設けられた絞り込みスイッチ19からの指令に応じて方位角度範囲を設定する。本実施の形態では、角度範囲決定手段25と絞り込みスイッチ19とから角度範囲設定手段26が構成されている。絞り込みスイッチ19から積極的に絞り込み指令が入力されていない場合、角度範囲設定手段26は、仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θdを、そのままミキシング手段5のチャンネル選択手段29に出力する。
【0028】
仰角角度差演算手段21の出力φと方位角度差演算手段23の出力θが、そのまま入力された場合、ミキシング手段5は、後述する事項を実現するように、音響信号チャンネル記憶手段27の複数の音響信号チャンネルから供給される複数の音響信号の音量調整と位相調整とを行い、これら複数の音響信号をミキシングして出力する。例えば、仰角角度差演算手段21から入力される仰角角度差φdが0であると仮定して、方位角度差演算手段23の出力θdがミキシング手段5に入力されている場合を考える。この場合において、方位角度差が0度のときには、チャンネル選択手段29は、複数の音響信号チャンネルから供給される複数の音響信号をすべてそのままミキシング部31へと供給する。
【0029】
また方位角度差θdが0度以外のときには、ミキシング手段5は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。すなわち操作ユニット7であるヘッドフォンを装着した受聴者が、頭部を回転しても、仮想音源の位置が移動しないように、ヘッドフォンの左右の出力のバランスを調整して、常に複数の仮想音源が仮想空間内の同じ位置に存在するようにする。この固定技術の詳細は、特開平2-35900号公報[特許文献3]等の複数の公知文献に記載されているので説明を省略する。またこの場合には、チャンネル選択手段29は、方位角度差θdによって特定される指示方位角の方向に位置する1以上の仮想音源を選択して、ミキシング部31に選択された仮想音源を指定する指令を出力する。具体的には、後述するようにチャンネル選択手段29は、方位角度範囲が設定されると、指示方位角と複数の仮想音源の方位角θnとの方位角度差θn´を求める。そして方位角度差θn´から方位角度範囲内にある1以上の仮想音源に対応する1以上の音響信号チャンネルを選択する。そしてミキシング部31は、チャンネル選択手段29により選択された1以上の音響信号チャンネルの1以上の音響信号の音量を、選択されていない他の音響信号チャンネルの音響信号の音量よりも大きくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。そしてミキシング部31は、チャンネル選択手段29により選択された1以上の仮想音源の音響信号の音量を、方位角度差θdが0度のときの1以上の仮想音源の音響信号の音量よりも大きくし、他の仮想音源の音量はそのまま維持して(または音量を0にして)ミキシングを行う。仮想音源の音量を大きくするためには、選択されたチャンネルの音響信号の増幅率を大きくすればよい。どの程度増幅率を大きくするかは任意に定めればよい。
【0030】
このようにすると、受聴者が操作ユニット7を用いて、複数の仮想音源が存在する仮想音源空間内を指すと、方位角度差検出手段24が基準方位角に対する指示方位角θとの間の方位角度差を検出する。そしてミキシング手段5は、基準方位角を基準にして複数の仮想音源の位置を固定した状態を作る。そしてミキシング手段5は、操作ユニット7を用いて指した指示方位角θの方向に位置する1以上の仮想音源の音量を、方位角度差が0度のときの該1以上の仮想音源の音量よりも大きくする。このようにすることにより、複数の仮想音源を移動させることなく、受聴者が指示した指示方位角の方向にある仮想音源即ち受聴者が聞きたいパート(楽器)の音量を簡単に大きくすることが実現できる。したがって複雑なミキシング技術を知らない受聴者でも、操作ユニット7で方向を指し示すだけで、所定のパート(仮想音源)の音量を増減することができる。なお音量を下げる場合には、操作ユニット7で指し示す方向を別の方向(例えば基準方位角)に向ければよい。
【0031】
次に、方位角度差演算手段23から出力される方位角度差が変動しないと仮定して、角度範囲決定手段25に入力される仰角角度差演算手段21が出力する仰角角度差が変動する場合を考える。仰角角度差検出手段22は、基準方位角を定めたときの姿勢から操作ユニット7を上方に向けたときに(受聴者の頭を上に向けたときに)現れる仰角角度差を正の仰角角度差+φdとし且つ操作ユニット7を下方に向けたときに(受聴者の頭を下に向けたときに)現れる仰角角度差を負の仰角角度差-φdとして出力する。この場合、チャンネル選択手段29は、前述と同様に、方位角度演算手段23によって演算された方位角度差θdにより定まる指示方位角θの方向に並ぶ複数の仮想音源の音響信号チャンネルを選択する。そしてミキシング部31は、例えば仰角角度差検出手段が正の仰角角度差+φdを出力しているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差+φdに比例して、操作ユニット7から離れる仮想音源ほど大きくなるようにする。またミキシング部31は、仰角角度差検出手段22が負の仰角角度差-φdを出力しているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して、操作ユニット7から離れる仮想音源ほど小さくなるようにする。このようにすると操作ユニット7の仰角を変えることによって、指示方位角θの方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりすることができる。このようにしても特定の仮想音源に集中して音を聞くことが可能になる。
【0032】
通常は、仰角角度差演算手段21の出力φdと方位角度差演算手段23の出力θdの両方が角度範囲決定手段25に入力されるため、これら二つの出力によって指示方位角の方向に並ぶ複数の仮想音源の音量を選択的に大きくしたり、小さくしたりする。
【0033】
角度範囲決定手段25に絞り込みスイッチ19から角度範囲を設定する指令が入力されると、角度範囲決定手段25は、仰角角度差演算手段21の出力φdと方位角度差演算手段23の出力θdを基準にして角度範囲の絞り込みを行う。そしてミキシング手段5は、設定された方位角度範囲内にある1以上の仮想音源の音量を、方位角度差が0度のときの1以上の仮想音源の音量よりも大きくする。また同時に、ミキシング手段5は、方位角度範囲外の他の仮想音源の音量を、方位角度範囲内にある1以上の仮想音源の音量よりも小さくするように、複数の音響信号チャンネルから供給される複数の音響信号の音量調整を行う。
【0034】
角度範囲決定手段25は、絞り込みスイッチ19が絞り込み方向に操作されると、方位角度範囲を小さくし、絞り込みスイッチ19が開放方向に操作されると、方位角度範囲を大きくするように構成されている。例えば、絞り込みスイッチ19の操作量に比例して、方位角度差θd±αのα値を設定する。絞り込みスイッチ19が操作されていないときには、特にαは設定されず、指定方位を中心にして全ての仮想音源からの音が聞ける状態になっている。そして絞り込みスイッチ19が操作されると、全ての仮想音源からの音が聞ける状態から、操作量に比例して(逆比例の関係で)αの値が小さく設定される。そしてこの角度範囲内に入る仮想音源の音響信号の音量だけを大きし、この角度範囲外の仮想音源の音響信号の音量を小さくする。
【0035】
絞り込みスイッチ19の絞り込み操作量が大きくなるほど、αの値が小さくなって方位角差θ±α及び仰角角度差φdで決まる絞り込まれた一領域の位置にある仮想音源の音量だけが大きくなり、その周囲の仮想音源の音量は小さくなる。このような絞り込みスイッチ19を設けると、絞り込みスイッチ19の操作だけで、角度範囲を絞り込んで、特定の仮想音源の音量だけを簡単に調整することができる。なおこの絞り込みスイッチ19は、ばね機構などにより自動的に開放方向に操作される構造を有しているのが好ましい。このようなばね機構が設けられていると、絞り込みスイッチ19を開放状態にする際には、手を離すという動作だけを行えばよく、操作が簡単になる。なおこの種の絞り込みスイッチ19としては、例えば、操作されるレバーに加わる力δ(操作用に比例する曲げ強さ)を測定する力センサまたは曲げセンサを内蔵したものを用いることができる。また可変抵抗器と操作レバーとが組み合わされて構成され、可変抵抗器のスライダの位置で操作量を測定する構造のセンサを用いたスイッチの検出部に用いることもできる。操作量を測定するためのセンサは、特に限定されるものではなく、種々のセンサを利用することができるのは勿論である。
【0036】
図2は実際に使用するセンサ付きのヘッドフォンである。図2には、絞り込みスイッチ19、方位角度検出センサ15及び仰角角度検出センサ17が取りつけられている部分に符号を付してある。このようにヘッドフォンの本体を用いて操作ユニット7のユニット本体として利用すると、受聴者の頭の回転と頭の仰角によって、音源が指定できるため、受聴者が聞きたいと思う仮想音源に向かって顔を向け、頭を上下に傾ける動作をするだけで、所望の仮想音源の音量を上げたり下げたりすることができる。またヘッドフォンに絞り込みスイッチ19を設けると、手を耳にかざして音を良く聞こうとする動作と同じ動作をして絞り込みスイッチ19を操作することにより、音量を上げることができる。したがって自然な動作で音量調整をすることができる。
【0037】
また方位角度検出センサ15及び仰角角度検出センサ17としてどのようなセンサを用いるかは任意である。例えば、電子コンパス、ジャイロセンサ、三軸方向の傾斜を検出することができる傾斜センサまたは加速度センサを用いると、方位角度検出センサ15及び仰角角度検出センサ17を1つのセンサで構成することができる。
【0038】
次に上記実施の形態をパーソナル・コンピュータを用いて具体的に実現する場合の方法及びプログラムについて説明する。なお以下の説明では、方位角度検出センサ15及び仰角角度検出センサ17を電子コンパスにより構成している。以下に説明する具体例では、音源の位置(仮想音源の位置)と受聴者の頭の正面との角度差(方位角の差)を電子コンパスで測定し、その角度差によって、各音源の音量、位相(左右から出る音の割合)を変化させる。また受聴者の頭の仰角を電子コンパスで測定し、仰角が大きいほど、遠くに配置した音源のミキシングの音量を大きく、近くに配置した音源のミキシングの音量を小さくする。そしてヘッドフォンに搭載されている曲げセンサ(絞り込みスイッチ19に搭載されているセンサ)が耳元に添えた手の動きを測定し、指向性を変化させる。絞り込みスイッチ19を曲げると、正面に配置した音のミキシングの音量が大きくなり、正面に対して横、後に配置した音のミキシングの音量が小さくなる。
【0039】
図3は、コンピュータにインストールされて本発明の方法を実施し且つ本発明のミキシング装置を実現するプログラムのアルゴリズムを示すフローチャートである。電子コンパスによって構成される方位角度検出センサ15と仰角角度検出センサ17の出力(アナログ信号)は、A/DコンバータでA/D変換し、コンピュータに入力される。コンピュータは、仮想音源の位置を算出し、音量、位相を決定し、仮想音源の音響信号をミキシングして出力する。
【0040】
使用する電子コンパスは、方位角と、仰角を同時に測定することができるもので、指示方位角θ、指示仰角φの値は、A/Dコンバータで0から127の数値に置き換えられてコンピュータに取り込まれる。以下の説明では、角度の単位はラジアンを用い、-π≦θ<π、-π≦φ<πとして説明する。ただし以下の説明では、仰角φ、方位角θは受聴者が初期状態で向いている方向を0とするものである。したがって以下の説明では、指示仰角φ及び指示方位角θは、前述の基準方位角との間の仰角角度差φd及び方位角度差θdと一致する。
【0041】
また絞り込みスイッチ19に用いられる曲げセンサの出力もA/Dコンバータで0から127の数値に置き換えられてコンピュータに取り込まれる。コンピュータ上では、曲げの強さを0から1までの値に正規化して用いる。以下の説明では、曲げ強さを0≦δ≦1(0のとき:レバーが曲げられていない状態、1のとき:レバーが強く曲げられている状態)として説明する。
【0042】
また音源としては、各パートの音を録音して得た複数の音響チャンネルの音響信号を用いるものとする。以下の説明では、クラシックのパートごとの音を録音して音響チャンネルとして使用するものとする。そして事前に、各音源の信号レベルは同じレベルに調節しておくものとする。そして以下の説明では、各音源の信号をSnとする。nは何番目の信号であるかを示す。
【0043】
視覚により確認できるようにするために、この例ではそれぞれの音源の位置を2次元の仮想空間上に配置する。すなわちこの配置図は何種類か用意して切り替えて使用してもよい。例えば図4は、受聴者がクラシックの指揮者の位置にいる状況を作った場合の配置図の一例を示している。図4において○の記号の中に示された数字は、下記の楽器の仮想音源であることを示している。
【0044】
1: 第一バイオリン、2: 第二バイオリン、3: チェロ、4:ビオラ、5: ハープ
6:ホルン、7:クラリネット、8:オーボエ、9:コントラバス、10:パーカッション
11:トランペット、12:トロンボーン、13:チューバ、14:観客の声、拍手
図4において、中心の黒い丸の記号●が自分の位置、そして矢印が現在向いている方向(指示方位角)を示す。各仮想音源から中心(受聴者の位置)までの距離をln、各仮想音源が配置されている方位角をθnとする。なおθnの単位は度、lnは相対的な値なので単位はない。一番遠くに配置した音源までの距離を1として正規化する(0≦ln≦1)。図5は、この正規化をイメージで示す図である。図5において、○の中に数字1,2,3が入った表記が仮想音源の位置を示している。そして中央の丸い図形が受聴者の位置である。
【0045】
実際的には、図4の配置図に示されるように、仮想音源の配置の良し悪しは、ミキシング結果の良し悪しに影響される。なおこの音源の配置は、準備する複数の音響信号チャンネルを作成する際に行われている。図3のフローチャートにおける、ステップST1の「音源の配置」は、音響再生装置3で音響信号を再生して受聴者の前また周囲に音源を配置することを意味する。
【0046】
図3のステップST2では、基準方位決定スイッチ13が押されたか否かが判定される。そして基準方位決定スイッチ13が押されている場合には、ステップST3で、操作ユニット7が向いている方位(ヘッドフォンを装着した受聴者が向いている方位)が、正面と設定される(即ち基準方位角及び基準仰角とが決定される)。初期段階では、必ずステップST3が実行される。なお途中で基準方位角を変更することも可能である。
【0047】
次にステップST4で、操作ユニット7により指すことにより定まる指示方位角θにおける操作ユニット7の仰角が変わっているか否かが検出される。仰角φが変わっていれば、ステップST5へと進む。ステップST5では、基準方位を定めるときの操作ユニット7の仰角を基準仰角として、基準仰角と操作ユニット7の仰角との差を仰角角度差φdとして検出する。この場合、基準方位角を定めたときの姿勢から操作ユニット7を上方に向けたときに現れる仰角角度差φdを正の仰角角度差とし且つ操作ユニットを下方に向けたときに現れる仰角角度差を負の仰角角度差φdとする。そしてステップST5では仰角による各音源の増幅率hnφが算出される。具体的には、電子コンパスから得られる仰角φに応じて、各音源nの増幅率即ち増幅比(減衰比)hnφ(0≦hnφ≦1)を算出する。増幅率hnφの計算は、例えば下記の(1)式に従って定めることができる。
【数1】
JP0004295798B2_000002t.gif

【0048】
この式は、仰角が正の場合(仰角が基準仰角よりも大きくなる場合)、遠くに配置した音源では増幅率が大きな値を示し、近くに配置した音源では増幅率が小さな値を示す関数となる。また仰角が負の場合(仰角が基準仰角よりも小さい場合)には、遠くに配置した音源では増幅率は小さな値となり、近くに配置した音源では増幅率が大きな値となる。すなわちこれは正の仰角角度差φdが検出されているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差に比例して大きくする。すなわち、操作ユニット7と仮想音源との間の距離に比例して、その仮想音源の音量(増幅率)が大きくなる。また、負の仰角角度差φdが検出されているときには、指示方位角θの方向に並ぶ複数の仮想音源の音量を、仰角角度差φdに比例して小さくする。すなわち、操作ユニット7と仮想音源との間の距離に比例して、その仮想音源の音量(増幅率)が小さくなる。
【0049】
図6(A)は、正の仰角角度差が検出されている場合における、3つの仮想音源と受聴者(操作ユニット7)との位置関係と増幅率との関係を示している。仮想音源の増幅率hnφが操作ユニットから離れる仮想音源ほど大きくなる(0.63→0.93→1.37)ことを示している。図6(B)は、正の仰角角度差が検出されている場合における距離lと増幅率hnφとの関係を示すグラフである。図7(A)は、負の仰角角度差が検出されている場合における、3つの仮想音源と受聴者(操作ユニット7)との位置関係と増幅率との関係を示している。仮想音源の増幅率hnφが操作ユニット7から離れる仮想音源ほど小さくなる(1.37→0.93→0.63)ことを示している。図7(B)は、負の仰角角度差が検出されている場合における距離lと増幅率hnφとの関係を示すグラフである。
【0050】
次にステップST6では、操作ユニット7で指示している方位が変更されたか否かを判定する。そして方位角が変化している場合にはステップST8へと進み、方位角が変化していない場合にはステップST7へと進む。ステップST7では、絞り込みスイッチ19が操作されて絞り込み操作が行われたか否かを判定する。ステップST7では絞り込みスイッチ19の曲げセンサが操作されたか否かでこの判定を行っている。ステップST7では、絞り込みの角度範囲を絞り込みスイッチ19の絞り込み量(曲げセンサの曲げ強さδ)から判定する。
【0051】
ステップST7で、絞り込みスイッチ19が操作されて、絞り込み量の調整変更(曲げセンサの曲げ強さδの変更)が行われると、絞り込みスイッチ19の操作量に比例する曲げセンサの強さδが測定される。ステップST8では、曲げセンサの強さδを受けて、曲げセンサから得られる、曲げ強さδに応じて各音源の増幅率hnδを算出する。増幅率hnδは、0または1のいずれかの値をとる関数である。曲げセンサが曲がってない状態では、すべての音源に対して増幅率hnδは1を示すものとなる。そして曲げセンサが曲がると、絞り込み量に応じて、角度範囲が絞り込まれ(指向性が変化し)、増幅率hnδ=1を示す部分が次第に少なくなる。そして絞り込みスイッチを最も強く押すと、受聴者が向いて定まる指示方位角の方向に配置した音源でのみ、増幅率hnδ=1を示すようになる。
【0052】
増幅率hnδの値は、例えば下記の式(2)で定めることができる。
【数2】
JP0004295798B2_000003t.gif

【0053】
ただし、上記式においてθn´(-π≦θn´<π)は、各音源の方位角θnと指示方位角θとの間の角度差である。
【0054】
たとえば、θ=30°、δ=0.5の場合では、図8のように、そのとき受聴者が向いている方向の後ろ半分の領域に配置した音源でhnδ=0、前半分に配置した音源でhnδ=1となる。これにより不要な音を削除することができる。図9は、受聴者の周囲に11個の仮想音源を配置した場合において、絞り込みスイッチ19を強く押したときの(θ=30°、δ=0.9)音が聞こえる領域を示している。この状態では、仮想音源6の音だけが聞こえ、その他の仮想音源からの音は不要な音として削除される。
【0055】
次にステップST9へと進む。ステップST9では、電子コンパスから得られる指示方位角θに応じて各音源の増幅率hnθを算出する。増幅率hnθは受聴者が向いている指示方位角θの方向に並んで配置されている音源では大きな値を、そうでない方向に配置されている音源では小さな値を示す関数である。このような関数は、例えば下記の(3)式で定めることができる。
【数3】
JP0004295798B2_000004t.gif

【0056】
なお上記式においては、前述の絞り込みスイッチ19の曲げセンサの曲げ強さδが考慮されており、曲げ強さδが強くなるほど、すなわち絞込み量が多くなるほど(曲げ強さ又は絞り込み量に比例して)、指向性が強まる。その結果、指示方位角θの方向に配置されている音源の音量が大きくなるようになっている。図10は、上記(3)式により定まる各仮想音源の増幅率hnθの違いを図示している。図10から判るように指示方位角θの方向に並ぶ仮想音源の増幅率が一番大きく、指示方位角θの方向から離れるに従って(指示方位角θと周囲の仮想音源の方位角との間の方位角度差に比例して)、増幅率が小さくなっている。
【0057】
次にステップST10へと進み各音源との方位角度差θn´に応じて左右の音量の音量比Pnを算出する。すなわち位相調整が実施される。電子コンパスから得られる指示方位角θに応じて、各音源の定位即ち音量比Pn(0≦Pn≦1)を算出する。定位(音量比)Pnが0のとき、その音源の右の音と左の音の比率は0:1、定位(音量比)Pnが0.5のとき、その音源の右の音と左の音の比率は1:1、定位(音量比)Pnが1のときその音源の右の音と左の音の比率は1:0とする。この音量比は、下記の(4)式により定める。
【数4】
JP0004295798B2_000005t.gif

【0058】
上記(4)式により各仮想音源の音量比を定めることにより位相調整がなされて、受聴者が頭を回転しても、その回転と一緒に仮想音源が移動することはなくなる。図11は、上記(4)式に基づいて求めた各仮想音源の音量比の一例を示す図である。図11に示されるように、指示方位角の方向にある仮想音源2の音量比が0.5となっている。
【0059】
次にステップST11に進んで、ヘッドフォンの左右の音量を算出する。すなわちすべての仮想音源の信号を加算しヘッドフォンから出力する。その際に、ステップST5、ステップST8及びステップST9で求めた各増幅率を乗算する。
【0060】
ヘッドフォンの右側の出力は以下のとおりに計算される。
【数5】
JP0004295798B2_000006t.gif

【0061】
またヘッドフォンの左側の出力は以下のとおりに計算される。
【数6】
JP0004295798B2_000007t.gif

【0062】
上記計算は、ミキシング手段5によって実行される。図12は、ミキシング手段5で実行している増幅率の乗算イメージを図で示している。図12において3段階に並ぶ3つの「×h1」は、仮想音源1の上記各ステップST5、ステップST8及びステップST9で求めた増幅率である。そして最終段の「×」及び「×1-」は、上記ステップ10における左右の音量比をヘッドフォンの左右の出力に乗算することを意味している。そして最後の「Σ」がすべての仮想音源の音響信号に増幅率及び音量比を乗算した乗算信号を加算することを意味している。
【0063】
図13(A)乃至(C)は、上記のミキシング装置を用いてミキシングを行っているときの仮想音源1~11(各図中の左側の図)の音量の変化を、ミキシング装置の増幅率決定レバー(各図中の右側の図)の位置に置き換えて概念的に示す図である。これらの図において、増幅率決定レバーが上に位置するほど音量が大きいことを示す。図13(A)に示すように、絞り込みスイッチ19が押されていないとき(δ=0)には、すべての仮想音源1~11の音が聞こえている。そして図13(B)に示すように、絞り込みスイッチ19を弱く押したとき(δ=0.6)には、仮想音源3の周辺の仮想音源の音が聞こえている。さらに図13(C)に示すように、絞り込みスイッチ19を強く押すと、仮想音源2と仮想音源3の音だけが聞こえるようになる。これらの図から判るように、本実施の形態によれば、絞り込みスイッチ19の操作量に応じて、任意の仮想音源の音だけを聞くことが可能になる。
【0064】
上記実施の形態によれば、ヘッドフォンを着けた受聴者が右側を向くと右側に配置した音源の音量が大きく聞こえるようになり、左側を向くと、左側に配置した音源の音量が大きく聞こえるようになる。たとえば、3人のギタリストによる演奏の場合には、通常のヘッドフォンで聞くと、誰がどのパートを演奏しているか判りにくい。しかしながら、上記実施の形態によれば、ヘッドフォンを着けた受聴者の首を左右に振れば、一人のギタリストの演奏を大きく聞こえるようにすることが可能になり、それぞれの演奏者の演奏に注聴することができる。また受聴者がヘッドフォンを着けて上のほうを向くと、遠くに配置した音源の音量が大きく聞こえるようになり、下を向くと、近くに配置した音源の音量が大きく聞こえるようになる。
【0065】
またヘッドフォンに搭載している絞り込みスイッチ19を操作して操作量を大きくすると、指示方位角の方向に配置された音源の音量が大きくなり、横、後ろに配置された音源の音量が小さくなる。したがって例えば、周囲が煩い場合でも、聴きたい音の方向を向き、絞り込みスイッチ19を操作するために耳に手をかざすと、その音が良く聞こえるようになる。具体的には、受聴者の周囲に複数の仮想音源を配置した場合には、以下のようなことが可能となる。
【0066】
・絞り込みスイッチ19(曲げセンサ)を使わない場合には、360°すべての音源の音が聞こえる。
【0067】
・絞り込みスイッチ19(曲げセンサ)を弱く押すと、だんだん後ろの音が聞こえなくなる。たとえば、真横から後ろの音が聞こえなくなる。
【0068】
・曲げセンサを強く押すと、指定方位(受聴者の正面)の音だけが聞こえるようになる。
【0069】
上記実施の形態では、操作ユニット7の本体としてヘッドフォンを用いている。しかしながら、操作ユニット7の本体としては、受聴者によって操作されるものであれば、どのようなものでも利用できる。図14は、家庭用のステレオ・オーディオ機器等の音響再生装置のリモートコントローラ33を操作ユニットとして用いる場合の概念を示す図である。リモートコントローラ33の内部には、方位角度検出センサ及び仰角角度検出センサが配置されており、リモートコントローラ33の操作スイッチの一部が基準方位決定スイッチと絞り込みスイッチとして用いられる。
【0070】
この場合には、左右のスピーカ32L及び32Rから音が出されて、受聴者の前に仮想音源が現れている。例えば図15に示すように、リモートコントローラ33を所望の仮想音源(キーボード)に向け、絞り込みスイッチを強く押すことによって指定方位が設定されて、指定方位にある仮想音源の音だけを聞くことが可能になる。
【0071】
また図16は、表示画面兼入力画面を備えたPDA等の携帯端末41を操作ユニット7の本体として用いる場合の例を示している。このような携帯端末41を用いる場合にも、その内部には方位角度検出センサ15及び仰角角度検出センサ17が配置されている。そして携帯端末41の画面上には、各仮想音源の存在が明示される。図17に示すように携帯端末41をある仮想音源の方向に向けると、その指示方位角の方向にある1以上の仮想音源の表示が他の仮想音源の表示とは変わる。例えば、点滅したり、明るく点灯することになる。そして絞り込みスイッチSW2を押す回数によって、スイッチの操作量を変えることにより、特定の仮想音源への絞り込みが行われる。
【産業上の利用可能性】
【0072】
本発明によれば、複雑なミキシング技術を知らない受聴者でも、操作ユニットで方向を指し示すだけで、所定のパートの音量を増減することができる。
【図面の簡単な説明】
【0073】
【図1】本発明のミキシング方法を実施するミキシング装置の一例の構成の概略構成を示すブロック図である。
【図2】実際に使用するセンサ付きのヘッドフォンを示す図である。
【図3】コンピュータにインストールされて本発明の方法を実施し且つ本発明のミキシング装置を実現するプログラムのアルゴリズムを示すフローチャートである。
【図4】受聴者がクラシックの指揮者の位置にいる状況を作った場合の配置図の一例を示している。
【図5】正規化をイメージで示す図である。
【図6】(A)は、正の仰角角度差が検出されている場合における、3つの仮想音源と受聴者(操作ユニット)との位置関係と増幅率との関係を示す図であり、(B)は、正の仰角角度差が検出されている場合における距離と増幅率との関係を示すグラフである。
【図7】(A)は、負の仰角角度差が検出されている場合における、3つの仮想音源と受聴者(操作ユニット)との位置関係と増幅率との関係を示す図であり、(B)は、負の仰角角度差が検出されている場合における距離と増幅率との関係を示すグラフである。
【図8】θ=30°、δ=0.5の場合の音が聞こえる状態を示す図である。
【図9】受聴者の周囲に11個の仮想音源を配置した場合において、絞り込みスイッチを強く押したときの(θ=30°、δ=0.9)音が聞こえる領域を示す図である。
【図10】(3)式により定まる各仮想音源の増幅率の違いを示す図である。
【図11】(4)式に基づいて求めた各仮想音源の音量比の一例を示す図である。
【図12】ミキシング手段で実行している増幅率の乗算イメージを示す図である。
【図13】(A)乃至(C)は、ミキシング装置を用いてミキシングを行っているときの仮想音源の音量の変化を、ミキシング装置の増幅率決定レバー(各図中の右側の図)の位置に置き換えて概念的に示す図である。
【図14】音響再生装置のリモートコントローラを操作ユニットとして用いる場合の概念を示す図である。
【図15】リモートコントローラを用いて仮想音源を指している状態を示す図である。
【図16】表示画面兼入力画面を備えたPDA等の携帯端末を操作ユニットの本体として用いる場合の例を示す図である。
【図17】携帯端末をある仮想音源の方向に向けたときの状態を示す図である。
図面
【図1】
0
【図2】
1
【図3】
2
【図12】
3
【図14】
4
【図15】
5
【図16】
6
【図17】
7
【図4】
8
【図5】
9
【図6】
10
【図7】
11
【図8】
12
【図9】
13
【図10】
14
【図11】
15
【図13】
16