TOP > 国内特許検索 > ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法 > 明細書

明細書 :ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B1)
特許番号 特許第5057535号 (P5057535)
登録日 平成24年8月10日(2012.8.10)
発行日 平成24年10月24日(2012.10.24)
発明の名称または考案の名称 ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
国際特許分類 G10L  21/02        (2006.01)
H04R   3/00        (2006.01)
FI G10L 21/02 301Z
H04R 3/00
G10L 21/02 301A
G10L 21/02 302B
請求項の数または発明の数 9
全頁数 36
出願番号 特願2011-189187 (P2011-189187)
出願日 平成23年8月31日(2011.8.31)
審査請求日 平成23年11月22日(2011.11.22)
特許権者または実用新案権者 【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
発明者または考案者 【氏名】高橋 弘太
【氏名】大脇 渉
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃
【識別番号】100096677、【弁理士】、【氏名又は名称】伊賀 誠司
【識別番号】100106781、【弁理士】、【氏名又は名称】藤井 稔也
【識別番号】100113424、【弁理士】、【氏名又は名称】野口 信博
審査官 【審査官】小宮 慎司
参考文献・文献 特開2008-096483(JP,A)
特表2008-532353(JP,A)
特開平04-096500(JP,A)
調査した分野 H04R 3/00
G10L 21/02
要約 【課題】従来のミキシング装置は、特定の音源の音量を低下させる等することで、際立たせたい音源の調整を行うため、聴感上不自然である。そこで、他の音源の音量等下げずに際立たせたい音源の明りょう度を上げるミキシング装置を提供することを目的とする。
【解決手段】ミキシング装置10は、入力信号を周波数領域の信号に変換して、時間周波数平面上の信号データを生成する時間周波数変換部11a,11bと、入力信号の時間周波数平面上でのミキシングを行う信号処理部15と、時間領域の信号に変換して出力信号を出力する周波数時間変換部25とを備えている。入力信号のうちの少なくとも1つを、明りょう度を上げるために他の入力信号よりも優先する優先信号に設定する。信号処理部15が行う優先演算は、優先信号及び/又は非優先信号の振幅及び/又は位相を操作する演算を含む。
【選択図】図3
特許請求の範囲 【請求項1】
時間領域の2つ以上の入力信号の各々について、該入力信号を周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成する時間周波数変換部と、
上記2つ以上の入力信号の上記信号データを入力として、該入力信号の各々の信号データの上記時間周波数平面上の相対応する点毎に上記信号データの加算を含むミキシング処理を行う信号処理部と、
上記信号処理部の演算結果を入力し、時間領域の信号に変換して出力信号を出力する周波数時間変換部とを備え、
上記2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記信号処理部が行う上記ミキシング処理は、上記相対応する点において、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とが近づく向きに、該非優先信号の位相又は該優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含み
上記信号処理部は、上記優先信号と非優先信号の少なくとも一方の、上記相対応する点とは異なる点であって、上記時間周波数平面上において該相対応する点と所定の関係を有する点の信号データを少なくとも用いて、上記少なくとも一方の信号の信号データの上記相対応する点における信号特性を判定する信号特性判定部をさらに有し、
上記信号処理部は、さらに、上記信号特性判定部によって判定された信号特性に応じて、上記優先信号の明りょう度が上がるように、上記優先演算を行うかどうか、及び/又は、上記優先演算の処理の度合を、上記相対応する点毎に決定することを特徴とするミキシング装置。
【請求項2】
上記所定の関係を有する点は、上記少なくとも一方の信号の信号データの上記時間周波数平面上の上記相対応する点の近傍領域に位置するものであり、
該近傍領域は、上記相対応する点を含む所定の範囲及び所定の形状を有する領域又は上記相対応する点での音の倍音に相当する点からなる領域であり、
上記信号特性判定部は、
上記少なくとも一方の信号の上記相対応する点における信号データについての上記近傍領域内の点における信号データの振幅に基づいて生成される、該少なくとも一方の信号の上記相対応する点における信号データのエネルギが所定のしきい値より大きいとき、上記少なくとも一方の信号の上記相対応する点は有音であると判定するものであることを特徴とする請求項1記載のミキシング装置。
【請求項3】
上記所定の関係を有する点は、上記時間周波数平面上において上記相対応する点に隣接する点であり、
上記信号特性判定部は、
上記優先信号の上記相対応する点における信号データの振幅と、該優先信号の上記相対応する点に隣接する点における信号データの振幅とを比較し、及び/又は、
上記優先信号の上記相対応する点における信号データの位相と、該優先信号の上記相対応する点に隣接する点における信号データの位相とを比較して、
上記比較した結果、上記優先信号の上記相対応する点における信号データの振幅がすべての上記隣接する点における信号データの振幅よりも大きいとき、上記優先信号の上記相対応する点における信号データの位相と上記隣接する点における信号データの位相の関係から該優先信号の上記相対応する点における信号データのエネルギがピークであると検出されたとき、及び/又は、該優先信号の上記相対応する点における信号データの振幅がすべての該隣接する点における信号データの振幅よりも大きくかつ該優先信号の上記相対応する点における信号データの位相と該隣接する点における信号データの位相の関係から該優先信号の上記相対応する点における信号データのエネルギがピークであると検出されたときに、該優先信号の上記相対応する点はピークであると判定するものであることを特徴とする請求項1又は2記載のミキシング装置。
【請求項4】
上記信号処理部は、
上記相対応する点と、上記時間周波数平面において該相対応する点に隣接する点とにおける振幅調整量同士、位相調整量同士又は遅延調整量同士を比較して、上記相対応する点における振幅調整量、位相調整量若しくは遅延調整量のうちの少なくとも1つを制限又は緩和する関数及び/又は演算を含む調整量制限部をさらに有することを特徴とする請求項1~3いずれか1項記載のミキシング装置。
【請求項5】
上記信号処理部は、
上記優先信号及び上記非優先信号のうちの少なくとも1つの信号について、上記優先演算の対象となる信号データの調整量対して、該優先信号及び該非優先信号とは独立した信号、又は上記少なくとも1つの信号に基づいて生成される信号の信号データを加算するための信号源を更に有する請求項いずれか1項記載のミキシング装置。
【請求項6】
上記少なくとも一方の入力信号について、時間周波数平面上の複数の点の信号データを記憶する記憶部を更に備え、
上記信号処理部は、
上記少なくとも一方の入力信号の信号データについて、上記記憶部に記憶された、上記時間周波数平面上の複数の点の信号データを用いて上記ミキシング処理を行うことを特徴とする請求項1~5いずれか1項記載のミキシング装置。
【請求項7】
時間領域の2つ以上の入力信号の各々を周波数領域の信号に変換して生成され、時間軸と周波数軸とからなる時間周波数平面上の信号データを入力として、該入力信号の各々の信号データの上記時間周波数平面上の相対応する点毎に上記信号データの加算を含むミキシング処理を行いミキシング出力信号を出力する信号処理部を備え、
上記2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記信号処理部が行う上記ミキシング処理は、上記相対応する点において、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とが近づく向きに、該非優先信号の位相又は該優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含み
上記信号処理部は、上記優先信号と非優先信号の少なくとも一方の、上記相対応する点とは異なる点であって、上記時間周波数平面上において該相対応する点と所定の関係を有する点の信号データを少なくとも用いて、上記少なくとも一方の信号の信号データの上記相対応する点における信号特性を判定する信号特性判定部をさらに有し、
上記信号処理部は、さらに、上記信号特性判定部によって判定された信号特性に応じて、上記優先信号の明りょう度が上がるように、上記優先演算を行うかどうか、及び/又は、上記優先演算の処理の度合を、上記相対応する点毎に決定することを特徴とするミキシング信号処理装置。
【請求項8】
2つ以上の入力信号をミキシングして出力信号を出力するための、コンピュータに実行させるミキシングプログラムであって、上記コンピュータに、
時間領域の上記2つ以上の入力信号の各々について、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、
上記2つ以上の入力信号の上記信号データを入力として、該入力信号の各々の信号データの上記時間周波数平面上の相対応する点毎に上記信号データの加算を含むミキシング処理を行いミキシングデータを生成するステップと、
上記ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを実行させ、
上記2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先することによって優先信号であり、残りの入力信号は、非優先信号であり、
上記ミキシングデータを生成するステップで行われる上記ミキシング処理は、上記相対応する点において、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とが近づく向きに、該非優先信号の位相又は該優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含み
上記ミキシングデータを生成するステップは、上記優先信号と非優先信号の少なくとも一方の、上記相対応する点とは異なる点であって、上記時間周波数平面上において該相対応する点と所定の関係を有する点の信号データを少なくとも用いて、上記少なくとも一方の信号の信号データの上記相対応する点における信号特性を判定し、判定された信号特性に応じて、上記優先信号の明りょう度が上がるように、上記優先演算を行うかどうか、及び/又は、上記優先演算の処理の度合を、上記相対応する点毎に決定するステップをさらに含むことを特徴とするミキシングプログラム。
【請求項9】
時間周波数変換部によって、時間領域の2つ以上の入力信号の各々について、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、
信号処理部によって、上記2つ以上の入力信号の上記信号データを入力として、該入力信号の各々の信号データの上記時間周波数平面上の相対応する点毎に上記信号データの加算を含むミキシング処理を行いミキシングデータを生成するステップと、
周波数時間変換部によって、上記ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを有し、
上記2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、
上記ミキシングデータを生成するステップで行われる上記ミキシング処理は、上記相対応する点において、上記優先信号の振幅を増大させ、上記非優先信号の振幅を減少させ、該非優先信号の位相と該優先信号の位相とが近づく向きに、該非優先信号の位相又は該優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含み
上記ミキシングデータを生成するステップは、上記優先信号と非優先信号の少なくとも一方の、上記相対応する点とは異なる点であって、上記時間周波数平面上において該相対応する点と所定の関係を有する点の信号データを少なくとも用いて、上記少なくとも一方の信号の信号データの上記相対応する点における信号特性を判定し、判定された信号特性に応じて、上記優先信号の明りょう度が上がるように、上記優先演算を行うかどうか、及び/又は、上記優先演算の処理の度合を、上記相対応する点毎に決定するステップをさらに含むことを特徴とするミキシング方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、2つ以上の入力信号をミキシングして、ミキシング信号を出力するミキシング装置に関する。
【背景技術】
【0002】
従来から用いられているミキサは、スタジオ用ミキシングコンソールからアマチュア用ミキサに至るまで、それぞれの入力音声信号の加重和をとることによってミキシングを行うことをその動作の基本としている。加重和で不十分な場合には、エフェクタをミキサの入力及び/又は出力に連結し、線形又は非線形の演算操作を追加することによって、意図する音質や音場感を実現する。楽器音Aに音声Bをミキシングする場合において、ミキシング後にも音声Bがはっきり聞き取れるようにするためには、次のような方法がある。
【0003】
第1の方法は、線形フィルタを用いる方法である。具体的には、エフェクタの一種であるイコライザを用いて、音声Bの重要な周波数帯域に対して、楽器音Aの同一の周波数帯域を減衰させるようにフィルタリングを施すことによって、音声Bの聞き取りを楽器音Aに妨害されないようにする。非特許文献1には、ベースギターとバスドラムのミキシングに関して、ベースギターの音がバスドラムの音によって妨害されないように、バスドラムの音の周波数帯域のうちの200Hz付近の帯域を減衰させる方法が記載されている。
【0004】
第2の方法は、非特許文献2に記載されているduckerと呼ばれる処理系を用いる方法である。duckerを用いることによって、音声の出力レベルが一定値以上の時間区間、楽器音を一定の減衰量だけ減衰させて、減衰後の楽器音に音声を重ねることによって、音声が楽器音に妨害されずに、これらの音源のミキシングをすることができる。
【0005】
第2の方法に類似する他の例として、カーステレオで音楽を再生中に、運転者のみに対してナビゲーション装置の音声を際立たせたい場合に、再生している音楽に静音処理して、静音処理した音源にナビゲーションの音声をミキシングするオーディオ音源の静音に関する技術が特許文献1に記載されている。
【先行技術文献】
【0006】

【特許文献1】特開2007-19980号公報
【0007】

【非特許文献1】山内隆義、「ミックス・ダウン研究所」、サウンド&レコーディング・マガジン、p140~141、Vol.29、March2010
【非特許文献2】Roery Izhaki、「Mixing Audio」、Elsevier、2008
【発明の概要】
【発明が解決しようとする課題】
【0008】
線形フィルタを用いて音源信号の周波数帯域を操作する非特許文献1に記載された方法の場合には、エフェクタによって操作した200Hz付近のベースギターの音は、聞き取りやすくなる。しかしながら、一方では、200Hz付近の周波数帯域がカットされたバスドラムの音は、この周波数帯域付近のエネルギが全演奏時間にわたって欠如してしまい、曲そのものにとってダメージになるとの欠点がある。
【0009】
duckerを用いて、際立たせたい音源の入力時に他の音源を減衰させる、時間領域での操作をする非特許文献2に記載された方法の場合には、際立たせたい音源である音声が入力された瞬間に、他の音源である楽器音の音量が低下する。そのため、楽器音に注意を傾けていた聴取者は、ストレスを感じてしまうという欠点がある。
【0010】
特許文献1に記載されたオーディオ静音装置の場合にも、運転者にとっては、ナビゲーションのガイド音声の出力時には音楽が聞こえなくなり、上述と同様にストレスを感じる欠点がある。
【0011】
そこで、本発明は、ミキシングされた信号の時間領域においても、周波数領域においても、入力した音源の音量を大幅に変動させることなく、聴取すべき音源の明りょう度が上がり、聞き取りやすくなったと知覚させるミキシング装置を提供することを目的とする。なお、あくまで、ミキシング後の信号において聴取すべき音源の明りょう度が上がったと知覚されるのであって、聴取すべき音源成分そのものの明りょう度が上がるわけではないが、以下では、「聴取すべき音源の明りょう度が上がる」と表現することとする。
【課題を解決するための手段】
【0012】
本発明の第1の側面であるミキシング装置は、時間領域の2つ以上の入力信号の各々について、入力信号を周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成する時間周波数変換部と、2つ以上の入力信号の信号データを入力として、入力信号の各々の信号データの時間周波数平面上の相対応する点毎に信号データの加算を含むミキシング処理を行う信号処理部と、信号処理部の演算結果を入力し、時間領域の信号に変換して出力信号を出力する周波数時間変換部とを備えている。そして、2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、信号処理部が行うミキシング処理は、相対応する点において、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とが近づく向きに、非優先信号の位相又は優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含み信号処理部は、優先信号と非優先信号の少なくとも一方の、相対応する点とは異なる点であって、時間周波数平面上において相対応する点と所定の関係を有する点の信号データを少なくとも用いて、少なくとも一方の信号の信号データの相対応する点における信号特性を判定する信号特性判定部をさらに有し、信号処理部は、さらに、信号特性判定部によって判定された信号特性に応じて、優先信号の明りょう度が上がるように、優先演算を行うかどうか、及び/又は、優先演算の処理の度合を、相対応する点毎に決定する。
【0013】
本発明の第2の側面であるミキシング信号処理装置は、時間領域の2つ以上の入力信号の各々を周波数領域の信号に変換して生成され、時間軸と周波数軸とからなる時間周波数平面上の信号データを入力として、入力信号の各々の信号データの時間周波数平面上の相対応する点毎に信号データの加算を含むミキシング処理を行いミキシング出力信号を出力する信号処理部を備えている。そして、2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、信号処理部が行うミキシング処理は、相対応する点において、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とが近づく向きに、非優先信号の位相又は優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含み信号処理部は、優先信号と非優先信号の少なくとも一方の、相対応する点とは異なる点であって、時間周波数平面上において相対応する点と所定の関係を有する点の信号データを少なくとも用いて、少なくとも一方の信号の信号データの相対応する点における信号特性を判定する信号特性判定部をさらに有し、信号処理部は、さらに、信号特性判定部によって判定された信号特性に応じて、優先信号の明りょう度が上がるように、優先演算を行うかどうか、及び/又は、優先演算の処理の度合を、相対応する点毎に決定する。
【0014】
本発明の第3の側面であるミキシングプログラムは、コンピュータに実行させるためのプログラムである。ミキシングプログラムは、時間領域の2つ以上の入力信号の各々について、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、2つ以上の入力信号の信号データを入力として、入力信号の各々の信号データの時間周波数平面上の相対応する点毎に信号データの加算を含むミキシング処理を行いミキシングデータを生成するステップと、ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとをコンピュータに実行させる。そして、2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先することによって優先信号であり、残りの入力信号は、非優先信号であり、ミキシングデータを生成するステップで行われるミキシング処理は、相対応する点において、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とが近づく向きに、非優先信号の位相又は優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含みミキシングデータを生成するステップは、優先信号と非優先信号の少なくとも一方の、相対応する点とは異なる点であって、時間周波数平面上において相対応する点と所定の関係を有する点の信号データを少なくとも用いて、少なくとも一方の信号の信号データの相対応する点における信号特性を判定し、判定された信号特性に応じて、優先信号の明りょう度が上がるように、優先演算を行うかどうか、及び/又は、優先演算の処理の度合を、相対応する点毎に決定するステップをさらに含む。
【0015】
本発明の第4の側面であるミキシング方法は、時間周波数変換部によって、時間領域の2つ以上の入力信号の各々について、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップと、信号処理部によって、2つ以上の入力信号の信号データを入力として、入力信号の各々の信号データの時間周波数平面上の相対応する点毎に信号データの加算を含むミキシング処理を行いミキシングデータを生成するステップと、周波数時間変換部によって、ミキシングデータを時間領域の信号に変換して出力信号を出力するステップとを有している。そして、2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号であり、ミキシングデータを生成するステップで行われるミキシング処理は、相対応する点において、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とが近づく向きに、非優先信号の位相又は優先信号の位相を遅延させ若しくは進め、又は、これらを組み合わせる優先演算を含みミキシングデータを生成するステップは、優先信号と非優先信号の少なくとも一方の、相対応する点とは異なる点であって、時間周波数平面上において相対応する点と所定の関係を有する点の信号データを少なくとも用いて、少なくとも一方の信号の信号データの相対応する点における信号特性を判定し、判定された信号特性に応じて、優先信号の明りょう度が上がるように、優先演算を行うかどうか、及び/又は、優先演算の処理の度合を、相対応する点毎に決定するステップをさらに含む。
【発明の効果】
【0016】
本発明のミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法によれば、優先信号及び/又は非優先信号の振幅及び/又は位相を操作する優先演算を行うことによって、優先信号の振幅が増大し、非優先信号の振幅が減少し、非優先信号の位相と優先信号の位相とがそろうので、優先信号の明りょう度が上がり、優先信号の音を聞き取りやすくすることができる。
【図面の簡単な説明】
【0017】
【図1】本発明のミキシング装置の構成例を示すブロック図である。
【図2】時間周波数変換部において周波数変換することによって生成された時間周波数平面と、時間周波数平面上に表わされた信号データの例である。
【図3】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図4】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うための構成と、優先信号及び非優先信号の両方の信号データによってそれぞれ有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図5】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うにあたって、位相調整量を制限するための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図6】本発明のミキシング装置の構成例を示すブロック図であり、優先演算を行うにあたって、信号データの振幅調整量と位相調整量とを時間周波数平面上で滑らかに変化させるための構成と、優先信号の信号データによって有音判定分布及びピーク判定分布を生成して、生成された有音判定分布及びピーク判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図7】本発明のミキシング装置の構成例を示すブロック図であり、優先信号の信号データの位相に信号発生器の出力を加算してゆらぎ等の音響効果を得るための構成と、優先信号の信号データによって有音判定分布を生成して、生成された有音判定分布に基づいてミキシング出力を制御するための構成とを示す。
【図8】本発明のミキシング装置の構成例を示すブロック図であり、フィルタバンクとスマートミキサエレメントとを用いてアナログ領域でミキシング出力を生成する場合の構成例を示す。
【図9】図8のミキシング装置におけるスマートミキサエレメントの構成例を示すブロック図であり、優先演算として、入力信号の振幅に基づいてエネルギの計算することによって、各信号の振幅を制御するための構成例を示す。
【図10】(A)、(B)は、図9のスマートミキサエレメントのゲイン決定関数の特性の例を示す。
【図11】(A)~(J)は、ミキシング装置の出力を時間軸上と、時間周波数平面(スペクトログラム)上に出力した例である。
【図12】本発明のミキシングプログラム及びミキシング方法を説明するためのフローチャートの例であり、優先信号の信号データに基づいて有音判定分布を生成し、有音判定分布に基づいて優先演算を制御してミキシングを行う例である。
【図13】本発明のミキシングプログラム及びミキシング方法を説明するためのフローチャートの例である。優先演算時には信号データの振幅及び位相の調整量を計算してこれらを滑らかに変化させ、優先信号の信号データによって有音判定分布及びピーク判定分布を生成し、これらに基づいて優先演算を制御して、ミキシングを行う例である。
【発明を実施するための形態】
【0018】
以下、本発明が適用されたミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法について、図面を参照して説明する。なお、説明は以下の順序で説明する。

【0019】
1.ミキシング装置
(1)構成
(2)動作原理と具体例
(3)他の具体例
(4)実測例
2.ミキシング信号処理装置
3.ミキシングプログラム
4.ミキシング方法
5.その他、用途等

【0020】
1.ミキシング装置
(1)構成
図1は、本発明のミキシング装置(以下、スマートミキサともいう。)の構成例を示す図である。ミキシング装置10は、時間領域の2つの入力信号A(n),B(n)がそれぞれ入力される時間周波数変換部11a,11bと、時間周波数平面上の信号データのミキシングを行う信号処理部15とを備える。また、ミキシング装置10は、周波数領域で生成されたミキシング信号を時間領域の出力信号S(n)に変換し、出力信号S(n)を出力する周波数時間変換部25を備える。

【0021】
入力信号A(n),B(n)は、時間周波数変換部11a,11bに入力されて、周波数領域の信号に変換される。時間周波数変換部11a,11bは、短時間高速フーリエ変換(以下、短時間FFTともいう。)、短時間フーリエ変換、ウェーブレット変換、フィルタバンクによる変換、又はその他の時間周波数分布への周知の変換方法、変換回路等が用いられる。フィルタバンクのフィルタは、アナログフィルタに限らずデジタルフィルタであってもよい。時間周波数変換部11a,11bとして、一般化調和解析、正弦波分解、スパース分解等の周波数の情報を含む成分分解を行う方法に従ってもよく、その他の周知の技術、手法を用いてもよい。

【0022】
なお、図1においては、ミキシングされるべき入力信号が2つ示されているが、2つの入力信号に限らず、3つあるいはそれ以上あってもよい。入力信号の数に応じて、時間周波数変換部は必要数分だけ用意されてもよく、複数の入力信号を時分割して1つの時間周波数変換部によって処理してもよい。また、例えば入力信号がパケットデータとして取り扱われる等の場合においては、1つの時間周波数変換部によって処理することもできる。

【0023】
時間周波数変換部11a,11bは、上述したいずれかの技術、方法によって、時間領域の入力信号を、例えばフレームごとに分割した後周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データの分布を生成する。生成された時間周波数平面上の信号データを、図2のように表わすことができる。図2においては、横軸を時間軸とし、縦軸を周波数軸とした。時間軸は、右側から左側に時間の流れの向きをとっており、周波数軸は、下から上に向かって周波数が高くなる向きとした。時間周波数平面上の座標を(i,k)と表わすと、座標(i,k)にある信号データをX[i,k]と表わすことができる。信号データを離散データとして扱う場合には、X[i,k]との表記は、時間軸上のi番目であって周波数軸上のk番目である信号データを表わす。なお、時間周波数平面上の信号データと言ったときに、すべての時間分の信号データを特定の時刻において一括してもっている必要はなく、一定時間累積したときに、時間周波数平面上の信号データとなっているものを含む。例えば、入力信号をリアルタイムで入力した場合には、変換された信号データは、変換処理が開始された時刻から、バッファに蓄積され、バッファ内の蓄積データは、古い信号データから廃棄されてもよい。

【0024】
時間周波数平面上の各信号データX[i,k]は、信号処理部15に入力される。信号処理部15は、信号データX[i,k]を、時間周波数平面上での演算によってミキシングし、時間周波数平面上でのミキシング出力を生成する。

【0025】
信号処理部で生成されたミキシング出力は、周波数時間変換部25に入力される。周波数時間変換部25は、ミキシング出力を、時間領域の信号に変換して出力信号S(n)として出力する。周波数領域の信号を時間領域の信号に変換するのには、高速フーリエ逆変換等の周知の変換方法、変換回路等によって実現することができる。時間周波数変換部11a,11bにおいて用いた変換方法に対応した逆変換方法を用いることが好ましい。

【0026】
(2)動作原理と具体例
時間領域の2つの入力信号のうち1つをA(n)とし、他方をB(n)とする。入力信号A(n)をエレキギターのような音量の大きな楽器とし、入力信号B(n)を音声として、単純にこれらの信号を加算すると、大きな音量の楽器が鳴っている間は、音声を聞き取るのが困難になる。そこで、本発明のミキシング装置においては、2つ以上の入力信号のうちの少なくとも1つの信号について、明りょう度を上げるために他の信号に対して優先した信号である優先信号としてあらかじめ設定し、他の信号を非優先信号に設定する。そして、時間周波数平面上において各信号データの振幅及び位相をそれぞれ演算操作する優先演算を実行することによって、優先信号の明りょう度を上げて、非優先信号に優先信号が埋もれないようにすることを可能にする。例えば、音声を優先信号に設定し、エレキギターの音を非優先信号に設定することによって、従来技術においてはエレキギターの音に埋もれて聞き取れない音声を聞き取れるようにする。

【0027】
入力信号A(n)(例えばエレキギターの音)を非優先信号とし、入力信号B(n)(例えば音声)を優先信号とする。そして、入力信号A(n)が入力される時間周波数変換部11aによって生成される時間周波数平面上の座標(i,k)における信号データをX[i,k]とする。同様にして、入力信号B(n)が入力される時間周波数変換部11bによって生成される時間周波数平面上の座標(i,k)における信号データをX[i,k]とする。信号データX[i,k]及びX[i,k]は、それぞれ振幅R[i,k]及びR[i,k]と位相φ[i,k]及びφ[i,k]とからなる複素数として表現できる。すなわち、

【0028】
【数1】
JP0005057535B1_000002t.gif

【0029】
【数2】
JP0005057535B1_000003t.gif

【0030】
と表わすことができる。

【0031】
入力信号A(n)と入力信号B(n)とを任意に設定できる加重W:Wで単純加算すると、ミキシング後の出力信号S(n)は、

【0032】
【数3】
JP0005057535B1_000004t.gif

【0033】
となり、これを時間周波数平面上の信号データとして表現し、式(1)、(2)を代入すると、時間周波数平面上でのミキシング出力X[i,k]を以下のように表わすことができる。

【0034】
【数4】
JP0005057535B1_000005t.gif

【0035】
ここで、2つの信号の位相が180度程度ずれていると、互いの信号が打ち消し合ってしまい、振幅の小さい信号は、振幅の大きい信号に埋もれてしまうことになる。あるいは、振幅の大きさが同程度であるときには、お互いの信号の音量が低下してしまう。そこで、2つの信号の位相の一方又は両方を強制的にずらして、信号の打ち消し合いを防止する。具体的には、非優先信号の信号データX[i,k]の位相を優先信号の信号データX[i,k]の位相にそろえるために、0<β<1の定数を定め、βに関して位相の加重和をとる。更に、非優先信号の信号データX[i,k]の振幅を調整するために、0<α<1の定数を定め、非優先信号の信号データX[i,k]の振幅に乗ずる。これらによって、ミキシング出力の信号データX[i,k]を、次のように表わすことができる。

【0036】
【数5】
JP0005057535B1_000006t.gif

【0037】
ここで、φとφに関して、β:(1-β)の加重平均を計算しているが、位相には2πの周期性があるので、加重平均は、この周期性を考慮した特別なものを意味していることは言うまでもない。すなわち、文字通りこの計算をするのではなく、単位円上の偏角φの点Bと、偏角φの点Aの両点を結ぶ2つの円弧のうち短い方の円弧をβ:(1-β)で内分する点Cの偏角をもって、加重平均された角度とする。式(5)においては、この計算を便宜的に加重平均の式として表現したものである。位相の演算に関しては、以下の記載について同様とする。

【0038】
なお、優先信号に設定した信号データX[i,k]については、振幅、位相とも演算操作をしていないので、位相と振幅に分解した表現を用いていない。

【0039】
βを上述の範囲内で、1に近く設定することによって、非優先信号の信号データX[i,k]の位相は、優先信号の信号データX[i,k]の位相に近づくことになる。また、αを上述の範囲内で、1に近く設定することによって、信号データX[i,k]の振幅が目立って小さくなることはなく、聴取者がストレスを感じるような音量の低下とはならない。

【0040】
かくして、優先信号に設定された信号データX[i,k]は、非優先信号に設定された信号データX[i,k]によって打ち消されることなく、明りょう度を向上させることができるので、優先信号の音の聞き取りが可能になる。

【0041】
上述では、非優先信号の信号データX[i,k]の振幅及び位相に優先演算の操作を施したが、信号データX[i,k]には操作をせずに、優先信号の信号データX[i,k]の振幅及び位相のみに優先演算の操作を施すこともできる。優先信号の信号データX[i,k]の振幅及び位相に操作を施す場合には、信号データX[i,k]の振幅を調整するために、γ>1となる定数γを定め、優先信号の振幅に乗ずる。また、信号データX[i,k]の位相を信号データX[i,k]の位相にそろえるために、0<η<1となる定数ηを定め、ηに関して位相の加重和をとる。したがって、ミキシング出力X’[i,k]は、以下のように表わされる。

【0042】
【数6】
JP0005057535B1_000007t.gif

【0043】
このように、優先信号又は非優先信号のいずれかについて信号データの振幅及び/又は位相に操作を施すことに限らず、すべての信号データの振幅及び位相に操作を施すこともできる。その場合のミキシング出力X’’[i,k]は次のようになる。

【0044】
【数7】
JP0005057535B1_000008t.gif

【0045】
優先演算のための係数α、β、γ、η等の値については、任意に設定することができ、固定値とするばかりでなく、ミキシングを行いながら、楽曲の進行に合わせて、ミキサ操作者の意図に応じた操作をすることができる。また、係数α、β、γ、η等の値をいわゆるオートメーション機能によって時系列的に変化させることもできる。2つ以上の優先信号を設定する場合には、入力信号ごとに設定し、時々刻々変化させることもできる。なお、係数α、β、γ、η等の値を任意に操作することによって、振幅及び位相の両方を操作するのに限らず、振幅又は位相の操作のいずれか一方のみを行うこともできる。

【0046】
上述した優先演算を、すべての座標(i,k)について行い、生成された時間周波数平面上のミキシング出力について、周波数時間変換部25によって時間領域の信号に変換し、所望の出力信号S(n)を得ることができる。

【0047】
非優先信号の信号データの位相を優先信号の信号データの位相にそろうように操作し、信号データの振幅を調整することによって、優先信号が非優先信号に打ち消されることはない。そのため、優先信号の音量を大幅に増大させることなく、非優先信号の音量を大幅に減少させることなく、優先信号の音の明りょう度を上げて、聞き取りを可能にする。

【0048】
入力信号のデータは、楽曲や音声のすべてのデータをファイルとして入力してもよく、マイクや、アンプ等を介してリアルタイムの入力信号のデータとして入力してもよい。あるいは、入力信号のデータをパケットデータにしてパケットごとに入力してもよく、パケットを更に分割して入力してもよい。

【0049】
なお、後述するミキシングプログラムによって、上述したミキシング装置の機能をソフトウェア的に実現することもできる。

【0050】
(3)他の具体例
(a)具体例1
上述したスマートミキサの場合には、優先信号及び/又は非優先信号の信号データの振幅及び位相に優先演算の操作を施すので、その信号データは、元の音の信号データとは異なる。そのため、優先演算の程度によっては、生成されたミキシング出力の音質が劣化する場合がある。

【0051】
楽器音や音声等の入力信号は、時間周波数平面上で信号データのエネルギが局在化している場合が多いことを利用して音質の劣化を軽減する原理と構成について、以下に説明する。

【0052】
優先信号のうち、時間周波数平面上でエネルギの低い成分については、そもそも必要な成分ではないので、他の信号データから妨害されて害が生じるという心配はない。そこで、エネルギの高い信号データについてのみ上述した優先演算を行い、エネルギが低い信号データについては単純加算を行うことによって、全体の信号データのうち優先演算を行う信号データの割合を少なくすることができるので、より元の音に近い信号出力を得ることができ、音質の向上が可能となる。

【0053】
時間周波数平面上でエネルギが集中している領域内においても、特定の点で偶発的にエネルギの値が0になることがあるので、各信号データについて、エネルギの大小によって優先演算の可否を判定すると多くの場合には問題が生ずる。そこで、演算対象となる時間周波数平面上での信号データの近傍領域においてエネルギの最大値を探索し、あらかじめ設定したしきい値と比較することによって、音が存在するか否かを表わす有音判定を計算して、有音判定分布を生成する。そして、有音判定分布にしたがって、有音と判定された座標の信号データに関して、優先演算を行い、他の場合には単純加算を行う。

【0054】
図2に示すような時間周波数平面上の座標(i,k)に関して、時間軸上で未来の方向へmの広がりをもち、過去の方向へmの広がりをもち、周波数軸上で高周波数の方向へnの広がりをもち、低周波数の方向へnの広がりをもつ近傍領域Uを考える。近傍領域U内の任意の座標を(g,h)とし、座標(g,h)における信号データX[g,h]の振幅の2乗の最大値を近傍領域U内にわたって探索する。そして、その|X[g,h]|の最大値があらかじめ定めたしきい値T[k]以上のときに、時間周波数平面上の有音判定分布Q[i,k]=1とする。それ以外のときにQ[i,k]=0とする。これを式で表わすと次のようになる。

【0055】
【数8】
JP0005057535B1_000009t.gif

【0056】
座標(i,k)すべてにわたって上述の計算をすることによって、時間周波数平面上の有音判定分布を得ることができる。

【0057】
なお、上述では、拡がりm,m,n,nによって座標(i,k)に関する近傍領域の形状を方形状に設定したが、これらの拡がりは、音楽の進行に合わせて、時間iに依存して変化させてもよく、また人間の聴覚のマスキング特性に合わせて、周波数kに依存して変化させてもよい。更に、近傍領域の形状は方形状に限らず、台形状であってもよく、円形、楕円形あるいは三角形等のさまざまな形状とすることができる。そして、単一の入力信号に対して近傍領域Uのパラメータm,m,n,nを変えることで複数の有音判定分布Q[i,k]を生成してもよい。

【0058】
なお、時間周波数平面上のある点における近傍領域は、時間周波数平面においてその点から所定の範囲にある領域に限定されず、その点で表される音の倍音成分を表す点から所定の範囲にある領域を含んでいてもよい。

【0059】
有音判定分布Q[i,k]の判定条件として、上述した信号データX[g,h]のエネルギの最大値を用いるばかりでなく、近傍領域U内の信号データのエネルギの平均値又は信号データの振幅の平均値等を用いることもできる。また、上式のように2値化せず、Q[i,k]を、例えば信号データのエネルギの最大値に応じた連続量として定義してもよい。Q[i,k]を連続量として定義する場合には、Q[i,k]をエネルギや振幅と線形関係にある量として定義するだけでなく、非線形な関係の関数として定義してもよい。更に、Q[i,k]を最大値や平均値で近傍領域U内を評価する場合には、例えば時間周波数平面上での座標(i,k)からの距離に応じて重み付けをしてもよい。また、人間の聴覚特性におけるマスキング効果のデータに基づいて、時間周波数平面上での近傍の距離やしきい値を決めてもよい。しきい値T[k]は、あらかじめ設定した固定値であってもよく、入力信号強度又は出力信号強度に適応させて可変させる可変値としてもよい。スマートミキサの操作者が手動で調整することとしてもよい。

【0060】
有音判定分布Q[i,k]=1、すなわち有音と判定した場合には、時間周波数平面上での信号データの振幅及び位相を操作する優先演算を行い、有音判定分布Q[i,k]=0の場合には、信号データの振幅及び位相の操作を行わず単純加算を行う。このようにすることによって、明りょう度を上げたい入力信号の音を他の入力信号の音に埋もれさせることなくミキシングするとともに、それぞれの信号について、音質の劣化を最小限に抑えたミキシングを可能にする。

【0061】
図3、4には、有音判定の機能をもたせたスマートミキサの構成例をブロック図で示す。

【0062】
図3に示すミキシング装置10は、入力信号A(n)を非優先信号に、入力信号B(n)を優先信号に設定している。時間領域の2つの入力信号A(n),B(n)は、それぞれ時間周波数変換部11a,11bに入力される。入力された入力信号は、時間周波数変換部11a,11bで短時間高速フーリエ変換等の周知の変換方法によって周波数領域の信号に変換され、時間軸と周波数軸とからなる時間周波数平面上の信号データX[i,k],X[i,k]が生成される。信号データX[i,k],X[i,k]は、信号処理部15内の係数器16a,16bにそれぞれ入力される。係数器16a,16bは、入力された信号データX[i,k],X[i,k]を、それぞれW倍、W倍する。係数器16a,16bは、それぞれ振幅/位相演算部17a,17bに接続される。振幅/位相演算部17a,17bでは、信号データX[i,k],X[i,k]の振幅及び位相をそれぞれ別々に演算する。係数器16aから出力されたW倍された信号データX[i,k]については、その振幅R[i,k]があらかじめ設定された定数αによってα倍され、その位相φ[i,k]は、あらかじめ設定された定数βによって(1-β)倍される。係数器16bから出力された信号データX[i,k]は、振幅/位相演算部17bにおいて、その位相φ[i,k]があらかじめ設定された定数βによってβ倍される。振幅R[i,k]については、操作を行わない。振幅/位相演算部17a,17bで演算された位相を加算器18によって加算し、その加算結果とα倍された振幅R[i,k]とを複素数演算部19に入力して、式(9)の優先演算の結果を得る。

【0063】
【数9】
JP0005057535B1_000010t.gif

【0064】
優先信号に設定された入力信号B(n)に関して有音判定を行い、有音と判定した場合に、上述の優先演算を行い、無音と判定した場合には、単純加算を行う。入力信号B(n)側の有音判定に関して、有音判定部21でQ[i,k]=1の場合に、優先演算制御部20によって、複素数演算部19の出力と係数器16bの出力とを加算器22により加算して周波数時間変換部25にミキシング出力として出力する。有音判定部21でQ[i,k]=0の場合には、優先演算制御部20は、優先演算の結果を出力せず、2つの係数器16a,16bの出力をそのまま加算してミキシング出力とし、周波数時間変換部25に出力する。ミキシング出力は、次式で表わされる。

【0065】
【数10】
JP0005057535B1_000011t.gif

【0066】
図3に示すスマートミキサの構成例では、優先信号側のみについて有音判定を行ったが、図4に示すスマートミキサの構成例においては、優先信号側と非優先信号側の両方について有音判定を行う。

【0067】
図4に示すスマートミキサの構成例においては、図3の構成例と同様に、非優先信号を入力信号A(n)とし、優先信号を入力信号B(n)とする。時間領域の2つの入力信号A(n),B(n)は、それぞれ時間周波数変換部11a,11bに入力される。入力信号は、時間周波数変換部11a,11bにおいて短時間FFTによって周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データX[i,k],X[i,k]が生成される。信号データX[i,k],X[i,k]は、信号処理部15内の係数器16a,16bにそれぞれ入力される。係数器16a,16bは、入力された信号データX[i,k],X[i,k]を、それぞれW倍、W倍する。係数器16a,16bは、それぞれ振幅/位相演算部17a,17bに接続される。振幅/位相演算部17a,17bでは、優先演算のために、信号データX[i,k],X[i,k]の振幅及び位相をそれぞれ別々に演算する。係数器16aから出力された信号データX[i,k]については、その振幅R[i,k]があらかじめ設定された定数αによってα倍され、その位相φ[i,k]があらかじめ設定された定数βによって(1-β)倍され、定数βとは独立に予め設定された定数ηによってη倍される。係数器16bから出力された信号データX[i,k]は、振幅/位相演算部17bにおいて、その振幅があらかじめ設定された定数γでγ倍され、その位相φ[i,k]があらかじめ設定された定数βによってβ倍され、更にあらかじめ設定された定数ηによって(1-η)倍される。振幅/位相演算部17aで(1-β)倍された位相φと振幅/位相演算部17bでβ倍された位相φとを加算器18aによって加算し、α倍された振幅とともに複素数演算部19aに入力して複素数化する。同様に、振幅/位相演算部17bでη倍された位相φと振幅/位相演算部17bで(1-η)倍された位相φとを加算器18bによって加算し、γ倍された振幅とともに複素数演算部19bに入力して複素数化する。これら優先演算された結果は、入力信号A(n)側が以下の式(11)、入力信号B(n)側が式(12)のように表わされる。

【0068】
【数11】
JP0005057535B1_000012t.gif

【0069】
【数12】
JP0005057535B1_000013t.gif

【0070】
非優先信号に設定された入力信号A(n)及び優先信号に設定された入力信号B(n)それぞれに関して有音判定を行う。入力信号A(n)側、B(n)側とも有音と判定した場合、すなわちQ[i,k]=Q[i,k]=1の場合、優先演算制御部20a,20bによって、優先演算の結果である式(11)と式(12)とを加算器22を介して加算してミキシング出力を得る。入力信号A(n)側が無音で、入力信号B(n)側が有音と判定された場合、すなわちQ[i,k]=0,Q[i,k]=1の場合には、優先演算制御部20a,20bによって、式(11)の値と係数器16bの出力とを加算する。入力信号A(n)側が有音で、入力信号B(n)側が無音と判定された場合、すなわちQ[i,k]=1,Q[i,k]=0の場合には、優先演算制御部20a,20bによって、係数器16aの出力と式(12)の値とを加算する。入力信号A(n)側、B(n)側とも無音と判定した場合、すなわちQ[i,k]=Q[i,k]=0の場合には、優先演算制御部20a,20bによって係数器16a,16bの出力を加算する単純加算をしてミキシング出力を得る。これらをまとめると、式(13)のようになる。

【0071】
【数13】
JP0005057535B1_000014t.gif

【0072】
加算器22から出力されるミキシング出力は、周波数時間変換部25によって、時間領域のミキシング出力として出力される。

【0073】
優先演算の係数α、β、γ、η等は、固定値としてもよく、ミキシングをしながら調整をしてもよいのは上述したのと同様である。また、有音判定分布を連続量として、その連続量にこれらの優先演算のパラメータを線形又は非線形に関連付けして連続的に変化させてもよい。

【0074】
図3の場合においては、優先信号側のみについて有音判定分布を生成し、図4の構成例では、優先信号、非優先信号とも有音判定分布を生成したが、これ以外にも、非優先信号側のみに有音判定分布を生成するように構成することも可能である。

【0075】
なお、いずれの場合においても、優先信号と非優先信号の設定については、固定でなければならないということはなく、時系列的に相互に切り替えてもよく、周波数に応じて切り替えるようにしてもよい。例えば図4に示すように対称的な構成とすることによって、時間周波数平面上の領域に応じて優位なエネルギを有している側の音を、その領域において優先信号とし、他の領域においてエネルギが劣勢になった場合に非優先信号に切り替える、といった制御も可能である。また、3つ以上の入力信号がある場合においても、優先信号と非優先信号とを任意に切り替えて使用することもできる。

【0076】
上述した有音判定分布を生成することによって、有音でないと判定された場合には、単純に加算すればよいので、ミキシング装置の計算負担が減少し、かつ優先演算に伴う信号波形の歪みに起因する音質の劣化も改善することができる。

【0077】
(b)具体例2
上述した具体例1の場合には、有音判定を行い、有音と判定された場合にのみ時間周波数平面上の信号データについて優先演算を行った結果を出力し、その他の場合には、優先演算を行わず単純加算のための出力をする。これによって、信号波形の歪みを向上させるものであるが、入力信号の位相を強制的に変更するものであることに変わりはなく、ミキシングした出力信号の音を聞いたときに聴感上の不自然さを生じてしまうことがある。

【0078】
そこで、優先演算前の信号データの位相と優先演算後の信号データの位相の差を位相調整量として、位相調整量に上限を設けることによってこの不自然感を低減することを考慮したスマートミキサの構成について以下に説明する。

【0079】
時間周波数平面上の座標(i,k)における入力信号A(n)側の信号データX[i,k]に対する位相調整量をδ[i,k]と表わすこととし、時刻i-1において位相調整が完了しており、そのときの位相調整量をδ[i-1,k]とする。ここで、位相調整量に上限以上の差が生じないように、あらかじめ定めた一定の値μで出力が飽和する関数Satを以下のように定義する。

【0080】
【数14】
JP0005057535B1_000015t.gif

【0081】
そうすると、位相調整量δ[i,k]を次式で表わすことができる。

【0082】
【数15】
JP0005057535B1_000016t.gif

【0083】
式(15)の関係を導入して、信号データX[i,k]に対して優先演算を行った結果は、以下のようになる。

【0084】
【数16】
JP0005057535B1_000017t.gif

【0085】
図5は、式(15)によって計算される優先演算の結果を、入力信号B(n)側についてのみ行う有音判定にしたがって出力するスマートミキサの構成例を示すブロック図である。

【0086】
図5に示すミキシング装置10は、図3及び4の場合と同様に、入力信号A(n)を非優先信号に、入力信号B(n)を優先信号に設定している。時間領域の2つの入力信号A(n),B(n)はそれぞれ時間周波数変換部11a,11bに入力される。入力信号は、時間周波数変換部11a,11bで短時間FFT等によってフレームごとに周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データX[i,k],X[i,k]が生成される。信号データX[i,k],X[i,k]は、信号処理部15内の係数器16a,16bにそれぞれ入力される。係数器16a,16bは、入力された信号データX[i,k],X[i,k]を、それぞれW倍、W倍する。係数器16a,16bは、それぞれ振幅/位相演算部17a,17bに接続される。振幅/位相演算部17a,17bでは、信号データX[i,k],X[i,k]の振幅及び位相をそれぞれ別々に演算する。入力信号A(n)側の位相φ[i,k]と入力信号B(n)側の位相φ[i,k]との差分を加減算器23によって求め、その結果を係数器24によってβ倍する。β倍された位相の差分は、加減算器26によって、位相調整量格納部27に格納されている現時点の直前の時刻における位相調整量δ[i-1,k]との差分をとって、リミッタ28に入力される。リミッタ28の出力と位相調整量δ[i-1,k]とは加算器29によって加算され、更に加算器30によってφ[i,k]と加算される。以上で求められた位相と入力信号A(n)側の振幅R[i,k]とにより複素数演算部19において複素数化される。

【0087】
優先信号に設定された入力信号B(n)に関して有音判定を行い、有音と判定した場合に、式(17)によって優先演算の結果を出力し、有音でないと判定した場合には、単純加算を行う。これを実現するために、有音判定部21でQ[i,k]=1の場合に、優先演算制御部20によって、複素数演算部19の出力と係数器16bの出力とを加算器22により加算して周波数時間変換部25にミキシング出力として出力する。有音判定部21でQ[i,k]=0の場合には、優先演算制御部20は、優先演算の結果を出力せず、2つの係数器16a,16bの出力をそのまま加算してミキシング出力とし、周波数時間変換部25に出力する。ミキシング出力は、次式で表わされる。

【0088】
【数17】
JP0005057535B1_000018t.gif

【0089】
なお、リミッタ28の関数として、上述した式(14)を用いるほかに、滑らかな非線形関数を用いることももちろん可能である。また、式(16)を算出するにあたり、時間軸方向の位相調整量のみを考慮したが、これに代えて周波数軸方向の位相調整量として、δ[i,k]とδ[i,k-1]とを用いることもでき、時間軸方向及び周波数軸方向の両方を位相調整量に関して制限を与えることももちろん可能である。

【0090】
上述した具体例1等と同様に優先演算のパラメータα,β等については、任意に設定でき、調整してもよい。また、有音判定分布の生成についても、非優先信号側のみについて生成するようにしてもよく、優先信号、非優先信号の両方について生成するようにしてよいのも上述と同様である。

【0091】
リミッタ28を導入することによって、優先演算に伴う位相調整量の上限値を制限することができ、音の不自然感が減少しミキシング出力の音質の改善が図られる。

【0092】
(c)具体例3
具体例1、2において説明したように、有音判定分布Q[i,k]を用いることで、時間周波数平面上での有音か否かに応じて、優先演算出力か単純加算出力かを選択し、より自然で音質の良いミキシング出力を得ることができる。

【0093】
しかしながら、有音判定分布Q[i,k]において、有音と判定される領域が時間周波数平面上で大きなかたまりとなってしまうことがある。この大きなかたまり全体に基づいて位相調整が行われると、有音判定を行わないことと変わらないこととなり、調整された方の信号が、大きく劣化してしまう場合がある。

【0094】
そこで、時間周波数平面上で、注目している座標の信号データのエネルギと、周波数軸上の両側に隣接する座標に対応する信号データのエネルギとを比較する。そして、よりエネルギが集中している領域を探索することによって、有音判定分布よりも更に限定された領域を選定することができる。この領域を中心として振幅及び位相の操作を行うことによって、音質の劣化のより少ないスマートミキサを実現することができる。

【0095】
上述した領域を、ピーク判定分布P[i,k]とすると、P[i,k]は、時間周波数平面上の信号データを、上述と同様にX[i,k]として、以下のように表わすことができる。

【0096】
【数18】
JP0005057535B1_000019t.gif

【0097】
ピーク判定分布P[i,k]を生成するのに、上述した信号データの振幅を用いるのではなく、信号データの位相変化を用いることもできる。時間周波数変換部11a、11bにおいて行う周波数変換として短時間FFTを行う場合に、フレームシフト点数をNSFT、FFT点数をNFFTとする。信号データが周波数bin番号kにエネルギ中心をもつ成分を含むとすると、この成分に対し、時刻i-1と時刻iの間においては、2πkNSFT/NFFTだけの位相変化を生ずる。そうすると、位相変化の差φ[i,k]は、一般的には以下のように表わされる。

【0098】
【数19】
JP0005057535B1_000020t.gif

【0099】
ここで、周波数bin番号kにエネルギ中心をもつ成分が存在する場合には、φ1[i,k]=0となる。周波数bin番号kよりも低いところにエネルギ中心があるときにはφ1[i,k]<0となり、エネルギ中心が周波数bin番号kよりも高いところにあるときには、φ1[i,k]>0となる。以上より、ピーク判定分布P[i,k]は以下のように表わされる。

【0100】
【数20】
JP0005057535B1_000021t.gif

【0101】
ピーク判定分布P[i,k]の生成には、信号データの振幅に基づく方法を用いてもよく、信号データの位相に基づく方法を用いてもよく、両方とも用いてもよい。

【0102】
なお、時間周波数平面上では、調波構造を有しない信号の部分や白色雑音に類似したスペクトル構造を有する部分において、上述したピーク判定分布を生成すると、非常に敏感にピークが検出されてしまい、好ましくない場合がある。これは、ピーク判定分布P[i,k]を、信号データの振幅に基づいて生成する場合であっても、位相に基づいて生成する場合であっても、同様である。そこで、以下の方法で、このような好ましくないピーク検出をスクリーニングすることが可能である。

【0103】
振幅に基づくピーク判定分布P[i,k]に対して、振幅に基づくディップ判定分布D[i,k]を以下のように定義する。

【0104】
【数21】
JP0005057535B1_000022t.gif

【0105】
座標(i,k)に関して、時間軸上で未来の方向へVの広がりをもち、過去の方向へVの広がりをもち、周波数軸上において、高周波数の方向へWの広がりをもち、低周波数の方向へWの広がりをもつ時間周波数平面上の領域Uを考える。同様に、座標(i,k)に関して、時間軸上で未来の方向へVの広がりをもち、過去の方向へVの広がりをもち、周波数軸上において、高周波数の方向へWの広がりをもち、低周波数の方向へWの広がりをもつ時間周波数平面上の領域Uを考える。そして、領域U内でD[i,k]=1となる座標が1つも存在せず、かつ領域U内でP[i,k]=1となる座標の個数が0.8×(2V+1)個以上存在するときにピーク判定分布P[i,k]を採用する条件とする。これによって、好ましくないピーク検出を排除することができる。なお、これらの条件については、上述に限らず任意に設定することができるのは言うまでもない。

【0106】
位相に基づくピーク判定分布P[i,k]の場合には、ディップ判定分布D[i,k]も位相に基づいて定義して用いる。

【0107】
【数22】
JP0005057535B1_000023t.gif

【0108】
このようにして、振幅に基づく場合と同様に、ピーク判定分布をスクリーニングすることが可能である。

【0109】
なお、このようなスクリーニングの実施の有無にかかわらず、時間周波数平面上でピークと判定される点は、非常に疎である。そこで、好ましくは、以下の式(23)のようなモルフォロジ的操作によってピーク判定点の近傍領域内の点を、ピーク判定してもよい。

【0110】
【数23】
JP0005057535B1_000024t.gif

【0111】
近傍領域Uは、任意に設定することができるのは言うまでもない。

【0112】
図6には、有音判定とピーク判定の機能をもたせたスマートミキサの構成例のブロック図を示す。

【0113】
図6に示すミキシング装置10は、図3~5の場合と同様に、入力信号A(n)を非優先信号に、入力信号B(n)を優先信号に設定している。入力信号B(n)側の時間周波数平面上の信号データについて、有音判定部21において、上述した具体例で詳細に説明した有音判定分布Q[i,k]を生成し、ピーク判定部34において、上述したピーク判定分布P[i,k]を生成する。そして、有音判定分布Q[i,k]とピーク判定分布P[i,k]との論理積をPQ[i,k]とすると、PQ[i,k]は次のように表わされる。

【0114】
【数24】
JP0005057535B1_000025t.gif

【0115】
PQ[i,k]=1の場合にのみ、信号データの振幅及び位相の操作を行う優先演算を実行した結果を出力することとし、その他の場合には、単純加算するような制御を行う。

【0116】
時間領域の2つの入力信号A(n),B(n)は、それぞれ時間周波数変換部11a,11bに入力される。入力信号は、時間周波数変換部11a,11bで短時間FFTによって周波数領域の信号に変換されて、時間軸と周波数軸とからなる時間周波数平面上の信号データX[i,k],X[i,k]が生成される。信号データX[i,k],X[i,k]は、信号処理部15内の係数器16a,16bにそれぞれ入力される。係数器16a,16bは、入力された信号データX[i,k],X[i,k]を、それぞれW倍、W倍する。係数器16a,16bは、それぞれ振幅/位相演算部17a,17bに接続される。振幅/位相演算部17a,17bでは、信号データX[i,k],X[i,k]の振幅及び位相をそれぞれ別々に演算する。後述する優先演算判定部35の出力を振幅調整部31aに入力する。入力信号A(n)側の位相φ[i,k]と入力信号B(n)側の位相φ[i,k]との差分を加減算器23で計算し、位相調整部31bに入力する。

【0117】
振幅調整部31a及び位相調整部31bにおいては、振幅及び位相の急激な操作を加えることで、音質の劣化を防ぐために、時間周波数平面上の隣接する座標の振幅同士及び位相同士を滑らかに接続するようなイタレーション演算を行う。

【0118】
位相調整について、具体的に説明する。時間周波数平面上の座標(i,k)における位相調整量δ[i,k]は、座標(i,k)のまわりで、隣接する位相調整量δ[i,k]の値と滑らかにつなげようとする力で引っ張られ、かつPQ[i,k]=1となる座標(i,k)において、入力信号A(n)に対する位相φ[i,k]と入力信号B(n)に対する位相φ[i,k]との位相差φ[i,k]に引き寄せる力で引っ張られる。時間周波数平面上全体に対する数回~数百回のイタレーション演算を行うことにより適切な位相調整量δ[i,k]を計算することができる。n回目のイタレーション演算における位相調整量をδ[i,k](n)とし、初期値をδ[i,k](0)=0と置くと、δ[i,k](n+1)は、δ[i,k](n)から以下の更新則によって求めることができる。

【0119】
【数25】
JP0005057535B1_000026t.gif

【0120】
ここで、εは、学習速度であり、イタレーション回数に応じて調整する。また、λは、φ[i,k]による引き寄せ力と、δ[i,k]=0を時間周波数平面上で滑らかにする力のバランスを求める定数である。C、C、C、E、E、Eも定数であり、非線形関数fは、以下で表わされる。

【0121】
【数26】
JP0005057535B1_000027t.gif

【0122】
これによって、最終的なδ[i,k]は、すべての力が釣り合う値に収束する。

【0123】
振幅調整部31aにおいても、上述と同様にして振幅調整量を滑らかに接続することができる。

【0124】
振幅調整部31aにおいて、調整された振幅と、元の信号データの振幅R[i,k]とを乗算器32によって乗算する。位相調整部31bにおいて、調整された位相と、元の位相φ[i,k]とを加算器33によって加算する。乗算器32によって乗算された振幅と加算器33によって加算された位相とを複素数演算部19に入力し、優先演算された結果を出力する。優先演算判定部35によって、PQ[i,k]=1と判定された場合に、上述の優先演算の結果が優先演算制御部20を介して出力され、係数器16bの出力と加算器22によって加算されて、周波数時間変換部25に出力される。周波数時間変換部25は、逆FFT等を実行し、時間領域のミキシング出力を出力する。なお、図6においては、振幅調整と位相調整の機能の両方を導入したが、いずれか一方であってもよい。

【0125】
図6の構成例においては、優先信号側についてのみピーク判定部及び有音判定部を用いたが、非優先信号側のみに用いてもよく、優先信号側及び非優先信号側の両方に用いてもよい。また、ピーク判定部を有音判定部とともに用いたが、ピーク判定部のみで用いてもよく、入力信号A(n)側には有音判定部のみ導入し、入力信号B(n)側には有音判定部とピーク判定部とを導入する等、有音判定部とピーク判定部を混在させてもよい。更に、図5に示すようなリミッタ機構と混在させてもよい。また、上述した図3、4に示すような具体例1及び図5に示すような具体例2において、有音判定部を、図6に示すような有音判定部21、ピーク判定部34、及び優先演算判定部35を組み合わせた構成に置換し、優先演算の切り替えを行うようにしてもよい。

【0126】
上述した具体例1等と同様に優先演算のパラメータα,β等は、任意に設定でき、調整してもよい。また、有音判定分布の生成についても、非優先信号側のみについて生成するようにしてもよく、優先、非優先信号の両方について生成するようにしてもよいのも上述と同様である。イタレーション演算のパラメータ等も任意に設定することができる。

【0127】
有音判定分布の機能に加え、ピーク判定分布の機能を導入することによって、よりきめ細かく優先演算と単純加算との切り替えを実現することができ、計算負担の軽減が図られ、より自然なミキシング出力を実現できる。また、振幅調整や位相調整を行うことにより、信号波形がより滑らかに接続されることとなり、より高い音質のミキシング出力を可能にする。

【0128】
(d)具体例4
具体例1~3において説明した例では、優先演算を実行する場合において、優先信号と非優先信号の位相をできるだけそろえることによって、入力信号が互いに妨害し合わないようにするものである。これに対して、あえて、入力信号同士の周波数間にごく微小な差を設けて適度なうなりを発生させたり、又は入力信号同士の位相間にあえてゆらぎをもった差を生じさせることによって音に厚みをもたせることができたり、人工的な音の感じを抑えた自然な音にすることができ、このようなスマートミキサの構成例について以下説明する。

【0129】
図7は、音に厚みをもたせたり、人工的な音の感じを抑えた自然な音にする効果を有するゆらぎを生じさせるための信号発生器を導入したスマートミキサの構成例のブロック図である。

【0130】
図7に示すミキシング装置10は、具体例1~3で説明したものと同様に、入力信号A(n)を非優先信号に、入力信号B(n)を優先信号に設定している。具体例1で説明した図3に示されたスマートミキサの構成例において、入力信号B(n)側の信号データの位相φに対してゆらぎを生成するための信号発生器36を追加している。位相φに信号発生器36の信号を加算器37によって加算して、加算された位相を係数器38によってβ倍する。そして、係数器38の出力と入力信号A(n)側の(1-β)倍された位相φとを加算器18によって加算して、複素数演算部19によって複素数化し、優先演算出力とする。その他の構成及び動作は、具体例1で詳細に説明した図3に示されたスマートミキサと同様であるので省略する。

【0131】
信号発生器36が時間に対する傾きKを有する線形波形を出力するような場合には、図7における入力信号B(n)は、Kに比例した周波数シフトが与えられることになる。また、信号発生器36をカオス信号発生器や乱数発生器を用いて実現した場合には、入力信号B(n)の位相に疑似的なランダムなゆらぎを与えることができる。

【0132】
また、信号発生器が発生する信号を、優先信号や非優先信号から独立とするのではなく、いずれか片方又は両方の信号から得られた情報を加味した信号にすることによって、更に有効な効果を得ることもできる。例えば、楽曲の小節中の何拍めであるかというリズム情報によって、信号発生器の発生信号に変化を加えたり、楽曲の構成に従った情報に基づいて、サビの部分で音に厚みが出るように、信号発生器の発生信号に変化を加えたりすることができる。このように、信号から生成した音楽情報を用いる処理のほか、信号以外のメタ情報を用いることも可能である。例えば、音声信号の原稿テキストデータを用い、特定の台詞が出現した場合に、BGMがその台詞から大きく影響を受け、BGMが揺らいだように知覚させる処理とすることも可能である。

【0133】
信号発生器は、優先信号側に導入するだけでなく、非優先信号側に導入してもよいのはもちろんである。また、上述した具体例2及び3、並びにこれらの変形例となるスマートミキサに導入することも可能である。

【0134】
(e)具体例5
上述した具体例1~4においては、優先演算は、信号データを、主として時間周波数平面上の離散データとして扱い、優先演算の操作をするものであるが、スマートミキサでは時間周波数平面上の連続データとして扱うこともできる。時間周波数平面上の連続データとして扱うには、時間周波数変換部の出力を帯域分割した時間波形とすることによって実現することができる。このような帯域分割した時間波形を出力する時間周波数変換部としては、フィルタバンク、あるいは短時間FFTをフレームシフト刻み長1サンプルで行うことによって実現することができる。

【0135】
k番目の通過帯域を有する帯域通過フィルタ(以下、BPFともいう。)の時刻nにおける信号波形を、時間周波数平面上の信号データとして、X[n,k],X[n,k]とする。X[n,k]を非優先信号とし、X[n,k]を優先信号とすると、この場合の優先演算としては、X[n,k]の位相をX[n,k]の位相とそろえるように遅延又は進めるような時間軸の操作をすることによって実現することができる。そして、すべての帯域通過フィルタの出力を加算することによって、周波数時間変換でき、優先演算を行ったミキシング出力を得ることができる。

【0136】
上述においては、信号データの位相の演算操作を行うことによって優先演算を行うものであるが、信号データの振幅を演算操作することによっても、優先演算を行うことができる。

【0137】
図8は、フィルタバンクによって周波数変換を行い、アナログ領域での振幅操作を行うスマートミキサエレメントを用いて優先演算を行うスマートミキサのブロック図を示す。

【0138】
図8に示すように、ミキシング装置40においては、入力信号A(t),B(t)は、それぞれ時間周波数変換部41a,41bに入力される。時間周波数変換部41a,41bは、多数のBPFから構成されるフィルタバンクである。入力された入力信号A(t),B(t)は、それぞれ係数器46a,46bによってあらかじめ設定された定数で、W倍,W倍されてフィルタバンクに入力される。各フィルタバンクは、通過帯域が異なる複数のBPFからなり、1番目の通過帯域を有する第1のBPF42、2番目の通過帯域を有する第2のBPF43、3番目の通過帯域を有する第3のBPF44を含む。BPFの個数は、所望の周波数分解能により、3つに限らず、これ以上でも、これ以下であってももちろんよい。BPFの個数としては、2~4096の範囲が好ましい。時間周波数変換部41aと41bの第1のBPF42,42は、同一のBPFであり、その出力は、信号処理部45の第1のスマートミキサエレメント47にそれぞれ入力される。第2のBPF43、第3のBPF44の出力も信号処理部45内の対応する第2のスマートミキサエレメント48、第3のスマートミキサエレメント49に入力される。

【0139】
第1のスマートミキサエレメント47、第2のスマートミキサエレメント48、第3のスマートミキサエレメント49は、それぞれの周波数帯域の信号データのエネルギをその振幅に基づいて計算し、そのエネルギとあらかじめ設定されたしきい値とを比較して、各信号データの振幅を調整する。図9は、第1のスマートミキサエレメント47の構成例を示すブロック図である。

【0140】
2つの第1のBPF42の出力が第1のスマートミキサエレメント47の信号入力部51a,51bに入力される。信号入力部51a,51bに入力された信号データは、それぞれ可変係数器55a,55bによって振幅を制御されて、加算器56によって加算されて、信号出力部57に送られる。可変係数器55a,55bのゲインは、入力された2つの信号データの振幅に基づいて計算されたエネルギに従って制御される。2つの信号データは、それぞれ振幅演算部52a,52bによって2乗され、エネルギ演算部53a,53bによって平滑化されて、それぞれのエネルギを計算する。ここで、振幅演算部52a,52bは、図9に示すような2乗演算を行うものに限らず、絶対値演算を行うものであってもよく、振幅の瞬時値によって計算するのに限らず、所定の期間の瞬時値あるいはその2乗の平均をとることによって計算してもよい。また、エネルギ演算部53a,53bは、抵抗、コンデンサやコイル等からなる一次遅れフィルタや二次遅れフィルタ等周知の平滑化回路によって実現することができる。

【0141】
計算されたエネルギは、図10に示すようなゲイン-エネルギ特性に基づいて、優先演算部54で可変係数器55a,55bのゲインを決定する。k番目のBPFについて、非優先信号である入力信号A(t)に対応するゲインg[k](t)は、図10(A)に示すように、優先信号に設定された入力信号B(t)のエネルギD[k](t)が下部しきい値T[k]以下の場合には一定の値であり、エネルギD[k](t)が下部しきい値T[k]から上部しきい値T[k]の間の場合ではほぼ直線状に低下する。エネルギD[k](t)が上部しきい値T[k]以上になって、ゲインg[k](t)は、低位の一定値となる。一方、優先信号である入力信号B(t)に対応するゲインg[k](t)は、図10(B)に示すように、優先信号のエネルギD[k](t)が下部しきい値T[k]以下の場合には一定の値であり、下部しきい値T[k]から上部しきい値T[k]の間では、次第に増加する。エネルギD[k](t)が上部しきい値T[k]以上の場合になると、ゲインg[k](t)は、高位の一定値となる。このように、優先信号である入力信号B(t)のエネルギD[k](t)に応じて、A(t)側とB(t)側の信号データに対するゲインを制御する。

【0142】
したがって、エネルギD[k](t)が、下部しきい値T[k]以下の場合には、優先信号は、具体例1等で詳細に説明した無音の状態に相当すると判定されて、非優先信号がそのまま出力される。エネルギD[k](t)が上部しきい値T[k]以上の場合には、有音判定に相当し、非優先信号側のゲインが抑制される。エネルギD[k](t)が、下部しきい値T[k]から上部しきい値T[k]の範囲内の場合には、エネルギD[k](t)の増大に応じて、非優先信号のゲインを減少させ、優先信号のゲインを増大させる。すなわち、無音判定から有音判定に徐々に切り替わっていくことになる。

【0143】
なお、非優先信号のゲインを落とした部分について、ミキシングを行った場合に信号の音量感が不足することがある。そこで、図10(B)に示すように、上側のしきい値T[k]に近付くにつれてゲインの増大率が大きくなるように設定することによって、この問題を改善することができる。

【0144】
他のスマートミキサエレメントのゲイン-エネルギ特性については、すべて同一であってもよく、対応する周波数帯域ごとにしきい値を変えたり、ゲインを変えてもよい。また、上述した特性に限らず、任意の特性を選択できることは言うまでもない。

【0145】
第1、第2のBPF43,44それぞれに対応する第1、第2のスマートミキサエレメント48,49についても上述と同様の構成であり、同様の優先演算を実行する。

【0146】
周波数帯域ごとに分割されたミキシング出力を、周波数時間変換部50である加算器によって加算し、時間領域の出力信号S(t)を得る。

【0147】
上述のような振幅の調整を単独で行う場合に限らず、位相調整と振幅調整の両方を行ってもよい。なお、位相を調整する場合については、上述した具体例1~4に対して連続時間系で実現することができる。

【0148】
上述したスマートミキサエレメントの優先演算部の動作によって、連続的に優先信号と非優先信号の出力レベルを制御して、滑らかに優先信号の明りょう度を上げることが可能になる。

【0149】
(4)実測例
図11に入力信号及びミキシングされた出力信号の実測時間波形と、時間周波数平面上の分布(以下、スペクトログラムともいう。)とを示す。図11(A)~(E)は、時間波形であり、(F)~(J)がスペクトログラムである。入力信号A(n)を非優先信号とし、音源はエレキギターである(図11(A)及び(F))。入力信号B(n)を優先信号とし、音源は女性の音声である(図11(B)及び(G))。入力信号B(n)の振幅の目盛は、入力信号A(n)よりも1桁小さい。すなわち、女性音声は、エレキギターの音量に比べて極めてレベルが低い。入力信号A(n),B(n)を単純加算したミキシング出力を図11(C)及び(H)に示す。図11(D)及び(I)は、本発明に基づいて構成されたミキシング装置であって、上述した具体例1において説明した図3の構成例のスマートミキサによってミキシングされた出力を示す。図11(E)及び(J)は、上述した具体例3において説明した図6の構成のスマートミキサによってミキシングされた出力を示す。なお、スペクトログラムにおいては、色を変えることによって、振幅の大きさを表示している。白、灰色、黒の順に振幅が大きくなるように設定している(別途提出される参考図において、白,ピンク,赤,オレンジ,黄,緑,青,黒の順に振幅が大きくなる)。

【0150】
図11(D)及び(I)の結果を得たスマートミキサの諸元を表1に示す。

【0151】
【表1】
JP0005057535B1_000028t.gif

【0152】
図11(F)に示すように、入力信号Aのエレキギターの音については、全体的に横縞状のスペクトログラムであるのに対し、図11(G)に示すように、入力信号Bの女性音声は、発音のイントネーション変化によって曲線状のスペクトログラムとなる。単純加算による従来のミキシングによる出力のスペクトログラムを、図11(H)に示す。エレキギターが無音状態である0.0秒から0.5秒の時間区間を除いて、ほとんど図11(F)と同じである。聴感上も女性音声である入力信号Bを聞き取ることはほとんどできない。一方、図11(I)に示すように、スマートミキサのミキシング出力の時間区間1.6秒~2.0秒と2.6秒~3.0秒において、女性音声に基づく曲線状のスペクトログラムがミキシングされていることがわかる。聴感上も女性音声を十分聞き取ることができる。また、図11(H)と(I)とを比較すると、時間区間0.0秒~0.5秒のスペクトログラム形状はほぼ同じであり、単に女性音声の音量を上げて聞き取りやすくしているのではないことがわかる。

【0153】
図11(E)及び(J)の結果を得たスマートミキサの諸元を表2に示す。入力信号は、表1と同一である。また、簡単化のために、α[i,k]を定数1に固定して振幅調整は行わず、位相調整のみ行った。

【0154】
【表2】
JP0005057535B1_000029t.gif

【0155】
図11(I)と(J)とを比較すると、エレキギターのスペクトログラムの形状の崩れが図11(J)の方がより少ない。聴感上でも、図11(I)の場合には、時間区間1.6秒~2.0秒で若干歪みを生じているが、図11(J)の場合には、同じ時間区間における歪みが減少していることが聴覚上、知覚できる。

【0156】
2.ミキシング信号処理装置
図1に示すように、本発明のミキシング信号処理装置は、図2に示すような時間周波数平面上の信号データが入力され、時間周波数平面上でのミキシングを行う信号処理部15を備える。信号処理部15には、時間周波数変換部11a,11bによって、時間領域の2つの入力信号が周波数変換されて生成された信号データが入力される。信号処理部15によって生成された周波数領域のミキシング信号は、周波数時間変換部25によって、時間領域の信号に変換され、出力信号として出力される。ミキシング信号処理装置は、上述したミキシング装置の動作原理にしたがって動作する。上述した説明と重複するので詳細な説明を省略する。

【0157】
また、本発明のミキシング信号処理装置は、上述した具体例1において説明した図3に示す信号処理部15を備えることもできる。更に、具体例2~5において説明した図4~8に示す信号処理部15,45を備えることもできる。これらについての詳細な構成及び動作については上述した通りであり、重複するので詳細な説明を省略する。

【0158】
3.ミキシングプログラム
本発明の他の側面として、2つ以上の入力信号をミキシングして出力信号を出力するための、コンピュータに実行させるミキシングプログラムがある。このミキシングプログラムは、CD-ROM等の記録媒体からこのコンピュータのハードディスク等の記憶装置にインストールされたものである。あるいは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からこのコンピュータにダウンロードされた後にインストールされたものであってもよい。

【0159】
本発明に係るミキシングプログラムは、時間領域の2つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップを有する。生成された時間周波数平面上の信号データを、時間周波数平面上の信号データに基づいて演算をすることによって、時間周波数平面上でのミキシングを行いミキシングデータを生成するステップを有する。生成されたミキシングデータを、時間領域の信号に変換して出力信号を出力するステップを有する。ここで、2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号である。そして、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて明りょう度を上げるような優先演算を行うステップを含んでいる。このような優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。上述の動作をコンピュータメモリ上に展開したプログラムとしてコンピュータに実行させる。

【0160】
より具体的には、図12に示すように、ステップS11a,S11bにおいて、2つの時間周波数変換部11a,11bのそれぞれに入力信号A(n),B(n)を入力する。入力信号を入力する場合には、例えばマイク等からのリアルタイムの入力であってもよく、保存媒体に保存されたデータを入力してもよい。更には、パケットデータを入力してもよい。入力信号A(n)を非優先信号とし、入力信号B(n)を優先信号とする。

【0161】
ステップS12a,S12bにおいて、それぞれ短時間FFT、短時間フーリエ変換、ウェーブレット変換、フィルタバンクによる変換、又はその他の時間周波数分布への変換を用いて、時間領域の信号から周波数領域の信号へ変換するステップが実行される。なお、時間領域の信号を周波数領域の信号への変換方法には、一般化調和解析、正弦波分解、スパース分解等の周波数の情報を含む成分分解を行う方法を用いてもよく上記の手法に限らず周知の技術、手法を用いることができるのは上述で説明したのと同様である。

【0162】
生成された時間周波数平面上の信号データX[i,k],X[i,k]について優先演算を実行する。優先演算とは、具体例1~6で詳述した、時間周波数平面上での信号データの振幅及び位相を操作する演算であり、優先信号の明りょう度を上げるために、優先信号が非優先信号から妨害されないように優先信号及び/又は非優先信号の振幅、位相を操作する演算である。ステップS14において、優先演算を行った後に、信号データX[i,k],X[i,k]を加算し、ミキシング出力を得るためミキシングを実行する。

【0163】
ステップS13において、優先信号である信号データX[i,k]の振幅に基づいて、有音判定分布Q[i,k]を生成する。なお、有音判定分布Q[i,k]の生成の方法については、上述した通りであるので、重複して詳細な説明をすることを省略する。

【0164】
ステップS14において、ステップS13で生成された有音判定分布Q[i,k]に基づいて、有音の場合には、すなわちQ[i,k]=1の場合に優先演算の結果をミキシング出力とし、Q[i,k]=0の場合には、単純加算してミキシング出力とする。

【0165】
ステップS15において、ミキシング出力された周波数領域の信号X[i,k]を、時間領域の信号に変換し、ステップS16において、出力信号S(n)として出力する。出力信号S(n)は、スピーカやアンプ等に接続してリアルタイムでミキシング出力を出力してもよく、保存媒体に保存して別途再生したり、更に加工等してもよい。

【0166】
優先演算を実行するに際して、時間周波数平面上で隣接する信号データの振幅及び位相の調整量を計算することによって、信号データの振幅及び位相の変化量を滑らかにして、振幅、位相の強制的な演算操作による音質の劣化を抑制する。この目的のために、具体例3において詳述したように、有音判定分布Q[i,k]とピーク判定分布P[i,k]とを用いることもできる。

【0167】
図13に示すように、ステップS21a,S21bにおいて、非優先信号に設定された入力信号A(n)と、優先信号に設定された入力信号B(n)とを、それぞれ時間周波数変換部11a,11bに入力する。ステップS22a,S22bにおいて、時間周波数変換部11a,11bによって、入力された入力信号A(n),B(n)を短時間FFT等によって周波数変換して、時間周波数平面上の信号データX[i,k],X[i,k]を生成する。

【0168】
ステップS26において、ステップS22a,S22bで生成された信号データX[i,k],X[i,k]に基づいて、優先演算時の振幅及び位相の調整量を計算し、ステップS27において、ミキシングを実行する。

【0169】
ここで、ステップS23において、優先信号であるX[i,k]の座標(i,k)の近傍の信号データの振幅に基づいて有音判定分布Q[i,k]を生成する。

【0170】
ステップS24において、座標(i,k)に隣接する信号データの振幅に基づいてピーク判定分布P[i,k]を生成する。

【0171】
ステップS25において、信号処理部15によって、Q[i,k]とP[i,k]の論理積PQ[i,k]を生成し、有音ピーク判定を行う。

【0172】
ステップS27において、有音ピーク判定分布PQ[i,k]=1の場合に、優先演算結果を出力してミキシングし、PQ[i,k]=0の場合には、単純加算によるミキシングを行う。

【0173】
ステップS28において、周波数領域のミキシング出力X[i,k]を時間領域の信号に変換し、ステップS29において、時間領域の信号に変換された出力信号S(n)を出力する。

【0174】
ミキシングプログラムは、優先信号の有音判定分布に基づいて、優先演算と単純加算との切り替えを行う図12の例のような場合、優先信号の有音判定分布及びピーク判定分布に基づいて、優先演算と単純加算との切り替えを行う場合に限らない。非優先信号の有音判定分布、ピーク判定分布に基づいて、優先演算と単純加算との切り替えを行ってもよく、優先信号及び非優先信号両方の有音判定分布、ピーク判定分布を用いてもよい。有音判定分布を用いずに、ピーク判定分布のみを用いてもよい。また、図13に示したステップS26に代えて、具体例2において詳細に説明した位相調整量のリミッタ関数を用いてもよい。具体例4において詳細に説明した、ゆらぎ効果を発生させるための信号を加算するステップを、時間周波数平面上の信号データを生成した後に追加してもよい。優先演算を行う信号データについては、離散データであってもよく、連続データであってもよい。

【0175】
ミキシングプログラムをコンピュータで実行することによって、優先信号として選択した信号について、明りょう度の高い音質の改善されたミキシング出力を容易に得ることができる。

【0176】
4.ミキシング方法
本発明のもう1つの側面として、2つ以上の入力信号をミキシングして出力信号を出力するミキシング方法がある。

【0177】
本発明に係るミキシング方法は、時間周波数変換部によって、時間領域の2つ以上の入力信号を、周波数領域の信号に変換して、時間軸と周波数軸とからなる時間周波数平面上の信号データを生成するステップを有する。生成された時間周波数平面上の信号データを、信号処理部において、時間周波数平面上の信号データに基づいて演算をすることによって、時間周波数平面上でのミキシングを行いミキシングデータを生成するステップを有する。生成されたミキシングデータを、周波数時間変換部によって、時間領域の信号に変換して出力信号を出力するステップを有する。ここで、2つ以上の入力信号のうちの少なくとも1つは、明りょう度を上げるために他の入力信号よりも優先する優先信号であり、残りの入力信号は、非優先信号である。そして、ミキシングデータを生成するステップは、信号データを生成するステップにおいて生成された時間周波数平面上の各信号データの位相、遅延量、振幅又はこれらの組み合わせのうちいずれかについて行う、優先信号が非優先信号よりも優先されて、優先信号の明りょう度を上げるような優先演算を行うステップを含んでいる。このような優先演算は、優先信号の振幅を増大させ、非優先信号の振幅を減少させ、非優先信号の位相と優先信号の位相とがそろうように、非優先信号の位相を優先信号の位相に対して遅延させ若しくは進め、又は優先信号の位相を非優先信号の位相に対して遅延させ若しくは進め、又は、これらを組み合わせる演算を含む。

【0178】
より具体的には、図12、13に示すようなステップを有しており、上述したミキシングプログラムと同様であるので、ここでの詳細な説明を省略する。

【0179】
5.その他、用途等
以上説明したように、本発明のすべての側面において、優先信号の明りょう度が向上し、優先信号が非優先信号に埋もれることなく、良好なミキシング出力を得ることができる。優先信号及び非優先信号いずれについても、波形歪みを生じにくくすることができ、音質の向上を図ることができる。

【0180】
これらの本発明の特長によって、スタジオ用のミキシングコンソールに用いることができるばかりでなく、以下のように様々な用途に応用が可能である。

【0181】
例えば、自動車車内のオーディオシステムに用いることができる。すなわち、本発明のミキシング装置等を用いることによって、自動車に乗車している人が音楽を聴いているときに、カーナビゲーションのガイド音声をミキシングすると、音楽の中断なく、かつガイド音声を聞き取ることができる。

【0182】
テレビ受像機に本発明のミキシング装置等を用いることによって、緊急地震速報のような警報音を番組音声にミキシングすると、番組音声を中断することなく、視聴者に警報音を聞き取らせることができる。放送局のミキシングの場面においても同様に用いることができる。

【0183】
ラジオ局等の放送現場において、本発明のミキシング装置等を用いることができ、例えば番組テーマ曲にDJの音声を明りょう度良くミキシングすることができる。

【0184】
パーソナルコンピュータ内の多数の音源をミキシングする場合に本発明のミキシング装置等を用いることができる。例えば、ビデオ編集作業において、ビデオの音声、エディタの警告音、メール着信音等の多数の音を1つのスピーカから出力する場合に、それぞれの音を互いに妨害されないようにミキシングすることが可能である。

【0185】
カラオケ装置に用いることによって、伴奏曲に対して特別な音響効果で歌声を重ねることができ、デュエットの際に2人の歌声を心地よく調和させるようにミキシングすることも可能である。

【0186】
携帯電話に用いることによって、多人数が会話をしている場合に、特定の人の声の明りょう度を上げて、際立たせることができる。

【0187】
インタネットを用いた会議システムに用いることによって、同時発言者があっても、特定の人、例えば司会者の声のみを際立たせることもできる。

【0188】
また、音声と音楽(楽器音、BGM)とのミキシングに限らず、楽器音同士をミキシングした場合に、メロディ等の重要なパートの楽器音を優先する処理に用いることもできる。

【0189】
その他、他の音声処理プログラム又はソフトウェアのプラグインとして用いること等も可能である。

【0190】
以上説明したミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法は、具体例を説明するためのものであって、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【符号の説明】
【0191】
10 ミキシング装置、11a,11b 時間周波数変換部、15 信号処理部、16a,16b 係数器、17a,17b 振幅/位相演算部、18,18a,18b 加算器、19,19a,19b 複素数演算部、20,20a,20b 優先演算制御部、21,21a,21b 有音判定部、22 加算器、23 加減算器、24 係数器、25 周波数時間変換部、26 加減算器、27 位相調整量格納部、28 リミッタ、29,30 加算器、31a 振幅調整部、31b 位相調整部、32 乗算器、33 加算器、34 ピーク判定部、35 優先演算判定部、36 信号発生器、37 加算器、38 係数器、40 ミキシング装置、41a,41b 時間周波数変換部、42 第1のBPF、43 第2のBPF、44 第3のBPF、45 信号処理部、46a,46b 係数器、47 第1のスマートミキサエレメント、48 第2のスマートミキサエレメント、49 第3のスマートミキサエレメント、50 時間周波数変換部、51a,51b 信号入力部、52a,52b 振幅演算部、53a,53b エネルギ演算部、54 優先演算部、55a,55b 可変係数器、56 加算器、57 信号出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12