TOP > 国内特許検索 > 音信号処理装置、ヘッドホン装置および音信号処理方法 > 明細書

明細書 :音信号処理装置、ヘッドホン装置および音信号処理方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5219202号 (P5219202)
公開番号 特開2010-082375 (P2010-082375A)
登録日 平成25年3月15日(2013.3.15)
発行日 平成25年6月26日(2013.6.26)
公開日 平成22年4月15日(2010.4.15)
発明の名称または考案の名称 音信号処理装置、ヘッドホン装置および音信号処理方法
国際特許分類 A61F  11/00        (2006.01)
G10L  21/0272      (2013.01)
H04R   1/10        (2006.01)
FI A61F 11/00 300
G10L 21/02 202Z
H04R 1/10 101B
請求項の数または発明の数 8
全頁数 17
出願番号 特願2008-257692 (P2008-257692)
出願日 平成20年10月2日(2008.10.2)
審査請求日 平成23年7月8日(2011.7.8)
特許権者または実用新案権者 【識別番号】593165487
【氏名又は名称】学校法人金沢工業大学
発明者または考案者 【氏名】樋口 正法
個別代理人の代理人 【識別番号】100105924、【弁理士】、【氏名又は名称】森下 賢樹
審査官 【審査官】川島 徹
参考文献・文献 特開昭62-226180(JP,A)
特開平06-078998(JP,A)
特表2003-533258(JP,A)
特表2005-508218(JP,A)
国際公開第2006/122304(WO,A1)
国際公開第2008/038650(WO,A1)
樋口 正法,Steady-State型聴覚誘発脳磁場波形の周波数応答に関する一考察,電子情報通信学会技術研究報告 Vol.103 No.521 IEICE Technical Report,日本,社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2003年12月11日,第103巻,19-24
調査した分野 A61F 11/00
G10L 21/0272
H04R 1/10
特許請求の範囲 【請求項1】
複数の音信号の波形の各々と測定された脳波形の相関値を求める相関計算部と、
複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、
注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、前記複数の音信号を合成する重み付け合成部とを含むことを特徴とする音信号処理装置。
【請求項2】
前記相関計算部は、複数の音信号の波形の各々のスペクトルと測定された脳波形のスペクトルのクロススペクトルの大きさを前記相関値として求めることを特徴とする請求項1に記載の音信号処理装置。
【請求項3】
前記重み付け合成部は、複数の音信号が複数の集音器で集音される場合、注聴音として特定された音信号が他の音信号よりも強調されるように、各集音器で取得された音信号の大きさを重み付けして加算することで、前記複数の音信号を合成することを特徴とする請求項1または2に記載の音信号処理装置。
【請求項4】
前記重み付け合成部は、複数の音信号が一つの集音器で集音される場合、その集音器で取得された音信号を複数の周波数帯域に分離し、注聴音として特定された音信号が他の音信号よりも強調されるように、分離された周波数帯域における音信号の大きさを重み付けして加算することで、前記複数の音信号を合成することを特徴とする請求項1または2に記載の音信号処理装置。
【請求項5】
脳波形を測定する脳波形測定部と、
測定された脳波形と複数の音信号の波形の相関値を求める相関計算部と、
前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、
注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成する重み付け合成部と、
前記重み付け合成部により合成された音信号を出力する音出力部と
を含むことを特徴とするヘッドホン装置。
【請求項6】
前記脳波形測定部は、頭部に装着されるペーストレスの電極により脳波形を測定することを特徴とする請求項5に記載のヘッドホン装置。
【請求項7】
測定された脳波形と複数の音信号の波形の相関値を求めるステップと、
前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、
注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとを含むことを特徴とする音信号処理方法。
【請求項8】
測定された脳波形と複数の音信号の波形の相関値を求めるステップと、
前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、
注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとをコンピュータに実行させることを特徴とするプログラム。
発明の詳細な説明 【技術分野】
【0001】
この発明は、音信号処理装置、ヘッドホン装置および音信号処理方法に関する。
【背景技術】
【0002】
脳信号を用いて機械や義足・義手などを操作したり、コンピュータに対して命令を与える技術としてBMI(Brain Machine Interface)やBCI(Brain Computer Interface)の研究が行われている。BMIやBCIは障害者や患者を主たる対象としており、一部実用化が進められているものは、脳への電極装着が必要な侵襲的な手段を用いている。
【発明の開示】
【発明が解決しようとする課題】
【0003】
BMIやBCIにおいて、より多くのニーズに応えるためには、健常者でも利用できるように、非侵襲的な手段を用いなければならない。侵襲的な手段を用いた方が計測される信号の品質は優れているが、マンマシンインタフェースの用途のためには、信号の精度が落ちても、装着しやすい、小型の計測手段を用いる方が好ましい。また、信号の精度の劣化は信号処理の工夫により、克服すべきである。
【0004】
BMIやBCIの研究では脳信号を取り出して、機械を制御することを目的とするものが多いが、脳信号をもとにして、脳に対して何らかの刺激をフィードバックすることで脳機能そのものを補助することは考えられていない。たとえば、人間は、「カクテルパーティー効果」としてよく知られているように、複数の音から自分が注聴する音だけを聞き分ける能力を有している。これは主に脳による情報処理の結果であり、脳機能の一つということができる。
【0005】
本発明はこうした課題に鑑みてなされたものであり、その目的は、脳信号を利用して音信号を処理する音信号処理装置、ヘッドホン装置および音信号処理方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様の音信号処理装置は、複数の音信号の波形の各々と測定された脳波形の相関値を求める相関計算部と、複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、注聴音として特定された音信号が他の音信号よりも強調されるように重み付けした上で、前記複数の音信号を合成する重み付け合成部とを含む。
【0007】
本発明の別の態様は、ヘッドホン装置である。この装置は、脳波形を測定する脳波形測定部と、測定された脳波形と複数の音信号の波形の相関値を求める相関計算部と、前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定する特定部と、注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成する重み付け合成部と、前記重み付け合成部により合成された音信号を出力する音出力部とを含む。
【0008】
本発明のさらに別の態様は、音信号処理方法である。この方法は、測定された脳波形と複数の音信号の波形の相関値を求めるステップと、前記複数の音信号の内、前記相関値が最も大きい音信号を注聴音として特定するステップと、注聴音として特定された音信号を他の音信号よりも強調するように重み付けした上で、前記複数の音信号を合成するステップとを含む。
【0009】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によれば、脳信号を利用することで、人が聴いている音信号を適切に信号処理することができる。
【発明を実施するための最良の形態】
【0011】
図1は、本実施の形態に係る音信号処理装置100の構成図である。
【0012】
脳波形測定部10は、人の脳波を非侵襲的な方法で測定する。音信号の脳内処理を正確に把握するには、リアルタイム性が要求される。そのため、時間分解能の高い脳神経活動信号を扱う必要がある。時間分解能の高い脳信号を計測できる非侵襲的計測装置として、脳磁図(MEG;magnetoencephalogram)計と脳波(EEG;electroencephalogram)計がある。
【0013】
ここでは脳磁図計を利用した実験例を紹介するが、脳磁図計は装置が大がかりで高価であり、人に対する拘束性も高いため、実験には適しても、実用装置には適さない。そこで、実用的には脳波計を用いるのが好適である。一例として、ペーストレスの電極を人の頭部に装着して脳信号を測定するヘルメット型の脳波測定器具を使用するのが利便性の面で好ましい。
【0014】
リアルタイムデータ処理部30は、脳波形測定部10により測定された脳信号と、ユーザがヘッドホンやスピーカーで聴く音楽などの音信号とをリアルタイムで処理する。
【0015】
脳波形測定部10により測定された脳信号は、外来ノイズに加え、自発性(背景活動)脳磁場(脳波)やその他の刺激誘発脳磁場(脳波)などの重ね合わせ波形であり、目的の信号を単独波形として取り出すことは困難である。そこで、波形を単独で取り出すことをせずに、音信号との相関性などを指標にして、脳がどの音に注目しているかを判定する。
【0016】
リアルタイムデータ処理部30は、A/D変換部12と、相関計算部14と、注聴音特定部16と、音信号波形データ記憶部18とを含む。
【0017】
A/D変換部12は、脳波形測定部10により測定された脳信号をデジタルデータに変換し、相関計算部14に供給する。音信号波形データ記憶部18には、ユーザがヘッドホンやスピーカーで聴いている複数の音信号の波形データが音信号処理部40から供給されて保持される。
【0018】
相関計算部14は、音信号波形データ記憶部18から取得した複数の音信号の各々の波形と、測定された脳波形との間で相関を求める。注聴音特定部16は、複数の音信号の内、相関が最も大きい音信号を注聴音として特定し、特定された注聴音の識別番号を音信号処理部40に通知する。
【0019】
音信号処理部40は、複数のマイク50から入力される音信号を重み付け合成してヘッドホンやスピーカーなどに出力する。音信号処理部40は、音信号入力部20と、重み付け合成部22と、重み設定部24と、音出力部26とを含む。
【0020】
音信号入力部20は、複数のマイク50から入力される複数の音信号をA/D変換し、重み付け合成部22に供給する。また、音信号入力部20は、複数の音信号のデジタルデータをリアルタイムデータ処理部30の音信号波形データ記憶部18に供給する。
【0021】
重み設定部24は、注聴音特定部16から注聴音として特定された音信号を他の音信号よりも強調するように、各マイク50から入力された音信号に対する重み付けを設定する。重み付け合成部22は、重み設定部24により設定された重み付けにしたがって、各マイク50から入力された音信号を重み付けして合成する。
【0022】
重み付け合成部22により合成された音信号は音出力部26に供給される。音出力部26は合成された音信号をD/A変換してヘッドホンやスピーカーなどから出力する。
【0023】
図2は、人が音楽を聴いているときの脳波形を説明する図である。図2(a)は、曲「禁じられた遊び」を聴いているときに脳波形200aを示す。図2(b)は、曲「きらきら星」を聴いているときに脳波形200bを示す。この脳波形はMEG測定装置により実験的に取得したものである。
【0024】
図3は、脳波形と曲の音信号波形の相関を説明する図である。図3(c)はMEGチャネルの脳内配置図を示す図である。図3(a)、図3(b)は、横軸をMEGチャネル番号として、縦軸を相関の評価値としたグラフである。
【0025】
図3(a)は、曲「禁じられた遊び」を聴いているときの脳波形について、二つの曲の音信号波形との間で、チャネル毎にどのような相関があるかを示したものである。実線は曲「禁じられた遊び」の音波形との相関を示し、点線は曲「きらきら星」音波形との相関を示す。図3(a)から、ほとんどのチャネルにおいて、曲「禁じられた遊び」を聴いているときの脳波形は、曲「禁じられた遊び」の音波形と相関が、曲「きらきら星」の音波形との相関よりも大きいことがわかる。
【0026】
図3(b)は、曲「きらきら星」を聴いているときの脳波形について、二つの曲の音信号波形との間で、チャネル毎にどのような相関があるかを示したものである。実線は曲「禁じられた遊び」の音波形との相関を示し、点線は曲「きらきら星」音波形との相関を示す。図3(b)から、ほとんどのチャネルにおいて、曲「きらきら星」を聴いているときの脳波形は、曲「きらきら星」の音波形と相関が、曲「禁じられた遊び」の音波形との相関よりも大きいことがわかる。
【0027】
図4は、図3(a)、図3(b)の各チャネルにおける相関値を全チャネルで合計した結果を示す図である。左側のグラフは、曲「禁じられた遊び」を聴いているときの二つの曲との相関値を示すものであり、曲「禁じられた遊び」の方が相関が高くなっている。右側のグラフは、曲「きらきら星」を聴いているときの二つの曲との相関値を示すものであり、曲「きらきら星」の方が相関が高くなっている。
【0028】
このことから、二つの曲「禁じられた遊び」と「きらきら星」がミキシングされてヘッドホンやスピーカーから出力されている状況であっても、ユーザが二つの曲「禁じられた遊び」と「きらきら星」のいずれか一方を注聴している場合は、脳波形はその注聴している曲の音波形との相関が大きく現れることが予想される。
【0029】
図5は、二つの曲がミキシングされた状況で、いずれか一方の曲を注聴した場合の脳波形と音波形の相関を示す図である。被験者は、二つの曲「禁じられた遊び」と「きらきら星」がミキシングされた音をヘッドホンで聴いており、いずれか一方の曲を注聴するように命令が与えられる。10回の命令の内、3回目と9回目では曲「禁じられた遊び」を注聴するように命令され、それ以外は曲「きらきら星」を注聴するように命令されている。各回において、測定された脳波形と各曲の音波形の相関値がグラフで示されている。黒色のグラフは脳波形と曲「禁じられた遊び」の音波形の相関値、灰色のグラフは脳波形と曲「きらきら星」の音波形の相関値を示す。
【0030】
曲「禁じられた遊び」を注聴するように命令された3回目と9回目では、脳波形は曲「禁じられた遊び」の音波形との相関の方が大きくなっていることがわかる。曲「きらきら星」を注聴するように命令されたそれ以外の回では、脳波形は、総じて曲「きらきら星」の音波形との相関の方が大きくなっていることがわかるが、4回目、5回目、7回目では曲「きらきら星」との相関の方が大きく出ており、エラーとなっている。
【0031】
被験者の集中力などの問題もあり、実験結果にはばらつきや誤差があるが、複数の曲を同時に聴いている場合でも、測定された脳波形は、注聴している曲の音波形との相関の方が大きく現れる傾向があることを実験的に確認することができた。
【0032】
図6~図9を参照して、相関計算部14による脳波形と音信号波形の相関の求め方を説明する。
【0033】
図6は、単発音(クリック音)に対する脳信号波形を説明する図である。図6(a)は、図6(b)のようなクリック音の音刺激を右耳に2秒間与えたときの脳信号の脳内分布を示す。図6(c)は、図6(a)に示す2箇所の脳信号波形をグラフにしたものであり、クリック音に対する聴覚誘発脳磁場波形の典型例を示す。
【0034】
図7は、単発音(クリック音)を連続して聴いた場合の脳信号波形を説明する図である。図7(a)に示すようにクリック音の音刺激を25ミリ秒間隔で1秒間連続して右耳に与える。理論的には、図7(c)に示すように、単発のクリック音に対するインパルス応答を合成した波形になる。図7(b)は、単発音に対する図6(c)の応答波形を合成した波形である。一方、図7(d)は、実際に測定された脳信号波形である。図7(b)と図7(d)を比較すると、よく一致していることがわかる。これは脳の応答の線形性を示すものである。
【0035】
図8は、連続音に対する脳信号波形が生成される原理を説明する図である。連続音に対する脳信号波形は、音圧の強弱すなわち音波形のエンベロープ曲線と単発音に対する脳信号波形のコンボリューションで与えられることが予測される。単発音に対する脳信号波形をフーリエ変換すると高域遮断特性を示すので、音波形のエンベロープ曲線と単発音に対する脳信号波形のコンボリューションは、低域通過処理と同等である。
【0036】
図9は、相関計算部14が脳波形と音波形の相関を求める方法を説明する図である。信号の時間波形を評価するためには、位相遅れ(時間遅れ)を考慮する必要があるが、これを正確に推測することは困難である。そこで、位相遅れを考慮しなくても済むように、信号のスペクトルを用いて評価する。具体的には、音信号のエンベロープ曲線のスペクトルと脳信号のスペクトルのクロススペクトルを計算し、その低周波領域での大きさを指標とする。
【0037】
図9(a)は脳信号波形を示す。これをフーリエ変換すると、図9(d)に示す脳信号波形のスペクトルが得られる。
【0038】
図9(b)は音楽波形を示し、この音楽波形のエンベロープ波形は図9(c)のようになる。図9(c)のエンベロープ波形をフーリエ変換することにより、図9(e)に示すエンベロープの複素共役スペクトルが得られる。
【0039】
図9(d)の脳信号波形スペクトルと図9(e)のエンベロープ波形スペクトルのクロススペクトルを計算すると、図9(f)のようになる。このようにして求めたクロススペクトルの低周波領域における大きさ(絶対値)を相関の評価量とし、その値が大きいほど相関が大きいと判断する。
【0040】
次に、重み付け合成部22が複数の音信号を重み付けして合成する方法について説明する。複数の音源から音信号が出力されており、各音源の近傍に個別にマイク50が備えられており、各マイク50に各音源からの音信号が入力される場合、重み設定部24は、入力された複数の音信号に対して、注聴音特定部16により注聴音として特定された音信号の重みを他の信号の重みを相対的に大きくするように重み付けを設定すればよい。
【0041】
複数の音源から音信号が出力されているが、複数のマイク50が必ずしも各音源の近傍に設けられていない場合は、マイク50に入力される音を何らかの方法で分離する技術を用いて、注聴音として特定された音信号を取り出して強調する必要がある。
【0042】
図10は、音を空間分離する方法を説明する図である。二つの音源S1、S2から出力される二つの音信号を左右の耳で聴いている場合を想定する。これは左右の耳にマイクがあるのと同じことである。この場合、左耳に入力される音の大きさは、Ls=aM1+bM2であり、右耳に入力される音の大きさは、Rs=aM1+bM2である。ここで、M1、M2は各音源からの音信号の大きさである。ただし、音源S1、S2と左右の耳の間の遠近関係から、a>a、b<bである。
【0043】
M1について解くと、M1=(bLs-bRs)/(a-a)となる。大きさを無視すれば、M1はLs-αRsで与えられる。ただしα=b/bである。ここでαを変えれば、左耳にM1だけが聞こえてくる状態を作り出すことができる。より多くのマイクを使用すれば、より多くの音源に対応して、特定の音源からの音信号を分離することができるようになる。
【0044】
このように複数の音源からの音信号が複数のマイクで集音されるとき、マイクの指向性や感度を調整することで、特定の音源からの音信号を取り出してマイクに集音させることができる。
【0045】
より高度な音源分離の手法として、ブラインド音源分離(BSS;Blind Source Separation)がある。BSSは、複数のマイクに線形に合成された信号が入力された場合に、音源信号や合成過程の知識を用いずに、観測信号のみから音源信号を推定して分離する技術である。独立成分分析法(ICA;Independent Component Analysis)を用いて音源分離する手法もある。
【0046】
図11は、音の空間分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。
【0047】
複数の音源60a~60dに対して、複数のマイク50a~50cが配置されたとする。各マイク50a、50b、50cに集音される音信号に対する重みWa、Wb、Wcを調整して加算することで、上述の音の空間分離技術により、複数の音源60a~60dから出力された複数の音信号の内、注聴音として特定された音信号を強調した合成信号を生成することができる。
【0048】
図12は、周波数帯域によって音を分離する技術を用いて複数の音信号を重み付け合成する方法を説明する図である。
【0049】
複数の音源60a~60eに対して、マイク50が一つしかない場合、音を空間的に分離することはできない。そこで、マイク50に入力された音信号を複数の周波数帯域に分離し、各周波数帯域の音信号を重み付けした上で加算する。元の音情報を保持するために、音信号を周波数帯域に分離する際、重なりをもたせて分離させることが好ましい。
【0050】
音楽により、周波数スペクトル構造が異なるので、各音源から出力される音信号の周波数スペクトルを解析し、周波数スペクトル構造に合った周波数帯域を音源毎に選択すれば、各音源から出力される音信号をかなりの精度で分離することができる。
【0051】
以上説明した実施の形態の音信号処理装置によれば、人混みの中で注聴している人の声を強調してユーザの聴覚にフィードバックすることができる。たとえば、高次難聴者の補聴器などの医療用具や健聴者用の聴覚補助装置などに応用することができる。
【0052】
また、本装置によれば、ユーザが注聴している音を第三者が言語手段を介さずに知ることができる。これにより、言語能力が未熟な幼児や言語障害のある人であっても、特定の音に注聴することで第三者に意思を伝えることができるので、コミュニケーションの手助けになる。また、講演やコンサートなどが行われている会場において、聴衆が講演やコンサートに聴き入っているかどうかをモニタする装置に応用することもできる。
【0053】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【図面の簡単な説明】
【0054】
【図1】本実施の形態に係る音信号処理装置の構成図である。
【図2】人が音楽を聴いているときの脳波形を説明する図である。
【図3】脳波形と曲の音信号波形の相関を説明する図である。
【図4】図3(a)、図3(b)の各チャネルにおける相関値を全チャネルで合計した結果を示す図である。
【図5】二つの曲がミキシングされた状況で、いずれか一方の曲を注聴した場合の脳波形と音波形の相関を示す図である。
【図6】単発音に対する脳信号波形を説明する図である。
【図7】単発音を連続して聴いた場合の脳信号波形を説明する図である。
【図8】連続音に対する脳信号波形が生成される原理を説明する図である。
【図9】図1の相関計算部が脳波形と音波形の相関を求める方法を説明する図である。
【図10】音を分離する方法を説明する図である。
【図11】音の分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。
【図12】別の音の分離技術を用いて複数の音信号を重み付け合成する方法を説明する図である。
【符号の説明】
【0055】
10 脳波形測定部、 12 A/D変換部、 14 相関計算部、 16 注聴音特定部、 18 音信号波形データ記憶部、 20 音信号入力部、 22 重み付け合成部、 24 重み設定部、 26 音出力部、 30 リアルタイムデータ処理部、 40 音信号処理部、 50 マイク、 60 音源、 100 音信号処理装置。
図面
【図1】
0
【図4】
1
【図8】
2
【図11】
3
【図12】
4
【図2】
5
【図3】
6
【図5】
7
【図6】
8
【図7】
9
【図9】
10
【図10】
11