Top > Search of Japanese Patents > (In Japanese)目的音響信号復元システム及び方法

(In Japanese)目的音響信号復元システム及び方法 foreign

Patent code P190015985
File No. 5360
Posted date Apr 25, 2019
Application number P2018-519566
Date of filing May 23, 2017
International application number JP2017019259
International publication number WO2017204226
Date of international filing May 23, 2017
Date of international publication Nov 30, 2017
Priority data
  • P2016-102063 (May 23, 2016) JP
Inventor
  • (In Japanese)坂東 宜昭
  • (In Japanese)吉井 和佳
  • (In Japanese)糸山 克寿
  • (In Japanese)奥乃 博
Applicant
  • (In Japanese)国立大学法人京都大学
Title (In Japanese)目的音響信号復元システム及び方法 foreign
Abstract (In Japanese)事前情報を用いずに雑音が含まれる音響信号から目的音響信号を高い精度で復元することができる音声信号復元システム及び方法を提供する。Mチャネルの振幅スペクトログラムを入力として、Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定部7を設ける。位相復元部9は、共通スパース成分の位相を復元して目的音響複素スペクトログラムとする。目的音響信号変換部13は、目的音響複素スペクトログラムを時間信号である目的音響信号に変換する。
Outline of related art and contending technology (In Japanese)

非特許文献1には、雑音と目的音響信号の混合音を観測した多チャネル音響信号から、目的音響信号のみを分離できる技術が開示されている。

非特許文献2には、複数のマイクロホンによって採取した複数チャネルの音響信号に含まれる音声信号を復元する技術が開示されている。具体的には、マイクロホンアレイを搭載した柔軟索状ロボットで収録した音響信号の音声強調のために、RPCA(ロバスト主成分分析)をマイクロホンアレイに適用する雑音抑圧法が開示されている。この技術では、まず各チャネルにそれぞれRPCA を適用し、各チャネルの共通成分を抽出するために中央値を取って統合している。

また非特許文献3に記載の技術では、雑音の事前情報無しで雑音の低ランク性と音声のスパース性から音声強調を行う。

さらに特許文献1(特許第5752324号公報)に記載の技術では、単チャネル音響信号からインパルス性(突発的) 雑音を除去する。この技術は、インパルス性雑音を除去する性能は高いが、一方で想定しない持続的な非定常雑音(低ランク雑音) では性能が劣化する。

また特許文献2(特開2009-116275公報)に記載の技術では、単チャネル音響信号から平均二乗誤差最小法(MMSE) に基づいて雑音を抑圧する。MMSE は、雑音の定常性を仮定するため非定常雑音の抑圧では性能が劣化する。

特許文献3(特開2014-503849公報)に記載の技術では、雑音源の近くに子機マイクを配置し、本マイクの情報を積極的に利用して音声強調を行う技術が開示されている。本技術では、雑音源の位置が特定されており、また子機マイクをその雑音源近くに配置する必要がある。

特許文献4(特開2015-095897公報)には、ビデオ信号に対し低ランク成分とスパース成分を抽出することで、背景映像と移動する物体の映像を分離する技術が開示されている。本手法を音声強調へ応用することは可能であるが、一部のマイクが障害物等で音声を十分録音出来なかったときに性能が大きく劣化する。

特許文献5(特開2014-058399公報)に記載の技術では、任意の数の音源信号の混合音を観測した多チャネル音響信号から各音源信号を分離抽出する。本技術では、各マイクロホンの位置および音源位置が固定であると仮定されており、これらが動く場合性能が劣化する。

Field of industrial application (In Japanese)

本発明は、低ランク性雑音により妨害された目的音響信号を、観測した複数チャネルの音響信号から復元する目的音響信号復元システム及び方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
M本(Mは2以上の整数)のマイクロホンによって採取したMチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元システムであって、
前記M本(Mは2以上の整数)のマイクロホンによって採取した前記Mチャネルの音響信号を時間周波数解析してMチャネルの複素スペクトログラムを得る時間周波数解析部と、
前記Mチャネルの複素スペクトログラムからMチャネルの振幅スペクトログラムを抽出する振幅成分抽出部と、
前記Mチャネルの振幅スペクトログラムを入力として、前記Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定部と、
前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元部と、
前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換部とからなる目的音響信号復元システム。

【請求項2】
 
前記共通スパース成分推定部は、前記Mチャネルの振幅スペクトログラムからそれぞれ反復推定i-1回目(iは2以上の正数)の低ランク成分を除いて得たM個のスパース成分を含む残余の総和を、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定i回目の前記共通スパース成分として推定する請求項1に記載の目的音響信号復元システム。

【請求項3】
 
前記共通スパース成分推定部は、
前記Mチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算部と、
前記低ランク成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個の低ランク成分を演算する低ランク成分演算部と、
前記Mチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算部と、
前記スパース成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個のスパース成分を含む残余成分を演算する残余成分演算部と、
前記M個のスパース成分を含む残余成分と前記共通スパース成分とに基づいて、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率を前記M個のスパース成分の音量として演算する音量演算部と、
前記M個のスパース成分を含む残余成分の総和を前記M個のスパース成分の音量の総和で除算して前記共通スパース成分を演算する共通スパース成分演算部とを備えて、
前記低ランク成分比率演算部、低ランク成分演算部、スパース成分比率演算部、残余成分演算部、音量演算部及び前記共通スパース成分演算部において反復演算を行うことにより前記共通スパース成分を推定する請求項2に記載の音声信号復元システム。

【請求項4】
 
前記共通スパース成分推定部は、変分ベイズEM法または逐次変分ベイズEM法により前記共通スパース成分をベイズ推定するベイズ推定器によって構成されている請求項1に記載の音声信号復元システム。

【請求項5】
 
コンピュータを用いて、M本(Mは2以上の整数)のマイクロホンによって採取したMチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法であって、
前記M本(Mは2以上の整数)のマイクロホンによって採取した前記Mチャネルの音響信号を時間周波数解析してMチャネルの複素スペクトログラムを得る時間周波数解析ステップと、
前記Mチャネルの複素スペクトログラムからMチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、
前記Mチャネルの振幅スペクトログラムを入力として、前記Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、
前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、
前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換ステップとからなる目的音響信号復元方法。

【請求項6】
 
前記共通スパース成分推定ステップでは、前記Mチャネルの振幅スペクトログラムからそれぞれ反復推定i-1回目の低ランク成分を除いて得たM個のスパース成分を含む残余の総和を、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定i回目の前記共通スパース成分として推定する請求項5に記載の目的音響信号復元方法。

【請求項7】
 
前記共通スパース成分推定ステップは、
前記Mチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算ステップと、
前記低ランク成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個の低ランク成分を演算する低ランク成分演算ステップと、
前記Mチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算ステップと、
前記スパース成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個のスパース成分を含む残余成分を演算する残余成分演算ステップと、
前記M個のスパース成分を含む残余成分と前記共通スパース成分とに基づいて、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率を前記M個のスパース成分の音量として演算する音量演算ステップと、
前記M個のスパース成分を含む残余成分の総和を前記M個のスパース成分の音量の総和で除算して前記共通スパース成分を演算する共通スパース成分演算ステップを備えて、
前記低ランク成分比率演算ステップ、前記低ランク成分演算ステップ、前記スパース成分比率演算ステップ、前記残余成分演算ステップ、前記音量演算ステップ及び前記共通スパース成分演算ステップにおいて反復演算を行うことにより前記共通スパース成分を推定する請求項6に記載の音声信号復元方法。

【請求項8】
 
M本(Mは2以上の整数)のマイクロホンによって採取したMチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法を、コンピュータを用いて実現するためにコンピュータ読み取り可能な記憶手段に記憶されたコンピュータプログラムであって、
前記M本(Mは2以上の整数)のマイクロホンによって採取した前記Mチャネルの音響信号を時間周波数解析してMチャネルの複素スペクトログラムを得る時間周波数解析ステップと、
前記Mチャネルの複素スペクトログラムからMチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、
前記Mチャネルの振幅スペクトログラムを入力として、前記Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、
前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、
前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換ステップを前記コンピュータで実現するための目的音響信号復元用コンピュータプログラム。
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

JP2018519566thum.jpg
State of application right Published
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close