Top > Search of International Patents > SYSTEM AND METHOD FOR TARGET SOUND SIGNAL RESTORATION

SYSTEM AND METHOD FOR TARGET SOUND SIGNAL RESTORATION

Foreign code F180009664
File No. 5360
Posted date Nov 21, 2018
Country WIPO
International application number 2017JP019259
International publication number WO 2017204226
Date of international filing May 23, 2017
Date of international publication Nov 30, 2017
Priority data
  • P2016-102063 (May 23, 2016) JP
Title SYSTEM AND METHOD FOR TARGET SOUND SIGNAL RESTORATION
Abstract Provided are a system and a method for voice signal restoration that are able to restore, with a high degree of accuracy, a target sound signal from a noise-containing sound signal without using prior information. A common sparse component estimation unit 7 that receives, as input, amplitude spectrograms of M channels is provided for estimating a common sparse component containing a sparse time-frequency component which is highly likely to be commonly included in the amplitude spectrograms of the largest number of channels among the M channels. A phase restoration unit 9 restores a phase of the common sparse component so as to obtain a target sound complex spectrogram. A target sound signal conversion unit 13 converts the target sound complex spectrogram into a target sound signal, which is a temporal signal.
Outline of related art and contending technology BACKGROUND ART
Is the non-patent document 1, the target speech signal and noise of a mixture of multi-channel acoustic signal observed, only the target speech signal can be separated from the disclosed technology.
Is the non-patent document 2, a plurality of microphones of the acoustic signal collected by a plurality of channels to restore the audio signal included in the disclosed technique. Specifically, the microphone array is mounted and a flexible rope-shaped robot recorded in the audio signal for speech enhancement, microphone arrays (robust principal component analysis) RPCA applied to noise suppression method is disclosed. In this technique, first applied to the respective channels RPCA, a common component of each channel in order to extract the center value is taken to integrate.
The technique described in Non-Patent Document 3 is, without a priori information of the noise of the noise sound from the low-rank property and enhancing the sparsity of the sound.
The patent document 1 (Patent Publication 5752324) of the technique, a single channel sound signal (accidental) from the impulse noise is removed. This technique, the performance of removing impulsive noise is high, while the continuous non-stationary noise is not assumed (low-rank noise) deterioration of the performance.
Patent Document 2 (JP-2009-116275 publication) in the technique, a single channel sound signal from the minimum mean square error (MMSE) method on the basis of the noise suppression. MMSE is, it is assumed that the stationarity of the noise for the suppression of non-stationary noise and the performance is degraded.
Patent Document 3 (Japanese Laid-open 2014-503849) in the technique described in, the noise source is disposed near the microphone of the mobile device, to actively utilize the information of the present microphone audio enhancement technique is disclosed. Of the present technology, have been identified and the position of the noise source, the child that the microphone is located near the noise source.
Patent Document 4 (Japanese Laid-open 2015-095897) is, the video signal and extracting low-rank component in the sparse component, and a background image for the image of the moving objects has been disclosed a technology. Is applied to the sound emphasis with this approach is possible, a portion of the audio recording microphone an obstacle or the like cannot be sufficiently increased when the performance degradation.
Patent Document 5 (Japanese Laid-open 2014-058399) in the technique described, any number of the sound source signal of a mixture of multi-channel acoustic signal observed from the separating and extracting the sound source signal. Of the present technology, the position of each microphone and the sound source position is fixed and assumed, and the performance is degraded when they move.
Scope of claims (In Japanese)請求の範囲 [請求項1]
 M本(Mは2以上の整数)のマイクロホンによって採取したMチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元システムであって、
 前記M本(Mは2以上の整数)のマイクロホンによって採取した前記Mチャネルの音響信号を時間周波数解析してMチャネルの複素スペクトログラムを得る時間周波数解析部と、
 前記Mチャネルの複素スペクトログラムからMチャネルの振幅スペクトログラムを抽出する振幅成分抽出部と、
 前記Mチャネルの振幅スペクトログラムを入力として、前記Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定部と、
 前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元部と、
 前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換部とからなる目的音響信号復元システム。

[請求項2]
 前記共通スパース成分推定部は、前記Mチャネルの振幅スペクトログラムからそれぞれ反復推定i-1回目(iは2以上の正数)の低ランク成分を除いて得たM個のスパース成分を含む残余の総和を、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定i回目の前記共通スパース成分として推定する請求項1に記載の目的音響信号復元システム。

[請求項3]
 前記共通スパース成分推定部は、
 前記Mチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算部と、
 前記低ランク成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個の低ランク成分を演算する低ランク成分演算部と、
 前記Mチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算部と、
 前記スパース成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個のスパース成分を含む残余成分を演算する残余成分演算部と、
 前記M個のスパース成分を含む残余成分と前記共通スパース成分とに基づいて、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率を前記M個のスパース成分の音量として演算する音量演算部と、
 前記M個のスパース成分を含む残余成分の総和を前記M個のスパース成分の音量の総和で除算して前記共通スパース成分を演算する共通スパース成分演算部とを備えて、
 前記低ランク成分比率演算部、低ランク成分演算部、スパース成分比率演算部、残余成分演算部、音量演算部及び前記共通スパース成分演算部において反復演算を行うことにより前記共通スパース成分を推定する請求項2に記載の音声信号復元システム。

[請求項4]
 前記共通スパース成分推定部は、変分ベイズEM法または逐次変分ベイズEM法により前記共通スパース成分をベイズ推定するベイズ推定器によって構成されている請求項1に記載の音声信号復元システム。

[請求項5]
 コンピュータを用いて、M本(Mは2以上の整数)のマイクロホンによって採取したMチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法であって、
 前記M本(Mは2以上の整数)のマイクロホンによって採取した前記Mチャネルの音響信号を時間周波数解析してMチャネルの複素スペクトログラムを得る時間周波数解析ステップと、
 前記Mチャネルの複素スペクトログラムからMチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、
 前記Mチャネルの振幅スペクトログラムを入力として、前記Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、
 前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、
 前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換ステップとからなる目的音響信号復元方法。

[請求項6]
 前記共通スパース成分推定ステップでは、前記Mチャネルの振幅スペクトログラムからそれぞれ反復推定i-1回目の低ランク成分を除いて得たM個のスパース成分を含む残余の総和を、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定i回目の前記共通スパース成分として推定する請求項5に記載の目的音響信号復元方法。

[請求項7]
 前記共通スパース成分推定ステップは、
 前記Mチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算ステップと、
 前記低ランク成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個の低ランク成分を演算する低ランク成分演算ステップと、
 前記Mチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算ステップと、
 前記スパース成分の比率に基づいて前記Mチャネルの振幅スペクトログラムに含まれるM個のスパース成分を含む残余成分を演算する残余成分演算ステップと、
 前記M個のスパース成分を含む残余成分と前記共通スパース成分とに基づいて、前記共通スパース成分に前記M個のスパース成分が含まれている含有比率を前記M個のスパース成分の音量として演算する音量演算ステップと、
 前記M個のスパース成分を含む残余成分の総和を前記M個のスパース成分の音量の総和で除算して前記共通スパース成分を演算する共通スパース成分演算ステップを備えて、
 前記低ランク成分比率演算ステップ、前記低ランク成分演算ステップ、前記スパース成分比率演算ステップ、前記残余成分演算ステップ、前記音量演算ステップ及び前記共通スパース成分演算ステップにおいて反復演算を行うことにより前記共通スパース成分を推定する請求項6に記載の音声信号復元方法。

[請求項8]
 M本(Mは2以上の整数)のマイクロホンによって採取したMチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法を、コンピュータを用いて実現するためにコンピュータ読み取り可能な記憶手段に記憶されたコンピュータプログラムであって、
 前記M本(Mは2以上の整数)のマイクロホンによって採取した前記Mチャネルの音響信号を時間周波数解析してMチャネルの複素スペクトログラムを得る時間周波数解析ステップと、
 前記Mチャネルの複素スペクトログラムからMチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、
 前記Mチャネルの振幅スペクトログラムを入力として、前記Mチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、
 前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、
 前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換ステップを前記コンピュータで実現するための目的音響信号復元用コンピュータプログラム。

  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • KYOTO UNIVERSITY
  • Inventor
  • BANDO Yoshiaki
  • YOSHII Kazuyoshi
  • ITOYAMA Katsutoshi
  • OKUNO Hiroshi
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JP KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.

PAGE TOP

close
close
close
close
close
close