Top > Search of International Patents > ACOUSTIC PROGRAM, ACOUSTIC DEVICE, AND ACOUSTIC SYSTEM

ACOUSTIC PROGRAM, ACOUSTIC DEVICE, AND ACOUSTIC SYSTEM

Foreign code F200010013
File No. S2018-0615-C0
Posted date Jan 30, 2020
Country WIPO
International application number 2019JP018746
International publication number WO 2019216414
Date of international filing May 10, 2019
Date of international publication Nov 14, 2019
Priority data
  • P2018-092622 (May 11, 2018) JP
Title ACOUSTIC PROGRAM, ACOUSTIC DEVICE, AND ACOUSTIC SYSTEM
Abstract The present invention easily reproduces a sound field model from 2D image data. Further, the present invention can easily obtain a acoustic filter of unknown image data, the parameters of which are not clear. This acoustic device 100 constituting a control unit of an acoustic system is configured by connecting an imaging device 2, a sound collecting device 3, and a storage device 4 to a calculation unit 101 mainly configured by a computer. The calculation unit 101 functions as an encoder which associates, with an unknown image, a space acoustic filter coefficient for three-dimensionally reproducing a sound field. Further, a decoder formed by connecting a reproduction device to the calculation unit 101 can be configured as a separate body from the acoustic device 100. Therefore, a sound, to which a residual sound obtained from space acoustic filter characteristics corresponding to the unknown image is added, and which corresponds to the 2D image, can be output from the reproduction device.
Outline of related art and contending technology BACKGROUND ART
Conventional, in the field of acoustic technology, such as in situ the actual natural heard differently (hereinafter, also referred to as a sense of realism) to, by performing filter processing unique to the recording of a reverberant sound field (hereinafter, also referred to as reverberation) such as three-dimensionally reproduce the acoustic characteristics of the audio system has been studied (for example, see Patent Document 1-4).
Scope of claims (In Japanese)[請求項1]
 未知の画像に音場を立体的に再現するための空間音響フィルタ係数を関連させる音響プログラムであって、
 予め一つのサンプル画像に対応する空間音響フィルタ係数に関する複数のパラメータを求めて、前記サンプル画像に表された構造物の音場モデルを学習することを特徴とする音響プログラム。

[請求項2]
 一つないし複数の画像に対応する空間音響フィルタ係数に関する一つないし複数のパラメータを学習するプログラム。

[請求項3]
 音場を立体的に再現するための音響プログラムであって、予め一つないし複数の画像から空間音響フィルタ係数に関する一つないし複数のパラメータを推定するように学習された情報を用いて、未知の画像に対する空間音響フィルタ係数に関するパラメータを推定するプログラム。

[請求項4]
 未知の画像に音場を立体的に再現するための空間音響フィルタ係数を関連させる音響プログラムであって、
 予め学習されたサンプル画像の音場モデルを用いて、パラメータが不明な未知の画像に関する前記空間音響フィルタ係数を推定することを特徴とする音響プログラム。

[請求項5]
 音場を立体的に再現するための空間音響フィルタ係数を画像に関連させて、構築された音場モデルに基づいて、パラメータが不明な画像の音場を再生する音響プログラムであって、
 予め一つのサンプル画像に、対応する空間音響フィルタ係数に関する複数のパラメータを求めることで、前記サンプル画像に表された構造物の音場モデルを学習させ、
 前記音場モデルを用いて、パラメータが不明な未知の画像について、前記空間音響フィルタ係数を推定することを特徴とする音響プログラム。

[請求項6]
 多数段に畳み込まれるニューラルネットワークで構造物の音場モデルの学習と、空間音響フィルタ係数の推定とを行うことを特徴とする請求項1~5のうち何れか一項記載の音響プログラム。

[請求項7]
 音場となる構造物を撮像して画像データを形成する、または、撮像された画像データを収集する撮像装置と、
 前記構造物で発生した音を集音し、または、集音された音響データを収集する集音装置と、
 前記撮像装置で撮像されたサンプル画像について、前記集音装置で集音された音響データをパラメータとする空間音響フィルタ係数を用いて音場モデルを構築する演算装置と、を備えることを特徴とする請求項1または請求項2に記載の音響プログラムを用いる音響装置。

[請求項8]
 音場となる構造物を撮像して画像データを形成する、または、撮像された画像データを収集する撮像装置と、
 演算装置とを備え、
 前記演算装置は、未知の画像について、予め学習されたサンプル画像の音場モデルを用いて空間音響フィルタ係数を推定することを特徴とする請求項3または請求項4に記載の音響プログラムを用いる音響装置。

[請求項9]
 音場となる構造物を撮像し、または、撮像された画像データを収集する撮像装置と、
 前記構造物で発生した音を集音しまたは集音された音響データを収集する集音装置と、
 前記撮像装置で撮像されたサンプル画像について、前記集音装置で集音された音響データをパラメータとする空間音響フィルタ係数を用いて音場モデルを構築する演算装置と、を備え、
 前記演算装置は、未知の画像について、予め学習されたサンプル画像の音場モデルを用いて空間音響フィルタ係数を推定することを特徴とする音響プログラムを用いる音響装置。

[請求項10]
 前記未知の画像は、耳介または外耳道のうち少なくとも何れかの画像であり、前記演算装置は、前記画像から、空間音響フィルタ係数を推定することを特徴とする請求項8~9のうち何れか一項に記載の音響装置。

[請求項11]
 前記演算装置は、前記画像データおよび音響データまたは前記画像データが入力すると、該画像データに関連する前記空間音響フィルタ係数を推定して、該空間音響フィルタ係数から得られる残響特性を付加した音響を出力することを特徴とする請求項7~9のうち何れか一項に記載の音響装置。

[請求項12]
 前記音響データは、映像コンテンツの吹替え音声であることを特徴とする請求項11に記載の音響装置。

[請求項13]
 前記残響特性が付加された音響を出力する音響出力装置をさらに備えることを特徴とする請求項11に記載の音響装置を有する音響システム。

[請求項14]
 前記画像データは、動画の画像データであり、前記動画のフレームと、前記フレームにおける背景画像または現フレームと前フレームとの差分を用いて、前記空間音響フィルタ係数を推定することを特徴とする請求項11に記載の音響装置。

[請求項15]
 音響プログラムをクラウド上に構築して、該クラウドに接続された複数の撮像装置から画像データおよび音響データを収集することを特徴とする請求項1~5のうち何れか一項に記載の音響プログラムを備える音響システム。

[請求項16]
 多数段に畳み込まれるニューラルネットワークで構造物の音場モデルの学習と、空間音響フィルタ係数の推定とを行う音響プログラムを、クラウド上に構築し、該クラウドに接続された複数の撮像装置から画像データおよび音響データを収集することを特徴とする請求項1~5のうち何れか一項に記載の音響プログラムを備える音響システム。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • TOKYO INSTITUTE OF TECHNOLOGY
  • Inventor
  • KOIKE Hideki
  • KON Homare
IPC(International Patent Classification)
Please contact us by E-mail or facsimile if you have any interests on this patent.

PAGE TOP

close
close
close
close
close
close