Top > Search of Japanese Patents > DEVICE, METHOD, AND PROGRAM FOR GENERATING REAL-TIME CONTACT SOUND, AND RECORDING MEDIUM WITH THE PROGRAM STORED THEREIN

DEVICE, METHOD, AND PROGRAM FOR GENERATING REAL-TIME CONTACT SOUND, AND RECORDING MEDIUM WITH THE PROGRAM STORED THEREIN commons

Patent code P140010575
File No. 07-136
Posted date May 27, 2014
Application number P2008-049870
Publication number P2009-205626A
Patent number P5002818
Date of filing Feb 29, 2008
Date of publication of application Sep 10, 2009
Date of registration Jun 1, 2012
Inventor
  • (In Japanese)安藤 広志
  • (In Japanese)劉 娟
Applicant
  • (In Japanese)国立研究開発法人情報通信研究機構
Title DEVICE, METHOD, AND PROGRAM FOR GENERATING REAL-TIME CONTACT SOUND, AND RECORDING MEDIUM WITH THE PROGRAM STORED THEREIN commons
Abstract PROBLEM TO BE SOLVED: To provide a method and device or a program for generating, in real time, proper contact sounds according to user's different touching manners.
SOLUTION: A multi-sense instruction system 100 includes a control part 200, a storage part 260, a 3D display part 270, a haptic force presenting part 280, and a sound output part 290. The control part 200 calculates a normal component and a tangential component of a reaction force from a virtual object on the basis of a 3D model 178a and physical properties 178b stored in the storage part 260. A beating sound is obtained on the basis of a sound model 178c stored in the storage part 260 and the normal component, and a contact sound is obtained on the basis of the sound model 178c and the tangential component.
Outline of related art and contending technology (In Japanese)

仮想物体に力覚提示装置等で触れたときに音を生成する手法として、例えば、非特許文献1に開示されているように、物体に触れた際の構造変形を有限要素法によりモデル化し、音圧の拡散を計算で求める方法がある。

一方、音生成のもう一つの方法として、モード合成法がある。非特許文献2には、収音データを分析して物体に固有の振動モードを特定し、各モードの振幅と減衰パラメータを推定しておき、これらのパラメータで決まるインパルス応答と実際に物体に触れたときの反力の畳み込み積分で音を生成する手法が記載されている。
【非特許文献1】
O'Brien, J. F., Cook, P. R., and Essl, G.: Synthesizing Sounds from Physically Based Motion, in Proceedings of SIGGRAPH 2001, Annual Conference Series, (Los Angeles, California), pp. 529-536 (2001)
【非特許文献2】
K. van den Doel, P. G. Kry, and D. K. Pai, “FoleyAutomatic: physically-based sound effects for interactive simulation and animation”, in Computer Graphics (ACM SIGGRAPH 01 Conference Proceedings), Los Angeles, California, 2001, pp. 537-544

Field of industrial application (In Japanese)

本発明は、仮想物体に他の物体が接触した時に発生する接触音を生成する技術に関し、特に、ユーザの操作に応じて移動する物体と仮想物体との接触音を生成する技術に関する。

Scope of claims (In Japanese)
【請求項1】
 
仮想物体への接触音を実時間で生成する接触音のリアルタイム生成装置であって、
前記仮想物体のモデルを記憶する記憶部を備え、
前記モデルは、
前記仮想物体の形状を表わす3次元モデルと、
前記仮想物体への叩きに対応する第1の接触音データと、
前記仮想物体へのこすりに対応する第2の接触音データとを含み、さらに
ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、
演算装置とを備え、
前記演算装置は、
前記位置および前記3次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出し、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出する算出部と、
前記第1の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成し、前記第2の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成する音生成部とを含み、さらに
前記叩き音および前記こすり音を出力する音出力部を備える、接触音のリアルタイム生成装置。

【請求項2】
 
前記算出部は、前記移動物体と前記仮想物体との接触時間が長くなるにつれ小さな値をとる第1の重み関数を前記法線成分に掛け合わせて前記叩き入力を算出し、前記接触時間が長くなるにつれ大きな値をとる第2の重み関数を前記接面成分に掛け合わせて前記こすり入力を算出する、請求項1に記載の接触音のリアルタイム生成装置。

【請求項3】
 
前記第1の接触音データおよび前記第2の接触音データは、複数の振動モードの各々の周波数と、振幅と、減衰パラメータとで特定され、
前記算出部は、前記第1の接触音データの各前記振動モードを足し合わせた第1のインパルス応答と、前記第2の接触音データの各前記振動モードを足し合わせた第2のインパルス応答とを算出し、
前記音生成部は、前記第1のインパルス応答および前記叩き入力の畳み込み積分により前記叩き音を生成し、前記第2のインパルス応答および前記こすり入力の畳み込み積分により前記こすり音を生成する、請求項2に記載の接触音のリアルタイム生成装置。

【請求項4】
 
前記算出部は、所定の時間内の前記操作部の変位が所定のしきい値以下のとき、前記叩き入力および前記こすり入力の値を所定の値以下とし、前記第1のインパルス応答および前記第2のインパルス応答の減衰を大きくする、請求項3に記載の接触音のリアルタイム生成装置。

【請求項5】
 
前記操作部は、前記ユーザに前記反力を提示する力覚装置の操作部である、請求項1から4のいずれか1項に記載の接触音のリアルタイム生成装置。

【請求項6】
 
演算装置を用いて仮想物体への接触音を実時間で生成する接触音のリアルタイム生成方法であって、
操作部からの入力に応じて決定されるユーザの動作に対応して仮想空間内を移動する移動物体の位置および前記仮想物体の形状を表わす3次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を前記演算装置が算出するステップと、
前記演算装置が、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出するステップと、
前記演算装置が、前記仮想物体への叩きに対応する第1の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成し、前記仮想物体へのこすりに対応する第2の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成するステップと、
前記演算装置が、前記叩き音および前記こすり音を出力するステップとを備える、接触音のリアルタイム生成方法。

【請求項7】
 
仮想物体再現システムに、仮想物体への接触音を実時間で生成させるための接触音のリアルタイム生成プログラムであって、
前記仮想物体再現システムは、
ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、
音出力部と、
演算装置とを備え、
前記接触音のリアルタイム生成プログラムは、前記演算装置に、
前記位置および前記仮想物体の形状を表わす3次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出させるステップと、
前記演算装置に、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出させるステップと、
前記演算装置に、前記仮想物体への叩きに対応する第1の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成させ、前記仮想物体へのこすりに対応する第2の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成させるステップと、
前記音出力部に、前記叩き音および前記こすり音を出力させるステップとを実行させる、接触音のリアルタイム生成プログラム。

【請求項8】
 
請求項7に記載の接触音のリアルタイム生成プログラムを格納した、コンピュータ読取可能な記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2008049870thum.jpg
State of application right Registered
Please contact us by E-mail if you have any interests on this patent


PAGE TOP

close
close
close
close
close
close
close