TOP > 国内特許検索 > 接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体 > 明細書

明細書 :接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5002818号 (P5002818)
公開番号 特開2009-205626 (P2009-205626A)
登録日 平成24年6月1日(2012.6.1)
発行日 平成24年8月15日(2012.8.15)
公開日 平成21年9月10日(2009.9.10)
発明の名称または考案の名称 接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体
国際特許分類 G06T  19/00        (2011.01)
G06F   3/16        (2006.01)
FI G06T 17/40 E
G06F 3/16 330K
請求項の数または発明の数 8
全頁数 22
出願番号 特願2008-049870 (P2008-049870)
出願日 平成20年2月29日(2008.2.29)
審査請求日 平成23年1月20日(2011.1.20)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】安藤 広志
【氏名】劉 娟
個別代理人の代理人 【識別番号】100064746、【弁理士】、【氏名又は名称】深見 久郎
【識別番号】100085132、【弁理士】、【氏名又は名称】森田 俊雄
【識別番号】100083703、【弁理士】、【氏名又は名称】仲村 義平
【識別番号】100096781、【弁理士】、【氏名又は名称】堀井 豊
【識別番号】100098316、【弁理士】、【氏名又は名称】野田 久登
【識別番号】100109162、【弁理士】、【氏名又は名称】酒井 將行
【識別番号】100111246、【弁理士】、【氏名又は名称】荒川 伸夫
審査官 【審査官】千葉 久博
参考文献・文献 特開2007-164291(JP,A)
特開2007-004588(JP,A)
特開平10-254344(JP,A)
特開平09-330016(JP,A)
井ノ上直己,”「見る,聴く,触れる,香る」多感覚インタフェースの実現に向けて”,映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2007年11月 8日,第31巻, 第52号,p.31-34
矢野博明, 外4名,”AudioHapticsを用いた聴覚と力覚の感覚統合”,日本バーチャルリアリティ学会論文誌,日本,日本バーチャルリアリティ学会,2004年 9月30日,第9巻, 第3号,p.241-248
野村征史, 外3名,”人工現実環境における音のシミュレーション -FEMを用いた音の生成-”,Visual Computing グラフィクスとCAD 合同シンポジウム2003 予稿集,日本,画像電子学会 社団法人情報処理学会,2003年 6月19日,p.43-48
James F. O'Brien ET AL,"Synthesizing sounds from physically based motion",SIGGRAPH'01 Proceedings of the 28th annual conference on computer graphics and interactive techniques,2001年 8月12日,p.529-536
Kees van den Doel ET AL,"Foleyautomatic:Physically-based sound effects for interactive simulation and animation",SIGGRAPH'01 Proceedings of the 28th annual conference on computer graphics and interactive techniques,2001年 8月12日,p.537-544
調査した分野 G06T 19/00,19/20
G06F 3/16
A63F 9/24,13/00-13/12
G06F 3/01,3/048
特許請求の範囲 【請求項1】
仮想物体への接触音を実時間で生成する接触音のリアルタイム生成装置であって、
前記仮想物体のモデルを記憶する記憶部を備え、
前記モデルは、
前記仮想物体の形状を表わす3次元モデルと、
前記仮想物体への叩きに対応する第1の接触音データと、
前記仮想物体へのこすりに対応する第2の接触音データとを含み、さらに
ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、
演算装置とを備え、
前記演算装置は、
前記位置および前記3次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出し、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出する算出部と、
前記第1の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成し、前記第2の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成する音生成部とを含み、さらに
前記叩き音および前記こすり音を出力する音出力部を備える、接触音のリアルタイム生成装置。
【請求項2】
前記算出部は、前記移動物体と前記仮想物体との接触時間が長くなるにつれ小さな値をとる第1の重み関数を前記法線成分に掛け合わせて前記叩き入力を算出し、前記接触時間が長くなるにつれ大きな値をとる第2の重み関数を前記接面成分に掛け合わせて前記こすり入力を算出する、請求項1に記載の接触音のリアルタイム生成装置。
【請求項3】
前記第1の接触音データおよび前記第2の接触音データは、複数の振動モードの各々の周波数と、振幅と、減衰パラメータとで特定され、
前記算出部は、前記第1の接触音データの各前記振動モードを足し合わせた第1のインパルス応答と、前記第2の接触音データの各前記振動モードを足し合わせた第2のインパルス応答とを算出し、
前記音生成部は、前記第1のインパルス応答および前記叩き入力の畳み込み積分により前記叩き音を生成し、前記第2のインパルス応答および前記こすり入力の畳み込み積分により前記こすり音を生成する、請求項2に記載の接触音のリアルタイム生成装置。
【請求項4】
前記算出部は、所定の時間内の前記操作部の変位が所定のしきい値以下のとき、前記叩き入力および前記こすり入力の値を所定の値以下とし、前記第1のインパルス応答および前記第2のインパルス応答の減衰を大きくする、請求項3に記載の接触音のリアルタイム生成装置。
【請求項5】
前記操作部は、前記ユーザに前記反力を提示する力覚装置の操作部である、請求項1から4のいずれか1項に記載の接触音のリアルタイム生成装置。
【請求項6】
演算装置を用いて仮想物体への接触音を実時間で生成する接触音のリアルタイム生成方法であって、
操作部からの入力に応じて決定されるユーザの動作に対応して仮想空間内を移動する移動物体の位置および前記仮想物体の形状を表わす3次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を前記演算装置が算出するステップと、
前記演算装置が、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出するステップと、
前記演算装置が、前記仮想物体への叩きに対応する第1の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成し、前記仮想物体へのこすりに対応する第2の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成するステップと、
前記演算装置が、前記叩き音および前記こすり音を出力するステップとを備える、接触音のリアルタイム生成方法。
【請求項7】
仮想物体再現システムに、仮想物体への接触音を実時間で生成させるための接触音のリアルタイム生成プログラムであって、
前記仮想物体再現システムは、
ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、
音出力部と、
演算装置とを備え、
前記接触音のリアルタイム生成プログラムは、前記演算装置に、
前記位置および前記仮想物体の形状を表わす3次元モデルに基づいて、前記仮想物体に前記移動物体が接触したと判断されたときに前記仮想物体が生成する反力の法線成分および接面成分を算出させるステップと、
前記演算装置に、前記法線成分に基づく叩き入力と、前記接面成分に基づくこすり入力とを算出させるステップと、
前記演算装置に、前記仮想物体への叩きに対応する第1の接触音データおよび前記叩き入力に基づいて前記仮想物体の叩き音を生成させ、前記仮想物体へのこすりに対応する第2の接触音データおよび前記こすり入力に基づいて前記仮想物体のこすり音を生成させるステップと、
前記音出力部に、前記叩き音および前記こすり音を出力させるステップとを実行させる、接触音のリアルタイム生成プログラム。
【請求項8】
請求項7に記載の接触音のリアルタイム生成プログラムを格納した、コンピュータ読取可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、仮想物体に他の物体が接触した時に発生する接触音を生成する技術に関し、特に、ユーザの操作に応じて移動する物体と仮想物体との接触音を生成する技術に関する。
【背景技術】
【0002】
仮想物体に力覚提示装置等で触れたときに音を生成する手法として、例えば、非特許文献1に開示されているように、物体に触れた際の構造変形を有限要素法によりモデル化し、音圧の拡散を計算で求める方法がある。
【0003】
一方、音生成のもう一つの方法として、モード合成法がある。非特許文献2には、収音データを分析して物体に固有の振動モードを特定し、各モードの振幅と減衰パラメータを推定しておき、これらのパラメータで決まるインパルス応答と実際に物体に触れたときの反力の畳み込み積分で音を生成する手法が記載されている。

【非特許文献1】O'Brien, J. F., Cook, P. R., and Essl, G.: Synthesizing Sounds from Physically Based Motion, in Proceedings of SIGGRAPH 2001, Annual Conference Series, (Los Angeles, California), pp. 529-536 (2001)
【非特許文献2】K. van den Doel, P. G. Kry, and D. K. Pai, “FoleyAutomatic: physically-based sound effects for interactive simulation and animation”, in Computer Graphics (ACM SIGGRAPH 01 Conference Proceedings), Los Angeles, California, 2001, pp. 537-544
【発明の開示】
【発明が解決しようとする課題】
【0004】
非特許文献1に記載の手法では、計算コストが多大であり、リアルタイムで音を算出することは極めて困難である。
【0005】
また、非特許文献2に記載の手法は、主に物体を叩いたときの音生成に用いられていた。ユーザがスタイラス等で「叩く」「こする」「留める」の何れの動作を行なうか事前に決まっていない場合に、ユーザの動作に合わせて適切な接触音をリアルタイムで生成することは、この手法では極めて困難である。
【0006】
本発明は、上記のような問題を解決するためになされたものであって、異なる触り方に合った適切な接触音をリアルタイムで生成するための方法、装置、あるいはプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
1つの局面に係る本願発明は、仮想物体への接触音を実時間で生成する接触音のリアルタイム生成装置であって、仮想物体のモデルを記憶する記憶部を備え、モデルは、仮想物体の形状を表わす3次元モデルと、仮想物体への叩きに対応する第1の接触音データと、仮想物体へのこすりに対応する第2の接触音データとを含み、ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、演算装置とをさらに備え、演算装置は、位置および3次元モデルに基づいて、仮想物体に移動物体が接触したと判断されたときに仮想物体が生成する反力の法線成分および接面成分を算出し、法線成分に基づく叩き入力と、接面成分に基づくこすり入力とを算出する算出部と、第1の接触音データおよび叩き入力に基づいて仮想物体の叩き音を生成し、第2の接触音データおよびこすり入力に基づいて仮想物体のこすり音を生成する音生成部とを含み、叩き音およびこすり音を出力する音出力部とをさらに備える。
【0008】
好ましくは、算出部は、移動物体と仮想物体との接触時間が長くなるにつれ小さな値をとる第1の重み関数を法線成分に掛け合わせて叩き入力を算出し、接触時間が長くなるにつれ大きな値をとる第2の重み関数を接面成分に掛け合わせてこすり入力を算出する。
【0009】
さらに好ましくは、第1の接触音データおよび第2の接触音データは、複数の振動モードの各々の周波数と、振幅と、減衰パラメータとで特定され、算出部は、第1の接触音データの各振動モードを足し合わせた第1のインパルス応答と、第2の接触音データの各振動モードを足し合わせた第2のインパルス応答とを算出し、音生成部は、第1のインパルス応答および叩き入力の畳み込み積分により叩き音を生成し、第2のインパルス応答およびこすり入力の畳み込み積分によりこすり音を生成する。
【0010】
さらに好ましくは、算出部は、所定の時間内の変位が所定のしきい値以下のとき、叩き入力およびこすり入力の値を所定の値以下とし、第1のインパルス応答および第2のインパルス応答の減衰を大きくする。
【0011】
好ましくは、操作部は、ユーザに反力を提示する力覚装置の操作部である。
他の局面に係る本願発明は、仮想物体への接触音を実時間で生成する接触音のリアルタイム生成方法であって、ユーザの動作に対応して仮想空間内を移動する移動物体の位置および仮想物体の形状を表わす3次元モデルに基づいて、仮想物体に移動物体が接触したと判断されたときに仮想物体が生成する反力の法線成分および接面成分を算出するステップと、法線成分に基づく叩き入力と、接面成分に基づくこすり入力とを算出するステップと、仮想物体への叩きに対応する第1の接触音データおよび叩き入力に基づいて仮想物体の叩き音を生成し、仮想物体へのこすりに対応する第2の接触音データおよびこすり入力に基づいて仮想物体のこすり音を生成するステップと、叩き音およびこすり音を出力するステップとをさらに備える。
【0012】
さらに他の局面に係る本願発明は、仮想物体再現システムに、仮想物体への接触音を実時間で生成させるための接触音のリアルタイム生成プログラムであって、仮想物体再現システムは、ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付ける操作部と、音出力部と、演算装置とを備え、演算装置に、位置および仮想物体の形状を表わす3次元モデルに基づいて、仮想物体に移動物体が接触したと判断されたときに仮想物体が生成する反力の法線成分および接面成分を算出させるステップと、演算装置に、法線成分に基づく叩き入力と、接面成分に基づくこすり入力とを算出させるステップと、演算装置に、仮想物体への叩きに対応する第1の接触音データおよび叩き入力に基づいて仮想物体の叩き音を生成させ、仮想物体へのこすりに対応する第2の接触音データおよびこすり入力に基づいて仮想物体のこすり音を生成させるステップと、音出力部に、叩き音およびこすり音を出力させるステップとを備える。
【0013】
さらに他の局面に係る本願発明は、上述の接触音のリアルタイム生成プログラムを格納した、コンピュータ読取可能な記録媒体である。
【発明の効果】
【0014】
本発明によれば、ユーザの操作に応じて仮想空間内を移動する物体と仮想物体との接触時間および物体表面からの反力の法線・接面成分を測定し、これらの値を用いて「叩く・こする」といった音成分を制御する。このことにより、ユーザの動作に合わせた接触音をリアルタイムで生成することが可能になる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【0016】
[第1の実施の形態]
(1.はじめに)
聴覚は、我々の日々の生活において、いくつもの重要な役割を果たしている。私たちは、手の届くところにある物体に触れることにより様々な音を生み出しえる。これらの音は、素材、形、粗さ、堅さといった物体と相互作用についての情報、ジェスチャー、私たちの動作の頻度や強さなどのたくさんの情報を伝える。
【0017】
バーチャルリアリティーシステムにおいて、利用者は、インターフェースが、音を出さなかったり、そぐわない音を出したりすると、すぐに、不自然さに気づくかもしれない。触覚と視覚の刺激に適切に対応する音のフィードバックは、存在と現実性の感覚を強めるかもしれない。
【0018】
しかし、予め録音されたサンプルを加工することによって生成された音では、音質の変化や、表面の性質を再現することはできない。
【0019】
本発明は、触覚インターフェースのためのリアルタイムな音合成の問題に関し、物理に基づく音モデルと、叩きやこすり音といった接触音の連続的生成のための利用者の動作とを合体したものである。
【0020】
力覚装置(Phantom(登録商標)Premium1.5)に基づく本実施の形態に係る試作システムは、緊密に連携した視覚-触覚-聴覚刺激を提供することができる。このことにより、利用者は、本当の物体を操作しているかのように感じる。
【0021】
図1を参照して、第1の実施の形態に係るシステム構成について説明する。本システムは、視覚、触覚、聴覚を介して、仮想物体と利用者との相互作用を表現する多感覚インタラクションシステムである。
【0022】
図1(a)は、典型的な配置のシステムを示す。本発明に係るシステムは、力覚装置110と、ディスプレイ122と、ハーフミラー124と、ステレオシャッター眼鏡126と、ヘッドホン130とを含む。
【0023】
力覚装置110は、スタイラス112の位置を測定し、位置に応じた反力をスタイラス112に与える。これにより、スタイラス112を操作する利用者は、仮想物体に実際に触れているかのような感覚を得る。本実施の形態においては、特にこれに限られるものではないが、力覚装置110として、Phantom(登録商標)Premium1.5を用いている。
【0024】
ディスプレイ122には、仮想物体の画像が表示される。ハーフミラー124は、ディスプレイ122の画面を反射する。
【0025】
ステレオシャッター眼鏡126をかけた利用者は、ハーフミラー124を介して物体の3次元像を見て、それに様々な方法でスタイラスで触り、力フィードバックと、同時に高フィディリティの接触音を聞く。
【0026】
ただし、第1の実施の形態に係るシステムは、図1(a)に示した構成のものに限られるわけではない。
【0027】
例えば、力覚装置110は、仮想物体に触れた利用者が受ける反力を再現するものであればよい。スタイラス112は、利用者の動作にしたがって移動し、利用者に反力を与える装置(操作部とよぶ)の一例であって、図1に示すようなペン型のものに限られるわけではない。例えば、グローブ型のものであってもよい。また、ディスプレイ122と、ハーフミラー124と、ステレオシャッター眼鏡126のかわりに、仮想物体を3次元表示できる別のシステムを用いてもよい。さらに、ヘッドホン130のかわりにスピーカなどの音出力機器を用いてもよい。
【0028】
図1(b)は、第1の実施の形態に係るシステムのハードウェアブロック図である。システムは、力覚装置110と、3次元モニタ120と、スピーカ130と、ヘッドホン135と、マウス140と、キーボート145と、CPU(central processing unit)150と、メモリ160と、ハードディスク170と、モニタ180と、光ディスクドライブ190と、通信インターフェイス195とを備える。
【0029】
3次元モニタ120は、仮想物体の画像を利用者に立体的に表示する。図1(a)のディスプレイ122と、ハーフミラー124と、ステレオシャッター眼鏡126との組み合わせは、3次元モニタ120の一例である。
【0030】
スピーカ130、ヘッドホン135は、いずれも音を出力する。なお、本システムは、スピーカ130、ヘッドホン135の一方のみ備えるものであってもよい。
【0031】
マウス140、キーボード145は、いずれも、利用者からの入力を受け付ける。なお、マウス140およびキーボード145は、利用者からの入力を受け付ける入力装置の一例であって、これらに加えて他の種類の入力装置が備えられていてもよいし、あるいは、これらのかわりに他の種類の入力装置が備えられていてもよい。
【0032】
CPU150は、マウス140、キーボード145が受け付けた入力や、力覚装置110からの変位信号などに基づいて、システムの各部の動作を制御する。
【0033】
メモリ160は、CPU150による処理の実行にあたり、一時的にデータを格納する。図1(b)では、入力刺激162と、インパルス応答164と、合成音166とがメモリ160に格納されるものとしているが、メモリには、当然に、これら以外のデータも格納される。なお、入力刺激162、インパルス応答164、合成音166については、後で説明する。
【0034】
ハードディスク170は、モデル作成プログラム172と、仮想物体を再現するプログラム174と、音合成プログラム176と、仮想物体の性質を表わす物体モデル178とを格納する。
【0035】
モデル作成プログラム172を用いると、物体モデル178を作成することができる。本実施の形態では、後述するように、物体モデル178を、実際の物体の測定結果に基づいて作成する。
【0036】
仮想物体を再現するプログラム174は、物体モデル178に基づいて、仮想物体の画像を生成する。また、スタイラス112が仮想物体に接触した場合(厳密には、スタイラス112の位置および物体モデル178から、スタイラス112が仮想物体に接触したと判断された場合)、仮想物体(厳密には、力覚装置110)がスタイラス112に与える力を生成する。
【0037】
音合成プログラム176は、物体モデル178に基づいて、スタイラス112の仮想物体への接触に応じて、接触の性質に応じた音を合成する。この音合成の詳細については、後述する。
【0038】
光ディスクドライブ190は、CD(compact disc)やDVD(digital versatile disc)などの光ディスク192に格納されたデータを読み取る。モデル作成プログラム172、仮想物体を再現するプログラム174、音合成プログラム176の各々は、光ディスク192に格納され、流通していてもよい。なお、光ディスク192は、データを格納する記録媒体の一例であり、プログラムが格納される記録媒体はこれに限られるものではない。
【0039】
通信インターフェース195は、外部へのデータの送信あるいは、外部からのデータの受信を行なう。
【0040】
(2.関連研究)
連続的なインタラクションによる音合成において、予め録音された音を再生することは、音の変化を予測できないため、不満足であり、また、実用的ではない。音を発生する物体は、様々な方法で、様々な物体により、刺激される。多くの研究者は、音生成の物理的モデルおよびパラメータ化された音合成方法のための音響的で物理的なデジタル信号処理を行ってきた[P. R. Cook, Real sound synthesis for interactive applications, A K Peters, Wellesley, MA. 2002, pp. 39-50]。
【0041】
1つの方法は、有限要素法(FEM;Finite Element Method)を、物体の表面振動に用いることである。非特許文献1(J. F. O'Brien, P. R. Cook, and G. Essl, “Synthesizing sounds from physically based motion”, in Proceedings of SIGGRAPH 2001, Annual Conference Series, Los Angeles, California, 2001, pp. 529-536)は、変形体の単一の物理モデルから、音と動きを計算するオフラインシステムについて記述している。音は、動きによって発生する音響的圧力波の伝播の計算によって生成される。[J. F. O’Brien, C. Shen, and C. M. Gatchalian, “ Synthesizing sounds from rigid-body simulations”, In the ACM SINGGRAPH 2002 Symposium on Computer Animation, ACM Press, pp. 175-181]においては、任意の形の物体を、4面体の体積要素に分割して扱う方法が提案されている。Yanoなど[H. Yano, T. Kameda, K. Mizutani, and H. Iwata, “Synthesis of haptic and auditory senses based on physical model”, Trans. Of Virtual Reality Society of Japan, Vol. 5, No. 3, pp: 997-1004, 2000 (in Japanese)]は、スピーカを力覚装置(HapticMaster(登録商標))の端のエフェクターに備え付け、スピーカ位置からの音圧データをFEMにより計算することで、力覚と聴覚の合成を研究している。
【0042】
これらの方法は、視覚的な光景から直接に音を生成することができるが、公式化の複雑性および重い計算負荷により、リアルタイムの生成や相互的なアプリケーションへの使用はできない。
【0043】
物体表面のより粗い近似は、物体の網トポロジーといくつかの物質パラメータから得たばね-質量モデルである。Raghuvanshi、Lin[N. Raghuvanshi, and M. C. Lin, “Interactive sound synthesis of large scale environments”, in Proc. of the 2006 Symposium on Interactive 3D Graphics and Games, Redwood City, California, pp. 101-108]には、数100個までの音を出す物体のやや複雑なシミュレーションを、ばね-質量システムで行なうための優先度に基づく質評価方法が示されている。
【0044】
仮想物体の表面の変形からの音をシミュレーションする方法と異なり、Van den Doelと共同研究者[非特許文献2(K. van den Doel, P. G. Kry, and D. K. Pai, “FoleyAutomatic: physically-based sound effects for interactive simulation and animation”, in Computer Graphics (ACM SIGGRAPH 01 Conference Proceedings), Los Angeles, California, 2001, pp. 537-544)][D. K. Pai, K. van den Doel, D. L. James, et al, “Scanning physical interaction behavior of 3D objects”, In Proc. of ACM SIGGRAPH 2001, pp. 87-96]は、アニメーションやシミュレーションの音効果を自動的に合成するため、解析的に計算された振動モードを物体表面に配置する、実在に基づくモード音モデルを提案している。物理的な測定が、振動モードと、その衝撃点への依存性とを決定するのに用いられる。
【0045】
物体により生成される音をシミュレーションするために、振動体のみの物理的モデルでは不十分であり、音を発生する出来事の物理学そして音響学も考慮されるべきである。Gaver[W. W. Gaver, “How do we hear in the world? Explorations in ecological acoustics”, Ecological Psychology, Vol. 5, No.4 pp. 285-313, 1993]は、聴覚上の出来事の認知を調査し、合成変形は、出来事の与えられた局面についての同じ情報を伝達すべきであると論じた。
【0046】
Hahnらは、音質樹、つまり、音と動きとをまとめるための仮想環境における音の関数的な表現を提案した。アニメーションにおける叩き、回転、滑りの接触相互作用のモデルは、上に挙げたDoelと共同研究者の論文で議論されている。DifilippoとPaiは、Pantograph(登録商標)の力覚装置を含む音響力覚インターフェースを提供した。AvanziniとCrosato[F. Avanzini and P. Crosato, “Integrating physically based sound models in a multimodal rendering architecture”, Computer Animation and Virtual Worlds, Vol. 17, pp 411-419, 2006]は、衝撃音をシミュレーションするための、より複雑な非線型の接触力を用いた複数モードの表現構造を提示している。しかしながら、彼らの仕事では、利用者の動作の意図や動作間の音の遷移については言及されていない。
【0047】
BarrassとAdcock[S. Barrass, M. Adcock, “Interactive granular synthesis of haptic contact sounds”, in Proceedings of the Audio Engineering Society 22nd International Conference on Virtual, Synthetic and Entertainment Audio (AES22), Espoo, Finland. AES. 2002, pp. 270-277]は、力覚ワークベンチ用の生態粒合成(ecological granilar synthesis)を用いてこすり音を提供した。連続的なこすり音は、実際の物体からサンプルした3-30msの短い音の粒のたまりから生成される。[G. Castle, M. Adcock, and S. Barrass, “Integrated modal and granular synthesis of haptic tapping and scratching sounds”, in EuroHaptics 2002, Edinburgh, UK]は、叩き音とこすり音とのそれぞれのためのモード合成と粒合成とを組み合わせるTapAndScratch構造を開発した。しかし、その結果は、彼らの観察によれば、不十分であった。2つのアルゴリズムの間の遷移は滑らかではなく、叩きの生成(モード合成)に含まれる共鳴の特徴付けは、こすり音(粒合成)には含められなかった。
【0048】
本発明では、利用者の動作と、動作の音響効果に基づくモード音モデルとを実時間で統合する相互作用モデルに着目する。システムは、今まで論じられたものよりも多様な音響特性をもつ、物体のリアルな音効果を表現できる。システムは、相互的でなければならず、また、任意の接触動作に対し反応しなければならない。そのため、アニメーションやシミュレーションには現われない、ヒューマンインターフェースのいくつかの特別な事項を考慮する。
【0049】
(3.概要)
図2を参照して、第1の実施の形態に係る多感覚インタラクションシステム100の機能的構成について説明する。本システムは、Reachin(登録商標)の画像-力覚API[Reachin API, www.reachin.se/products/reachinapi/]を、結合マルチモード表現のための物理に基づく音合成アルゴリズムで拡張したものである。
【0050】
多感覚インタラクションシステム100は、制御部200と、記憶部260と、3D表示部270と、力覚提示部280と、音出力部290とを備える。
【0051】
記憶部260は、各種データを格納する。図1のメモリ160あるいはハードディスク170に相当する。記憶部260が格納する物体モデル178は、仮想物体の3次元形状を表わす3Dモデル178aと、仮想物体の堅さ、粗さ、風合いなどを表わす物性178bと、仮想物体へのスタイラス112の接触に応じて発生する接触音のパラメータ(周波数、減衰パラメータ、振幅など)で表わされる音モデル178cとを格納する。
【0052】
3D表示部270は、図1の3Dモニタ120に相当し、仮想物体の3次元的な画像を表示する。
【0053】
力覚提示部280は、図1の力覚装置110に相当し、スタイラス112の移動距離を検出する。また、力覚装置110内部のモータを駆動し、スタイラス112の位置および仮想物体の形状に基づいて、スタイラス112を把持している利用者に反力を与える。
【0054】
音出力部290は、外部に音を出力する。スピーカ130またはヘッドホン135に相当する。
【0055】
制御部200は、力覚提示部280から入力されるスタイラス112の変位量および記憶部260に記憶された物体モデル260に基づいて、3D表示部270と、力覚提示部280、音出力部290の動作を制御する。
【0056】
制御部200は、視覚レンダリング部210と、変形算出部220と、反力算出部230と、音要素算出部240と、モード合成部250とを含む。
【0057】
変形算出部220は、力覚提示部280で測定されるスタイラス110の移動距離および3Dモデル262に基づいて、スタイラス110が、仮想物体にどれだけ入り込んだかを算出し、仮想物体の変形量を算出する。
【0058】
視覚レンダリング部210は、変形算出部220によって算出された変形量および3Dモデル178aに基づいて、3D表示部270が表示する画像データを生成し、生成した画像データを3D表示部270に表示する。
【0059】
反力算出部230は、変形量および仮想物体の物性178bに基づいて、仮想物体が利用者に与える反力、すなわち、力覚提示部280のモータの駆動力を算出する。また、力覚提示部280に、算出した駆動力での動作を指示する。
【0060】
音要素算出部240は、変形量、3Dモデル178a、物性178bに基づいて、反力の物体表面に垂直な成分(法線成分)と、反力の物体表面内の成分(接面成分)を算出する。なお、ここでは、法線成分、接面成分を反力算出部230が算出した反力を利用して求めるものとする。ただし、変形量および物性178bに基づいて、直接にこれらを求めてもよい。
【0061】
また、音要素算出部240は、スタイラス110と仮想物体の接触時間を求め、接触時間に応じて定まる2種類の重み関数を、法線成分、接面成分のそれぞれに掛け合わせた2つの入力刺激(叩き入力およびこすり入力)を算出する。重み関数および入力刺激の詳細については、後述する。
【0062】
さらに、音要素算出部240は、所定時間内のスタイラス110の変位量がしきい値を超えるかどうか判断し、判断結果を入力刺激に反映する。また、判断結果および音モデル178cに基づいて、それぞれの入力刺激に応じて生成される音を表わす応答インパルスを生成する。判断結果が反映された入力刺激および応答インパルスの詳細については、後述する。
【0063】
モード合成部250は、各入力刺激と応答インパルスの畳み込み積分を行ない、両者を足し合わせて、合成音を作成し、音出力部290に合成音を出力させる。
【0064】
視覚レンダリング部210、変形算出部220は、60Hzで各量の計算を行なう。接触力の算出は、視覚グラフのループのレート(60Hz)で生成される補完力モデルを用いて、1kHzもしくはそれ以上のレートで計算される。モード合成部250は、力覚ループのレートよりさらに早い44.1kHzのレートで音信号を生成する。聴覚は、時間のずれに敏感であるからである。
【0065】
本実施の形態では、物体モデル178を、実際の物体400を物体測定部300で測定して得るものとする。物体測定部300は、物体の3次元形状や外観、そして、表面の風合い、堅さ、弾性、粗さなどを測定する形状測定部310と、接触音を測定する音測定部320とを含む。なお、本システムにおいて測定および再合成される接触音は、大きく共鳴する物体(和太鼓)に木の棒(ばち)で触ったときの音とする。
【0066】
接触音モデルを含む実際の物体の物理的性質が取得され、“統合された視覚グラフ構造”のパラメータに変換される。音の性質を「表面」ノードに組み合わせることで、表面への接触事象によって関連する音モデルが活性化される。
【0067】
表面は、異なる動作に対していくつかの音モデルを持ちうる。音レンダリングでどのようにこれらのモデルを励起するかは、(4.音モデルと利用者の動作との統合)で説明する。(5.操作物体:実在から仮想へ)では、音モデルのパラメータを取得する手順を例示する。
【0068】
(4.音モデルと利用者の動作との統合)
<A.モード音合成>
固体との相互作用の間に耳にする接触音は、構造の振動により放射される波である。様々な物体形状は、異なる変形をするので、その音の違いを知ることができる。固体から放出される相互作用音をシミュレーションするためには、物理的に動機付けられたモード合成モデルM={f,d,a}を用いることができる(例えば、非特許文献2を参照)。これは、物体を、モード周波数f、減衰パラメータd、振幅a(ω)を持つ減衰する調和振動子の集合で表わすものである。ここで、n=1,…,Nであり、ωは、接触の位置と、聞き手の位置とを表わすベクトルを表わす。
【0069】
振動体は、線型の時間不変のシステム(LTI;linear time-invariant)とみなされ、式(1)のインパルス応答h(t)で特徴付けられる。
【0070】
【数1】
JP0005002818B2_000002t.gif

【0071】
システムの出力である接触音y(t)は、インパルス応答h(t)と入力刺激x(t)の畳み込みである。すなわち、y(t)=(h*x)(t)である。それゆえに、音合成の問題は、2つの部分に分解できる。つまり、物体の音響特性を記述する振動モデルのパラメータを取得することと、接触相互作用を記述する励起モデルを得ることとである。
【0072】
<B.動作と音>
叩き、こすり、といった相互作用が異なる多くの状況において、たとえ同じ位置に触れたとしても、接触音は全く異なる。その理由としては、叩き動作において、振動の重要な成分は、関連する物体の主要部(ボディ)の共鳴であるのに対し、こすり動作では、接触領域の表面振動の粒がより寄与するということが考えられる。
【0073】
共鳴の特性は、関連する振動ボディの形、幾何形状、そして物質による。そのため、こすり音は、叩き音とは異なるパラメータの組のモード共振によって、モデル化することもできる。システムは、各動作に特別なアルゴリズムを必要としない、統一された表現を用いることにより、より一貫したものとなる。回転体により生成される音は、速度や加速度といった表面の輪郭および変形性質についての付加的な情報を含む、叩きの特別な場合であるとみなすこともできる。
【0074】
表面の音響的な性質をより完全な記述を提供するため、1つの表面について1対の音モデルを割り当てる。
【0075】
連続的な接触音を生成するためのこれらのモードの引き金を引くための1つの方法として、動作の種類(叩きまたはこすり)により対応するモデルを励起するトップダウン戦略がある。ここでは、これを分岐手法とよぶ。これは、予め定義されたプロットや動きシミュレーションにより計算された決定している相互作用をもつアニメーションでの音効果合成では上手くいくかもしれない。しかし、実時間のマン-マシンインターフェースにおいては利用者の意図はシステムには分からない。システムは、どの種類の動作が実行されているかを判断しなければならない。しかしながら、判断のためにある程度の量のデータを集めるためには時間がかかるのに対し、音は、利用者のスタイラスが表面に触れたときに生成されなければならない。人間の聴覚の時間分解能は、身体感覚の時間分解能よりもずっと高いので、力覚の出力を1kHzで更新し、44.1kHzで音出力を生成するシステムにおいて、2ms以上の遅れは目立ってしまう可能性がある。さらに、動作の判断により引き起こされる過敏性のため、合成される音が、雑音が多く不自然なものになる。
【0076】
このような問題のため、本発明では、ボトムアップ戦略を採用する。利用者の意図を別にして、相互作用の過程における表面振動を単に分析すれば、振動の仕方は、純粋な叩きモードでも、こすりモードでもない。例えば、利用者が、表面をこすろうとしていても、スタイラスが表面に触れたときに、法線力が、叩きモデルの振動モードを引き起こすことがある。あるいは、ある場合には、叩き動作が、こすりの音モデルを励起する接面成分ももたらすことがある。これらの振動モードは、排他的というよりは重ね合わせで表現される。そのため、本発明では、音モデルの励起を重ね合わせる、物理的に動機付けられた手法を提案する。
【0077】
例として、2種類の相互作用動作と音モデル(叩きとこすり)を考える。ある時間にはただ1つの接触点しかないものと仮定する。合成音は、以下の式(2)で与えられる。
【0078】
ここで、入力刺激ximp、xscrは、接触時間と、表面に及ぼされる法線力Fと、接面力Fとの関数である。
【0079】
【数2】
JP0005002818B2_000003t.gif

【0080】
接触時間τの増加につれて、動作が叩きである可能性は減り、こすり動作である可能性は増える。音の割合はそれに応じて変化する。このような性質を反映して、ximp、xscrは以下の式(3)で与えられる。
【0081】
【数3】
JP0005002818B2_000004t.gif

【0082】
αは0から1の値をとる、物質の弾性に関連した係数であり、叩き力の時間に影響する。大きなαは、叩き動作の接触時間が長いことを示す。αが小さくなるにつれ、物体音は硬くなる。これは、上に挙げたF. Avanzini and P. Crosatoの結果に一致する。βは0から1の値をとる、物質はもちろんのこと、表面の粗さやきめに関連した係数である。αおよびβは、経験的に選ばれる。
【0083】
さらに、音を減衰させようと表面を静的に触る時の典型的な相互作用動作を特徴付けるため、式(2)に、抑制因子を導入する。
【0084】
0か1をとるρが、接触が、留め動作であるかどうかを表わすために用いられる。連続する2サイクル(全部で2ms)にわたる表面上でのスタイラスの位置の変位δが、指標として用いられる。
0:閾値δ以上のとき、留めなし
1:閾値δ未満のとき、留め動作としてみなす
δは、表面によって、経験的に決定される。
【0085】
式(3)では、入力刺激に留めの動作を反映するため、因子1-ρを導入している。そのため留め動作であると判断された場合、入力刺激は0になる。ただし、留めと判断された場合に、入力刺激を完全に0にする必要は必ずしもない。例えば、ユーザの動作が留めであると判断された場合、入力刺激を、発生音が人間が知覚できない程度になる所定値以下にするようにしてもよい。この所定値は、経験的に定められるものとする。
【0086】
叩き音について、τより高い周期の振動モードは、最小に励起される。連続的な接触は、全モードの振動も抑制する。留め動作は、付加されたダンピング因子に応じて、音の大きさは、劇的に減少する。
【0087】
【数4】
JP0005002818B2_000005t.gif

【0088】
ここで、Dimp>1、Dscr>1であり、物質、そして、スタイラスと表面との接触領域に関係する。固有の小さな減衰をもつ金属体に対しては、留め動作の効果はより顕著である。
【0089】
図3は、和太鼓の皮の音モデルを励起するために用いられる、力覚サイクルにより計算された力および入力刺激の例を示す。この例での利用者の相互作用は、1回の叩き、1.5秒間の表面のこすり、再度の叩き、そして、次第に力を増加させて表面にスタイラスを静的に置く、というものであった。もし音モデルが力覚力で駆動されたとしたら、静かであるべきこすり音は、同時に発生する叩き音や静止動作により、非常に雑音が多いものとなっており、騒音になっていたであろうことは、明らかである。
【0090】
図3(b)および図3(c)において、たたき音とこすり音との間の遷移は滑らかである。そして、最後の留め段階において、スタイラスが表面に触れたときおよび表面から離れたときに、一時的に音が発生するのは、もっともらしい。
【0091】
(5.操作物体:実在から仮想へ)
本発明の目的は、人が仮想物体に触ったときに、実際のものがその前に存在しているように感じるように実際の物体の仮想的な変形を表現することである。そのためには、実際の多感覚刺激を提供し、それらを緊密に同調させることが必要である。図1に示す試作システムは、3D表示部270と、力覚提示部280と、上述の本発明における実時間音合成方法で生成された音を出力する音出力部290とを備える。仮想物体のレンダリングの前に、実際の物体から多モードの性質を集め、視覚、力覚、音合成のためのデータ構造に組み入れる必要がある。
【0092】
<A.画像と力覚の性質>
まず、物体の3次元形状および風合いが、図4(b)に示す非接触のデジタイザ(コニカミノルタのVivid910)により取得される。様々な視点からとられた形および画像が継ぎ合わされ、視覚および力覚表現のための完全な3次元モデルが作られる。太鼓の皮は、叩かれたときに大きく変形するので、表面は、振動の視覚的および力覚的な効果を表わす膜として定義される。
【0093】
あまりに頂点が多いと、力覚フレームレートが急激に遅くなるので、各部分の頂点が7000以下になるように、3次元モデルを分割し、再サンプリングする。精度を減らすことは、全体の幾何にはほとんど影響しないが、表面、特に木製の胴部の詳細は失われる。これを改善するため、グレースケールのテクスチャファイルを、木目にそった実際のぎざぎざに応じたバンピングマップとして用いる。同様の手法は、革製の太鼓の皮の力覚特性を回復するためにも用いられる。表面の詳細から計算される接面力は、力覚のフィードバックだけでなく、音響合成にも重要である。
【0094】
<B.音モデル>
様々な物質からできた物体に対しては、幾何形状と物質の情報を近似する第1原理モデリングを用いて正確な結果を得ることは、かなり難しい。そこで、本発明では、パラメータを見積もるため、実際の世界の音を用いる。様々な位置の実際の物体の叩きおよびこすりの音は、無響室で録音される(図4(a)を参照)。距離減衰や部屋の音響といった空間的および環境的な音効果は、音モデル測定のサンプルには含まれない。
【0095】
モードモデルのパラメータは、サンプルの音ファイルs(t)に近似することにより見積もられる。録音は、サンプリングレートfs=44100Hzでなされ、16ビットのwavファイルにエンコードされる。
【0096】
まず、長さがTω=93msであるハニング窓ωを用いて、窓離散フーリエ変換(WDFT;windowed discrete Fourier transform)を計算する。窓の中のサンプルの数は、N=fω=4096である。重なり因子Noverlapは4であり、ホップサイズT=Tω/Noverlapを与える。
【0097】
録音信号s(t)から、式(5)で与えられるWDFTを得る。
【0098】
【数5】
JP0005002818B2_000006t.gif

【0099】
ここで、j=0,…,Nω、Nωは信号領域にある窓の数、t=jT、τ=n/f、k=0,…,N-1である。離散周波数F=k/Tωは、ナイキスト周波数f/2で制限される。
【0100】
モード周波数は、ピークの同定を用いて評価される。各音モデルについて、約200のモード周波数が、WDFTの結果から選ばれる。窓のサイズ93msは、11Hzの周波数分解能を与える。よって、各周波数ビンFについて、log|u(j,k)|が離散時間tの関数としてみなされ、最小2乗法を用いて線型関数-m+lで近似される。減衰パラメータdと振幅aは、次の式(6)、式(7)のように計算される。
【0101】
【数6】
JP0005002818B2_000007t.gif

【0102】
【数7】
JP0005002818B2_000008t.gif

【0103】
振幅の係数はあとで規格化される。負の減衰パラメータを持つ周波数は、不安定さをもたらすため[R. Corbett, K. van den Doel, J. E. Lloyd and W. Heidrich, “TimbreFields - 3D interactive sound models for real-time audio”, Presence, Vol. 16, No. 6, pp. 643-654, 2007]、取り除かれる。図5は、衝撃音モデルのスペクトルおよびパラメータを示す。図5(a)は、叩き音のスペクトルの一部を示す。データは、ばちで木の胴を叩いたときの音サンプルから得られた。各カーブは、各窓のスペクトルを表わす。縦線は、見積もられたモード周波数を表わす。多くの近いモードがあるのが見られる。モード数は、人による周波数除去の単純なモデルや、認知の影響を受けた刈り込み法[D. L. James, J. Barbic and D. K. Pai, “Precomputed acoustic transfer: Output-sensitive, accurate sound generation for geometrically complex vibration sources”, Proceedings of ACM SIGGRAPH 2006, ACM Trans. Graph., Vol. 25, No. 3, pp. 987-995]を用いて、減らしうる。図5(b)および図5(c)は、それぞれ、200モードに対応する減衰パラメータおよび規格化された振幅を表わす。なお、図5(a)には、最初の50モードが示されている。
【0104】
各音モデルは、仮想物体の表面位置に対応する。力覚装置の力出力は、入力刺激を計算するのに用いられ、上述した音モデルを励起する。
【0105】
具体的には、上記の手法で求められた音モデルは、仮想物体の種類および仮想物体の位置に対応付けて記憶される。つまり、本発明に係る音モデル178cは、例えば、図6に示すようなデータ構造で記憶部260に格納される。
【0106】
ここでは、音モデルを決定するパラメータは、仮想物体とその部位、そして、動作種類によって定まるものとする。本実施の形態では、音モデルを決定するパラメータとして上記の手法で求められた周波数、振幅、減衰パラメータの組に加え、α、β、Dimp、Dscrを用いる。
【0107】
図6に示すモデルでは、和太鼓の皮と、胴と、鋲のそれぞれについて、叩いた場合と、こすりの場合のパラメータが別々に与えられている。また、図1に示される塔については、部位によらず、叩いた場合のパラメータと、こすりの場合のパラメータとが与えられている。
【0108】
提案した励起モデルの有用性は、本多感覚相互作用システムにおける図1に示される和太鼓および塔のモデル化から証明される。金属の反応を試すため、ベル音のモデルが、塔の表面に割り当てられる。ソフトウェアは、C++で提供され、システムは、Creative Sound Blaster X-Fi(登録商標)オーディオカードを伴う3.0GHzのXeon(登録商標)プロセッサで動く。
【0109】
(6.処理の流れ)
図7を参照して、本発明に係る音合成のための処理の流れについて説明する。
【0110】
CPU150は、ステップS701において、接触判定を行なう。すなわち、スタイラス112の位置および3Dモデル178aに基づいて、スタイラス112が仮想物体に接触しているかどうか判定する。また、接触している場合には、仮想物体の変形量(スタイラス112がどれだけ仮想物体の内部に入り込んでいるか)を算出する。
【0111】
CPU150は、ステップS703において、仮想物体の変形量と、物性178bとに基づいて、反力の法線成分および接面成分を算出する。
【0112】
CPU150は、ステップS705において、接触判定の結果に基づいて、スタイラス112と仮想物体との接触時間τを算出する。
【0113】
CPU150は、ステップS707において、所定時間内のスタイラス112の変位量としきい値とを比較し、ρを算出する。
【0114】
CPU150は、ステップS709において、法線成分と、接面成分と、τと、ρとに基づいて、叩きの入力刺激とこすりの入力刺激を算出する。
【0115】
CPU150は、ステップS711において、音モデル178cおよびρに基づいて、叩きのインパルス応答とこすりのインパルス応答を算出する。
【0116】
CPU150は、ステップS713において、叩き、こすりそれぞれの入力刺激とインパルス応答との畳み込みにより、叩き音、こすり音を求め、叩き音とこすり音とを合成した合成音を算出する。
【0117】
(7.まとめ)
本実施の形態は、利用者に仮想物体が実在している感覚を与える視覚、力覚、そして聴覚刺激を統合する多モードのインターフェースを提供する。実在感の補助のため、システムは、継ぎ目のない相互作用、即座の反応、連続性、一貫性、そして、実際の刺激における意味を提供する必要がある。関連文献に比べて、本システムは、次の性質を持つ。
【0118】
-強調すべき点は、利用者の相互作用のふるまいが、能動的であることである。ある状態、例えば、留め動作は、そのような背景の下でしか起こらない。システムにこの現象が考慮されていない場合、利用者は、相互作用の間、日常生活の体験との違いに気づいてしまう。
【0119】
-動的なシミュレーションから動きが予測できるアニメーションと異なり、利用者の動作は、決定できない因子を合成処理に加える。動作間の滑らかな遷移が重要であり、特に、様々な相互作用により異なる音響性質を持つ物体にとって重要である。
【0120】
-本発明でシミュレーションされた物体は、他の研究に比べ、より複雑である。物体が複数の素材からなるとき、各部のシステム減衰および放射効率を、FEMに基づく方法や、境界要素法によってモデル化するのは非常に困難である。様々な動作は、異なる振動モードを励起するかもしれず、1つの表面は、刺激によって、いくつかの種類のインパルス応答をもつかもしれない。本発明によれば、接触により音を生成する事象をより完全に記述することができる。
【0121】
非特許文献1は、アニメーションやシミュレーション用の自動音合成のため、解析的に計算した振動モードを物体表面にマッピングしている。しかしながら、非特許文献1では、こすりや回転にあたっては、振る舞いにより修正された表面プロファイルを再生しており、シミュレーションされた物体は、1種類の素材で簡単な構造である。この方法は、表面が例えば、木製のざらざらした表面など、ある程度不規則な風合をもつ場合、適用できないかもしれない。また、そのモデルが、人と機械との相互作用に対し、上手く動作するかは分からない。人と機械の相互作用では、利用者の意図と能動的な動作が、新たな問題をもたらすからである。
【0122】
上に挙げたD. DiFilippo and D. K. Paiの論文においては、力覚に関するユーザインターフェイスにおいて、衝撃力と摩擦力とが、考慮されているが、その中では、真鍮の花瓶の単一の音モデルが試されているのみで、異なる音モデルは試されていない。F. Avanzini and P. Crosatoの論文においては、多モード表現構造での、衝撃音が議論されているのみである。
【0123】
以上のように、本実施の形態は、様々な接触相互作用に対し一貫した音合成モデルを用いる方法、および、その方法を用いた多感覚相互作用システムに関する。音響フィードバックは、視覚や力覚のフィードバックでは、伝達できない、もしくは、伝達に限界があるような物体についての補完的な情報、例えば、素材、表面の粗さ、堅さなどを提供する。
【0124】
[第2の実施の形態]
第1の実施の形態では、本発明に係る音生成方法を、視覚、力覚、触覚のいずれも再現する多感覚相互作用システムに適用することを説明した。
【0125】
しかしながら、本発明に係る音生成方法の適用範囲はこれに限られるものではない。例えば、力の提示は行なわないが、利用者の操作に応じた表示および音を生成するシステムにも適用できる。第2の実施の形態では、このようなシステムについて説明する。
【0126】
第2の実施の形態に係るシステム構成を、図8を参照して説明する。大部分は、第1の実施の形態に係るシステムの構成と同様であるが、力覚装置110のかわりに操作部800と位置センサ810が設けられている点が異なる。
【0127】
本実施の形態においては、操作部800は、ユーザの動作にしたがって移動可能なものであるとする。操作部800としては、特に限られるわけではないが、例えば、スティック状のものや、グローブ型のようなユーザが装着するタイプのものを用いることができる。
【0128】
本システムの利用者は、操作部800を把持あるいは装着し、操作部800を移動させる。位置センサ810により操作部800の移動は検出され、操作部800の位置および物体モデル178に基づいて、第1の実施の形態と同様に、接触音が生成される。
【0129】
ただし、操作部800は、上述のものに限られるわけではない。一般に、操作部800は、ユーザの動作に対応して仮想空間内を移動する移動物体の位置を決定する入力をユーザから受け付けるものであればよい。例えば、ジョイスティックや、3次元マウスなど、ユーザの動作量と同じだけ移動するわけではないものを操作部800として用いることもできる。この場合、位置センサ810は不要だが、かわりに、操作部800へのユーザからの入力を、仮想空間内の移動物体の位置に変換する処理が必要となる。この処理は、CPU150で行なわれてもよい。また、操作部800などに組み込まれた専用のハードウェアで行なわれてもよい。
【0130】
なお、第1の実施の形態と異なり、必ずしも物体の完全な再現を必要としないので、3次元モニタ120のかわりに、通常の2次元ディスプレイを用い、2次元ディスプレイの画面内に、3次元コンピュータグラフィックスを表示する構成であってもよい。
【0131】
また、いずれのディスプレイについても、移動物体に対応する画像を表示するようにしてもよい。そのような画像を表示することにより、臨場感が増し、また、ユーザにとっては、移動物体をより適切に操作することが可能になる。
【0132】
本実施の形態に係るシステムは、例えば、ゲームの効果音の生成や、電子楽器(特に、太鼓などの打楽器)における音の合成に用いることができる。
【0133】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【0134】
【図1】第1の実施の形態に係るシステム構成について説明するための図である。
【図2】第1の実施の形態に係るシステムの機能的構成を説明するための図である。
【図3】力および入力刺激の例を示す図である。
【図4】モードの性質測定に用いられた物体と装置を示す図である。
【図5】音モデルのパラメータの例を示す図である。
【図6】音モデル178cのデータ構造の一例を示す図である。
【図7】音合成のための処理の流れを示したフローチャートである。
【図8】第2の実施の形態に係るシステム構成について説明するための図である。
【符号の説明】
【0135】
100 多感覚インタラクションシステム、110 力覚装置、112 スタイラス、120 3次元モニタ、122 ディスプレイ、124 ハーフミラー、126 ステレオシャッター眼鏡、130 スピーカ、135 ヘッドホン、140 マウス、145 キーボード、150 CPU、160 メモリ、170 ハードディスク、180 モニタ、190 光ディスクドライブ、195 通信インターフェース、200 制御部、270 3D表示部、280 力覚提示部、290 音出力部、300 物体測定部、400 物体、800 操作部、810 位置センサ。
図面
【図2】
0
【図3】
1
【図5】
2
【図6】
3
【図7】
4
【図8】
5
【図1】
6
【図4】
7