TOP > 国内特許検索 > 触覚の視覚的表現方法および触覚の視覚的表現装置 > 明細書

明細書 :触覚の視覚的表現方法および触覚の視覚的表現装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5057285号 (P5057285)
公開番号 特開2008-250978 (P2008-250978A)
登録日 平成24年8月10日(2012.8.10)
発行日 平成24年10月24日(2012.10.24)
公開日 平成20年10月16日(2008.10.16)
発明の名称または考案の名称 触覚の視覚的表現方法および触覚の視覚的表現装置
国際特許分類 G06F   3/01        (2006.01)
G06T  19/20        (2011.01)
FI G06F 3/01 310A
G06T 19/20
請求項の数または発明の数 6
全頁数 12
出願番号 特願2007-212685 (P2007-212685)
出願日 平成19年8月17日(2007.8.17)
新規性喪失の例外の表示 特許法第30条第1項適用 2007年3月6日~2007年3月7日に開催された社団法人電気学会主催の電気学会研究会で発表
優先権出願番号 2007054167
優先日 平成19年3月5日(2007.3.5)
優先権主張国 日本国(JP)
審査請求日 平成22年8月3日(2010.8.3)
特許権者または実用新案権者 【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
発明者または考案者 【氏名】大石 潔
【氏名】桂 誠一郎
【氏名】入江 航平
個別代理人の代理人 【識別番号】100080089、【弁理士】、【氏名又は名称】牛木 護
【識別番号】100137800、【弁理士】、【氏名又は名称】吉田 正義
【識別番号】100119312、【弁理士】、【氏名又は名称】清水 栄松
審査官 【審査官】山崎 慎一
参考文献・文献 特開2005-043385(JP,A)
特開2007-017243(JP,A)
特開2000-275098(JP,A)
特開平10-076012(JP,A)
特開平11-089807(JP,A)
特開2001-133300(JP,A)
特開2006-058973(JP,A)
特開2006-292454(JP,A)
特開2001-054507(JP,A)
特開平11-175767(JP,A)
調査した分野 G06F 3/01
G06T 19/20
特許請求の範囲 【請求項1】
環境への接触動作により生じた時系列な力と位置の触覚情報を取得し、
前記取得した前記触覚情報を時間領域と位置領域で解析処理し、
この解析処理結果は、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数解析データに変換する時間領域の解析と、
前記周波数解析データを、前記環境の表面形状に基づき空間上に配置する空間領域の解析とにより得られ、
前記空間上に配置された前記周波数解析データから、どの位置でどのような周波数成分の特性を有するのかを、前記環境の表面形状に応じた複数の位置上に、所定範囲の周波数における振幅の度合で表示手段に可視化して表示させることを特徴とする触覚の視覚的表現方法。
【請求項2】
前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、前記時間領域または前記空間領域で解析処理することを特徴とする請求項記載の触覚の視覚的表現方法。
【請求項3】
前記環境に可動体が接触したときの反力を反力オブザーバで推定し、
前記力の触覚情報を、前記反力オブザーバからの反力推定値として取得することを特徴とする請求項または記載の触覚の視覚的表現方法。
【請求項4】
環境への接触動作により生じた時系列な力と位置の触覚情報を取得する手段と、
前記取得した触覚情報を時間領域と位置領域で解析処理する処理手段とを備え、
前記処理手段は、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数解析データに変換する時間領域解析部と、前記周波数解析データを、前記環境の表面形状に基づき空間上に配置して、前記解析処理の結果を得る空間領域解析部とを備え、
前記空間上に配置された前記周波数解析データから、どの位置でどのような周波数成分の特性を有するのかを、前記環境の表面形状に応じた複数の位置上に、所定範囲の周波数における振幅の度合で表示手段に可視化して表示させる構成としたことを特徴とする触覚の視覚的表現装置。
【請求項5】
前記処理手段は、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、前記時間領域解析部または前記位置領域解析部で解析処理するものであることを特徴とする請求項記載の触覚の視覚的表現装置。
【請求項6】
前記環境に可動体が接触したときの反力を推定する反力オブザーバを更に備え、
前記力の触覚情報を、前記反力オブザーバからの反力推定値として取得する構成としたことを特徴とする請求項または記載の触覚の視覚的表現装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、触覚情報を視覚的に表現し得る触覚の視覚的表現方法および触覚の視覚的表現装置に関する。
【背景技術】
【0002】
人間の持つ感覚のなかで、機械と人間、若しくは遠隔地に存在する人間と人間との間を結ぶ重要な感覚として、視覚,聴覚,触覚が挙げられる。視覚や聴覚に対応する画像や音声の処理技術は、情報通信工学の発展とともにインターフェースとして急速に広まり、産業の基盤技術として欠かせないものとなっている。例えば、写真,テレビ,電話,蓄音機等の発明により、視覚や聴覚に関する情報の伝送や、保存や、再生が可能となり、さらにはビデオカメラやテレビにより、視覚および聴覚情報の放送も可能になった。これは、あたかも人間が持つ視覚や聴覚が、時間と空間を越えたように感じさせることと等価であるといえる。現在では、そうした視覚や聴覚情報の解析や加工を取り扱うディジタル信号処理技術の開発も、日々進歩している。
【0003】
一方、感覚情報の一つを担う触覚情報は、視覚や聴覚の情報に次ぐ新たなマルチメディア情報として、これを伝送して保存し、人工的に再現する技術の開発が求められている。そのため、マスターシステムとスレーブシステムとによるロボットシステム間の遠隔操作や、動かしている位置とその位置での各種情報を触覚を介して表示するようなハプティック(触覚)ディスプレイは、触覚情報を扱う技術として多くの研究が行なわれている。
【0004】
しかしながら、上述した視覚や聴覚に関する情報は受動的で、単方向性の感覚情報であるのに対し、触覚情報は実世界における「作用・反作用の法則」に束縛される双方向性の感覚情報であり、しかも接触対象である環境に能動的に接触することで、初めてその情報が得られるので、モデルベースやヴァーチャルリアリティを応用した触覚情報の再現は行なわれているものの、実世界における触覚情報の取得は困難である。
【0005】
こうした実世界における触覚情報の抽出や再現を行なう実世界ハプティクスとして、例えば非特許文献1には、実世界における遠隔地からのバイラテラル力覚フィードバックの制御手法が提案されている。また別な非特許文献2には、多方向のシステム間で力覚情報のやり取りを可能にするマルチラテラル触覚伝送技術が提案されている。
【0006】
このように、実世界における触覚情報の抽出や再現に関し、様々な研究が行なわれているが、そこで取得した触覚情報を視覚的に表現する技術は、生産工学や低侵襲性外科医療の分野で望まれてはいるものの、開発がなされてはおらず、実用化に至っていない。例えば触覚情報を視覚的に表現する一手法として、力覚センサや、非特許文献3で提案された反力推定オブザーバなどで得られたデータを、時系列順に表示することが考えられるが、この場合には接触する環境が、「つるつる」や「ざらざら」するといった定性的な表現でしか評価を行なうことができない。そのため双方向性を有する実世界における触覚情報を扱う基本概念として、触覚情報をより直感的且つ定量的に評価できる装置や方法が求められていた。

【非特許文献1】下野 誠通,桂 誠一郎,大西 公平(T.Shimono,S.Katsura,K.Ohnishi)、「環境モデルに基づく実世界力覚情報再現のための双方向モーションコントロール(Bilateral Motion Control for Reproduction of Real World Force Sensation based on the Environmental Model)」、電気学会 産業応用部門誌(IEEJ Transactions on Industry Applications)、第126-D巻第8号(Vol.126-D,No.8)、pp.1059-1068、2006年8月(August,2006)
【非特許文献2】桂 誠一郎,松本 雄一,大西 公平(S.Katsura,Y.Matsumoto,K.Ohnishi)、「マルチラテラル制御による「作用・反作用の法則」の実現(Realization of "Law of Action and Reaction" by Multilateral Control)、米国電気電子学会 産業電子工学論文誌(IEEE Transactions on Industrial Electronics)、第52巻第5号(Vol.52,No.5)、pp.1196-1205,2005年10月(October,2005)
【非特許文献3】村上 俊之,郁 方銘,大西 公平(T.Murakami,F.Yu,K.Ohnishi)、「多自由度マニピュレータにおけるトルクセンサレス制御(Torque Sensorless Control in Multidegree-of-freedom Manipulator)」、米国電気電子学会 産業電子工学論文誌(IEEE Transactions on Industrial Electronics)、第40巻第2号(Vol.40,No.2)、pp.259-265、1993年4月(April,1993)
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は上記の問題点に鑑みなされたもので、その目的は、それまで定性的な表現しかできなかった触覚情報を、より直感的且つ定量的に表現することが可能な触覚の視覚的表現方法および触覚の視覚的表現装置を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明における触覚の視覚的表現方法は、環境への接触動作により生じた時系列な力と位置の触覚情報を取得し、前記取得した前記触覚情報を時間領域と位置領域で解析処理し、この解析処理結果は、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数解析データに変換する時間領域の解析と、前記周波数解析データを、前記環境の表面形状に基づき空間上に配置する空間領域の解析とにより得られ、前記空間上に配置された前記周波数解析データから、どの位置でどのような周波数成分の特性を有するのかを、前記環境の表面形状に応じた複数の位置上に、所定範囲の周波数における振幅の度合で表示手段に可視化して表示させることを特徴とする。
【0009】
この場合前記取得した触覚情報を前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、前記時間領域または前記空間領域で解析処理するのが好ましい。
【0010】
また、前記環境に可動体が接触したときの反力を反力オブザーバで推定し、前記力の触覚情報を、前記反力オブザーバからの反力推定値として取得するのが好ましい。
【0011】
上記方法に対応するように、本発明における触覚の視覚的表現装置は、環境への接触動作により生じた時系列な力と位置の触覚情報を取得する手段と、前記取得した触覚情報を時間領域と位置領域で解析処理する処理手段とを備え、前記処理手段による解析処理結果を、表示手段に可視化して表示させる構成としている。
【0012】
この場合の前記処理手段は、位置に対応して前記触覚情報を周波数解析した周波数解析データを、前記解析処理結果として生成するものであり、前記周波数解析データから、前記触覚情報がどの位置でどのような周波数特性を有するのかを、前記表示手段に可視化して表示させる構成とするのが好ましい。
【0013】
また前記処理手段は、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、時間領域または位置領域で解析処理するものであることが好ましい。
【発明の効果】
【0014】
上記請求項1の方法および請求項の装置によれば、環境への接触動作により生じた時系列な力と位置の触覚情報をそのまま単に時系列的に表示させるのではなく、触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数解析データに変換する時間領域の解析と、この周波数解析データを、環境の表面形状に基づき空間上に配置する空間領域の解析とにより、取得した触覚情報に時間領域と位置領域で解析処理を施すことで、解析処理結果を位置的に配置して、例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示を表示手段に行なわせることが可能になる。そのため、従来のような定性的な表現しかできなかった触覚情報を、表示手段からの可視化表示を通して、より直感的かつ定量的に表現することが可能になる。
【0015】
また特に、取得した触覚情報から、位置に対応して触覚情報を周波数解析した周波数解析データを生成することで、当該触覚情報がどの位置でどのような周波数特性を有するのかを、表示手段に可視化して表示させることができ、環境の表面形状に応じた複数の位置上に、振幅レベルの程度を例えば色や濃淡で可視化することで、触覚情報をより定量的に表現することが可能になる。
【0016】
上記請求項の方法および請求項の装置によれば、画像や音声信号処理などの分野で研究開発が進んでいるフーリエ変換またはウェーブレット変換またはコサイン変換を採用することで、触覚情報の時間領域や位置領域における解析処理を容易に行なうことが可能になる。
【0017】
上記請求項3の方法および請求項6の装置によれば、力の触覚情報として、環境への接触動作により生じた反力を、力覚センサを用いずに反力オブザーバで推定できる。
【発明を実施するための最良の形態】
【0018】
本発明における好適な実施の形態について、添付図面を参照して説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また、以下に説明される構成の全てが、本発明の必須要件であるとは限らない。
【0019】
図1は、本発明の好適な一実施例を示す装置の機能的構成を示している。同図において、1は外部から取得した触覚情報を視覚情報化する装置本体であって、これは演算処理機能を有する例えばコンピュータなどにより構成される。装置本体1は、ある時間における力と位置の触覚情報を取得する手段である入力手段2と、入力手段2で取得した触覚情報を時間領域と位置領域すなわち空間領域でそれぞれ解析処理する処理手段3と、処理手段3で得られた空間位置毎の周波数析データを記憶する記憶手段4と、画面(ディスプレイ)やプリンタなどの視覚的な表示手段5と、後述するリニアモータ12の駆動を制御するモータ制御手段6と、を備えて構成される。
【0020】
また、ここでは環境Eへの接触動作により生じた反作用力情報を抽出するために、環境Eに接触する可動体としての軸体11と、この軸体11を一方向に動かすリニアモータ12とによるアクチュエータ13を構成すると共に、リニアモータ12ひいては軸体11の位置と加速度をそれぞれ監視する検知手段14が、エネルギーを動力に変換するアクチュエータ13に取付けられ、この検知手段14で得られた位置検知信号と加速度検知信号を、前記モータ制御手段6に組み込まれた位置・加速度統合型の外乱オブザーバ(PAIDO)15と、反力(推定)オブザーバ16にそれぞれ送出することにより、リニアモータ12が受ける外乱力と反作用力を、力覚センサを用いずに、外乱オブザーバ15と反力オブザーバ16で各々推定するように構成している。これによりモータ制御手段6は、外乱オブザーバ15で得られた推定外乱力と、反力オブザーバ16で得られた推定反作用力とを加味した電流指令信号を生成し、これをリニアモータ12に送出するようになっている。
【0021】
前記入力手段2は、ある時間において、どの位置でどのような力が生じているのかという触覚情報を最終的に取得し、後段の処理手段3に出力できれば、どのような構成であってもよい。上述したモータ制御手段6による力制御系では、駆動源であるリニアモータ12により可動する可動体としての軸体11が、接触対象である環境Eに接触したときに受ける力(反力)を、反力オブザーバ16からの反力推定値として取り込むと共に、その力を環境Eのどの位置で受けたのかという情報を、図示しない位置検知手段から入力手段2が取り込んでもよい。この場合、入力手段2に備えた計時手段2Aの時間カウントを利用して、ある時間における力と位置を特定する触覚情報を取得する構成であってもよい。また、反力オブザーバ16からの反力推定値に代わって、アクチュエータ13に取付けられた力覚センサからの検知出力により、反力を取り込んでもよい。
【0022】
また、別な例として、キーボードやマウスなどの操作手段17を入力手段2に接続し、この操作手段17から操作入力された各時間毎の時系列な力と位置の各データを、そのまま触覚情報として入力手段2が取り込んでもよく、さらに別な例として、時系列な力と位置の触覚情報を記憶した外部媒体18を入力手段2に接続し、外部媒体18から読み出した触覚情報を入力手段2が取り込む構成であってもよい。この場合、上述した計時手段2Aを入力手段2に組み込む必要はない。
【0023】
ここで、処理手段3が必要とする触覚情報は、同じ時間における力と位置の各情報を含んでいて、時間的に同期しているものであってもよいし、違う時間における力と位置の各情報を含んでいて、時間的に非同期なものであってもよい。
【0024】
処理手段3は、入力手段2で取得した触覚情報を時間領域で解析する時間領域解析部21と、当該触覚情報を空間領域で解析する空間領域解析部22とを備えて構成される。時間領域解析部21は、入力手段2で取得した触覚情報を時間領域で周波数解析して、触覚情報に含まれる時間と力との関係を、周波数と振幅(振動レベル)との関係を示す周波数析データに変換できれば、どのような構成であってもよい。こうした周波数解析は、画像や音声信号処理などの分野で研究開発が進んでおり、高速フーリエ変換(FFT)やウェーブレット変換を用いた手法が例として挙げられる。そこで、本実施例における時間領域解析部21は、内蔵するFFTやウェーブレット変換による変換機能を用いて、触覚情報の時間領域としての解析を行ない、特徴的な周波数成分を抽出した周波数析データを取得できるようになっている。
【0025】
一方、空間領域解析部22は、空間領域を小空間に分割して数値解析を行なうもので、これを実現する手法としては、有限要素法がよく知られている。そこで本実施例の空間領域解析部22は、内蔵する有限要素法の変換機能によって、実世界空間を小空間に分割して抽出された触覚情報を時間領域で解析し、その結果を2次元空間に投影できるように、実世界空間上の位置と関連付けできるようになっている。なお、固定した一乃至複数の点の位置に関係する触覚情報の場合は、この空間領域解析部22による解析を省略してもよい。
【0026】
処理手段3は、時間領域解析部21による解析結果と、空間領域解析部22による解析結果とを統合することで、小空間の各位置に対応した周波数析データを取得し、これを記憶手段4に記憶させる。この場合、時間領域解析部21による周波数解析に続いて、空間領域解析部22による空間解析を行なう構成としてもよいし、逆に空間解析に続いて周波数解析を行なう構成としてもよい。さらには、周波数解析と空間解析を並行して行なう構成としてもよいし、接触位置が固定していて空間解析が不要な場合は、空間領域解析部22の構成を省略してもよい。
【0027】
なお、ここに提示され、またはここに提示されていない周知の各種変換機能を単独または複数組み合わせて、同様の処理手段3を実現してもよい。例えば時間領域解析部21に内蔵する変換機能として、例えばFFT以外のフーリエ変換や、ウェーブレット変換や、コサイン変換を採用してもよい。ここでいうフーリエ変換とは、離散フーリエ変換や、短時間フーリエ変換などを含み、コサイン変換は、特殊な離散フーリエ変換である離散コサイン変換や、離散コサイン変換の一手法である変形離散コサイン変換などを含む。また、ウェーブレット変換とは、連続ウェーブレット変換や、離散ウェーブレット変換などを含む。
【0028】
また、上記処理手段3は、記憶手段4に保存される各位置に対応した周波数分析データを読み出して、触覚情報を写真のように可視化して表示手段5で表示できるように、当該表示手段5を制御する表示制御手段としての機能を備えている。このような触覚情報を可視化する新たな表現技術を、ここでは「ハプトグラフ(Haptograph)」と表現して以後説明する。表示手段5により表示される「ハプトグラフ」は、入力手段2で取得した触覚情報に対し、処理手段3で高速フーリエ変換やウェーブレット変換のような周波数解析を施し、これを例えば軸体11に接触する環境Eの表面形状に基づき空間的に配置することで、どの位置にどのような周波数成分の振幅レベル(スペクトル)が存在するのかを、振幅レベルの強弱に応じた異なる色や濃淡(グラデーション)で、表示手段5に可視化表現させることが可能になる。
【0029】
因みに「Hapto」とは、ギリシャ語で「触れる」の意味であり、触覚を写真のように視覚化することから「Haptograph」と命名している。本実施例でのハプトグラフは、接触する環境Eの表面から受ける触覚情報を、2次元空間上に配置したものとして定義する。勿論この配置は、1次元または3次元以上であっても構わない。ハプトグラフを用いることで、触覚情報を写真や図のように視覚的に捉えることが可能になるので、より直感的に触覚を認識できるようになる。また、触覚情報を時間領域解析部21で周波数解析し、それによりスペクトルの大きさを例えば色の違いや濃淡で可視化するため、触覚の定量的な評価や比較を行なうことも可能である。
【0030】
前記空間領域解析部22で分割した空間の数は、画像でいえばピクセル(画素)に相当し、分割数は触覚情報の分解能となる。当然、分割数が多ければ詳細な触覚情報を埋め込むことができるが、後述する記憶手段4で保存すべきデータ量も増加する。一つの指標としては、人間が最も触覚を必要とする指先の分解能にあわせて、空間領域解析部22で分割する空間の数を設定するのが好ましい。人間が皮膚に2つの触刺激を受けた時に、その刺激がそれぞれ別の点であると識別できるもっとも短い距離が、成人の人差し指の先端では約2.5mm程度であるといわれている。空間の分割方法や分割数は任意であるが、人間の持つ触覚に対する分解能よりも細かい小空間で、表示手段5による「ハプトグラフ」を表現することが、人間支援の観点から理想的である。さらに、空間領域解析部22で分割した小空間を、離散的な点列で構成したハプトグラフだけでなく、小空間を連続的な線と捉えることで、なで動作によるハプトグラフの作成も可能である。
【0031】
次に、上記構成に基づき、本実施例における触覚の視覚的表現方法の各手順を、図2のフローチャートを参照して説明する。装置本体1を起動させ、処理動作を開始させると、入力手段2はステップS2において、後段の処理手段3に送出するための触覚情報を取得する。この触覚情報の取得には、必要に応じてステップS1の接触動作が先に行なわれる。
【0032】
具体的には、例えば図1において、モータ制御手段6によりアクチュエータ13を力制御する構成では、モータ制御手段6からの電流指令信号によりリニアモータ12を駆動させ、このリニアモータ12に取付けられた軸体11を環境Eに接触させることで、ステップS1の接触動作が行なわれる。また、ここではリニアモータ12が受ける外乱力と反作用力(外力)の各値が、モータ制御手段6に備えた好ましくは位置・加速度統合型の外乱オブザーバ15と、反力オブザーバ16とによりそれぞれ推定され、これらの推定値によってリニアモータ12が力制御されると共に、軸体11が受ける反作用力の推定値が、力の情報として反力オブザーバ16から入力手段2に出力される。
【0033】
また、上記ステップS1の接触動作に伴う環境Eと軸体11との接触位置は、これを図示しない位置センサで検知して、入力手段2に出力してもよいし、予め接触位置が判っている場合には、その位置情報を入力手段2が取り込んでもよい。例えば環境Eや軸体11が不規則に動いていて、接触位置が定まらない場合には、位置センサの検知出力を入力手段2が位置の情報として取り込むのが好ましい。逆に、例えば環境Eまたはアクチュエータ13をX-Yテーブルなどに取付けて、モータ制御手段6からX-Yテーブルに出力される制御信号により、決められた位置で軸体11を環境Eに接触させる場合、モータ制御手段6からの前記制御信号を利用して、入力手段2が位置の情報を取り込めば、上記位置センサを不要にすることができる。さらに、軸体11が環境Eに接触しない場合には、例えば軸体11の先端位置を、入力手段2が位置の情報として取り込んでもよく、要は前記力の情報と共に位置の情報が入力手段2に取り込まれればよい。
【0034】
ステップS2において、入力手段2は取り込まれた力と位置の情報の経時的な変化を触覚情報として取得するために、内蔵する計時手段2Aの時計カウントを用いて、時間と力および時間と位置とを関連付ける。因みに、入力手段2に取り込まれる力や位置の情報に、予め時間情報が関連付けられている場合は、これをそのまま触覚情報として取得することができる。また、検知手段14に代わり操作手段17や外部媒体18から直接触覚情報を取得する場合には、ステップS1の手順を省略することも可能である。
【0035】
こうして、ステップS2において触覚情報が得られると、処理手段3の時間領域解析部21は、触覚情報に含まれる時間と力との関係から、これをFFTやウェーブレット変換などの周波数解析手法を用いて、触覚情報の時間領域としての解析を行なう(ステップS3)。こうした周波数解析を施すと、ある期間に生じる力(反作用力)の情報から、それがどのような周波数特性を有するのかという周波数解析データを得ることができる。
【0036】
次のステップS4において、処理手段3の空間領域解析部22は、時間領域解析部21により求められた周波数解析データを、軸体11が接触する環境Eの表面形状に基づき、空間上に配置する空間解析を行なう。具体的には、環境Eと軸体11との接触位置が刻々と変化する場合、単に時間領域解析部21により周波数解析を行なうだけでは、その変化する接触位置上での周波数解析データしか取得することができない。そこで、ステップS3で求めた周波数解析データに対し、さらに空間領域解析部22で例えば有限要素法による空間解析を施すことにより、固定した位置での周波数解析データを得ることができる。
【0037】
なお、処理手段3からの前記制御信号により、環境Eと軸体11との接触位置を固定して、検知手段14から力の情報を取り込む場合は、その力の情報に対応する接触位置の情報が、入力手段2から処理手段3に与えられることで、ステップS3で求めた周波数解析データと接触位置とを、空間領域解析部22による空間解析を行なわずに、時間領域処理部21だけで関連付けることができる。そしてこの場合は、ステップS1~ステップS3の各手順が終了した時点で、軸体11を環境Eの別な位置に接触動作させるために、ステップS1の手順に戻すことにより、様々な固定した接触位置での周波数解析データを得ることができる。また、一点の位置だけの周波数解析データを得る場合には、ステップS1の手順に戻ることなく、次のステップS5の手順が行なわれる。
【0038】
こうして空間領域解析部22が、実空間の位置に対応した周波数解析データを処理手段3の解析処理結果として生成すると、次のステップS5で解析処理結果を記憶手段4に保存し、さらにはこの記憶手段4から解析処理結果を読み出して、処理手段3に備えた表示制御手段が、前述した「ハプトグラフ」を表示手段5に表示させ、一連の処理を終了する。
【0039】
ここで、表示手段5の表示形態は、「ハプトグラフ」の概念を逸脱しない限り、どのようなものであっても構わない。例えば、環境Eの表面形状に応じた一乃至複数の位置上に、所定範囲の周波数におけるスペクトルの度合を、線,色,濃淡などで可視化させてもよい。また、点在する固定した位置の周波数解析データ間を直線などで補間し、メッシュ状に繋いで連続的に表示させてもよい。さらに、一つの決められた位置において、どのような周波数成分でどのような強さのスペクトルが存在するのかを、表示手段5により色などで可視化表示させてもよい。
【0040】
以上のように本実施例では、一乃至複数の固定した位置と、時系列な力の触覚情報を入力手段2により取得し、この入力手段2で取得した触覚情報を、処理手段3により時間領域で解析処理し、さらに処理手段3によって得た解析処理結果を、表示手段5に可視化して表示させる方法と装置を提供している。
【0041】
これは、同じ位置で環境Eに接触動作を行なわせる場合や、同じ位置についての時系列的な力の情報を、操作手段17や外部媒体18から触覚情報として取り込む場合を想定している。つまり、触覚情報をそのまま単に時系列的に表示させるのではなく、取得した触覚情報に時間領域で解析処理を施すことで、例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示を表示手段5に行なわせることが可能になる。そのため、従来のような定性的な表現しかできなかった触覚情報を、表示手段5からの可視化表示を通して、より直感的かつ定量的に表現することが可能になる。
【0042】
また、特にここでの触覚情報が、一点だけの位置と、この位置に対応する時系列な力の情報である場合には、固定した同じ位置で、触覚情報がどのような特徴的な周波数を有するのかを、表示手段5に可視化表示させることが可能になる。
【0043】
また、この場合の前記処理手段3からの解析処理結果は、触覚情報を周波数解析して得た周波数解析データを生成することで得られ、この周波数解析データから、触覚情報がどのような周波数特性を有しているのかを、表示手段5に可視化して表示させている。
【0044】
こうすると、入力手段2で取得した触覚情報から、この触覚情報を周波数解析した周波数解析データを生成することで、触覚情報がどのような周波数特性を有するのかを、表示手段5に可視化して表示させることができ、振幅レベルの程度を例えば色や濃淡で可視化することで、触覚情報をより定量的に表現することが可能になる。
【0045】
また、環境Eとの接触位置が規則的または不規則に移動する場合や、複数の位置について、それぞれ時系列的な力の情報を、操作手段17や外部媒体18から触覚情報として取り込む場合には、環境Eへの接触動作により生じた時系列な力と位置の触覚情報を入力手段2により取得し、この入力手段2で取得した触覚情報を、処理手段3により時間領域と三次元的な位置領域である空間領域で解析処理し、この解析処理結果は、触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数解析データに変換する時間領域の解析と、当該周波数解析データを、環境Eの表面形状に基づき空間上に配置する空間領域の解析とにより得られ、さらに処理手段3によって得た解析処理結果を、空間上に配置された前記周波数解析データから、どの位置でどのような周波数成分の特性を有するのかを、環境Eの表面形状に応じた複数の位置上に、所定範囲の周波数における振幅の度合で表示手段5に可視化して表示させる方法や装置を採用するのが好ましい。
【0046】
この場合、環境Eへの接触動作により生じた時系列な力と位置の前記触覚情報をそのまま単に時系列的に表示させるのではなく、触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数解析データに変換する時間領域の解析と、この周波数解析データを、環境の表面形状に基づき空間上に配置する空間領域の解析とにより、取得した触覚情報に時間領域と空間領域で解析処理を施すことで、解析処理結果を空間的に配置して、例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示を表示手段5に行なわせることが可能になる。そのため、従来のような定性的な表現しかできなかった触覚情報を、表示手段5からの可視化表示を通して、より直感的かつ定量的に表現することが可能になる。
【0047】
また特に、入力手段2で取得した触覚情報から、位置に対応して触覚情報を周波数解析した周波数解析データを生成することで、どの位置でどのような周波数特性を有するのかを、表示手段5に可視化して表示させることができ、環境Eの表面形状に応じた複数の位置上に、振幅レベルの程度を例えば色や濃淡で可視化することで、触覚情報をより定量的に表現することが可能になる。
【0048】
さらに本実施例の処理手段3は、入力手段2で取得した触覚情報を高速フーリエ変換またはウェーブレット変換またはコサイン変換により時間領域または空間領域で解析処理し、また有限要素法を用いた変換により空間領域で解析処理している。つまり、画像や音声信号処理などの分野で研究開発が進んでいるフーリエ変換またはウェーブレット変換またはコサイン変換や、空間領域を小空間に分割して数値解析を行なう手法としてよく知られている有限要素法を採用することで、触覚情報の時間領域や空間領域における解析処理を容易に行なうことが可能になる。
【0049】
また本実施例では、環境Eに可動体である軸体11が接触したときの反力を反力オブザーバ16で推定し、前記力の触覚情報を、反力オブザーバ16からの反力推定値として取得している。
【0050】
この場合、力の触覚情報として、環境Eへの接触動作により生じた反力を、力覚センサを用いずに反力オブザーバ16で推定できる。
【0051】
その他、本実施例では、処理手段3からの解析処理結果を保存する記憶手段4を備えており、この記憶手段4に保存した解析処理結果を読み出すことにより、表示手段4に解析処理結果を可視化して表示させるようになっている。
【0052】
つまり、解析処理結果をそのまま表示手段5に可視化表示させるのではなく、記憶手段4に一旦保存してから可視化表示させることで、それまで記憶手段4に蓄積保存されていた解析処理結果を任意に読み出して、これを表示手段5で可視化表示させることが可能になる。
【0053】
また、上述した時系列的な力の情報が、特にある時間における力制御系を構成した可動体(軸体11)の反作用力の情報である場合、こうした反作用力には、軸体11が接触する環境Eの剛性や、粘性や、質量などの諸情報が含まれていることから、当該反作用力を時間領域で解析処理すれば、接触する環境Eの違いや触覚情報の特徴を表示手段5に可視化して表現させることが可能になる。
【0054】
なお、本発明は上記実施例に限定されるものではなく、本発明の要旨の範囲において種々の変形実施が可能である。
【産業上の利用可能性】
【0055】
上記実施例で提示した「ハプトグラフ」により、触覚の空間情報と時間情報の双方を埋め込んで、これを視覚化(可視化)することが可能になるため、それまで「つるつる」や「ざらざら」といった定性的な表現に代わり、触覚をより直感的且つ定量的に表現することが可能になる。さらに、上記実施例における表示手段5と表示制御手段は、インターネットや放送などの有線または無線通信手段によって遠隔地に配置されていてもよく、その場合は触覚情報を遠隔地に配信する際に、視覚化された情報を処理手段3から送り出すことで、どの場所にあっても直感的かつ定量的に触覚を共有することができる。さらに、ここで提案する「ハプトグラフ」は、処理手段3から表示手段5に視覚化表示情報を配信するに際し、情報の圧縮や保存フォーマットに関する標準規格を策定することにつながり、その産業上の応用は計り知れないものとなり得る。
【図面の簡単な説明】
【0056】
【図1】本発明の一実施例における触覚の視覚的表現装置に関し、その全体構成を示すブロック図である。
【図2】同上、図1における触覚の視覚的表現装置が実行する処理手順をあらわしたフローチャートである。
【符号の説明】
【0057】
2 入力手段(時系列な力の触覚情報を取得する手段)
3 処理手段
5 表示手段
軸体(可動体)
16 反力オブザーバ
21 時間領域解析部
22 空間領域解析部
図面
【図1】
0
【図2】
1