TOP > 国内特許検索 > 動きガイド提示方法、そのシステム及び動きガイド提示装置 > 明細書

明細書 :動きガイド提示方法、そのシステム及び動きガイド提示装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5921674号 (P5921674)
登録日 平成28年4月22日(2016.4.22)
発行日 平成28年5月24日(2016.5.24)
発明の名称または考案の名称 動きガイド提示方法、そのシステム及び動きガイド提示装置
国際特許分類 H04N   7/18        (2006.01)
H04N  13/04        (2006.01)
H04N  13/02        (2006.01)
FI H04N 7/18 V
H04N 13/04 400
H04N 13/02 390
請求項の数または発明の数 13
全頁数 32
出願番号 特願2014-512502 (P2014-512502)
出願日 平成25年4月18日(2013.4.18)
国際出願番号 PCT/JP2013/061475
国際公開番号 WO2013/161662
国際公開日 平成25年10月31日(2013.10.31)
優先権出願番号 2012097328
優先日 平成24年4月23日(2012.4.23)
優先権主張国 日本国(JP)
審査請求日 平成26年10月21日(2014.10.21)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】国立研究開発法人科学技術振興機構
発明者または考案者 【氏名】前田 太郎
【氏名】安藤 英由樹
【氏名】飯塚 博幸
【氏名】米村 朋子
【氏名】近藤 大祐
【氏名】横坂 拓巳
個別代理人の代理人 【識別番号】110000970、【氏名又は名称】特許業務法人 楓国際特許事務所
審査官 【審査官】鈴木 明
参考文献・文献 特開2005-034195(JP,A)
特開2010-240185(JP,A)
特開2010-257081(JP,A)
調査した分野 H04N 7/18
H04N 13/00-13/04
特許請求の範囲 【請求項1】
提示部材に追従対象となる参照画像を提示すると共に自己の像を提示して前記参照画像の動きへの追従をガイドする動きガイド提示方法において、前記参照画像と前記自己の像とを共に一人称視点で、かつ前記提示部材に所定の条件で交互に時分割提示し、前記所定の条件として前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率が設定されていることを特徴とする動きガイド提示方法。
【請求項2】
前記所定の条件は、前記自己の像の提示時間に対する前記参照画像の提示時間の比率が少なくとも1以上であることを特徴とする請求項1に記載の動きガイド提示方法。
【請求項3】
前記所定の条件は、前記時分割提示の周波数が略2Hz~4Hzであり、前記自己の像と前記参照画像との提示時間の比率が1対1~1対3であることを特徴とする請求項1又は2に記載の動きガイド提示方法。
【請求項4】
前記所定の条件は、前記自己の像と前記参照画像との提示時間の比率が略1対2であることを特徴とする請求項2又は3に記載の動きガイド提示方法。
【請求項5】
前記所定の条件は、前記時分割提示の周波数が略2.5Hzであることを特徴とする請求項2~4のいずれかに記載の動きガイド提示方法。
【請求項6】
前記自己の像は、撮像部材で撮像された一人称視点の画像であることを特徴とする請求項1~5のいずれかに記載の動きガイド提示方法。
【請求項7】
追従対象となる参照画像と自己の像とを共に一人称視点で提示する共通の提示部材と、
前記提示部材に前記参照画像と前記自己の像とを所定の条件で交互に時分割提示する提示処理手段と、
前記所定の条件としての前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率にて前記提示処理手段を動作させる提示態様設定手段とを備えた動きガイド提示装置。
【請求項8】
前記所定の条件は、前記自己の像の提示時間に対する前記参照画像の提示時間の比率が少なくとも1以上であることを特徴とする請求項7に記載の動きガイド提示装置。
【請求項9】
前記提示態様設定手段は、前記所定の条件として、前記時分割提示の周波数を略2Hz~4Hzに、前記自己の像と前記参照画像との提示時間の比率を1対1~1対3に設定していることを特徴とする請求項7又は8に記載の動きガイド提示装置。
【請求項10】
前記提示態様設定手段は、前記自己の像と前記参照画像との提示時間の比率を略1対2に設定していることを特徴とする請求項8又は9に記載の動きガイド提示装置。
【請求項11】
前記所定の条件は、前記時分割提示の周波数が略2.5Hzであることを特徴とする請求項8~10いずれかに記載の動きガイド提示装置。
【請求項12】
前記自己の像を一人称視点で撮像する撮像部を備え、前記提示処理手段は、撮像された自己の画像を前記提示部材に導くものであることを特徴とする請求項7~11のいずれかに記載の動きガイド提示装置。
【請求項13】
請求項12に記載の動きガイド提示装置として第1、第2の動きガイド提示装置を備え、前記第1、第2の動きガイド提示装置間で、互いに撮像した画像の送受信を行う通信部を備えてなる動きガイド提示システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、提示部材に追従対象となる参照画像と自己の像とを共に一人称視点で提示し、自己に追従対象に追従する動きをガイドする技術に関する。
【背景技術】
【0002】
身体運動の視覚的なガイダンスを実現する装置としてビデオシースルーヘッドマウンテッドディスプレイ(VST-HMD)が知られている。VST-HMDは、典型的には一人称視点の映像を頭部に装着した表示面に表示するもので、表示画面内で視野を共有する二者間において、互いに協調的な身体運動を行うような場合、身体運動の学習や強調のために、手本となる他者と自己の一人称視点映像を同時に合成して提示する手法が利用されてきた(非特許文献1)。また、非特許文献2は、熟練者側のガイダンス映像としてボーンアニメーションを利用するもので、このボーンアニメーションを一人称視点映像に置換して自己の視点画像と共有化して合成表示させる画像処理技術が開示されている。
【先行技術文献】
【0003】

【非特許文献1】前田太郎:第7章、身体性情報応用技術、電子情報通信学会(編)、ブレインコミュニケーション-脳と社会の通信手段、電子情報通信学会、2011
【非特許文献2】西野友康ら:熟練者と学習者の視点を統合するスキル動作提示手法の提案、情報処理学会シンポジウム論文集 P.303-306、2011
【発明の概要】
【発明が解決しようとする課題】
【0004】
身体運動を他者の動きに追従させるためには、視野内に提示される他者と自己の2つの身体部位の各対応点間の位置誤差を認識して、この位置誤差を小さくする方向に運動を継続すること、すなわち追従動作を行うことが必要である。しかしながら、殆ど重なり合った状態での、例えば十指の動きに対する追従の場合のように対応点が複雑に入り込んでいる状態では、自己と他者の2つの視点映像の間で注意を行き来させながら追従作業をしなければならないが、前記の各対応点間の位置誤差を認識すること自体の負荷が高くなりすぎて、追従作業が困難になり、協調して作業を行っている没入感が欠落する場合が多いという問題があった。
【0005】
本発明は、互いに一人称視点の自己の像と参照画像とを所定の周期、比率で交互に時分割提示することで追従精度の高いガイダンスを実現する技術を提案するものである。
【課題を解決するための手段】
【0006】
本発明に係る動きガイド提示方法は、提示部材に追従対象となる参照画像を提示すると共に自己の像を提示して前記参照画像の動きへの追従をガイドする動きガイド提示方法において、前記参照画像と前記自己の像とを共に一人称視点で、かつ提示部材に所定の条件で交互に時分割提示し、前記所定の条件として前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率が設定されていることを特徴とするものである。
【0007】
また、本発明に係る動きガイド提示装置は、追従対象となる参照画像と自己の像とを共に一人称視点で提示する共通の提示部材と、前記提示部材に前記参照画像と前記自己の像とを所定の条件で交互に時分割提示する提示処理手段と、前記所定の条件としての前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率にて前記提示処理手段を動作させる提示態様設定手段とを備えたものである。
【0008】
これらの発明によれば、自己の一人称視点の像と追従対象である一人称視点の参照画像とが共通する提示部材に交互に時分割提示される。時分割提示は、所定の周期かつ所定の比率の元で行われ、これによって、視野合成法や視野交換法に比して、追従性においてより高い精度が得られることになる。なお、追従性には、追従位置誤差、追従速度誤差を低減することが含まれる。そして、参照画像である他者(録画画像の場合、他者の他、自己のものを含む)と自己の二者間において互いに協調的な身体運動を行うような場合に、参照画像と自己の像とを前記所定の条件で切り替えることによって自己の運動の随意性が失われず、かつ自然と他者と運動が揃ってしまうという、すなわち視野中に逐次的に提示される二者の身体部位が融合して一つの自分の身体部位であると錯覚させられること(融合感の生起)が可能となる。その結果、意図的に行うことが困難であった多数対応点の同時マッチングを、意図せずとも実行させることとなり、行動者の認知負荷を低減しつつ自発的な運動追従を継続することができる。また、参照画像が指示者等の動きであるような場合、例えば高いスキルを持ったベテランや指示者等の動きを、例えば現場の作業者に伝送し、高い精度で追従させることが容易となる。なお、双方が参照画像となりながら、かつ追従するといった協調関係を持った態様にも適用可能となる。
【0009】
また、本発明に係る動きガイド提示システムは、前記動きガイド提示装置として第1、第2の動きガイド提示装置を備え、前記第1、第2の動きガイド提示装置間で、互いに撮像した画像の送受信を行う通信部を備えてなるものである。この構成によれば、リアルタイムで融合感が生起され、自然な追従への誘導が容易となる、高い有用性を持つ遠隔協調支援システムが提供できる。また、双方の撮像画像を参照画像として、双方が追従するといった協調関係を持った態様にも適用可能となる。
【発明の効果】
【0010】
本発明によれば、参照画像との間で融合感が生起されて、自発的な運動追従の継続を支援することができる。
【図面の簡単な説明】
【0011】
【図1】動きガイド表示装置の表示部の一実施形態の概略構成を説明する図である。
【図2】動きガイド表示システムの一実施形態の概略構成を説明する図である。
【図3】動きガイド表示装置における機能ブロックの一実施形態を示す構成図である。
【図4】表示モードの種類を説明するための図で、(A)は視野合成法、(B)は視野交換法を示す画面図である。
【図5】指を繰り返し開閉する動きに対する追従性を、表示モード間において評価する実験の結果を説明する図表で、(A)~(C)は、位置に対する追従性を評価した図表で、(D)~(F)は、速度に対する追従性を評価した図表である。
【図6】手を繰り返し左右に往復動する動きに対する追従性を評価す実験の内容を説明する図である。
【図7】時分割法における画像の切替を説明する図である。
【図8】実験した設定パラメータを示す図である。
【図9】制御部によって実行される実験時表示処理の一例を説明するフローチャートである。
【図10】制御部によって実行される時分割切替表示処理の一例を説明するフローチャートである。
【図11】解析部によって実行される解析処理の一例を説明するフローチャートである。
【図12】実験から得られた融合感の生起の有無を示す一部拡大図である。
【図13】周期をパラメータとした場合の実験の解析結果を説明する図表で、(A)、(C)は、追従位置誤差についての親指と中指のデータを示す図表であり、(B)、(D)は、追従速度誤差についての親指と中指のデータを示す図表である。
【図14】比率をパラメータとした場合の実験の解析結果を説明する図表で、(A)、(C)は、追従位置誤差についての親指と中指のデータを示す図表であり、(B)、(D)は、追従位置誤差についての親指と中指のデータを示す図表である。
【図15】上肢を左右に振る実験における各種の視野提示条件を説明する図で、(A)は自己視野法、(B)は視野交換法、(C)は視野合成法、(D)は視野時分割法の表示モードである。
【図16】各視野提示条件下での自他融合感の生起の有無に関する評価を示した図表である。
【図17】実験IVの内容及び結果を説明する図で、(A)は、ある被験者の実験結果を示す図、(B)は、HMD1の画面の表示内容を示す図である。
【図18】実験IVにおける到達運動の推定された開始位置のヒストグラムを示す図表で、(A),(B)は、いずれも(d)視野時分割提示を含み、他の表示モードとの関係を判りやすくするべく、振り分けて示したものである。
【図19】推定された到達運動開始位置を表示モード別に平均した図で、(A)は、HMD1の画面上への各表示モードの平均位置と標準偏差の状態を示し、(B)は、横軸に表示モードを、縦軸に視覚指標(T)からのx方向偏位を示している。
【図20】実験IVにおける視覚情報の4秒間表示を各表示モードで行わせたときの、推定到達運動開始位置の視覚指標(T)からのx方向のずれを示すヒートチャート図である。
【図21】各視野提示条件の到達運動開始点と到達点とのずれデータをもとに、MATLABのgriddata 関数を用い、二次元のキュービック補間を施したヒートチャート図、及び所定の測定位置で得られた到達運動開始点のヒストグラムを示す図である。
【図22】内観報告による融合感と到達運動開始位置の偏位との関連を説明する図で、(A)は内観報告による融合感の生起範囲(α)を示しており、図12に相当する図、(B)は到達運動開始位置の偏位を示しており、図21のヒートチャート図に相当する図である。
【図23】時間パラメータによる仮現運動知覚の知覚割合[%]を示すヒートチャート図で、横軸は自己視野提示時間、縦軸は他者視野提示時間を示している。
【図24】視野時分割提示の3条件と解析の結果得られた追従ゲインとの関係を示す図で、(A)は、周期400ミリ秒かつ自他視野提示時間比率1:2の場合、(B)は、周期400ミリ秒かつ自他視野提示時間比率1:1の場合、(C)は、周期400ミリ秒かつ自他視野提示時間比率2:1の場合である。
【図25】視野時分割提示における自他融合感生起の特性、及び他者追従精度特性を示す図である。
【図26】各表示モードにおいて、他者運動追従実験における躊躇(運動の停止)の持続時間と生起頻度との関係を示す図である。
【図27】各表示モードにおける五本指のランダム屈伸運動の追従誤差を示す図表で、(A)は位置RMSEを示し、(B)は速度RMSEを示している。
【図28】時間パラメータによる追従位置誤差を示すヒートマップ図である。
【図29】時間パラメータによる追従速度誤差を示すヒートマップ図である。
【発明を実施するための形態】
【0012】
図1は、動きガイド表示装置の表示部の一実施形態の概略構成を説明する図、図2は、動きガイド表示システムの一実施形態の概略構成を説明する図、図3は、動きガイド表示装置における機能ブロックの一実施形態を示す構成図である。

【0013】
動きガイド表示装置は、表示部としての、典型的には頭部に装着され、眼の前に画像を提示するビデオシースルーヘッドマウンテッドディスプレイ(以下、VST-HMDという)1と、VST-HMD1との間で授受する情報の処理を行う処理装置2とを備えている。VST-HMD1は、左右の眼前に配置される枠体10(図2参照)を備え、この枠体10に、図1に示すような、画像を表示する画像表示デバイス11、光学系である例えばミラー12及び撮像手段としてのカメラ13とが設けられている。また、枠体10の適所には、VST-HMD1を装着した者の視線の動きを等価的にカメラ13の動きとして検出する動き検出部14を備えている。なお、図1,2では省略しているが、枠体10には、装着者の頭部に当該枠体10を固定的乃至は安定的に装着する締結部材、例えばベルトが取り付けられている。

【0014】
画像表示デバイス11は、枠体10を頭部に装着した状態で左右それぞれの眼に対向して表示面が位置するように枠体10に取り付けられている。画像表示デバイス11の前面側にはミラー12及びカメラ13が取り付けられている。画像表示デバイス11は、液晶表示パネル、有機EL表示パネル又はプラズマディスプレイ等が採用可能である。図1に示す軸Lは、画像表示デバイス11の表示面の法線方向を示している。画像表示デバイス11には、後述するように、カメラ13で撮像した自己側の画像が表示され、あるいは外部装置から受信した他の画像が表示される。

【0015】
ミラー12は、図1に示すように、軸Lに対して傾斜して配置され、前面側(図1の左方)が鏡面120とされている。カメラ13はミラー12の鏡面120に視野が向けられた姿勢で枠体10に固定されている。カメラ13は、カメラの光軸がミラー12の鏡面120によって屈折させられて前方に向けられることで画像表示デバイス11の表示面の法線である軸Lと一致するようにしている。このように、画像表示デバイス11の表示面の軸Lとカメラ13の光軸とを一致させることで、画像表示デバイス11に一人称視点からの撮像画像を表示することを可能にしている。なお、一人称視点とは、概ね自己の眼から観察できた景色と同じ様な画像を撮像できるカメラ位置をいう。また、カメラ13はミラー12との距離を調整することで、好ましくは画像表示デバイス11の表示面と光学的に共役となる位置に配置されている。これにより、VST-HMD1を装着した者の眼から見えるであろう景色と同一の画像が画像表示デバイス11に表示されることとなる。なお、ミラー12はプリズムやレンズ等の光学系であってもよい。

【0016】
また、本実施形態では、動きガイド表示装置の表示部として、画像表示デバイス11、ミラー12及びカメラ13を備え、自己の身体部位(例えば手首)をカメラ13で撮像し、撮像した画像を画像表示デバイス11に表示する態様としているが、表示部の構造は、図1の態様に限定されず、後述するような種々の構造が採用可能であり、例えば自己の身体部位を光学的な像として提示する態様(同様に後述する光学シースルーHMD)を含めてもよい。従って、本発明における提示部材とは、カメラで撮像された画像を表示する態様と光学的な像を提示する態様とを包括したものをいい、一方、図1の実施形態は、カメラ13付きVST-HMD1を表示部として採用している。

【0017】
図3において、動き検出部14は、カメラ13の位置姿勢を継続的に検出するものである。なお、位置姿勢とは、装着者のいる空間上の座標と向き(カメラ13の視点と視線)をいう。なお、カメラ13で撮像された画像のみを画像表示デバイス11に表示する場合にはカメラ13の位置姿勢データは特に必要ではないが、撮像された画像内に他者の画像も表示する場合などには、検出されたカメラ13の位置姿勢データが利用され、これによって自己と他者の視線を合わせることなどが可能となる。動き検出部14は、公知のものが採用可能であり、適所に配置された図略の磁気発生器からの3軸の軸毎に対応して発生される磁気信号をそれぞれ検出することで、3次元位置と向きとを検出する。あるいは、3次元の加速度センサを採用してもよいし、さらに装着者を鳥瞰する高所等に監視カメラを配置し、この監視カメラの画像からカメラ13の位置と向きとを検出するようにしてもよい。

【0018】
処理装置2は、CPU(Central Processing Unit)で構成される制御部21を備えている。制御部21には、ROM(Read Only Memory)22、RAM(Random Access Memory)23、操作部24及び通信部25が接続されている。ROM22には、VST-HMD1の動作を制御するプログラム、VST-HMD1との間で授受する情報の処理を行うプログラム(以上、併せて制御プログラムという)、及び所与の各種のデータ類が記憶されている。RAM23は、処理途中のデータが一時的に記憶されるもので、また、後述する参照画像が記憶される参照画像記憶部231を有する。

【0019】
操作部24は、各種の指示を行うもので、例えば、処理装置2がパーソナルコンピュータで構成されている態様では、画面上のアイコンやボタン、またキーボードやマウス等が採用可能である。通信部25は有線の他、無線式であってもよい。通信部25は、図2に示すように、他者(B)が使用中の他の装着型画像表示装置のVST-HMD1(B)との間で、互いのカメラで撮像した画像情報の送受信を行うためのものである。

【0020】
制御部21は、ROM22に格納されている前記制御プログラムであって、動作時にRAM23に読み出された制御プログラムがCPUによって実行されることによって、カメラ13(左カメラ13L、右カメラ13R)で撮像された画像を継続して(動画像として)取り込む画像取込処理部211、画像表示デバイス11(左表示部11L、右表示部11R)に表示する画像データを作成する画像表示処理部212、画像表示処理部212に対して、設定された表示態様に従った態様で画像の作成を指示する表示態様設定部213、及び通信部25を介して外部装置とデータの授受を行わせる通信処理部214として機能する。なお、左右用の表示RAM111は、画像表示処理部212で作成された画像が書き込まれるもので、所定のフレーム周期(例えば60Hz)で繰り返し読み出しを行うものである。

【0021】
ところで、VST-HMD1の適用例は、種々想定できる。一適用例として、図2に示すように、2台のVST-HMD1を互いに通信部25を介して接続し、一方のVST-HMD1(A)を自己(A)である作業者側とし、他方のVST-HMD1(B)を他者(B)である指示者側として、他者(B)のカメラ13で撮像された画像を自己(A)の画像表示デバイス11に表示して、指示者の動きに追従する(真似たり、習得したりする)ものが考えられる。この場合に、自己(A)側のVST-HMD1(A)に自己(A)のカメラ13で撮像された画像と、他者(B)のカメラ13で撮像された画像とをどのような態様で表示するかを工夫することで、より追従性の高いガイダンス方法を見いだすことが考えられる。そこで、表示態様について種々の比較検証実験を行った。表示態様は、表示モードの違いによる表示態様と、所定の1つの表示モードにおける表示周期(周波数)及び自他視野画像の表示時間比率(周期、比率のパラメータという)の違いによる表示態様とを含み、それぞれについて実験を試みた。

【0022】
<実験I>
まず、表示モードについて説明する。

【0023】
図4は、表示モードの種類を説明するための図で、図4(A)は被験者である自己のカメラで撮像した画像と他者のカメラで撮像した画像とを合成する視野合成法を示した図、図4(B)は他者のカメラで撮像された画像のみを表示する視野交換法を示した図である。なお、実験では、さらに自己のカメラで撮像した画像と他者のカメラで撮像した画像とを時分割で交互に切り替えて表示する視野時分割法(図7参照)も含めている。すなわち、ここでは、視野合成法、視野交換法及び視野時分割法を実験対象の表示モードの種類として選定した。

【0024】
実験は、他者(B)による指の開閉動作の繰り返し画像を、視野合成法、視野交換法、視野時分割法の各表示モードで、それぞれ自己(A)のVST-HMD1(A)の画像表示デバイス11に表示し、自己(A)が、この画像表示デバイス11に表示された画像を見ながら、その動作を真似るようにしたものである。なお、他者(B)の画像は予め録画され、参照画像記憶部231に記憶された画像を用いている。また、表示態様設定部213は、この表示モードに対する実験に際しては、表示モードの切替を設定するものとして機能する。なお、視野時分割法では、所定の周期及び自他比率の下で、二者の画像の切替が行われるもので、実験は、周期が300ms(3.3Hz)、自他比率が1対3の条件で行われた。

【0025】
図3において、解析装置3は解析部31と結果出力部32とを備えている。解析部31は、種々の方法で解析が可能である。本実施形態では、解析部31は、自己(A)の指の開閉の動作をカメラ13で撮像した画像と参照画像の指の開閉の動きとを解析し、解析結果から両者の指の開閉の動きの比較、すなわち追従性を評価(図5(A)~(F)参照)するようにしている。

【0026】
まず、解析部31による動きの解析方法の一例について説明する。カメラ13で撮像された画像中から、背景領域の画像を削除するべく輝度方向に所定の閾値を設定して指画像のみを抽出する。例えば指部位に光を当てるなどすれば所要の照度差が得られる。次いで、抽出された指画像のピクセル数を算出し、そのピクセル数と実空間距離との対応をとって、画像内の移動分から実空間での(実際の)移動量を算定する。なお、実空間距離の算出方法として、長さが既知の物差しをカメラ13で撮像される背景画像内に配置し、物差し画像の長さ方向のピクセル数との対応で換算する方法を採用してもよい。

【0027】
自己画像及び参照画像に対して、指の移動量を所定時間毎に、例えば16.7ms(1/60Hz)毎に又はそれ以下で算出し、さらに速度を算出する。なお、ここでは移動量は、所定の位置を基準点としたときの位置の情報として算出される。なお、移動量及び速度の算出は自動的である必要はない。そして、算出された移動量及び速度について、参照動作に対する自己動作の追従性を評価する要素を求めた。評価要素は、ここでは、追従の時間遅れ、追従の振幅比、追従誤差を採用している。

【0028】
図5は、指を繰り返し開閉する動きに対する追従性を、表示モード間において評価する実験の結果を説明した図表である。図5(A)~(C)は、位置に対する追従性を評価したもので、図5(D)~(F)は、速度に対する追従性を評価したもので、いずれも上から順に、追従の時間遅れ、追従の振幅比、追従誤差である。なお、各図の横軸は、いずれも左側から、視野合成法、視野交換法、視野時分割法である。また、図5(A)、(D)の縦軸はスケールの最大値が0.5秒であり、図5(B)、(E)の縦軸はスケールの最大値が0.8であり、図5(C)の縦軸はスケールの最大値が4.5cmであり、図5(F)の縦軸はスケールの最大値が秒速12cmである。なお、図5(C)(F)の縦軸の「RMSE」はRoot Mean Square Errorであり、誤差の意味である。後述の図13、図14の縦軸も全て同様である。

【0029】
図5より、位置及び速度に対する追従の時間遅れ(図5(A)、(D))については視野交換法が優れている。しかしながら、追従動作で最も重要な要素である、位置に対する追従誤差(図5(C))については、視野時分割法が最小となる良好な特性を示している。また、視野時分割法は、その他の特性である、速度に対する追従誤差(図5(F))、位置及び速度に対する追従振幅比(図5(B)、(E))については、視野交換法にほぼ匹敵する特性を示している。これは、指の形状画像のマッチングを意識的に行う作業が、視野合成法の追従特性を大きく妨げていることと、一方で、そのマッチングが取れないことで視野交換法の位置精度が上がりきらないことを裏付けている。これに対し、視野時分割法は、かかる問題点を回避することに成功していると評価することができる。

【0030】
すなわち、視野時分割法では、互いに協調的な身体運動を行う場合に、二者(他者(録画含む)と自己)の各一人称視点の画像を、自己の画像表示デバイス11上で交互に切り替えることによって、自己運動の随意性が失われず、かつ自然と相手と運動が揃ってしまうような、運動の誘発がある。他者の運動の追従を行う場合に、視野中に逐次的に表示される二者の運動部位が融合して一つの自己の運動部位であると錯覚させる、いわゆる融合感をもたらす(生起させる)ことが可能となる。ここに、融合感とは、自分側の運動部位なのに勝手に動いているような、思った通りにも動くような、随意と不随意とが融合した印象をいう。すなわち、他人の運動部位には見えず、自分の運動部位以外のものには思えないという主観的な感覚をもたらすことである。この結果として、自己側では、追従誤差を明確に認識しない乃至はできないままの状態で追従できてしまうという意識下で多点対応付け及び追従の実行を達成するものと考えられる。これに対し、視野合成法では、二者の視野画像が同時に見えてしまい、多数の対応点のチェックを要するため、その分の負担が大きく、また運動の誘導というものはない。視野交換法も同様に運動の誘導というものはない。

【0031】
<実験II>
続いて、視野時分割法(以下、単に時分割法という)について、前記融合性及び追従精度の変化、その傾向を調べるため自他画像の時分割切替の周期(周波数)及び比率(パラメータ)を変えながら実験を行った。表示態様設定部213は、操作部24からの指示を受けて、これらのパラメータ(周期(周波数)、比率)を設定するものである。

【0032】
本実験では、参照画像は他者(B)が手首を左右に繰り返し往復させる動作の画像であり、参照画像記憶部231に記憶されている。参照画像における手首の左右への往復動の寸法、周期は適宜設定可能である。本例では往復動の寸法は約6.5cm×2であり、また、往復動の周期は約2Hzとした。

【0033】
図6は、手を繰り返し左右に往復させる動きに対する追従性を評価す実験の内容を説明する図である。被験者である自己(A)は、VST-HMD1を装着して背景となるテーブル上で、図中矢印で示すように手首を左右に振るという追従動作を行う。VST-HMD1の画像表示デバイス11には参照画像と自己(A)の視野画像とが所定周期かつ比率で時分割表示されている。自己(A)の運動部位の適所、図6では親指と中指にセンサが、ここでは磁気センサ141,142が装着されている。磁気センサ141,142は、動き検出部14が検出媒体として磁気を利用する態様である場合に用いられる。磁気センサ141,142は、動き検出部14によって3次元上の各軸に対応して順次生成された磁界によって誘起される電圧のレベルから、3次元空間上の位置と向きとを検出するものである。かかる動き検出部14及び磁気センサ141,142によって、自己(A)の親指と中指の位置と(本実験では必要に応じて)向きとが継続的に検出される。

【0034】
実験は、本実施形態では60Hzのフレーム周期を有する画像表示デバイス11であるため、周期も比率も、16.7ms(1/60Hz)の整数倍毎に設定されるが、表示デバイス11のフレーム周期の仕様に応じて、適宜の周期、比率が設定可能である。なお、本実験では、周期をフレーム数で表現することも可能である。例えば、時間16.7ms(1/60Hz)は、1フレームと等価である。

【0035】
図7は、時分割法における画像の切替を説明する図である。図7では、自己(A)の画像(A)の表示時間をAフレーム数として表し、参照画像(B)の表示時間をBフレーム数として表し、周期を(A+B)フレーム数として表している。

【0036】
図8は、実験した設定パラメータを示す図である。本実験では、周期は、図8に(1)~(5)で示すように、略160ms(10フレーム)、略330ms(20フレーム)、500ms(30フレーム)、略660ms(40フレーム)、略830ms(50フレーム)とし、10フレーム毎に設定した。かつ、10フレーム毎の線上(すなわち比率の方向)に複数の実験ポイントをプロットで示している。

【0037】
また、比率は、図8に(6)~(10)で示すように、自他比率として、1対3、1対2、1対1、2対1、3対1とあり、さらに、10フレーム毎の線上以外の何点かについて実験ポイントを加えた。上記において、(6)が1対3を示し、(7)が1対2を示し、(8)が1対1を示し、(9)が2対1を示し、(10)が3対1を示す。

【0038】
図9は、制御部21によって実行される実験時表示処理の一例を説明するフローチャートである。被験者がVST-HMD1を装着した後、操作部24を介して、周期と比率の組合せの内の最初のパラメータ設定が行われる(ステップS1)。次いで、参照画像が画像表示デバイス11に読み出され(ステップS3)、設定された周期及び比率のパラメータに従って、被験者視野画像との間で時分割切替表示処理が行われる(ステップS5)。さらに、磁気センサ141,142による位動きデータ(位置情報)が検出され、記録される(ステップS7)。そして、所定の時間が経過し、あるいは被験者その他の指示を受けて終了が判断されると(ステップS9でYes)、1つの組の設定パラメータについての実験が終了し、そうでなければ、リターンして実験が継続される。リターン処理は、少なくとも1フレームと同一周期かそれ以下のより早い周期で行われ、周期、比率の設定パラメータのタイミングで画面の切替処理が行われる。

【0039】
また、他のパラメータが設定される毎に、図9のフローチャートが実行され、全ての組合せのパラメータに対して実験を行うことができる。

【0040】
図10は、制御部21によって実行される時分割切替表示処理の一例を説明するフローチャートである。図10は、他者の画像Bである参照画像が参照画像記憶部231に記憶された録画画像である場合には、他者の画像表示デバイスへの処理は不要となる。また、制御部21が各頭部装着型画像表示装置に設けられ、個別に処理する態様でも同様に、他者の画像表示デバイスへの処理は不要となる。なお、両頭部装着型画像表示装置に対して統括的に1個の制御部で処理が行われるシステム態様でもよく、この場合には、図10に示すように、自己、他者側に対する画像の表示切替処理が同期して行われることとなり、これにより二者間の協調性向上が期待できる。

【0041】
この実施例では、パラメータ設定は、フレームの個数で行われている。まず、自己の画像Aが自己の画像表示デバイス11に読み出される(ステップS21)。次いで、画像Aの読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Naに達したか否かが判断される(ステップS23)。カウント値が設定フレーム数Naに達していなければ、ステップS21に戻る。逆に、カウント値が設定フレーム数Naに達すると、自己の画像表示デバイス11に空白の画像が読み出される(ステップS25)。

【0042】
次いで、空白画像の読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Niに達したか否かが判断される(ステップS27)。カウント値が設定フレーム数Niに達していなければ、ステップS25に戻る。逆に、カウント値が設定フレーム数Niに達すると、他者の画像Bが自己の画像表示デバイス11に読み出される(ステップS29)。次いで、画像Bの読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Nbに達したか否かが判断される(ステップS31)。カウント値が設定フレーム数Nbに達していなければ、ステップS29に戻る。逆に、カウント値が設定フレーム数Nbに達すると、自己の画像表示デバイス11に空白の画像が読み出される(ステップS33)。そして、空白画像の読み出しフレーム数のカウントが行われ、カウント値が設定フレーム数Njに達したか否かが判断される(ステップS35)。カウント値が設定フレーム数Njに達していなければ、ステップS33に戻る。逆に、カウント値が設定フレーム数Njに達すると、ステップS21にリターンする。なお、この表示終了は、例えば外部からの割込によって行われる。

【0043】
なお、空白期間を設定するための値Ni、Njは通常、0に設定されるが、実験中においては、値Ni、Njを適宜設定することで、容易に周期、比率を微調整することもできる。

【0044】
図11は、解析部31によって実行される解析処理の一例を説明するフローチャートである。全てのパラメータの組についての図9に示す実験の終了後、解析処理が実行される。解析処理は、親指と中指について、パラメータ毎に追従位置誤差と追従速度誤差とを算出する。すなわち、まず、パラメータの各組合せに対して、画像A,Bが読み出されて、所定時間毎の位置情報が算出される(ステップS41)。次いで、算出した所定時間毎の位置情報を用いて、画像Aの画像Bに対する、所定時間毎の追従位置誤差と追従速度誤差とが算出される(ステップS43)。算出情報は、図略の記憶部に、あるいは結果出力部32に出力される(ステップS45)。なお、実験はパラメータの各組合せについて4回ずつ行われており、それぞれ4回分の平均値が算出される。

【0045】
パラメータの各組合せについて、被験者(自己A)に対して融合性の生起の有無をアンケート形式で求め、定性的乃至は生理的な評価とした。図12は、アンケート結果を受けたもので、実験から得られた融合感の生起の有無を示す一部拡大図である。図12に示す複数の円マークは、それぞれのパラメータの設定位置を示している。符号G1が付された円マークは、融合感が生起されたと感じられたものである。また、符号G2が付された円マークは、融合感の有無で判断すれば、その境界辺りに有ると感じられたものである。なお、図12には表されていないが、比率1対1の線上における、周波数が3.3Hzと2Hzとの間の複数の実験点についても融合感有無の境界に有ると感じられた結果が得られている。それ以外の円マークは、融合感の生起が感じられないとの回答によるものである。従って、図12から、少なくとも融合感を感じられるとする範囲は、周波数(周期)が略500ms~略250ms(略2Hz~略4Hz)であり、自他比率は1対1~1対3であると認められる。

【0046】
図13、図14は、実験から得られた追従性についての評価を示す図表で、図13は、代表的な比率、例えば比率1対2において周期をパラメータとした場合の実験の解析結果を説明する図表、図14は、代表的な周期、例えば周期400msにおいて比率をパラメータとした場合の実験の解析結果を説明する図表である。

【0047】
図13(A)、(C)は、追従位置誤差についての親指と中指のデータであり、縦軸は誤差分(cm)を示し、横軸は周期(msec)を示している。なお、図13(A)の縦軸はスケールの最大値が6cmであり、図13(C)の縦軸はスケールの最大値が8cmである。図13(B)、(D)は、追従速度誤差についての親指と中指のデータであり、縦軸は秒速の誤差分(cm)を示し、横軸は周期(msec)を示している。なお、図13(B)の縦軸はスケールの最大値が秒速15cmであり、図13(D)の縦軸はスケールの最大値が秒速12cmである。

【0048】
図14(A)、(C)は、追従位置誤差についての親指と中指のデータであり、縦軸は誤差分(cm)を示し、横軸は比率を示している。なお、図14(A)の縦軸はスケールの最大値が10cmであり、図14(C)の縦軸はスケールの最大値が5cmである。図14(B)、(D)は、追従速度誤差についての親指と中指のデータであり、縦軸は秒速の誤差分(cm)を示し、横軸は自他比率を示している。図14(B)の縦軸はスケールの最大値が秒速20cmであり、図14(D)の縦軸はスケールの最大値が秒速12cmである。

【0049】
続いて、図13(A)、(C)の実験結果によれば、親指及び中指を総合的に観察すると、追従位置精度としては、周期が略300ms(3.3Hz)~400ms(2.5Hz)の範囲で好ましく、さらに略400ms(2.5Hz)がより好ましい。また、図13(B)、(D)によれば、追従速度精度に関しては、周期依存性が低いことが判る。

【0050】
さらに、図14(A)、(C)の実験結果によれば、親指及び中指を総合的に観察すると、追従位置精度としては、比率が略1対1~1対2の範囲で好ましく、さらに略1対2がより好ましい。また、追従速度精度に関しては、図14(B)、(D)は図14(A)(C)の特性と大きな変わりはなく、比率が略1対1~1対2の範囲で好ましく、さらに略1対2でより好ましい。

【0051】
図3において、表示態様設定部213は、自己と他者との視野画像が、<実験II>によって得られた周期(周波数)の範囲内、かつ比率の範囲内で、画像表示デバイス11に交互に時分割表示されるよう所定のパラメータに設定されている。なお、設定パラメータの態様は、フレーム数を基準に設定する方法に代えて、処理装置2の内蔵タイマからの計時情報を用いるなどして時間で切り替える態様でもよい。

【0052】
二者の動きの位置誤差及び速度誤差を可及的に低減することで、例えば遠隔作業場面において指示者と作業者との間で時分割表示を行う遠隔強調支援システム等に適用することができる。遠隔作業場面としては、救急医療、手術等の専門的な動作スキルをより自然に伝達し得る場面が想定できる。そして、動作スキルの自然な伝達を実現し得ることから、より複雑な運動スキルを伝送することも可能となる。このように、従来手法とコスト面でさほど変わりがないにも関わらず、有用性の高い新規な方法を提供できる。

【0053】
以上、適当な切り替え時間パラメタで設計された時分割提示時において、自己と他者の上肢(腕や手など)運動がより融合し、自己のものになったように感じる自他融合感を生ずる実験結果を示した。この現象は、他者上肢に対して連続時間中の感覚-運動間の時間整合性が厳密には保持されていないにも関わらず、達成できているかのような錯覚を生じていることを示唆するものである。この現象を生起させる要因を調べることで、没入感を保持させるインタフェースの設計における実時間性の要件を緩和する可能性を高め、産業利用性を向上させる。

【0054】
後述するように仮現運動知覚によって二者の運動が群化される、すなわち1つに見える運動の知覚的連続性、意識下での追従運動制御系を駆動することによる運動の物理的同期のどちらか一方、若しくは両方が、自他融合感を生ずる要因であると考えられる。そこで、この点を検証するべく、以下に提示する各実験(実験III、…)を行い、自他融合感現象を定量化し、その生起要因として運動の知覚的連続性と物理的同期の寄与についての検証を試みた。

【0055】
なお、仮現運動知覚とは、ある程度の距離を隔てた二つの光点刺激を適当な時間間隔をおいて経時的に提示すると、あたかも一つの対象が二つの刺激提示位置の間を滑らかに運動するように見えるというものである(大山正、今井省吾、和気典二編/新編、感覚・知覚心理学ハンドブック、誠信書房、1994)。これは、Primary auditory stream segregation(音脈分凝;以下PASS)と類似している。すなわち、この現象は、Visual stream segregation(以下、VISSという)と呼ばれるように、視覚においても同様の現象が知られている(Albert S. Bregman and Andre Achim,\Visual stream segregation," Perception and Psychophysics, Vol.13,No.3, pp.451-454, 1973)。

【0056】
<実験III>
図15は、上肢を左右に振る実験における各種の視野提示条件を説明する図で、図16は、各視野提示条件下での自他融合感の生起の有無に関する評価を示した図表である。図15において、(A)は自己視野法、(B)は視野交換法、(C)は視野合成法、(D)は視野時分割法の表示モードである。本実験IIIの視野時分割法(D)では、自己画像の表示時間が133msに、他者画像の表示時間が267msに、周期が400msに設定されている。また、本実験IIIは、図6に示す実験環境と同様である。ただし、磁気センサ141を被験者の上肢のいずれかに1個装着すればよい。

【0057】
図16は、実験後に被験者からの2つの報告を各マス目として図表にまとめたものである。マス目は、縦方向に上肢が「1本」に見えるか、「2本」に見えるかであり、横方向に「自分が動かしている感覚がある」か、「自分が動かしている感覚がない」かである。それぞれに被験者からの報告の集計結果が記載されている。

【0058】
本実験は、チャンスレベル25%(4種類の表示モードに無作為で選択を行った場合の%)以上の6名の被験者の集計データである。各実験は、ここでは、1人当たり各表示モードにつき30回行った。各マス目の縦軸[%]は、全報告に対する比率であり、解析は、多群の比較に使用する検定法である分散解析(ANOVA:Analysis Of Variance)を用いて、確率的に偶然とは考えにくいか否か、すなわち有意性の有無を調べた。

【0059】
自他融合感は、上肢が「1本」に見え、かつ「自分が動かしている感覚がある」ことであるから、図16から、視野時分割法が、1%水準で他の表示モードと有意に異なることが判った。これは、実験I、実験IIとも整合している。

【0060】
<実験IV>
次に、自己と他者の上肢運動が融合し、自己のものになったように感じる自他融合感現象を定量化する実験を行った。自他融合感が従来の自己に関する錯覚現象と異なるのは、自己のものであるという感覚が自己身体から他者身体へと転移するのではなく、自己身体も他者身体も包括したものに対して自己のものであるという感覚を生起することであると考えられる。そこで、視野時分割提示において、自己の上肢位置を回答させたとき、自他の融合が起きているならば自己上肢と他者上肢とを包括した位置を回答し、従来の現象のような転移が起こっていれば他者上肢位置を回答し、融合も転移も起こっていなければ正しい自己上肢位置を回答すると考えられる。本実験IVでは、視覚指標への上肢到達課題を用いて自己上肢位置を回答させる。

【0061】
図17は、実験IVの内容及び結果を説明する図で、(A)は、ある被験者の実験結果を示す図、(B)は、HMD1の画面の表示内容を示す図である。本実験IVは、図6に示す装置を用いており、さらに好ましくは、HMD1を机に固定具等で固定して、被験者が実験するようにしている。被験者は、上肢、例えば人差し指に磁気センサ141を装着する。HMD1の画面には、図17(B)に示すように、自己上肢画像、他者上肢画像、及び視覚指標(Target;以下、(T)で表す。)が表示可能にされている。ここでは、自己上肢画像と他者上肢画像とは30mm離れて表示され、白色正方形をなす小形の視覚指標(T)は、自己上肢画像と他者上肢画像の中間位置から、上方50mmの位置に表示される。

【0062】
また、本実験IVは、(a)自己視野提示、(b)他者視野提示(視野交換)、(c)自他視野の輝度重畳提示(視野合成)、(d)視野時分割提示(周期400ミリ秒,自他視野提示時間比率1:2)の各表示モードで行われた。被験者は10名で、各表示モード毎に10回ずつ行われている。なお、本実験IVでは、後述するように、(d)視野時分割提示(周期400ミリ秒,自他視野提示時間比率1:2)の他に、(d2)視野時分割提示(周期400ミリ秒,自他視野提示時間比率2:1)、(d3)視野時分割提示(周期400ミリ秒,自他視野提示時間比率1:1)の表示モードでも実験を行っている。

【0063】
いずれの表示モードにおいても、所定期間毎に、視覚指標(T)が点灯され、その点灯に反応する形で、自己上肢(ここでは人差し指)を視覚指標(T)の位置に、速く正確に到達運動を行う。人差し指の移動は、磁気センサ141の位置として計測されている。

【0064】
実験の進め方は、以下のとおりであった。まず、視覚情報が遮断された状態で、4秒間往復運動を行わせた。次に、4秒間、前記の各表示モードでの視覚情報が表示され、往復運動を継続させた。次いで、視覚情報を遮断して被験者に運動を止めさせ、2秒間、画面中央で待機させた。その後、500msだけ視覚指標(T)が所定位置に表示されと、被験者は、視覚指標(T)が提示されると同時に、自己の人差し指を視覚指標(T)の位置へ速く正確に到達運動することを求められた。到達運動における被験者への教示は「自己の人差し指があると思う位置を視角指標(T)へなるべく速く正確に到達運動させること」であった。

【0065】
図17(A)は、ある被験者における人差し指の到達運動の終了点を揃えて開始位置を推定したときの軌跡(方向)の履歴を示している。なお、(d)視野時分割提示については、自己上肢画像と他者上肢画像の中間位置を推定した位置として扱った。

【0066】
これによれば、(a)自己視野提示と(c)視野合成提示の表示モードでは、概ね人差し指を自己上肢画像から視覚指標(T)に向けて移動し、(b)視野交換の表示モードでは、概ね人差し指を他者上肢画像から視覚指標(T)に向けて移動し、(d)視野時分割提示では、概ね人差し指を上方に向けて移動していることが判った。

【0067】
図18は、実験IVにおける到達運動の推定された開始位置のヒストグラムを示す図表で、図18(A),(B)は、いずれも(d)視野時分割提示を含み、他の表示モードとの関係を判りやすくするべく、振り分けて示したものである。図18において、横軸は、自己上肢画像と他者上肢画像の中間位置を基準として左右方向(x方向)の距離を示し、縦軸は、Frequency(周波数)、すなわち到達運動の回数を示している。

【0068】
図19は、推定された到達運動開始位置を表示モード別に平均した図である。なお、ここでは、表示モードとして、前述した(d2)視野時分割提示(周期400ミリ秒,自他視野提示時間比率2:1)、及び(d3)視野時分割提示(周期400ミリ秒,自他視野提示時間比率1:1)も含まれている。図19(A)は、HMD1の画面上への各表示モードの平均位置と標準偏差の状態を示し、図19(B)は、横軸に表示モードを、縦軸に視覚指標(T)からのx方向偏位を示している。

【0069】
図19(B)に示すように、自他視野提示時間比率が1:2である(d)視野時分割提示は、有意に視覚指標(T)からのずれが小さく、自己上肢と他者上肢の中間から到達運動を行なっていることが判る。

【0070】
また、図18、図19によれば、(a)自己視野提示、若しくは(c)視野合成提示の条件においては、自己上肢位置から視覚指標(T)に向かって到達運動を行うことが判った。特に(a)自己視野提示条件では運動距離が大きくなる傾向があるが、これは視覚中の上肢が明確に自己のものであると判断でき、確度を持って到達運動を行ったためであると考えられる。また、(c)視野合成提示条件においては分散が大きくなる傾向がある。これは二つの上肢がともに同じ運動をしているため、稀に他者上肢を自己上肢であると誤って判断することがあることに起因する。一方で、(b)他者視野提示条件では、他者上肢位置から視覚指標(T)へ到達運動を行うことが判った。他者上肢運動は実際の自己上肢位置とずれがあるものの、往復運動の振幅や速度が自己運動に似通っているため、自己の体性感覚情報や運動指令情報と統合することができ、自己上肢位置の転移錯覚が起きたと考えられる。そして、(d)視野時分割提示条件においては、他者視野の割合が大きくなるほど、自己上肢と他者上肢の中間に自己上肢位置がシフトすることが判る。特に、切り替え周期が400ms、自他視野提示時間比率が1:2のときの(d)視野時分割提示条件においては、推定到達運動開始点が自他上肢の中間とほぼ一致した。これは、自他上肢が一つに融合し、それらを自己上肢と錯覚したと説明できる。また、自他融合感現象が生起する視野切り替えの時間パラメータと一致することから、自他融合感を定量化できたものと考えられる。

【0071】
なお、自他視野提示時間が1:2のときに、最も自己上肢と他者上肢の中間位置に自己上肢を定位する原因を考える。すなわち、視野の切り替え周期が400ms秒かつ自他視野提示時間比率が1:2であるときの(d)視野時分割提示条件では、自己視野と他者視野の提示時間はそれぞれ133msと267msであった。これは、自己運動と異なる運動が提示されている他者視野よりも、整合性の高い運動が提示される自己視野の方が、短時間の観察で自己との同期判断が容易であるためと考えられる。自己視野体性感覚や運動指令といった自己運動情報と視覚情報の整合性判断において要求される自己視野の提示時間は、133msよりも大きいのではないかと推察される。自己視野を133ms以上提示すると自己運動の体性感覚情報や運動指令情報と統合され、自己視野中の運動のみに整合性判断を行ってしまうと考えられる。厳密には、自他視野提示時間比率が1:1のとき、自他融合感が生じ始めているため、200ms以上の提示が好ましいと考えられる。

【0072】
実験IVより、自他視野切り替えの時間パラメータによって自己上肢位置が自他上肢の間にシフトすることが明らかになった。そこで、自他上肢の中間に自己上肢位置を定位したとき自他融合感が生じていると定義し、次いで、自他視野切り替えの時間パラメータが変化することで自他融合感の生起にどのように影響を与えるのかを調べる。

【0073】
図20は、実験IVにおける視覚情報の4秒間表示を各表示モードで行わせたときの、推定到達運動開始位置の視覚指標(T)からのx方向のずれを示すヒートチャート図である。横軸は自己視野提示時間を示し、縦軸は他者視野提示時間を示している。実験は、被験者1名で、自体上肢位置を左右で入れ替えてそれぞれ10回ずつ行った。図中の黒点は測定を行った時間パラメータに該当し、その他は公知の補間処理(MATLABのgriddata 関数を用い、10ms刻みによる二次元のキュービック補間)が施されている。なお、図面では白黒で示されており、右側の縦軸のバー(BAR)にずれ量が示されている。実験した表示モードは、
自他視野の時分割提示(周期100ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期200ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率3:1)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期600ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期600ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期600ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期600ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期800ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期800ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期800ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期900ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期900ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期1000ミリ秒,自他視野提示時間比率1:1)
である。

【0074】
BAR上の各値に対応する図中の位置には、参考のために引き出し線(1),(2),(3)で示している。図20から、ずれ量+30~+40mmは引き出し線(1)に示すようにヒートチャートの左端域に相当し、逆に、ずれ量-40mm辺りは引き出し線(3)に示すようにヒートチャートの下部域に相当し、その間は引き出し線(2)に示すように、ずれ量0mm辺りが対応している。引き出し線(3)が示す領域では自己上肢位置から視覚指標(T)へ向けて到達運動を行っており、引き出し線(1)が示す領域では他者上肢位置から視覚指標(T)へ向けて到達運動を行っていると解釈される。そして、引き出し線(2)が示す領域は、平均して自己上肢位置と他者上肢位置の中間から視覚指標(T)へ向けて到達運動を行っていると解釈される。これによれば、自己視野の提示時間割合が大きいほど正しく自己上肢位置から到達運動を行っていることが判る。また他者視野の提示時間割合が大きいほど、自己上肢位置の他者上肢位置への転移が起こり、他者上肢位置から到達運動を行っているようである。その中間においては、自己上肢と他者上肢の中間から到達運動を行っているようにみえる。

【0075】
ところで、図20では、融合感が生起しているために自己上肢位置を自他者上肢の中間に定位した上で到達運動を行っているのか、自己上肢位置から到達運動を行っているケースと他者上肢位置から到達運動を行っているケースが混在するために見かけ上平均が0になっているのかが区別できない。このことを調べるために、例えば、自己視野と他者視野の提示時間が、それぞれ200msと400msの条件(視野切り替え周期600ms、自他視野提示時間比率1:2)における到達運動開始点のヒストグラムを作成し、観察するに、そのヒストグラムは0を中心とする二峰性を示し、確かに自己上肢位置から到達運動を行うケースと他者上肢位置から到達運動を行うケースが混在していると認められる。そこで、このようなケースと自他上肢の中間位置からの到達運動のケースとを区別するため、推定されたすべての到達運動開始点の到達点(x=0)からの偏位に対して絶対値を取り、平均した。もし自己上肢位置から到達運動を行っているケースと他者上肢位置から到達運動を行っているケースが混在するために見かけ上平均が0になっているのであれば、この解析方法によって平均は0よりも大きくなる。

【0076】
図21は、このようにして求めた各視野提示条件の到達運動開始点と到達点とのずれデータをもとに、MATLABのgriddata 関数を用い、二次元のキュービック補間を施したヒートチャート図、及び所定の測定位置で得られた到達運動開始点のヒストグラムを示す図である。図21において、白丸は被験者9名であり、黒丸は被験者1名である。また、図中の時間パラメータの計測位置(1),(2),(3),(4),(5)の計測結果であるずれ量(絶対値)は、対応するBARの値の位置に計測位置の番号を併記することで知ることができるようにしている。図21では、計測位置(5)辺りは、ずれ量が大きく、その他の計測位置(1),(2),(3),(4)は比較的ずれ量は小さい。特に、計測位置(2)は小さいことが判る。

【0077】
図22は、内観報告による融合感と到達運動開始位置の偏位との関連を説明する図で、(A)は内観報告による融合感の生起範囲(α)を示しており、図12に相当する図である。(B)は到達運動開始位置の偏位を示しており、図21のヒートチャート図に相当する図である。図22(B)に示すように、(β)で示す領域に視野指標(T)からの偏位の小さい領域があることが判る。

【0078】
これらの図より、自己上肢と他者上肢の中間位置から到達運動を行っている領域は、自己視野、他者視野の提示時間がそれぞれ100~200ms,200~300msのとき(すなわち領域(α))である。図22(A),(B)を比較すると、自己上肢と他者上肢の中間位置から到達運動を行なっている領域は、自他融合感生起範囲とよく整合していることが判る。よって、本実験において運動による自他融合感の定量化に成功していると考えられる。また、自己視野の提示時間比率が大きいとき自己上肢位置から、他者視野の提示時間比率が大きいとき他者上肢位置から到達運動を行うことが判る。これは、長時間提示されている視野の中の上肢の方が、自己の体性感覚情報・運動指令情報と統合しやすいことを示すものである。更に、自他視野の提示時間比率が一方に偏りすぎず、切り替え周期がある程度大きくなると、自己上肢位置から到達運動を行っているケースと他者上肢位置から到達運動を行っているケースが混在することが判った。その原因として、各視野の提示時間が運動の観察を行い、自己上肢位置を帰属させるにあたり充分に長いことが挙げられる。

【0079】
<実験V>
実験IIの視野時分割状態において、相互追従運動を行ったとき、自己運動と他者運動の間に仮現運動を知覚することで自他上肢運動が連結され、連続な一つの運動として知覚された。この運動の知覚的連続性が、他者上肢に対しても感覚-運動間の整合性を拡張し、自他融合感を生じている可能性がある。そこで、実験的に自己運動と他者運動の間に仮現運動を知覚していること、また、この仮現運動を知覚する範囲が自他融合感を生じる範囲と一致するかを調べた。

【0080】
実験環境は、以下のように構築された。被験者は、机に固定されたHMD1を通して、自己の上肢運動を観察するようにした。被検車は4人である。HMD1に提示される視覚刺激条件として、自己のリアルタイムの手映像を提示する条件と、CG(Computer Graphics)で作成された楕円映像を提示する条件を用意した。楕円映像は手映像とサイズや色が同等になるように調整した。どちらの条件においても被験者の実際の右手は、画面中心から、2.5°右側の位置に設定された。自己映像として被験者の実際の右手の位置に自己の手、若しくは楕円を、他者映像として被験者の実際の右手の位置から左側に5°離れた位置に自己の手のコピー映像若しくは楕円映像を提示した。

【0081】
実験Vは、自己視野映像の提示時間をX、他者視野映像の提示時間をYとし、固定の周期(=X+Y)、提示時間比率(=X:Y)で交互に切り替えて提示した。自他視野切り替え周期を固定し、自他視野の提示時間比率を変えながら提示(図8の(1)~(5)参照)、若しくは自他視野の提示時間比率を固定し、自他視野の切り替え周期を変えながら提示(図8の(6)~(10)参照)し、これらを4回行った。なお、そのうちの2回は自己視野提示時間が長い方から他者視野提示時間が長い方へ変化させ、残りの2回は他者視野提示時間が長い方から自己視野提示時間が長い方へ変化させた。1人の実験回数は、映像切替10条件×視覚刺激2条件(手映像と楕円映像)×繰り返し4回である。被験者は、提示された自他視野切り替え周期と自他提示時間比率条件で、視覚中の二つの視覚対象が切り替わる瞬間に仮現運動が知覚されたか否かを強制二択で回答した。この実験において、視覚刺激は、楕円映像よりも自己の手の映像の方が仮現運動を知覚しやすくなることが判った。そこで、視覚対象が自己の手の映像であるときの仮現運動知覚の割合のヒートマップを作成し、図22(B)に示す自他融合感のヒートマップと比較する。

【0082】
図23は、時間パラメータによる仮現運動知覚の知覚割合[%]を示すヒートチャート図で、横軸は自己視野提示時間、縦軸は他者視野提示時間を示している。図中の黒点が計測位置であり、他の領域は補間処理が施されている。図23において、領域(1)は知覚割合の高い(概ね80%乃至は90%以上)域であり、領域(3)は知覚割合の低い(概ね30%以下)域であり、その間の狭い領域(2)はその中間の知覚割合の域である。

【0083】
図23と図22(B)とから、以下、仮現運動の知覚割合と自他融合感の関係を考察する。図22(B)において、到達運動開始点は視覚指標(T)に対してx軸方向に30mm離れている。自他視野の提示比率が自他のいずれかに大きく偏っているときには、30mmよりも大きな到達運動を行っていることが判る。これは、自己視野の提示比率が大きいときには自己上肢位置から、他者視野の提示比率が大きいときには他者上肢位置から、確度の大きい運動を行っていると考えられる。すなわち、正誤の如何に関わらず、充分に自他弁別が行われる状況においては、視覚指標(T)に対しオーバーシュート気味である。図22(B)における、この確度の大きい到達運動が行われる視野提示条件と、図23で仮現運動の知覚割合が低い視野提示条件との両領域はほぼ一致している。仮現運動が知覚されることで確度の大きい到達運動が抑制されると解釈できる。このことは、前記VISSによって説明できる。すなわち、仮現運動が知覚されない条件においては、あたかも視野合成条件のように、自己上肢運動と他者上肢運動とが同時に提示されているように感じる(自他運動の分凝)。また、極端に一方の視野提示時間が短くなると、長く提示されている方の視野のみが提示されているように感じ、この場合も確度の大きい運動を行うことができる。一方で、自他上肢間に仮現運動が知覚される視野提示条件においては、自己上肢運動と他者上肢運動が連続した一つの運動として知覚され、自他を分離することが困難になる。このため、自他上肢間に仮現運動を知覚する領域では、確度の小さい到達運動を行う領域、自己上肢位置と他者上肢位置のどちらからも到達運動を行うことがある領域、そして自他融合感すなわち自己上肢と他者上肢との中間位置に自己上肢を定位する領域が含まれる。以上のことから自他融合感の知覚には、自他上肢の間の仮現運動知覚によって、自他分離が困難になることが必要であると考えられる。整合性の高い自己上肢運動が仮現運動によって連結されることにより、他者運動にまで体性感覚情報や運動指令情報との整合性が拡張されると考えられる。

【0084】
<実験VI>
自他融合感を生じる視野の時分割提示下での追従運動において、自他の手の区別が困難であるにも関わらず、他者運動を追従できるという現象が生じている。視野時分割手法において、自他区別が困難であるにも関わらず追従が達成できることは意識上での自他区別によらない意識下の追従運動制御系の存在を示唆する。この追従運動制御系を駆動することで、二者運動を物理的に一致させ、その結果、自他上肢に対して時間連続的な感覚-運動間の整合性、すなわち自他融合感を得ている可能性がある。追従運動精度とその戦略を調べることで物理的に二者運動が同期していること、また追従精度が保たれている時間パラメタ領域と自他融合感を生じる時間パラメータ領域比較することで物理的な二者運動の同期が自他融合感に与える影響を考察する。

【0085】
実験VIの前に行われる「事前の実験」の環境は、以下のように構築されたものである。すなわち、被験者は机に固定されたHMD1を通して、自己の上肢運動を、ここでは40秒間観察するようにした。事前の実験における表示モードは、
他者視野のみの提示(視野交換)
自他視野の輝度重畳提示(視野合成)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率1:2)
であり、各5回ずつ行った。被験者への教示は「上肢運動によって、自己の人差し指位置を他者の人差し指位置に正確に合わせ続けること」であった。観察された上肢運動、すなわち上肢の位置は、所定の時間間隔、例えば10ms毎に解析された。その結果、視野時分割提示時において、意識下の追従運動制御系を駆動していることが示唆された。しかし、自他分離が困難な視覚提示条件において、この意識下の追従運動制御系がどのような情報をもとに追従運動を達成しているかは不明であった。

【0086】
そこで、本実験VIで、意識下の追従運動制御系を駆動する視覚情報について観測することとした。具体的には視野時分割提示条件での追従運動データに対して、位置追従ゲインと速度追従ゲインの各々の時間推移を求めた。これにより、どの時点で与えられた情報に対して、各追従ゲインを変化させるかを観察することができる。視野時分割提示による特定の時点が意識下の追従運動制御系を駆動しているならば、その時点における追従ゲインを集めて加算平均することで、ゲインの特徴的な変動が観察されると考える。例えば、自己視野から他者視野に切り替わる瞬間や、他者視野から自己視野に切り替わる瞬間には、二上肢(自己、他者の上肢)の位置誤差が得られるため位置追従ゲインが大きくなると考えられる。これまでの結果から、視野切り替えの周期が一定でも、自他視野提示比率が自己の割合が大きくなると位置追従精度、速度追従精度が低下することが明らかになっている。実験環境は、前記事前の実験と同じで、視野時分割提示の3条件での追従運動データについて解析した。

【0087】
図24は、視野時分割提示の3条件と解析の結果得られた追従ゲインとの関係を示す図で、(A)は、周期400ミリ秒かつ自他視野提示時間比率1:2の場合、(B)は、周期400ミリ秒かつ自他視野提示時間比率1:1の場合、(C)は、周期400ミリ秒かつ自他視野提示時間比率2:1の場合である。なお、ゲインは、計測データを周波数解析し、その式を微分方程式に書き替えて実時間応答としたときの近似から得られた値である。

【0088】
図24には、そのとき提示されていた視野状態(自己視野期間か他者視野期間)も重ねて表示している。図24(A),(B)において特徴的なのは、他者視野から自己視野に切り替わる瞬間に大きな位置追従ゲインの減少が観測されたことである。図24(C)においては、他者視野から自己視野に切り替わる瞬間における位置追従ゲインの減少は観測されていない。また、自己視野から他者視野に切り替わる瞬間(400msから0msに戻ってくる瞬間)において特徴的な波形は見られていない。一方で、速度追従ゲインについては、3条件間で波形が酷似している。なお、この3条件間での速度追従ゲイン波形は、他者視野の提示開始時点を0msとした場合に酷似しており、自己視野の提示開始時点を0msに取ると、この相似性は失われている。また、他者視野の提示時間が短くなればなるほど速度追従ゲインの振幅は減少している。

【0089】
まず、位置追従ゲインについて述べると、他者視野から自己視野に切り替わる瞬間における位置追従ゲインの減少は、自他視野提示比率が1:2,1:1の条件において観測されるが、2:1である条件では観測されていない。ここで、前記事前の実験の結果を参考にすると、自他視野時分割提示の2:1条件は、1:2条件や1:1 条件に比べて有意に位置追従精度が悪化している。そして、自他視野時分割提示比率が1:2のとき、位置追従性が最も高いことが判る。このことから、他者視野から自己視野に切り替わる瞬間における位置追従ゲインの減少は、位置追従精度を保持するために必要な戦略であると考えられる。この場合、他者視野から自己視野に切り替わる瞬間に与えられる情報は、追従運動に対して妨害因子になることを意味する。一方で、自己視野から他者視野に切り替わる瞬間には位置追従ゲインの減少は確認できていない。

【0090】
なお、先に示した図22(B)のように、もし自己上肢と他者上肢とが分離できないのであれば、自己視野から他者視野に切り替わる瞬間に得られる情報と、他者視野から自己視野に切り替わる瞬間に得られる情報とは同等であると考えられる。これらの瞬間に得られるのは、自己上肢と他者上肢の間の網膜上での位置偏位であると考えられる。それにも関わらず、ここでは対称性が破れている。意識の上では自己と他者の分離ができていないが、意識下の位置追従運動を行う制御系においては自己と他者が区別できている可能性がある。そして、二上肢の間の極性、すなわち自己上肢から他者上肢の方向と、他者上肢から自己上肢の方向を追従に用いていることを示すものである。本実験VIの結果から、他者上肢から自己上肢の方向、すなわち他者上肢から離れていく方向を避けているようにみえる。これは、前記仮現運動知覚と密接な関係があると考えられる。二上肢の間に仮現運動を知覚することで二上肢間における方向が生まれる。仮にこの仮現運動を追従に用いているのであれば、自己視野から他者視野に切り替わる瞬間の仮現運動を用いることで、自己上肢を他者上肢の方へ運動させることができるが、他者視野から自己視野に切り替わる瞬間の仮現運動は、他者上肢から離れていく方向であるため、追従に用いると誤差を縮めることができなくなってしまう。以上のことから、視野時分割提示条件では仮現運動情報を追従運動に用いていることが示唆されたと考える。

【0091】
図25は、視野時分割提示における自他融合感生起の特性、及び他者追従精度特性を示す図である。図25は、視野時分割提示の周期を変更し、各周期における自他融合感生起特性(a)と他者追従精度特性(b)とを計測したデータを示したものである。自他融合感生起は、自他上肢中間からの偏位(自己上肢位置が0に近いほど高い)であり、他者追従精度は、速度RMSEである。これによれば、周期400ms辺りで、他者追従性が高く、かつ自他融合感も高いことが判る。

【0092】
図26は、各表示モードにおいて、他者運動追従実験における躊躇(運動の停止)の持続時間と生起頻度との関係を示す図である。図26の計測データは、実験VIの結果を用いて作成した。なお、他者運動の平均移動速度は、72.9mm/secであることから、ここでは、0.1~1.0秒の間の平均運動速度が20mm/sec以下であるとき運動が停止していると判断した。図26によれば、視野合成状態では、ほぼ100msとほぼ400msとで躊躇が多い。一方、視野交換状態と視野時分割状態では躊躇の生起頻度はほぼ同じレベルであり、かつ低い。すなわち、視野交換状態や視野時分割状態では、視野合成状態よりも滑らかに手を動かしているように感じられる。この現象を定量的に表したものが今回の躊躇のヒストグラムである。

【0093】
<実験VII>
先の実験VIでは、仮現運動情報を追従運動に用いていると考えた。仮現運動では、複数の特徴点が存在するとき、どの特徴点とどの特徴点とを対応付けるかを決定しなければならないが、通常この過程は意識に上ることがないため、意識下での処理であると考えられる。視野合成提示条件では、合わせるべき特徴点が多いとき、煩雑な二上肢間の注意遷移を必要とするが、視野時分割提示条件において仮現運動情報を追従運動に用いていれば、意識下での特徴点対応付けにより注意負荷の小さい追従ができると考えられる。

【0094】
実験VIIでは、多数の特徴点合わせが要求される追従運動課題において、追従精度を確認する。実験VIIは、実験IVと同様の実験環境を用いた。ただし、磁気センサ141は右手の五指全ての先端に装着し、五指それぞれの屈伸運動中の位置データを計測した。実験では、右手五指の追従運動を行った。他者運動として、手の甲をテーブルにつけて動かさず、五指をそれぞれランダムに屈伸運動させた15秒間の録画映像を用意した。被験者は提示視覚条件において、前記事前の実験と同様の手続きで、五指それぞれを他者の五指運動と同期させることを求めた。そして、5本それぞれの指に対して、個別に他者運動との位置RMSE、速度RMSEを算出した。そして、5本の指で位置RMSE、速度RMSEをそれぞれ平均した。更に、位置RMSEと速度RMSEの各々の平均を10回分で平均した。

【0095】
図27は、各表示モードにおける五本指のランダム屈伸運動の追従誤差を示す図表で、(A)は位置RMSEを示し、(B)は速度RMSEを示している。視野時分割提示条件には、自他視野提示比率が、1:2,1:1,2:1の3条件を含む。図27(A)の位置RMSRは、視野時分割提示条件、視野合成提示条件及び視野交換条件において大きな差が見られなかったが、図27(B)の速度RMSEは、視野時分割提示の3条件共、ほぼ等しく、かつ視野合成提示や視野交換に比べて小さいことが判った。

【0096】
<実験VIII>
実験VIIIは、視野時分割提示における時間パラメータが追従精度に与える影響を調べ、図22(B)に示す自他融合感のヒートマップと比較するためである。実験VIIIは、実験IVと同様の実験環境を用いた。また、実験の進め方は、実験VIの事前の実験と同様、15秒間、x-y平面上でランダムに上肢運動をさせた録画映像を他者運動として用意した。

【0097】
実験は、自己視野提示、視野交換提示及び視野合成提示の他、以下の自他視野時分割提示で、各10回をランダムに行った。

【0098】
自他視野の時分割提示(周期100ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期200リ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期300ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率1:5)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期400ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期500ミリ秒,自他視野提示時間比率3:1)
自他視野の時分割提示(周期600ミリ秒,自他視野提示時間比率1:3)
自他視野の時分割提示(周期600ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期700ミリ秒,自他視野提示時間比率3:1)
自他視野の時分割提示(周期800ミリ秒,自他視野提示時間比率1:2)
自他視野の時分割提示(周期800ミリ秒,自他視野提示時間比率1:1)
自他視野の時分割提示(周期800ミリ秒,自他視野提示時間比率2:1)
自他視野の時分割提示(周期1000ミリ秒,自他視野提示時間比率1:1)
図28は、時間パラメータによる追従位置誤差を示すヒートマップ表で、図29は、時間パラメータによる追従速度誤差を示すヒートマップ図である。測定点以外は、補間処理が施されている。なお、自己視野提示条件を除外して追従精度の変化を読み取りやすくした。これらの図において、位置RMSE(同様に、速度RMSE)は、領域(1)で小さく、領域(2)で中間レベルであり、領域(3)で大きいことが判る。位置RMSE、速度RMSEの小さい領域(1)は、概ね周期で200~500ms、自他視野提示比率が1:3~1:1の範囲であることが判る。

【0099】
図28から、視野合成条件(自己視野と他者視野の提示時間はともに0ms)の他に、自己視野提示時間が100~200msかつ他者視野提示時間が200~400msの領域でも位置追従RMSEが小さくなっていることが判る。同様に、図29においても、自己視野提示時間が100~200msかつ他者視野提示時間が200~400msの領域でも位置追従RMSEが最も小さくなっていることが判る。

【0100】
ここで、自他融合感との比較のため、図22(B)と図29との比較を考える。両者は、自己視野提示時間が100~200msで、かつ他者視野提示時間が200~300msの領域において、ともに小レベルである点で共通していることが判る。

【0101】
まず、視野時分割の提示時間パラメータと追従精度の関係について考察する。自己視野の提示時間比率が大きくなると、位置RMSE、速度RMSEともに増加する。これは、追従運動を行うために必要な他者運動情報が得られる時間が少なく、充分な追従精度を保つことができないと考えられる。そして、他者視野の提示時間比率が大きくなることで、位置RMSE、速度RMSEともに小さくなっていく。視野合成条件のように、同時に二者の手が提示されているように感じる領域(自己視野提示時間が0~150msかつ他者視野提示時間が0~150ms)においては、位置RMSEは小さく、速度RMSEは大きくなる傾向がある。物理的にも二者運動の追従精度が上がることにより、自己運動と他者運動の間の類似度が大きくなる。その結果、自己運動に対しても他者運動に対しても連続時間に亘って、感覚-運動整合が得られやすくなると考えられる。

【0102】
なお、本発明は、以下の態様を採用してもよい。

【0103】
(1)実験IIで得られた周期及び比率が設定された装置で追従動作を行う場合、追従対象となる参照画像は他の装置から通信部25を経由して得てもよいし、参照画像記憶部231に録画画像として予め記憶しておき、必要に応じて読み出す態様としてもよい。

【0104】
(2)本発明は、自己と他者の各カメラで撮像された画像の時分割表示に限定されず、身体部位の所要箇所に所要数のマーカー等を取り付け、これらのマーカーを身体部位の運動中に撮像手段で撮像して、マーカーを輝点として、あるいはボーンアニメーションのようにして表示部に表示する態様であってもよい。

【0105】
(3)本発明は、実験IIによって設定された範囲内のパラメータを表示態様設定部213に固定的に設定する態様でもよいが、融合性を生起する範囲、運動を誘導する範囲、さらには追従精度が高い範囲において微調整可能な態様として、より汎用性を有するものとしてもよい。

【0106】
(4)また、以下の表示部を採用することが可能である。例えば、カメラ(撮像部)と表示部とを切り離す態様である。すなわち、カメラは一人称視野の画像を得るべく人体等に装着し、一方、表示部は、人体から離して配置可能なパネル状のディスプレイや、液晶プロジェクタ等の画像投影機とスクリーンとからなる構成でもよい。また、カメラを頭部(首より上側)に装着せず、人体の視点を通る視線上であって、頭部の前方か後方側に離して配置する構成でもよい。これによっても一人称視点の画像を得ることができ、かつ自己の身体のうち、撮像したい部位の画像をより効果的に得ることが可能となる。

【0107】
(5)2台の動きガイド表示装置を用いる動きガイド表示システムの場合、時分割表示は協調型として、すなわち双方に対して追従態様としての参照画像を導いて、両者に追従作業を行わせる態様でもよいし、作業者側の一方のみであってもよい。また、選択設定可能な態様としてもよい。

【0108】
(6)本実施例では、VST-HMDで説明したが、これに代えて光学シースルー(Optical See-Through)型HMDを採用してもよい。光学シースルー型HMDとしては、例えば以下の構成を備えたものが採用可能である。図1と比較しつつ説明すると、光学シースルー型HMDは、図1に示すような枠体10を装着した装着者に対して、その前方に光学的に(実際の)景色を見せるようにする必要がある。そこで、画像表示デバイス11は、枠体10の前側から回避した横位置に配置される。そして、枠体10の前方には、画像表示デバイス11に代えてハーフミラーが配置され、さらにその前方に液晶パネル等によるシャッタが配置される。さらに、ハーフミラーは傾斜して配置されており、ハーフミラーで分離された、すなわち曲げられた光軸の上に画像表示デバイス11が配置される。この結果、シャッタがオフ(開)の状態(画像表示デバイスはオフの状態)で、ハーフミラーを経由した、前方の自然の景色(例えば、自分の手首等の動き)を提示し、シャッタがオン(閉)状態で、画像表示デバイス11を駆動させてハーフミラーで反射した参照画像を提示する。そして、かかる表示動作、すなわちシャッタのオンオフ切替動作及び画像表示デバイス11の間欠駆動動作を同期させて、前記した周期及び比率の範囲内で繰り返し実行することで、VST-HMD1の場合と同様の時分割表示が可能となり、融合感の生起を実現することができる。なお、前記(5)の、2台の動きガイド表示装置を用いる動きガイド表示システムにおいて、一方をVST-HMD1とし、他方をこの光学シースルー型HMDとすることもできる。この場合、VST-HMD1側を参照画像とし、光学シースルー型HMD側が追従者側となる。

【0109】
(7)また、本発明に係る提示部材の一例としてのVST-HMDは、頭部装着型に限定されず、顔部や耳部、鼻部を利用して顔面に装着する、いわゆるメガネ型でもよい。

【0110】
以上説明したように、本動きガイド提示方法は、提示部材に追従対象となる参照画像を提示すると共に自己の像を提示して前記参照画像の動きへの追従をガイドする動きガイド提示方法において、前記参照画像と前記自己の像とを共に一人称視点で、かつ提示部材に所定の条件で交互に時分割提示し、前記所定の条件として前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率が設定されていることが好ましい。

【0111】
また、本動きガイド提示装置は、追従対象となる参照画像と前記自己の像とを共に一人称視点で提示する共通の提示部材と、前記提示部材に前記参照画像と前記自己の像とを所定の条件で交互に時分割提示する提示処理手段と、前記所定の条件としての前記時分割提示の周波数及び前記自己の像と前記参照画像との提示時間の比率にて前記提示処理手段を動作させる提示態様設定手段とを備えたものであることが好ましい。

【0112】
これらによれば、自己の一人称視点の像と追従対象である一人称視点の参照画像とが共通する提示部材に交互に時分割提示される。時分割提示は、所定の周期かつ所定の比率の元で行われ、これによって、視野合成法や視野交換法に比して、追従性においてより高い精度が得られることになる。なお、追従性には、追従位置誤差、追従速度誤差を低減することが含まれる。そして、参照画像である他者(録画画像の場合、他者の他、自己のものを含む)と自己の二者間において互いに協調的な身体運動を行うような場合に、参照画像と自己の像とを前記所定の条件で切り替えることによって自己の運動の随意性が失われず、かつ自然と他者と運動が揃ってしまうという、すなわち視野中に逐次的に提示される二者の身体部位が融合して一つの自分の身体部位であると錯覚させられること(融合感の生起)が可能となる。その結果、意図的に行うことが困難であった多数対応点の同時マッチングを、意図せずとも実行させることとなり、行動者の認知負荷を低減しつつ自発的な運動追従を継続することができる。

【0113】
また、前記所定の条件は、前記自己の像の提示時間に対する前記参照画像の提示時間の比率が少なくとも1以上であることが好ましい。これにより、時分割提示において、提示時間が短い方の画像から長い方の画像への運動方向印象が生じ、運動誘導が可能であることから、参照画像の方を同じか、好ましくは相対的に長くする(1を超える)ことで参照画像の運動に誘導、すなわち自然に追従し易くなる。

【0114】
また、本発明の前記所定の条件は、前記時分割提示の周波数が略2Hz~4Hzであり、前記自己の像と前記参照画像との提示時間の比率が1対1~1対3であることが好ましい。これによれば、融合感の生起によって、さらに高い追従精度を得ることが可能となる。

【0115】
また、前記所定の条件は、前記自己の像と前記参照画像との提示時間の比率が略1対2であることが好ましい。これによれば、追従精度がほぼ最大となる。

【0116】
また、前記所定の条件は、前記時分割提示の周波数が略2.5Hzであることが好ましい。これによれば、融合感の生起によって、さらに高い追従精度がほぼ最大となる。

【0117】
また、前記自己の像は、撮像部材で撮像された一人称視点の画像であることが好ましい。この場合に、前記自己の像を一人称視点で撮像する撮像部を備え、前記提示処理手段は、撮像された自己の画像を前記提示部材に導くものとすることが好ましい。これらによれば、一人称視点で撮像された自己の画像が参照画像との間で交互に時分割提示される。また、自己の像が撮像した画像であることから、自己画像を他者側に送信することも可能となり、適用性が高まる。

【0118】
また、動きガイド提示システムは、前記動きガイド提示装置として第1、第2の動きガイド提示装置を備え、前記第1、第2の動きガイド提示装置間で、互いに撮像した画像の送受信を行う通信部を備えてなるものであることが好ましい。これによれば、リアルタイムで融合感が生起され、自然な追従への誘導が容易となる、高い有用性を持つ遠隔協調支援システムが提供できる。また、双方の撮像画像を参照画像として、双方が追従するといった協調関係を持った態様にも適用可能となる。
【符号の説明】
【0119】
1 VST-HMD(提示部材)
2 処理装置
11 画像表示デバイス
13 カメラ(撮像部)
21 処理部
212 画像表示処理部(提示処理手段)
213 表示態様設定部(提示態様設定手段)
214 通信処理部
25 通信部
231 参照画像記憶部
24 操作部(調整部)
3 解析装置
図面
【図3】
0
【図8】
1
【図9】
2
【図10】
3
【図11】
4
【図1】
5
【図2】
6
【図4】
7
【図5】
8
【図6】
9
【図7】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28