Top > Search of Japanese Patents > VIRTUAL REALITY IMAGE DISPLAYING DEVICE > Specification

Specification :(In Japanese)仮想現実画像表示装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4734640
Publication number P2007-213407A
Date of registration May 13, 2011
Date of issue Jul 27, 2011
Date of publication of application Aug 23, 2007
Title of the invention, or title of the device (In Japanese)仮想現実画像表示装置
IPC (International Patent Classification) G06T  19/00        (2011.01)
H04N   5/232       (2006.01)
FI (File Index) G06T 17/40 G
H04N 5/232 Z
Number of claims or invention 3
Total pages 14
Application Number P2006-033925
Date of filing Feb 10, 2006
Date of request for substantive examination Nov 25, 2008
Patentee, or owner of utility model right (In Japanese)【識別番号】304019399
【氏名又は名称】国立大学法人岐阜大学
Inventor, or creator of device (In Japanese)【氏名】木島 竜吾
【氏名】高橋 優三
【氏名】北林 一良
Representative (In Japanese)【識別番号】110000659、【氏名又は名称】特許業務法人広江アソシエイツ特許事務所
【識別番号】100083932、【弁理士】、【氏名又は名称】廣江 武典
【識別番号】100129698、【弁理士】、【氏名又は名称】武川 隆宣
【識別番号】100129676、【弁理士】、【氏名又は名称】▲高▼荒 新一
【識別番号】100130074、【弁理士】、【氏名又は名称】中村 繁元
【識別番号】100135585、【弁理士】、【氏名又は名称】西尾 務
Examiner (In Japanese)【審査官】真木 健彦
Document or reference (In Japanese)特開2003-215494(JP,A)
特開2006-323255(JP,A)
木島竜吾 山田英治郎 小鹿丈夫,Reflex HMD 前庭反射機能を備えたHMDの開発,日本バーチャルリアリティ学会誌,日本,日本バーチャルリアリティ学会,2001年,Vol.6 No.2,P.107-114
木島竜吾 山田英治郎 小鹿丈夫,前庭反射機能を備えたHMDの開発,日本バーチャルリアリティ学会第5回大会論文集,日本,日本バーチャルリアリティ学会,2000年 9月,5th,P.43-46
木島竜吾 小鹿丈夫,前庭反射機能を備えたHMDによる時間遅れの補償,日本バーチャルリアリティ学会第6回大会論文集,日本,日本バーチャルリアリティ学会,2001年 9月,6th,P.439-442
加納浩行 竹内研太 木島竜吾,前庭反射機能を備えた時間遅れ補償のためのReflexHMD 小型ハードウェアの実装,日本バーチャルリアリティ学会第7回大会論文集,日本,日本バーチャルリアリティ学会,2002年 9月,7th,P.11-14
竹内研太 加納浩行 木島竜吾,時間遅れ問題の解消とReflexHMDの開発,電子情報通信学会技法,日本,社団法人電子情報通信学会,2003年 1月,PRMU2002-182,P.79-84
Field of search G06T 19/00
G06T 1/00
G06T 3/00
H04N 7/015
Scope of claims (In Japanese)【請求項1】
操作者の頭部の動きを計測する第1運動計測手段と、該第1運動計測手段による計測の第1タイミングの検出出力に応じた画像を生成する画像生成手段と、該生成された画像の一部が切り出されて表示されるディスプレイとを備え、該ディスプレイの表示画像を前記操作者の運動感覚により期待される画像に合致させる仮想現実画像表示装置であって、
前記操作者の頭部の動きの変化を計測して出力する第2運動計測手段と、
該第2運動計測手段による所定時間分の計測結果値に基づいて前記画像切出しを行い前記ディスプレイに表示させる画像補正手段と、
該画像補正手段に前記生成された画像と前記第1タイミングとを関連づけて伝達するとともに前記第2運動計測手段による計測の第2タイミングを前記画像補正手段に伝送する計測時管理手段とを備え、
前記画像切出しの位置を前記第2運動計測手段による前記第1タイミングと前記第2タイミングとの間の差分計測結果値に応じて変更させることを特徴とする仮想現実画像表示装置。
【請求項2】
前記画像生成手段によって生成された画像と前記第1運動計測手段によって計測された第1タイミングとの関連づけが、前記生成された画像出力に対して前記第1タイミングの時点を示す情報を付加すること、または前記補正手段に対して前記生成された画像と前記第1タイミングの時点を示す情報とを同時に出力することによってなされることを特徴とする請求項1に記載の仮想現実画像表示装置。
【請求項3】
前記第1タイミングの時点を示す情報が、タイムスタンプに用いられる時刻又はクロックをカウントアップしたクロックカウンタ値であることを特徴とする請求項1又は2に記載の仮想現実画像表示装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、ディスプレイに表示される画面の内容を操作者の動作や運動に基づいて変化させるシステム(VR:バーチャル・リアリティ・システム/MR:ミックスド・リアリティ・システム、以下「VR/MRシステム」という。)について、この画面変化を操作者の動作等に完全に合致させるようにした、仮想現実画像表示装置に関する。
【背景技術】
【0002】
従来のVR/MRシステムの電気的回路構成の一例を図12に示す。このVR/MRシステムは、図12に示すように、ディスプレイ4と、該ディスプレイ4の位置姿勢を感知する磁気センサ1と、該磁気センサ1による検出データを出力する運動検出装置2と、該運動検出装置2の出力データに基づいて画像を生成し出力する画像生成装置3とからなり、該画像生成装置3の画像出力をディスプレイ4に表示する。
【0003】
ディスプレイ4を操作者の頭部に装着し、ここに備えられた磁気センサ1の出力を運動検出装置2を介して出力し、この検出出力で検知した頭部の動きに応じて前記画像生成装置3が仮想現実画像を生成してディスプレイ4に出力することで、広い空間を見回すようなシステムが作成されている(非特許文献1参照)。

【非特許文献1】木島竜吾、山田英二郎、小鹿丈夫、「Reflex HMD -前提反射機能を備えたHMDの開発-」日本バーチャルリアリティ学会論文誌,vol. 6,pp. 107-114,日本バーチャルリアリティ学会,2001
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記従来のシステムにおいては、例えば正面を向いている操作者Uが横を向く動作をした場合、操作者Uが見る画像は、その運動計測から表示までの遅れ時間のため、時間操作者Uの前庭反射の運動感覚により期待される画像よりも遅れ、かつ、徐々に変化して表示される。従って、この期待される画像と、ディスプレイ4に表示された画像がマッチしていないため、違和感、酔いなどが生じる。
【0005】
また、ディスプレイ4を透過型とすることで、現実の空間の上に画像を重複させることができるが、同様にして、画像上の物体と実空間内の物体の位置関係が常に保たれていない場合があり、違和感、酔いなどが生じる。
【0006】
上記遅れ時間は、出願人らの経験では、約80~120msec程度であることを観測している。これは、単なる磁気センサ1による運動計測の遅れでも画像生成装置3の処理時間の遅れでもこれらの合算のみの遅れではなく、表示や計測が時間的に量子化されていること、及びそれらの非同期性も、システム全体としての遅れにかかわるものと考えられ、画像の切り替え時間17msec(人が気にならない時間)より非常に大きく、無視できない。
【0007】
そこで、本発明は、上記課題を解決するためになされたものであり、その目的は、ディスプレイの表示画像と、前記操作者自身の運動感覚により期待される画像とを完全に合致させるようにして、操作者の運動感覚と操作者が得る視覚、あるいは、表示内容と現実の空間中に存在する物体との位置関係の間の食い違いを大幅に減少させることができる仮想現実画像表示装置を提供することにある。
【課題を解決するための手段】
【0008】
以上のような課題を解決するために請求項1に係る発明が採った手段は、操作者の頭部の動きを計測する第1運動計測手段と、該第1運動計測手段による計測の第1タイミングの検出出力に応じた画像を生成する画像生成手段と、該生成された画像の一部が切り出されて表示されるディスプレイとを備え、該ディスプレイの表示画像を前記操作者の運動感覚により期待される画像に合致させる仮想現実画像表示装置であって、前記操作者の頭部の動きの変化を計測して出力する第2運動計測手段と、該第2運動計測手段による所定時間分の計測結果値に基づいて前記画像切出しを行い前記ディスプレイに表示させる画像補正手段と、該画像補正手段に前記生成された画像と前記第1タイミングとを関連づけて伝達するとともに前記第2運動計測手段による計測の第2タイミングを前記画像補正手段に伝送する計測時管理手段とを備え、前記画像切出しの位置を前記第2運動計測手段による前記第1タイミングと前記第2タイミングとの間の差分計測結果値に応じて変更させることを特徴とする仮想現実画像表示装置、とするものである。
【0009】
請求項2に係る仮想現実表示装置が「生成された画像と第1タイミング時とを関連づけ」るのは、画像生成手段の画像出力がどの時点の運動計測の結果に基づいたものであるかを画像補正手段が把握できるようにするためである。この関連づけは、例えば、タイムスタンプに用いられる時刻、この時刻に関連付けられたインデックス、又はクロックをカウントアップしたクロックカウンタ値を用いて、これを前記生成された画像出力に付加、あるいは前記生成された画像と同時に出力することで行うことを特徴とする。
【0010】
また、「第2運動計測手段による計測の第2タイミングを画像補正手段に伝送する」のは、画像補正手段の画像切出しがどの時点の運動計測の結果に基づいたものであるかを把握するとともに、装置全体の運動計測、画像生成、画像補正及び画像表示の各処理の同期性がとられた状態で、かつ、出力直前で補正できるようにするためである。
【0011】
そして「前記第1タイミングと前記第2タイミングとの間」の時間は、生成された画像に含まれている遅れであり、この装置の入力である運動計測から出力である画像切出しまでの入出力間の遅れ時間である。これは、前述のようにゼロではなく、運動と表示の間に不一致を引き起こすため、画像補正手段がその時間分の頭部の運動である差分計測結果値に応じて画像補正するものである。
【0012】
この補正にあたっては、前記生成された画像をディスプレイに表示する直前で画像切出しの位置を変更させることで行う。これは、補正を行う時点が出力から遡るにつれて全体量の遅れ量を計測ないし見積もることが困難となるためである。
【0013】
これらにより、操作者自身の前庭反射に相当する、周波数の高い補償経路を仮想現実画像表示装置に付加しようとするもので、これにより、頭部運動と映像提示を時間的に高度に整合させて、運動に基づいて変化するが遅れを含んだ画像を、表示の直前に正確に補正し、正しく運動を反映した表示を行うようにする。
【0014】
画像補正手段が第2運動計測手段による運動計測結果に基づいて画像補正の処理をするようにしたのは、この運動計測が時間遅れなく直接的な経路で行われるようにするためであり、計測や補正そのものが高速であっても、遅れを含んだ経路を用いて運動計測が反映されるのでは、時間遅れは改善され得ないためである。
【0015】
なお、第1運動計測手段は安定であるものが好適であり、第2運動計測手段は反応が高速で、計測間隔が短いものが好適である。これらの特性を備える同一体でも構成してもよいし、別体で構成してもよい。
【0016】
また、本発明においては、第1運動計測手段と第2運動計測手段と同一体とすることが可能である。
【0017】
請求項3に係る仮想現実表示装置は、前記第1タイミングの時点を示す情報が、タイムスタンプに用いられる時刻又はクロックをカウントアップしたクロックカウンタ値であることを特徴とする。
【発明の効果】
【0018】
本請求項1に記載された発明によれば、仮想現実画像表示装置が、ディスプレイに切り出される画像に含まれる遅れを確実に把握することができ、この遅れを評価し補正に用いることで、正確に運動を反映した画像を提供することができる。このことから、操作者の運動感覚と操作者が得る視覚の食い違い大幅に減少させることができるという効果を奏する。
【0019】
また、発明によれば仮想現実画像表示装置がシンプルになり、小型化することができ、コストを低減することができるという効果を奏する。
【0020】
発明によればディスプレイの表示内容と、外界の様子を示す現実の空間中に存在する物体との位置関係の間の食い違いを大幅に減少させることができるという効果を奏する。
【発明を実施するための最良の形態】
【0021】
以下、本発明を実施するための最良の形態を図面を用いて説明するが、本発明の趣旨を越えない限り何ら以下の例に限定されるものではない。図1は、本発明の一実施形態の仮想現実画像表示装置の概略的なシステム構成を示す図である。以下、本実施例について順に説明する。
【0022】
(実施例1)
仮想現実画像表示装置100は、VR/MRシステムに用いられるものである。これは、図1に示すように、運動計測装置10の出力データに基づいて画像を生成し出力する計算機20と、この計算機20の出力を表示するヘッドマウントディスプレイ(以下、「HMD」という。)30とを備えている。
【0023】
そして、運動計測装置10と計算機20、及び計算機20とHMD30とを電気的に接続するケーブルを介して長いシステムループのメインループを形成するとともに、このメインループで生成された画像を補正する短い補正ループを付加した構成としてある。
【0024】
短い補正ループは、HMD30側において計算機20が生成した画像の一部を切り出す位置を変更してディスプレイに表示する補正処理を行うループである。この処理時間は、後述の手段により約17msec程度で行うようにしてあり、メインループの時間である80~120msecより比較的短い。
【0025】
運動検出装置10は、HMD30に設けられ、HMD30の位置・姿勢を計測するものであり、計算機20の演算に必要な運動計測結果と、短い補正ループの画像補正の処理に必要な運動計測結果とを生成するようにしてある。なお、本実施例においては両運動計測結果を出力するセンサを別体に構成し、前者に磁気センサを採用し、後者にジャイロセンサを採用した。
【0026】
計算機20は、画像生成演算を行い仮想現実画像を生成する画像生成機器であり、運動計測装置10の磁気センサによる検出出力によって検出された頭部の動きに基づく画像を生成して出力する。これは、例えば、グラフィックワークステーション、ゲーム機、ホストコンピュータ等が挙げられる。
【0027】
HMD30は、操作者Uの頭部に装着して使用され、HMD30の眼鏡のレンズに当たる部分に設けた透過型の液晶パネル31を備えている。この液晶パネルは、公知の透過手段31を備えており、光を透過からシャットアウト(遮断)まで段階的に通すことができるようになっている。
【0028】
また、HMD30の裏側には、裏パネルが設けられ、この裏パネルに接眼レンズと覗窓とが設けてある。これらにより、操作者Uが接眼レンズを通して直接眼で画像を楽しむと共に、覗窓と液晶パネルとを通して外界の様子を見ることができるようにしてある。
【0029】
HMD30に表示される画像は、例えば、ビデオ映像、コンピュータグラフィックス、平面映像又は立体映像からなる100%仮想現実映像からなるバーチャル・リアリティ、外界を示す現実の空間の上に仮想現実映像からなる仮想空間映像を重畳させたミックスド・リアリティ等が挙げられる。
【0030】
図2は、仮想現実画像表示装置100の電気回路構成の概略を示す説明図である。仮想現実画像表示装置100は、図2に示すように、磁気センサ11と、運動計測ユニット12と、ジャイロセンサ13と、画像生成手段21と、計測時管理手段40と、画像補正手段50、ディスプレイ33とを備えている。
【0031】
磁気センサ11は、公知のものからなり、運動計測ユニット12の駆動制御により操作者Uの頭部の位置・姿勢を感知した運動計測結果を運動計測ユニット12に出力する。
【0032】
運動計測ユニット12は、時定数の異なる2種類のローパスフィルタやバンドパスフィルタ、ノイズフィルタなどの信号処理手段が組み込まれ、それぞれの時定数に応じて計算機20の演算に必要な運動計測結果を生成して画像生成手段21に出力する。
【0033】
これとともに、運動計測ユニット12は、磁気センサ11による計測を制御しており、その計測時である運動計測の第1タイミングT1を前記出力と同期して計測時管理手段40に出力する。
【0034】
計測時管理手段40は、同期クロックを生成するタイミングジェネレータと、少なくとも1つのCPUを搭載した小型コンピュータとから構成してある。この小型コンピュータは、アプリケーションプログラムを実行して、前記同期クロックの周期(60Hz)に同期して画像生成手段21及び画像補正手段50の各CPUとの通信を行う。
【0035】
また、計測時管理手段40は、クロックをカウントしており、このクロックカウントされた値が前記通信において伝送されるようにしてある。そして、計測時管理手段40が運動計測ユニット12から運動計測の第1タイミングT1を受信すると、受信した時のクロックカウント値T1を計測時情報として画像生成手段21に伝送する。
【0036】
画像生成手段21は、計算機20と少なくとも1つのCPUとで構成され、画像を生成する処理を実行するとともに、生成された画像に、計測時管理手段40から受信した計測時情報を付加して画像補正手段50に伝達する処理を行う。なお、画像補正手段50が画像を受信し処理するときには、計測時管理手段40からのカウントアップされたクロックカウント値(第2タイミングT2)をも受信している。
【0037】
図3は、図2の画像補正手段50とディスプレイ33との間の電気的信号処理の関係を示すブロック図である。図4は、操作者Uの頭部の動きと時間との関係を示すグラフである。
【0038】
ディスプレイ33は、図3に示すように、LCDドライバ回路34と、LCDパネル35とを備えている。LCDドライバ回路34は、画像生成手段21により生成された画像(ビデオ信号)からRGBの画像信号を生成するとともに、走査に用いるスタートパルスとクロックを生成する。
【0039】
このLCDドライバ回路34は、RGBの画像信号をLCDパネル35に出力し、スタートパルスとクロックの出力をLCDパネル35には出力しないで画像補正手段50に出力する。画像補正手段50は、後述する画像切り出しの位置を変化させる処理をして補正したスタートパルスとクロックをLCDパネル35に出力する。そして、画像補正手段50が、LCDパネル35にRGBの画像信号を後述する補正処理で補正して表示する。
【0040】
このように、画像補正手段50は、LCDパネル35への画像出力の直前で補正をする。図4に示すように、ジャイロセンサ13による計測結果を用いて、画像生成の契機となった磁気センサ11による計測時(第1タイミングT1)と第2タイミングT2との間の時間Δt分のエラーθ(t)を評価し、このエラーに基づいて、後述する処理を行いピッチとヨーにオフセットを付加して、LCDパネル35への切り出し画像を表示させる。
【0041】
換言すれば、図4に示す左の曲線は使用状態における操作者Uの頭部の運動を示し、右の曲線はディスプレイ33の表示結果が含んでいる操作者Uの運動である。例えば頭部の回転を考えると、最初に静止している状態では両者に相違(エラー)はないが、頭部が回転し始めるとエラーは大きくなり、原則として静止してからもしばらくはエラーが残る。遅れ時間が一定だとしても運動に応じたエラー量は時々刻々と変化している。
【0042】
仮想現実画像表示装置100は、このエラーθ(t)をゼロとするように次に説明する補正処理をして、ディスプレイ33の表示画像を操作者Uの運動感覚により期待される画像に合致させる。
【0043】
即ち、まず、既存のHMD30にジャイロセンサ13と、計測時管理手段40と画像補正手段50とを付加した構成で、第1タイミング時T1を把握して遅れ時間Δtを把握するとともに、ジャイロセンサ13による計測結果を遅れ時間Δt分積算してその間の回転差分(差分計測結果値θ(t))を求める。
【0044】
これに応じて同期信号すなわちスタートパルスを遅らせてLCDパネル35に与えることで、画像信号中のその時点から走査が始まり、画像切り出しの切り出し位置が変更される。これで、ディスプレイ33の表示画像を操作者Uの運動感覚により期待される画像に合致させる。
【0045】
図5は、図3のLCDパネルの液晶ディスプレイ素子の構成の概略を示す図である。LCDパネル35には、図5に示すように、垂直水平方向に各々、水平シフトレジスタ35aと、垂直シフトレジスタ35bとが備えられている。各シフトレジスタ35a、35bは、スタートパルス入力後クロックをカウントし、画像ごとに備えられたマトリックススイッチの行列を各々選択することで、入力された画像信号がその場所に表示される。
【0046】
なお、水平走査信号には水平クロック(ドットクロック)が、水平帰還信号には水平スタートパルスが、垂直信号には垂直クロック、垂直帰還信号には垂直スタートパルスが各々相当する。
【0047】
図6は、図2及び図3の画像補正手段50の電気的構成の詳細を示すブロック図である。画像補正手段50は、図6に示すように、A/Dコンバータ51内蔵のマイクロプロセッサ52と、カウンタ53と、PLL回路54とで構成してある。
【0048】
画像補正手段50は、マイクロプロセッサ52がアプリケーションプログラムを実行することでジャイロセンサ13による所定時間Δt分の計測結果値θ(t)に基づいて画像生成手段21で生成された画像を後述の方法で画像切り出し位置を可変して切り出しディスプレイ33に表示(描画)させる。
【0049】
ジャイロセンサ13は、頭部の動きを計測して短い補正ループの画像補正の処理に必要な運動計測結果を生成するものである。ジャイロセンサ13は、小型軽量なものが好適であり、特に圧電振動タイプのものが好適である。ジャイロセンサ13として、小型の振動ジャイロを用いたユニットを用いている。
【0050】
また、ジャイロセンサ13は、HMD30の上方に2箇所設置してあり、頭部を左右に振る動きと、上を向いたりうなずいたりする上下に振る動きとを同時に運動計測結果として感知するようにしてある。この運動計測結果は、A/Dコンバータ51に直接出力される。
【0051】
A/Dコンバータ51内蔵のマイクロプロセッサ52は、ジャイロセンサ出力を数値的に積分し、計測以来描画までの差分運動角度θ(t)を得ている。ジャイロセンサ13の出力のサンプリングは水平同期信号(約15kHz)に同期して行い、積算しておく。
【0052】
垂直同期信号ごとにこれをリングバッファに格納すると共に、遅れ時間分だけ過去に遡って積算する。これが表示される画像に用いられた頭部運動時点(第1タイミングT1)から、現在(第2タイミングT2)の頭部の方位の差分角度θ(t)となる。
【0053】
また、画像補正手段50は、ルックアップテーブルを用いて、この差分角度θ(t)を画像シフト量に変換し、水平クロックカウンタ53をリセットすることで、水平帰還信号に相当するスタートパルスを動かし、画像切出し位置を移動させている。オーバードライブされたドットクロックは、水平帰還信号からPLL回路54を用いて生成している。
【0054】
次に、図7をも参照して、仮想現実画像表示装置100による画像補正方法について説明する。図7は、画像補正手段50による画像切り出しの様子を示す図である。
【0055】
まず、計算機20はHMD30の視野角より広い範囲、ディスプレイ33より多くのピクセルからなる画像信号を生成しておく。画像信号はLCDドライバ回路34に入力され、LCDパネル35の駆動信号となる。
【0056】
この駆動信号からLCDパネル35への信号ラインを、画像補正手段50にのみ出力し、画像補正手段50がジャイロセンサ13からの出力履歴に応じた変調を行うことで、画像信号の一部だけを表示させる。
【0057】
1画面、1走査線当たりの走査を与えるクロックの数(ピクセル数)は、シフトレジスタ35a、35bの段数よりも多いため、シフトレジスタ35a、35bは画像の一部を表示した時点でカウントアウトし、画像信号中の左上部分だけが切出される。
【0058】
(検証実験例)
図8は、仮想現実画像表示装置100による画像補正の検証実験の構成を示す図である。動作検証と効果の確認のため、図8に示すような構成で検証実験を行った。
【0059】
まず、HMD30と、グラフィックワークステーション20と、図示しない磁気センサと、ジャイロセンサ13とを用いてVR/MRシステムを構築した。LCDパネル35は、応答時間が、標準でオン時間8msec、オフ時間20msec、最大で各40、60msecのものを使用した。
【0060】
次に、HMD30の視点位置には小型CCDビデオカメラを設置して操作者Uが観察する画像を撮影し、記録媒体DVに記録した。HMD30とカメラはターンテーブル(回転台)に載せ、視点位置を回転中心軸に一致させることで、水平方向見直しの運動を可能とした。
【0061】
そして、図示しない磁気センサとジャイロセンサ13とを用いて頭部回転を計測、これに基づいて仮想物体を描画及び補正しHMD30に表示した。この表示画像とHMD30を透過して見える現実の空間の実物体とを小型CCDビデオカメラでHMD30の視点位置から録画することで、仮想物体と実物体の見える方位が一致するかどうかを検証した。
【0062】
図9は、図9(a)が補正なし(画像中央領域を常に切出し)の場合の操作者Uから見える画像を示した説明図であり、図9(b)が補正を行った場合の操作者Uから見える画像を示した説明図である。これを、操作者Uの視点をビデオカメラでとらえ、ターンテーブルを回転させて実物体と仮想物体との相対角度を求めた。
【0063】
描画負荷は非常に軽く一定のレートであるため、補正遅れは一定とし、目視により手作業で決定した。録画された映像は専用のソフトウエアを用いてフレームごとの画像に分解した上で、水平方向位置を検出し、頭部から見た相対的な角度を求めた。実験は各30秒づつ行った。
【0064】
図10は、図10(a)が補正なし(画像中央領域を常に切出し)の場合の結果の実物体と仮想物体との相対角度の差を示したグラフであり、図10(b)が補正を行った場合の結果の実物体と仮想物体との相対角度の差を示したグラフである。
【0065】
図10(a)に示すように、実物体の方位から約100msec程度遅れて仮想物体の方位が追い掛けている様子が観察される。一方、図10(b)に示すように、仮想現実画像表示装置100の補正を行った場合には、実物体の方位と仮想物体の方位がほぼ一致しており、理想的な動作を得ている。
【0066】
以上説明したように、仮想現実画像表示装置100によれば、ディスプレイ33に切り出される画像に含まれる遅れ時間Δtを確実に把握することができ、この遅れ時間Δtを評価し補正に用いることで、正確に運動を反映した画像を提供することができる。このことから、操作者の運動感覚と操作者が得る視覚の食い違い大幅に減少させることができる。
【0067】
また、外界の様子を見る透過手段31を備えており、該外界の様子を示す現実の空間の上に仮想空間映像を重畳させるので、ディスプレイ33の表示内容と、外界の様子を示す現実の空間中に存在する物体との位置関係の間の食い違いをも大幅に減少させることができる。
【0068】
さらに、運動計測装置10は、画像の遅れΔtを含むメインループに磁気センサ11を用い、そうでない補正ループにジャイロセンサ13を用いたので、非接触で計測でき、光学式や音波式と違って物理的な障害物に影響されることがなく、ドリフトを生じるというジャイロセンサ13の欠点を磁気センサ11のドリフトを生じないという安定性の高さで補うことができる。
【0069】
また、磁気センサ11の応答性の悪さをジャイロセンサ13の応答性の高さで補うことができる。従って、それぞれのループの用途にあった各センサを用いて、仮想現実画像表示装置100の運動計測の精度を向上させることができる。
【0070】
上述したように、HMD30にはジャイロセンサ13を付加し、その出力を遅れ時間Δt分積分してその間の差分計測結果値θ(t)を求め、これに応じて同期信号すなわちスタートパルスを遅らせてLCDパネル35に与えることで、画像信号中のその時点から走査が始まり、画像のどの部分が切り出される。従って、画像出力を生成または補正処理に時間がかからず、短時間で遅れなくLCDパネル35に表示させることができる。
【0071】
また、ジャイロセンサ13の出力信号は、メインループを構成する計算機20を経由せずにハードウェアで積分され、直接LCD駆動信号を変調する。従って計算機20のカーネルや通信由来の遅れを生じることはない。
【0072】
また、計測及び画像の切出し処理は全てHMD30側で独立して行われるため、計算機20、OS、ライブラリ、アプリケーションを問わずポータブルに利用でき、安価であるという利点がある。
【0073】
(実施例2)
他の実施例について、図11を参照して説明する。図11は、仮想現実画像表示装置100を医用教育に用いた例である。尚、実施例1の仮想現実画像表示装置100と同一部 分については同様の符号を付して説明する。
【0074】
実施例2の仮想現実画像表示装置100は、図11に示すように、人体の模型に第3運動測定手段110を設け、この第3運動計測手段110の位置・姿勢を感知して計算機20へ出力するようにした。
【0075】
計算機20は、第3運動計測手段110の検出結果に基づいて人体の模型の位置・姿勢を検出する。これとともに、磁気センサ11とジャイロセンサ13により頭部運動を計測し、これに基づいて仮想物体を示す画像を描画及び補正してHMD30に表示する。
【0076】
操作者Uは、自身の頭部にHMD30を装着し、操作者人体の模型の方向を見ると、見る方向に応じて、対応する人体の臓器の画像が、透過して見える人体の模型に投影して見ることができ、医学教育用の電子臓器模型を構成することができる。
【0077】
以上、本発明の仮想現実画像表示装置100についての最良の形態を、実施例に基づいて説明したが、本発明は上記実施例に記載した構成に限定されるものではなく、その趣旨を逸脱しない範囲において適宜その構成を変更することができる。
【0078】
例えば、上記実施例においては、磁気センサ11とジャイロセンサ13とを別体のものを用いたが、何らこれに限定されるものではなく、例えば、磁気センサ11のように位置を正確に測定することができるとともに、ジャイロセンサ13のように、測定間隔が短く、変位量を短時間で正確に測定することができる同一体のものであってもよい。
【0079】
この場合には、仮想現実画像表示装置100がシンプルになり、小型化することができ、コストを低減することができる。
【0080】
また、上記実施例では、計測時管理手段40により第1タイミングT1が検出され計測時情報を画像生成手段21に伝達するようにしているが、これに何ら限定されるものではなく、例えば、計測時管理手段40が第1タイミングT1を運動計測ユニット12と画像生成手段21に伝送するようにしてもよい。
【0081】
さらに、画像生成手段21の画像出力に計測情報を付加するものに限定されるものでなく、例えば、画像出力と同時に出力させるようにして、生成された画像と第1タイミングT1とを関連づけるようにしてもよい。
【0082】
この関連づけは、上記実施例のクロックカウンタ値を用いるものに何ら限定されるものではなく、例えば、タイムスタンプに用いられる時刻、この時刻に関連付けられたインデックスを用いてもよい。
【0083】
また、画像切り出し位置の変更は、切り出し直前で行うものであればよく、上記実施例に何ら限定されるものではなく、例えば、画像補正手段50にフレームメモリを設け、このフレームメモリに記憶された高画角の画像信号から、ジャイロセンサ13による計測結果で計測された操作者Uの頭部の動きに基づいて、操作者Uが見るべき画像の一部をフレームメモリから切り出すようにしてもよい。
【産業上の利用可能性】
【0084】
本発明は、特にバーチャル・リアリティ、ミックスド・リアリティ、ウェアラブルコンピュータのディスプレイ、ハンドヘルドプロジェクタ、ヘッドマウントディスプレイ、フェイスマウントディスプレイにもそのまま適用することができる。
【0085】
また、本発明は、表示装置の映像であれば、医用画像、ゲーム映像、3次元映像にも適用することができ、人体模型とプロジェクタを用いた医学教育用の電子臓器模型や手術計画等、バーチャル・リアリティ、ミックスド・リアリティ、ウェアラブルコンピュータのディスプレイ、ハンドヘルドプロジェクタ、ヘッドマウントディスプレイ、フェイスマウントディスプレイ等の表示を用いた医療、産業、教育等の用途に用いることができる。
【図面の簡単な説明】
【0086】
【図1】実施例の仮想現実画像表示装置の概略的なシステム構成を示す図である。
【図2】上記実施例の仮想現実画像表示装置の電気的回路構成を示す説明図である。
【図3】図2の画像補正手段とディスプレイとの間の電気的信号処理の関係を示すブロック図である。
【図4】操作者Uの頭部の動きと時間との関係を示すグラフである。
【図5】図3のLCDパネルの液晶ディスプレイ素子の構成の概略を示す図である。
【図6】図2及び図3の画像補正手段の電気的構成の詳細を示すブロック図である。
【図7】画像補正手段による画像切り出しの様子を示す図である。
【図8】上記実施例の仮想現実画像表示装置による画像補正の検証実験の構成を示す図である。
【図9】図9は、図9(a)が補正なし(画像中央領域を常に切出し)の場合の画像表示位置を示した説明図であり、図9(b)が補正を行った場合の画像表示位置を示した説明図である。
【図10】図10は、図10(a)が補正なし(画像中央領域を常に切出し)の場合の結果の実物体と仮想物体との相対角度の差を示したグラフであり、図10(b)が補正を行った場合の結果の実物体と仮想物体との相対角度の差を示したグラフである。
【図11】実施例2の仮想現実画像表示装置の概略的なシステム構成を示す図である。
【図12】従来の仮想現実画像表示装置の電気的回路構成の一例を示す説明図である。
【符号の説明】
【0087】
11 磁気センサ(第1運動計測手段)
12 運動計測ユニット
13 ジャイロセンサ(第2運動計測手段)
20 計算機
21 画像生成手段
30 HMD
31 透過手段
33 ディスプレイ
40 計測時管理手段
50 画像補正手段
100 仮想現実画像表示装置
T1 第1タイミング
T2 第2タイミング
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11