TOP > 国内特許検索 > 網膜走査型表示部を用いた画像表示装置およびその方法 > 明細書

明細書 :網膜走査型表示部を用いた画像表示装置およびその方法

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和2年12月10日(2020.12.10)
発明の名称または考案の名称 網膜走査型表示部を用いた画像表示装置およびその方法
国際特許分類 G02B  27/02        (2006.01)
G09G   5/00        (2006.01)
G09G   5/36        (2006.01)
G09G   5/02        (2006.01)
G09G   5/10        (2006.01)
FI G02B 27/02 Z
G09G 5/00 510V
G09G 5/00 550C
G09G 5/00 510A
G09G 5/00 530M
G09G 5/36 510V
G09G 5/00 530H
G09G 5/02 B
G09G 5/10 Z
G09G 5/00 510B
国際予備審査の請求 未請求
全頁数 23
出願番号 特願2019-538274 (P2019-538274)
国際出願番号 PCT/JP2019/002512
国際公開番号 WO2019/155916
国際出願日 平成31年1月25日(2019.1.25)
国際公開日 令和元年8月15日(2019.8.15)
優先権出願番号 2018021853
優先日 平成30年2月9日(2018.2.9)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】山田 祥治
【氏名】勝山 俊夫
出願人 【識別番号】504145320
【氏名又は名称】国立大学法人福井大学
個別代理人の代理人 【識別番号】110000028、【氏名又は名称】特許業務法人明成国際特許事務所
審査請求 未請求
テーマコード 2H199
5C182
Fターム 2H199CA06
2H199CA12
2H199CA29
2H199CA32
2H199CA92
2H199CA96
2H199CA97
5C182AA02
5C182AA03
5C182AA04
5C182AA06
5C182AA12
5C182AA23
5C182AA26
5C182AA31
5C182AB35
5C182AC35
5C182AC43
5C182AC46
5C182BA14
5C182BA46
5C182BA56
5C182BB04
5C182BB15
5C182CB42
5C182DA44
要約 利用者(USR)に対して、所定の画像を視認可能に表示する際、利用者の視線の方向を検出し、検出した利用者の視線の方向に存在する想定される部分を第1画像とし、所定の画像に対して第1画像と相補的な画像を第2画像とし、利用者の頭部に装着された網膜走査型表示部(20)から、利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第1距離だけ隔たった位置に第1画像を合焦させて表示する。また、利用者から、第1距離より短い第2距離だけ隔たった位置に設けられたパネル型表示部(50)のパネル表面に、第2画像を表示する。これにより、所定の画像を利用者に好適に提示する。
特許請求の範囲 【請求項1】
利用者に対して、所定の画像を視認可能に表示する画像表示装置であって、
利用者の頭部に装着され、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第1距離だけ隔たった位置に合焦する第1画像を表示する網膜走査型表示部と、
前記網膜走査型表示部を装着した前記利用者の瞳孔位置および視線の方向を検出する視線検出部と、
前記利用者から、前記第1距離より短い第2距離だけ隔たった位置に設けられたパネルに、前記第1画像とは異なる第2画像を表示するパネル型表示部と、
前記所定の画像から、前記検出した利用者の視線の方向に存在すると想定される部分を、前記第1画像として前記網膜走査型表示部に出力すると共に、前記所定の画像に対して前記第1画像と相補的な画像を、前記第2画像として前記パネル型表示部に出力する画像出力部と
を備える画像表示装置。
【請求項2】
前記網膜走査型表示部は、前記利用者の少なくとも網膜中心窩を含む領域に前記第1画像を投映する、請求項1に記載の画像表示装置。
【請求項3】
請求項1または請求項2に記載の画像表示装置であって、
前記視線検出部は、前記網膜走査型表示部を装着した利用者の頭部の少なくとも前記パネル型表示部に対する位置および方向を検出する第1検出部と、前記網膜走査型表示部を装着した前記利用者の前記頭部を基準とした瞳孔位置および視線の方向を検出する第2検出部とを備える
画像表示装置。
【請求項4】
前記パネル型表示部は、前記利用者から見た画角が、水平方向で60度以上180度以下、垂直方向で40度以上120度以下となるパネルサイズを備える請求項1から請求項3のいずれか一項に記載の画像表示装置。
【請求項5】
前記画像出力部は、前記網膜走査型表示部において前記利用者の前記両眼に前記レーザ光を用いて表示する第1画像は、前記両眼に視差を生じさせる立体視用の画像である、請求項1から請求項4のいずれか一項に記載の画像表示装置。
【請求項6】
請求項1から請求項5のいずれか一項に記載の画像表示装置であって、
前記画像出力部は、前記パネル型表示部に表示させる前記第2画像について、解像度、明度、彩度、鮮鋭度(画像のぼけていない程度)のうちの少なくとも一つのパラメータが、前記網膜走査型表示部に表示させる前記第1画像についての前記パラメータよりも、小さい画像として出力する
画像表示装置。
【請求項7】
前記画像出力部は、前記第1画像と前記第2画像との境界では、前記第1画像側から前記第2画像側に向けて、前記パラメータを漸次変化させる、請求項6記載の画像表示装置。
【請求項8】
前記パネル型表示部は、
前記パネル表面に再帰性反射部材が設置されたスクリーンと、
前記スクリーンに向かって、前記利用者の前記頭部近傍から前記第2画像を投写するプロジェクタと
を備える請求項1から請求項7のいずれか一項に記載に画像表示装置。
【請求項9】
請求項1から請求項8のいずれか一項に記載の画像表示装置であって、
所定の空間を表現する3次元データを記憶する記憶部と、
前記利用者の前記所定の空間内での位置および視線方向の少なくとも一方を変更する操作部と、
前記利用者の前記位置および前記視線方向の少なくとも一方の変更に伴って、前記利用者が前記所定の空間で視認すると想定される映像を、前記3次元データから、前記所定の画像として生成する画像生成部と、
を備えた画像表示装置。
【請求項10】
請求項1から請求項8のいずれか一項に記載の画像表示装置であって、
所定の仮想空間にあるオブジェクト群を表現する3次元データを記憶する記憶部と、
前記利用者が存在する実空間の座標系と前記所定の仮想空間の座標系との対応を設定する座標系対応設定部と、
前記検出された瞳孔位置および視線方向を、前記設定された座標系対応に従って仮想空間の座標系における瞳孔位置および視線方向に変換し、仮想空間における利用者が前記所定の仮想空間で視認すると想定される映像を、前記3次元データから、前記所定の画像として生成する画像生成部と、
を備えた画像表示装置。
【請求項11】
利用者に対して、所定の画像を視認可能に表示する画像表示方法であって、
前記利用者の視線の方向を検出し、
前記所定の画像から、前記検出した利用者の視線の方向に存在する想定される部分を第1画像とし、前記所定の画像に対して前記第1画像と相補的な画像を第2画像とし、
前記利用者の頭部に装着された網膜走査型表示部から、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第1距離だけ隔たった位置に前記第1画像を合焦させて表示し、
前記利用者から、前記第1距離より短い第2距離だけ隔たった位置に設けられたパネル型表示部のパネル表面に、前記第2画像を表示する
画像表示方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、網膜走査型表示部を用いた画像の表示技術に関する。
【背景技術】
【0002】
従来から人(以下、利用者という)の視野をできるだけ多くカバーすることにより、利用者の没入感を高める表示装置が種々提案されている。例えば、特許文献1では、複数台の大型表示装置を用意し、利用者を取り囲むように配置することで、没入感を高めている。こうした装置構成では、液晶ディスプレイなどの表示装置と利用者との距離を近くすれば、比較的小さな表示装置でも視野の多くをカバーすることができるが、表示装置までの距離が小さくなると、臨場感は失われやすい。このため、利用者から一定の距離を確保した上で、大画面の表示を行なう構成が求められ、例えば特許文献2では、投写型表示装置と曲面の投写面とを利用して、利用者の視野の大部分を覆う没入感の高い構成が提案されている。
【0003】
他方、ヘッドマウントディスプレイのように表示装置を眼に近接させて配置して視野のカバー率を高めると共に、形成する像を虚像とすることで像の位置を利用者から離し、表示装置の小型化と没入感の醸成とを両立させようとする技術も、種々提案されている(例えば、特許文献3)。
【0004】
更に、こうした大型表示装置やヘッドマウントディスプレイにおいて、人間の視認能力が、視野の中心部分で高く周辺部分で低いことを考慮して、視野中心に表示される画像の解像度より周辺の解像度を粗くし、画像形成の負荷の軽減やレンダリング時間の短縮等を図るものも提案されている(特許文献4、5)。ヘッドマウントディスプレイには、特許文献3に例示されているように、液晶や有機ELなどの微少な表示部に画像を形成し、この画像を光学系を用いて虚像として利用者に視認させるタイプの他、微少なレーザ光を光学系を用いて網膜に直接入射して、利用者から所定の距離だけ隔たった位置に合焦可能な画像を表示するタイプも知られている(例えば、特許文献6)。
【先行技術文献】
【0005】

【特許文献1】特許第2708189号公報
【特許文献2】特許第3956543号公報
【特許文献3】特許第5920897号公報
【特許文献4】特許第3240362号公報
【特許文献5】特許第3143558号公報
【特許文献6】特開2017-122775号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、こうした従来の表示装置では、以下の相反する要請が解決されていなかった。つまり、装置の小型化と、自然な現実世界の視認性の確保とを両立することは困難であった。例えば、特許文献1、2、5の手法では、表示装置が大型化してしまう。他方、特許文献3、4、6のようなヘッドマウントディスプレイでは、装置の小型化と没入感の確保とが可能となるものの、全視野が覆われてしまい、画像の描画範囲の広狭にかかわらず、現実世界を視認することが困難になってしまう。
【課題を解決するための手段】
【0007】
本発明は、こうした課題を踏まえたものであり、以下の態様で実現することが可能である。
【0008】
1つの実施態様として、利用者に対して、所定の画像を視認可能に表示する画像表示装置が提供される。この画像表示装置は、利用者の頭部に装着され、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第1距離だけ隔たった位置に合焦する第1画像を表示する網膜走査型表示部と;前記網膜走査型表示部を装着した前記利用者の瞳孔位置および視線の方向を検出する視線検出部と;前記利用者から、前記第1距離より短い第2距離だけ隔たった位置に設けられたパネルに、前記第1画像とは異なる第2画像を表示するパネル型表示部と;前記所定の画像から、前記検出した利用者の視線の方向に存在すると想定される部分を、前記第1画像として前記網膜走査型表示部に出力すると共に、前記所定の画像に対して前記第1画像と相補的な画像を、前記第2画像として前記パネル型表示部に出力する画像出力部とを備える。
【0009】
この画像表示装置は、利用者に対して表示する所定の画像を、検出した利用者の視線の方向に存在すると想定される部分である第1画像と、これと相補的な第2画像とし、第1画像を、網膜走査型表示部によって利用者から第1距離に表示し、第2画像を、この第1距離より短い第2距離だけ利用者から隔たった位置に設けられたパネル型表示部に表示する。したがって、利用者は、その視線の方向であって、利用者から第1距離だけ隔たった位置に合焦する第1画像を見ることになり、同時に第1画像とは相補的な第2画像を、第1距離より短い第2距離に見ることになる。人の眼は、視線の方向、つまり中心視野領域において高い認識能力を持つ。したがって、利用者は合焦の位置の第1画像を明瞭な画像としてみることができ、これとは相補的な第2画像と合せて、広い範囲に表示される所定の画像と見ることができる。
【0010】
本発明は、この他、画像表示方法や、画像表示装置の制御方法、あるいは上記の画像表示装置を内蔵したゲーム機や、大規模モニタ装置等、様々な態様で実施可能である。
【図面の簡単な説明】
【0011】
【図1】第1実施形態の画像表示装置の概略構成図。
【図2】網膜走査型表示部を中心に示す概略構成図。
【図3】実施形態において、利用者から見た画像の一例を示す説明図。
【図4】画像出力装置において実行される画像表示処理ルーチンを示すフローチャート。
【図5】画像出力装置において実行される画像生成処理ルーチンを示すフローチャート。
【図6】利用者からの見え方を模式的に示す説明図。
【図7】利用者の視線の方向が移動した場合の利用者から見た画像の一例を示す説明図。
【図8】第2実施形態を例示する説明図。
【図9】第3実施形態を例示する説明図。
【発明を実施するための形態】
【0012】
A.実施形態のハードウェア構成:
第1実施形態の画像表示装置10は、図1に示したように、利用者USRの頭部に装着する網膜走査型表示部20と、パネル型表示部50と、網膜走査型表示部20およびパネル型表示部50に表示すべき画像データを出力する画像出力装置60と、画像出力装置60が表示用に処理する元データである仮想空間データを記憶する外部記憶装置90とを備える。

【0013】
画像出力装置60は、制御を統御するCPU61、メモリ62、画像処理を行なう専用チップであるGPU65、操作部67、網膜走査型表示部20との信号のやり取りを行なう網膜走査型表示部インタフェース71、パネル型表示部50との信号のやり取りを行なうパネル型表示部インタフェース72、外部記憶装置90との信号のやり取りを行なうストレージインタフェース75等を備える。画像出力装置60は、画像出力部として機能するだけでなく、後述する様に、視線検出部としての機能の一部も分担する。

【0014】
各部の動作等については後述するが、簡略に全体の画像処理について説明すると、この実施形態の画像表示装置10は、外部記憶装置90に記憶した仮想空間データから、利用者USRにより指定された空間のデータを、ストレージインタフェース75を介して取り出し、これを、GPU65の画像変換能力を利用して、利用者USRの位置および視線の方向に基づいて利用者USRから見えている画像に変換する。画像の変換は、利用者USRによる操作部67の操作や、利用者USRの視線の方向により、リアルタイムに変換される。画像出力装置60は、変換した画像を振り分け、その一部を、網膜走査型表示部インタフェース71を介して網膜走査型表示部20に、また残部を、パネル型表示部インタフェース72を介してパネル型表示部50に、それぞれ出力し、両表示部20,50に表示させる。パネル型表示部50に表示される画像は、網膜走査型表示部20により表示される画像の残部なので、両画像は相補的な画像ということができる。

【0015】
外部記憶装置90に記憶された仮想空間データは、仮想的な3次元空間を表現したデータであり、画像表示の元となるデータである。こうした仮想空間データは、現実の地形や都市などに基づいたデータでもよいし、ゲームなどで用いる全く仮想的なデータでもよい。仮想空間データは、その仮想空間に存在する対象物の3次元データと座標関係を示すデータ、対象物の色彩や質感などを表わすデータなどを含んでよい。また、外部記憶装置90は、画像出力装置60に内蔵されていてもよいし、ネットワークを介して接続された他のサイトなどに設けられていてもよい。本実施形態では、仮想空間データは予め用意したが、空間の造形規則を与えて、リアルタイムに生成するようにしてもよいし、3次元カメラの撮像データを利用してもよい。

【0016】
利用者USRは、上述した仮想空間の内部にいるものとして、画像出力装置60よる画像の生成と表示とが行なわれる。仮想空間内の最初の位置(デフォルトの位置)は、予め定めておいても良いし、利用者USRが操作部67を用いて指定するようにしてもよい。利用者の視線の方向は、後述するように、網膜走査型表示部20によって検出される。利用者の位置の変更、つまり仮想的な空間の中で進んだり、曲がったりといった位置の変更は、網膜走査型表示部20だけでは画像出力装置60に与えることができない。このため、利用者USRは、操作部67を操作して、自己の位置の変化を入力する。例えば、操作部67に前後左右の移動に対応された十字キーを設けたり、ジョイスティックを設けたり、あるいは2次元のタッチパッドを設けたりして、利用者USRによる移動方向の入力を受け付ければよい。

【0017】
網膜走査型表示部20の構成と働きについて説明する。図2は、網膜走査型表示部20の概略構成図である。網膜走査型表示部20は、いわゆるシースルータイプの表示部であり、利用者USRは、網膜走査型表示部20を装着した状態でも外界を視認することができる。網膜走査型表示部20は、中心にビデオカメラ24を備え、その左右に、表示用の構成を、ほぼ対称に配置して備える。網膜走査型表示部20では、透過型の透過表示部21,22、利用者USRが頭部に装着するためのテンプル28,29のみならず、左右の眼球EL,ERの方向を検出するアイカメラ26,27、透過表示部21,22内部に設けられた反射部31,32,反射部31,32に向けてレーザ光を射出する光学エンジン41,42などが、左右対称に設けられている。

【0018】
光学エンジン41,42は、RGBの三色の光を発光する半導体レーザを内蔵し、半導体レーザからのRGBの光を、合波器を用いて一つの導光路上に統合している。また、この導光路から射出する光を反射鏡に反射させて、反射部31,32に導いている。反射鏡の角度をアクチュエータにより変化させることで、射出されるレーザ光を走査し、この走査に合せて半導体レーザの出力強度を制御することにより、利用者USRの左右眼EL,ERの網膜上に直接画像を形成し、これを利用者に視認させる。光学エンジン41,42が内蔵する半導体レーザ、合波器、導光路、反射鏡などについては特に図示しないが、これらの構造は、例えば国際公開番号WO2015/170505号の公報などに詳しく説明されている。もとより、合波器を用いず、三原色のレーザ光を個別に、反射鏡を用いて、反射部に射出する構成を採用することも可能である。あるいは、光学エンジン41,42を透過表示部21,22よりも外側に設け、反射部31,32を用いず、直接左右眼EL,ERにレーザ光を射出するようにしてもよい。

【0019】
網膜走査型表示部20が表示する画像については、後で詳しく説明するが、光学エンジン41,42から射出されるレーザ光により画像が形成されるのは、左右の眼EL,ERの網膜の中心視野領域である。中心視野領域は、人の少なくとも網膜中心窩を含む領域である。人の眼は、この中心視野領域において高い認識能力を持つ。したがって、光学エンジン41,42により形成される画像は、鮮明に認識される。利用者USRの両眼の隔たりなどは人により異なるので、網膜走査型表示部20は、利用者USRの頭部への装着時に、反射部31,32に反射したレーザ光が網膜の中心視野領域に到達するように、光学系のアライメントが調整されている。なお、後述するように、光学エンジン41,42により左右眼EL,ER用に生成される画像には、立体視のための視差が与えられているので、利用者USRの眼のいわゆるピントは、左右の画像に含まれる視差情報に反応して、視差に対応した位置に調整される。このため、それ以外の位置に存在するもの、例えば透過表示部21,22をシースルーして見ているものについては、通常はピントが合わず、ぼけた状態となる。この点についても、後で詳しく説明する。

【0020】
網膜走査型表示部20の中心に設けられたビデオカメラ24は、利用者USRの前方の画像を撮像し、その画像信号を画像出力装置60に出力する。ビデオカメラ24は、利用者USRの前方におかれるパネル型表示部50に設けられた3つのマーカ51~53を認識するために設けられている。マーカ51~53は、図2および後述する図3に示したように、パネル型表示部50の外縁を形成するフレームの3箇所に設けられている。3つのマーカの位置は、2つ以上が同じ位置に存在しないこと、3つのマーカが一直線上に並ばない位置であること、ビデオカメラ24の撮像範囲に入ること、という条件を満たせば、その位置関係はどのようなものであっても差し支えない。本実施形態では、図3に示したように、パネル型表示部50の左上、右上、左下にそれぞれ設けた。

【0021】
画像出力装置60は、このビデオカメラ24からの映像に基づいて、マーカ51~53の位置を解析し、網膜走査型表示部20、ひいては利用者USRとパネル型表示部50の位置関係を特定することができる。ビデオカメラ24を用いてマーカ51~53を撮像する手法の場合、マーカ51~53の位置(マーカ間の距離および配置)が分っていれば、ビデオカメラ24が撮像したマーカ51~53が含まれる映像を解析することで、網膜走査型表示部20とパネル型表示部50との位置関係(パネル型表示部50までの距離およびパネル型表示部50に対する網膜走査型表示部20の3方向の姿勢)を求めることができる。こうした位置関係を求める処理は、網膜走査型表示部20側で行なうものとすることも差し支えない。なお、ビデオカメラ24に代えて、3軸のジャイロセンサを設け、利用者USRの頭部の傾き、延いては網膜走査型表示部20の傾きを検出し、これを画像出力装置60に出力するものとしてもよい。この場合、パネル型表示部50と網膜走査型表示部20との距離は求められないので、デフォルトの位置を定めておき、これを初期値として使用するようにすればよい。こうした位置関係は、XYZの直交座標系で表現してもよいし、利用者USRの頭部のいずれかの位置を原点とする極座標系で表現してもよい。

【0022】
アイカメラ26,27は、利用者USRの左右の眼球EL,ERを撮像し、その信号を、画像出力装置60に出力する。画像出力装置60は、受け取った画像から眼球の瞳の位置と大きさを解析し、これにより、眼球の位置、即ち視線の方向を認識する。この場合の視線の方向とは、利用者USRの頭部を基準とした方向である。したがって、画像出力装置60は、このアイカメラ26,27からの信号を解析して得た視線の方向の情報と、既述したビデオカメラ24からの信号を解析して得た利用者USRの位置関係の情報とを併せることで、利用者USRが見ている方向を特定することができる。ここで言う「利用者が見ている方法」とは、現実には、パネル型表示部50に対する方向であり、仮想的には仮想空間内において、利用者USRが仮想空間内で見ている方向である。上記のように、本実施形態では、アイカメラ26,27と、後述する画像出力装置60において実行される処理(図4、ステップS130)とにより、視線検出部が実現されている。

【0023】
B.画像表示処理:
以上説明した構成を用いて、画像表示装置10が行なう画像表示処理について、図3、図4、図5を用いて説明する。図3は、本実施形態において、利用者USRから見た画像の一例を示す説明図、図4、図5は、画像出力装置60において実行される処理ルーチンを示すフローチャートである。画像出力装置60が実行する処理の説明に先立って、利用者USRにどのような映像が見えるかについて説明する。網膜走査型表示部20を装着してパネル型表示部50の前に立った利用者USRには、網膜走査型表示部20よる第1画像としての画像と、網膜走査型表示部20の透過表示部21,22を透して認識できるパネル型表示部50に表示された第2画像としての画像とが見える。網膜走査型表示部20により表示される画像と、パネル型表示部50に表示される画像とは、後述するように、別々に生成される。

【0024】
このうち、網膜走査型表示部20に表示される画像は、図3に示したように、利用者USRからするとその中心視野に対応する領域(以下、中心領域という)CSAの画像である。網膜走査型表示部20には、この中心視野に対応する中心領域CSAの画像以外は出力されないから、中心領域CSA以外には画像がなく、利用者USRからすれば、中心領域CSA以外は、シースルーの状態となっている。この中心領域CSA以外の領域であって、パネル型表示部50の表示領域と重なる領域(以下、周辺領域という)BSAの画像は、パネル型表示部50に出力される。両方の画像は重なっていないので、相補的な関係にある。したがって、利用者USRにとっては、網膜走査型表示部20に表示されている中心領域CSAの画像と、パネル型表示部50に表示されている周辺領域BSAの画像とが、一続きの画像として、矛盾や輻輳のない画像として視認される。

【0025】
利用者USRが画像を見ている間、網膜走査型表示部20に設けられたビデオカメラ24は継続的に撮像を続けており、図3に例示したマーカ51~53を撮像しいる。したがって、撮像されたマーカ51~53を認識することにより、画像出力装置60は、パネル型表示部50を座標系の起点として、利用者USRとパネル型表示部50との位置関係、つまり距離と網膜走査型表示部20の傾き(利用者USRの頭部の姿勢)を知ることができる。また、網膜走査型表示部20に設けられたアイカメラ26,27からの信号も画像出力装置60に入力されており、画像出力装置60は、利用者USRの左右の眼EL,ERの瞳孔の画像から利用者USRの頭部を座標系の起点として、瞳孔位置および視線の方向を知ることができる。このため、両方の認識結果を利用することで、画像出力装置60は、利用者USRがパネル型表示部50に対してどのような姿勢であり、どの方向を見ているかを知ることができる。なお、本実施形態では、視線検出部において、アイカメラ26,27が撮像した瞳孔の画像から、瞳孔位置と視線の方向とを求める方法で視線の方向を検出したが、瞳孔位置を専用のセンサ等により直接検出し、これから計算によって視線方向を求める方法で検出してもよい。

【0026】
次に、図4,図5に示したフローチャートを参照して、画像出力装置60が実行する画像表示処理ルーチンおよび画像生成処理ルーチンについて説明する。画像表示装置10の画像出力装置60は、電源が投入され、利用者USRが網膜走査型表示部20を装着すると、図4に示す画像表示処理ルーチンを実行する。この処理ルーチンを開始すると、画像出力装置60のCPU61は、まず初期化の処理を実行する(ステップS100)。初期化の処理とは、画像処理に用いるメモリ空間の確保やGPU65の設定、網膜走査型表示部20,パネル型表示部50および外部記憶装置90との信号やデータのやり取りに必要な初期化処理などを言う。なお、利用者USRが頭部に装着した網膜走査型表示部20の光学系のアライメントは済んでおり、利用者USRの眼の適切な位置に網膜走査による画像が形成されるものとする。

【0027】
初期化の処理を終えると、CPU61は、実空間と仮想空間との初期対応付けの処理を行なう(ステップS110)。この処理では、利用者USRが仮想空間のどこに位置し、どの方向を向いているかを設定し、利用者USRが網膜走査型表示部20を装着して存在している実空間と、外部記憶装置90に記憶されている仮想空間との対応付けを行なう。仮想空間の中のどこに位置し、どの方向を向いているかは、予めデフォルトの位置と方向として決定しておいても良いし、利用者USRが操作部67を用いて、設定するものとしてもよい。その場合、最初の位置と方向は与えておき、そこから操作部67を操作して対応付けを行なう。もとより、利用者USRが画像表示装置10の使用を開始する際に、「○○世界の××場所に東向きに立つ」といった形で仮想空間内の位置と方向とを指定し、その位置と方向とを、利用者USRの実空間と対応付けるものとしてもよい。位置と方向の指定は、例えば音声認識を利用してもよいし、地図などを表示し、その地図上の一点および向きを指定するといった手法で指定してもよい。

【0028】
続いて、画像出力装置60は、網膜走査型表示部20と信号のやり取りをして、網膜走査型表示部20のビデオカメラ24が撮像した映像からパネル型表示部50に設けられたマーカ51~53を読み取る処理を行なう(ステップS120)。更に、網膜走査型表示部20のアイカメラ26,27からの信号を入力し、瞳孔の画像を読み取る処理を行なう(ステップS130)。この2つの映像から、画像出力装置60は、利用者の実空間での位置と視線方向、つまりパネル型表示部50に対してどのくらい離れており、パネル型表示部50のどの辺りを見ているか、ということを知ることができるから、対応付けられた仮想空間の中で、どの位置からどの方向を見ているかを決定することができる(ステップS140)。

【0029】
この対応付けに基づいて、画像出力装置60は、次に画像生成処理(ステップS200)と、両表示部20,50への画像信号の出力処理(ステップS300)とを行なう。その後、利用者USRによる画像表示装置10の利用が終了したか否かを判断し(ステップS150)、使用が終了していなければ、ステップS120に戻って、マーカ51~53の読み取りから処理を繰り返す。従って、利用者USRがパネル型表示部50に対する位置を変えたり、見ている方向を変えたりすれば、パネル型表示部50に対する位置の変更、例えば近接や離間により、画像の大きさを変えるなどの処理を継続する。画像表示装置10の使用の開始や終了は、操作部67に設けたスイッチなどにより、容易に実現できる。

【0030】
図4における画像生成処理(ステップS200)について、図5を用いて説明する。この画像生成処理ルーチンが開始されると、CPU61は、まず、利用者USRの現在の仮想空間での位置と視線方向に基づいて、外部記憶装置90に記憶された仮想空間の3次元データにアクセスし、これを読み出す処理を行なう(ステップS210)。続いて、読み出した3次元データと、利用者USRの現在の視線方向に基づき、利用者USRの中心視野に対応する中心領域CSAを演算する(ステップS220)。中心領域CSAの演算とは、中心領域CSAの中心位置と大きさを求めることに相当する。大きさは、本実施形態では、予め定めた楕円または長円形の形状を定義する、例えば短径と長径として定義される。

【0031】
その後、求めた中心領域CSAについて、CPU61は、GPU65に指示して高解像度の画像を生成する(ステップS230)。利用者USRの仮想空間での位置と視線方向とは、図4のステップS130で求めているので、これに従い、中心領域CSAに対応した画像を生成することは容易である。このとき、GPU65は、仮想空間の3次元データに基づき、仮想空間内の3次元の奥行きを、両眼EL,ERに形成される画像の視差に変換して、両眼EL,ER用の画像を別々に生成する。また、生成する画像の解像度は、画像の元となる3次元データをレンダリングする際のパラメータをGPU65に与えることにより、設定する。中心領域CSAは、その周辺に広がる周辺領域BSAより狭いので、GPU65は、短時間のうちに、中心領域CSAに対応した両眼用の高解像度の画像を生成できる。この画像は、毎秒、60フレーム程度で書き換えられるので、利用者USRは、映像(動画)を見ていることになる。なお、画像の書き換え方法は、インタレースでもノンインタレースでもよい。

【0032】
次に、CPU61は、利用者USRの視線の移動量の大小について判断する(ステップS240)。視線の移動量とは、利用者USRの視線方向の移動量を直前に高解像度の画像を生成した際の方向からの視線の角度の変化量θとして把握することができる。この角度θが大きい場合(初めて画像を生成する場合を含む)には、中心領域CSA以外の周辺領域BSAについて、低解像度の画像を生成する処理を行なう(ステップS250)。更に、中心領域CSAと周辺領域BSAとの境界領域について画像を段階的に補正する処理を行なう(ステップS260)。この処理は、具体的には、中心領域CSAの周縁における解像度を、外側に向かって徐々に下げていく処理により実現できる。解像度を下げる処理は、ニアレストネイバー法、バイリニア法、ハイキュービック法など、各種の手法が知られている。これらの手法のいずれかを適用すればよい。単純に言えば、隣接する2以上の画素の階調値を、それらの画素の平均階調値に置き換えればよい。

【0033】
他方、視線の移動量が小さいと判断した場合には(ステップS240)、周辺領域BSAについての新たな画像の生成を行なわず、境界領域に関する解像度の補正のみを行ない(ステップS260)、いずれの場合も、本処理ルーチンを終了する。

【0034】
こうして、中心領域CSAに関する高解像度の画像の生成(ステップS230)と、周辺領域BSAに関する低解像度の画像の生成(ステップS250)とを行なった後、図4に示したステップS300の処理、即ち網膜走査型表示部20およびパネル型表示部50への画像信号の出力処理が行なわれる。したがって、利用者USRは、図3に示したように、中心領域CSAについては、網膜走査型表示部20が表示する高解像度の画像を視認することができる。しかもこのとき、左右の眼の網膜に生成される画像には、奥行きに応じた視差が設けられているから、利用者USRは、中心領域CSAについては、奥行きのある画像、即ち仮想空間を3次元的に認識する。

【0035】
この様子を図6に例示した。今、仮想的な3次元空間には、対象物OBJ1~OBJ5が存在しているものとする。パネル型表示部50から少し離れたところに位置する利用者USRは、仮想空間の中では対象OBJ5の方を向いているとする。このとき、画像出力装置60は、利用者USRの位置と視線の方向とを認識し、網膜走査型表示部20に中心領域CSAに対応した画像を表示する。図6では、中心領域CSAに対応する範囲であって、利用者USRから見える範囲CSBをクロスハッチングで示した。

【0036】
画像出力装置60は、クロスハッチングした範囲CSBを利用者USRが見ているとして、この範囲CSBを利用者USRの側から見た画像を生成し、これを網膜走査型表示部20により表示する。この画像には視差情報が含まれているから、利用者USRは、対象物OBJ5を利用者USR側から見た画像を視認し、画像に含まれる視差により、利用者USRから隔たった位置DAに対象物OBJ5が存在するよう視認する。このとき、パネル型表示部50には対象物OBJ5に対応する画像は、中心領域CSAから外れた左端の画像以外は形成されない。

【0037】
パネル型表示部50には、中心領域CSAと相補的な関係にある周辺領域BSAの画像が形成される。この画像の形成位置は、各対象物OBJ1~4を利用者USRから見ているとして、これに対応するパネル型表示部50の位置DE1~4である。パネル型表示部50のサイズが、例えばアスペクト比16対9の48インチの液晶表示装置であるとすると、利用者USRがパネル型表示部50の中心において50センチ離れた場所に立っていれば、利用者USRは、水平方向左右にはそれぞれ47度、合計94度の範囲までをパネル型表示部50の画像として見ることができる。この範囲を図6では、角度αとして示した。なお、垂直方向上下には、同様にそれぞれ31度、合計62度の範囲までを、パネル型表示部50の画像として見ることができる。利用者USRは、網膜走査型表示部20の透過表示部21,22を透して、このパネル型表示部50上の画像を視認することができる。この画像は、パネル型表示部50に表示されているので、奥行きのない、しかも低解像度の画像であるが、利用者USRは、その視線方向を注視しているから、この程度の角度αの範囲に画像があれば、利用者USRの没入感は十分に高い。

【0038】
利用者USRの左右眼EL,ERのピントは、網膜走査型表示部20によって網膜の中心視野に形成された画像に含まれる視差情報に応じて、仮想空間の奥行きに対応した場所に合わされるから、パネル型表示部50に表示された周辺領域BSAの画像にはピントは合っていない。即ち、周辺領域BSAの画像は、利用者USRにとってはぼけた画像となる。人の視認特性においては、中心視野から外れると空間分解能(視力)が急速に低下する。したがって、このように中心領域CSAと比べて解像度の低い画像が表示された周辺領域BSAについては、ピントが合っていなくても、特に認識に関して違和感を覚えにくい。しかも、中心領域CSAと周辺領域BSAとの境界領域では、段階的に解像度が変化するよう、中心領域CSAの周縁の画像が補正されているので、利用者USRは、更に中心領域CSAと周辺領域BSAと画像の違いに違和感を覚え難い。

【0039】
この状態で、利用者USRが見る方向を変えると、その視線方向の変更は、ビデオカメラ24より検出されたマーカ51~53の位置の変更と、アイカメラ26,27により検出された眼球EL,ERの動きの変化として、画像出力装置60よって直ちに認識される。視線方向とは、単に見ている方向だけであってもよいが、左右の眼EL,ERの瞳孔の位置から焦点の位置、つまりどの程度離れているところを見ているかも認識するものとすることできる。焦点の位置を認識すれば、認識した焦点の位置に合せて、左右の眼EL,ERの網膜に形成する像の視差を調整することができる。

【0040】
利用者USRの見ている方向が分れば、図7に例示したように、網膜走査型表示部20に表示する中心領域CSAに表示する画像は、仮想空間に内で利用者USRが見ている方向に移動する。また、この移動に合せて、周辺領域BSAに表示する画像も、中心領域CSAの画像と相補的なものとして形成される。中心領域CSAが移動する場合、その中心領域CSAに形成される画像は、常に高解像度の画像であり、周辺領域BSAに形成される画像は、常に低解像度の画像である。

【0041】
以上説明したように、上記実施形態の画像表示装置10によれば、網膜走査型表示部20は、利用者USRの視線の方向である中心領域CSAに、高解像度の、しかも立体視される画像を表示し、パネル型表示部50は、この中心領域CSAと相補的な関係にある周辺領域BSAに低解像度の画像を表示する。中心領域CSAは利用者USRの視線の方向に追従して設定され、その領域の画像はこれに追従して更新される。従って、利用者USRの中心視野に形成される画像は常に高解像度に保たれるので、利用者USRとしては、仮想空間の鮮明な画像を見続けることができ、広い視野に亘って歪みや不連続な箇所が気にならず、自然な立体視が可能となる。その結果、仮想空間への高い没入感を継続的に味わうことができ、大きな臨場感を感じることができる。

【0042】
また、本実施形態の画像表示装置によれば、利用者USRの視野の大部分を、網膜走査型表示部20が表示する画像とパネル型表示部50に表示された画像で覆い、しかも網膜走査型表示部20により利用者USRが視認する画像が、利用者USRの視線の方向の変化に応じて変化すると、パネル型表示部50により表示される相補的な画像も変化する。このため、網膜走査型表示部20によって利用者の網膜に直接表示されている画像と、利用者が見るパネル型表示部50に表示されている画像との間に生じる違和感も抑制される。また、網膜走査型表示部20とパネル型表示部50とにより大量あるいは複雑な情報を提示することができる。

【0043】
しかも、利用者USRにとっての画像視認距離は、網膜走査型表示部20により表示される中心領域CSAの画像によって決定されるから、パネル型表示部50と利用者USRとの距離を大きくする必要はない。パネル型表示部50によって表示されている画像は、利用者USRからすれば、常に周辺領域BSAとしての画像であり、パネル型表示部50までの距離が短くて焦点が合っていなくても、没入感を妨げることはない。したがって、利用者USRからパネル型表示部50まで距離としては、数十センチあれば足り、パネル型表示部50も含めた全体構成の小型化を図ることができる。

【0044】
しかも、網膜走査型表示部20で表示する画像は、中心領域CSAの画像のみにできるので、周辺領域BSAを含んだ全画像を形成する場合と比較すると、画像出力装置60における高解像度の、かつ視差情報を含んだ画像の生成に要する時間を短縮することができる。また、網膜走査型表示部20自体の表示領域を中心領域CSAに合わせて小さくすることも可能なので、網膜走査型表示部20の光学エンジン41,42や反射部31,32などを小型化することができる。この結果、省資源や製造コストの低減などを図ることも可能である。

【0045】
パネル型表示部50により周辺領域BSAに表示される画像は、中心領域CSAに表示される画像とは相補的なものであり、かつ低解像度の画像である。従って、広い領域の画像の演算に要する時間を短縮することができる。しかも、このとき、図5に示したように、視線の移動量が大きくなければ、周辺領域BSAについて、画像の更新処理を行なわない。このため、演算処理を更に少なくすることができる。視線の移動量が小さいときは、周辺領域BSAの画像の変化は小さく、しかも人の視覚上の認識能力は中心以外では低いので、更新しなくても、利用者USRが違和感を覚えることはない。

【0046】
また、本実施形態の画像表示装置10で用いた網膜走査型表示部20は、シースルータイプなので、利用者USRは、網膜走査型表示部20の透過表示部21,22を透過して、パネル型表示部50に表示された画像を見ている。従って、利用者USRは、画像表示装置10が表示する影像の世界に没入できる一方で、自分の身体を含む周辺現実世界の視認はほとんど阻害されないか、全く阻害されない。自然な視覚経験が可能なだけでなく、例えば緊急事態などが生じて、利用者USRに何かを伝達しようとする人が視野に入れば、網膜走査型表示部20を介してこれを視認することは容易である。

【0047】
C.第2実施形態:
第1実施形態では、パネル型表示部として、表示面が平坦な液晶ディスプレイを用いた。これに対して、第2実施形態の画像表示装置10Aは、図8に示すように、第1実施形態で用いたものと同じ網膜走査型表示部20と表示面を曲面としたパネル型表示部50Aとを備える。こうした曲面のディスプレイとしては、例えば有機ELのように可撓性の発光面を形成できるものを利用して実現しても良いが、第2実施形態では、投写型の表示装置を用いた。図8に示した第2実施形態では、利用者USRは、網膜走査型表示部20を装着して、ドーム形状をしたパネル型表示部50Aの内部に位置する。この実施形態において、画像表示装置10の基本的な構成は、上記実施形態と同様であり、網膜走査型表示部20およびパネル型表示部50Aに表示すべき画像データを出力する画像出力装置と、画像出力装置が表示用に処理する元データである仮想空間データを記憶する外部記憶装置とが設けられている。また、網膜走査型表示部20も変わるところはない。パネル型表示部50Aについては、投写型であること、および表示面がドーム形状をしている点で、相違する。

【0048】
パネル型表示部50Aは、複数台の投写型表示装置PJ1,PJ2、・・を備え、画像出力装置60から出力される画像を、ドーム59の外側から投写する。ドーム59は、背面投射型のスクリーンであり、利用者USRは、投写型表示装置PJ1等により投影された画像を見ることができる。

【0049】
この第2実施形態でも、利用者USRの中心視野を含む中心領域CSAには、網膜走査型表示部20により高解像度の立体視用画像が利用者USRの左右眼EL,ERの網膜に形成され、パネル型表示部50Aにより低解像度の画像が、中心領域とは相補的な領域(周辺領域BSA)に形成される。このため、第1実施形態と同様の効果を奏する上、更にドーム59を用いていることから、利用者USRの全視野に近い領域を覆って画像を表示でき、利用者USRの没入感を高めることができる。しかも、利用者USRにとっての画像視認距離は、網膜走査型表示部20により表示される中心領域CSAの画像によって決定されるから、ドーム59と利用者USRとの距離を大きくする必要はない。パネル型表示部50Aによってドーム59に表示されている画像は、利用者USRからすれば、常に周辺領域BSAとしての画像であり、ドーム59までの距離が短くて焦点が合っていなくても、没入感を妨げることはない。したがって、利用者USRからドーム59まで距離としては、数十センチあれば足りる。こうしたドーム59の小型化を図れば、投写型表示装置PJ1,PJ2、・・の設置台数の低減や表示輝度などの表示能力の抑制などを図ることもでき、こうした点も含めて、装置全体の簡略化や小型化を図ることができる。

【0050】
D.第3実施形態:
次に本発明の第3実施形態について説明する。図9は、第3実施形態の画像表示装置10Bの概略構成を示す説明図である。この画像表示装置10Bは、図9に示したように、利用者USRの頭部に装着される網膜走査型表示部20と、パネル型表示装置50Bとを備える。第3実施形態でも、網膜走査型表示部20およびパネル型表示部50Bに表示すべき画像データを出力する画像出力装置と、画像出力装置が表示用に処理する元データである仮想空間データを記憶する外部記憶装置とが設けられていることは、第1,第2実施形態と同様である。

【0051】
パネル型表示部50Bは、利用者USRの頭部に、網膜走査型表示部20と共に設けられるプロジェクタ100と、球形のドーム58の内側に貼付された再帰性反射スクリーン110とから構成されている。再帰性反射スクリーン110は、表面に小さなガラスビーズを敷き詰めたスクリーンである。ガラスビーズは、屈折率と直径が、再帰正反射を起すように選択されている。こうしたガラスビーズを用いた再帰正反射材としては、露出レンズ型、封入レンズ型、カプセルレンズ型など、種々のものが知られている。本実施形態では、スクリーンをドーム58の内側に貼付することから、柔軟性の高い露出レンズ型の再帰正反射材を用いた。もとより、ドーム58と一体に製造するのであれば、露出レンズ型に限らず、封入レンズ型やカプセルレンズ型を用いることも可能である。あるいは、プリズム型の再帰正反射材を用いることも差し支えない。

【0052】
網膜走査型表示部20を用いて表示される画像は、第1画像であり、既述したように、利用者USRからするとその中心視野に対応する中心領域CSA(図3参照)の画像である。この画像は、利用者USRの視線の方向Aに常に表示される。図9では、この表示範囲を、範囲Bとして示した。もとより、範囲Bは、3次元的な範囲である。網膜走査型表示部20には、この中心視野に対応する中心領域CSAの画像以外は出力されないから、中心領域CSA以外には画像がなく、利用者USRからすれば、中心領域CSA以外は、シースルーの状態となっている。この中心領域CSA以外の領域には、プロジェクタ100から投影された第2画像としての画像が、再帰性反射スクリーン110に反射して、利用者USRの視野に入る。つまり周辺領域BSAの画像は、プロジェクタ100から投写された画像である。プロジェクタ100から投写される画像の範囲を、図9では、範囲Cとして示した。網膜走査型表示部20による画像と、プロジェクタ100による画像は重なっておらず、相補的な関係にある。したがって、利用者USRにとっては、網膜走査型表示部20に表示されている中心領域CSAの画像と、プロジェクタ100から投写され再帰性反射スクリーン110に反射して視認される周辺領域BSAの画像とが、一続きの画像として、矛盾や重複のない画像として視認される。

【0053】
第3実施形態の画像表示装置10Bは、パネル型表示装置50Bとして、再帰性反射スクリーン110を用いているので、プロジェクタ100から投写された光の大部分が、利用者USRの頭部周辺に戻ってくる。従って、出力の小さなプロジェクタでも十分な明るさの第2画像の形成を、パネル型表示装置50Bとして形成することができる。しかも、再帰性反射スクリーン110に画像を投写するプロジェクタ100を利用者USRの頭部に設けているので、利用者USRの頭部位置が移動しても、反射光は効率よくUSRの頭部周辺に集る。従って、利用者USRが動いても、アライメントなどを修正する必要がない。

【0054】
また、第3実施形態では、画像を表示する網膜走査型表示部20およびパネル型表示部50Bのプロジェクタ100を、共に利用者USRの頭部にまとめているので、画像出力装置60等との接続、情報伝送や電源ラインなどの取り回しを、簡素なものにできる。ドーム58側は、再帰性反射スクリーン110を設置するのみでよく、ドーム58の移動や設置も容易である。また、網膜走査型表示部20とプロジェクタ100とが、共に利用者USRの頭部に集められているので、第1画像と第2画像の配置を整合させることも容易である。ドーム58の内側全面またはほぼ全面に再帰性反射スクリーン110を設置すれば、利用者USRが、天頂から足下まで、ほぼ360度に亘って、第1および第2画像を視認できるようにすることも可能である。360度の視認を可能とするのに、プロジェクタ100の台数を少なくでき、場合によっては、1台で済ませることができる。

【0055】
プロジェクタ100は1台ではなく、複数のプロジェクタ100を配置して、第2画像が表示される範囲Cを拡げても差し支えない。この場合は、拡げた範囲Cに応じて、ドーム58内の再帰性反射スクリーン110もドーム58内に貼付しておけばよい。プロジェクタ100は、網膜走査型表示部20と一体に設けてもよいし、網膜走査型表示部20とは別に、帽子形状のアダプタやベルトなどの補装具を用いるなどして、利用者USRの頭部に設けるものとしてもよい。頭部の近くであれば、肩の上に搭載するようにしてもよい。プロジェクタ100が小型になれば、網膜走査型表示部20のセンタに、例えば第1実施形態で説明したビデオカメラ24と並べて配置してもよい。また、テンプル28,29に内蔵してもよい。

【0056】
もとより、プロジェクタ100を利用者USRとは別置きにすることも可能である。この場合は、利用者USRの頭部の動きをビデオカメラなどで検出して、頭部の動きに合せて、3次元的にプロジェクタ100から画像の投影方向を制御する機構を設ければよい。この場合、プロジェクタ100は、直接再帰性反射スクリーン110に向けて第2画像を投写してもよいし、利用者USRの頭部に設けた凸面鏡に向けて、第2画像を投写してもよい。後者の場合、凸面鏡で反射した画像が、更に再帰性反射スクリーン110に向けて投写される。こうすれば、投写方向に光が反射してくるという再帰性反射スクリーン110の特性を十分に活かすことができ、しかも利用者USRの頭部に搭載する部材の重量を低減することができる。

【0057】
更に第3実施形態では、利用者USRが視認する第1画像は網膜走査型表示部20により形成され、第2画像はUSR毎に用意されたプロジェクタ100より投写され、再帰性反射スクリーン110に反射してほぼ全てが利用者USRの頭部付近に戻ってくるから、一つのドーム58を複数の利用者USRが同時に使用することも可能である。再帰性反射スクリーン110の特性により、少し離れた場所にいる利用者USRの頭部のプロジェクタ100ら投写された画像は、隣の利用者USRにはほとんど視認されないからである。

【0058】
E.その他の実施形態:
上記実施形態の他、利用者に対して、所定の画像を視認可能に表示する画像表示装置として、以下の構成を採用することができる。この画像表示装置は、利用者の頭部に装着され、利用者の両眼の網膜位置にレーザ光を走査することにより、利用者の両眼の位置から第1距離だけ隔たった位置に合焦する第1画像を表示する網膜走査型表示部と;網膜走査型表示部を装着した利用者の瞳孔位置および視線の方向を検出する視線検出部と、利用者から、第1距離より短い第2距離だけ隔たった位置に設けられたパネルに、第1画像とは異なる第2画像を表示するパネル型表示部と、所定の画像から、検出した利用者の視線の方向に存在すると想定される部分を、第1画像として網膜走査型表示部に出力すると共に、所定の画像に対して第1画像と相補的な画像を、第2画像としてパネル型表示部に出力する画像出力部とを備えるものとして実現でき、更に以下の構成を採用してもよい。

【0059】
例えば、この網膜走査型表示部は、利用者の少なくとも網膜中心窩を含む領域に第1画像を投映するものとしてもよい。網膜中心窩を含む領域は、上述のように、人の視覚においても最も解像度が高い範囲であり、ここに第1画像を表示することで、利用者に第1画像を明確に認識させることができる。

【0060】
あるいはこうした画像表示装置において、視線検出部は、網膜走査型表示部を装着した利用者の頭部の少なくともパネル型表示部に対する位置および方向を検出する第1検出部と、網膜走査型表示部を装着した利用者の頭部を基準とした瞳孔位置および視線の方向を検出する第2検出部とを備えるものとしてもよい。この画像表示装置は、第1検出部と第2検出部とにより、網膜走査型表示部を装着した利用者の瞳孔位置および視線の方向を検出することができる。

【0061】
ここで、第1検出部は、以下の少なくとも1つの構成を採用することができる。つまり、第1検出部は、
[1]網膜走査型表示部を装着した利用者に備えられ。利用者の位置および方向を検出する少なくとも3軸のジャイロセンサ、
[2]パネル型表示部に対する位置が既知の、かつ一直線上に存在しない3個以上のマーカの位置を読み取ることで、網膜走査型表示部を装着した利用者の位置および方向を検出する光学式読取装置、および
[3]パネル型表示部に対する位置が既知のコイルが発生する磁場の強さを読み取るピックアップコイルであって、直交して配置された3個のピックアップコイルによって、網膜走査型表示部を装着した利用者の頭部の位置および方向を読み取る磁気式読取装置
のうちに少なくとも一つとすることができる。

【0062】
他方、第2検出部は、
[4]網膜走査型表示部に設けられ、利用者の眼球を撮像可能な位置に設けられたアイカメラ、
[5]利用者の眼球の表面を光学的にスキャンするセンサ
のうちの少なくとも一つとすることができる。第1,第2検出部について、いずれを採用するかは、コストや基材の大きさ、制御部との信号のやり取りの容易さなど、設計および製造上の要求に従って定めればよい。あるいはこれ以外の構成を採用しても差し支えない。

【0063】
こうした画像表示装置において、パネル型表示部は、利用者から見た画角が、水平方向で60度以上180度以下、垂直方向で45度以上120度以下となるパネルサイズを備えるものとしてもよい。この角度範囲であれば、パネル型表示部の大きさを抑えて、利用者に十分な没入感を提供できる。

【0064】
更に、こうした画像表示装置において、画像出力部は、網膜走査型表示部において利用者の両眼にレーザ光を用いて表示する第1画像を、両眼に視差を生じさせる立体視用の画像とすることができる。この場合、利用者は網膜走査型表示部を用いて立体視ができ、しかもパネル型表示部に表示する画像は立体視用の画像とする必要はない。このため、立体視用の画像の生成と広い範囲に相補的な画像を表示するという要請を両立することができる。もとより、第1画像は、立体視用の画像以外の画像としてもよい。

【0065】
こうした画像表示装置において、画像出力部は、パネル型表示部に表示させる第2画像について、解像度、明度、彩度、鮮鋭度(画像のぼけていない程度)のうちの少なくとも一つのパラメータを、網膜走査型表示部に表示させる第1画像についてのパラメータよりも、小さい画像として出力するものとしてもよい。こうすれば、第2画像を形成する時間や処理の負荷を低減することができる。

【0066】
上記の画像表示装置において、画像出力部は、第1画像と第2画像との境界では、第1画像側から第2画像側に向けて、上記のパラメータを漸次変化させるものとしてもよい。こうすれば、第1画像と第2画像との境界での画像の変化が滑らかなものとなる。

【0067】
こうした画像表示装置において、所定の空間を表現する3次元データを記憶する記憶部と、利用者の所定の空間内での位置および視線方向の少なくとも一方を変更する操作部と、利用者の位置および視線方向の少なくとも一方の変更に伴って、利用者が所定の空間で視認すると想定される映像を、3次元データから、所定の画像として生成する画像生成部と、を備えるものとしてもよい。こうすれば、利用者はあたかも所定の空間の内部で、その空間内の事物を見ているように、第1画像と第2画像とを視認することができる。

【0068】
更に、こうした画像表示装置において、所定の仮想空間にあるオブジェクト群を表現する3次元データを記憶する記憶部と、利用者が存在する実空間の座標系と所定の仮想空間の座標系との対応を設定する座標系対応設定部と、検出された瞳孔位置および視線方向を、設定された座標系対応に従って仮想空間の座標系における瞳孔位置及び視線方向に変換し、仮想空間における利用者が所定の仮想空間で視認すると想定される映像を、3次元データから、所定の画像として生成する画像生成部と、を備えるものとしてもよい。こうすれば、画像表示装置によって利用者は、仮想空間にあるオブジェクト群を含み、利用者が前記所定の仮想空間で視認すると想定される映像を視認することができる。したがってゲームなど、仮想空間を想定して行なわれる映像表示に対して利用者は高い没入感を持つことができる。

【0069】
こうした画像表示装置は、上述したように、ゲーム機や娯楽シミュレータなどに用い、仮想的なゲームの世界などの映像や観光地、ミュージアムなどの映像を利用者に見せるといった使い方が可能である。また業務用のシミュレータにも用いることができる。業務用のシミュレータとしては、都市開発における都市景観の確認や、規模の大小を問わず構築物の内部や外部の視認、通常肉眼では監察できないような分子構造、例えばカーボンナノチューブやタンパク質などの3次元構造のデータを可視化するなどの使い方も可能である。また、プラントや各種インフラなどの状態をモニタする大型モニタディスプレイやこれらの設備等に対する遠隔操作の際のモニタディスプレイとしても利用可能である。この場合、既設の液晶ディスプレイなどを本発明のパネル型表示部として利用し、網膜走査型表示部と組み合わせて画像表示装置を構成すれば、既存設備の有効利用を図ることができる。

【0070】
以上本発明の実施形態について説明したが、この発明は、これらの実施形態に限定されず、種々の形態で実施可能である。本明細書において、必須であると記載されていない構成は、これを削除した形態で、1つの発明として成り立ち得る。また、ハードウェアとして説明した構成の一部は、ソフトウェアとして実現可能である。他方、ソフトウェアにより実現されている機能や構成の少なくとも一部は、ハードウェアによって実現可能である。
【産業上の利用分野】
【0071】
本発明は、画像処理装置やゲーム機、仮想現実の表示装置などに利用可能である。
【符号の説明】
【0072】
10…画像表示装置
20…網膜走査型表示部
21,22…透過表示部
24…ビデオカメラ
26…アイカメラ
28,29…テンプル
31,32…反射部
41,42…光学エンジン
50,50A…パネル型表示部
51~53…マーカ
59…ドーム
60…画像出力装置
61…CPU
62…メモリ
65…GPU
67…操作部
71…網膜走査型表示部インタフェース
72…パネル型表示部インタフェース
75…ストレージインタフェース
90…外部記憶装置
BSA…周辺領域
CSA…中心領域
EL,ER…左右眼
USR…利用者
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8