TOP > 国内特許検索 > 立体画像を表示する装置および方法 > 明細書

明細書 :立体画像を表示する装置および方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3425416号 (P3425416)
公開番号 特開2002-077946 (P2002-077946A)
登録日 平成15年5月2日(2003.5.2)
発行日 平成15年7月14日(2003.7.14)
公開日 平成14年3月15日(2002.3.15)
発明の名称または考案の名称 立体画像を表示する装置および方法
国際特許分類 H04N 13/04      
G02B 27/26      
FI H04N 13/04
G02B 27/26
請求項の数または発明の数 4
全頁数 7
出願番号 特願2000-266656 (P2000-266656)
出願日 平成12年9月4日(2000.9.4)
審査請求日 平成12年9月4日(2000.9.4)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人通信総合研究所
【識別番号】599071636
【氏名又は名称】掛谷 英紀
発明者または考案者 【氏名】掛谷 英紀
個別代理人の代理人 【識別番号】100082669、【弁理士】、【氏名又は名称】福田 賢三 (外2名)
審査官 【審査官】伊東 和重
参考文献・文献 特開 平8-307907(JP,A)
特開2000-105351(JP,A)
特開 平8-76057(JP,A)
特開2001-218231(JP,A)
調査した分野 H04N 13/00
G02B 27/22
特許請求の範囲 【請求項1】
第1の画像と第2の画像とを表示する単数あるいは複数の画像面からなる映像表示装置と、集光系と、第1の画像と第2の画像とを分離する画像分離装置と、結像系と、映像鑑賞者の眼球の位置情報を取得できる位置検出手段と、を備え、該映像表示装置より発せられた光情報が映像鑑賞者に達する光路において、該映像表示装置、該集光系、該画像分離装置、該結像系、の順で配置され、該映像表示装置の画素の実像が、該結像系と該映像鑑賞者との間に結ばれる構成と、映像鑑賞者の左右両眼球の位置情報により該画像表示装置の表示内容を変える構成と、を備えることを特徴とする立体画像を表示する装置。

【請求項2】
第1の表示周期を持つ第1の画像を表示する画面と、第1の表示周期と等しい第2の表示周期をもつ第2の画像を表示する画面を含み、第1の画像と第2の画像とを予め決められた周期で表示する単数あるいは複数の画面を持った映像表示装置と、集光系と、第1の画像と第2画像とを分離する画像分離装置と、結像系と、映像鑑賞者の眼球の位置情報を取得できる位置検出手段と、を備え、該映像表示装置より発せられた光情報が映像鑑賞者に達する光路において、該映像表示装置、該集光系、該画像分離装置、該結像系、の順で配置され、該映像表示装置の画素の実像が、該結像系と該映像鑑賞者との間に結ばれる構成と、映像鑑賞者の左右両眼球の位置情報により該画像表示装置の表示内容を変える構成と、を備えることを特徴とする立体画像を表示する装置。

【請求項3】
請求項1あるいは2に記載の立体画像を表示する装置において、画像分離装置は、映像鑑賞者の眼球の位置の移動に連動して、光路を選択する構成を有することを特徴とする立体画像を表示する装置。

【請求項4】
第1の画像と第2の画像とを表示する単数あるいは複数の画像面からなる映像表示装置と、集光系と、第1の画像と第2の画像とを分離する画像分離装置と、結像系と、映像鑑賞者の眼球の位置情報を取得できる位置検出手段と、を備え、該映像表示装置より発せられた光情報が映像鑑賞者に達する光路において、該映像表示装置、該集光系、該画像分離装置、該結像系、の順で配置され、該映像表示装置の画素の実像が、該結像系と該映像鑑賞者との間に結ばれる構成と、映像鑑賞者の左右両眼球の位置情報により該画像表示装置の表示内容を変える構成と、を備えることを特徴とする立体画像を表示する装置において、
該映像観賞者の右眼に提示される該映像表示装置上の画像は、提示される三次元映像上の画素の集合Xに含まれるそれぞれの画素x∈Xについて、xと右眼の三次元位置erとを結ぶ線分x‐erを含む光路が該映像表示装置の表示面と交差する点に予め対応づけられた点に、画素xに対応する輝度値で描画され、該映像観賞者の左眼に提示される該映像表示装置上の画像は、提示される三次元映像上の点の集合Xに含まれるそれぞれの画素x∈Xについて、xと左眼の三次元位置elとを結ぶ線分x‐elを含む光路が該映像表示装置の表示面と交差する点に予め対応づけられた点に、画素xに対応する輝度値で描画されることを特徴とする立体画像を表示する方法。
発明の詳細な説明 【発明の詳細な説明】

【0001】

【発明の属する技術分野】本発明は、立体眼鏡装置の着用を必要としない立体画像を表示する装置および方法に関するものである。

【0002】

【従来の技術】図2は、立体眼鏡装置30を用いた既に知られている立体ディスプレイの模式図である。この装置の場合、左眼用の画像と、右目用の画像を交互に表示し、しかもその表示画像は、表示画面11に密着した偏光フィルタ10によってお互いに直交する、偏光面を持っている。その画像の映像鑑賞者3は、偏光選択性を持った眼鏡をかけて観察することによって、左右の眼にはそれぞれ独立した画像を見ることができる。この特性を用いて、視差のある画像を提示することにより、立体映像を表示するものである。この表示装置で、遠方の景色を表示する場合は、映像鑑賞者の目の焦点位置は表示画面上にあるが、手元の景色を表示する場合にも、映像鑑賞者の目の焦点位置は表示画面上にあることになり、映像鑑賞者の視差と焦点との間に矛盾が生じることになる。図2の矢印40は、最も近くにある画像を表示する時の視差に対応する距離を示し、矢印41は、視差に対応する像の位置と眼の焦点の対応する位置の差をしめしており、この差が大きさが、映像鑑賞者3の視差と焦点との間に生じる矛盾である。

【0003】
また、図3に示す結像系を用いた立体ディスプレイの場合は、上記の図2の構成に加えて、映像鑑賞者と表示画面の間にレンズ系6を設けて、レンズ系6と映像鑑賞者3との間に、表示画面の実像を実像面14に作るものである。この構成では、映像鑑賞者の視差と焦点との間に矛盾がまだ残っているが、図2の構成の立体ディスプレイに比べて、その矛盾は、緩和されている。この緩和は、図3に示す様に、実像の位置が、立体画像の提示領域の中にあるためである。

【0004】
また、立体眼鏡装置の着用を必要としない立体ディスプレイには、立体から発生する光そのものを再現するものと、両眼に別々の画像を提示する仕組みを組み込むものとがある。前者にはホログラムや、ボリュームディスプレイなどがあるが、これらの方法は膨大な量の画像データを処理する機構、及びそれを表示する複雑なデバイスが必要となる等の問題を有する。そのため高解像度の画像表示、動画のリアルタイム表示等の応用は現時点では困難である。一方、後者には、レンチキュラレンズ、イメージスプリッタ、あるいは選択的発光を行うバックライト等を利用する方法がある。

【0005】
両眼視差画像を提示する立体ディスプレイの場合、立体画像とインタラクティブに作業するには、任意視点について視覚情報の座標系と物理情報の座標系が一致する必要がある。これは、映像鑑賞者の眼の三次元位置を計測し、その視点にあわせた映像を提示することによって実現される。しかしながら、この方法では、映像鑑賞者の眼の焦点が映像表示装置の画面に合うため、映像表示装置より大きく手前に飛び出した地点に立体像を近くさせるのが難しいという問題がある。これは、眼から近い距離の物体の知覚においては、眼の焦点情報が視差同様重要な情報として考慮されるという生理学的特質によるものである。この生理学的特質のため、視差の大きすぎる画像を使って映像鑑賞者の手元に画像を表示しようとしても、極度の眼精疲労や酔い、さらには立体像としての知覚が不可能になる等の結果がもたらされる。また、映像鑑賞者が自らの体の一部を使って直接インタラクティブに作業するアプリケーションにおいては、立体像はこの近距離の範囲に提示する必要があると同時に、映像表示装置は映像鑑賞者の運動に対して物理的障害にならないように配置する必要もあるため、映像表示装置自体を近づけることによる解決も図ることができない。このように、従来の両眼視差を利用する立体ディスプレイでは、この様なアプリケーションへの応用が充分達成できなかった。

【0006】
本発明は、映像表示装置と映像鑑賞者の間には、画像分離装置と結像系とを配置したものである。これと類似の配置を持つ従来例として、特開平8-307907号公報で開示された投写型立体画像表示装置がある。ここで、開示された構成は、左眼用および右眼用画像光を相互間で偏光角を異ならせて拡散板上に投写し、該拡散板上にそれぞれ左眼用および右眼用画像を表示する画像表示手段と、該画像表示手段に表示された前記左眼用および右眼用画像に基づくそれぞれの画像光が2次元平面上の相互に重複しないそれぞれの領域を透過するようにそれぞれの光路を選択する光路選択手段と、前記それぞれの領域を透過する以前もしくは透過した後の前記左眼用および右眼用画像光の偏光角を同一偏光角にする偏光角変位手段と、それぞれ前記光路選択手段および前記偏光角変位手段により前記それぞれの領域を透過しかつ偏光角が同一にされた前記左眼用および右眼用画像光を、それぞれ左眼および右眼の位置に集光させる集光系と、前記左眼および右眼の位置を検出する半顔検出手段と、該半顔検出手段による検出結果に基づいて前記光路選択手段の前記左眼用および右眼用画像光がそれぞれ透過する領域を制御する透過領域制御手段とを具えていることを特徴としている。この投写型立体画像表示装置は立体眼鏡装置を使わずに両眼に異なる画像を提示することのみを目的としており、光を分離するための顔の右半分と左半分を同定する装置を有するものの、両眼の三次元位置の測定システムを有していない。

【0007】
そのため、視点位置に応じて画像を変える仕組みも備えておらず、立体像の三次元的位置を正確に把握できないため、映像鑑賞者が立体映像とインタラクティブに作業する用途には使えない。更に、この光学系では映像表示面の実像面が映像鑑賞者とレンズの間に生成されており、その実像面が観測点の三次元的位置によって変形するという問題が生じるが、両眼の三次元位置の同定が不可能であり、この問題についても対策を講じることができない。そのため、通常の三次元ディスプレイとしての利用においても、視点位置による画像の更新を行わない三次元ディスプレイ一般における違和感に加え、実像面が変形することにより見ている画面自体が変形することによる違和感も相乗されることになる。

【0008】
しかし、本発明では、集光系と映像鑑賞者との間に実像を結び、映像表示装置に表示する映像は、映像鑑賞者の両眼の位置情報により修正を受ける点において異なっており、上記した発明とは異なるものである。

【0009】

【発明が解決しようとする課題】従来の立体眼鏡装置の着用を必要としない立体画像を表示する方法および装置では、立体から発生する光そのものを再現するものでは膨大な量の画像データを処理する機構、及びそれを表示する複雑なデバイスが必要となる等の問題を有し、また、両眼に別々の画像を提示する仕組みを組み込むものでは、画面よりも大きく手前に飛び出した地点に立体像を知覚させることは難しい。

【0010】
この発明は上記の問題点を鑑み、映像鑑賞者が眼鏡装置を装着することなく、装置の大型化を避けながら、手元に立体像を知覚できる立体画像を表示する装置および方法を、提供することを目的とする。

【0011】

【課題を解決するための手段】上記目的を達成するために、請求項1に記載の立体画像を表示する装置は、第1の画像と第2の画像とを表示する単数あるいは複数の画像面からなる映像表示装置と、集光系と、第1の画像と第2の画像とを分離する画像分離装置と、結像系と、映像鑑賞者の眼球の位置情報を取得できる位置検出手段と、を備え、該映像表示装置より発せられた光情報が映像鑑賞者に達する光路において、該映像表示装置、該集光系、該画像分離装置、該結像系、の順で配置され、該映像表示装置の画素の実像が、該結像系と該映像鑑賞者との間に結ばれる構成と、映像鑑賞者の左右両眼球の位置情報により該画像表示装置の表示内容を変える構成と、を備えることを特徴としている。

【0012】
また、請求項2に記載の立体画像を表示する装置は、ひとつの映像表示装置で立体画像を表示できる様にするために、第1の表示周期を持つ第1の画像を表示する画面と、第1の表示周期と等しい第2の表示周期をもつ第2の画像を表示する画面を含み、第1の画像と第2の画像とを予め決められた周期で表示する単数あるいは複数の画面を持った映像表示装置と、集光系と、第1の画像と第2画像とを分離する画像分離装置と、結像系と、映像鑑賞者の眼球の位置情報を取得できる位置検出手段と、を備え、該映像表示装置より発せられた光情報が映像鑑賞者に達する光路において、該映像表示装置、該集光系、該画像分離装置、該結像系、の順で配置され、該映像表示装置の画素の実像が、該結像系と該映像鑑賞者との間に結ばれる構成と、映像鑑賞者の左右両眼球の位置情報により該画像表示装置の表示内容を変える構成と、を備えることを特徴としている。

【0013】
また、請求項3に記載の立体画像を表示する装置は、鑑賞者が動いても立体画像を鑑賞することができる様にするために、上記した請求項1あるいは2に記載の発明の構成に加えて、画像分離装置は、映像鑑賞者の眼球の位置の移動に連動して、光路を選択する構成を有することを特徴としている。

【0014】
また、請求項4に記載の発明は、立体画像を表示する方法であって、第1の画像と第2の画像とを表示する単数あるいは複数の画像面からなる映像表示装置と、集光系と、第1の画像と第2の画像とを分離する画像分離装置と、結像系と、映像鑑賞者の眼球の位置情報を取得できる位置検出手段と、を備え、該映像表示装置より発せられた光情報が映像鑑賞者に達する光路において、該映像表示装置、該集光系、該画像分離装置、該結像系、の順で配置され、該映像表示装置の画素の実像が、該結像系と該映像鑑賞者との間に結ばれる構成と、映像鑑賞者の左右両眼球の位置情報により該画像表示装置の表示内容を変える構成と、を備えることを特徴とする立体画像を表示する装置において、該映像観賞者の右眼に提示される該映像表示装置上の画像は、提示される三次元映像上の画素の集合Xに含まれるそれぞれの画素x∈Xについて、xと右眼の三次元位置erとを結ぶ線分x‐erを含む光路が該映像表示装置の表示面と交差する点に予め対応づけられた点に、画素xに対応する輝度値で描画され、該映像観賞者の左眼に提示される該映像表示装置上の画像は、提示される三次元映像上の点の集合Xに含まれるそれぞれの画素x∈Xについて、xと左眼の三次元位置elとを結ぶ線分x‐elを含む光路が該映像表示装置の表示面と交差する点に予め対応づけられた点に、画素xに対応する輝度値で描画されることを特徴としている。

【0015】

【発明の実施の形態】まず、本発明の概要を図3~図7を用いて説明する。図3に示す装置は、視差を持つ2種類の画像を表示する映像表示装置12、その二種類の画像を選択的に透過する画像分離装置9、更に結像系の光学装置6を順に配置し、それに映像鑑賞者3の左眼と右眼の位置を検出する装置2を組み合わせる構成をとり、映像鑑賞者3の左眼と右眼の位置の移動に合せて映像表示装置12の表示画像を変化せしめ、また、画像の選択的透過装置を制御し、映像鑑賞者3の左右両眼に視差を含む異なる画像を提示するとともに、結像系を利用して映像鑑賞者の手元の実像面14に実像を生成することによって、映像鑑賞者3の手元に奥行きを持つ立体画像を提示するものである。

【0016】
図3に示した立体ディスプレイの欠点としては、映像映像鑑賞者の可動範囲を大きく取るためには、表示画面11のサイズをそれに応じて大きくとる必要があることである。

【0017】
そこで、本発明では、図4に示す様に、左目用8と右目用7の画像選択部9と映像表示装置12の間に、集光系17を入れて、映像表示装置12の必要なサイズの大型化を抑制するものである。ここで、映像表示装置上の画像提示は、図5に示す様に、提示する三次元像の任意の点が、該三次元像上の点と映像鑑賞者の左あるいは右の眼球とを結んだ線分を含む光路が映像表示装置の表示面と交わる点に概略描画されるように映像配信および制御用計算機により制御するものである。

【0018】
以下に、本発明の実施形態を、図1を用いて説明する。図1は、可搬型の立体画像を表示する装置の側面の断面図(a)と正面図(b)を示している。図1に示す装置の構成は、第1の画像と第2の画像を交互に表示する表示装置10から生じた光は、偏光スクリーン11と、この表示装置10の映像を反射する第1の反射板と15、第1の集光系17としてのフレネルレンズと、映像鑑賞者3の位置に合わせてその位置を調整可能なXYテーブルに設置された画像分離装置9と、第2の反射板16と、第1の結像系6としての一対のフレネルレンズとを通じて映像鑑賞者3に提示される。

【0019】
図1における表示装置10は、CRTディスプレイで、サイズは、縦:横=3:4の方形で対角は約50cmである。この映像表示装置10では、二種類の画像を提示する。二種類の画像は、偏光スクリーンにより右眼様と左目用途に分離される。例えば、第1の画像には縦の、第2の画像には横の偏光を用いる。左眼用と右眼用との画像を交互に同一の表示装置で表示し、それぞれ60Hzずつ都合120Hzで表示される画像として映像表示装置12が表示することによって二種類の画像を提示するものである。偏光スクリーン10は、映像表示装置12の画像に同期して動作する。また、第1の反射板15は、光路を変えるためのもので、装置全体のサイズを小さくするためのものであるり、この反射板を用いない構成も可能であるが、この場合、CRTディスプレイを使用する時は容積サイズが約2割大きくなる。また、集光系17は、実効的に映像表示面を拡大し、これを用いることにより、映像鑑賞者の位置に関する自由度を改善するためのものである。この集光系17としては、縦×横=55cm×65cm,焦点距離=80cmのフレネルレンズを用いている。画像分離装置9は、2種類の変更特性の一方のみを透過する偏光フィルタと、もう一方のみを透過する偏光フィルタからなる。映像表示装置と映像鑑賞者を結ぶ光路が集約される場所に設置され、映像鑑賞者の視点の位置によってその位置を制御する必要がある。そのために、頭の位置、姿勢を測定することで視点の位置をトラッキングし、その視点に対応する場所に画像分離装置9を追従させる。この追従機構は、サーボモータを使用した方法で、XYレコーダなどに使われる良く知られた方法である。これにより、映像鑑賞者の両眼に常に別々の画像を投影することができる。この画像分離装置は2~5層の複数画素を有する液晶シャッタ装置に置き換える事が可能であり、その場合は、物理的駆動の必要がない。さらに、第2の反射板16は、光路を変えるためのもので、装置全体のサイズを小さくするためのものである。また、結像系6は、映像鑑賞者の前方に実像を提示するためのもので、縦×横=55cm×65cm,焦点距離=80cmの2枚のフレネルレンズの平面側を向かい合わせに用いたものである。ここで、フレネルレンズに限定する理由は特になく、通常の球面レンズや非球面レンズも用いることができる。結像系6と映像鑑賞者3との間隔は可変であり80~140cmである。

【0020】
また、映像鑑賞者3の視点の位置を測定する方法は、傾斜磁場と磁気センサ2を組み合わせた良く知られた方法である。この測定法では、位置情報と方位情報が得られるので、実質的に両眼の位置情報を得ることになる。

【0021】
表示装置12に表示される画像は、映像観賞者3の両眼の位置情報を元に、三次元空間を各眼の位置から観測した時に得られる画像が実像面に表示されるように計算して作成された画像である。この計算は、具体的に次のように実行することができる。まず、映像観賞者3の右眼に提示する表示装置12上の画像は、提示する三次元映像上の画素の集合Xに含まれる全ての画素x∈Xについて、xと右眼の三次元位置erとを結ぶ線分x‐erを含む光路が表示装置の表示面11と概略交差する点に、画素xに対応する輝度値で描画を行う。映像観賞者3の左眼に提示する表示装置12上の画像は、提示する三次元映像上の点の集合Xに含まれる全ての画素x∈Xについて,xと左眼の三次元位値elとを結ぶ線分x‐elを含む光路が表示装置の表示面11と概略交差する点に、画素xに対応する輝度値で描画を行う。ここで、光路の計算は、レンズの曲率と屈折率をもとに三角関数を使って求めるという既に良く知られた方法で行うことができる。

【0022】
上記の計算を具体例で示すと図5の様になる。例えば、三次元空間上の3点α、β、γを描画する場合、線分、α‐er、β‐er、γ‐erを含む光路が表示装置の表示面11と交差する点ar、br、crに点α、β、γに対応する輝度値で右眼用の画像の描画を行い、α‐er、β‐er、γ‐erを含む光路が表示装置の表示面11と交差する点ar、br、crに点α、β、γに対応する輝度値で右眼用の画像の描画を行う。

【0023】
三次元空間上の点xの座標ベクトルxから、その点xと眼の位置e(座標ベクトルe=(er、el))を結ぶ線分を含む光路が表示装置12と交わる点yの座標yを求める写像y=f(x、e)は一般に非線型であるため、この写像を実時間で実行することは困難であったが、光学系のパラメータを適切に選択すると、写像fは線型写像と正射影の組み合わせで近似することが可能であり、その場合は、現在市販されている計算機で、実時間の描画が容易に実現できる。

【0024】

【発明の効果】この発明は上記した構成からなるので、以下に説明するような効果を奏することができる。

【0025】
請求項1に記載の発明では、立体画像を表示する装置を小型にまとめることができて、持ち運びに便利になった。

【0026】
請求項2に記載の発明では、映像表示装置が1つで済むようになったので、立体画像を表示する装置を軽量にすることができた。

【0027】
さらに、請求項3に記載の発明では、請求項1あるいは2に記載の発明による効果に加え、映像鑑賞者が動いても、立体画像を鑑賞することができるようになった。

【0028】
さらに、請求項4記載の発明では、請求項1あるいは2に記載の発明による効果に加え、映像鑑賞者が動いても、映像が歪むことが無くなった。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4