TOP > 国内特許検索 > 立体映像呈示装置 > 明細書

明細書 :立体映像呈示装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4856775号 (P4856775)
公開番号 特開2011-024226 (P2011-024226A)
登録日 平成23年11月4日(2011.11.4)
発行日 平成24年1月18日(2012.1.18)
公開日 平成23年2月3日(2011.2.3)
発明の名称または考案の名称 立体映像呈示装置
国際特許分類 H04N  13/04        (2006.01)
G02B  27/22        (2006.01)
FI H04N 13/04
G02B 27/22
請求項の数または発明の数 4
全頁数 29
出願番号 特願2010-179066 (P2010-179066)
分割の表示 特願2005-022607 (P2005-022607)の分割、【原出願日】平成17年1月31日(2005.1.31)
出願日 平成22年8月9日(2010.8.9)
審査請求日 平成22年8月19日(2010.8.19)
特許権者または実用新案権者 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
発明者または考案者 【氏名】河合 隆史
個別代理人の代理人 【識別番号】100114638、【弁理士】、【氏名又は名称】中野 寛也
審査官 【審査官】伊東 和重
参考文献・文献 特開平02-079581(JP,A)
特開2002-199416(JP,A)
特表平10-501385(JP,A)
特開平09-073049(JP,A)
特開平08-051649(JP,A)
特開平07-240945(JP,A)
特開2002-325199(JP,A)
調査した分野 H04N 13/00
G02B 27/22
特許請求の範囲 【請求項1】
観察者の視界に同時に入る複数の画像呈示面を備え、
前記複数の画像呈示面のうちの少なくとも1つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、メガネを必要としない複数種類の画像呈示方式で切り替えて呈示可能な構成とされ、
この画像呈示方式切替用の画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
この観察者位置検出手段により検出された情報に基づき前記画像呈示方式切替用の画像呈示面に対する前記観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えてコンピュータ・グラフィクス画像を前記画像呈示方式切替用の画像呈示面に表示する処理を行う画像表示処理手段とを備え
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に最も近い区画領域に入ったときに、前記複数の画像呈示面の各画像呈示方式の中に、メガネを必要としない複数種類の立体映像呈示方式が含まれる状態となることを特徴とする立体映像呈示装置。
【請求項2】
請求項に記載の立体映像呈示装置において、
前記画像呈示方式切替用の画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示方式切替用の画像呈示面を駆動して前記画像呈示方式切替用の画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に2番目に近い区画領域に入ったときに、前記観察者位置検出手段により検出された情報に基づき前記画像呈示方式切替用の画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示方式切替用の画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記画像呈示方式切替用の画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に2番目に近い区画領域に入ったときに、前記画像呈示面角度検出手段による検出信号に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記仮想カメラの撮像面の傾斜角度パラメータを前記画像呈示方式切替用の画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を前記画像呈示方式切替用の画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項3】
請求項に記載の立体映像呈示装置において、
前記画像呈示方式切替用の画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示方式切替用の画像呈示面を駆動して前記画像呈示方式切替用の画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に2番目に近い区画領域に入ったときに、前記観察者位置検出手段により検出された情報に基づき前記画像呈示方式切替用の画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示方式切替用の画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に2番目に近い区画領域に入ったときに、前記観察者位置検出手段により検出された情報に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記仮想カメラの撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を前記画像呈示方式切替用の画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項4】
請求項2または3に記載の立体映像呈示装置において、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面から最も遠い区画領域に入っているときには、前記画像呈示方式切替用の画像呈示面は、鉛直方向に配置され、かつ、レンダリング処理を行うことにより生成された平面視のコンピュータ・グラフィクス画像を平面映像呈示方式で呈示し、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に3番目に近い区画領域に入ったときには、前記画像呈示方式切替用の画像呈示面は、鉛直方向に配置され、かつ、多眼式レンティキュラ方式で立体映像を呈示し、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に2番目に近い区画領域に入ったときには、前記画像呈示方式切替用の画像呈示面は、前記観察者の目または頭部の位置が近づくにつれて前記観察者から見て奥方向に倒れていき、かつ、多眼式レンティキュラ方式で立体映像を呈示し、
前記観察者の目または頭部の位置が前記画像呈示方式切替用の画像呈示面に最も近い区画領域に入ったときには、前記画像呈示方式切替用の画像呈示面は、水平方向に配置され、かつ、多眼式レンティキュラ方式で立体映像を呈示するとともに、前記複数の画像呈示面のうちの別の画像呈示面は、鉛直方向に配置され、かつ、2眼式レンティキュラ方式で立体映像を呈示する構成とされていることを特徴とする立体映像呈示装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、立体映像を呈示する立体映像呈示装置に係り、例えば、仏像等の文化財を立体的に表現して観察者に呈示する装置、観察者の動きや操作に応じて立体映像の呈示を行う双方向性を備えた娯楽装置、医学教育用の立体映像システム等に利用できる。
【背景技術】
【0002】
従来の立体映像は、観察者の前方に設置された画像呈示面に表示され、その前後に対象を再生することで奥行き感を演出していた。これに対し、画像呈示面を水平に設置し、その垂直方向に立体像を再生する水平表示型の立体映像は、通常の立体映像とは異なり、「高さ」の表現が可能である。本願の発明者らは、1993年より立体映像の水平表示に注目した研究開発を行い、特許出願(特許文献1参照)や医学教育分野への応用等(例えば、非特許文献1,2参照)に取り組んできた。
【0003】
ところで、画像呈示面を水平に、すなわち地面と平行に設置し、立体映像を斜め上方から観察する場合には、観察者の視点を想定し、呈示面全域の視差量の平均が0になるように調整したり、台形補正によりパースペクティブ(Perspective)を変化させる等、適正な立体像が再生されるように視差量を設定する必要がある。また、この視差量の設定方法、特にパースペクティブを変化させる方法については、国内外で幾つかの提案がなされている(特許文献2~6参照)。
【0004】
例えば、図12および図13に示すように、水平面900上に描かれた被写体としての正方形901について、左眼用および右眼用の実写カメラ902,903を用いて平行法により撮影を行うものとする。ここで、左右の実写カメラ902,903の各撮像面904,905は、図示の如く、通常、カメラの撮影方向(レンズの光軸方向)に対して直角に配置されているので、これらの撮像面904,905で撮像される画像は、これらの撮像面904,905と平行な面、つまりカメラの撮影方向に対して直角な投影面906に投影された状態の画像となり、被写体の存在する空間においては、水平面ではなく、斜めの面が投影面906となる。従って、正方形901は、図13に示すように、左眼用画像および右眼用画像において、高さが縮み、かつ、左右方向に歪んだ台形907,908の状態に写り、正方形901の遠方側の辺の左端のA点は、台形907,908のA1L点およびA1R点に写り、正方形901の中央のB点は、台形907,908のB1L点およびB1R点に写り、正方形901の近方側の辺の右端のC点は、台形907,908のC1L点およびC1R点に写る。
【0005】
一般に、平行法で撮影すると、図12および図13に示すように、左眼用画像では、被写体が右側に写り、右眼用画像では、同一の被写体が左側に写るので、平行法で撮影された左眼用画像および右眼用画像を何らシフトすることなく同一の画像呈示面上で表示すると、左右の視線が交差になり、立体像が全体的に画像呈示面の手前側(観察者側)に再生される。従って、平行法で撮影した場合には、左眼用画像および右眼用画像を同側方向にシフトし、台形907のB1L点と台形908のB1R点とを一致させ、画像呈示面の全体的な視差量が0になるように調整する。
【0006】
ところが、このように同側方向へのシフトで視差量を調整しても、撮影された左眼用画像および右眼用画像を、水平に設定された画像呈示面909で表示すると、これを観察者の左右の眼910で斜め上方から観察した場合には、実写カメラ902,903による撮影の場合と同様に、投影面911に投影された状態の画像が、観察者の眼910に映る。従って、観察者の左右の眼910に映る像は、図13に示すように、水平な画像呈示面909で表示された台形907,908が、より一層高さが縮み、かつ、より一層左右方向に歪んだ台形912,913の状態の像となる。
【0007】
図13において、台形907のB1L点と台形908のB1R点とを一致させたときの台形907のA1L点と台形908のA1R点との視差量SA1、および台形907のC1L点と台形908のC1R点との視差量SC1が、適正な立体像を再生するための視差量であるとすると、台形912のB2L点と台形913のB2R点とを一致させたときの台形912のA2L点と台形913のA2R点との視差量SA2は、適正な視差量SA1に比べて同側方向のずれ量が大きくなっているので、適正な立体像を再生した場合に比べ、A点は、画像呈示面の奥側に再生されることになる。一方、台形912のB2L点と台形913のB2R点とを一致させたときの台形912のC2L点と台形913のC2R点との視差量SC2は、適正な視差量SC1に比べて交差方向のずれ量が大きくなっているので、適正な立体像を再生した場合に比べ、C点は、画像呈示面の手前側に再生されることになる。
【0008】
以上のことを立体的な被写体で考えると、図14および図15のようになる。図14に示すように、水平面920から垂直に立ち上がった被写体である4角柱921を、左眼用および右眼用の実写カメラにより斜め上方から撮影すると、左右の実写カメラの各撮像面922,923で撮像された左眼用画像および右眼用画像には、図15に示すような高さの縮んだ4角柱924,925が写る。これは、前述した図13の台形907,908に相当するものである。そして、これらの高さの縮んだ4角柱924,925が写っている左眼用画像および右眼用画像を、水平に設置された画像呈示面で表示すると、前述した図13の場合と同様に、観察者の眼には、4角柱924,925の状態ではなく、4角柱924,925よりも、さらに高さの縮んだ4角柱が写る。これは、図13の台形912,913に相当するものである。従って、観察者の眼には、実際には水平面920から垂直に立ち上がっている4角柱921が、画像呈示面の奥側方向に倒れて見えることになる。
【0009】
これを解消するためには、カメラで撮像された左眼用画像および右眼用画像についてパースペクティブを無くす補正処理(台形を矩形にする演算処理)を行ってから、水平に設置された画像呈示面で表示する必要がある。このようなパースペクティブを無くす補正処理を行うと、図15に示すように、高さの縮んだ4角柱924,925は、引き伸ばされるとともに上側の部分ほど幅を拡げられ、4角柱926,927の状態となる。この補正処理後の画像に写っている4角柱926,927は、図14に示すように、4角柱921を水平面20に投影した4角柱928,929に相当するものである。つまり、水平に設置された画像呈示面で表示する左眼用画像および右眼用画像は、水平面20に投影された画像と同じ状態にすれば、適正な立体像が得られることになる。
【0010】
なお、実写カメラで撮影する場合のみならず、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行って生成されたコンピュータ・グラフィクス画像を、水平に設置された画像呈示面で表示する場合にも同様なことがいえる。
【0011】
また、以上においては、平行法による撮影の場合を説明したが、一般に、図16に示すように交差法による撮影を行うと、図17に示すようなキーストーン(Keystone)ひずみが生じることが知られている(非特許文献3、p.108参照)。図16において、左眼用および右眼用の実写カメラ940,941で交差法により被写体942を撮影すると、左右の実写カメラ940,941の各撮像面943,944で撮像される左眼用画像および右眼用画像は、これらの撮像面943,944と平行な面、すなわちカメラの光軸と直交する投影面945,946に投影される画像となる。従って、これらの左眼用画像および右眼用画像を、図16中の二点鎖線で示すような観察者の前方に配置した画像呈示面947で立面表示すると、図17に示すように画像呈示面947の周辺部で左右の画像がひずんで垂直方向のズレ(垂直視差という。)を生じ、視覚的な負担の原因となる。なお、ここでは、画像呈示面が立面であるものとして説明を行ったが、画像呈示面を水平とし、被写体を上方から撮影すると考えても同様であり、交差法による撮影を行えば、水平な画像呈示面で呈示される立体映像にはキーストーンひずみが生じる。
【0012】
一方、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはないのが現状である。例えば、立体映像の裸眼呈示で用いられるレンティキュラ方式(非特許文献3、p.76-77参照)では、2眼式では解像度は高くなるが視域が狭く、多眼式では視域は広くなるが解像度は低くなるという問題が生じる。
【0013】
また、水平表示を含めた複数の画像呈示面を利用する立体映像呈示方式としては、前面(正面)および左右の側面での立面表示並びに床面での水平表示を行うようにした、イリノイ大学で発明されたCAVE(Cave Automatic Virtual Environment)がその代表といえるが、画像呈示方式は、液晶シャッタメガネを用いた時分割方式のみで実施されている、すなわち全ての画像呈示面で同一の画像呈示方式が採用されているのが現状である。
【先行技術文献】
【0014】

【特許文献1】特開平7-261118号公報(請求項1、図1、要約)
【特許文献2】特開2004-178579号公報(請求項1、図8)
【特許文献3】特開2004-178581号公報(請求項1、図8、要約)
【特許文献4】特開2004-206672号公報(図23、要約)
【特許文献5】米国特許第6389236号明細書
【特許文献6】米国特許第6614427号明細書
【0015】

【非特許文献1】河合隆史、野呂影勇、“外科手技教育と立体映像システム”、医科器械学、日本医科器械学会、1999年、Vol.69、No.3、p.130-134
【非特許文献2】河合隆史、野呂影勇、他、“バーチャルリアリティを用いた作業環境の収録と提示”、ヒューマンサイエンス、財団法人ヒューマンサイエンス振興財団、1997年、Vol.9、No.2、p.57-63
【非特許文献3】河合隆史、田中見和著、“次世代メディアクリエータ入門[1]、立体映像表現”、初版、株式会社カットシステム、2003年12月10日、p.76-77、p.108
【発明の概要】
【発明が解決しようとする課題】
【0016】
前述したように水平に設置された画像呈示面で立体表示を行う場合に、従来より行われているパースペクティブを無くす補正処理(前述した特許文献2~6参照)は、実写カメラやコンピュータ・グラフィクス画像生成用の仮想カメラを用いて画像を撮影または生成した後における立体映像に対する2次的な補正処理である。このため、複雑な演算処理を行わなければならず、演算処理の負荷が大きく、時間がかかるという問題がある。
【0017】
また、パースペクティブを無くす補正処理は、水平表示を行う場合のみならず、画像呈示面が傾斜している場合にも、カメラの撮影方向がその画像呈示面に対して斜めになっている限りは必要となる。しかし、画像呈示面を傾斜させる場合についても、従来より行われているパースペクティブを無くす補正処理方法を応用することで、適正な立体像を再生することが可能になるかもしれないが、それは水平表示の場合と同様に、画像の撮影または生成後における2次的な補正処理に過ぎないため、抱える問題は、水平表示の場合と同じである。
【0018】
従って、水平または傾斜した画像呈示面で立体映像を呈示する場合に、適正(自然)な立体像が再生されるように画像を撮影または生成することができるシステムの構築が望まれる。
【0019】
さらに、前述したイリノイ大学のCAVEでは、水平な画像呈示面(床面)において歪みのない立体像がリアルタイムで生成されているが、仮想カメラによる撮影方法は、あくまでも平行法であるから、交差法による撮影でも適正な立体像が再生されるようなシステムの構築が望まれる。
【0020】
そして、前述したように、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはない。メガネあり方式は勿論不完全であるといえるが、メガネの不要な裸眼方式においても、解像度を向上させるには視域を、視域を拡大するには解像度を、それぞれ犠牲にする必要がある。従って、こうした相反する要件を相互に補完し、解像度と視域を両立させることができる複合的なシステムの構築が望まれる。なお、前述したイリノイ大学のCAVEは、複数の画像呈示面を備えているが、画像呈示方式は1つ(液晶シャッタメガネを用いた時分割方式のみ)であるため、解像度と視域を両立させることはできない。
【0021】
また、立体映像の観察者の眼または頭部の位置は、画像呈示面に対して常に相対的に固定された位置であるとは限らず、両者の相対的な関係は動的に変化する場合もある。すなわち、観察者の眼または頭部の位置を固定したままの状態で、画像呈示面を動かしてその傾斜を変化させたり、逆に、固定された画像呈示面に対し、観察者が近接または離隔する行動をとったり、あるいはこれらの動きを複合させれば、観察者に対して立体映像を呈示する際の環境は変化する。このような環境(画像呈示面の傾斜角度、観察者から画像呈示面までの視距離)の変化に対し、そのときの状況に応じて最適な立体映像を呈示するには、前述したパースペクティブを無くす補正処理またはそれに相当する処理、あるいは前述した解像度と視域との調整処理等を、再生時の環境に応じて行っていく必要が生じるが、そのような制御を行う立体映像呈示装置は、これまで存在しなかった。このため、立体映像の精緻かつ柔軟な表現が制約されているという問題があった。従って、観察者に対して一方的に立体映像を呈示するのではなく、観察者の動きや操作を入力し、観察者の動きや操作に応じて最適な立体映像を呈示することができるインタラクティブ性(双方向性)を備えた立体映像呈示装置を実現するためにも、再生時の環境(画像呈示面の傾斜角度や視距離)に応じた画像呈示制御を行うことができるシステムの構築が望まれる。
【0022】
本発明の目的は、立体映像を自然かつ精緻に表現することができる立体映像呈示装置を提供するところにある。
【課題を解決するための手段】
【0023】
本発明の立体映像呈示装置は、複数の画像呈示面を備え、これらの画像呈示面の各画像呈示方式の中には、複数種類の画像呈示方式が含まれ、これらの画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式であることを特徴とするものである。
【0024】
ここで、「複数種類の画像呈示方式が含まれ」とは、画像呈示面の個数が2つの場合には、2つの画像呈示面の画像呈示方式が互いに異なる方式であることを意味し、画像呈示面の個数が3つ以上の場合には、全ての画像呈示面の画像呈示方式が異なる方式であってもよく、あるいは一部に同じ画像呈示方式の画像呈示面が含まれていてもよい趣旨である。一部に同じ画像呈示方式の画像呈示面を含める場合とは、例えば、前面(正面、すなわち観察者に正対する面)、左右の側面(立面)、および床面(水平面)に略袋小路状に4つの画像呈示面を配置する場合(後述する図9参照)には、これらの4つの画像呈示面のうち、前面を第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面および床面を第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としたり、あるいは、前面および左右の側面を第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、床面を第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としたり、さらには、前面を第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面を第2の画像呈示方式(例えば、多眼式(8眼式等)レンティキュラ方式)とし、床面を第3の画像呈示方式(例えば、より眼数の多い多眼式(16眼式等)レンティキュラ方式)とする場合等が含まれる。
【0025】
また、「画像呈示方式」には、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれる。従って、本発明で「画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式である」とされているのは、複数の画像呈示面の全ての画像呈示方式が立体映像呈示方式でもよく、立体映像呈示方式および平面映像呈示方式が組み合わされていてもよい趣旨である。そして、立体映像呈示方式には、メガネ式として、例えば、偏光メガネ式(2台のプロジェクタにより形成された互いに偏光方向の異なる光をスクリーン上で重ねる方式、マイクロポール方式等)、液晶シャッタ式等が含まれ、メガネなし方式として、例えば、レンティキュラ方式(2眼式レンティキュラ方式、多眼式(3眼式、8眼式等)レンティキュラ方式等)、パララックスバリア方式(イメージスプリッタ方式、ダブルイメージスプリッタ方式等)、バックライト分割式、インテグラル・フォトグラフィ方式(IP方式)等が含まれる。なお、本発明では、例えば、レンティキュラ方式については、2眼式レンティキュラ方式と多眼式(3眼式、8眼式等)レンティキュラ方式の如く、眼数が異なる場合には、異なる画像呈示方式であるものとする。他の方式についても同様であり、本発明における画像呈示方式は、細分化された方式であるものとする。
【0026】
さらに、「画像呈示面」には、観察者の頭部に装着されるヘッドマウントディスプレイ(HMD)を構成する画面も含まれる。
【0027】
そして、「画像呈示面」には、ディスプレイ画面(プロジェクタによる映写が行われる大型または小型スクリーンの画面、小型モニタの画面、携帯電話機や携帯情報端末等の携帯機器のディスプレイ画面を含む。)のみならず、印刷物による画像呈示面(印刷された実写画像、印刷されたコンピュータ・グラフィクス画像、印刷されたアニメーション画像等を呈示する面)も含まれ、印刷物による画像呈示面とする場合にも、立体映像呈示方式および平面映像呈示方式のいずれも採用することができる。
【0028】
このような本発明の立体映像呈示装置においては、複数の画像呈示面で、異なる画像呈示方式により画像を表示(印刷を含む。)することにより、複数種類の画像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。例えば、解像度と視域を両立させる立体映像の呈示が可能となる。このため、立体映像を自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
【0029】
また、前述した立体映像呈示装置において、複数の画像呈示面の各画像呈示方式の中には、複数種類の立体映像呈示方式が含まれることが望ましい。
【0030】
ここで、「複数種類の立体映像呈示方式が含まれる」とは、全ての画像呈示面の画像呈示方式がそれぞれ異なる立体映像呈示方式でもよく、あるいは一部に同じ立体映像呈示方式の画像呈示面が含まれていてもよく、さらには一部に平面映像呈示方式の画像呈示面が含まれていてもよい趣旨である。
【0031】
このように複数種類の立体映像呈示方式を含める構成とした場合には、複数の画像呈示面で、異なる立体映像呈示方式により左眼用画像および右眼用画像を表示(印刷を含む。)することにより、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。このため、立体映像を、より自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
【0032】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面で呈示される画像は、実写カメラの撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータを、各画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像であることが望ましい。
【0033】
ここで、上記のようにして撮像面の傾斜角度または傾斜角度パラメータを調整して撮影または生成された画像を呈示する画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、この画像呈示面で呈示される左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像とする。
【0034】
なお、ここでいう「実写カメラの撮像面の傾斜角度」または「コンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータ」とは、実写カメラや仮想カメラの筐体に対する撮像面の相対的な傾斜角度ではなく、被写体(コンピュータ・グラフィクスではモデル)の存在する空間にけおる撮像面の絶対的な傾斜角度をいう。従って、「画像呈示面の傾斜角度とそれぞれ一致または略一致させて」とは、撮像面を画像呈示面と平行または略平行に配置するという意味である。以下の発明においても同様である。
【0035】
このようにカメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成とした場合には、画像呈示面で画像を表示(印刷を含む。)するにあたり、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラまたは仮想カメラによる画像の撮影または生成後に2次的に行う演算処理を省略することができ、カメラによる画像の撮影または生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面で表示(印刷を含む。)することが可能となる。このため、より一層自然かつ精緻に表現された立体映像を得ることが可能となるうえ、前述した特許文献2~6に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減が図られる。
【0036】
そして、カメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成として、より具体的には、以下のような構成を挙げることができる。
【0037】
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成とすることができる。
【0038】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、立体映像呈示用の左眼用画像および右眼用画像を撮影する左右の実写カメラのそれぞれに傾斜角度を変更可能な撮像面を設け、撮像面制御手段は、画像呈示面角度検出手段による検出信号に基づき、画像呈示面の傾斜角度と左右の実写カメラの各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する構成とする(例えば、後述する図1の前面に配置された画像呈示面の場合等)。なお、撮像面駆動手段は、左右の実写カメラのそれぞれに設けられて左右の実写カメラの各撮像面を別々に駆動する構成としてもよく、あるいは左右の実写カメラの撮像面をまとめて同時に駆動する構成としてもよい。
【0039】
このように実写カメラに傾斜角度を変更可能な撮像面を設けるとともに、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、撮像面制御手段により、画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信し、撮像面駆動手段により、撮像面制御手段からの制御信号を受信して撮像面を駆動して撮像面の傾斜角度を変化させ、画像表示処理手段により、傾斜角度調整後の撮像面で撮像された実写画像を画像呈示面に表示する処理を行う。このため、再生時の環境(画像呈示面の傾斜角度)に応じて撮像面の傾斜角度を変化させて画像を取得することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度をリアルタイムで変化させて画像を取得することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
【0040】
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【0041】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成する構成とする(後述する図5参照)。
【0042】
このように仮想カメラの撮像面の傾斜角度パラメータを設定できるようにするとともに、仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、コンピュータ・グラフィクス画像生成手段により、画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成し、画像表示処理手段により、コンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境(画像呈示面の傾斜角度)に応じて撮像面の傾斜角度パラメータを変化させてCG画像を生成することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度パラメータをリアルタイムで変化させてCG画像を生成することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
【0043】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶する画像記憶手段と、この画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【0044】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、画像記憶手段に、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶させ、画像表示処理手段は、これらの左眼用画像および右眼用画像をこの画像呈示面に表示する処理を行う構成とする(例えば、後述する図1の水平面に配置された画像呈示面の場合等)。
【0045】
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶させておき、画像表示処理手段により、画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う。
【0046】
そして、上記のように、リアルタイムで撮影または生成された画像を用いるのではなく、予め撮影または生成されて画像記憶手段に記憶されている画像を用いる構成とする場合において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像が記憶され、画像表示処理手段は、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う構成としてもよい。
【0047】
ここで、「実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像」とは、一定の角度間隔(例えば、5度間隔、10度間隔等)で撮影または生成された複数の画像でもよく、あるいは不均等な角度間隔で撮影または生成された複数の画像でもよい。
【0048】
また、「画像呈示面の傾斜角度に対応する画像」とは、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータが、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度と一致または略一致する状態で撮影または生成された画像である。なお、一致または略一致する状態で撮影または生成された画像が無い場合には、最も近い状態で撮影または生成された画像を選択してもよく、あるいは補間処理を行って対応する画像を生成してもよい。例えば、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを10度および20度として撮影または生成された画像がある場合において、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度が13度であったときには、近い方の10度で撮影または生成された画像を選択してもよく、あるいは10度で撮影または生成された画像と20度で撮影または生成された画像とを用いて補間画像を生成してもよい。この際、補間画像は、前後の角度(上記の例では、10度および20度)で撮影または生成された画像を用いて1次の線形補間を行って生成してもよく、あるいは前後の角度で撮影または生成された画像以外の画像を用いて2次以上の補間を行って生成してもよい。
【0049】
さらに、呈示する画像が動画像(例えば、一定周期で同じ舞動作を繰り返す蝶々、一定周期で同じ回遊動作を繰り返す熱帯魚等の繰返画像、あるいは繰返しは無いがストーリー性を持って完結する説明用、PR用等の一連の画像)である場合には、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を時系列で記憶させる。すなわち、各時刻のそれぞれについて、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を用意し、記憶させる(例えば、後述する図11の場合等)。
【0050】
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶させておき、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、画像表示処理手段により、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う。このため、再生時の環境(画像呈示面の傾斜角度)に応じて、この環境に合った状態で撮影または生成された画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
【0051】
また、以上のように傾斜角度を変更可能な画像呈示面およびこの画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備えた構成とする場合において、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段とを備えた構成としてもよい。
【0052】
ここで、「代替情報」とは、観察者の目または頭部の相対的な位置情報そのものではなく、別の情報と組み合わせることにより観察者の目または頭部の相対的な位置情報を把握することができる情報であってもよく、あるいは正確な視距離を必要とせずに概略の視距離でよい場合に用いられる情報である。前者の場合は、例えば、画像呈示面と、観察者の足あるいは全身との距離情報等であり、例えば、観察者に身長を入力させる等して、別途の方法で身長を把握することができれば、この身長と、観察者(足や全身)の距離情報とを組み合わせることにより、ほぼ正確な視距離を把握することができる。
【0053】
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させる構成とした場合(後述する図5、図6、図10参照)には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、この検出情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出し、検出した画像呈示面の傾斜角度に対応する画像(実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、検出した画像呈示面の傾斜角度と一致または略一致させてリアルタイムで撮影または生成された画像、あるいは実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて予め撮影または生成された複数の画像の中から、検出した画像呈示面の傾斜角度に近い状態で撮影または生成された画像として選択された画像、または近い状態で撮影または生成された複数の画像を補間して生成された画像)を呈示することが可能となる。このため、視距離に応じて画像呈示面の傾斜角度を変化させ、このようにして形成された再生時の環境(視距離および画像呈示面の傾斜角度)に応じて、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
【0054】
また、上記のように、観察者位置検出手段による検出情報に基づき画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出してから、検出した画像呈示面の傾斜角度に対応する画像を呈示するのではなく、次のように、画像呈示面角度検出手段による検出信号に基づかずに、観察者位置検出手段による検出情報に基づき直接に、画像呈示面の傾斜角度に対応する画像を呈示する構成としてもよい。
【0055】
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成としてもよい。
【0056】
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【0057】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき、画像記憶手段に記憶された複数の画像の中から、設定した画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【0058】
そして、以上に述べた立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、この観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【0059】
ここで、画像呈示方式を切替可能な画像呈示面は、傾斜角度を変更可能な画像呈示面であってもよく、あるいは傾斜角度を変更することができない固定された画像呈示面であってもよい。
【0060】
また、切り替えられる「画像呈示方式」に、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれるのは、前述した通りである。従って、多眼式レンティキュラ方式から2眼式レンティキュラ方式への画像呈示方式の切替えの如く、立体映像呈示方式から別の立体映像呈示方式への切替えのみならず、平面映像呈示方式から立体映像呈示方式への切替え、または立体映像呈示方式から平面映像呈示方式への切替えも含まれる。
【0061】
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替える構成とした場合(後述する図5、図6、図10参照)には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、画像表示処理手段により、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境(視距離)に応じて画像呈示方式を切り替え、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。
【発明の効果】
【0062】
以上に述べたように本発明によれば、複数種類の画像呈示方式を組み合わせたので、立体映像を自然かつ精緻に表現することができるという効果がある。
【図面の簡単な説明】
【0063】
【図1】本発明の第1実施形態の立体映像呈示装置の全体構成図。
【図2】第1実施形態において前面に配置された第1の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する立面図(側方から見た図)。
【図3】第1実施形態において前面に配置された第1の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する平面図(上方から見た図)。
【図4】第1実施形態において水平面に配置された第2の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する立面図(側方から見た図)。
【図5】本発明の第2実施形態の立体映像呈示装置の全体構成図。
【図6】第2実施形態において画像呈示面に対する観察者の相対位置(視距離D)に応じて画像呈示面の画像呈示方式や傾斜角度θが変化する状態を示す説明図。
【図7】第2実施形態の立体映像呈示装置による立体映像呈示処理の流れを示すフローチャートの図。
【図8】本発明の第1の変形の形態を示す構成図。
【図9】本発明の第2の変形の形態を示す構成図。
【図10】本発明の第3の変形の形態を示す構成図。
【図11】本発明の第4の変形の形態を示す構成図。
【図12】従来のパースペクティブを無くす補正処理の第1の説明図。
【図13】従来のパースペクティブを無くす補正処理の第2の説明図。
【図14】従来のパースペクティブを無くす補正処理の第3の説明図。
【図15】従来のパースペクティブを無くす補正処理の第4の説明図。
【図16】交差法による撮影で生じるキーストーンひずみの第1の説明図。
【図17】交差法による撮影で生じるキーストーンひずみの第2の説明図。
【発明を実施するための形態】
【0064】
以下に本発明の各実施形態について図面を参照して説明する。

【0065】
[第1実施形態]
図1には、本発明の第1実施形態の立体映像呈示装置10の全体構成が示されている。図2および図3は、前面に配置された第1の画像呈示面21で表示する画像を撮影する際の左右の実写カメラ60,70による撮影状況を説明する立面図(側方から見た図)および平面図(上方から見た図)であり、図4は、水平面に配置された第2の画像呈示面31で表示する画像を撮影する際の左右の実写カメラ60,70による撮影状況を説明する立面図(側方から見た図)である。

【0066】
図1において、立体映像呈示装置10は、観察者1の前方(正面)に配置されるディスプレイ20と、水平に配置されるディスプレイ30と、ディスプレイ20の傾斜角度(すなわち、ディスプレイ20の画面である画像呈示面21の傾斜角度θ)を検出する画像呈示面角度検出手段40と、ディスプレイ20,30で表示する画像の処理を行う画像処理装置50と、水平面3上に置かれた被写体2を撮影するための左眼用および右眼用の実写カメラ60,70とを備えて構成されている。

【0067】
ディスプレイ20は、その画面である画像呈示面21で第1の画像呈示方式(立体映像呈示方式)により立体映像を呈示する装置である。この画像呈示面21は、観察者1の操作により傾斜角度を自在に変更可能とされ、本実施形態では、左右の実写カメラ60,70によりリアルタイムで撮影された左眼用および右眼用の実写画像が表示される。

【0068】
ディスプレイ30は、その画面である画像呈示面31で第2の画像呈示方式(立体映像呈示方式)により立体映像を呈示する装置である。この画像呈示面31は、水平面に固定されて使用され、本実施形態では、左右の実写カメラ60,70により予め撮影された左眼用および右眼用の実写画像が表示される。

【0069】
ここで、前面に配置される画像呈示面21の第1の画像呈示方式および水平面に配置される画像呈示面31の第2の画像呈示方式としては、例えば、双方をメガネなし方式であるレンティキュラ方式とする場合には、視距離のとれる前面に配置される画像呈示面21では、第1の画像呈示方式として、解像度を優先して2眼式レンティキュラ方式を採用し、一方、近方で視差量の大きくなる水平面に配置される画像呈示面31では、第2の画像呈示方式として、視域の広い多眼式レンティキュラ方式を採用することができる。また、第1の画像呈示方式として、例えば8眼式等の多眼式レンティキュラ方式を採用し、第2の画像呈示方式として、第1の画像呈示方式よりも眼数の多い例えば16眼式等の多眼式レンティキュラ方式を採用してもよい。なお、第1および第2の画像呈示方式は、レンティキュラ方式に限定されるものではなく、例えば、パララックスバリア方式、インテグラルフォトグラフィ方式(IP方式)等としてもよく、要するに、画像呈示面21,31の画像呈示方式を互いに異なる方式とすることにより、複数種類の画像呈示方式を組み合わせて観察者の脳内で自然かつ精緻な立体映像空間が構築されるようにすればよい。

【0070】
画像呈示面角度検出手段40は、画像呈示面21の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。なお、図1に示した画像呈示面角度検出手段40の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。

【0071】
画像処理装置50は、例えばコンピュータにより構成され、撮像面制御手段51と、画像表示処理手段52と、画像記憶手段53とを含んで構成されている。

【0072】
撮像面制御手段51は、画像呈示面角度検出手段40による傾斜角度θの検出信号に基づき、画像呈示面21の傾斜角度θ,φ(図2、図3参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度α,β(図2、図3参照)とを一致または略一致させるための制御信号を生成し、生成した制御信号を撮像面駆動手段62,72へ送信する処理を行うものである。ここで、画像呈示面21の傾斜角度θ,φ(図2、図3参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度α,β(図2、図3参照)とを一致または略一致させるという意味は、画像呈示面21と各撮像面61,71とを平行にするという意味であり、3次元空間(XYZ空間)を形成するX軸、Y軸、Z軸のいずれの軸回りの傾斜角度についても一致させるという意味である。また、各撮像面61,71の傾斜角度α,βは、図2および図3に示すように、実写カメラ60,70の筐体に対する相対的な傾斜角度ではなく、絶対空間における傾斜角度として定義している。なお、画像呈示面21の傾斜角度θおよび撮像面61,71の傾斜角度αは、ディスプレイ20(つまり、画像呈示面21)の上下の端縁部に平行な方向、すなわち図2の紙面に直交する方向に延びる軸回りの傾斜角度であり、画像呈示面21の傾斜角度φおよび撮像面61,71の傾斜角度βは、鉛直方向、すなわち図3の紙面に直交する方向に延びる軸回りの傾斜角度である。

【0073】
画像表示処理手段52は、左眼用および右眼用の実写カメラ60,70によりリアルタイムで撮像された左眼用画像および右眼用画像を、画像呈示面21に表示するとともに、実写カメラ60,70により予め撮影されて画像記憶手段53に記憶されている左眼用画像および右眼用画像を、画像呈示面31に表示する処理を行うものである。

【0074】
画像記憶手段53は、図4に示すように、左眼用および右眼用の実写カメラ60,70により、各撮像面61,71の傾斜角度を、水平な画像呈示面31の傾斜角度と一致または略一致させた状態で、すなわち各撮像面61,71と水平な画像呈示面31とを平行にした状態で、予め撮影された左眼用画像および右眼用画像を記憶するものである。

【0075】
そして、撮像面制御手段51および画像表示処理手段52は、画像処理装置50を構成するコンピュータ等の内部に設けられた中央演算処理装置(CPU)、およびこのCPUの動作手順を規定する1つまたは複数のプログラムにより実現される。

【0076】
また、画像記憶手段53は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ROM、EEPROM、フラッシュ・メモリ、RAM、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、FD、磁気テープ、あるいはこれらの組合せ等を採用してもよい。

【0077】
実写カメラ60,70は、観察者1の左右の眼の位置を想定して配置され、水平面3上に置かれた被写体2を含む左眼用画像および右眼用画像を、交差法で撮影するためのカメラであり、傾斜角度α,β(図2、図3参照)を自在に変更可能に設けられた撮像面61,71と、これらの撮像面61,71を駆動して撮像面61,71の傾斜角度α,βを変化させる撮像面駆動手段62,72とを備えている。なお、説明の便宜上、図示も含めて左眼用および右眼用の2つの実写カメラ60,70があるかの如く記載されているが、これは単に、左眼および右眼に相当する実写カメラが少なくとも1組分あることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの実写カメラが設けられる。例えば、8眼式レンティキュラ方式では、8台の実写カメラが設けられる。

【0078】
撮像面61,71は、例えば、相補性金属酸化膜半導体(CMOS:Complementary
Metal-oxide Semiconductor)や電荷結合素子(CCD:Charge Coupled
Device)等の撮像デバイスの受光面である。

【0079】
撮像面駆動手段62,72は、例えば、モータ、シリンダ装置等により実現される。なお、本実施形態では、左右の実写カメラ60,70に撮像面駆動手段62,72がそれぞれ個別に設けられているが、撮像面61,71をまとめて同時に駆動することができる撮像面駆動手段を設けてもよい。

【0080】
このような第1実施形態においては、以下のようにして立体映像呈示装置10により立体映像の呈示を行う。

【0081】
先ず、観察者1は、前面のディスプレイ20を手で押したり、引いたりすることにより、画像呈示面21の傾斜角度θを、自分が立体像を観察し易い所望の角度に調整する。それから、画像呈示面角度検出手段40により、角度調整後における画像呈示面21の傾斜角度θが検出される。なお、画像呈示面角度検出手段40による角度検出は、以下に記載するループ処理の中で毎回行われるが、角度検出後の撮影等の処理は、検出された傾斜角度θが前回検出角度に対して変化したときのみ行うようにしてもよく、あるいは毎回行うようにしてもよい。

【0082】
続いて、撮像面制御手段51により、画像呈示面角度検出手段40による傾斜角度θの検出信号に基づき、画像呈示面21の傾斜角度θ(図2参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度α(図2参照)とを一致または略一致させるための制御信号、すなわち画像呈示面21と各撮像面61,71とを平行にするための制御信号が生成され、生成された制御信号が撮像面駆動手段62,72へ送信される。なお、画像呈示面21の傾斜角度φ(図3参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度β(図3参照)とは、変化しないので、一致または略一致した状態を保っている。

【0083】
撮像面駆動手段62,72は、撮像面制御手段51からの制御信号を受信すると、撮像面61,71を駆動して撮像面61,71の傾斜角度αを変化させ、画像呈示面21の傾斜角度θと一致させる。例えば、図2に示すように、画像呈示面21の傾斜角度θをθにすると、各撮像面61,71の傾斜角度αは、α(=θ)に変化する。

【0084】
この状態で、実写カメラ60,70により被写体2を撮影し、撮影して得られた左眼用画像および右眼用画像を、画像表示処理手段52により、画像呈示面21にリアルタイムで表示する。なお、前述したように、画像呈示面角度検出手段40による角度検出で、画像呈示面21の傾斜角度θの変化が検出されなかった場合には、実写カメラ60,70による被写体2の撮影および画像表示処理手段52による画像呈示面21の表示内容の更新処理は省略してもよい。また、このような画像呈示面21への表示処理と同時に、画像表示処理手段52は、実写カメラ60,70により予め撮影されて画像記憶手段53に記憶されている左眼用画像および右眼用画像を、画像呈示面31に表示する。なお、本実施形態では、画像呈示面31の表示内容は、固定している。

【0085】
そして、再び、画像呈示面角度検出手段40による角度検出を行い、画像呈示面21の傾斜角度θが変化していれば、その変化後の状態に応じて各撮像面61,71の傾斜角度αを変化させて撮影を行い、以降、同様なループ処理を繰り返す。

【0086】
このような第1実施形態によれば、次のような効果がある。すなわち、複数の画像呈示面21,31で、異なる画像呈示方式により左眼用画像および右眼用画像を表示するので、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示を行うことができる。例えば、解像度と視域を両立させる立体映像の呈示を行うことができる。このため、立体映像を自然かつ精緻に表現することができる。

【0087】
また、画像呈示面21,31では、実写カメラ60,70の各撮像面61,71の傾斜角度を、これらの画像呈示面21,31の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラによる画像の撮影後に2次的に行う演算処理を省略することができ、実写カメラ60,70による画像の撮影を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面21,31に表示することができる。このため、より一層自然かつ精緻に表現された立体映像を得ることができるうえ、前述した特許文献2~6に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。

【0088】
さらに、再生時の環境(画像呈示面21の傾斜角度θ)に応じ、各撮像面61,71の傾斜角度αを変化させて画像を取得することができるので(図2参照)、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、各撮像面61,71の傾斜角度αをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。

【0089】
そして、画像呈示面21,31では、実写カメラ60,70の各撮像面61,71の傾斜角度を、これらの画像呈示面21,31の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので(図3参照)、交差法による撮影を行っても、キーストーンひずみ(図16、図17参照)を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。

【0090】
また、観察者1の操作により動かされた画像呈示面21の傾斜角度θを検出し、実写カメラ60,70の各撮像面61,71の傾斜角度αをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性(双方向性)を備えた立体映像呈示装置10を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。

【0091】
[第2実施形態]
図5には、本発明の第2実施形態の立体映像呈示装置200の全体構成が示されている。また、図6には、画像呈示面211に対する観察者の相対位置(視距離D)に応じて画像呈示面211の画像呈示方式や傾斜角度θが変化する状態が示され、図7には、立体映像呈示装置200による立体映像呈示処理の流れがフローチャートで示されている。

【0092】
図5において、立体映像呈示装置200は、ディスプレイ210と、ディスプレイ210の傾斜角度(すなわち、ディスプレイ210の画面である画像呈示面211の傾斜角度θ)を検出する画像呈示面角度検出手段220と、ディスプレイ210を駆動してディスプレイ210の画像呈示面211の傾斜角度θを変化させる画像呈示面駆動手段230と、画像呈示面211に対する観察者201の相対位置(概略の視距離D)を検出する観察者位置検出手段240と、画像呈示面211で表示する画像の処理を行う画像処理装置250とを備えて構成されている。

【0093】
ディスプレイ210は、その画面である画像呈示面211で立体映像を呈示する装置である。この画像呈示面211は、画像呈示面211に対する観察者201の相対位置(概略の視距離D)に応じて傾斜角度θが自動的に変化する構成とされ、本実施形態では、左右の仮想カメラ260を用いてレンダリング処理を行ってリアルタイムで生成された左眼用および右眼用のコンピュータ・グラフィクス画像が表示される。

【0094】
画像呈示面角度検出手段220は、画像呈示面211の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。ここで、傾斜角度θは、ディスプレイ210(つまり、画像呈示面211)の上下の端縁部に平行な方向、すなわち図5の紙面に直交する方向に延びる軸回りの傾斜角度である。なお、図5に示した画像呈示面角度検出手段220の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。

【0095】
画像呈示面駆動手段230は、例えば、モータ、シリンダ装置等により実現される。

【0096】
観察者位置検出手段240は、例えば、レーザ距離センサ、赤外線センサ、グローバル・ポジショニング・システム(GPS)、画像処理による位置検出装置等により実現される。本実施形態では、観察者位置検出手段240は、画像呈示面211に対する観察者201の目または頭部の相対的な位置情報を正確に検出するものではなく、その代替情報として、観察者201を全身で捉えて観察者201までの距離を検出し、概略的な視距離Dを検出するものである。なお、例えば、観察者201の身長を測定または手入力したり、画像呈示面211の大きさを考慮すること等により、より正確な視距離を検出するようにしてもよい。また、図5に示した観察者位置検出手段240の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。

【0097】
画像処理装置250は、例えばコンピュータにより構成され、画像呈示面制御手段251と、コンピュータ・グラフィクス画像生成手段252と、画像表示処理手段253と、モデル情報記憶手段254とを含んで構成されている。

【0098】
画像呈示面制御手段251は、観察者位置検出手段240により検出された視距離Dに基づき、視距離Dの大小に応じて画像呈示面211の傾斜角度θを変化させるための制御信号を生成し、生成した制御信号を画像呈示面駆動手段230へ送信する処理を行うものである。なお、視距離Dと傾斜角度θとの対応関係は、予め定めてメモリ(不図示)に記憶させておき、これを画像呈示面制御手段251により参照する。

【0099】
コンピュータ・グラフィクス画像生成手段252は、画像呈示面角度検出手段220による検出信号に基づき、モデル情報記憶手段254に記憶された表示対象用のモデルに関する情報を用いて、左右の仮想カメラ260の各撮像面261の傾斜角度パラメータの値αを画像呈示面211の傾斜角度θと一致または略一致させ、すなわち撮像面261と画像呈示面211とを平行にしてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成する処理を行うものである。

【0100】
左右の仮想カメラ260は、観察者201の左右の眼の位置を想定して配置されるように設定され、仮想的な3次元空間における水平面202上に置かれた表示対象用の幾何モデル203が描かれた左眼用画像および右眼用画像を生成するためのカメラである。左右の仮想カメラ260のパラメータの設定では、通常、3次元空間上の注視点(カメラが注目している点)を座標値で与えるか、またはパン、チルト、ロールの3つの回転角度を与えるが、本実施形態では、これに加え、仮想カメラ260の撮像面261の傾斜角度αをパラメータとして与える。従って、通常のレンダリング処理では、カメラの軸線に対して直交する面が、幾何モデル203により表現される物体を描画するスクリーン(透視投影面)となるが、本実施形態では、物体を描画するスクリーンは、パラメータとして設定された傾斜角度αの状態の撮像面261と平行となり、従って、画像呈示面211と平行になるように設定されるため、カメラの軸線に対して傾斜した面となる。なお、その他の設定、例えば、色や質感の設定、ライトの設定等は、通常のレンダリング処理と同様である。また、説明の便宜上、左右の仮想カメラ260と記載しているが、これは単に、左眼および右眼に相当する仮想カメラが少なくとも1組分設定されることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの仮想カメラが設定される。例えば、8眼式レンティキュラ方式では、8台の仮想カメラが設定される。

【0101】
画像表示処理手段253は、コンピュータ・グラフィクス画像生成手段252により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を、画像呈示面211に表示する処理を行うものである。

【0102】
モデル情報記憶手段254は、画像呈示面211で立体像として再生される対象となる幾何モデル203に関する情報を記憶するものである。

【0103】
そして、画像呈示面制御手段251、コンピュータ・グラフィクス画像生成手段252、および画像表示処理手段253は、画像処理装置250を構成するコンピュータ等の内部に設けられた中央演算処理装置(CPU)、およびこのCPUの動作手順を規定する1つまたは複数のプログラムにより実現される。

【0104】
また、モデル情報記憶手段254は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ROM、EEPROM、フラッシュ・メモリ、RAM、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、FD、磁気テープ、あるいはこれらの組合せ等を採用してもよい。

【0105】
このような第2実施形態においては、以下のようにして立体映像呈示装置200により立体映像の呈示を行う。

【0106】
図6に示すように、観察者201は、ディスプレイ210に対して徐々に近づいていきながら、画像呈示面211で呈示される立体映像を観察する。

【0107】
図7において、先ず、画像処理装置250でプログラムを立ち上げて立体映像の呈示処理を開始した後(ステップS1)、観察者位置検出手段240により、観察者201までの概略の視距離Dを検出する(ステップS2)。

【0108】
続いて、画像処理装置250において、視距離Dの大小を判断し(ステップS3)、(1)視距離Dが10m以上の場合には、画像呈示面211の傾斜角度θを90度に設定するために、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を鉛直になるように配置するとともに(ステップS4)、画像呈示面211の画像呈示方式として、平面視の画像(2Dであるが、3DCGをレンダリングして生成された画像)を呈示する平面映像呈示方式を選択する(ステップS5)。

【0109】
また、(2)視距離Dが5m以上、10m未満の場合には、画像呈示面211の傾斜角度θを90度に設定するために、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を鉛直になるように配置するとともに(ステップS6)、画像呈示面211の画像呈示方式として、多眼式レンティキュラ方式を選択する(ステップS7)。

【0110】
さらに、(3)視距離Dが1m以上、5m未満の場合には、視距離Dの大小に応じて画像呈示面211の傾斜角度θの大小を設定するために(視距離Dが小さくなる程、傾斜角度θが大きくなるように、つまり倒れるようにするために)、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を駆動するとともに(ステップS8)、画像呈示面211の画像呈示方式として、多眼式レンティキュラ方式を選択する(ステップS9)。

【0111】
そして、(4)視距離Dが1m未満の場合には、画像呈示面211の傾斜角度θを180度に設定するために、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を水平に配置するとともに(ステップS10)、画像呈示面211の画像呈示方式として、2眼式レンティキュラ方式を選択する(ステップS11)。

【0112】
その後、コンピュータ・グラフィクス画像生成手段252により、仮想カメラ260のパラメータを設定し(ステップS12)、モデル情報記憶手段254に記憶された幾何モデル203を用いて、レンダリング処理を行うことにより、画像呈示面211に表示するための画像を生成する(ステップS13)。ここで、生成される画像は、平面映像呈示方式が選択されている場合(ステップS5)には、平面視の画像であり、多眼式レンティキュラ方式が選択されている場合(ステップS7,S9)には、多眼に相当する個数の左眼用画像および右眼用画像であり、2眼式レンティキュラ方式が選択されている場合(ステップS11)には、左眼用画像および右眼用画像である。

【0113】
この際、仮想カメラ260のパラメータの設定では、図5に示すように、仮想カメラ260の撮像面261の傾斜角度パラメータαと、画像呈示面211の傾斜角度θとを一致させる。また、仮想カメラ260の設定台数は、選択されている画像呈示方式に応じた台数とする。すなわち、平面映像呈示方式が選択されている場合(ステップS5)には、1台設定し、多眼式レンティキュラ方式が選択されている場合(ステップS7,S9)には、多眼に相当する台数(例えば、8眼式であれば、8台)設定し、2眼式レンティキュラ方式が選択されている場合(ステップS11)には、2台設定する。

【0114】
それから、画像表示処理手段253により、コンピュータ・グラフィクス画像生成手段252により生成されたコンピュータ・グラフィクス画像を、選択されている画像呈示方式で画像呈示面211に表示する。

【0115】
そして、処理を続行するか否かを判断し(ステップS15)、続行する場合には、再び、ステップS2の処理に戻り、以降、続行しないと判断されるまで、ステップS2~S15の処理を繰り返し、一方、続行しない場合には、立体映像の呈示処理を終了する(ステップS16)。

【0116】
以上のようなループ処理を繰り返すと、観察者201が、ディスプレイ210に対して徐々に近づいていった場合には、次のような立体映像の呈示が行われることになる。

【0117】
図6において、先ず、(1)視距離Dが10m以上の場合には、画像呈示面211が鉛直になり、平面視の映像が呈示され、(2)視距離Dが5m以上、10m未満の範囲に入ると、画像呈示面211は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わり、さらに、(3)視距離Dが1m以上、5m未満の範囲に入ると、多眼式レンティキュラ方式による立体映像の呈示のままで、画像呈示面211の傾斜角度θが大きくなっていき、つまり倒れていき、最後に、(4)視距離Dが1m未満になると、画像呈示面211の傾斜角度θが180度になって完全に倒れて水平になるとともに、2眼式レンティキュラ方式による立体映像の呈示に切り替わる。なお、逆に、観察者201が、ディスプレイ210から徐々に遠ざかっていった場合には、以上の流れと反対の立体映像の呈示が行われることになる。

【0118】
このような第2実施形態によれば、次のような効果がある。すなわち、画像呈示面211では、仮想カメラ260の撮像面261の傾斜角度パラメータαを、この画像呈示面211の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像および平面映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわちレンダリング処理によるCG画像の生成後に2次的に行う演算処理を省略することができ、レンダリング処理によるCG画像の生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面211に表示することができる。このため、自然かつ精緻に表現された立体映像、または適正な平面映像を得ることができるうえ、前述した特許文献2~6に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。

【0119】
また、再生時の環境(画像呈示面211の傾斜角度θ)に応じ、撮像面261の傾斜角度パラメータαを変化させて画像を取得することができるので、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、撮像面261の傾斜角度パラメータαをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。

【0120】
さらに、画像呈示面211では、仮想カメラ260の撮像面261の傾斜角度パラメータαを、この画像呈示面211の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像の呈示が行われるので、交差法による撮影を行っても、キーストーンひずみ(図16、図17参照)を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。

【0121】
そして、再生時の環境(視距離D)に応じ、画像呈示方式を切り替えるので、解像度と視域を両立させる立体映像の呈示を行うことができる。

【0122】
また、観察者201の位置(視距離D)を検出し、画像呈示面211の画像呈示方式をリアルタイムで自動的に切り替えたり、画像呈示面211の傾斜角度θをリアルタイムで自動的に変化させ、これに伴って仮想カメラ260の撮像面261の傾斜角度パラメータαをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性(双方向性)を備えた立体映像呈示装置200を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。

【0123】
[変形の形態]
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

【0124】
すなわち、前記第1実施形態では、画像呈示面31には、実写カメラ60,70により予め撮影されて画像記憶手段53に記憶されている左眼用画像および右眼用画像が表示されるようになっていたが(図1、図4参照)、水平面の画像呈示面31も前面の画像呈示面21と同様に傾斜角度を自在に変更可能な構成とし、実写カメラ60,70により各撮像面61,71の傾斜角度αを調整しながらリアルタイムで撮影された左眼用画像および右眼用画像を表示するようにしてもよい。

【0125】
また、前記第1実施形態では、画像呈示面21,31のいずれも実写画像が表示されていたが、コンピュータ・グラフィクス画像により、複数の画像呈示面での複数種類の画像呈示方式による立体映像の呈示を実現してもよい。

【0126】
さらに、前記第2実施形態では、図6に示すように、(2)視距離Dが5m以上、10m未満の場合および(3)視距離Dが1m以上、5m未満の場合に、多眼式レンティキュラ方式による立体映像の呈示が行われ、(4)視距離Dが1m未満の場合に、2眼式レンティキュラ方式による立体映像の呈示が行われるようになっていたが、画像呈示方式の切替えは、これに限定されるものではなく、例えば、(2)および(3)の場合に、眼数の多い多眼式(例えば、16眼式)レンティキュラ方式による立体映像の呈示が行われ、(4)の場合に、それよりも眼数の少ない多眼式(例えば、8眼式)レンティキュラ方式による立体映像の呈示が行われるようにしてもよく、あるいは(2)の場合に、16眼式レンティキュラ方式、(3)の場合に、8眼式レンティキュラ方式、(4)の場合に、2眼式レンティキュラ方式による立体映像の呈示が行われるようにしてもよい。要するに、観察者201がディスプレイ210に近づき、視距離Dが小さくなるに従って、解像度を上げていく一方、視域を狭くしていく等の何らかの意図やコンセプトを持った画像呈示方式の切替えを行えばよい。

【0127】
そして、前記第2実施形態では、画像呈示方式の切替えにあたって、視距離Dの閾値を、10m、5m、1mにしていたが、閾値の大きさや個数は、これに限定されるものではなく、任意である。

【0128】
また、前記第1、第2実施形態では、ディスプレイ20,30,210の画面である画像呈示面21,31,211により、立体映像の呈示が行われていたが、図8に示すように、ディスプレイではなく、印刷物を用いて立体映像の呈示を行ってもよい。図8において、立体映像呈示装置300は、前面(正面)に配置される画像呈示面301と、水平面に配置される画像呈示面302とを備えて構成されている。

【0129】
そして、前面の画像呈示面301は、呈示対象物(例えば、仏像等の文化財)を描いた印刷物(写真でも、CGでも、絵でもよい。)の印刷面により形成され、第1の画像呈示方式で立体映像を呈示するものであり、水平面の画像呈示面302は、同一の呈示対象物を別の角度から見た状態で描いた印刷物(写真でも、CGでも、絵でもよい。)の印刷面により形成され、第2の画像呈示方式で立体映像を呈示するものである。

【0130】
ここで、前面の画像呈示面301についての第1の画像呈示方式としては、例えば、多眼式レンティキュラ方式等を採用することができ、水平面の画像呈示面302についての第2の画像呈示方式としては、例えば、インテグラルフォトグラフィ方式(IP方式)等を採用することができる。

【0131】
このように印刷物により画像呈示面301,302を形成した場合には、通常のディスプレイよりも解像度を上げることができるという効果がある。

【0132】
さらに、前記第1実施形態では、2つの画像呈示面21,31で、互いに異なる2種類の画像呈示方式の組合せによる立体映像の呈示が行われていたが(図1参照)、図9に示すように、3つ以上の画像呈示面で複数種類の画像呈示方式の組合せによる立体映像の呈示を行ってもよい。図9において、立体映像呈示装置400は、前面(正面、すなわち観察者401に正対する面)に配置された画像呈示面402と、左右の側面(立面)に配置された画像呈示面403,404と、床面(水平面)に配置された画像呈示面405とを備えて構成されている。

【0133】
これらの4つの画像呈示面402~405のうち、前面の画像呈示面402は、第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面の画像呈示面403,404および床面の画像呈示面405は、第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としてもよい。また、前面の画像呈示面402および左右の側面の画像呈示面403,404は、第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、床面の画像呈示面405は、第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としてもよい。さらに、前面の画像呈示面402は、第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面の画像呈示面403,404は、第2の画像呈示方式(例えば、多眼式(8眼式等)レンティキュラ方式)とし、床面の画像呈示面405は、第3の画像呈示方式(例えば、より眼数の多い多眼式(16眼式等)レンティキュラ方式)としてもよい。

【0134】
そして、前記第2実施形態では、1つの画像呈示面211で、観察者位置検出手段240により検出された視距離Dに基づき、画像呈示方式の切替えを行っていたが(図5、図6参照)、図10に示す立体映像呈示装置500のように、2つの画像呈示面501,502を用いて、観察者位置検出手段503により検出された視距離Dに基づき、画像呈示方式の切替えを行ってもよい。

【0135】
図10において、(1)視距離Dが10m以上の場合には、観察者504から見て手前側の画像呈示面501が鉛直になり、平面視の映像が呈示される。この際、奥側の画像呈示面502は、鉛直に配置され、OFFの状態となっている。そして、(2)視距離Dが5m以上、10m未満の範囲に入ると、手前側の画像呈示面501は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わる。この際、奥側の画像呈示面502は、鉛直に配置され、OFFの状態のままである。

【0136】
さらに、(3)視距離Dが1m以上、5m未満の範囲に入ると、手前側の画像呈示面501は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが大きくなっていく、つまり倒れていく。この際、奥側の画像呈示面502は、鉛直に配置され、OFFの状態のままである。最後に、(4)視距離Dが1m未満になると、手前側の画像呈示面501は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが180度になって完全に倒れて水平になる。この際、奥側の画像呈示面502は、OFFの状態から2眼式レンティキュラ方式による立体映像の呈示に切り替わる。

【0137】
このように2つの画像呈示面501,502を用いて画像呈示方式の切替えを行えば、前記第2実施形態の場合(図5、図6参照)と同様に画像呈示方式の切替えを行うことによる効果が得られることに加え、前記第1実施形態の場合(図1参照)と同様に複数種類の画像呈示方式を組み合わせることによる効果も得ることができる。

【0138】
また、前記第1実施形態では、画像記憶手段53(図1参照)には、図4に示すように、左眼用および右眼用の実写カメラ60,70により、各撮像面61,71の傾斜角度を、水平な画像呈示面31の傾斜角度と一致または略一致させた状態で、すなわち各撮像面61,71と水平な画像呈示面31とを平行にした状態で、予め撮影された左眼用画像および右眼用画像が記憶されていたが、これらの画像は、画像呈示面31が水平面に固定されて使用されるため、画像呈示面31の傾斜角度が1つの状態のときのみ(画像呈示面31が水平の状態であるときのみ)について撮影されたものであり、しかも被写体2が固定物であるため、動きのない静的な画像であった。これに対し、傾斜角度が変化する画像呈示面で、しかも動く対象物についての立体映像を呈示する場合に、リアルタイムで画像を撮影または生成するのではなく、予め撮影または生成しておいた画像を用いるときには、図11に示す画像記憶手段600のように、各時刻T=t(1)、t(2)、t(3)、…、t(n)、…における対象物のそれぞれについて、画像呈示面の傾斜角度θを変化させて撮影または生成された左眼用画像L(θ,t(n))および右眼用画像R(θ,t(n))を記憶させておけばよい。例えば、時刻T=t(1)における対象物の再生時に、θ=90度であり、時刻T=t(2)における対象物の再生時に、θ=100度であり、時刻T=t(3)以降における対象物の再生時に、θ=110度であった場合には、図11中の太枠で示すように、L(90度,t(1))およびR(90度,t(1))、L(100度,t(2))およびR(100度,t(2))、L(110度,t(3))およびR(110度,t(3))、…、L(110度,t(n))およびR(110度,t(n))、…という順で、各画像を用いて立体映像の呈示を行う。
【産業上の利用可能性】
【0139】
以上のように、本発明の立体映像呈示装置は、例えば、仏像等の文化財を立体的に表現して観察者に呈示する装置、観察者の動きや操作に応じて立体映像の呈示を行う双方向性を備えた娯楽装置、医学教育用の立体映像システム等に用いるのに適している。
【符号の説明】
【0140】
10,200,300,400,500 立体映像呈示装置
21,31,211,301,302,402~405,501,502, 画像呈示面
40,220 画像呈示面角度検出手段
51 撮像面制御手段
52,253 画像表示処理手段
53,600 画像記憶手段
60,70 実写カメラ
61,71 実写カメラの撮像面
62,72 撮像面駆動手段
230 画像呈示面駆動手段
240,503 観察者位置検出手段
251 画像呈示面制御手段
252 コンピュータ・グラフィクス画像生成手段
254 モデル情報記憶手段
260 仮想カメラ
261 仮想カメラの撮像面
θ 画像呈示面の傾斜角度
α 実写カメラの撮像面の傾斜角度、または仮想カメラの撮像面の傾斜角度パラメータ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16