TOP > 国内特許検索 > 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム > 明細書

明細書 :多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5258049号 (P5258049)
公開番号 特開2010-200188 (P2010-200188A)
登録日 平成25年5月2日(2013.5.2)
発行日 平成25年8月7日(2013.8.7)
公開日 平成22年9月9日(2010.9.9)
発明の名称または考案の名称 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム
国際特許分類 H04N  13/02        (2006.01)
G03H   1/08        (2006.01)
H04N  15/00        (2006.01)
FI H04N 13/02
G03H 1/08
H04N 15/00
請求項の数または発明の数 8
全頁数 27
出願番号 特願2009-045000 (P2009-045000)
出願日 平成21年2月27日(2009.2.27)
審査請求日 平成23年12月16日(2011.12.16)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】大井 隆太朗
【氏名】山本 健詞
【氏名】妹尾 孝憲
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】佐野 潤一
参考文献・文献 特開平06-035392(JP,A)
特開平06-105338(JP,A)
特開平06-113339(JP,A)
特開2004-333880(JP,A)
特開2009-010557(JP,A)
調査した分野 H04N 13/02
G03H 1/08
H04N 15/00
特許請求の範囲 【請求項1】
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置であって、
前記多視点画像を生成するための元データとして、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータと、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データとの入力を受け付ける多視点画像元データ入力手段と、
前記ホログラムデータおよび前記参照光データを記憶する多視点画像元データ記憶手段と、
仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔および当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力手段と、
前記仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、
前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段と、
前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段と、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段と、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段と、
前記生成された多視点画像を出力する出力手段と、
を備えることを特徴とする多視点画像生成装置。
【請求項2】
前記回折伝搬追跡手段は、
前記ホログラム面の位置における複素振幅を、フレネル近似に基づいて、前記仮想的な多眼カメラアレイのカメラのレンズの入射面の位置における複素振幅に変換する第1フレネル変換と、
前記レンズの入射面の位置における複素振幅に前記レンズの位相シフト関数を乗算することで、前記レンズの出射面の位置における複素振幅を求める位相シフトと、
前記レンズの出射面の位置における複素振幅を、フレネル近似に基づいて、前記カメラの撮像素子の撮像面上における複素振幅に変換する第2フレネル変換とを実行することを特徴とする請求項1に記載の多視点画像生成装置。
【請求項3】
前記ホログラムは、前記ホログラム面に対して非垂直に参照光を照射して前記被写体を記録したものであり、
前記複素振幅再構成手段は、2次元配列データで記述された前記ホログラムデータと前記参照光データとを乗算することで、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項2に記載の多視点画像生成装置。
【請求項4】
前記ホログラムは、前記ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したものであり、
前記複素振幅再構成手段は、2次元配列データで記述された複数回分の前記ホログラムデータに基づいて、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項2に記載の多視点画像生成装置。
【請求項5】
前記回折伝搬追跡手段は、
前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、
前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算した積で表される第2の範囲と、
前記ホログラムから再生される妨害光の方向によって決まる妨害光角度正接に、前記第1フレネル変換の対象とする距離を乗算した積で表される第3の範囲と、
の合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする請求項3に記載の多視点画像生成装置。
【請求項6】
前記回折伝搬追跡手段は、
前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、
前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算して2倍した値で表される第4の範囲との合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする請求項4に記載の多視点画像生成装置。
【請求項7】
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置の多視点画像生成方法であって、
前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データの入力を受け付ける多視点画像元データ入力ステップと、
仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力ステップと、
前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成ステップと、
前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出ステップと、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡ステップと、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算ステップと、
前記生成された多視点画像を出力する出力ステップと、
を含んで実行することを特徴とする多視点画像生成方法。
【請求項8】
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成するために、コンピュータを、
それぞれ入力された、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段、
それぞれ入力された、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段、
として機能させるための多視点画像生成プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、任意視点画像の合成に利用される多視点画像を生成する技術に関する。
【背景技術】
【0002】
従来、任意視点画像を合成する方法が開示されている(特許文献1参照)。例えば、図10および図11に示す従来の任意視点画像表示システム101は、カメラアレイ(多眼カメラアレイ)120と、任意視点画像合成装置140と、表示装置160とを備える。カメラアレイ120は、図11に示すように平面状の格子点上に配置した複数(例えば4行5列の20台)のカメラ121を備えている。個別のカメラ121は、それぞれ接続された複数(例えば8台)のホストPC170の制御により、被写体を撮影できるように構成されている。また、水平垂直方向に並んだカメラ121は、アレイ内の全てのカメラ121と同期をとることができるように接続されている。なお、図10では、カメラ121間の配線を省略し、図11では、カメラ121間の配線の一部のみを表示した。また、図示は省略するが、カメラアレイ120は、各カメラ121を個別に載置するフレーム、または、各カメラ121を嵌入する複数の孔部を有する壁部材を備えている。
【0003】
図10に示す任意視点画像表示システム101では、カメラアレイ120の複数のカメラ121を用いて同時に複数の方向から実写の被写体空間100を撮影する。撮影された複数の2-D(2次元)画像(多視点画像)は、任意視点画像合成装置140に入力される。任意視点画像合成装置140は、入力された多視点画像を用いることで、実際にはカメラ121が存在しない任意の位置から被写体空間100を撮影した場合のカメラ画像(2-D画像)をレンダリングにより生成するという任意視点画像の合成処理を行う。レンダリングの方法は、Light Field Rendering(LFR)として一般に知られている(非特許文献1参照)。生成されたカメラ画像(2-D画像)は、表示装置160に表示される。なお、従来技術である非特許文献2については、次の発明の概要の中で述べる。
【先行技術文献】
【0004】

【特許文献1】特開平9-245195号公報
【0005】

【非特許文献1】Marc Levoy and Pat Hanrahan, “Light Field Rendering”, ACM SIGGRAPH 1996
【非特許文献2】王金戈、外3名、“実時間自由視点画像合成のためのカメラアレイシステムの構築とキャリブレーション手法の検討”、3次元画像コンファレンス、2007
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、実際に複数のカメラを格子点上に配置したカメラアレイ120を構成してみると例えば次のような問題が生じる。
1)カメラ121の配置を正確に行うことができない。
2)カメラ121の視線方向が同一にならない。
3)カメラ121の入射光量に対する応答がカメラ121間で微妙に異なる。
4)カメラ121のレンズや撮像光学系による幾何歪みが同一ではない。
つまり、各カメラ121の様々な個体差が発生する。これらを吸収するために手動で補正処理を行う必要があり、LFRを行う前段階として、正確なものとするために、時間のかかるカメラアレイキャリブレーションが必須であった(非特許文献2参照)。
【0007】
図12に、カメラ121の配置の一例を示す。図12において、符号121aで示す理想の配置にしようとしても、実際の配置は、符号121bで示すようにずれてしまう。この場合、図10に示す任意視点画像表示システム101の構成に、カメラ校正装置180(図12参照)を追加する必要がある。カメラ校正装置180は、カメラアレイキャリブレーションを行うものである。
【0008】
また、LFRで高品質な任意視点画像を合成するためにはLight Fieldのサンプリング定理で規定されるきわめて多数のカメラを配置する必要がある。しかしながら、現状では、その設置の労力やサイズの制約から、数個~数百台のカメラを配置するのが限界であるという問題があった。このことは、特にLFRを実際に応用する際の障壁となり、実写かつ高品質なLFRはその原画像を取得することも困難な状況にある。
【0009】
撮影を行う間、被写体が必ず静止していることが明らかな場合には、カメラアレイ120の代わりに、図13に示すようなコンピュータ制御の電動ステージ190上に載せた1台のカメラ121のみ(単眼カメラ)を用いて多視点画像を撮影することも可能である。この電動ステージ190は、カメラ121を設置面に平行に移動させる水平スライド部191と、鉛直方向に移動させる垂直スライド部192とを備えている。つまり、電動ステージ190は、1つのカメラ121を、カメラアレイ120上の格子点と同じ位置に移動させることができる。これにより、カメラ121を移動させながら順々に多視点画像を撮影することができる。この場合には、カメラアレイキャリブレーションを行う際に必要となる複数の処理のうち、カメラの内部パラメータはすべて同一と見なせるため、キャリブレーションは簡単になるという利点がある。
【0010】
しかしながら、この単眼カメラによる撮影には数時間を要してしまう。また、被写体が静止していることが前提なので、動物や風にそよぐ植物等を被写体とすることが困難であった。さらに、この1台のカメラ121の視線方向が、電動ステージ190の駆動方向X-Y(水平鉛直方向)に対して垂直な方向(Z方向)となることが望ましいが、そのようにはならない。すなわち、カメラ121の視線方向に関する配置精度の誤差が大きいという問題もある。なお、オリジナルのLFRの実写はこの方法で入力されており、入力には4時間かかる。このように実写の多視点画像を簡便に入力する方法は、あまり知られていない。
【0011】
ここで、CG(Computer Graphics)的なアプローチとして、何らかの方法で3-D(3次元)の構造モデル(ポリゴンやボクセルなど)とテクスチャの情報を得て、それらをワールド座標上に配置し、仮想の光源と仮想のカメラを仮定して、3-D空間情報をカメラ画像(2-D)に変換するようなレンダリングを行う方法を検討する。このCG的なアプローチによれば、実際のカメラアレイ120を構成するカメラ121の位置ずれ、カメラ121の視線方向のずれ、および、カメラ121のレンズ等のずれが生じる心配は無く、高品質な多視点画像を得ることができると考えられる。
【0012】
しかし、このCG的なアプローチでは、多視点画像の原画像がCGである場合はともかくとして、多視点画像の原画像を実写とする場合には、被写体の構造モデルを取得するだけでも多大な労力を必要とする。また、このCG的なアプローチは、仮想の照明条件(仮想の光源)を仮定することから、被写体の金属光沢のような、特定の方向にのみ鋭く放射(反射)される光の情報を多視点画像にうまく反映させることが非常に困難であるという問題があった。なお、CG作成された原画を用いて、市販のCGレンダリングソフトを用いて数百視点からなる多視点画像を作成し、その多視点画像からLFRを行うというアプローチは多くの研究者が通常用いている方法である。
【0013】
前記した問題点をまとめると次のようになる。
(問題点1)
従来の方法では、多数のカメラ121を規則的に並べたカメラアレイ120におけるカメラ121の配置精度、カメラ121の視線方向の配置精度、カメラ121の撮像素子や後段のアンプによる光に対するリニアリティの差、カメラレンズやカメラ分光系などの主として光学系の歪みに起因する、カメラアレイ120の各カメラ121間の幾何学的な歪みの形状の差などを後段の処理(例えばLFR)に影響が出ないように予め補正するキャリブレーション処理をしなければならない。
(問題点2)
実写の多視点画像を得る際に、静止したシーンの入力に用いられるコンピュータ制御の電動ステージ190を用いる場合に、カメラの視線方向の配置精度の誤差が大きく、撮影に多大な時間を要してしまう。
(問題点3)
実写の被写体空間を撮影する際に、現状では、均質かつ充分に多数の視点から見た多視点画像を得ることができないため、後段のLFRで高品質な任意視点画像を合成することができない。
【0014】
本発明は、以上のような問題点に鑑みてなされたものであり、実写映像による多視点画像を作業効率よく得ることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の多視点画像生成装置は、複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置であって、多視点画像元データ入力手段と、多視点画像元データ記憶手段と、仮想カメラパラメータ入力手段と、仮想カメラパラメータ記憶手段と、複素振幅再構成手段と、個別カメラ座標算出手段と、回折伝搬追跡手段と、輝度振幅演算手段と、出力手段とを備えることを特徴とする。
【0016】
かかる構成によれば、多視点画像生成装置は、多視点画像元データ入力手段によって、前記多視点画像を生成するための元データとして、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータと、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データとの入力を受け付け、多視点画像元データ記憶手段に、前記ホログラムデータおよび前記参照光データを記憶する。したがって、被写体空間を予め記録して得られたホログラムと、予め振幅と位相が分かっている参照光とを利用して、多視点画像をレンダリングにより生成することができる。そして、多視点画像生成装置は、仮想カメラパラメータ入力手段によって、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔および当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付け、仮想カメラパラメータ記憶手段に、前記仮想カメラパラメータを記憶する。したがって、多視点画像生成装置は、演算処理に仮想的な多眼カメラアレイを用いているので、利用者は、カメラ(仮想カメラ)の配設位置(撮像面までの距離)、画素サイズ、解像度(画素の個数)、カメラ間隔等を任意に選ぶことができる。
【0017】
そして、多視点画像生成装置は、複素振幅再構成手段によって、前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する。そして、多視点画像生成装置は、個別カメラ座標算出手段によって、前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する。したがって、多視点画像生成装置は、仮想カメラパラメータの入力に応じて、個別カメラ座標算出手段によって、各カメラの撮像素子の撮像面における画素単位の正確な位置を、ホログラム面を基準とした座標上に数値によりマッピングすることができる。ここで、仮想カメラパラメータには、例えばカメラレンズの画角等も含むことができる。そして、多視点画像生成装置は、回折伝搬追跡手段によって、前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する。そして、多視点画像生成装置は、輝度振幅演算手段によって、前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する。そして、多視点画像生成装置は、出力手段によって、前記生成された多視点画像を出力する。この多視点画像生成装置によれば、一度記録したホログラムから、例えば、カメラ間隔、カメラレンズの画角、解像度等の複数のパラメータの異なる多視点画像を生成することも可能である。
【0018】
また、多視点画像生成装置は、回折伝搬追跡手段によって、ホログラム面上の光を、光線ではなく波として捉えるアプローチにより追跡する。例えば、仮想的な多眼カメラアレイを構成するカメラのレンズ前後の光の伝搬の様子を、従来の幾何光学によればピンホールカメラモデルでとらえるが、本発明は、物体光の回折を含むように計算する、すなわち、回折現象まで考慮したモデルで計算するため、実写の3次元の被写体空間に対する、よりシャープな像を出力することが可能となる。一方、従来の2眼式や多眼式のようなインコヒーレント光を用いる立体表示方式では、空間で光線を集めてもシャープな映像を得ることはできない。その理由は、光のインコヒーレントな重ね合わせは強度の重ね合わせとなるため、重ね合わせ後の光線幅は、元の光線が持つ広がりよりも狭くなることは無いからである。これに対して、本発明で利用するホログラムに代表されるコヒーレント光を用いる方式では、光の位相成分をも制御するため、空間に光をシャープに集光できる。光のコヒーレントな重ね合わせでは、ベクトル量としての重ね合わせが起こるため、同位相での光の重ね合わせほど鋭い光分布を生じさせることができる。
【0019】
また、請求項2に記載の多視点画像生成装置は、請求項1に記載の多視点画像生成装置おいて、前記回折伝搬追跡手段が、前記ホログラム面の位置における複素振幅を、フレネル近似に基づいて、前記仮想的な多眼カメラアレイのカメラのレンズの入射面の位置における複素振幅に変換する第1フレネル変換と、前記レンズの入射面の位置における複素振幅に前記レンズの位相シフト関数を乗算することで、前記レンズの出射面の位置における複素振幅を求める位相シフトと、前記レンズの出射面の位置における複素振幅を、フレネル近似に基づいて、前記カメラの撮像素子の撮像面上における複素振幅に変換する第2フレネル変換とを実行することを特徴とする。
【0020】
かかる構成によれば、多視点画像生成装置は、回折伝搬追跡手段によって、ホログラム面から仮想的な多眼カメラアレイまでの光伝搬に、現実の多眼カメラアレイまでの光伝搬の適用領域であるフレネル回折領域を用いた演算処理を行う。つまり、多視点画像生成装置は、フーリエ変換ホログラムとして知られるフラウンフォーファー回折領域ではなく、フレネル回折領域を用いた演算処理を行うので、仮想的な多眼カメラアレイの各カメラの画像を、より広い奥行き範囲において安定的に得ることができる。
【0021】
また、請求項3に記載の多視点画像生成装置は、請求項2に記載の多視点画像生成装置おいて、前記ホログラムが、前記ホログラム面に対して非垂直に参照光を照射して前記被写体を記録したものであり、前記複素振幅再構成手段が、2次元配列データで記述された前記ホログラムデータと前記参照光データとを乗算することで、前記ホログラム面上における複素振幅を再構成することを特徴とする。
【0022】
かかる構成によれば、多視点画像生成装置は、ホログラム面に対して非垂直に参照光を照射して記録したホログラム、すなわち、ホログラム記録による妨害2成分が発生するタイプのホログラムを用いて複素振幅を再構成する。したがって、仮想的な多眼カメラアレイを構成するカメラをどこに配置すると妨害光が入り込むかを予め知ることができる。
そのため、カメラ配置等の仮想カメラパラメータの入力を受け付ける際に、利用者によって、妨害光が入り込む位置を指定された場合に、ユーザインタフェースにワーニングを出す等の対処が可能である。
【0023】
また、請求項4に記載の多視点画像生成装置は、請求項2に記載の多視点画像生成装置おいて、前記ホログラムが、前記ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したものであり、前記複素振幅再構成手段が、2次元配列データで記述された複数回分の前記ホログラムデータに基づいて、前記ホログラム面上における複素振幅を再構成することを特徴とする。
【0024】
かかる構成によれば、多視点画像生成装置は、ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法で記録したホログラム、すなわち、ホログラム記録による妨害光が原理的には発生しないタイプのホログラムを用いて位相シフトデジタルホログラフィ法で複素振幅を再構成する。したがって、多視点画像生成装置は、妨害光が原理的には発生しないタイプのホログラムを用いるので、利用者から、自由なカメラ配置の仮想カメラパラメータの入力を受け付けることが可能である。
【0025】
また、請求項5に記載の多視点画像生成装置は、請求項3に記載の多視点画像生成装置おいて、前記回折伝搬追跡手段が、前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算した積で表される第2の範囲と、前記ホログラムから再生される妨害光の方向によって決まる妨害光角度正接に、前記第1フレネル変換の対象とする距離を乗算した積で表される第3の範囲と、の合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする。
【0026】
かかる構成によれば、多視点画像生成装置は、ホログラム面に対して非垂直に参照光を照射して記録したホログラム、すなわち、ホログラム記録による妨害2成分が発生するタイプのホログラムを用いたときに、回折伝搬追跡手段によって、フレネル変換の計算範囲を、第1の範囲と第2の範囲と第3の範囲との合計の領域とするので、ホログラム面全体を計算対象とする場合と比べて計算対象範囲が狭いので、多視点画像を高速に生成することができる。ここで、第1の範囲のレンズ開口の大きさとは、開口が円形であれば、その直径を示し、円形以外であれば、水平垂直方向の長さを示す。
【0027】
また、請求項6に記載の多視点画像生成装置は、請求項4に記載の多視点画像生成装置おいて、前記回折伝搬追跡手段が、前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算して2倍した値で表される第4の範囲との合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする。
【0028】
かかる構成によれば、多視点画像生成装置は、ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したホログラムを用いたときに、回折伝搬追跡手段によって、フレネル変換の計算範囲を、第1の範囲と4の範囲との合計の領域とするので、ホログラム面全体を計算対象とする場合と比べて計算対象範囲が狭いので、多視点画像を高速に生成することができる。
【0029】
また、請求項7に記載の多視点画像生成方法は、複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置の多視点画像生成方法であって、多視点画像元データ入力ステップと、仮想カメラパラメータ入力ステップと、複素振幅再構成ステップと、個別カメラ座標算出ステップと、回折伝搬追跡ステップと、輝度振幅演算ステップと、出力ステップとを含んで実行することを特徴とする。
【0030】
かかる手順によれば、多視点画像生成装置は、多視点画像元データ入力ステップにて、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データの入力を受け付ける。そして、多視点画像生成装置は、仮想カメラパラメータ入力ステップにて、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける。これら、多視点画像元データ入力ステップと、仮想カメラパラメータ入力ステップとは、多視点画像の演算処理の前に予め行われる。ここで、1つのホログラムに対してホログラムデータおよび参照光データが1度入力されていれば、多視点画像生成装置は、ホログラムに対して指定された仮想カメラパラメータを用いて、多視点画像の演算処理を行うので、仮想カメラパラメータの値を様々に変更して入力することで、利用者が所望する様々な多視点画像を生成することができる。
【0031】
そして、多視点画像生成装置は、複素振幅再構成ステップにて、前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する。そして、多視点画像生成装置は、個別カメラ座標算出ステップにて、前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する。そして、多視点画像生成装置は、回折伝搬追跡ステップにて、前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する。そして、多視点画像生成装置は、輝度振幅演算ステップにて、前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する。そして、多視点画像生成装置は、出力ステップにて、前記生成された多視点画像を出力する。
【0032】
また、請求項8に記載の多視点画像生成プログラムは、複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成するために、コンピュータを、複素振幅再構成手段、個別カメラ座標算出手段、回折伝搬追跡手段、輝度振幅演算手段として機能させるためのプログラムとした。
【0033】
また、請求項8に記載の多視点画像生成プログラムは、複素振幅再構成手段によって、それぞれ入力された、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する。そして、多視点画像生成プログラムは、個別カメラ座標算出手段によって、それぞれ入力された、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する。そして、多視点画像生成プログラムは、回折伝搬追跡手段によって、前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する。そして、多視点画像生成プログラムは、輝度振幅演算手段によって、前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する。
【発明の効果】
【0034】
本発明によれば、仮想的な多眼カメラアレイを用いて演算処理を行うので、実写の被写体空間に対して多視点画像を得る際に、物理的に多数のカメラを空間中に配置した場合に問題となるような、各カメラの位置ずれや特性差の影響を排除し、多数かつ均質な多視点画像を提供することができる。その結果、従来行っていたキャリブレーション処理を不要とする。また、本発明によれば、演算により正確なカメラの視線方向からの多視点画像を得られるので、例えば、LFRで使用するときに都合がよい。
【図面の簡単な説明】
【0035】
【図1】本発明の実施形態に係る多視点画像生成装置の構成例を示すブロック図である。
【図2】本発明の実施形態に係る多視点画像生成装置を含む任意視点画像表示システムを概念的に示す説明図である。
【図3】図2に示す任意視点画像表示システムにおける作業の流れを示すフローチャートである。
【図4】演算処理によるホログラムの記録について概念的に示す説明図である。
【図5】演算処理によるホログラムの再生について概念的に示す説明図である。
【図6】図1に示すユーザインタフェース部の説明図であって、(a)はホログラム面上に原点を有する座標系、(b)は仮想カメラパラメータの入力画面表示例をそれぞれ示している。
【図7】図1に示す回折伝搬追跡手段の演算処理を概念的に示す説明図である。
【図8】図7に示す第1および第2フレネル変換の計算を行うフレネル領域の目安として一般に用いられている指標を示す説明図である。
【図9】図1に示す多視点画像生成装置における処理の流れを示すフローチャートである。
【図10】従来の任意視点画像表示システムを概念的に示す説明図である。
【図11】図10に示すカメラアレイの説明図である。
【図12】従来の任意視点画像表示システムにおけるカメラ校正を概念的に示す説明図である。
【図13】従来の任意視点画像表示システムの問題点を概念的に示す説明図である。
【発明を実施するための形態】
【0036】
本発明の多視点画像生成装置および多視点画像生成方法を実施するための形態(以下「実施形態」という)について図面を参照して説明する。以下では、説明の都合上、まず、多視点画像生成装置を含む任意視点画像表示システムと、多視点画像生成装置で用いるホログラムの記録および再生原理について述べた後、多視点画像生成装置の第1実施形態および第2実施形態について順次説明することとする。

【0037】
[任意視点画像表示システム]
図2に示すように、任意視点画像表示システム1は、現実には存在しない仮想カメラアレイ(仮想的な多眼カメラアレイ)20を用いる多視点画像生成装置10と、ホログラム30と、任意視点画像合成装置140と、表示装置160とを備える。
多視点画像生成装置10は、任意視点画像合成装置140に対して入力する多視点画像を演算処理により生成するものである。この生成された多視点画像をGと表記する。
仮想カメラアレイ20には、複数の仮想カメラ(以下、単にカメラ21という)が配置されている。
ホログラム30は、ホログラフィにより被写体を記録したものである。なお、以下では、静止画を対象として説明する。
任意視点画像合成装置140は、多視点画像Gを用いて2次元表示用の任意視点画像を合成するものである。
表示装置160は、合成された任意視点画像を2次元表示するものであり、例えば、液晶モニタから構成される。

【0038】
図3に示すように、任意視点画像表示システム1における全体の作業の流れは以下の通りである(適宜図2参照)。まず、事前に、多視点画像として撮影したい被写体空間100(図2参照)をホログラム30として記録しておく(ステップS1)。ここで、被写体空間100は、通常の3次元空間であるので、3-D情報を有している。ホログラム30の記録方法は任意である。そして、本発明の実施形態に係る多視点画像生成装置10は、記録されたホログラム(実写データ)と、参照光データとから、ユーザ所望の多視点画像Gを生成し(ステップS2)、生成した多視点画像Gを任意視点画像合成装置140に入力する(ステップS3)。任意視点画像合成装置140は、LFR等のレンダリングにより、ユーザ所望の視点から視た2次元画像を生成する(ステップS4)。そして、表示装置160は、合成された任意視点の2次元画像(2-D画像)を表示する(ステップS5)。

【0039】
[ホログラムの記録および再生原理]
ホログラムの記録と再生は、電子的な手段により行われるため、干渉縞は平面的に記録される。つまり、ホログラムの分類上は、“薄いホログラム”である。なお、記録の方式は“振幅ホログラム”、“位相ホログラム”のいずれでもよい。

【0040】
ここでは、振幅ホログラムとして、CCD(Charge Coupled Device)撮像素子やCMOS撮像素子等の撮像素子でホログラムの干渉縞の輝度振幅を記録する場合について、図4および図5を参照して説明する。ここでは、一例として、Off-Axisの方法でホログラムの記録を行うものとする。この方法では、平面波である参照光を、ホログラムから参照光を視た仰角をホログラム30の法線方向に対して+θだけずらした方向から入射させる。なお、この例では、垂直方向に傾きのある参照光を示すが、水平方向に傾きのある参照光を照射することもできる。

【0041】
<ホログラムの記録>
図4に、物体の一例として、りんごを図示した。ホログラム30への記録対象の物体光(物体光データO)は、複素振幅(振幅情報と位相情報)を持ち、参照光(参照光データR)も複素振幅を持つ。しかし、CCD撮像素子等の撮像素子は、振幅情報のみを撮影できるため、得られたホログラム30(ホログラムデータH)は、振幅情報だけを持つことになる。

【0042】
<ホログラムの再生>
図5に、得られたホログラムデータHと参照光データRとから、元の物体光の複素振幅を再生する様子を示す。ここでは、薄いホログラムの記録および再生理論に基づき、図4に示したものと同じホログラム30に記録時と同様の波面形状の参照光を照射する。なお、演算処理では、2次元の配列データであるホログラムデータHと参照光データRとを掛け合わせることとなる。参照光を照射するときの現象は、式(1)のように記述できる。

【0043】
【数1】
JP0005258049B2_000002t.gif

【0044】
この場合、式(1)の右辺第2項に示すように、物体光成分O|R|2が再生されてくる。ここで所望の物体光以外に、式(1)の右辺第1項および第3項に示す2成分が再生されてくるが、これらは本来の物体光には含まれない妨害成分(妨害光)であるために、ホログラムから、多視点画像Gを得る際には使用しない。

【0045】
図4および図5に示す例において、予め、参照光をホログラムの法線方向に対して+θだけずらした方向から入射させたので、これにより、これら妨害2成分を分離することが可能となる。すなわち、このようにすれば、透過光(妨害光)は、ホログラムから透過光の進行方向に視たときにホログラム30の法線方向に対して-θの方向に発生する。また、共役光(妨害光)は、同様に-2θの方向に発生する。そのため、妨害2成分と物体光とは空間的な分離が可能である。つまり、多視点画像Gを、-θよりも上の位置(-θ<x<+π/2)で作成している限り、妨害光が多視点画像Gにかぶることはなく、被写体空間からホログラム方向へ飛来した物体光が正確に得られる。なお、xは、ホログラムから透過光の進行方向に視たときにホログラムの法線方向となす角度(ラジアン)である。

【0046】
[多視点画像生成装置]
(第1実施形態)
次に、図2の任意視点画像表示システム1における多視点画像生成装置10の構成について図1を参照(適宜、図2および図4~図8参照)して説明する。
多視点画像生成装置10は、全体処理として、ホログラム30(図2参照)から、正確に決められたピッチの多視点画像Gを生成する。具体的には、グレースケール(10bit階調:0~1023)の2次元配列データであるホログラムデータH、複素数(2つ1組のfloat型、double型など)の2次元配列データである参照光データRおよび仮想カメラパラメータ(画素数、画素サイズおよびカメラ間隔データ)Vから多視点画像Gを出力する。

【0047】
このために、多視点画像生成装置10は、CPU(Central Processing Unit)等の演算装置と、メモリ等の記憶装置と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、入力または出力される各種情報の送受信を行うインタフェース装置と、LCD(Liquid Crystal Display)等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。

【0048】
第1実施形態の多視点画像生成装置10では、Off-Axisの方法で記録再生されるホログラム30(図4参照)を用いることとする。すなわち、振幅ホログラムとして平面に記録されたホログラム30は、ホログラム面に対して非垂直に参照光を照射して被写体を記録したものである。

【0049】
図1に示すように、多視点画像生成装置10は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより、ユーザインタフェース部11と、記憶部13と、処理部15と、出力部17とが実現される。

【0050】
<ユーザインタフェース部>
ユーザインタフェース部11は、マウスやキーボード等の入力装置Mから各種情報(データやコマンド)の入力を受け付け、処理結果や入力画面表示等を、液晶ディスプレイ等の表示装置Dに出力するインタフェース装置である。ここでは、ユーザインタフェース部11は、多視点画像元データ入力手段111と、仮想カメラパラメータ入力手段112とを備えることとした。

【0051】
多視点画像元データ入力手段111は、多視点画像Gを生成するための元データとして、ホログラムデータHと参照光データRとの入力を受け付けるものである。
ホログラムデータHは、被写体を記録したホログラム30のホログラム面における物体光としての複素振幅(振幅および位相の情報)を抽出(再生)するためのデータである。
参照光データRは、ホログラム30を撮影(記録)したときの参照光としての複素振幅(振幅および位相の情報)を示すデータである。

【0052】
仮想カメラパラメータ入力手段112は、仮想カメラアレイ20(図2および図6参照)に関するパラメータ(仮想カメラパラメータV)の入力を受け付けるものである。この仮想カメラパラメータ入力手段112は、コンピュータに対してマウスやタッチパネルなどのポインティングデバイスを用いてデータを入力するGUI(グラフィカル・ユーザ・インタフェース)を含み、このポインティングデバイスの操作位置座標を処理部15に入力する。これにより、処理部15は、仮想カメラパラメータ入力手段112から入力された操作位置座標に基づいて、パラメータ値を更新して表示装置Dに出力する。

【0053】
図6に示す仮想カメラアレイ20は、実際には存在しないが、カメラアレイ120(図10参照)が仮想的に存在しているものとして想定した仮想的な多眼カメラアレイであり、カメラアレイ120と同様に複数の仮想的なカメラ21(以下、単にカメラ21という)を備えている。カメラ21は、図7に示すように、例えば、撮像素子22と、フォーカスレンズ23と、アイリス24と、開口25とを備えているものとする。

【0054】
図1に示す仮想カメラパラメータVは、例えば、撮像素子22の撮像面221上の画素の個数(画素数)、画素のサイズ(画素サイズ)、カメラ21の間隔(カメラピッチP)、ホログラム30のホログラム面31から撮像面221までの距離(Z座標距離)を含む。

【0055】
<記憶部>
図1に示すように、記憶部13は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等からなる。記憶部13は、プログラム記憶領域、データ記憶領域、一時記憶領域、演算結果記憶領域等に区分され、コマンド、データ、プログラム等各種情報を記憶する。ここでは、記憶部13は、多視点画像元データ記憶手段131と、仮想カメラパラメータ記憶手段132とを備えることとした。

【0056】
多視点画像元データ記憶手段131は、ホログラムデータHおよび参照光データRを記憶するものであり、一般的なメモリやハードディスク等から構成される。
仮想カメラパラメータ記憶手段132は、仮想カメラパラメータを記憶するものであり、一般的なメモリやハードディスク等から構成される。

【0057】
<処理部>
処理部15は、図1に示すように、複素振幅再構成手段151と、個別カメラ座標算出手段152と、回折伝搬追跡手段153と、輝度振幅演算手段154とを備えることとした。以下、処理部15の各手段について数式等を用いて詳細に説明する。

【0058】
≪複素振幅再構成手段≫
複素振幅再構成手段151は、ホログラムデータHおよび参照光データRから、ホログラム30のホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成するものである。第1実施形態では、複素振幅再構成手段151は、前記した式(1)に基づいて、2次元配列データで記述されたホログラムデータHと参照光データRとを乗算することで、ホログラム面上における複素振幅を再構成する。

【0059】
具体的には、複素振幅再構成手段151では、ホログラムデータHのうち、デジタイズ(Digitize)されたホログラムの振幅情報(複素振幅で表現すると位相項が全てゼロである。これをあらためてHと表記する。)と、予め複素振幅が分かっている参照光データR
との積を複素数領域においてとることにより、物体光の複素振幅を得る。

【0060】
≪個別カメラ座標算出手段≫
図1に示す個別カメラ座標算出手段152は、仮想カメラパラメータに基づいて、ホログラム面を基準とした座標上において、カメラ21の撮像素子22の撮像面221(図7参照)における画素の位置座標を算出するものである。

【0061】
個別カメラ座標算出手段152では、図6(a)に示すように、ホログラム30の中央を原点として、ホログラム法線方向をZ座標とするようなXYZ直交座標系において、理想的なレンズ付きカメラ(またはピンホールカメラ)として定義されるカメラ21の撮像面上にある画素の座標を、仮想カメラパラメータVとして入力された数値から正確に算出する。

【0062】
個別カメラ座標算出手段152が画素の位置座標を算出するのは、図6(a)に示すように、仮想カメラアレイ20を構成する個別のカメラ21(要素カメラ)の画素値を求めるために、ホログラム30から見た座標系でカメラ21の座標を特定する必要があるからである。ホログラム30から、仮想カメラアレイ20の個別のカメラ21までの光の伝搬の様子は、後記するように、回折伝搬追跡手段153により行う。この際に、ホログラム30-カメラ21間の具体的な距離(Z座標距離、単位:メートル)などの値が必要となる。

【0063】
そこで、多視点画像生成装置10は、図6(b)に入力画面表示200の一例を示すように、例えばGUI上から所望する仮想カメラアレイ20のスペックを入力可能とした。
この入力画面表示200の例では、仮想カメラパラメータVとして、カメラ数201、カメラピッチ(カメラの間隔)201、Z座標距離203、解像度(画素数)204、レンズ焦点(距離)205、画素サイズ206を指定できるものとした。

【0064】
多視点画像生成装置10は、図6(b)に示すような入力画面表示200を表示し、利用者によって指定された仮想カメラパラメータVの入力を受け付けると、個別カメラ座標算出手段152によって、図6(a)に示す座標系において、画素の具体的な位置座標(x,y)を算出し、ホログラム30から、多視点画像Gへのレンダリングを可能な状態にする。この例では、仮想カメラアレイ20は、平行カメラであると仮定する。すなわち、カメラ21は、格子状に並んだ視線方向が、全てホログラム面の法線方向である。

【0065】
利用者(ユーザ)が記述する情報は、仮想カメラアレイ20のカメラ21の画素数、カメラ画素サイズ、および水平垂直のカメラ間隔、といった所望の情報(直接的なデータ)を記述する。なお、ユーザは、必要に応じて、ホログラムの撮影方法や、途中の間接的なデータの情報を記述してもよい。

【0066】
第1実施形態の場合、Off-Axisの方法で記録再生されるホログラム30(図4参照)を用いるので、複素振幅再構成手段151においてOff-Axis型の再構成を行うことができるように、GUIは次の仕組みを有することとする。すなわち、ユーザが仮想カメラアレイ20の個別のカメラ21(図6(a)参照)を配置できない位置を指定しようとした場合には、GUIで選択不可とする、または、エラーを返す。なお、図6(b)に入力画面表示200は一例であって、カメラ座標を1つ1つ入力するように構成することも可能である。ただし、カメラ数が多くなってきた場合には、多数のカメラ座標を1つ1つ入力するタイプの代わりに、入力画面表示200のように、多数のカメラ座標を自動で計算できるようにすることが好ましい。また、仮想カメラアレイ20としてレンズ付きカメラを想定する場合には、入力画面表示200の符号205で示すように、レンズ焦点距離(例えば50mm)やアイリスの情報(例えば、F値=「f4」)もここで入力可能に構成する。

【0067】
≪回折伝搬追跡手段≫
次に、図1および図7を参照(適宜図6参照)しながら、回折伝搬追跡手段153の詳細を説明する。図7では、XZ平面(垂直方向)で光の伝搬を示している。図示を省略するが、同様に、YZ平面(水平方向)でも光が伝搬する。
この回折伝搬追跡手段153は、複素振幅再構成手段151によりホログラム面31上に再構成された複素振幅で表される物体光が仮想カメラアレイ20まで伝搬する際に、物体光の回折を含むように各カメラ21の撮像素子22の撮像面221上における複素振幅を画素ごとに算出するものである。

【0068】
回折伝搬追跡手段153は、ホログラム面上での物体光の複素振幅をもとにして、図6(a)に示すようなホログラムを基準としてみた直交座標上において、カメラ21内の各画素の位置(カメラ21の撮像面221上にある画素の座標)における物体光の複素振幅を、次の式(2)および式(3)を用いることで、光の回折現象も含んだ精緻な光線追跡を行う。式(2)は、フレネルキルヒホッフ回折積分のフレネル領域における近似式(フレネル変換(Fresnel diffraction)の近似式)であり、式(3)は、カメラレンズによる光の位相成分の変調を表した式である。

【0069】
【数2】
JP0005258049B2_000003t.gif

【0070】
式(2)において、In(x0,y0)はフレネル回折前の振幅と位相(複素振幅)であり、Out(x,y)はフレネル回折後の振幅と位相(複素振幅)である。zはフレネル回折の際の伝搬距離である。λは対象となる光の波長である。(x0,y0)はフレネル回折の始点(ホログラム上を出発する光点の座標やレンズ通過後の光点の座標)であり、(x,y)はフレネル回折の終点(レンズ入射前の光点の座標や仮想カメラ上での画素の座標)である。なお、eは自然対数の底である。

【0071】
【数3】
JP0005258049B2_000004t.gif

【0072】
式(3)において、In2(x,y)は位相変調前の振幅と位相(複素振幅)であり、Out2(x,y)は位相変調後の振幅と位相(複素振幅)である。fはレンズの焦点距離であり、λは対象とする光の波長である。(x,y)はレンズ中心を原点とした座標であり、eは自然対数の底である。

【0073】
図7に示すように、ホログラム30を出発する光は、第1段階として、フォーカスレンズ23に到達する。次いで、第2段階として、この光はフォーカスレンズ23により位相項のみの変調を受ける。この際、振幅成分は変調を受けないような透過率100%の理想的なレンズを計算により仮定することが可能である。さらに、第3段階として、フォーカスレンズ23を通過した光は、さらにカメラ21の撮像素子22まで伝搬する。そのため、本実施形態では、第1~第3段階に対応して、図1に示す回折伝搬追跡手段153は、第1フレネル変換と、位相シフトと、第2フレネル変換とを実行する。第1フレネル変換は、ホログラム30とフォーカスレンズ前玉の間の光の伝搬を表す。位相シフトはフォーカスレンズ23おける光の位相変調を表す。第2フレネル変換は、フォーカスレンズ23と撮像素子22との間の光の伝搬を表す。表1は、回折伝搬追跡手段153が実行する処理に用いる座標と、光の伝搬位置とに対応した複素振幅(振幅情報、位相情報)の表式を例示するものである。

【0074】
【表1】
JP0005258049B2_000005t.gif

【0075】
図1に示す回折伝搬追跡手段153による処理を、以下の1)~3)に分けて説明する。
1)第1フレネル変換
第1フレネル変換では、前記した式(2)は、式(2a)のように書き換えられる。すなわち、第1フレネル変換は、ホログラム30のホログラム面31(図7参照)の位置における複素振幅In1(x0,y0)を用いて、フレネル回折により、仮想カメラアレイ20のカメラ21のフォーカスレンズ23の入射面の位置231における複素振幅Out1(x1,y1)を求める。第1フレネル変換において、Z軸方向の伝搬距離Z1はホログラム30とフォーカスレンズ前玉の距離である。なお、Z軸方向の伝搬距離Z1は図6(b)に示すZ座標距離と、焦点距離との差を示す。

【0076】
【数4】
JP0005258049B2_000006t.gif

【0077】
ホログラム30(図7参照)が発生する妨害光を取り込まないようにする必要があるため、図1に示す回折伝搬追跡手段153による第1フレネル変換の計算対象となる範囲W1(W)は、次の式(4)のように決定する。

【0078】
【数5】
JP0005258049B2_000007t.gif

【0079】
式(4)の右辺第1項のDは、図7に示す仮想カメラアレイ20のカメラ21の開口25(フォーカスレンズ開口)の大きさを示す。ここでは、開口25を円形とするので、Dは開口の直径を示す。式(4)の右辺第2項は、ホログラムの最大回折角度θmaxによる限界、第3項は透過光(妨害光)成分を排除するための限界を示す。最大回折角度θmax(=tan-1(λ/2p))は、ホログラム30の記録時の水平垂直方向のサンプリングピッチpと光の波長λによって決まる。また、zは、ホログラム面31上の物体光の起点から撮像面221までの距離のうち第1フレネル変換の対象とする距離(Z1)を示す。第3項の妨害光角θrefは、ホログラム30から再生される妨害光の方向によって決まる。このように、図1に示す回折伝搬追跡手段153による第1フレネル変換の計算対象となる範囲W1(W)は、式(4)で決定されているので、ホログラム面全体を計算対象とした場合と比較して高速に演算結果を得ることができる。

【0080】
2)位相シフト
位相シフトは、第1フレネル変換の結果である複素振幅Out1(x1,y1)をフォーカスレンズ23(図7参照)により変調する。ここで、複素振幅Out1(x1,y1)を、あらためて、複素振幅In2(x2,y2)と表記することとする。これらは同じものであるが、複素振幅In2(x2,y2)は、位相シフト後の複素振幅Out2(x2,y2)とセットで変調前後を示すこととした(表1参照)。また、ここでは、図6(a)の座標系を、フォーカスレンズ23のレンズ中心を原点とする座標(x2,y2)に一旦変更した。それは、式(3)に示すように焦点距離fなる凸レンズでは、レンズ中心からの距離に応じて位相の変化量が大きくなるような変調を受け、位相シフトの計算は、開口25(フォーカスレンズ開口)上の各点(x,y)について行えばよいからである。この場合、位相シフトでは、前記した式(3)は、式(3a)のように書き換えられる。すなわち、位相シフトは、フォーカスレンズ23の入射面の位置231における複素振幅In2(x2,y2)に、フォーカスレンズ23の位相シフト関数を乗算することで、フォーカスレンズ23の出射面232の位置における複素振幅Out2(x2,y2)を求める。

【0081】
【数6】
JP0005258049B2_000008t.gif

【0082】
3)第2フレネル変換
第2フレネル変換は、フォーカスレンズ23(図7参照)通過後の物体光の複素振幅Out2(x2,y2)を、前記した式(2)における起点の複素振幅In(x0,y0)として用いて、カメラ21の撮像素子22の表面での複素振幅Out(x,y)をフレネル回折により求める。ここで、第2フレネル変換の計算対象となる範囲は、仮想カメラアレイ20のカメラ21の開口25の領域(その垂直方向の長さはD)である。

【0083】
この第2フレネル変換は、位相シフトの結果である複素振幅Out2(x2,y2)を用いて、フレネル回折により、撮像面221上における複素振幅を求めるので、複素振幅Out2(x2,y2)を、あらためて、複素振幅In3(x3,y3)と表記することとする。これらは同じものであるが、複素振幅In3(x3,y3)は、フレネル回折後の複素振幅Out3(x,y)とセットで第2フレネル変換の前後を示すこととした(表1参照)。なお、(x3,y3)は、レンズ中心を原点とする座標系から、図6(a)の座標系に戻したことを示す。これにより、第2フレネル変換では、前記した式(2)は、式(2b)のように書き換えられる。すなわち、第2フレネル変換は、フォーカスレンズ23の出射面232の位置における複素振幅In3(x2,y2)を用いて、フレネル回折により、カメラ21の撮像素子22の撮像面221上における複素振幅Out3(x,y)を求める。

【0084】
また、第2フレネル変換において、Z軸方向の伝搬距離z(Z2)は、カメラ21(図7参照)のフォーカスを被写体空間のどの位置に合わせたかに相当し、計算により求めることが可能である。例えば無限遠にピントを合わせた状態においては、伝搬距離z=fとなる。つまり、この場合、第2フレネル変換において、Z軸方向の伝搬距離zはフォーカスレンズ23と撮像面221との距離となる。

【0085】
【数7】
JP0005258049B2_000009t.gif

【0086】
図1に示す回折伝搬追跡手段153では、以上のように解析的に光の伝搬を求めることにより、撮像素子22の撮像面221(図7参照)での物体光の複素振幅を得ることができる。なお、光の伝搬を計算する際、フレネル領域で計算を行う目安として、図8に示す指標が一般に用いられている。これは、計算領域に対して伝搬距離zが十分に遠ければ、より簡便なフラウンフォーファー領域の近似にて計算しても差し支えないが、それよりも近い、より現実的な領域ではフレネル近似を用いる必要があるということである。

【0087】
≪輝度振幅演算手段≫
図1に示すように、輝度振幅演算手段154は、回折伝搬追跡手段153により画素ごとに算出された物体光の複素振幅Out3(x,y)から物理的なカメラ121(図10参照)で撮影が可能な輝度振幅Amp(x,y)を演算し、この画素ごとに演算された物体光の輝度振幅Amp(x,y)を合わせることで、被写体の多視点画像Gを生成するものである。

【0088】
この輝度振幅演算手段154は、複素振幅の位相情報を排除した振幅情報(現実のカメラにおいて撮影が可能な画素値情報)を、式(5)で演算する。

【0089】
【数8】
JP0005258049B2_000010t.gif

【0090】
式(5)において、Re(x,y)は、前記した式(2b)の複素振幅Out3(x,y)の実数部である(スカラー量)。また、Im(x,y)は、同様に式(2b)の複素振幅Out3(x,y)の虚数部である(スカラー量)。Amp(x,y)は、画素の輝度振幅値となる(スカラー量)。(x,y)は仮想カメラ上での画素の座標である。この輝度振幅演算手段154は、画素ごとの輝度振幅値を多視点画像Gとして生成する。

【0091】
<出力部>
図1に示すように、出力部(出力手段)17は、輝度振幅演算手段154により生成された多視点画像Gを任意視点画像合成装置140に出力するものであり、一般的な出力インタフェースや通信インタフェースにより構成される。

【0092】
[多視点画像生成装置の動作]
次に、多視点画像生成装置10の動作について図9を参照(適宜図1および図6参照)して説明する。多視点画像生成装置10は、多視点画像元データ入力手段111によって、ホログラムデータおよび参照光データの入力を受け付ける(ステップS21:多視点画像元データ入力ステップ)。そして、多視点画像生成装置10は、仮想カメラパラメータ入力手段112によって、仮想カメラパラメータの入力を受け付ける(ステップS22:仮想カメラパラメータ入力ステップ)。このとき、例えば、図6(b)の入力画面表示200を表示する。

【0093】
そして、多視点画像生成装置10は、複素振幅再構成手段151によって、前記した式(1)によりホログラム面上の物体光の複素振幅を再構成し(ステップS23:複素振幅再構成ステップ)、個別カメラ座標算出手段152によって、各カメラ21(仮想カメラ)の画素の位置座標を算出する(ステップS24:個別カメラ座標算出ステップ)。そして、多視点画像生成装置10は、回折伝搬追跡手段153によって、前記した式(2a)、式(3a)、式(3b)により、ホログラム面から仮想カメラアレイへ伝搬した物体光の複素振幅を画素ごとに算出する(ステップS25:回折伝搬追跡ステップ)。そして、多視点画像生成装置10は、輝度振幅演算手段154によって、前記した式(5)により画素ごとに輝度振幅に変換し、合成して多視点画像Gを生成する(ステップS26:輝度振幅演算ステップ)。多視点画像生成装置10は、出力部17により多視点画像Gを出力する(ステップS27:出力ステップ)。

【0094】
従来、撮影された多視点画像を入力として用いる画像処理方法は、LFRの他、奥行き画像の生成や、パノラマ画像の作成など様々なものが存在しているが、その原画像として、高精度なものはCGで作成する原画であり、次に精度のよい原画像は電動ステージと単眼のカメラにより時間をかけて被写体シーンを入力したものであった。実写の動画に適用するためにはカメラアレイが必要であるが、これを現実に構築すると、カメラアレイ特有の調整箇所の多さゆえに、多大な労力をかけたキャリブレーションが必要であった。しかしながら、第1実施形態の多視点画像生成装置10によれば、仮想カメラアレイ20を用いているので、最終的に現実のカメラアレイ120の個別のカメラ121の位置ずれや特性差の影響を排除し、より簡単に精度の良い多視点画像Gを得ることができる。

【0095】
また、第1実施形態の多視点画像生成装置10によれば、多眼カメラ特有のパラメータ(カメラ配置の間隔など)をGUI等のユーザインタフェースから入力することにより、個別カメラ座標算出手段152によって、物理的なカメラを並べる際には極めて難しいレベルまで精度良く、仮想カメラを配列することができる。したがって、様々な種類、かつ、同等な品質で多視点画像Gを作れるので、多数かつ均質な多視点画像Gを提供することができる。

【0096】
また、第1実施形態の多視点画像生成装置10を用いれば、実写による任意視点画像の合成、自由視点テレビの映像入力、立体映像表示サービス、電子ホログラフィにより撮影された映像の方式変換や既存の多眼表示装置での再生を容易に行うことができる。ここで、立体映像の表示装置には、2-Dディスプレイ+マウス、ヘッドマウントディスプレイ(2-D)+磁気センサによる頭位置の検出装置、2眼立体(水平)、8眼立体(水平)、9眼斜めレンチキュラー(水平+垂直)、多眼立体、ホログラフィなどが含まれる。さらに、電子的な手段により撮影されたホログラムデータを有効に使用して(所謂ダウンサンプリングすることに相当)、2~30眼程度の既に実用が可能なメガネ無し立体表示装置に表示可能な原画を作成することもできる。

【0097】
(第2実施形態)
第2実施形態に係る多視点画像生成装置は、用いるホログラムの記録方法が異なっているものの、第1実施形態の装置とは、構成および動作の共通点が多いため、同じ構成には同じ符号を付して説明を省略し、異なる点のみを共通の図面である図1を参照(適宜図4~図7参照)して説明する。まず、ホログラムの再生において妨害2成分を分離する方法について説明し、それに対応した複素振幅再構成処理と、回折伝搬追跡処理について順次説明する。

【0098】
<位相シフトデジタルホログラフィ法>
第1実施形態において図4および図5を参照して説明したホログラムの再生において、物体光と妨害2成分とを分離する方法の他の方法として、位相シフトデジタルホログラフィ法が知られている。この位相シフトデジタルホログラフィ法を用いると、妨害光成分を計算によりキャンセルできる。ただし、同一の被写体に対して、参照光の位相を0、π/2、π、3π/2と変えながら4回(または3回)露光する必要がある。この方法であれば、参照光がホログラムの法線方向から入射するOn-Axis型のホログラムであっても物体光を取り出すことができる。そのため、第2実施形態では、図示を省略するが、参照光を、ホログラム面に対して垂直に照射することとする。

【0099】
以下の説明では、図4において参照光をホログラム面に対して垂直に照射するものとして読み換えると共に、数式を用いて、位相を変えながら撮影して得られた4枚1組のホログラム(ホログラムデータH0,H1,H2,H3)をもとにして、妨害成分を除去して物体光成分のみを通過させる方法を説明する。

【0100】
ここでは、各データを示す記号として、O(X,Y)を物体光の複素振幅分布、Ao(X,Y)を物体光の振幅分布、φo(X,Y)を物体光の位相分布とする。すると、物体光の複素振幅分布(物体光データ)Oは、式(6)で表される。
同様に、R(X,Y)を参照光の複素振幅分布、Ar(X,Y)を参照光の振幅分布、φr(X,Y)を参照光の位相分布、αを参照光の位相シフト量とする。すると、参照光の複素振幅分布(参照光データ)Rは、式(7)で表される。

【0101】
【数9】
JP0005258049B2_000011t.gif

【0102】
参照光の位相を0、π/2、π、3π/2と4回シフトするとき、ホログラムデータH(X,Y,α)は、前記した式(1)、式(6)および式(7)より、式(8)で表されることになる。

【0103】
【数10】
JP0005258049B2_000012t.gif

【0104】
ここで、参照光の位相シフト量αは、0、π/2、π、3π/2のシフトなので、そのαの値を式(8)の左辺に代入した各ホログラムデータH(X,Y,α)を用いると、位相分布については次の式(9)の関係が導かれ、振幅分布については次の式(10)の関係が導かれる。

【0105】
【数11】
JP0005258049B2_000013t.gif

【0106】
なお、式(10)は、4箇所0、π/2、π、3π/2のホログラムによる振幅分布を考慮したときの全体の振幅分布A(X,Y)を定式化したもので、全体の振幅分布A(X,Y)を仮定したときに、全体の振幅分布A(X,Y)は、式(9)の分母と、式(9)の分子との2乗平均をとって4で除したもので表現できることを示している。

【0107】
式(8)を代入することにより、式(9)におけるφ(X,Y)、および、式(10)におけるA(X,Y)は、それぞれ以下の式(11)および式(12)のように表現することができる。

【0108】
【数12】
JP0005258049B2_000014t.gif

【0109】
ここで、参照光としてはホログラム面に垂直に入射する平行光を用いるため、式(11)の右辺第2項、すなわち、ホログラム面における参照光の位相分布は、式(13)のように「0」とすることができる。したがって、式(11)のφ(X,Y)、すなわち、ホログラム面における位相分布は、式(14)で表されることになる。

【0110】
【数13】
JP0005258049B2_000015t.gif

【0111】
また、式(12)中のAr(X,Y)、すなわち、ホログラム面における参照光の振幅分布は、一定の定数とみなすことができ、例えば、式(15)のように「1」とすることができる。したがって、式(12)のA(X,Y)、すなわち、ホログラム面における振幅分布は、式(16)で表されることになる。

【0112】
【数14】
JP0005258049B2_000016t.gif

【0113】
その結果、前記した式(14)および式(16)から、ホログラム面上での複素振幅分布G(X,Y)は、式(17)で表されることになる。ゆえに、所望する物体光の複素振幅分布O(X,Y)と同一の複素振幅分布(式(6)参照)を得ることができる。

【0114】
【数15】
JP0005258049B2_000017t.gif

【0115】
なお、式(9)~式(16)は、参照光の位相を変えて撮影をおこなった0、π/2、π、3π/2の4枚のホログラムを用いることで物体光O(X,Y)以外の成分を計算によりキャンセルすることが可能であることを示している。

【0116】
以上説明したように、第2実施形態において図1に示す多視点画像生成装置10は、複素振幅再構成手段151によって、2次元配列データで記述された複数回分のホログラムデータHに基づいて、ホログラム面31上における複素振幅In1(x0,y0)を再構成する。すなわち、複素振幅再構成手段151は、前記した式(9)~式(17)を計算する。

【0117】
また、第2実施形態では、参照光をホログラム面に対して垂直に照射するので、第2実施形態において図1に示す多視点画像生成装置10は、回折伝搬追跡手段153によって、前記した第1フレネル変換を計算する際に、計算対象となる範囲W2(W)を、次の式(18)のように決定する。

【0118】
【数16】
JP0005258049B2_000018t.gif

【0119】
式(18)に示す範囲W2には、前記した式(4)に示す範囲W1の第3項、すなわち、透過光(妨害光)成分を排除するための限界の項が不要である。つまり、第3項はない。ただし、参照光をホログラム面に対して垂直に照射するので、ホログラムの最大回折角度θmaxによる限界の項(第2項)は、前記した式(4)に示す範囲W1の第2項の2倍の値となる。このように第2実施形態において図1に示す回折伝搬追跡手段153による第1フレネル変換の計算対象となる範囲W2(W)は、式(18)で決定されているので、ホログラム面全体を計算対象とした場合と比較して高速に演算結果を得ることができる。

【0120】
第2実施形態によれば、多視点画像生成装置10は、ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法で記録したホログラムを用いて位相シフトデジタルホログラフィ法で複素振幅を再構成する。したがって、第2実施形態の多視点画像生成装置10は、妨害光が原理的には発生しないタイプのホログラムを用いるので、利用者から、自由なカメラ配置の仮想カメラパラメータの入力を受け付けることが可能となる。

【0121】
以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、各実施形態は、モノクログレースケールの多視点画像生成について記述したが、本発明はモノクロのホログラムに限定されるものではない。これをカラーに拡張する際は、1つの被写体空間に対して、赤、緑、青の3波長分の系(3枚のホログラム)を用意すればよい。モノクログレースケールの多視点画像生成について説明したのは、ホログラム撮影の技術が、もともと単一の波長λでの光波を記録再生する技術であったためである。

【0122】
また、多視点画像生成装置10は、一般的なコンピュータを、前記した複素振幅再構成手段151、個別カメラ座標算出手段152、回折伝搬追跡手段153および輝度振幅演算手段154として機能させるプログラム(多視点画像生成プログラム)により動作させることで実現することができる。このプログラムは、通信回線を介して提供することも可能であるし、CD-ROM等の記録媒体に書き込んで配布することも可能である。
【産業上の利用可能性】
【0123】
本発明は、立体映像技術分野はもちろんのこと、医療技術分野、教育分野などに利用することができる。
【符号の説明】
【0124】
1 任意視点画像表示システム
10 多視点画像生成装置
11 ユーザインタフェース部
111 多視点画像元データ入力手段
112 仮想カメラパラメータ入力手段
13 記憶部
131 多視点画像元データ記憶手段
132 仮想カメラパラメータ記憶手段
17 出力部(出力手段)
20 仮想カメラアレイ(仮想的な多眼カメラアレイ)
22 撮像素子
23 フォーカスレンズ
24 アイリス
25 開口
30 ホログラム
15 処理部
151 複素振幅再構成手段
152 個別カメラ座標算出手段
153 回折伝搬追跡手段
154 輝度振幅演算手段
140 任意視点画像合成装置
160 表示装置
D 表示装置
M 入力装置
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12