Top > Search of Japanese Patents > MULTI-VIEWPOINT IMAGE GENERATION APPARATUS, MULTI-VIEWPOINT IMAGE GENERATION METHOD, AND MULTI-VIEWPOINT IMAGE GENERATION PROGRAM

MULTI-VIEWPOINT IMAGE GENERATION APPARATUS, MULTI-VIEWPOINT IMAGE GENERATION METHOD, AND MULTI-VIEWPOINT IMAGE GENERATION PROGRAM commons

Patent code P140010650
File No. 08-90
Posted date Jun 17, 2014
Application number P2009-045000
Publication number P2010-200188A
Patent number P5258049
Date of filing Feb 27, 2009
Date of publication of application Sep 9, 2010
Date of registration May 2, 2013
Inventor
  • (In Japanese)大井 隆太朗
  • (In Japanese)山本 健詞
  • (In Japanese)妹尾 孝憲
  • (In Japanese)三科 智之
  • (In Japanese)奥井 誠人
Applicant
  • (In Japanese)国立研究開発法人情報通信研究機構
Title MULTI-VIEWPOINT IMAGE GENERATION APPARATUS, MULTI-VIEWPOINT IMAGE GENERATION METHOD, AND MULTI-VIEWPOINT IMAGE GENERATION PROGRAM commons
Abstract PROBLEM TO BE SOLVED: To provide a technology with which a multi-viewpoint image based on an actuality video image can be obtained with high working efficiency.
SOLUTION: A multi-viewpoint image generation apparatus 10 comprises: a complex amplitude reconfiguration means 151 for reconfiguring a complex amplitude indicating the amplitude and the phase of object light at each point on a hologram surface based on hologram data H and reference light data R; an individual camera coordinate calculation means 152 for calculating position coordinates of pixels on the imaging plane of a camera on coordinates with the hologram surface as a reference on the basis of virtual camera parameters; a diffraction propagation-tracking means 153 for calculating the complex amplitude on the imaging plane of each camera for each pixel so as to include diffraction of the object light when the object light represented by the complex amplitude reconfigured on the hologram surface is propagated to a virtual camera array; and a luminance amplitude arithmetic operation means 154 for arithmetically operating luminance amplitude which can be photographed by a physical camera based on the complex amplitude of the object light calculated for each pixel and for summing up the luminance amplitude for each pixel to generate the multi-viewpoint image of a subject.
Outline of related art and contending technology (In Japanese)

従来、任意視点画像を合成する方法が開示されている(特許文献1参照)。例えば、図10および図11に示す従来の任意視点画像表示システム101は、カメラアレイ(多眼カメラアレイ)120と、任意視点画像合成装置140と、表示装置160とを備える。カメラアレイ120は、図11に示すように平面状の格子点上に配置した複数(例えば4行5列の20台)のカメラ121を備えている。個別のカメラ121は、それぞれ接続された複数(例えば8台)のホストPC170の制御により、被写体を撮影できるように構成されている。また、水平垂直方向に並んだカメラ121は、アレイ内の全てのカメラ121と同期をとることができるように接続されている。なお、図10では、カメラ121間の配線を省略し、図11では、カメラ121間の配線の一部のみを表示した。また、図示は省略するが、カメラアレイ120は、各カメラ121を個別に載置するフレーム、または、各カメラ121を嵌入する複数の孔部を有する壁部材を備えている。

図10に示す任意視点画像表示システム101では、カメラアレイ120の複数のカメラ121を用いて同時に複数の方向から実写の被写体空間100を撮影する。撮影された複数の2-D(2次元)画像(多視点画像)は、任意視点画像合成装置140に入力される。任意視点画像合成装置140は、入力された多視点画像を用いることで、実際にはカメラ121が存在しない任意の位置から被写体空間100を撮影した場合のカメラ画像(2-D画像)をレンダリングにより生成するという任意視点画像の合成処理を行う。レンダリングの方法は、Light Field Rendering(LFR)として一般に知られている(非特許文献1参照)。生成されたカメラ画像(2-D画像)は、表示装置160に表示される。なお、従来技術である非特許文献2については、次の発明の概要の中で述べる。

Field of industrial application (In Japanese)

本発明は、任意視点画像の合成に利用される多視点画像を生成する技術に関する。

Scope of claims (In Japanese)
【請求項1】
 
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置であって、
前記多視点画像を生成するための元データとして、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータと、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データとの入力を受け付ける多視点画像元データ入力手段と、
前記ホログラムデータおよび前記参照光データを記憶する多視点画像元データ記憶手段と、
仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔および当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力手段と、
前記仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、
前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段と、
前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段と、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段と、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段と、
前記生成された多視点画像を出力する出力手段と、
を備えることを特徴とする多視点画像生成装置。

【請求項2】
 
前記回折伝搬追跡手段は、
前記ホログラム面の位置における複素振幅を、フレネル近似に基づいて、前記仮想的な多眼カメラアレイのカメラのレンズの入射面の位置における複素振幅に変換する第1フレネル変換と、
前記レンズの入射面の位置における複素振幅に前記レンズの位相シフト関数を乗算することで、前記レンズの出射面の位置における複素振幅を求める位相シフトと、
前記レンズの出射面の位置における複素振幅を、フレネル近似に基づいて、前記カメラの撮像素子の撮像面上における複素振幅に変換する第2フレネル変換とを実行することを特徴とする請求項1に記載の多視点画像生成装置。

【請求項3】
 
前記ホログラムは、前記ホログラム面に対して非垂直に参照光を照射して前記被写体を記録したものであり、
前記複素振幅再構成手段は、2次元配列データで記述された前記ホログラムデータと前記参照光データとを乗算することで、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項2に記載の多視点画像生成装置。

【請求項4】
 
前記ホログラムは、前記ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したものであり、
前記複素振幅再構成手段は、2次元配列データで記述された複数回分の前記ホログラムデータに基づいて、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項2に記載の多視点画像生成装置。

【請求項5】
 
前記回折伝搬追跡手段は、
前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、
前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算した積で表される第2の範囲と、
前記ホログラムから再生される妨害光の方向によって決まる妨害光角度正接に、前記第1フレネル変換の対象とする距離を乗算した積で表される第3の範囲と、
の合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする請求項3に記載の多視点画像生成装置。

【請求項6】
 
前記回折伝搬追跡手段は、
前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、
前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算して2倍した値で表される第4の範囲との合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする請求項4に記載の多視点画像生成装置。

【請求項7】
 
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置の多視点画像生成方法であって、
前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データの入力を受け付ける多視点画像元データ入力ステップと、
仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力ステップと、
前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成ステップと、
前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出ステップと、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡ステップと、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算ステップと、
前記生成された多視点画像を出力する出力ステップと、
を含んで実行することを特徴とする多視点画像生成方法。

【請求項8】
 
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成するために、コンピュータを、
それぞれ入力された、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段、
それぞれ入力された、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段、
として機能させるための多視点画像生成プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2009045000thum.jpg
State of application right Registered
Please contact us by E-mail if you have any interests on this patent


PAGE TOP

close
close
close
close
close
close
close