TOP > 国内特許検索 > 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム

多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム コモンズ

国内特許コード P140010650
整理番号 08-90
掲載日 2014年6月17日
出願番号 特願2009-045000
公開番号 特開2010-200188
登録番号 特許第5258049号
出願日 平成21年2月27日(2009.2.27)
公開日 平成22年9月9日(2010.9.9)
登録日 平成25年5月2日(2013.5.2)
発明者
  • 大井 隆太朗
  • 山本 健詞
  • 妹尾 孝憲
  • 三科 智之
  • 奥井 誠人
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム コモンズ
発明の概要 【課題】実写映像による多視点画像を作業効率よく得ることのできる技術を提供すること。
【解決手段】多視点画像生成装置10は、ホログラムデータHおよび参照光データRから、ホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段151と、仮想カメラパラメータに基づいて、ホログラム面を基準とした座標上において、カメラの撮像面における画素の位置座標を算出する個別カメラ座標算出手段152と、ホログラム面上に再構成された複素振幅で表される物体光が仮想カメラアレイまで伝搬する際に物体光の回折を含むように各カメラの撮像面上における複素振幅を画素ごとに算出する回折伝搬追跡手段153と、画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、画素ごとの輝度振幅を合わせることで、被写体の多視点画像を生成する輝度振幅演算手段154とを備える。
【選択図】図1
従来技術、競合技術の概要



従来、任意視点画像を合成する方法が開示されている(特許文献1参照)。例えば、図10および図11に示す従来の任意視点画像表示システム101は、カメラアレイ(多眼カメラアレイ)120と、任意視点画像合成装置140と、表示装置160とを備える。カメラアレイ120は、図11に示すように平面状の格子点上に配置した複数(例えば4行5列の20台)のカメラ121を備えている。個別のカメラ121は、それぞれ接続された複数(例えば8台)のホストPC170の制御により、被写体を撮影できるように構成されている。また、水平垂直方向に並んだカメラ121は、アレイ内の全てのカメラ121と同期をとることができるように接続されている。なお、図10では、カメラ121間の配線を省略し、図11では、カメラ121間の配線の一部のみを表示した。また、図示は省略するが、カメラアレイ120は、各カメラ121を個別に載置するフレーム、または、各カメラ121を嵌入する複数の孔部を有する壁部材を備えている。





図10に示す任意視点画像表示システム101では、カメラアレイ120の複数のカメラ121を用いて同時に複数の方向から実写の被写体空間100を撮影する。撮影された複数の2-D(2次元)画像(多視点画像)は、任意視点画像合成装置140に入力される。任意視点画像合成装置140は、入力された多視点画像を用いることで、実際にはカメラ121が存在しない任意の位置から被写体空間100を撮影した場合のカメラ画像(2-D画像)をレンダリングにより生成するという任意視点画像の合成処理を行う。レンダリングの方法は、Light Field Rendering(LFR)として一般に知られている(非特許文献1参照)。生成されたカメラ画像(2-D画像)は、表示装置160に表示される。なお、従来技術である非特許文献2については、次の発明の概要の中で述べる。

産業上の利用分野



本発明は、任意視点画像の合成に利用される多視点画像を生成する技術に関する。

特許請求の範囲 【請求項1】
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置であって、
前記多視点画像を生成するための元データとして、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータと、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データとの入力を受け付ける多視点画像元データ入力手段と、
前記ホログラムデータおよび前記参照光データを記憶する多視点画像元データ記憶手段と、
仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔および当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力手段と、
前記仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、
前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段と、
前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段と、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段と、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段と、
前記生成された多視点画像を出力する出力手段と、
を備えることを特徴とする多視点画像生成装置。

【請求項2】
前記回折伝搬追跡手段は、
前記ホログラム面の位置における複素振幅を、フレネル近似に基づいて、前記仮想的な多眼カメラアレイのカメラのレンズの入射面の位置における複素振幅に変換する第1フレネル変換と、
前記レンズの入射面の位置における複素振幅に前記レンズの位相シフト関数を乗算することで、前記レンズの出射面の位置における複素振幅を求める位相シフトと、
前記レンズの出射面の位置における複素振幅を、フレネル近似に基づいて、前記カメラの撮像素子の撮像面上における複素振幅に変換する第2フレネル変換とを実行することを特徴とする請求項1に記載の多視点画像生成装置。

【請求項3】
前記ホログラムは、前記ホログラム面に対して非垂直に参照光を照射して前記被写体を記録したものであり、
前記複素振幅再構成手段は、2次元配列データで記述された前記ホログラムデータと前記参照光データとを乗算することで、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項2に記載の多視点画像生成装置。

【請求項4】
前記ホログラムは、前記ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したものであり、
前記複素振幅再構成手段は、2次元配列データで記述された複数回分の前記ホログラムデータに基づいて、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項2に記載の多視点画像生成装置。

【請求項5】
前記回折伝搬追跡手段は、
前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、
前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算した積で表される第2の範囲と、
前記ホログラムから再生される妨害光の方向によって決まる妨害光角度正接に、前記第1フレネル変換の対象とする距離を乗算した積で表される第3の範囲と、
の合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする請求項3に記載の多視点画像生成装置。

【請求項6】
前記回折伝搬追跡手段は、
前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第1の範囲と、
前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第1フレネル変換の対象とする距離を乗算して2倍した値で表される第4の範囲との合計で決まる範囲を、前記第1フレネル変換の計算対象範囲とすることを特徴とする請求項4に記載の多視点画像生成装置。

【請求項7】
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置の多視点画像生成方法であって、
前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データの入力を受け付ける多視点画像元データ入力ステップと、
仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力ステップと、
前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成ステップと、
前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出ステップと、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡ステップと、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算ステップと、
前記生成された多視点画像を出力する出力ステップと、
を含んで実行することを特徴とする多視点画像生成方法。

【請求項8】
複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて2次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成するために、コンピュータを、
それぞれ入力された、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段、
それぞれ入力された、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段、
前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段、
前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段、
として機能させるための多視点画像生成プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2009045000thum.jpg
出願権利状態 登録
※ 詳細内容の開示にあたっては、別途、JSTと秘密保持契約を締結していただくことが必要となります。


PAGE TOP

close
close
close
close
close
close
close