TOP > 国内特許検索 > ホログラム生成装置、ホログラム生成方法およびホログラム生成プログラム > 明細書

明細書 :ホログラム生成装置、ホログラム生成方法およびホログラム生成プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5246864号 (P5246864)
公開番号 特開2010-139746 (P2010-139746A)
登録日 平成25年4月19日(2013.4.19)
発行日 平成25年7月24日(2013.7.24)
公開日 平成22年6月24日(2010.6.24)
発明の名称または考案の名称 ホログラム生成装置、ホログラム生成方法およびホログラム生成プログラム
国際特許分類 G03H   1/08        (2006.01)
FI G03H 1/08
請求項の数または発明の数 10
全頁数 24
出願番号 特願2008-315776 (P2008-315776)
出願日 平成20年12月11日(2008.12.11)
新規性喪失の例外の表示 特許法第30条第1項適用 (1)i)社団法人映像情報メディア学会と日本光学会ホログラフィック・ディスプレイ研究会とが2008年9月12日に共催した「映像表現&コンピュータグラフックス/立体映像技術研究会」、「ホログラフィック・ディスプレイ研究会」において発表 ii)社団法人映像情報メディア学会から、2008年9月12日に発行された「映像情報メディア学会技術報告(映情学技報Vol.32,No.36」において発表 (2) ホログラフィック・ディスプレイ研究会から、2008年9月12日に発行された「HODIC Circular
審査請求日 平成23年11月11日(2011.11.11)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】妹尾 孝憲
【氏名】山本 健詞
【氏名】大井 隆太朗
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】井海田 隆
参考文献・文献 特開平06-130881(JP,A)
特開2003-228270(JP,A)
特開平10-288939(JP,A)
特開2003-186378(JP,A)
調査した分野 G03H 1/08
特許請求の範囲 【請求項1】
被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、
前記奥行マップに基づいて、前記基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する奥行不連続検出手段と、
3次元空間上において、前記奥行不連続検出手段で検出された不連続領域と、当該3次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、前記不連続領域に対応する画素を補填するための前記隣接映像を選択する補填映像選択手段と、
前記ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、前記隣接画素の奥側の画素の奥行値と同一の被写体平面上に前記不連続領域を投影した範囲の画素を、前記隣接映像から選択する欠落画素補填手段と、
前記ホログラム画素の位置からの前記光の拡散範囲において、前記基準映像の画素および前記欠落画素補填手段で選択された画素の各画素の位置から、前記ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するホログラム計算手段と、
を備えることを特徴とするホログラム生成装置。
【請求項2】
前記隣接映像は、前記基準映像に対して左右方向にそれぞれ予め定めた視差を有する左視点隣接映像および右視点隣接映像であって、
前記奥行不連続検出手段は、左右に隣接する画素ごとに前記不連続領域を検出し、
前記補填映像選択手段は、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の左手前側に進んで行く場合には前記左視点隣接映像を、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の右手前側に進んで行く場合には前記右視点隣接映像を、前記隣接映像として選択することを特徴とする請求項1に記載のホログラム生成装置。
【請求項3】
前記隣接映像は、前記基準映像に対して上下方向にそれぞれ予め定めた視差を有する上視点隣接映像および下視点隣接映像であって、
前記奥行不連続検出手段は、上下に隣接する画素ごとに前記不連続領域を検出し、
前記補填映像選択手段は、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の上手前側に進んで行く場合には前記上視点隣接映像を、前記不連続領域と前記ホログラム画素とを通る仮想光が、前記基準映像に対して前記ホログラム画素の下手前側に進んで行く場合には前記下視点隣接映像を、前記隣接映像として選択することを特徴とする請求項1に記載のホログラム生成装置。
【請求項4】
前記隣接映像は、前記基準映像に対して、前記ホログラムを表示するディスプレイの画素サイズで定まるホログラム再生光の最大回折角度と、前記ホログラムから前記被写体までの最大距離とで特定される視差量以上の視差を有することを特徴とする請求項1に記載のホログラム生成装置。
【請求項5】
前記欠落画素補填手段は、前記3次元空間上において、前記ホログラム画素が前記不連続領域上に存在する場合、前記不連続領域の奥側の画素の奥行値と同一の被写体平面上で、ホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、前記隣接映像から選択することを特徴とする請求項1に記載のホログラム生成装置。
【請求項6】
前記欠落画素補填手段は、前記3次元空間上において、前記ホログラム面が前記不連続領域と交差し、かつ、前記ホログラム画素が前記不連続領域上に存在しない場合、前記ホログラム画素の位置を視点として前記不連続領域が前記奥側の画素の奥行値と同一の被写体平面に投影された画素のうちで、前記奥側の画素からホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、前記隣接映像から選択することを特徴とする請求項1に記載のホログラム生成装置。
【請求項7】
前記欠落画素補填手段は、前記3次元空間上において、前記ホログラム面が前記不連続領域よりも手前に存在する場合、前記ホログラム画素と、前記不連続領域の手前側の画素とを結んだ直線が、前記不連続領域の奥側の奥行値と同一の被写体平面に投影された画素と、前記奥側の画素とを結んだ直線上の画素を、前記隣接映像から選択することを特徴とする請求項1に記載のホログラム生成装置。
【請求項8】
前記欠落画素補填手段は、前記3次元空間上において、前記ホログラム面と前記不連続領域の奥側の奥行値と同一の被写体平面との距離が、所定値よりも小さい場合、欠落画素の補填を行わないことを特徴とする請求項1に記載のホログラム生成装置。
【請求項9】
被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するホログラム生成方法であって、
隣接画素間の奥行きの不連続領域を検出する奥行不連続検出手段により、前記奥行マップに基づいて、前記基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する奥行不連続検出ステップと、
前記不連続領域に対応する画素を補填するための隣接映像を選択する補填映像選択手段により、3次元空間上において、前記奥行不連続検出手段で検出された不連続領域と、当該3次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、前記不連続領域に対応する画素を含んだ前記隣接映像を選択する補填映像選択ステップと、
前記不連続領域に対応する画素を補填する欠落画素補填手段により、前記ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、前記隣接画素の奥側の画素の奥行値と同一の被写体平面上に前記不連続領域を投影した範囲の画素を、前記隣接映像から選択する欠落画素補填ステップと、
前記ホログラム画素の画素値を算出するホログラム計算手段により、前記ホログラム画素の位置からの前記光の拡散範囲において、前記基準映像の画素および前記欠落画素補填手段で選択された画素の各画素の位置から、前記ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するホログラム値演算ステップと、
を含むことを特徴とするホログラム生成方法。
【請求項10】
被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、
前記奥行マップに基づいて、前記基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する奥行不連続検出手段、
3次元空間上において、前記奥行不連続検出手段で検出された不連続領域と、当該3次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、前記不連続領域に対応する画素を補填するための前記隣接映像を選択する補填映像選択手段、
前記ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、前記隣接画素の奥側の画素の奥行値と同一の被写体平面上に前記不連続領域を投影した範囲の画素を、前記隣接映像から選択する欠落画素補填手段、
前記ホログラム画素の位置からの前記光の拡散範囲において、前記基準映像の画素および前記欠落画素補填手段で選択された画素の各画素の位置から、前記ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するホログラム計算手段、
として機能させることを特徴とするホログラム生成プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、電子ホログラフィにより立体像を表示するためのホログラムを生成するホログラム生成装置、ホログラム生成方法およびホログラム生成プログラムに関する。
【背景技術】
【0002】
近年、電子ホログラフィにより立体像を表示するためのホログラムを、コンピュータ上で生成する計算機合成ホログラム(CGH:Computer Generated Hologram)の技術が進んでいる(例えば、特許文献1参照)。
従来の手法は、コンピュータグラフィックスで生成した平面映像を、その奥行値に基づいて、複数の被写体を3次元空間に仮想的に配置し、それぞれの被写体から出る光を合成してホログラムを求めるものである。
この手法は、図13(a)に示すように、奥行値を示す奥行マップZに基づいて、2次元映像Dを、例えば、前景の被写体Aと背景の被写体Bとに被写体を分けて3次元空間に配置し、ホログラムHの画素ごとに、光の拡散範囲内にある各被写体A,Bの各座標位置からの光量を加算し、ホログラムHの画素値を求めることで、ホログラムHを生成する。
【0003】
この場合、2次元映像Dは1視点の平面映像であるため、生成されたホログラムHに照明光を照射し、再生光として再生された立体像を撮影すると、図13(b)に示したような映像が撮影されることになる。すなわち、再生光を正面から撮影した場合、図13(b)の(b-2)に示すように、被写体を撮影した映像を再現することができる。しかし、再生光を左から撮影したり、右から撮影したりすると、図13(b)の(b-1)、(b-3)に示すように、被写体Aの左右に、暗く欠けて見える部分(図中O)が発生する。これは、図13(a)で示したような前景の被写体Aに隠れていた背景部分が暗く欠けて見えることにより発生するものである。以下、この現象をオクルージョンホールと呼ぶ。
【0004】
なお、このようなオクルージョンホールに対し、再生時の共役光などの不要光を除去するために、一方向への拡散光を遮断するハーフゾーンプレート処理を行って作成したホログラムを、同じ方向の光を遮断するシングルサイドバンド(SSB)法で再生することで、その方向からの映像全体を見えなくし、オクルージョンホールそのものを観測できないようにすることも可能である(例えば、特許文献2参照)。例えば、図14に示すように、図中、上方向への拡散光を遮断するSSB法でホログラムHを再生し、その再生された立体像を上方向から見ると、上方向の光はすべて不要光として遮断されるため、被写体Aに隠れていた背景部分からの光がなくても、オクルージョンホールは見えない。しかし、この場合であっても、水平(左右)方向あるいは下方向から見た場合、オクルージョンホールが観測されることになる。

【特許文献1】特開2005-181854号公報
【特許文献2】特開2003-15508号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
前記したように、奥行値を有する1視点映像からホログラムを生成した場合、ホログラム再生された立体像を、当該立体像を撮影した視点以外から視認すると、オクルージョンホールが観測され、高品位な立体像を提供することができないという問題がある。
また、SSB法を用いた場合であっても、一方向からのオクルージョンホールの観測を防止することはできるが、他の方向からはオクルージョンホールが観測されるため、同様の問題を残している。さらに、オクルージョンホールを単に観測しないようにするのみならず、視認方向によって、前景の被写体に隠れていた背景の被写体を視認したいという要望もある。
【0006】
本発明は、以上のような問題を解決するためになされたものであり、背景の被写体が前景の被写体で隠れている場合であっても、オクルージョンホールの発生をなくし、従来よりも高品位な立体像を再生することが可能なホログラムを生成するホログラム生成装置、ホログラム生成方法およびホログラム生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のホログラム生成装置は、被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、被写体の立体像を再生するためのホログラムを生成するホログラム生成装置であって、奥行不連続検出手段と、補填映像選択手段と、欠落画素補填手段と、ホログラム計算手段と、を備える構成とした。
【0008】
かかる構成において、ホログラム生成装置は、奥行不連続検出手段によって、基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する。この不連続領域は、生成されたホログラムが再生された際に、基準映像を撮影した視点以外からは、画素が存在せず、オクルージョンホールとして視認される領域である。
【0009】
そして、ホログラム生成装置は、補填映像選択手段によって、3次元空間上において、奥行不連続検出手段で検出された不連続領域と、当該3次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、不連続領域に対応する画素を補填するための隣接映像を選択する。なお、隣接映像は基準映像に対して予め定めた視差を有するため、当該視差の範囲で基準映像の画素が存在しない3次元空間上の画素が隣接映像内に存在することになる。
【0010】
そして、ホログラム生成装置は、欠落画素補填手段によって、ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、隣接画素の奥側の画素の奥行値と同一の被写体平面上に不連続領域を投影した範囲の画素を、隣接映像から選択する。これによって、ホログラム画素の位置からの光の拡散範囲において、基準映像の画素が存在しない画素を隣接映像内の画素で補填することができる。
【0011】
そして、ホログラム生成装置は、ホログラム計算手段によって、ホログラム画素の位置からの仮想的な光の拡散範囲において、基準映像の画素および欠落画素補填手段で補填された画素の各画素の位置からホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出する。これによって、ホログラム画素の位置に応じて、基準映像の前景の被写体で隠れていた背景の被写体の画素の光量が加算されることになる。
【0012】
また、請求項2に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、隣接映像が、基準映像に対して左右方向にそれぞれ予め定めた視差を有する左視点隣接映像および右視点隣接映像であって、奥行不連続検出手段が、左右に隣接する画素ごとに不連続領域を検出し、補填映像選択手段が、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の左手前側に進んで行く場合には左視点隣接映像を、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の右手前側に進んで行く場合には右視点隣接映像を、隣接映像として選択する構成とした。
【0013】
かかる構成において、ホログラム生成装置は、基準映像を正面から見た場合に、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から左手前側に進んで行く場合、当該不連続領域に対応する画素は、左視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、左視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。
【0014】
また、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から右手前側に進んで行く場合、当該不連続領域に対応する画素は、右視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、右視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。
【0015】
さらに、請求項3に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、隣接映像が、基準映像に対して上下方向にそれぞれ予め定めた視差を有する上視点隣接映像および下視点隣接映像であって、奥行不連続検出手段が、上下に隣接する画素ごとに不連続領域を検出し、補填映像選択手段が、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の上手前側に進んで行く場合には上視点隣接映像を、不連続領域とホログラム画素とを通る仮想光が、基準映像に対してホログラム画素の下手前側に進んで行く場合には下視点隣接映像を、隣接映像として選択する構成とした。
【0016】
かかる構成において、ホログラム生成装置は、基準映像を正面から見た場合に、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から上手前側に進んで行く場合、当該不連続領域に対応する画素は、上視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、上視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。
【0017】
また、不連続領域とホログラム画素とを通る仮想光が、ホログラム画素の位置から下手前側に進んで行く場合、当該不連続領域に対応する画素は、下視点隣接映像内に存在すると判断する。そして、補填映像選択手段は、この場合、下視点隣接映像を選択することで、欠落画素補填手段が欠落画素を補填するための隣接映像とする。
【0018】
また、請求項4に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、隣接映像が、基準映像に対して、ホログラムを表示するディスプレイの画素サイズで定まるホログラム再生光の最大回折角度と、ホログラムから被写体までの最大距離とで特定される視差量以上の視差を有することを特徴とする。
【0019】
かかる構成において、隣接映像には、基準映像に対して、少なくともホログラムを表示するディスプレイの最大視差に相当する映像が含まれることになる。すなわち、この隣接映像を用いることで、ホログラム生成装置は、最大視差の範囲で、基準映像において不連続領域となる画素をすべて隣接映像により補填することが可能になる。
【0020】
また、請求項5に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、欠落画素補填手段が、3次元空間上において、ホログラム画素が不連続領域上に存在する場合、不連続領域の奥側の画素の奥行値と同一の被写体平面上で、ホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、隣接映像から選択することを特徴とする。
【0021】
かかる構成において、ホログラム画素が不連続領域上に存在する場合、ホログラム画素の位置から奥側の被写体は無限の範囲で視認されることになる。なお、光の拡散範囲外の画素からの光は、ホログラム再生によっては再生されない。そこで、ホログラム生成装置は、欠落画素補填手段によって、光の拡散範囲内の画素のみを隣接映像から選択することとする。
【0022】
さらに、請求項6に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、欠落画素補填手段が、3次元空間上において、ホログラム面が不連続領域と交差し、かつ、ホログラム画素が不連続領域上に存在しない場合、ホログラム画素の位置を視点として不連続領域が奥側の画素の奥行値と同一の被写体平面に投影された画素のうちで、奥側の画素からホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を、隣接映像から選択することを特徴とする。
【0023】
かかる構成において、ホログラム面が不連続領域と交差し、かつ、ホログラム画素が不連続領域上に存在しない場合、ホログラム画素の位置から奥側の被写体は、当該不連続領域に応じて無限の直線上の範囲で視認されることになる。なお、光の拡散範囲外の画素からの光は、ホログラム再生によっては再生されない。そこで、ホログラム生成装置は、欠落画素補填手段によって、光の拡散範囲内の画素のみを隣接映像から選択することとする。
【0024】
また、請求項7に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、欠落画素補填手段が、3次元空間上において、ホログラム面が不連続領域よりも手前に存在する場合、ホログラム画素と、不連続領域の手前側の画素とを結んだ直線が、不連続領域の奥側の画素の奥行値と同一の被写体平面に投影された画素と、奥側の画素とを結んだ直線上の画素を、隣接映像から選択することを特徴とする。
【0025】
かかる構成において、ホログラム生成装置は、欠落画素補填手段によって、ホログラム画素から見て、不連続領域を不連続領域の奥側の画素の奥行値と同一の被写体平面に投影した画素を、隣接映像から選択することで、基準映像には存在しない不連続領域の画素を隣接映像から補填する。
【0026】
また、請求項8に記載のホログラム生成装置は、請求項1に記載のホログラム生成装置において、欠落画素補填手段は、3次元空間上において、ホログラム面と不連続領域の奥側の奥行値と同一の被写体平面との距離が、所定値よりも小さい場合、欠落画素の補填を行わないことを特徴とする。
【0027】
かかる構成において、ホログラム生成装置は、欠落画素補填手段によって補填された画素と、ホログラム面とが接近している場合、この画素からの光を用いて求めたホログラムを再生する際に、ホログラム面での光の回折が正しく行われず、補填画素からの光が手前側の被写体を突き抜けたように見えるファントム現象を防止することができる。
【0028】
また、請求項9に記載のホログラム生成方法は、被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するホログラム生成方法であって、奥行不連続検出ステップと、補填映像選択ステップと、欠落画素補填ステップと、ホログラム値演算ステップと、を含む手順とした。
【0029】
かかる手順において、ホログラム生成方法は、奥行不連続検出ステップで、基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する。
そして、ホログラム生成方法は、補填映像選択ステップで、3次元空間上において、不連続領域と、当該3次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、不連続領域に対応する画素を補填するための隣接映像を選択する。
【0030】
そして、ホログラム生成方法は、欠落画素補填ステップで、ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、隣接画素の奥側の画素の奥行値と同一の被写体平面上に不連続領域を投影した範囲の画素を、隣接映像から選択する。
そして、ホログラム生成方法は、ホログラム値演算ステップで、ホログラム画素の位置からの仮想的な光の拡散範囲において、基準映像の画素および補填された画素の各画素の位置からホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出する。
【0031】
さらに、請求項10に記載のホログラム生成プログラムは、被写体像を含んだ基準映像と、当該基準映像に対して予め定めた視差を有する隣接映像と、当該基準映像における画素ごとの被写体までの奥行値を示す奥行マップとに基づいて、前記被写体の立体像を再生するためのホログラムを生成するために、コンピュータを、奥行不連続検出手段、補填映像選択手段、欠落画素補填手段、ホログラム計算手段、として機能させる構成とした。
【0032】
かかる構成において、ホログラム生成プログラムは、奥行不連続検出手段によって、基準映像内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域を検出する。
そして、ホログラム生成プログラムは、補填映像選択手段によって、3次元空間上において、奥行不連続検出手段で検出された不連続領域と、当該3次元空間上に仮想的に配置したホログラム面の画素であるホログラム画素との位置関係に基づいて、不連続領域に対応する画素を補填するための隣接映像を選択する。
【0033】
そして、ホログラム生成プログラムは、欠落画素補填手段によって、ホログラム画素の位置を中心とした予め定めた仮想的な光の拡散範囲で、隣接画素の奥側の画素の奥行値と同一の被写体平面上に不連続領域を投影した範囲の画素を、隣接映像から選択する。
そして、ホログラム生成プログラムは、ホログラム計算手段によって、ホログラム画素の位置からの仮想的な光の拡散範囲において、基準映像の画素および欠落画素補填手段で補填された画素の各画素の位置からホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出する。
【発明の効果】
【0034】
本発明は、以下に示す優れた効果を奏するものである。
請求項1,9,10に記載の発明によれば、基準映像の前景に隠れている背景の被写体の画素の光量を隣接映像の画素によって補填するため、基準映像を撮影した方向以外から視認した場合であっても、オクルージョンホールの発生がない高品位な立体像を再生可能なホログラムを生成することができる。
【0035】
請求項2に記載の発明によれば、生成されたホログラム再生光を、水平方向に視線を動かして視認した場合であっても、従来のような被写体の左右に視認されるオクルージョンホールの発生を防止することが可能なホログラムを生成することができる。
【0036】
請求項3に記載の発明によれば、生成されたホログラム再生光を、垂直方向に視線を動かして視認した場合であっても、従来のような被写体の上下に視認されるオクルージョンホールの発生を防止することが可能なホログラムを生成することができる。
【0037】
請求項4に記載の発明によれば、ホログラム再生光で視認可能な範囲において、オクルージョンホールを補填可能な隣接映像を選択するため、高品位な立体像を再生可能なホログラムを生成することができる。
【0038】
請求項5,6,7に記載の発明によれば、基準映像において不連続となる領域を隣接映像から補填する際に、その補填する画素を、ホログラム再生光の最大回折角度で定まる光の拡散範囲により特定することができるため、過剰な補填を行うことなく、高品位な立体像を再生可能なホログラムを生成することができる。
【0039】
請求項8に記載の発明によれば、基準映像において不連続となる領域を隣接映像から補填する際に、その補填する画素の奥行値がホログラム面に接近している場合、補填した画素からの光が正しく再生されないことに起因する、前景の被写体が透けて背景が見えるファントム現象を防止して、高品位な立体像を再生可能なホログラムを生成することができる。
【発明を実施するための最良の形態】
【0040】
以下、本発明の実施形態について図面を参照して説明する。
[オクルージョンホール補填の手法]
最初に、図1,図2を参照して、本発明の実施形態に係るホログラム生成装置におけるオクルージョンホールを補填する手法について説明する。図1は、本発明の実施形態に係るホログラム生成装置がホログラムを生成する際に用いる各種の映像の内容を説明するための説明図である。図2は、本発明の実施形態に係るホログラム生成装置において、オクルージョンホールを補填する手法の概略を説明するための説明図である。
【0041】
本発明に係るホログラム生成装置は、図1に示すように、被写体像を含んだ基準映像Fと、当該基準映像Fに対して予め定めた視差を有する隣接映像Fと、当該基準映像Fにおける画素ごとの被写体までの奥行値を示す奥行マップZとに基づいて、オクルージョンホールを補填する。
【0042】
基準映像Fは、ホログラム生成装置がホログラムを生成する際の基準となる映像であって、被写体を撮影した複数のカメラ(図示せず)のうちで、中心のカメラで撮影された映像である。
【0043】
奥行マップZは、基準映像Fに対応した被写体の3次元空間の奥行きを示す情報であって、基準映像Fの2次元座標の位置(x,y)に奥行値を対応付けたものである。これによって、基準映像Fの各画素は、図4に示すように、平面座標(x,y)および奥行値zからなる3次元空間(x,y,z)で表現することができる。
【0044】
なお、この奥行マップZは、基準映像Fを撮影したカメラからの距離を奥行値で表した画像を用いることができる。また、奥行値は、カメラから照射する赤外線等が被写体に反射して戻ってくるまでの時間を計測することで求めたり、2台のカメラで撮影した2枚のカメラ画像の対応点のずれ量(視差)により求めたりすることができる。
【0045】
また、隣接映像Fは、ホログラム生成装置がホログラムを生成する際に、オクルージョンホールを補填するための映像であって、基準映像Fを撮影したカメラの上下左右に配置したカメラで撮影された映像(上視点隣接映像FNU、下視点隣接映像FNV、右視点隣接映像FNR、左視点隣接映像FNL)である。
【0046】
この隣接映像F(FNU、FNV、FNR、FNL)は、基準映像Fに対して予め定めた視差を有するものとする。すなわち、隣接映像F(FNU、FNV、FNR、FNL)は、それぞれの視点位置が、基準映像Fの視点位置に対して、それぞれの方向(上下左右)に予め定めた視差量B以上の最大視差量が得られる距離Lだけ離間した位置で撮影されたものである。ここで、最大視差量Bとカメラ間距離Lとの間には、被写体までの最近距離をZ、カメラのレンズの焦点距離をfとしたとき、以下の(1)式の関係が成り立つ。
【0047】
【数1】
JP0005246864B2_000002t.gif

【0048】
なお、この予め定めた視差量Bは、ホログラムを表示するディスプレイの画素サイズで決まる再生光の最大回折角度をθ、ホログラムから被写体までの最大距離をZmaxとしたとき、以下の(2)式で求められる値である。
【0049】
【数2】
JP0005246864B2_000003t.gif

【0050】
また、光の最大回折角度θは、ホログラムの表示を行うディスプレイの画素サイズpと、立体像を再生するレーザ光の波長λとにより、以下の(3)式により求められる値である。
【0051】
【数3】
JP0005246864B2_000004t.gif

【0052】
これによって、基準映像Fに対して、オクルージョンホールを補填するための画素が、隣接映像F(FNU、FNV、FNR、FNL)のいずれかに存在することになる。
【0053】
そこで、本発明においては、基準映像Fを用いた場合にオクルージョンホールが発生する部分については、隣接映像Fの画素を用いることでオクルージョンの発生を防止する。その一例を、図2を参照して説明する。図2は、基準映像Fの一部分の被写体の表面(以下、単に被写体という)を奥行マップZにより3次元空間上に配置し、上側から仮想的に見た図面(左右方向:x座標、上下方向:y座標、奥行方向:z座標)である。また、ホログラムを生成する面(ホログラム面)を、z=0のxy平面上で生成するものとする。
【0054】
また、図2(a)は、ホログラム画素hが、前景の被写体Aのx座標の範囲に存在している状態を示し、図2(b)は、ホログラム画素hが、背景の被写体Bのx座標の範囲に存在している状態を示している。
【0055】
図2(a)の例に示すように、本発明に係るホログラム生成装置では、x軸線上で前景の被写体Aと同一のx座標の範囲に存在するホログラム画素hについては、基準映像F(図1)を参照し、光の拡散範囲θ内にある各被写体A,Bの各座標位置における光量を加算する。一方、図2(b)の例に示すように、前景の被写体Aのx座標の範囲から外れた(ここでは、図中左方向)ホログラム画素hについては、基準映像FのみではオクルージョンホールOが発生する。そこで、ホログラム生成装置は、オクルージョンホールOについては、隣接映像F(図1)を参照し、隣接映像Fの当該画素に対応する座標位置からの光量を加算する。これによって、オクルージョンホールOの発生を防止することができる。
以下、本手法を実現するためのホログラム生成装置の構成および動作について詳細に説明する。
【0056】
[ホログラム生成装置の構成]
まず、図3を参照して、本発明の実施形態に係るホログラム生成装置の構成について説明する。図3は、本発明の実施形態に係るホログラム生成装置の全体構成を示すブロック図である。
【0057】
ホログラム生成装置1は、図1で説明した被写体像を含んだ基準映像Fと、当該基準映像Fに対して予め定めた視差を有する隣接映像Fと、当該基準映像Fにおける画素ごとの被写体までの奥行値を示す奥行マップZとに基づいて、被写体の立体像を再生するためのホログラム(計算機合成ホログラム)を生成するものである。なお、基準映像F、隣接映像Fおよび奥行マップZは、外部から入力されるものとする。
【0058】
ここでは、ホログラム生成装置1は、奥行不連続検出手段10と、補填映像選択手段20と、欠落画素補填手段30と、ホログラム計算手段40と、を備えている。
【0059】
奥行不連続検出手段10は、奥行マップZに基づいて、生成対象となるホログラムの画素(以下、ホログラム画素という)を中心とした仮想的な光の拡散範囲に存在する基準映像F内の隣接画素間の奥行値の差が予め定めた値以上となる奥行きの不連続領域(以下、ギャップという)を検出するものである。このギャップgは、3次元空間上においては、奥行き方向に長さを持つ直線で表され、2次元の基準映像F内においては、隣接画素の境界として表されるものである。
【0060】
なお、ここでは、生成対象となるホログラム画素の位置は、後記するホログラム計算手段40から順次入力されるものとする、また、奥行不連続検出手段10で検出されたギャップの対応する画素(隣接画素)位置は、補填映像選択手段20および欠落画素補填手段30に出力される。
【0061】
ここでは、奥行不連続検出手段10は、図4に示すように、ホログラムを構成するホログラム画素hごとに、当該ホログラム画素hを中心に光の拡散範囲にある基準映像Fの画素a,bの奥行値z,zの差|z-z|が、所定値|z/j|以上である箇所をギャップgとして検出する。なお、このjは、ギャップgをホログラム面(z=0のxy平面)に投影した点、すなわち、手前側の画素aのxy座標の位置から、画素値(ホログラム値)を求めているホログラム画素hまでのxy平面内での距離を画素単位で表した値である。これによって、前景の被写体に隠れた背景の画素が1画素以上見えるオクルージョンホールを発生させる範囲をギャップgとして検出することができる。なお、ここでは、奥行不連続検出手段10は、1画素以上のギャップを検出することとしたが、この画素数は任意の画素数でよく、その画素数が多ければオクルージョンホールの発生を防止する精度は低下するが、処理を高速化させることができる。
【0062】
補填映像選択手段20は、奥行不連続検出手段10で検出されたギャップgに対応する隣接画素と、ホログラムの生成対象となるホログラム画素との位置関係に基づいて、オクルージョンホールを補填するための隣接映像を選択するものである。この補填映像選択手段20は、どの隣接映像を選択したかを示す識別情報を欠落画素補填手段30に出力する。
【0063】
ここで、ギャップに対応する隣接画素が基準映像F内で左右の位置に配置され、かつ、ギャップとホログラム画素とを通る仮想光(以下、単に光という)が、基準映像Fに対してホログラム画素の左手前側に進んで行く場合、補填映像選択手段20は、左視点隣接映像FNLを選択する。
【0064】
例えば、図4に示すように、ホログラム面より奥にギャップgがあり、ギャップgに隣接する画素a,bのxy座標が左右(x方向)に隣接し、ギャップgからホログラム画素hへの方向がxy平面において右から左に向いている場合、ギャップgに対応する画素を補填するために、補填映像選択手段20は、左視点隣接映像FNLを選択する。この左視点隣接映像FNLを用いることで、ホログラム再生時に左方向から見た際に発生するオクルージョンホールを補填することが可能になる。
【0065】
同様に、隣接する画素が基準映像F内で左右の位置に配置され、かつ、ギャップとホログラム画素とを通る光が、基準映像Fに対してホログラム画素の右手前側に進んで行く場合、補填映像選択手段20は、右視点隣接映像FNRを選択する。この右視点隣接映像FNRを用いることで、ホログラム再生時に右方向から見た際に発生するオクルージョンホールを補填することが可能になる。
【0066】
また、隣接する画素が基準映像F内で上下の位置に配置され、かつ、ギャップとホログラム画素とを通る光が、基準映像Fに対してホログラム画素の上手前側に進んで行く場合、補填映像選択手段20は、上視点隣接映像FNUを選択する。この上視点隣接映像FNUを用いることで、ホログラム再生時に上方向から見た際に発生するオクルージョンホールを補填することが可能になる。
【0067】
また、隣接する画素が基準映像F内で上下の位置に配置され、かつ、ギャップとホログラム画素とを通る光が、基準映像Fに対してホログラム画素の下手前側に進んで行く場合、補填映像選択手段20は、下視点隣接映像FNVを選択する。この下視点隣接映像FNVを用いることで、ホログラム再生時に下方向から見た際に発生するオクルージョンホールを補填することが可能になる。
【0068】
欠落画素補填手段30は、ホログラムの生成対象となるホログラム画素ごとに、基準映像においてオクルージョンホールが発生する領域について、隣接映像の対応する画素を選択するものである。この欠落画素補填手段30で選択された隣接映像の各画素位置は、隣接映像の識別情報とともに、ホログラム計算手段40に出力される。
【0069】
ここでは、欠落画素補填手段30は、ホログラム画素を中心に光の拡散範囲で、奥行不連続検出手段10で検出された隣接画素間のギャップを奥側の画素の奥行値と同一の被写体平面上に投影した領域範囲の画素を、オクルージョンホールを補填するための画素として選択する。
【0070】
ここで、図4、図6、図8を主に参照(適宜図3参照)して、欠落画素補填手段30が補填する画素の範囲(画素補填範囲)について説明する。図4は、ホログラム面がギャップよりも手前に存在する場合の画素補填範囲を説明するための説明図である。図6は、ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない(ギャップより左下側にある)場合の画素補填範囲を説明するための説明図である。図8は、ホログラム画素がギャップ上に存在する場合の画素補填範囲を説明するための説明図である。なお、図4、図6、図8において、ギャップgを構成する手前側の画素aと、奥側の画素bは、それぞれ奥行値z,zの奥行きに存在し、ホログラム平面は、奥行値z=0のxy平面に存在し、生成対象となるホログラム画素hは、3次元空間(xyz座標)の原点Oに存在するものとする。
【0071】
まず、図4を参照して、ホログラム面がギャップよりも手前に存在する場合の画素補填範囲について説明する。
図4に示すように、ホログラム面(ホログラム画素h)がギャップgよりも手前に存在し、ギャップgが右奥にあって、ギャップgの両端の画素a,bのうち、奥側の画素bが手前側の画素aの左側にある場合、ホログラム画素hの位置からはギャップgが見えることになる。そこで、欠落画素補填手段30は、ホログラム画素hからはギャップgが見える範囲の画素を隣接映像から補填する。
【0072】
すなわち、欠落画素補填手段30は、ホログラム画素hと、ギャップgを構成する手前側の画素aとを結んだ光線(直線)が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された画素fと、画素bとを結んだ直線(画素補填範囲R)上の画素を、隣接映像(図4の例では、左視点隣接映像)から選択する。なお、ホログラム画素hの位置からギャップgを見た場合、ギャップgと画素補填範囲Rとは一致する。
これによって、ホログラム画素hの位置から見えるギャップgに相当する画素が、画素補填範囲Rの画素によって補填されることになる。
【0073】
なお、図4において、手前の画素aが、ホログラム面に接近している場合は、画素fは予め定めた光の拡散範囲外に出る場合がある。そこで、欠落画素補填手段30は、そのような場合は、点fと点bとを結ぶ線上で光の拡散範囲内の画素を補填する。
【0074】
また、図4では、ギャップgがホログラム面よりも奥側にある場合の例で説明したが、ギャップgがホログラム面より手前にある場合であっても同じ手法を用いることができる。例えば、図5に示したように、ホログラム面(ホログラム画素h)がギャップgよりも奥側に存在し、ギャップgが左手前にあって、ギャップgの両端の画素a,bのうち、奥側の画素bが手前側の画素aの左側にある場合、欠落画素補填手段30は、ホログラム画素hと、ギャップgを構成する手前側の画素aとを結んだ光線(直線)が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された画素fと、画素bとを結んだ直線(画素補填範囲R)上の画素を、隣接映像(図5の例では、左視点隣接映像)から選択する。
【0075】
次に、図6を参照して、ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない(ギャップより左下側にある)場合の画素補填範囲について説明する。
図6に示すように、ホログラム面とギャップgとが交差し、かつ、ホログラム画素hがギャップg上に存在せず、ギャップgより左下側に存在する場合、欠落画素補填手段30は、基本的には、図4と同様に、ホログラム画素hと、ギャップgを構成する手前側の画素aとを結んだ光線(直線)が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された画素と、画素bとを結んだ直線上の画素を画素補填範囲とすればよい。しかし、この場合、画素補填範囲は、画素bから無限遠の範囲となってしまう。また、ホログラム再生光は、(3)式で示したように、最大回折角度θ以上には拡散しない。
【0076】
そこで、図6の状態の場合、欠落画素補填手段30は、ホログラム画素hの位置を視点としてギャップgが奥側の画素bの奥行値と同一の被写体平面に投影された画素のうちで、奥側の画素bからホログラム再生光の最大回折角度で定まる光の拡散範囲内の画素を画素補填範囲Rとする。この光の拡散範囲は、光の最大回折角度をθ、ギャップgの奥側の画素bの奥行値をzとしたとき、画素bから、z×tanθを満たす範囲である。
【0077】
すなわち、欠落画素補填手段30は、ホログラム画素hからギャップg上を通過する光線(直線)のうちで、z軸とのなす角が光の拡散範囲となる直線を算出する。そして、欠落画素補填手段30は、算出した直線が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された画素fと、画素bとを結んだ直線(画素補填範囲R)上の画素を、隣接映像(図6の例では、左視点隣接映像)から選択する。これによって、ホログラム画素hの位置から見えるギャップgに相当する画素が、画素補填範囲Rの画素によって補填されることになる。
【0078】
また、図6では、ホログラム画素hがギャップgより左下側に存在する場合の例で説明したが、ホログラム画素hがギャップgより右上側に存在する場合であっても同じ手法を用いることができる。例えば、図7に示したように、ホログラム面とギャップgとが交差し、かつ、ホログラム画素hがギャップg上に存在せず、ギャップgより右上側に存在する場合、欠落画素補填手段30は、ホログラム画素hからギャップg上を通過する光線(直線)のうちで、z軸とのなす角が光の拡散範囲となる直線を算出する。そして、欠落画素補填手段30は、算出した直線が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された画素dと、画素fとを結んだ直線(画素補填範囲R)上の画素を、隣接映像(図7の例では、左視点隣接映像)から選択する。
【0079】
次に、図8を参照して、ホログラム画素がギャップ上に存在する場合の画素補填範囲について説明する。
図8に示すように、ホログラム画素hがギャップg上に存在する場合、ホログラム画素hの位置から見える奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)は無限領域となる。しかし、この場合であっても、ホログラム再生光は、(3)式で示したように、最大回折角度θ以上には拡散しない。そこで、欠落画素補填手段30は、光の最大回折角度をθ、ギャップgの奥側の画素bの奥行値をzとし、画素bから、上方向にz×tanθを満たす画素dと、右方向にz×tanθを満たす画素eとしたとき、扇型領域bdeを画素補填範囲Rとする。そして、欠落画素補填手段30は、画素補填範囲R上の画素を、隣接映像(図8の例では、左視点隣接映像)から選択する。
【0080】
なお、ここでは、ホログラムを再生する際に、共役光等の不要光を除去するために、水平よりも下に拡散する光のみを求めるハーフゾーンプレート法を用いる場合の画素補填範囲Rを示している。ハーフゾーンプレート法を用いない場合、欠落画素補填手段30は、図9に示すように、図8に示した扇型領域bdeを下半分に折り返した領域を加えた半円領域bdefを、画素補填範囲Rとしてもよい。
【0081】
なお、いずれの場合も、補填すべき画素の隣接画像の中での位置は、基準映像内での補填画素の座標を(x,y)とし、その視差量をBとすると、左視点隣接映像の中では(x+B,y)、右視点隣接映像の中では(x-B,y)、下視点隣接映像の中では(x,y-B)、上視点隣接映像の中では(x,y+B)で与えられる。なお、ホログラムを求める際のxyz座標のz=0平面を、無限遠の被写体の映像を配置する奥行位置とすると、被写体の各画素の奥行値zは常に負の値となるので、視差量Bの符号を反転したものが、奥行値zになる。xyz座標のz=0平面をそれ以外に置く場合(ホログラム面を移動する場合)は、z=0平面を移動した距離を、各画素の奥行値に加えればよい。
【0082】
以上、欠落画素補填手段30が補填する画素補填範囲について説明したが、ここでは、隣接画素が左右に隣接し、右側の画素が手前、左側の画素が奥側に存在することで、補填対象となる隣接映像が左視点隣接映像である場合についてのみ説明した。しかし、右側の画素が奥側、左側の画素が手前に存在する場合、あるいは、隣接画素が上下に隣接する場合であっても、同じ手法で画素補填範囲を求めることができるため、他の配置の場合については説明を省略する。図3に戻って、ホログラム生成装置1の構成について説明を続ける。
【0083】
ホログラム計算手段40は、ホログラム画素の位置に仮想的に入射される光量を加算して、当該ホログラム画素の画素値を算出するものである。なお、ホログラム計算手段40は、光の拡散範囲内の基準映像Fの各画素の位置および欠落画素補填手段30によって補填された欠落画素の画素位置(隣接映像Fの識別番号を含む)からの光量を加算する。なお、ここでは、ホログラム計算手段40は、奥行不連続検出手段10に対して、生成対象となるホログラム画素の位置を通知することで、欠落画素補填手段30から、当該画素に対応する補填用の画素位置および隣接映像Fの識別情報を取得することとする。
【0084】
このホログラム計算手段40は、各画素を3次元空間(x,y,z)上に配置し、各画素の輝度をI(x,y)、奥行値をz、光の波長をλとしたとき、ホログラム画素の画素値h(u,v)を、以下の(4)式により求める。なお、ホログラム面は、3次元空間(u,v,0)上に形成するものとする。
【0085】
【数4】
JP0005246864B2_000005t.gif

【0086】
ここで、Σは、ホログラム画素から被写体を見たときに、ホログラムで回折する光の拡散範囲内にある被写体の画素I(x,y)すべての光量の加算を示している。
このように、ホログラム計算手段40は、ホログラム画素に仮想的に入射される光量を加算することで、ホログラム画素の画素値を算出することができる。
【0087】
なお、ホログラム再生光の回折は、隣接するホログラム画素からの光の干渉で生じるが、干渉するホログラム画素が少ないと十分な干渉が起きず、再生光はランダムに拡散してしまい、意図通りの方向に回折せず、ホログラム画素の前にある前景の被写体を突き抜けて補填画素からの光が見えるファントム現象が生じる。
【0088】
そこで、欠落画素補填手段30は、ギャップの奥側画素の奥行位置がホログラム面に所定値以上接近している場合、欠落画素の補填を行わないこととする。この所定値は、光の拡散範囲に入る補填画素数が3画素程度以下の場合とする。これによって、ファントム現象を防止することができる。このように、画素補填を行わない場合、オクルージョンホールが残ることになるが、このオクルージョンホールから見える画素は、3画素程度以下であるので、補填しなくても再生映像品質はほとんど劣化しない。
【0089】
以上説明したように構成することで、ホログラム生成装置1は、ホログラム再生時に手前の被写体の陰に隠れていた光がない部分について、隣接映像の画素により補填を行うため、オクルージョンホールの発生を防止することができる。
【0090】
なお、ホログラム生成装置1は、一般的なコンピュータを、前記した各手段として機能させるホログラム生成プログラムによって動作させることができる。また、このホログラム生成プログラムは、通信回線を介して配布したり、CD-ROM等の記録媒体に記録して配布したりすることも可能である。
【0091】
[ホログラム生成装置の動作]
次に、図10を参照(構成については適宜図3参照)して、本発明の実施形態に係るホログラム生成装置の動作について説明する。図10は、本発明の実施形態に係るホログラム生成装置の動作を示すフローチャートである。
【0092】
まず、ホログラム生成装置1は、ホログラム計算手段40によって、3次元空間上のホログラム面上において、ホログラムHを生成するための画素(ホログラム画素)を選択する(ステップS1)。なお、このホログラム面は、図示を省略した入力手段を介して、ホログラムを生成するための3次元空間上の奥行値を入力されることで、ホログラム計算手段40が、予め3次元空間上に設定するものとする。
【0093】
(奥行不連続検出ステップ)
そして、ホログラム生成装置1は、奥行不連続検出手段10によって、ステップS1で選択されたホログラム画素hを中心に光の拡散範囲にある隣接する画素a,bの奥行値z,zを比較する(ステップS2)。
【0094】
ここで、奥行値の差が所定値よりも大きい場合(ステップS3でYes)、当該画素間には、奥行きが不連続となるギャップが存在するため、当該ギャップを補填するステップS4以降の補填処理(補填映像選択処理、欠落画素補填処理)に動作を進める。一方、奥行値の差が所定値以下の場合(ステップS3でNo)、当該画素間にはギャップが存在しないため、補填処理を行わずにステップS6に動作を進める。
【0095】
(補填映像選択ステップ)
そして、奥行値の差が所定値よりも大きい場合(ステップS3でYes)、ホログラム生成装置1は、補填映像選択手段20によって、オクルージョンホールを補填するための隣接映像を選択する(ステップS4)。なお、このステップS4の動作については、図11を参照して後で説明を行う。
【0096】
(欠落画素補填ステップ)
さらに、ホログラム生成装置1は、欠落画素補填手段30によって、ステップS2でギャップと判定された領域を隣接映像の画素により補填する(ステップS5)。なお、このステップS5の動作については、図12を参照して後で説明を行う。
【0097】
そして、ホログラム生成装置1は、奥行不連続検出手段10によって、光の拡散範囲内の画素について、まだ参照していない被写体画素があるか否かを判定し(ステップS6)、補填を行っていない被写体画素がある場合(ステップS6で“あり”)、ステップS2に戻って動作を続ける。
【0098】
(ホログラム値演算ステップ)
一方、光の拡散範囲内のすべての画素について参照を行った場合(ステップS6で“なし”)、ホログラム生成装置1は、ホログラム計算手段40によって、ステップS5によって補填された光の拡散範囲の画素の位置からの光量を加算することでホログラム画素の画素値を算出する(ステップS7)。なお、算出されたホログラム画素値は、順次ホログラムHを構成する画素値として外部に出力される。
【0099】
そして、ホログラム生成装置1は、ホログラム計算手段40によって、画素値が算出されていないホログラム画素があるか否かを判定し(ステップS8)、画素値が算出されていないホログラム画素がある場合(ステップS8で“あり”)、ステップS1に戻って、次のホログラム画素を選択し、動作を継続する。
一方、すべてのホログラム画素について、画素値を算出した場合(ステップS8で“なし”)、ホログラム生成装置1は、動作を終了する。
【0100】
以上の動作によって、ホログラム生成装置1は、ホログラム画素ごとに、順次、光の拡散範囲内の画素の光量を加算したオクルージョンホールを補填したホログラム(計算機合成ホログラム)Hを生成することができる。
【0101】
(補填映像選択処理)
次に、図11を参照(構成については適宜図3参照)して、ホログラム生成装置1が、オクルージョンホールを補填するための隣接映像を選択する動作について説明する。なお、この動作は、図10で説明したステップS4の動作に相当し、補填映像選択手段20によって行われる。また、本説明では、適宜図4で用いた符号を用いることとする。
【0102】
まず、補填映像選択手段20は、隣接画素a,bがどのような並びで隣接しているのかを判定する(ステップS41)。すなわち、補填映像選択手段20は、基準映像Fの2次元座標の位置(x,y)(x;水平方向、y;垂直方向)において、隣接画素のy座標が同一の場合、左右(水平)に隣接していると判定し、x座標が同一の場合、上下(垂直)に隣接していると判定する。
【0103】
ここで、隣接画素が左右(水平)に並んでいる場合(ステップS41で“左右”)、補填映像選択手段20は、さらに、ギャップとホログラム画素hとを通る光の進行方向(ホログラム画素hから手前側に出射する光の進行方向)を判定する(ステップS42)。すなわち、補填映像選択手段20は、奥行マップZを参照し、ギャップの両端の画素a,bのx座標およびz座標と、ホログラム画素のx座標およびz座標とを比較することで、ギャップとホログラム画素hとを通る光の水平方向の向きが、映像の正面から見て右から左手前に向いている場合(ステップS42で“右→左”)、補填映像選択手段20は、左視点隣接映像FNLを選択する(ステップS43)。なお、ホログラムからの光は、常に手前(z軸の負の)方向に進行するものとする。
【0104】
一方、ギャップとホログラム画素hとを通る光の水平方向の向きが、映像の正面から見て左から右手前に向いている場合(ステップS42で“左→右”)、補填映像選択手段20は、右視点隣接映像FNRを選択する(ステップS44)。
【0105】
また、隣接画素が上下(垂直)に並んでいる場合(ステップS41で“上下”)、補填映像選択手段20は、さらに、ギャップとホログラム画素hとを通る光の進行方向(ホログラム画素hから手前側に出射する光の進行方向)を判定する(ステップS45)。すなわち、補填映像選択手段20は、奥行マップZを参照し、ギャップの両端の画素a,bのy座標およびz座標と、ホログラム画素のy座標およびz座標とを比較することで、ギャップとホログラム画素hとを通る光の垂直方向の向きが、映像の正面から見て下から上に向いている場合(ステップS45で“下→上”)、 補填映像選択手段20は、上視点隣接映像FNUを選択する(ステップS46)。
【0106】
一方、ギャップとホログラム画素hとを通る光の垂直方向の向きが、映像の正面から見て上から下に向いている場合(ステップS45で“上→下”)、補填映像選択手段20は、下視点隣接映像FNVを選択する(ステップS47)。
以上の動作によって、補填映像選択手段20は、ギャップの領域を補填する映像を複数の隣接映像の中から選択することができる。
【0107】
(欠落画素補填処理)
次に、図12を参照(構成については適宜図3参照)して、ホログラム生成装置1が、オクルージョンホール(ギャップ)における欠落した画素を補填する動作について説明する。なお、この動作は、図10で説明したステップS5の動作に相当し、欠落画素補填手段30によって行われる。また、本説明では、適宜図4、図6、図8で用いた符号を用いることとする。
【0108】
まず、欠落画素補填手段30は、奥行マップZを参照し、ギャップgとホログラム画素hとを結ぶ直線上に、手前側の被写体の画素aがあるか否かを判定する(ステップS51)。具体的には、図4で、ホログラム画素hの右奥にギャップgがある場合、光は右奥から左手前に進むが、ギャップgの奥側の画素bのx座標より手前側の画素aのx座標の方が小さい場合は、手前側の被写体は画素aの位置から左側に広がっていると判断する。この場合、ギャップgから出てホログラム画素hを通る光は、途中で画素aを含む手前側の被写体に当たることになる。このように、ギャップgとホログラム画素hとを結ぶ直線上に、手前側の被写体があると判断した場合、ホログラム画素hの位置からギャップgは見えないため、画素の補填を行う必要はない。よって、欠落画素補填手段30は、ギャップgとホログラム画素hとの間に、手前側の被写体がある場合(ステップS51で“あり”)、画素の補填を行わずに本動作を終了する。
【0109】
一方、図4に示すように、ギャップgとホログラム画素hとを結ぶ直線上に、手前側の被写体がないと判断した場合(ステップS51で“なし”)、オクルージョンホールが見えることになるが、この場合は、さらに、ホログラム画素hがギャップg上に存在するか否かを判定する(ステップS52)。
【0110】
ここで、ホログラム画素hがギャップg上に存在する場合(ステップS52でYes)、図8で説明したように、ホログラム画素hから見える奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)は無限領域となる。そこで、欠落画素補填手段30は、奥側の画素bが存在する被写体面上の光の拡散範囲の画素(図8中、扇型領域bde)を、画素補填範囲Rとして、ステップS4(図10)で選択された隣接映像から選択(補填)する(ステップS53)。
【0111】
一方、ホログラム画素hがギャップg上に存在しない場合(ステップS52でNo)、欠落画素補填手段30は、さらに、ギャップgがホログラム面と交差するか否かを判定する(ステップS54)。
【0112】
ここで、ギャップgがホログラム面と交差しない場合(ステップS54でNo)、欠落画素補填手段30は、図4で説明したように、ホログラム画素hと、ギャップgを構成する手前側の画素aとを結んだ光線(直線)が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された画素fと、画素bとを結んだ直線(画素補填範囲R)上で、光の拡散範囲内の画素を、ステップS4(図10)で選択された隣接映像から選択(補填)する(ステップS55)。
【0113】
一方、ギャップgがホログラム面と交差する場合(ステップS54でYes)、欠落画素補填手段30は、図6で説明したように、ホログラム画素hと、ギャップgを構成する手前側の画素aとを結んだ光線(直線)が、奥側の画素bの奥行値と同一の被写体面(z=zのxy平面)に投影された直線上の画素のうちで、ホログラム画素hから光の拡散範囲にある画素(画素補填範囲R)を、ステップS4(図10)で選択された隣接映像から選択(補填)する(ステップS56)。
以上の動作によって、欠落画素補填手段30は、ギャップの領域を隣接映像の画素から補填することができる。
【0114】
以上、本発明の実施形態に係るホログラム生成装置1の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
ここでは、被写体からの光が、水平・垂直の両方に拡散する全視差型のホログラムを生成する場合を例に、オクルージョンホールを補填したホログラムを生成するホログラム生成装置1について説明した。
【0115】
しかし、本発明は、被写体からの光が水平方向のみに拡散する水平視差型ホログラムを生成する場合にも適用することができる。この場合、ホログラム生成装置1は、隣接映像として、図1で説明した4つの異なる隣接映像のうち、右視点隣接映像FNRおよび左視点隣接映像FNLのみを用いればよい。また、このとき、奥行不連続検出手段10は、左右に隣接する画素についてのみギャップを検出すればよい。
【0116】
さらに、水平視差型ホログラムで、不要光除去を、ハーフゾーンプレート法を用いて行う場合、ハーフゾーンプレート法で残った右もしくは左方向に拡散する光に応じて、右視点隣接映像FNRまたは左視点隣接映像FNLのいずれか一方のみを隣接映像として用いればよい。この場合、映像は、基準映像Fと1つの隣接映像のみとなり、2眼のステレオカメラ映像から、焦点調節が可能な立体映像を実現できると言う格別の効果がある。
【0117】
また、ここでは、基準映像および隣接映像をそれぞれカメラで撮影した実写の映像として説明したが、コンピュータグラフィックスで生成された合成映像を用いることも可能である。
【図面の簡単な説明】
【0118】
【図1】本発明の実施形態に係るホログラム生成装置がホログラムを生成する際に用いる各種の映像の内容を説明するための説明図である。
【図2】本発明の実施形態に係るホログラム生成装置において、オクルージョンホールを補填する手法の概略を説明するための説明図である。
【図3】本発明の実施形態に係るホログラム生成装置の全体構成を示すブロック図である。
【図4】ホログラム面がギャップよりも手前に存在する場合の画素補填範囲を説明するための説明図である。
【図5】ホログラム面がギャップよりも奥側に存在する場合の画素補填範囲を説明するための説明図である。
【図6】ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない(ギャップより左下側にある)場合の画素補填範囲を説明するための説明図である。
【図7】ホログラム面とギャップとが交差し、かつ、ホログラム画素がギャップ上に存在しない(ギャップより右上側にある)場合の画素補填範囲を説明するための説明図である。
【図8】ホログラム画素がギャップ上に存在する場合の画素補填範囲を説明するための説明図である(ハーフゾーンプレート法を用いた場合)。
【図9】ホログラム画素がギャップ上に存在する場合の画素補填範囲を説明するための説明図である(ハーフゾーンプレート法を用いない場合)。
【図10】本発明の実施形態に係るホログラム生成装置の動作を示すフローチャートである。
【図11】本発明の実施形態に係るホログラム生成装置のオクルージョンホールを補填するための隣接映像を選択する動作を示すフローチャートである。
【図12】本発明の実施形態に係るホログラム生成装置のオクルージョンホール(ギャップ)における欠落した画素を補填する動作を示すフローチャートである。
【図13】従来の手法におけるオクルージョンホールを説明するための説明図である。
【図14】従来のハーフゾーンプレート処理を伴ったシングルサイドバンド(SSB)法の概要を説明するための説明図である。
【符号の説明】
【0119】
1 ホログラム生成装置
10 奥行不連続検出手段
20 補填映像選択手段
30 欠落画素補填手段
40 ホログラム計算手段
H ホログラム
Z 奥行マップ
基準映像
NU 上視点隣接映像
NV 下視点隣接映像
NL 左視点隣接映像
NR 右視点隣接映像
オクルージョンホール
g ギャップ(不連続領域)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13