TOP > 国内特許検索 > 仮想視点画像合成方法及び仮想視点画像合成システム > 明細書

明細書 :仮想視点画像合成方法及び仮想視点画像合成システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5858380号 (P5858380)
公開番号 特開2012-123799 (P2012-123799A)
登録日 平成27年12月25日(2015.12.25)
発行日 平成28年2月10日(2016.2.10)
公開日 平成24年6月28日(2012.6.28)
発明の名称または考案の名称 仮想視点画像合成方法及び仮想視点画像合成システム
国際特許分類 G06T  19/00        (2011.01)
H04N  13/04        (2006.01)
FI G06T 19/00 A
H04N 13/04
請求項の数または発明の数 8
全頁数 20
出願番号 特願2011-264974 (P2011-264974)
出願日 平成23年12月2日(2011.12.2)
優先権出願番号 61/419,501
優先日 平成22年12月3日(2010.12.3)
優先権主張国 アメリカ合衆国(US)
審査請求日 平成26年12月1日(2014.12.1)
特許権者または実用新案権者 【識別番号】504139662
【氏名又は名称】国立大学法人名古屋大学
発明者または考案者 【氏名】ウィルダブラ メインダード オノ
【氏名】楊 路
【氏名】パナヒプル テヘラニ メヒルダド
【氏名】圓道 知博
【氏名】谷本 正幸
個別代理人の代理人 【識別番号】110000578、【氏名又は名称】名古屋国際特許業務法人
審査官 【審査官】真木 健彦
参考文献・文献 特開2010-218549(JP,A)
国際公開第2010/024938(WO,A1)
特許第4052331(JP,B2)
調査した分野 G06T 19/00
G06T 5/00 - 5/50
H04N 13/00 - 13/04
特許請求の範囲 【請求項1】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段によって、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成工程と、
前記深度マップ生成工程において生成した深度マップをアップサンプリングするアップサンプリング工程と、
画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段から前記仮想視点の位置情報及び方向情報を取得する仮想視点情報取得工程と、
前記基準画像取得工程において取得した前記基準画像、前記アップサンプリング工程においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得工程において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成工程と、
により、仮想視点画像を合成し、
前記画像深度取得手段は、画像の深度を検出する深度カメラであり、
前記アップサンプリング工程は、
前記深度カメラから入力された深度マップを入力し、
前記深度マップ生成工程において生成された深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させ、
前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当て、
前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出し、
前記算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択することを特徴とする仮想視点画像合成方法。
【請求項2】
請求項に記載の仮想視点画像合成方法において、
前記重みは、前記基準画像のピクセルと前記深度マップにおける前記一組の隣接するピクセルとの色又は強度差及び距離に基づいて割り当てられることを特徴とする仮想視点画像合成方法。
【請求項3】
請求項に記載の仮想視点画像合成方法において、
前記重みは、前記深度カメラから入力された深度マップ及び/又は前記基準画像のピクセルと、前記深度カメラから入力された深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき割り当てられることを特徴とする仮想視点画像合成方法。
【請求項4】
請求項~請求項のいずれか1項に記載の仮想視点画像合成方法において、
前記最適深度値の選択は、
出力深度値として最小重みを有するピクセルの深度を選択することによることを特徴と
する仮想視点画像合成方法。
【請求項5】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成システムであって、
複数の視点に配置した画像取得手段と、
前記複数の画像取得手段から画像構成の基準となる基準画像を取得する基準画像取得手段と、
前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段と、
前記画像深度取得手段により取得した、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成手段と、
前記深度マップ生成手段において生成した深度マップをアップサンプリングするアップサンプリング手段と、
画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段と、
前記基準画像取得手段において取得した前記基準画像、前記アップサンプリング手段においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得手段において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成手段と、
を備え
前記画像深度取得手段は、画像の深度を検出する深度カメラであり、
前記アップサンプリング手段は、
前記深度カメラから入力された深度マップを入力する深度マップ入力手段と、
前記深度マップ入力手段で入力した前記深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させる対応手段と、
前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当てる重み割当手段と、
前記重み割当手段で前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出する最小重み算出手段と、
前記最小重み算出手段で算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択する最適深度値選択手段と、
を備えたことを特徴とする仮想視点画像合成システム。
【請求項6】
請求項に記載の仮想視点画像合成システムにおいて、
前記重み割当手段は、
前記基準画像のピクセルと、前記深度マップ入力手段で入力した前記深度マップにおける前記一組の隣接するピクセルと、の色又は強度差及び距離に基づいて前記重みを割り当てることを特徴とする仮想視点画像合成システム。
【請求項7】
請求項に記載の仮想視点画像合成システムにおいて、
前記重み割当手段は、
前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像のピクセルと、前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき、前記重みを割り当てることを特徴とする仮想視点画像合成システム。
【請求項8】
請求項~請求項のいずれか1項に記載の仮想視点画像合成システムにおいて、
前記最適深度値選択手段は、
前記出力深度値として最小重みを有するピクセルの深度を選択することを特徴とする仮想視点画像合成システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、複数位置において取得した画像に基づき仮想視点における合成画像を得る仮想視点画像合成方法及び仮想視点画像合成システムに関する。
【背景技術】
【0002】
仮想視点画像とは、仮想位置において実際のカメラによって撮影されたかのように見える画像のことである。例えば、対象及び背景を、2台のカメラによって撮影した場合、2台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。
【0003】
この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。
【0004】
人は、各々の目で異なるビューを見るので深度を感知することができる。最新の3Dビデオシステム(3D-TV又は自由視点TVなど)の原理は、各々の目に対して1つの、2視点画像を生成することである。視点に自由度を持たせるためには多くの視点画像が必要である。3Dシーンの情報は、多くの方法で得られて表現され得る。
【0005】
よく使用される3Dシーン表現は、深度画像がシーン形状を表現するNビュー及びN深度画像に基づいている。図10に、複数のビュー及び形状に基づく多視点ビデオシステムの一般化されたシステム図を示す。
【0006】
複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、3Dモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリングを使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る(例えば、非特許文献1参照)。
【0007】
深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、3Dワーピングと呼ばれる。
【0008】
Nビュー及びN深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信/記憶帯域幅が抑制され得る。例えば、3Dディスプレイが20視点画像を必要とする場合、20視点画像を送信しなくても2つ又は3つのビュー及び対応する深度マップを送信すれば十分であり得る。
【0009】
一般に、多視点ビデオシステムでは、複数の深度マップ及びビューが記憶又は送信のために圧縮される。ビュー及び深度の両方の効率的圧縮と信頼性の高い高品質の仮想ビュー合成が、このようなシステムにおいて重要である。
【0010】
圧縮のために深度をダウン/アップサンプリングするアプローチでは、補間されたサンプルによって低解像度の深度マップのみから推定される従来のアップサンプリングが採用されている(例えば、非特許文献2、非特許文献3参照)。
【先行技術文献】
【0011】

【非特許文献1】C.Fehn、「Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV(3D-TVに関する新しいアプローチのための、深度画像に基づくレンダリング(DIBR)、圧縮、及び送信)」、Proc.SPIE Stereoscopic Displays and Virtual Reality Systems、XI、pp.93-104(Jan.2004)
【非特許文献2】S.Shimizu、M.Kitahara、K.Kamikura、及びY.Yashima、「View scalable multiview video coding using 3-D warping with depth map(深度マップを使用した3Dワーピングを用いるビュースケーラブル多視点映像符号化)」、IEEE Transactions on Circuits and Systems for Video Technology、vol.17、pp.1485-1495、November 2007
【非特許文献3】K-J.Oh、S.Yea、A.Vetro、Y-S.Ho、「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video(3-Dビデオにおける深度符号化のための深度再構成フィルタ及びダウン/アップサンプリング)」、IEEE signal processing letters、vol.16、No.9、Sept.2009、p747-750
【発明の概要】
【発明が解決しようとする課題】
【0012】
ところが、従来のアップサンプリング方法を適用すると、アップサンプリングされた深度マップに強力な遮断作用又は平滑作用を及ぼす。これは、合成されたビューにアーチファクトをもたらすので望ましくないという問題がある。
【0013】
本発明は、こうした問題に鑑みなされたもので、アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現する仮想画像合成技術を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記[発明が解決しようとする課題において述べた問題を解決するためになされた発明は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段(10)から、仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
複数の画像取得手段(10)と同じ視点における画像の深度を取得する画像深度取得手段(402.409,412)によって、複数の画像取得手段(10)と同じ視点における画像の深度マップを生成する深度マップ生成工程と、
深度マップ生成工程において生成した深度マップをアップサンプリングするアップサンプリング工程と、
画像を合成する際の視点となる仮想視点の位置情報と仮想視点から合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段から仮想視点の位置情報及び方向情報を取得する仮想視点情報取得工程と、
基準画像取得工程において取得した基準画像、アップサンプリング工程においてアップサンプリングした深度マップ及び仮想視点情報取得工程において取得した仮想視点の位置情報及び方向情報に基づいて、仮想視点の位置情報及び方向情報に対応する仮想視点
画像を合成する仮想視点画像合成工程と、
により、仮想視点画像を合成することを特徴とする仮想視点画像合成方法である。
【0015】
このような仮想視点画像合成方法によれば、アップサンプリングされた深度マップに強力な遮断作用又は平滑作用を及ぼさず、合成されたビューにアーチファクトをもたらさないものとなる。したがって、符号化効率の改善及びビュー合成品質の向上に寄与する。
【0016】
つまり、従来型のアップサンプリングとは対照的に、本発明のアップサンプリング方法では、高解像度ビューを使用することによって再構成される深度マップにおける明確な対象境界を再構成する。これによって、対象のエッジがより良く維持されるので、比較的低いビットレートにおける符号化効率が改善されるとともにレンダリング品質が向上する。
【0017】
したがって、アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現することができる
【0018】
上記の仮想視点画像合成方法において、画像深度取得手段(402.409,412)は、画像の深度を検出する深度カメラ(402)であり、アップサンプリング工程は、深度カメラ(402)から入力された深度マップを入力し、深度マップ生成工程において生成された深度マップにおける一組の隣接するピクセルと、基準画像における互いに隣接していないピクセルとを対応させ、深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当て、一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出し、算出した最小重みを得たときの一組の隣接するピクセルにおける最適な深度値を選択してもよい
【0019】
上記の仮想視点画像合成方法において、重みは、基準画像のピクセルと深度マップにおける一組の隣接するピクセルとの色又は強度差及び距離に基づいて割り当てられてもよい
【0020】
上記の仮想視点画像合成方法において、重みは、深度カメラ(402)から入力された深度マップ及び/又は基準画像のピクセルと、深度カメラ(402)から入力された深度マップ及び/又は基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき割り当てられてもよい
【0021】
上記の仮想視点画像合成方法において、重みの最適化は、権利独占選択によるとしてもよい
【0022】
上記の仮想視点画像合成方法において、最適深度値の選択は、出力深度値として最小重みを有するピクセルの深度を選択することによるとしてもよい
【0023】
本発明の別の側面は、複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成システム(100)であって、複数の視点に配置した画像取得手段(10)と、複数の画像取得手段(10)から画像構成の基準となる基準画像を取得する基準画像取得手段(102)と、複数の画像取得手段(10)と同じ視点における画像の深度を取得する画像深度取得手段(402.409,412)と、画像深度取得手段(402,409,412)により取得した深度に基づき、複数の画像取得手段(10)と同じ視点における画像の深度マップを生成する深度マップ生成手段(102)と、深度マップ生成手段(102)において生成した深度マップをアップサンプリングするアップサンプリング手段(401)と、画像を合成する際の視点となる仮想視点の位置情報と仮想視点から合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段と、基準画像取得手段(102)において取得した基準画像、アップサンプリング手段(401)においてアップサンプリングした深度マップ及び仮想視点情報取得手段において取得した仮想視点の位置情報及び方向情報に基づいて、仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成手段(104)と、を備えたことを特徴とする仮想視点画像合成システム(100)である。
【0024】
このような仮想視点画像合成システム(100)によれば、上記の仮想視点画像合成方法と同様な効果を得ることができる仮想視点画像合成システム(100)とすることができる。
【0025】
上記の仮想視点画像合成システム(100)において、画像深度取得手段(402.409,412)は、画像の深度を検出する深度カメラ(402)であり、アップサンプリング手段(401)は、深度カメラ(402)から入力された深度マップを入力する深度マップ入力手段(601)と、深度マップ入力手段(601)で入力した深度マップにおける一組の隣接するピクセルと、基準画像における互いに隣接していないピクセルとを対応させる対応手段と、深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当てる重み割当手段と、重み割当手段で一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出する最小重み算出手段と、最小重み算出手段で算出した最小重みを得たときの一組の隣接するピクセルにおける最適な深度値を選択する最適深度値選択手段と、を備えてもよい
【0026】
上記の仮想視点画像合成システム(100)において、重み割当手段は、基準画像のピクセルと、深度マップ入力手段(601)で入力した深度マップにおける一組の隣接するピクセルと、の色又は強度差及び距離に基づいて重みを割り当ててもよい
【0027】
上記の仮想視点画像合成システム(100)において、重み割当手段は、深度マップ入力手段(601)で入力した深度マップ及び/又は基準画像のピクセルと、深度マップ入力手段(601)で入力した深度マップにおける一組の隣接するピクセル及び/又は基準画像との色又は強度差及び距離の組合せに基づき、重みを割り当ててもよい
【0028】
上記の仮想視点画像合成システム(100)において、最小重み算出手段は、権利独占選択により、重みの最適化を行うことを特徴とする仮想視点画像合成システム(100)である。
【0029】
上記の仮想視点画像合成システム(100)において、最適深度値選択手段は、出力深度値として最小重みを有するピクセルの深度を選択してもよい
【図面の簡単な説明】
【0030】
【図1】例示的なNビュー及びN深度に基づく3Dシステムのシステム図である。
【図2】ダウンサンプリングの概略図である。
【図3】3つのビュー及び対応する深度マップの例である。
【図4】アップサンプル部の概略の内部構成を示す図である。
【図5】アップサンプル部におけるアップサンプリングの概略図を示す
【図6】アップサンプリング処理の流れを示すフローチャートである。
【図7】アップサンプリング処理中のサブルーチンであるアップサンプル深度処理の流れを示すフローチャートである。
【図8】アップサンプル部におけるアップサンプリングの結果を示す。
【図9】ビデオシーケンス「Champagne_tower」に関するPSNR比較である。
【図10】複数のビュー及び形状に基づく多視点ビデオシステムの一般化されたシステム図である。
【発明を実施するための形態】
【0031】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

【0032】
図1は、仮想視点画像合成システム100の概略の構成を示すシステム図である。仮想視点画像合成システム100は、図1に示すように、多視点撮影サブシステム101、形状生成サブシステム102、送信/記憶サブシステム103及び仮想ビュー合成サブシステム104を備えている。

【0033】
なお、本実施形態における、形状生成サブシステム102及びアップサンプリングサブシステム401では、単に一つの処理経路を有するのではなく、アプリケーションの違いによって、種々の経路(以下、アプリケーション経路とも呼ぶ)を採ることができるようになっている。

【0034】
つまり、スイッチ407及びスイッチ408を切り替えることにより、4つのアプリケーションが経路「a」~「d」を選択し、アプリケーションの違いによって、アップサンプリングサブシステム401における処理内容を異なるものとすることができるようになっている。

【0035】
なお、スイッチ407,408は、常に同じ経路を選択し、例えば、両方を経路「a」に設定するかあるいは両方を経路「b」に設定するといった具合である。
多視点撮影サブシステム101は、図示しない複数のカメラにより静的又は動的のいずれかの画像を取得するマルチカメラ撮像システム10を含んでいる。

【0036】
マルチカメラ撮像システム10で撮影されたビデオ画像は、較正又は修正によって前処理され、多視点ビデオ画像105として、形状生成サブシステム102及び送信/記憶サブシステム103に出力される。

【0037】
多視点撮影サブシステム101における較正又は修正の方法は、従来の技術によればよいため、説明を省略する。
形状生成サブシステム102は、深度マップ413を生成し、送信/記憶サブシステム103へ出力する。

【0038】
深度マップ413の生成は、4つの方法(4つのアプリケーション経路「a]~[d]に対応)によって行われる。
アプリケーション経路[a]では、深度カメラ402で取得した深度画像をその深度マップ413として出力する。

【0039】
アプリケーション経路「b」では、深度カメラ402で取得した深度画像をアップサンプル部403でアップサンプリングして出力する。このアップサンプリングについては、詳細を後述する。

【0040】
ここで、アプリケーション経路「a」、「b」で用いられる深度カメラ402は、画像をその深度とともに取得することができるカメラであり、マルチカメラ撮像システム10で撮影する多視点ビデオ画像105と同じ画像の深度を取得する。

【0041】
通常、深度カメラ402からの深度マップは、撮影された多視点ビデオ画像105よりも解像度が低い。
アプリケーション経路「c」では、多視点撮影サブシステム101から入力される多視点ビデオ画像105から、深度推定部409において多視点ビデオ画像105の深度が推定された深度マップが生成され、生成された深度マップがダウンサンプル部410でダウンサンプルされて出力される。

【0042】
アプリケーション経路「c」では、このように、深度推定部409からの高解像度の深度マップがダウンサンプル部410においてダウンサンプルされることによって符号化効率を向上させることができる。

【0043】
深度推定部409における深度推定は複雑であるので、深度を比較的低い解像度で推定し、この後に本発明の低複雑度のアップサンプリング方式が続くようにする方がはるかに速い。これには深度マップの品質が僅かに低下するという犠牲を伴うが、このアプリケーションは実時間深度推定が要求される場合に有用である。

【0044】
アプリケーション経路「c」におけるダウンサンプル部410では、ダウンサンプリング中に深度境界を維持するために、下記式1で定義されるピクセルドロッピングによってダウンサンプリングを適用する。

【0045】
【数1】
JP0005858380B2_000002t.gif

【0046】
ここで、stepは受信機側に送信されるパラメータであるダウンサンプリング係数である。図2は、このダウンサンプリングの概略図を示す。
このダウンサンプリングでは、規則的な格子上のすべてのサンプルは低解像度の深度マップに記憶され、格子から外れたピクセルは捨てられる。図2では、文字A~Kで示されたピクセルの深度値のみがダウンサンプリングされた深度マップに記憶され、他の深度値は捨てられる。例えば、ピクセル501は、ピクセル503にマップするが、ピクセル502は捨てられる。

【0047】
アプリケーション経路「d」では、多視点撮影サブシステム101から入力される多視点ビデオ画像105がダウンサンプル部411においてダウンサンプリングされ、深度推定部412において、ダウンサンプリングされた多視点ビデオ画像の深度が推定されて、深度マップが生成され、出力される。

【0048】
仮想視点画像合成システム100においては、3Dシーンの情報は多くの方法で表現され得る。よく使用される3Dシーン表現は、Nビュー及びN深度マップ画像に基づくものであるため、図3に、形状生成サブシステム102において得られる、N=3の場合のNビュー及びN深度マップ画像の例を示す。

【0049】
図3は、3つの深度ビュー201~203及び対応する深度マップ204~206を示す。3つの深度ビュー201~203は、並べた3台の深度カメラ402で撮影されている。

【0050】
深度マップ204~206は、所定の深度範囲内の深度カメラ402に対するパーピクセル深度を表すグレースケール画像である。8ビットスケールでは、グレースケール値0(黒)は最大距離を表し、255(白)は最小距離を表す。

【0051】
深度マップ204~206は、対象内で滑らかに変化する強度と対象エッジにおける急峻な変化を含む傾向がある(例えば、図3参照)。したがって、深度マップ204~206は、深度のダウンサンプリング及びアップサンプリングによって利用され得るテクスチャビデオに比べてより大きな空間的冗長性を有する傾向がある。

【0052】
深度マップ204~206は、対象境界付近の重要なエッジ情報を伝達する。最近隣法(nearest neigbor)、線形補間、又は多項式補間など、従来型のアップサンプリング方法は、この重要な情報を平滑化するか又は除去する。これは合成されたビューのアーチファクトにつながる。

【0053】
送信/記憶サブシステム103は、多視点ビデオ画像105及び深度マップ413を記憶又は送信する。送信/記憶サブシステム103では、多視点ビデオ画像105及び深度マップ413を圧縮する場合も圧縮しない場合もあり、チャネルは単にワイヤーであってよい。

【0054】
したがって、送信/記憶サブシステム103から出力される復号化ビュー414及び復号化深度マップ416は、それぞれ多視点ビデオ画像105及び深度マップ413と全く同じであってよい。

【0055】
また、多視点ビデオ画像105及び深度マップ413を圧縮するには、標準的な最新式のビデオエンコーダ、例えば、AVC/H.264、MVC、MPEG2、MJPEGなどを使用してもよい。

【0056】
アップサンプリングサブシステム401は、スイッチ407、アップサンプル部404~406及びワイヤーを備えている。スイッチ407は、前述のようにアプリケーション経路を選択するスイッチであり、ワイヤーは、送信/記憶サブシステム103からの入力を、スイッチ407を介して、直接仮想ビュー合成サブシステム104へ出力するためのものである。

【0057】
また、アップサンプル部406は、経路「d」で示されるように、実時間深度推定が要求されるアプリケーションに使用され得る。多視点ビデオ画像105は、ダウンサンプル部411によってダウンサンプリングされ、深度は、深度推定部412によって比較的低い解像度で推定され、この後にアップサンプル部406が用いられている。

【0058】
ここで、アップサンプリングサブシステム401のアップサンプル部404~406及び形状生成サブシステム102におけるアップサンプル部403について、図4~図8に基づいて説明する。

【0059】
図4は、アップサンプル部403~406の概略の内部構成を示す図である。アップサンプル部403~406の各々は、図4に示すように、画像入力ユニット601、重み計算ユニット602、最小値最適化ユニット603、深度選択ユニット604及び後処置ユニット605を備えている。

【0060】
そして、多視点ビデオ画像105及び深度マップ413の集合から、画像入力ユニット601が入力ビュー606及び対応する深度マップ607を選択する。
アップサンプリングを必要とする各ピクセルuに対して、重み計算ユニット602が、ピクセルuと一組の隣接するピクセルとの色差又は輝度差及びこれらの間の距離に基づいて一組の重み608を計算する。

【0061】
最小値最適化ユニット603が最小重み609のピクセルを選択し、対応する出力深度マップ610が深度選択ユニット604によって選択される。
オプションとして、後処理ユニット605が出力深度611を生成するためにフィルタリング(例えば、メジアンフィルタリング)などの後処理動作を適用してもよい。

【0062】
図5は、アップサンプル部403~406におけるアップサンプリングの概略図を示す。入力画像は、最高解像度の入力ビュー606(アップサンプル部403では、多視点ビデオ画像105に該当)と対応する低解像度の深度マップ607(アップサンプル部403では、深度マップ413に該当)とからなる。入力ビュー606のサンプル格子と深度マップ607のサンプル格子の間の倍率は、パラメータステップ709によって定義される。

【0063】
深度マップ607内のピクセル701「A」は、入力ビュー606のピクセル705「A」に対応し、ピクセル701の深度値は出力深度マップ610のピクセル703にコピーされる。

【0064】
深度マップ607で定義される値を持たない出力深度マップ610のピクセル、例えば、出力深度マップ610のピクセル708「u」の場合、深度は隣接するピクセルから推定される。

【0065】
隣接するピクセルの集合Nは予め定義される。例として、Nは入力ビュー606において図5でA、B、C、Dと標記される4つの隣接するピクセルからなり、下記式2で定義される。

【0066】
【数2】
JP0005858380B2_000003t.gif

【0067】
このとき、集合Nの各隣接するピクセルに対して、重みが、集合N内のピクセルuと隣接するピクセルとの間の色差と、ピクセル距離とに基づいて、下記式3、式4及び式5により計算される。

【0068】
【数3】
JP0005858380B2_000004t.gif

【0069】
【数4】
JP0005858380B2_000005t.gif

【0070】
【数5】
JP0005858380B2_000006t.gif

【0071】
式3~5中、関数f( )はピクセル距離であり、関数g( )は集合N内のピクセルuと隣接するピクセルとの色差である。Cuはピクセルuの色を示し、CNは集合N内のピクセルの色を示す。

【0072】
ここでは、||.||は任意のノルム(例えば、L1又はL2ノルム)であり得るし、色空間Cは任意の空間(例えば、RGB、YUV、HSI、グレースケールなど)であり得る。

【0073】
さらに、境界付近のノイズを抑制するために、例えば、下記式6及び式7などのように平滑項が式3に追加され得る。

【0074】
【数6】
JP0005858380B2_000007t.gif

【0075】
【数7】
JP0005858380B2_000008t.gif

【0076】
式6,7中、λ1及びλ2は平滑項の強度を制御するパラメータであり、dNは集合Nにおけるピクセルの深度であり、dleft及びdupは、それぞれ、ピクセルuの左及びピクセルuの上のピクセルの深度値である。

【0077】
ピクセル98「u」の出力深度の深度値は、下記式8のように、獲得深度(winning depth)を選択するために式3又は式6のWN(u)を最適化することによって決定される。

【0078】
【数8】
JP0005858380B2_000009t.gif

【0079】
(アップサンプリング処理)
次に、アップサンプル部403~406の各ユニット601~605の処理をCPUで実行する場合のアップサンプリング処理について説明する。図6は、アップサンプリング処理の流れを示すフローチャートであり、図7は、アップサンプリング処理中のサブルーチンであるアップサンプル深度処理の流れを示すフローチャートである。

【0080】
図6に示すように、アップサンプリング処理では、ステップS800において、入力ビュー606及び深度マップ607が入力される。
続くステップS805において、入力ビュー606のうち、図5において左上隅に位置するピクセル705が選択される。以下、ピクセルの選択は、左上隅で始まり、右下隅で終わる従来のスキャニング順(ラスタースキャン)に処理される。

【0081】
続くステップS810において、入力ビュー606におけるピクセルuの位置が、ピクセル701の深度の比較的低い解像度格子にマップされる。
続くS815では、ピクセル701の深度の値がその位置で定義されるか否かが判断される。ピクセル701の深度の値がその位置で定義される場合(S815:Yes)、処理がステップS820へ移行され、定義されない場合(S815:No)には、処理がアップサンプル深度処理ステップS900へ移行される。

【0082】
ステップS820では、深度マップからピクセル701の深度の値がコピーされる。深度値が定義されない場合(S815:No)、深度値は、後述するアップサンプル深度処理によって決定される。

【0083】
その後、ステップS825において、入力ビュー606内の次のピクセルuを選択し、続くステップS830において、入力ビュー606のすべてのピクセルについて、ステップS810~S825処理が終了したか否かが判定される。

【0084】
全ピクセルに対してステップS810~S825が終了していないと判定された場合(S830:No)、処理がステップS810に戻され、全ピクセルに対してステップS810~S825の処理が実行される。また、全ピクセルに対してステップS810~S825が終了していると判定された場合は(S830:Yes)、本処理が終了となる。

【0085】
この処理の出力はアップサンプリングされた出力深度マップ610である。
次に、アップサンプル深度処理ステップS900について図7に基づき説明する。アップサンプル深度処理は、図7に示すように、ステップS905において、隣接するピクセルNの集合及び深度マップ607における対応する深度値が決定される。

【0086】
この後、ステップS910~S925において、すべてのピクセル(i=0~N)について、重みが前述した式3~式7を用いて計算される。
そして、ステップS930において、集合Nにおける最小重みが決定される。隣接する獲得ピクセル(winning neighboring pixel)の深度値がステップS935において決定される。

【0087】
このような、アップサンプル部403~406における入力ビュー606に基づくアップアンプリング方法は、急峻な対象境界を維持し再構成することができる。これは、低解像度深度マップをアップサンプリングするとき対応する高解像度カラービュー画像が使用されるからである。

【0088】
図8は、アップサンプリングの結果を示す。図8(a)は最初の深度マップを示す。この後、最初の深度は、ダウンサンプリングされ、さらに、2つの従来の方法及び本発明の方法でアップサンプリングされる。

【0089】
図8(b)は、従来型の最近隣アップサンプリングの結果である。図8(c)は、従来型の双線形アップサンプリングの結果である。図8(d)は、アップサンプル部403~406の出力画像であり、これは平滑作用も遮断作用もさほどなくかつより良く再構成された対象エッジを鮮明に示す。

【0090】
仮想ビュー合成サブシステム104では、形状生成サブシステム102において取得した基準画像、アップサンプリングサブシステム401においてアップサンプリングした深度マップ及びマルチカメラ撮像システム10を構成する各カメラの位置情報と方向情報に基づいて、仮想視点情報に対応する仮想視点画像を合成し、仮想ビュー109として出力する。

【0091】
ここで、すべてのアプリケーション経路(「a」~「d」)において、アップサンプル部403~406への入力は、ビュー画像、及びビュー画像よりも低い解像度の対応深度マップである。再構成された深度マップ417及び復号化ビュー414は、新規なビューをレンダーするために、仮想ビュー合成サブシステム104で使用される。
(仮想視点画像合成システム100の特徴)
以上に説明した仮想視点画像合成システム100によれば、アップサンプリングされた深度マップに強力な遮断作用又は平滑作用を及ぼさず、合成されたビューにアーチファクトをもたらさないものとなる。したがって、符号化効率の改善及びビュー合成品質の向上に寄与する。

【0092】
つまり、従来型のアップサンプリングとは対照的に、仮想視点画像合成システム100のアップサンプリング方法では、高解像度ビューを使用することによって再構成される深度マップにおける明確な対象境界を再構成する。これによって、対象のエッジがより良く維持されるので、比較的低いビットレートにおける符号化効率が改善されるとともにレンダリング品質が向上する。

【0093】
したがって、アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現することができる。
ここで、本発明の方法の長所の証拠として、ビデオシーケンス「Champagne_tower」に関するPSNR比較を図9示す。
(その他の実施形態)
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。

【0094】
例えば、本実施形態では、アップサンプリングサブシステム401は、送信/記憶サブシステム103の後段で用いたが、アプリケーションに応じて送信/記憶サブシステム103の前に使用してもよい。
【符号の説明】
【0095】
10…マルチカメラ撮像システム、100…仮想視点画像合成システム、101…多視点撮影サブシステム、102…形状生成サブシステム、103…送信/記憶サブシステム、104…仮想ビュー合成サブシステム、105…多視点ビデオ画像、106…形状情報、109…仮想ビュー 203…深度ビュー、深度マップ204~206、401… アップサンプリングサブシステム、402… 深度カメラ、403~406… アップサンプル部、407,408… スイッチ、409… 深度推定部 410,411… ダウンサンプル部、412… 深度推定部、413…深度マップ、414…復号化ビュー、416…復号化深度マップ、417…深度マップ、501~503…ピクセル、601…画像入力ユニット、602…重み計算ユニット、603…最小値最適化ユニット、604…深度選択ユニット、605…後処理ユニット、606…入力ビュー、607…深度マップ、610…出力深度マップ、611…出力深度、701,703,705…ピクセル、708…深度値、709…パラメータステップ。
図面
【図1】
0
【図4】
1
【図6】
2
【図7】
3
【図10】
4
【図2】
5
【図3】
6
【図5】
7
【図8】
8
【図9】
9