TOP > 国内特許検索 > 多視点画像合成方法及び多視点画像合成システム > 明細書

明細書 :多視点画像合成方法及び多視点画像合成システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5858381号 (P5858381)
公開番号 特開2012-123800 (P2012-123800A)
登録日 平成27年12月25日(2015.12.25)
発行日 平成28年2月10日(2016.2.10)
公開日 平成24年6月28日(2012.6.28)
発明の名称または考案の名称 多視点画像合成方法及び多視点画像合成システム
国際特許分類 G06T  19/00        (2011.01)
FI G06T 19/00 A
請求項の数または発明の数 2
全頁数 19
出願番号 特願2011-264975 (P2011-264975)
出願日 平成23年12月2日(2011.12.2)
優先権出願番号 61/419,501
優先日 平成22年12月3日(2010.12.3)
優先権主張国 アメリカ合衆国(US)
審査請求日 平成26年12月1日(2014.12.1)
特許権者または実用新案権者 【識別番号】504139662
【氏名又は名称】国立大学法人名古屋大学
発明者または考案者 【氏名】楊 路
【氏名】ウィルダブラ メインダード オノ
【氏名】パナヒプル テヘラニ メヒルダド
【氏名】圓道 知博
【氏名】谷本 正幸
個別代理人の代理人 【識別番号】110000578、【氏名又は名称】名古屋国際特許業務法人
審査官 【審査官】真木 健彦
参考文献・文献 特開2002-032744(JP,A)
特開2001-175863(JP,A)
調査した分野 G06T 19/00
H04N 13/00 - 13/04
特許請求の範囲 【請求項1】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記基準画像取得工程において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
前記基準画像取得工程で取得した前記基準画像、前記形状情報変換工程で変換した前記形状情報及び前記信頼性情報生成工程で生成した前記信頼性情報に基づいて、前記仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成し、
前記信頼性情報生成工程は、
前記複数の画像取得手段で取得した前記基準画像を前記仮想視点情報取得工程で取得した前記仮想視点の位置にワープすることによって行う基準照合工程と、
前記基準照合工程において生じる合成エラーを近似するエラー近似工程と、
前記エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。
【請求項2】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する
多視点画像合成システムであって、
前記複数の視点に設置した画像取得手段と、
前記画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
前記基準画像取得手段において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
前記基準画像取得手段で取得した前記基準画像、前記形状情報変換手段で変換した前記形状情報及び前記信頼性情報生成手段で生成した前記信頼性情報に基づいて、前記仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備え
前記信頼性情報生成手段は、
前記複数の画像取得手段で取得した前記基準画像を前記仮想視点情報取得手段で取得した前記仮想視点の位置にワープすることによって行う基準照合手段と、
前記基準照合手段において生じる合成エラーを近似するエラー近似手段と、
前記エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、多視点で取得した画像を合成するための基づく多視点画像合成方法及び多視点画像合成システムに関する。
【背景技術】
【0002】
多視点ビデオ画像は、種々の位置で複数のカメラを使用して同じ被写体及びその背景を撮影することによって得られるビデオ画像である。以下で「仮想視点画像」とは、多視点ビデオ画像から生成される画像である。仮想視点画像は、仮想位置にいて実際のカメラによって撮影されたかのように見える。
【0003】
例えば、対象及び背景は、2台のカメラによって撮影される。そのとき、2台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。
【0004】
人は、各々の目で異なるビューを見るので深度を感知することができる。最新の3Dビデオシステム(3D-TV又は自由視点TVなど)の原理は、各々の目に対して1つの、2視点画像を生成することである。
【0005】
視点に自由度を持たせるためには多くの視点画像が必要である。3Dシーンの情報は、多くの方法で得られて表現され得る。よく使用される3Dシーン表現は、深度画像がシーン形状を表現するNビュー及びN深度画像に基づいている。
【0006】
図1は、複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、3Dモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリング(例えば、非特許文献1参照)を使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る。深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、3Dワーピングと呼ばれる。Nビュー及びN深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信/記憶帯域幅が抑制され得る。例えば、3Dディスプレイが20の視点画像を必要とする場合、20の視点画像を送信しなくても2つまたは3つのビュー及び対応する深度マップを送信すれば十分であり得る。
【0007】
多視点画像合成システムでは、高品質のビュー合成が非常に重要である。合成された妥当な仮想ビューを提供するために、潜在的な合成エラー(アーチファクト及びノイズ)は最小化されるべきである。
【0008】
一般に、先に記載されたような形状情報は、エラー、例えば、深度推定エラー、深度符号化、又は深度アップサンプリングエラー(該当する場合)を含む。したがって、このようなエラーに対して堅固で信頼性の高いビュー合成方法が重要である。
【0009】
最も従来型のビュー合成方法では、深度エラーが積極的に検討されていない。代替的な方策は信頼性に基づくビュー補間である。例えば、非特許文献4及び非特許文献5では、キャニーエッジ検出器を介して境界を抽出することによる信頼性を提案している。
【0010】
非特許文献4及び非特許文献5に記載の発明では、境界領域をそれぞれ前景及び背景に分割している。背景境界は、不確かな領域と見なされて新しいビューに別々に投影されている。信頼性の高いピクセルは既に境界の大部分を占めているので、不確かな境界によって生じるアーチファクトは回避され得る。しかしながら、境界の近くでは不確かなピクセルも制限されている。同様に、非特許文献6に記載の発明では、背景境界層を不確かな領域と見なしている。非特許文献4、非特許文献5及び非特許文献6に記載の発明では、境界を検出するために閉塞孔を使用して深度値によって背景を認識している。
【先行技術文献】
【0011】

【非特許文献1】C.Fehn、「Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV(3D-TVに関する新しいアプローチのための、深度画像に基づくレンダリング(DIBR)、圧縮、及び送信)」、Proc.SPIE Stereoscopic Displays and Virtual Reality Systems、XI、pp.93-104(Jan.2004)
【非特許文献2】S.Shimizu、M.Kitahara、H.Kimata、K.Kamikura、及びY.Yashima、「View scalable multiview video coding using 3-D warping with depth map(深度マップを使用した3Dワーピングを用いるビュースケーラブル多視点映像符号化)」、IEEE Transactions on Circuits and Systems for Video Technology、vol.17、pp.1485-1495、November 2007
【非特許文献3】K-J.Oh、S.Yea、A.Vetro、Y-S.Ho、「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video(3-Dビデオにおける深度符号化のための深度再構成フィルタ及びダウン/アップサンプリング)」、IEEE signal processing letters、vol.16、No.9、Sept.2009、p747-750
【非特許文献4】A.Smolic、K.Mueller、K.Dix、P.Merkle、P.Kauff及びT.Wiegand、「Intermediate view interpolation based on multi-view video plus depth for advanced 3D video systems(先進3Dビデオシステム用多視点ビデオ及び深度に基づく中間ビュー補間)」、Proc.IEEE Conf.ICIP、pp.2448-2451(2008)
【非特許文献5】K.Mueller、A.Smolic、K.Dix、P.Kauff及びT.Wiegand、「Reliability-based generation and view synthesis in layered depth video(階層化深度ビデオにおける信頼性に基づく生成及びビュー合成)」、Proc.IEEE International wokshop on Multimedia Signal Processing、pp.34-39(2008)
【非特許文献6】C.Lee及びY.S.Ho、「Boundary filtering on synthesized views of 3D video(3Dビデオの合成ビューに関する境界フィルタリング)」、Proc.Second International Conference on Future Generation Communication and Networking Symposia、pp.15-18(2008)
【発明の概要】
【発明が解決しようとする課題】
【0012】
ところが、上記従来型の多視点画像合成方法の問題として、不正確な形状及びレンダリングノイズによって生じるアーチファクトが対処されないこと、背景アーチファクトの低減が所定の境界に限定されること、及び前景のアーチファクトが排除されないことが挙げられる。
【0013】
本発明は、こうした問題に鑑みなされたもので、アーチファクトが少ない多視点画像合成技術を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記[発明が解決しようとする課題」において述べた問題を解決するためになされた発明は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
基準画像取得工程において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
基準画像取得工程で取得した基準画像、形状情報変換工程で変換した形状情報及び信頼性情報生成工程で生成した信頼性情報に基づいて、仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成することを特徴とする多視点画像合成方法である。
【0015】
このような、多視点画像合成方法によれば、深度信頼性を考慮することによってビュー合成品質を向上させる。信頼性は、潜在的なビュー合成エラーに基づく。本発明の方法は、深度エラーによって生じる(例えば、符号化又は送信エラーに起因する)合成アーチファクトの低減に有効である。結果として、主観的及び客観的ビュー合成品質はいずれも向上し得る。
【0016】
上記の多視点画像合成方法において、信頼性情報生成工程は、複数の画像取得手段で取得した基準画像を仮想視点情報取得工程で取得した仮想視点の位置にワープすることによって行う基準照合工程と、基準照合工程において生じる合成エラーを近似するエラー近似工程と、エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成してもよい。
【0017】
上記の多視点画像合成方法において、画像合成工程は、信頼性情報生成工程において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも1つをさらに行ってもよい
【0018】
上記の多視点画像合成方法において、画像の補間は、信頼性情報生成工程において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間することにより行ってもよい
【0019】
上記の多視点画像合成方法において、画像の正則化は、信頼性情報生成工程において生成した信頼性情報を用いて、仮想視点をワープした仮想画像に関する画像合成エネルギを定式化する定式化工程と、最適化手法を用いて定式化工程により定式化されたエネルギを最小化する最小化工程と、により画像を正則化してもよい
【0020】
本発明の別の側面は、
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成システムであって、
複数の視点に設置した画像取得手段と、
画像取得手段から、仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
基準画像取得手段において取得した基準画像中の形状情報を取得し、該取得した形状情報を、基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
基準画像取得手段で取得した基準画像、形状情報変換手段で変換した形状情報及び信頼性情報生成手段で生成した信頼性情報に基づいて、仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備えたことを特徴とする多視点画像合成システムである。
【0021】
このような、多視点画像合成システムによれば、上記の多視点画像合成方法と同様な効果を得ることができる。
上記の多視点画像合成システムにおいて、信頼性情報生成手段は、複数の画像取得手段で取得した基準画像を仮想視点情報取得手段で取得した仮想視点の位置にワープすることによって行う基準照合手段と、基準照合手段において生じる合成エラーを近似するエラー近似手段と、
エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、により基準画像取得手段で取得した基準画像を構成する各ピクセルの重みを信頼性情報として生成してもよい
【0022】
上記の多視点画像合成システムにおいて、画像合成手段は、信頼性情報生成手段において生成された信頼性に基づき、合成された画像に対し、画像の補間及び画像の正則化のうち少なくとも1つをさらに行ってもよい
【0023】
上記の多視点画像合成システムにおいて、画像の補間は、信頼性情報生成手段において生成された信頼性情報を基準画像の各ピクセルに割り当て、該信頼性情報を割り当てた基準画像を仮想視点にワープし、ワープした基準画像を重み付け補間してもよい
【0024】
上記の多視点画像合成システムにおいて、画像の正則化は、信頼性情報生成手段において生成した信頼性情報を用いて、仮想ビューに関するビュー合成エネルギを定式化する定式化手段と、最適化手法を用いて定式化手段により定式化されたエネルギを最小化する最小化手段と、により画像を正則化してもよい
【図面の簡単な説明】
【0025】
【図1】複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。
【図2】仮想ビュー合成サブシステムの概略の構成を示すブロック図である。
【図3】基準照合のプロセスを例示する図である。
【図4】基準照合部で実行される基準照合処理の流れを示すフローチャートである。
【図5】種々の視点を対応するビュー及び形状情報によってシミュレートしたときの図である。
【図6】種々の視点における境界領域に関するシミュレーションの結果を示す図である。
【図7】合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。
【図8】ビュー合成処理の流れを示すフローチャートである。
【図9】ビデオシーケンス「Champagne_tower」に関するPSNRを従来方法と本発明に係る方法とで比較した図である。
【発明を実施するための形態】
【0026】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

【0027】
図1は、多視点画像合成システム100の概略の構成を示すシステム図である。多視点画像合成システム100は、図1に示すように、多視点撮影サブシステム101、形状生成サブシステム102、送信/記憶サブシステム103及び仮想ビュー合成サブシステム104を備えている。

【0028】
多視点撮影サブシステム101は、図示しない複数のカメラにより静的又は動的のいずれかの画像を取得するマルチカメラ撮像システム10を含んでいる。このマルチカメラ撮像システム10を構成するカメラは、モノモーダル又はマルチモーダルのビデオ画像を撮像することができるものである。

【0029】
マルチカメラ撮像システム10で撮影されたビデオ画像は、較正又は修正によって前処理され、多視点画像105として、形状生成サブシステム102及び送信/記憶サブシステム103に出力される。

【0030】
なお、多視点撮影サブシステム101における較正又は修正の方法は、従来の技術によればよいため、説明を省略する。
形状生成サブシステム102は、多視点画像105を用いて形状情報106を生成する。形状生成サブシステム102においては、曇り点形状情報(point cloud geometry information)又は3D形状情報がステレオ又は3D再構成によって推定される。

【0031】
なお、形状生成サブシステム102において生成される形状情報106は、不完全な形状生成によって生じるエラーを含んでいる可能性がある。
送信/記憶サブシステム103は、多視点撮像サブシステム101において生成された多視点画像105及び形状生成サブシステム102において生成された形状情報106に対して、必要に応じて圧縮あるいは符号化を行い、基準画像107及び形状情報108として仮想ビュー合成サブシステム104に送信する。この際、圧縮または符号化は、送信ノイズの増加の原因となる。

【0032】
送信/記憶サブシステム103の出力として、送信された基準画像107及び形状情報108はいずれも、最初の多視点撮影サブシステム101による撮影、形状生成サブシステム102による形状抽出及び送信/記憶サブシステム103による送信に由来する不可避なエラーを含む。

【0033】
次に、図2に基づき、仮想ビュー合成サブシステム104の詳細について説明する。図2は、仮想ビュー合成サブシステム104の概略の構成を示すブロック図である。
仮想ビュー合成サブシステム104は、ユーザインターフェースブロック1103、信頼性推論ブロック1101及びビュー合成ブロック1102の3つのサブブロックを備えている。

【0034】
ユーザインターフェースブロック1103は、実際のユーザ又は仮想プロキシのいずれかから予め定められた仮想視点命令を受け取る。仮想視点は、視点選択部1109によって選択される。

【0035】
仮想ビュー指定部1110では、相対的な仮想ビューが指定される。また、合成モード部1111は、視点選択部1109及び仮想ビュー指定部1110に関する事前情報を提供するアプリケーションの種類を表す。所要の仮想カメラ情報1112は、信頼性推論ブロック1101に送られる。

【0036】
基準照合部1104における基準照合は、仮想カメラ情報1112に近接した種々の基準視点に対して形状情報108を用いて基準画像107をワープすることによって実行される。

【0037】
ここで、図3に、基準照合のプロセスの例を示す。カメラ1201、カメラ1203及びアンカー基準カメラ1204は、基準画像107の基準カメラである。
仮想カメラ1202及び仮想カメラ1205は、仮想カメラ情報1112(図2参照)によって決定される。

【0038】
カメラ1203を仮想カメラ1205に対して照合するために、カメラ1203は仮想カメラ1205に最も近接したカメラであるアンカー基準カメラ1204にワープされる。

【0039】
アンカー基準カメラ1204は、仮想カメラ1205の2番目に最も近接したカメラ1203によって照合される。他の照合1206は、各仮想ビューに対する各基準カメラに対して同様に行われる。

【0040】
3Dワーピングは、形状情報108(図2参照)を用いて基準ビューにおけるピクセルを3D空間に投影し、続いて、投影されたピクセルを目標カメラに投影することによって実行される。

【0041】
次に、図4に基づき、基準照合部1104で実行される基準照合処理について説明する。図4は、基準照合処理の流れを示すフローチャートである。
基準照合処理では、S100にて、基準画像107、形状情報108及び仮想カメラ情報1112が入力される。

【0042】
続くS105では、S100において入力された基準画像107、形状情報108及び仮想カメラ情報1112に基づいて、相違計算が行われる。つまり、基準視点Rと仮想視点Vの相違SRVは、カメラパラメータ空間Cにおけるこれらの距離:SRV=||CR-CV||によって決定することができ、式中、CR及びCVはそれぞれR及びVのカメラパラメータである。||.||は任意のノルムであってよい。

【0043】
続くS110では、類似性分類処理が行われる。具体的には、S105において計算した基準視点Rと仮想視点Vの相違SRVに基づいて、類似性分類が行われる。つまり、最小のSRVを仮想ビューに最も近接した基準として有するアンカー基準1308が定義される。

【0044】
S115及びS120では、ワープ処理が行われる。S115及びS120のワーピング手順は、これらの形状情報106を有する基準画像107に基づく。S110に複数のアンカー基準が存在する場合、マルチワーピングがS115及びS120において採用され得る。

【0045】
続くS125では、ワープされた基準とアンカー基準の差分画像を生成する。
続くS130では、S125において生成された差分画像が結合される。そして、続くS135において、各仮想視点に対する各基準に関する固有の照合エラーマップが計算される。

【0046】
S135において計算された照合エラーマップは、各入力基準画像107とその形状情報に対応する潜在的な合成エラーを近似するために使用され得る。
合成エラー近似部1105(図2参照)は、基準照合部1104で得られた最初の照合エラーマップを仮想視点Vに投影することによって効率的に実行される。推定される潜在的な合成エラーは、基準視点Rと仮想視点Vの間のベースラインに基づいて調整される。

【0047】
ここで、図5及び図6に基づき、基準照合方法の詳細について説明する。図5は、種々の視点1401,1402,1403を対応するビュー1404,1405,1406及び形状情報1407,1408によってシミュレートしたときの図であり、図6は、種々の視点における境界領域に関するシミュレーションの結果を示す図である。

【0048】
視点1401,1403は、基準画像107から得られ、視点1402を生成するために選定される。形状情報1407,1408は、種々の視点におけるピクセル間の対応関係である。

【0049】
なお、最初の3D座標に基づく形状情報は対応情報に変換される。形状情報は、通常、不正な対応の原因となるエラーを境界付近に含む。対応関係は形状情報の表現である。
ここで、図6に示すように、境界領域1501,1502は、2つの典型的な境界パターンである。境界領域1501では、背景が左側にあり、前景が右側にある。境界領域1502では、前景が左側にあり、背景が右側にある。

【0050】
ピクセル1503,1506は、視点1401(基準視点)における境界領域である。ピクセル1504,1507は、視点1402(仮想視点)における境界領域である。ピクセル1505,1508は、視点1403(基準視点)における境界領域である。

【0051】
なお、図6における形状情報は、各ピクセルの対応として表され、エラーのない完全なものであると見なされるが、実際には、図7に示されるように必ずしもエラーのない健全な対応付けができているとは限らない。

【0052】
図7は、合成エラー近似において、不完全な形状情報によって境界をシミュレートする場合の説明図である。
境界領域1502は、一般性を失わずに、基準照合部1104によって照合されて不完全な形状情報1601によって生じる潜在的な合成エラーを推論する。

【0053】
合成エラー近似部1105では、仮想視点における潜在的な合成エラーは、基準照合部1104で実行される基準照合処理のS135において得られる照合エラー1307を仮想視点に正しく投影することによって近似されてよい。

【0054】
本明細書における潜在的な合成エラーは、効率的に近似されており、信頼性計算部1106において信頼性情報を計算するために利用されることになる。
各仮想視点に対する各基準Ri(i=1、2...N)に対して、固有の近似エラーマップeiが合成エラー近似部1105において生成される。エラーマップeiにおける1つのピクセルpはeipである。

【0055】
この後、基準Riを有する仮想ピクセルpの信頼性ripがrip=f(eip)と定義される。fはeipに関する減少関数である、つまり、信頼性は潜在的な合成エラーに逆比例する。

【0056】
関数fの形式は、潜在的な合成エラーの統計的分布に依存する。ワープされた基準RiがIiとして示される場合、明らかに、f、Ii、及びeiはf=Ii+eiという測定値関係を有する。eipがゼロ平均及び分散σip2を有するパーピクセルガウス分布である場合、信頼性は、下記式1に示すようにベーズ推論を用いてfの尤度を最大化することによって生成される。

【0057】
【数1】
JP0005858381B2_000002t.gif

【0058】
ここで、Pは画像全体のピクセルの集合であり、α、βはΓ分布のハイパーパラメータである。尤度確率を最大にすることは、確率が下記式2及び式3で表される場合に負の対数である尤度エネルギを最小にすることと同等である。

【0059】
【数2】
JP0005858381B2_000003t.gif

【0060】
【数3】
JP0005858381B2_000004t.gif

【0061】
なお、合成されたビューfに関する尤度エネルギは、基本的に下記式4で表される。

【0062】
【数4】
JP0005858381B2_000005t.gif

【0063】
それゆえ、信頼性は、下記式5で定義される。

【0064】
【数5】
JP0005858381B2_000006t.gif

【0065】
最終的な信頼性計算式は、rip=a/(eip*eip+b)であり、式中、a及びbは信頼性の影響を調整するために使用され得るユーザパラメータである。なお、非ガウス合成エラーを有する信頼性は同様に定義されてよい。

【0066】
上記の信頼性定義を使用すると、信頼性計算部1106は、仮想視点に対する各基準ピクセルに関して固有の信頼性数値ripを生成する。信頼性情報1113は、各仮想視点を有する各基準に対して空間的に変化している。2進信頼性は、rip=0(eip>閾値)、かつrip=1(eip≦閾値)と定式化することができる。合成エラーの閾値は、有意な強度差分値であるように設定される。

【0067】
ビュー合成ブロック1102は、基準画像107、形状情報108、仮想カメラ情報1112及び信頼性情報1113を用いて2種類の信頼性に基づくビュー合成ソリューションを提供する。

【0068】
ここで、図8に基づき、ビュー合成ブロック1102において実行されるビュー合成処理について説明する。図8は、ビュー合成処理の流れを示すフローチャートである。
ビュー合成処理では、図8に示すように、まずS500において、基準画像107、形状情報108、仮想カメラ情報1112及び信頼性情報1113が取得される。

【0069】
続くS505において、S500において取得された基準画像107、形状情報108、仮想カメラ情報1112及び信頼性情報1113に基づいて、各基準画像107を仮想視点にワープさせる。

【0070】
つまり、S505において、各基準Riが、最終ビュー合成のためにIiとして仮想視点にワープされる。
続くS510では、ユーザインターフェースブロック1103からスイッチ命令を取得する。

【0071】
続くS515では、S510において取得したユーザインターフェースブロック1103のスイッチ命令に応じて、処理の分岐が「信頼性に基づく補間(図2の信頼性に基づく補間部1197に相当)」か「信頼性に基づく正則化(信頼性に基づく正則化部1108に相当)」(ユーザアプリケーション要件又は自動アプリケーション要件のいずれかによって)が決定される。

【0072】
スイッチ命令が信頼性に基づく補間の場合(S515:Yes)、処理がS520へ移行され、信頼性に基づく正則化の場合(S515:No)、処理がS525へ移行される。

【0073】
S520における信頼性に基づく補間のソリューションは、前景アーチファクト及び背景アーチファクトの両方を効率的に低減し得る。主観的品質は著しく改善されるが、客観的品質も改善される。仮想視点におけるピクセルpの合成された色強度fpは、下記式6で表される。

【0074】
【数6】
JP0005858381B2_000007t.gif

【0075】
S525における信頼性に基づく正則化のソリューションは、マルコフ確率場によって残留合成ノイズを正則化し得る。仮想ビューの主観的品質及び客観的品質はいずれも著しく改善される。これは、極めて高い品質の仮想ビューfを生成する。合成されたfは下記式7及び式8によって生成される。

【0076】
【数7】
JP0005858381B2_000008t.gif

【0077】
【数8】
JP0005858381B2_000009t.gif

【0078】
ここで、Pは仮想ビューの全ピクセル集合である。qはpの隣接するピクセルである。この隣接に基づく正則化は、残留ノイズだけでなくアーチファクトも抑制する。正則化項は、任意の適切な先行する項(prior term)によってさらに置き換えられ得る。最近の最適化手法(グラフカット法、信念伝播、ダイナミックプログラミングなど)がエネルギ最小化を解決するために採用されてよい。

【0079】
S530では、後処理が行われる。後処理は、S520での「信頼性に基づく補間」及びS525での「信頼性に基づく正則化」における以前のソリューションの間にハイブリッドソリューションを組み入れることによって合成品質を効率的にさらに改善し得る。

【0080】
S530における後処理によって得られる出力が仮想ビュー109である。
仮想ビュー109は、3DTV、自由視点TV(FTV)、多視点ビデオ符号化及び他の視覚アプリケーション(仮想現実、仮想ナビゲーション、画像に基づくレンダリング)などに不可欠である。

【0081】
図9は、ビデオシーケンス「Champagne_tower」に関するPSNRを従来方法と本発明に係る方法とで比較した図である。図9において、黒点で従来のPSNRを示し、白抜きの点で本発明によるPSNRを示している。

【0082】
図9に示すように、本発明に係る方法によれば、従来の方法に比べ、PSNRが約31.25[dB]から約33[dB]へと1.75[dB]ほど改善されていることが分かる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
(1)信頼性は、潜在的な合成エラーの関数として定義されるものであり、上記実施形態において定義した関数以外のものであってもよい。
(2)信頼性に基づくビュー補間は正規化された空間的に変化する信頼性を用いて各ピクセルに重み付けすることによって仮想ビューを生成するものであればよい。
(3)また、信頼性に基づく正則化は、様々な大域的最適化手法(グラフカット法、信念伝播、ダイナミックプログラミングなど)によって解かれ得るエネルギ関数に信頼性を組み入れ可能なものであればよい。
【符号の説明】
【0083】
10…マルチカメラ撮像システム、100…多視点画像合成システム、101…多視点撮影サブシステム、102…形状生成サブシステム、103…送信/記憶サブシステム、104…仮想ビュー合成サブシステム、105…多視点画像、106…形状情報、107…基準画像、108…形状情報、109…仮想ビュー、401… アップサンプリングサブシステム、1101…信頼性推論ブロック、1102…ビュー合成ブロック、1103…ユーザインターフェースブロック、1104…基準照合部、1105…合成エラー近似部、1106…信頼性計算部、1107…信頼性に基づく補間部、1108…信頼性に基づく正則化部、1109…仮想視点選択部、1110…仮想ビュー指定部、1111…合成モード部、1112…仮想カメラ情報、1113…信頼性情報、1201…カメラ、1203…カメラ、1204…アンカー基準カメラ、1205…仮想カメラ、1206…照合、1208…正則化、1307…照合エラー、1308…アンカー基準、1401…視点(基準視点)、1402…視点(仮想視点)、1403…視点(基準視点)、1406…ビュー、1407…形状情報、1408…形状情報、1502…境界領域、1503,1504,1505,1506,1507,1508…ピクセル、1601…形状情報。
図面
【図1】
0
【図2】
1
【図4】
2
【図7】
3
【図8】
4
【図3】
5
【図5】
6
【図6】
7
【図9】
8