TOP > 国内特許検索 > 多視点画像合成方法及び多視点画像合成システム

多視点画像合成方法及び多視点画像合成システム コモンズ 外国出願あり

国内特許コード P120006750
整理番号 NU-0439
掲載日 2012年3月1日
出願番号 特願2011-264975
公開番号 特開2012-123800
登録番号 特許第5858381号
出願日 平成23年12月2日(2011.12.2)
公開日 平成24年6月28日(2012.6.28)
登録日 平成27年12月25日(2015.12.25)
優先権データ
  • 61/419,501 (2010.12.3) US
発明者
  • 楊 路
  • ウィルダブラ メインダード オノ
  • パナヒプル テヘラニ メヒルダド
  • 圓道 知博
  • 谷本 正幸
出願人
  • 国立大学法人名古屋大学
発明の名称 多視点画像合成方法及び多視点画像合成システム コモンズ 外国出願あり
発明の概要 【課題】アーチファクトが少ない多視点画像合成技術を提供する。
【解決手段】複数の視点に設置したカメラにより取得した基準画像中の形状情報を取得し、取得した形状情報を、信頼性推論ブロック1101において、基準画像を構成する各ピクセル位置に対応する形状情報に変換し、基準画像を構成する各ピクセルの重みを信頼性情報1113として生成する。 ビュー合成ブロック1102では、カメラにより取得した基準画像、信頼性ブロック1101において得られた形状情報と信頼性情報1113に基づき、ユーザインターフェースブロック1103から入力される仮想カメラ情報1112(仮想視点の位置と方向)に基づき、仮想視点の位置と方向から観た多視点画像を合成する。
【選択図】図2
従来技術、競合技術の概要


多視点ビデオ画像は、種々の位置で複数のカメラを使用して同じ被写体及びその背景を撮影することによって得られるビデオ画像である。以下で「仮想視点画像」とは、多視点ビデオ画像から生成される画像である。仮想視点画像は、仮想位置にいて実際のカメラによって撮影されたかのように見える。



例えば、対象及び背景は、2台のカメラによって撮影される。そのとき、2台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。



人は、各々の目で異なるビューを見るので深度を感知することができる。最新の3Dビデオシステム(3D-TV又は自由視点TVなど)の原理は、各々の目に対して1つの、2視点画像を生成することである。



視点に自由度を持たせるためには多くの視点画像が必要である。3Dシーンの情報は、多くの方法で得られて表現され得る。よく使用される3Dシーン表現は、深度画像がシーン形状を表現するNビュー及びN深度画像に基づいている。



図1は、複数のビュー及び形状に基づく多視点画像合成システムの一般化されたシステム図である。複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、3Dモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリング(例えば、非特許文献1参照)を使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る。深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、3Dワーピングと呼ばれる。Nビュー及びN深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信/記憶帯域幅が抑制され得る。例えば、3Dディスプレイが20の視点画像を必要とする場合、20の視点画像を送信しなくても2つまたは3つのビュー及び対応する深度マップを送信すれば十分であり得る。



多視点画像合成システムでは、高品質のビュー合成が非常に重要である。合成された妥当な仮想ビューを提供するために、潜在的な合成エラー(アーチファクト及びノイズ)は最小化されるべきである。



一般に、先に記載されたような形状情報は、エラー、例えば、深度推定エラー、深度符号化、又は深度アップサンプリングエラー(該当する場合)を含む。したがって、このようなエラーに対して堅固で信頼性の高いビュー合成方法が重要である。



最も従来型のビュー合成方法では、深度エラーが積極的に検討されていない。代替的な方策は信頼性に基づくビュー補間である。例えば、非特許文献4及び非特許文献5では、キャニーエッジ検出器を介して境界を抽出することによる信頼性を提案している。



非特許文献4及び非特許文献5に記載の発明では、境界領域をそれぞれ前景及び背景に分割している。背景境界は、不確かな領域と見なされて新しいビューに別々に投影されている。信頼性の高いピクセルは既に境界の大部分を占めているので、不確かな境界によって生じるアーチファクトは回避され得る。しかしながら、境界の近くでは不確かなピクセルも制限されている。同様に、非特許文献6に記載の発明では、背景境界層を不確かな領域と見なしている。非特許文献4、非特許文献5及び非特許文献6に記載の発明では、境界を検出するために閉塞孔を使用して深度値によって背景を認識している。

産業上の利用分野


本発明は、多視点で取得した画像を合成するための基づく多視点画像合成方法及び多視点画像合成システムに関する。

特許請求の範囲 【請求項1】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する多視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記基準画像取得工程において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換工程と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得工程と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成工程と、
前記基準画像取得工程で取得した前記基準画像、前記形状情報変換工程で変換した前記形状情報及び前記信頼性情報生成工程で生成した前記信頼性情報に基づいて、前記仮想視点情報取得工程で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成工程と、
により、多視点画像を合成し、
前記信頼性情報生成工程は、
前記複数の画像取得手段で取得した前記基準画像を前記仮想視点情報取得工程で取得した前記仮想視点の位置にワープすることによって行う基準照合工程と、
前記基準照合工程において生じる合成エラーを近似するエラー近似工程と、
前記エラー近似工程において近似された合成エラーに基づいて信頼性を計算する信頼性計算工程と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成方法。

【請求項2】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する
多視点画像合成システムであって、
前記複数の視点に設置した画像取得手段と、
前記画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得手段と、
前記基準画像取得手段において取得した前記基準画像中の形状情報を取得し、該取得した形状情報を、前記基準画像を構成する各ピクセル位置に対応する形状情報に変換する形状情報変換手段と、
前記仮想視点の位置及び該位置における視点の方向を取得する仮想視点情報取得手段と、
前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成する信頼性情報生成手段と、
前記基準画像取得手段で取得した前記基準画像、前記形状情報変換手段で変換した前記形状情報及び前記信頼性情報生成手段で生成した前記信頼性情報に基づいて、前記仮想視点情報取得手段で取得した仮想視点の位置と方向から見た多視点画像を合成する画像合成手段と、
を備え
前記信頼性情報生成手段は、
前記複数の画像取得手段で取得した前記基準画像を前記仮想視点情報取得手段で取得した前記仮想視点の位置にワープすることによって行う基準照合手段と、
前記基準照合手段において生じる合成エラーを近似するエラー近似手段と、
前記エラー近似手段において近似された合成エラーに基づいて信頼性を計算する信頼性計算手段と、
により前記基準画像取得手段で取得した前記基準画像を構成する各ピクセルの重みを信頼性情報として生成することを特徴とする多視点画像合成システム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2011264975thum.jpg
出願権利状態 登録
名古屋大学の公開特許情報を掲載しています。ご関心のある案件がございましたら、下記まで電子メールでご連絡ください。


PAGE TOP

close
close
close
close
close
close
close