Top > Search of Japanese Patents > VIRTUAL VIEWPOINT IMAGE SYNTHESIS METHOD AND VIRTUAL VIEWPOINT IMAGE SYNTHESIS SYSTEM

VIRTUAL VIEWPOINT IMAGE SYNTHESIS METHOD AND VIRTUAL VIEWPOINT IMAGE SYNTHESIS SYSTEM commons foreign

Patent code P120006751
File No. NU-0440
Posted date Mar 1, 2012
Application number P2011-264974
Publication number P2012-123799A
Patent number P5858380
Date of filing Dec 2, 2011
Date of publication of application Jun 28, 2012
Date of registration Dec 25, 2015
Priority data
  • 61/419,501 (Dec 3, 2010) US
Inventor
  • (In Japanese)ウィルダブラ メインダード オノ
  • (In Japanese)楊 路
  • (In Japanese)パナヒプル テヘラニ メヒルダド
  • (In Japanese)圓道 知博
  • (In Japanese)谷本 正幸
Applicant
  • (In Japanese)国立大学法人名古屋大学
Title VIRTUAL VIEWPOINT IMAGE SYNTHESIS METHOD AND VIRTUAL VIEWPOINT IMAGE SYNTHESIS SYSTEM commons foreign
Abstract PROBLEM TO BE SOLVED: To provide virtual image synthesis technique for realizing an up-sampling method at a low bit rate, which does not have a blocking effect or smoothing effect on an up-sampled depth map.
SOLUTION: A multi-viewpoint imaging sub-system 101 acquires multi-viewpoint video images 105 from cameras arranged at multiple viewpoints. A shape generation sub-system 102 generates shape information 106 and also acquires a depth map 413 with resolution lower than that of the multi-viewpoint video images 105 by a depth camera 402. An up-sampling sub-system 401 up-samples the depth map 413, based on the multi-viewpoint video images 105 and the depth map 413. A virtual view synthesis sub-system 104 synthesizes virtual viewpoint images by synthesizing virtual viewpoint images corresponding to virtual viewpoint information, based on the multi-viewpoint video images 105, the up-sampled depth map, and position information and direction information of virtual viewpoints to be the viewpoints in synthesizing the images.
Outline of related art and contending technology (In Japanese)


仮想視点画像とは、仮想位置において実際のカメラによって撮影されたかのように見える画像のことである。例えば、対象及び背景を、2台のカメラによって撮影した場合、2台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。



この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。



人は、各々の目で異なるビューを見るので深度を感知することができる。最新の3Dビデオシステム(3D-TV又は自由視点TVなど)の原理は、各々の目に対して1つの、2視点画像を生成することである。視点に自由度を持たせるためには多くの視点画像が必要である。3Dシーンの情報は、多くの方法で得られて表現され得る。



よく使用される3Dシーン表現は、深度画像がシーン形状を表現するNビュー及びN深度画像に基づいている。図10に、複数のビュー及び形状に基づく多視点ビデオシステムの一般化されたシステム図を示す。



複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、3Dモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリングを使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る(例えば、非特許文献1参照)。



深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、3Dワーピングと呼ばれる。



Nビュー及びN深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信/記憶帯域幅が抑制され得る。例えば、3Dディスプレイが20視点画像を必要とする場合、20視点画像を送信しなくても2つ又は3つのビュー及び対応する深度マップを送信すれば十分であり得る。



一般に、多視点ビデオシステムでは、複数の深度マップ及びビューが記憶又は送信のために圧縮される。ビュー及び深度の両方の効率的圧縮と信頼性の高い高品質の仮想ビュー合成が、このようなシステムにおいて重要である。



圧縮のために深度をダウン/アップサンプリングするアプローチでは、補間されたサンプルによって低解像度の深度マップのみから推定される従来のアップサンプリングが採用されている(例えば、非特許文献2、非特許文献3参照)。

Field of industrial application (In Japanese)


本発明は、複数位置において取得した画像に基づき仮想視点における合成画像を得る仮想視点画像合成方法及び仮想視点画像合成システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段によって、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成工程と、
前記深度マップ生成工程において生成した深度マップをアップサンプリングするアップサンプリング工程と、
画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段から前記仮想視点の位置情報及び方向情報を取得する仮想視点情報取得工程と、
前記基準画像取得工程において取得した前記基準画像、前記アップサンプリング工程においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得工程において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成工程と、
により、仮想視点画像を合成し、
前記画像深度取得手段は、画像の深度を検出する深度カメラであり、
前記アップサンプリング工程は、
前記深度カメラから入力された深度マップを入力し、
前記深度マップ生成工程において生成された深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させ、
前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当て、
前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出し、
前記算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択することを特徴とする仮想視点画像合成方法。

【請求項2】
 
請求項1に記載の仮想視点画像合成方法において、
前記重みは、前記基準画像のピクセルと前記深度マップにおける前記一組の隣接するピクセルとの色又は強度差及び距離に基づいて割り当てられることを特徴とする仮想視点画像合成方法。

【請求項3】
 
請求項1に記載の仮想視点画像合成方法において、
前記重みは、前記深度カメラから入力された深度マップ及び/又は前記基準画像のピクセルと、前記深度カメラから入力された深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき割り当てられることを特徴とする仮想視点画像合成方法。

【請求項4】
 
請求項1~請求項3のいずれか1項に記載の仮想視点画像合成方法において、
前記最適深度値の選択は、
出力深度値として最小重みを有するピクセルの深度を選択することによることを特徴と
する仮想視点画像合成方法。

【請求項5】
 
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成システムであって、
複数の視点に配置した画像取得手段と、
前記複数の画像取得手段から画像構成の基準となる基準画像を取得する基準画像取得手段と、
前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段と、
前記画像深度取得手段により取得した、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成手段と、
前記深度マップ生成手段において生成した深度マップをアップサンプリングするアップサンプリング手段と、
画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段と、
前記基準画像取得手段において取得した前記基準画像、前記アップサンプリング手段においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得手段において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成手段と、
を備え
前記画像深度取得手段は、画像の深度を検出する深度カメラであり、
前記アップサンプリング手段は、
前記深度カメラから入力された深度マップを入力する深度マップ入力手段と、
前記深度マップ入力手段で入力した前記深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させる対応手段と、
前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当てる重み割当手段と、
前記重み割当手段で前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出する最小重み算出手段と、
前記最小重み算出手段で算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択する最適深度値選択手段と、
を備えたことを特徴とする仮想視点画像合成システム。

【請求項6】
 
請求項5に記載の仮想視点画像合成システムにおいて、
前記重み割当手段は、
前記基準画像のピクセルと、前記深度マップ入力手段で入力した前記深度マップにおける前記一組の隣接するピクセルと、の色又は強度差及び距離に基づいて前記重みを割り当てることを特徴とする仮想視点画像合成システム。

【請求項7】
 
請求項5に記載の仮想視点画像合成システムにおいて、
前記重み割当手段は、
前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像のピクセルと、前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき、前記重みを割り当てることを特徴とする仮想視点画像合成システム。

【請求項8】
 
請求項5~請求項7のいずれか1項に記載の仮想視点画像合成システムにおいて、
前記最適深度値選択手段は、
前記出力深度値として最小重みを有するピクセルの深度を選択することを特徴とする仮想視点画像合成システム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2011264974thum.jpg
State of application right Registered
(In Japanese)名古屋大学の公開特許情報を掲載しています。ご関心のある案件がございましたら、下記まで電子メールでご連絡ください。


PAGE TOP

close
close
close
close
close
close
close