TOP > 国内特許検索 > 仮想視点画像合成方法及び仮想視点画像合成システム

仮想視点画像合成方法及び仮想視点画像合成システム コモンズ 外国出願あり

国内特許コード P120006751
整理番号 NU-0440
掲載日 2012年3月1日
出願番号 特願2011-264974
公開番号 特開2012-123799
登録番号 特許第5858380号
出願日 平成23年12月2日(2011.12.2)
公開日 平成24年6月28日(2012.6.28)
登録日 平成27年12月25日(2015.12.25)
優先権データ
  • 61/419,501 (2010.12.3) US
発明者
  • ウィルダブラ メインダード オノ
  • 楊 路
  • パナヒプル テヘラニ メヒルダド
  • 圓道 知博
  • 谷本 正幸
出願人
  • 国立大学法人名古屋大学
発明の名称 仮想視点画像合成方法及び仮想視点画像合成システム コモンズ 外国出願あり
発明の概要 【課題】アップサンプリングされた深度マップに遮断作用又は平滑作用を及ぼさないアップサンプリング方法を低いビットレートで実現する仮想画像合成技術を提供する。
【解決手段】多視点撮影サブシステム101にて、複数の視点に設置したカメラから、多視点ビデオ画像105を取得し、形状生成サブシステム102にて、形状情報106を生成するとともに、深度カメラ402で多視点ビデオ画像105よりも低解像度の深度マップ413を取得する。アップサンプリングサブシステム401にて、多視点ビデオ画像105及び深度マップ413に基づき深度マップ413をアップサンプリングする。仮想ビュー合成サブシステム104にて、多視点ビデオ画像105、アップサンプリングした深度マップ及び、画像を合成する際の視点となる仮想視点の位置情報と方向情報に基づいて、仮想視点情報に対応する仮想視点画像を合成することにより、仮想視点画像を合成する。
【選択図】図1
従来技術、競合技術の概要


仮想視点画像とは、仮想位置において実際のカメラによって撮影されたかのように見える画像のことである。例えば、対象及び背景を、2台のカメラによって撮影した場合、2台の実際のカメラの間の位置から撮影されたかのように見える画像が生成される。この画像は「仮想視点画像」と呼ばれる。



この画像を生成するプロセスは、「レンダリング」又は「ビュー合成」と呼ばれる。以下で、「視点画像」は、指定された視点から撮影された画像であり、実際のカメラによるかあるいはビュー合成のプロセスを通じて生成される。さらに、本明細書で、「画像」という語は、画像ピクセルからなるデジタル画像を指す。



人は、各々の目で異なるビューを見るので深度を感知することができる。最新の3Dビデオシステム(3D-TV又は自由視点TVなど)の原理は、各々の目に対して1つの、2視点画像を生成することである。視点に自由度を持たせるためには多くの視点画像が必要である。3Dシーンの情報は、多くの方法で得られて表現され得る。



よく使用される3Dシーン表現は、深度画像がシーン形状を表現するNビュー及びN深度画像に基づいている。図10に、複数のビュー及び形状に基づく多視点ビデオシステムの一般化されたシステム図を示す。



複数のカラービューは、一般に、複数の同期カメラによって撮影される。形状情報は、例えば、3Dモデル又はパーピクセル深度画像によって表現され得る。深度画像に基づくレンダリングを使用すると、実際のカメラで撮影されているように思われる無数の仮想視点画像が所与の範囲内で合成され得る(例えば、非特許文献1参照)。



深度画像に基づくレンダリングは、パーピクセル深度値を用いて所与の視点画像の画像ピクセルを別の視点画像に投影する仮想ビュー合成プロセスである。この投影は、一般に、3Dワーピングと呼ばれる。



Nビュー及びN深度表現の長所の一つは、受信機側における所要の処理が比較的低いことである。さらに、所要の送信/記憶帯域幅が抑制され得る。例えば、3Dディスプレイが20視点画像を必要とする場合、20視点画像を送信しなくても2つ又は3つのビュー及び対応する深度マップを送信すれば十分であり得る。



一般に、多視点ビデオシステムでは、複数の深度マップ及びビューが記憶又は送信のために圧縮される。ビュー及び深度の両方の効率的圧縮と信頼性の高い高品質の仮想ビュー合成が、このようなシステムにおいて重要である。



圧縮のために深度をダウン/アップサンプリングするアプローチでは、補間されたサンプルによって低解像度の深度マップのみから推定される従来のアップサンプリングが採用されている(例えば、非特許文献2、非特許文献3参照)。

産業上の利用分野


本発明は、複数位置において取得した画像に基づき仮想視点における合成画像を得る仮想視点画像合成方法及び仮想視点画像合成システムに関する。

特許請求の範囲 【請求項1】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成方法であって、
複数の視点に設置した複数の画像取得手段から、前記仮想視点画像の基準となる基準画像を取得する基準画像取得工程と、
前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段によって、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成工程と、
前記深度マップ生成工程において生成した深度マップをアップサンプリングするアップサンプリング工程と、
画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段から前記仮想視点の位置情報及び方向情報を取得する仮想視点情報取得工程と、
前記基準画像取得工程において取得した前記基準画像、前記アップサンプリング工程においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得工程において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成工程と、
により、仮想視点画像を合成し、
前記画像深度取得手段は、画像の深度を検出する深度カメラであり、
前記アップサンプリング工程は、
前記深度カメラから入力された深度マップを入力し、
前記深度マップ生成工程において生成された深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させ、
前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当て、
前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出し、
前記算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択することを特徴とする仮想視点画像合成方法。

【請求項2】
請求項に記載の仮想視点画像合成方法において、
前記重みは、前記基準画像のピクセルと前記深度マップにおける前記一組の隣接するピクセルとの色又は強度差及び距離に基づいて割り当てられることを特徴とする仮想視点画像合成方法。

【請求項3】
請求項に記載の仮想視点画像合成方法において、
前記重みは、前記深度カメラから入力された深度マップ及び/又は前記基準画像のピクセルと、前記深度カメラから入力された深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき割り当てられることを特徴とする仮想視点画像合成方法。

【請求項4】
請求項~請求項のいずれか1項に記載の仮想視点画像合成方法において、
前記最適深度値の選択は、
出力深度値として最小重みを有するピクセルの深度を選択することによることを特徴と
する仮想視点画像合成方法。

【請求項5】
複数の視点から取得した画像情報に基づき、仮想視点から観た仮想視点画像を合成する仮想視点画像合成システムであって、
複数の視点に配置した画像取得手段と、
前記複数の画像取得手段から画像構成の基準となる基準画像を取得する基準画像取得手段と、
前記複数の画像取得手段と同じ視点における画像の深度を取得する画像深度取得手段と、
前記画像深度取得手段により取得した、前記複数の画像取得手段と同じ視点における画像の深度マップを生成する深度マップ生成手段と、
前記深度マップ生成手段において生成した深度マップをアップサンプリングするアップサンプリング手段と、
画像を合成する際の視点となる仮想視点の位置情報と該仮想視点から前記合成画像を観たときの方向である仮想視点方向の情報を取得する仮想視点情報取得手段と、
前記基準画像取得手段において取得した前記基準画像、前記アップサンプリング手段においてアップサンプリングした前記深度マップ及び前記仮想視点情報取得手段において取得した前記仮想視点の位置情報及び方向情報に基づいて、前記仮想視点の位置情報及び方向情報に対応する仮想視点画像を合成する仮想視点画像合成手段と、
を備え
前記画像深度取得手段は、画像の深度を検出する深度カメラであり、
前記アップサンプリング手段は、
前記深度カメラから入力された深度マップを入力する深度マップ入力手段と、
前記深度マップ入力手段で入力した前記深度マップにおける一組の隣接するピクセルと、前記基準画像における互いに隣接していないピクセルとを対応させる対応手段と、
前記深度マップにおける一組の隣接するピクセルにおける各ピクセルに重みを割り当てる重み割当手段と、
前記重み割当手段で前記一組の隣接するピクセルに割り当てた各ピクセルの重みを最適化し、最小重みを算出する最小重み算出手段と、
前記最小重み算出手段で算出した最小重みを得たときの前記一組の隣接するピクセルにおける最適な深度値を選択する最適深度値選択手段と、
を備えたことを特徴とする仮想視点画像合成システム。

【請求項6】
請求項に記載の仮想視点画像合成システムにおいて、
前記重み割当手段は、
前記基準画像のピクセルと、前記深度マップ入力手段で入力した前記深度マップにおける前記一組の隣接するピクセルと、の色又は強度差及び距離に基づいて前記重みを割り当てることを特徴とする仮想視点画像合成システム。

【請求項7】
請求項に記載の仮想視点画像合成システムにおいて、
前記重み割当手段は、
前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像のピクセルと、前記深度マップ入力手段で入力した深度マップ及び/又は前記基準画像における一組の隣接するピクセルとの色又は強度差及び距離の組合せに基づき、前記重みを割り当てることを特徴とする仮想視点画像合成システム。

【請求項8】
請求項~請求項のいずれか1項に記載の仮想視点画像合成システムにおいて、
前記最適深度値選択手段は、
前記出力深度値として最小重みを有するピクセルの深度を選択することを特徴とする仮想視点画像合成システム。
産業区分
  • テレビ
  • ファクシミリ
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2011264974thum.jpg
出願権利状態 登録
名古屋大学の公開特許情報を掲載しています。ご関心のある案件がございましたら、下記まで電子メールでご連絡ください。


PAGE TOP

close
close
close
close
close
close
close