TOP > 国内特許検索 > 奥行データ出力装置及び奥行データ受信装置

奥行データ出力装置及び奥行データ受信装置 コモンズ

国内特許コード P140010594
整理番号 07-29
掲載日 2014年6月3日
出願番号 特願2007-168484
公開番号 特開2009-010557
登録番号 特許第4942106号
出願日 平成19年6月27日(2007.6.27)
公開日 平成21年1月15日(2009.1.15)
登録日 平成24年3月9日(2012.3.9)
発明者
  • 妹尾 孝憲
  • 山本 健詞
  • 大井 隆太朗
  • 三科 智之
  • 奥井 誠人
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 奥行データ出力装置及び奥行データ受信装置 コモンズ
発明の概要 【課題】複数のカメラ映像から自然な任意視点映像を作成する際に、取り扱い容易な奥行値(奥行データ)を得ることができる奥行データ出力装置及び奥行データ受信装置を提供する。
【解決手段】奥行データ出力装置1は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力するものであって、視差データを算出する視差データ算出手段3と、焦点距離を記憶する記憶手段5と、被写体距離を算出する距離算出手段7と、像倍率に掛ける係数を選択する係数選択手段9と、奥行データを算出する奥行データ算出手段11と、を備える。
【選択図】図1
従来技術、競合技術の概要


従来、映像を解析する事により、遠景、中景、近景などの被写体を識別し、それぞれに奥行値(奥行データ)を与える方法が特許文献1に開示されている。この方法では、被写体像の奥行値は相対的な値であり、且つ、注目する被写体に合わせて、非線形に奥行値を与えることとしている。



この特許文献1に開示されている方法を、図16を参照してさらに詳細に説明する。
この図16に示される映像110は、通常のカメラで撮影された平面画像であり、開示されている方法では、送信側の送信装置(図示せず)にて、この映像110を解析する事により、遠景の山や、近景の人物を抽出し、それぞれに奥行値を適宜与える。そして、この方法では、与えられた奥行値を、デプスマップ130として、2D画像120と共に、受信装置(図示せず)に送る。



そうすると、受信装置では、与えられたデプスマップ130の値に従い視差量に変換し、2D画像120の被写体像位置を左右相反する方向にずらした2枚の視差画像を生成し、両眼視差の原理に基づく立体映像をディスプレイ(図示せず)に表示する。こうすることで、このディスプレイを見る観察者は、立体映像のズレ量である視差量に応じて、大きな視差量の被写体の再生像を近くに、小さな視差量の被写体の再生像を遠くに感じることができる。この立体映像のズレ量を、希望する視点位置に応じて変えることで、任意視点から立体映像又は平面映像を見る事が出来る。



なお、受信装置にて、デプスマップ130として送られた奥行値を、視差量に変換する際には、遠方の被写体の視差量が小さく、近景の被写体の視差量が大きくなる様に行われる。この際に、送信側の送信装置は、重要と思われる被写体像の奥行値がより詳細に与えられる様に、奥行値の分解能を非線形に変えられる態様(非線形関数として扱うこと)を取っており、その非線形関数の情報や、分解能を表すスケール情報等と共に受信装置に送っている。



この奥行値の分解能(以下、奥行分解能と略す)を表すスケール情報の例を、図17に示す。この図17において、図17(a)は、奥行分解能を線形尺度で与えた例であり、被写体像の奥行値は、映像のどの位置でも同じ分解能で与えられる。図17(b)は、奥行分解能を対数尺度で与えた例であり、近くの被写体の大きな奥行値は細かな分解能で与えられ、遠くの被写体の小さな奥行値はより粗い分解能で与えられる。そして、スケール情報は、通常、その映像の中で最も遠い被写体と最も近くの被写体像の奥行値の差が、ディスプレイで表せる奥行値の最大値以内になる様に与えられる。



しかし、特許文献1に開示された方法では、複数のカメラで撮影したカメラ映像を、自由に切り替えたり、中間のカメラ位置からのカメラ映像を合成して表示したりするような、自由視点テレビに応用する場合、カメラ映像を切り替えると、カメラに写る被写体の範囲によって、同じ被写体における被写体像の奥行値が変化し、不自然に見えることが生じる。さらに、2台のカメラで撮影したカメラ映像から、奥行値に応じて被写体像の位置をずらして、これらのカメラの中間位置における映像を合成する場合には、2台のカメラ間で同じ被写体における被写体像の奥行値が異なると、合成された映像の奥行を正しく表示できない現象が生じる。



この現象を解決するための従来方法が特許文献2に開示されている。この特許文献2に開示されている方法では、複数のカメラを使う場合は、2台のカメラで撮影したカメラ映像間のマッチング探索を行って、両者で同じ被写体の被写体像の位置(映像中の位置)のずれ量である視差量を求めて奥行値としている。この場合の視差量は、隣り合う2台のカメラ間隔Lと、カメラから被写体までの被写体距離Dによって決まる。



しかし、この視差量は、カメラ間隔Lに応じて変化するので、異なるカメラ間隔で撮影されたカメラ映像を同じ立体ディスプレイに表示する場合には、表示される映像の奥行感が変化し、映像がミニチュアに見える矮小効果が発生したり、表示される映像が平板のように感じられたりする書割効果が発生し、映像の奥行が不自然に見える現象が生じる。



この現象を解決するための別の従来方法が特許文献3に開示されている。この特許文献3に開示されている方法では、距離を測定する為の光を被写体に照射し、被写体から反射して返って来る光の遅延時間を計測して、被写体までの絶対距離を求め、奥行値とするものである。なお、遅延時間の計測には、時間的に変化する光の位相遅れを測るものや、パルス状のレーザ光が被写体に反射して返って来るまでの時間を計るものなどがある。この場合、奥行値は被写体までの絶対距離であるので、カメラ映像を切り替えても被写体像の奥行値は変わらず、切り替えたカメラ映像の表示が自然なものになる。
【特許文献1】
特開2004-071102号公報
【特許文献2】
特開2001-61164号公報
【特許文献3】
特開2005-164349号公報

産業上の利用分野



本発明は、複数のカメラで撮影したカメラ映像から、任意視点映像を作成する際に必要な、被写体を撮影した複数のカメラのレンズから被写体までの距離(以下、被写体距離と言う)によって規定される表示映像に見かけの奥行を与える為の奥行データを出力する奥行データ出力装置及び奥行データ受信装置に関する。

特許請求の範囲 【請求項1】
被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラ間の設置間隔を予め記憶していると共に、前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
前記カメラで撮影した少なくとも2つの映像データに基づいて、2つの映像データのズレ量である視差データを算出する視差データ算出手段と、
この視差データ算出手段で算出した視差データから、前記カメラのレンズから前記被写体までの距離である被写体距離を算出する距離算出手段と、
この距離算出手段で算出された被写体距離をDとし、前記記憶手段に記憶されているレンズの焦点距離をfとして、前記被写体と撮影された被写体像との像倍率をf/Dとした場合に、この像倍率f/Dに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。

【請求項2】
被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラのレンズから前記被写体までの距離を距離画像として得る距離画像撮影手段と、
前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
この記憶手段に記憶されているレンズの焦点距離をfとし、前記距離画像撮影手段で撮影された距離画像から得られた前記カメラのレンズから前記被写体までの距離である被写体距離をDとして、前記被写体と撮影された被写体像との像倍率をf/Dとした場合に、
この像倍率f/Dに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。

【請求項3】
前記奥行データ算出手段で使用される前記を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fでない場合の条件のとき、前記にDf/(D-f)を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが未定の場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが予め与えられている場合の条件のとき、前記に前記Bを選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fの場合の条件のとき、前記にfを選択し、
表示する際のディスプレイが未定である場合の条件のとき、前記に1/fを選択することを特徴とする請求項1又は2に記載の奥行データ出力装置。

【請求項4】
被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラは、カメラのレンズ又は受光面の位置を移動させながら、被写体を当該カメラで複数回撮影する立体映像カメラであって、撮影した複数の立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する被写体抽出手段と、
前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
この記憶手段に記憶されているレンズの焦点距離をfとし、前記被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から、前記カメラから前記被写体までの距離である被写体距離Dを得て、前記被写体と撮影された前記被写体像との像倍率f/(D-f)を算出し、この像倍率f/(D-f)に前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。

【請求項5】
前記奥行データ算出手段で使用される前記を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが未定の場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが予め与えられている場合の条件のとき、前記に前記Bを選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記に前記fを選択し、
表示する際のディスプレイが未定である場合の条件のとき、前記に1/fを選択することを特徴とする請求項4に記載の奥行データ出力装置。

【請求項6】
請求項1から請求項5のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
前記奥行データの種類に応じて変わる値を、判定された前記奥行データに掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、
を備えることを特徴とする奥行データ受信装置。

【請求項7】
請求項3または請求項5に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべきを選択する係数選択手段と、
前記奥行データに前記を掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、を備え、
前記係数選択手段は、前記フラグから判定した奥行データの種類に応じ、
表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fでない場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが送信側で未定の場合の条件のとき、前記に前記記憶手段から読み出された前記平均距離Bを選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、前記平均距離Bが送信側に予め与えられている場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fの場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが2眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記にそれぞれfB若しくはfを選択することを特徴とする奥行データ受信装置。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2007168484thum.jpg
出願権利状態 登録
※ 詳細内容の開示にあたっては、別途、JSTと秘密保持契約を締結していただくことが必要となります。


PAGE TOP

close
close
close
close
close
close
close