TOP > 国内特許検索 > 奥行データ出力装置及び奥行データ受信装置 > 明細書

明細書 :奥行データ出力装置及び奥行データ受信装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4942106号 (P4942106)
公開番号 特開2009-010557 (P2009-010557A)
登録日 平成24年3月9日(2012.3.9)
発行日 平成24年5月30日(2012.5.30)
公開日 平成21年1月15日(2009.1.15)
発明の名称または考案の名称 奥行データ出力装置及び奥行データ受信装置
国際特許分類 H04N  13/02        (2006.01)
G01C   3/06        (2006.01)
FI H04N 13/02
G01C 3/06 110V
請求項の数または発明の数 7
全頁数 29
出願番号 特願2007-168484 (P2007-168484)
出願日 平成19年6月27日(2007.6.27)
審査請求日 平成22年4月23日(2010.4.23)
特許権者または実用新案権者 【識別番号】301022471
【氏名又は名称】独立行政法人情報通信研究機構
発明者または考案者 【氏名】妹尾 孝憲
【氏名】山本 健詞
【氏名】大井 隆太朗
【氏名】三科 智之
【氏名】奥井 誠人
個別代理人の代理人 【識別番号】100064414、【弁理士】、【氏名又は名称】磯野 道造
【識別番号】100111545、【弁理士】、【氏名又は名称】多田 悦夫
審査官 【審査官】伊東 和重
参考文献・文献 特開平08-242469(JP,A)
特開2002-152776(JP,A)
調査した分野 H04N 13/02
G01C 3/06
特許請求の範囲 【請求項1】
被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラ間の設置間隔を予め記憶していると共に、前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
前記カメラで撮影した少なくとも2つの映像データに基づいて、2つの映像データのズレ量である視差データを算出する視差データ算出手段と、
この視差データ算出手段で算出した視差データから、前記カメラのレンズから前記被写体までの距離である被写体距離を算出する距離算出手段と、
この距離算出手段で算出された被写体距離をDとし、前記記憶手段に記憶されているレンズの焦点距離をfとして、前記被写体と撮影された被写体像との像倍率をf/Dとした場合に、この像倍率f/Dに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。
【請求項2】
被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラのレンズから前記被写体までの距離を距離画像として得る距離画像撮影手段と、
前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
この記憶手段に記憶されているレンズの焦点距離をfとし、前記距離画像撮影手段で撮影された距離画像から得られた前記カメラのレンズから前記被写体までの距離である被写体距離をDとして、前記被写体と撮影された被写体像との像倍率をf/Dとした場合に、
この像倍率f/Dに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。
【請求項3】
前記奥行データ算出手段で使用される前記を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fでない場合の条件のとき、前記にDf/(D-f)を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが未定の場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが予め与えられている場合の条件のとき、前記に前記Bを選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fの場合の条件のとき、前記にfを選択し、
表示する際のディスプレイが未定である場合の条件のとき、前記に1/fを選択することを特徴とする請求項1又は2に記載の奥行データ出力装置。
【請求項4】
被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、
前記カメラは、カメラのレンズ又は受光面の位置を移動させながら、被写体を当該カメラで複数回撮影する立体映像カメラであって、撮影した複数の立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する被写体抽出手段と、
前記カメラのレンズの焦点距離を予め記憶している記憶手段と、
この記憶手段に記憶されているレンズの焦点距離をfとし、前記被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から、前記カメラから前記被写体までの距離である被写体距離Dを得て、前記被写体と撮影された前記被写体像との像倍率f/(D-f)を算出し、この像倍率f/(D-f)に前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、前記奥行データを算出する奥行データ算出手段と、
を備えることを特徴とする奥行データ出力装置。
【請求項5】
前記奥行データ算出手段で使用される前記を、予め設定した条件に基づいて選択する係数選択手段を備え、この係数選択手段は、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが未定の場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが予め与えられている場合の条件のとき、前記に前記Bを選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記に前記fを選択し、
表示する際のディスプレイが未定である場合の条件のとき、前記に1/fを選択することを特徴とする請求項4に記載の奥行データ出力装置。
【請求項6】
請求項1から請求項5のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
前記奥行データの種類に応じて変わる値を、判定された前記奥行データに掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、
を備えることを特徴とする奥行データ受信装置。
【請求項7】
請求項3または請求項5に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示映像に奥行がある様に見せる為のパラメータを出力する奥行データ受信装置であって、
前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、
前記カメラのレンズの焦点距離と、人間の両眼間の平均距離を予め記憶している記憶手段と、
前記奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する奥行データ取得手段と、
前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべきを選択する係数選択手段と、
前記奥行データに前記を掛けることで、前記パラメータを奥行きとして算出する奥行算出手段と、を備え、
前記係数選択手段は、前記フラグから判定した奥行データの種類に応じ、
表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fでない場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが送信側で未定の場合の条件のとき、前記に前記記憶手段から読み出された前記平均距離Bを選択し、
表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、前記平均距離Bが送信側に予め与えられている場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fの場合の条件のとき、前記に1を選択し、
表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが2眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記にそれぞれfB若しくはfを選択することを特徴とする奥行データ受信装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、複数のカメラで撮影したカメラ映像から、任意視点映像を作成する際に必要な、被写体を撮影した複数のカメラのレンズから被写体までの距離(以下、被写体距離と言う)によって規定される表示映像に見かけの奥行を与える為の奥行データを出力する奥行データ出力装置及び奥行データ受信装置に関する。
【背景技術】
【0002】
従来、映像を解析する事により、遠景、中景、近景などの被写体を識別し、それぞれに奥行値(奥行データ)を与える方法が特許文献1に開示されている。この方法では、被写体像の奥行値は相対的な値であり、且つ、注目する被写体に合わせて、非線形に奥行値を与えることとしている。
【0003】
この特許文献1に開示されている方法を、図16を参照してさらに詳細に説明する。
この図16に示される映像110は、通常のカメラで撮影された平面画像であり、開示されている方法では、送信側の送信装置(図示せず)にて、この映像110を解析する事により、遠景の山や、近景の人物を抽出し、それぞれに奥行値を適宜与える。そして、この方法では、与えられた奥行値を、デプスマップ130として、2D画像120と共に、受信装置(図示せず)に送る。
【0004】
そうすると、受信装置では、与えられたデプスマップ130の値に従い視差量に変換し、2D画像120の被写体像位置を左右相反する方向にずらした2枚の視差画像を生成し、両眼視差の原理に基づく立体映像をディスプレイ(図示せず)に表示する。こうすることで、このディスプレイを見る観察者は、立体映像のズレ量である視差量に応じて、大きな視差量の被写体の再生像を近くに、小さな視差量の被写体の再生像を遠くに感じることができる。この立体映像のズレ量を、希望する視点位置に応じて変えることで、任意視点から立体映像又は平面映像を見る事が出来る。
【0005】
なお、受信装置にて、デプスマップ130として送られた奥行値を、視差量に変換する際には、遠方の被写体の視差量が小さく、近景の被写体の視差量が大きくなる様に行われる。この際に、送信側の送信装置は、重要と思われる被写体像の奥行値がより詳細に与えられる様に、奥行値の分解能を非線形に変えられる態様(非線形関数として扱うこと)を取っており、その非線形関数の情報や、分解能を表すスケール情報等と共に受信装置に送っている。
【0006】
この奥行値の分解能(以下、奥行分解能と略す)を表すスケール情報の例を、図17に示す。この図17において、図17(a)は、奥行分解能を線形尺度で与えた例であり、被写体像の奥行値は、映像のどの位置でも同じ分解能で与えられる。図17(b)は、奥行分解能を対数尺度で与えた例であり、近くの被写体の大きな奥行値は細かな分解能で与えられ、遠くの被写体の小さな奥行値はより粗い分解能で与えられる。そして、スケール情報は、通常、その映像の中で最も遠い被写体と最も近くの被写体像の奥行値の差が、ディスプレイで表せる奥行値の最大値以内になる様に与えられる。
【0007】
しかし、特許文献1に開示された方法では、複数のカメラで撮影したカメラ映像を、自由に切り替えたり、中間のカメラ位置からのカメラ映像を合成して表示したりするような、自由視点テレビに応用する場合、カメラ映像を切り替えると、カメラに写る被写体の範囲によって、同じ被写体における被写体像の奥行値が変化し、不自然に見えることが生じる。さらに、2台のカメラで撮影したカメラ映像から、奥行値に応じて被写体像の位置をずらして、これらのカメラの中間位置における映像を合成する場合には、2台のカメラ間で同じ被写体における被写体像の奥行値が異なると、合成された映像の奥行を正しく表示できない現象が生じる。
【0008】
この現象を解決するための従来方法が特許文献2に開示されている。この特許文献2に開示されている方法では、複数のカメラを使う場合は、2台のカメラで撮影したカメラ映像間のマッチング探索を行って、両者で同じ被写体の被写体像の位置(映像中の位置)のずれ量である視差量を求めて奥行値としている。この場合の視差量は、隣り合う2台のカメラ間隔Lと、カメラから被写体までの被写体距離Dによって決まる。
【0009】
しかし、この視差量は、カメラ間隔Lに応じて変化するので、異なるカメラ間隔で撮影されたカメラ映像を同じ立体ディスプレイに表示する場合には、表示される映像の奥行感が変化し、映像がミニチュアに見える矮小効果が発生したり、表示される映像が平板のように感じられたりする書割効果が発生し、映像の奥行が不自然に見える現象が生じる。
【0010】
この現象を解決するための別の従来方法が特許文献3に開示されている。この特許文献3に開示されている方法では、距離を測定する為の光を被写体に照射し、被写体から反射して返って来る光の遅延時間を計測して、被写体までの絶対距離を求め、奥行値とするものである。なお、遅延時間の計測には、時間的に変化する光の位相遅れを測るものや、パルス状のレーザ光が被写体に反射して返って来るまでの時間を計るものなどがある。この場合、奥行値は被写体までの絶対距離であるので、カメラ映像を切り替えても被写体像の奥行値は変わらず、切り替えたカメラ映像の表示が自然なものになる。

【特許文献1】特開2004-071102号公報
【特許文献2】特開2001-61164号公報
【特許文献3】特開2005-164349号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献3でいう奥行値は、被写体までの絶対距離であるので、近くの被写体ほど映像としては大きく写るのに、当該奥行値は小さな値となり、近くの被写体像の奥行を詳しく表示する為には、奥行値の分解能を大きくしなければならず、奥行値の分解能が非常に大きくなるという問題がある。例えば、カメラ映像に空などの無限遠の被写体を含む事が頻繁にあるが、その奥行値は無限大になり、扱い難いと言う問題がある。
【0012】
そこで、本発明は、前記した問題を解決するもので、複数のカメラ映像から自然な任意視点映像を作成する際に、取り扱い容易な奥行値(奥行データ)を得ることができる奥行データ出力装置及び奥行データ受信装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
前記課題を解決するため、請求項1に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、記憶手段と、視差データ算出手段と、距離算出手段と、奥行データ算出手段と、を備える構成とした。
【0014】
かかる構成によれば、奥行データ出力装置は、視差データ算出手段によって、カメラで撮影した少なくとも2つの映像データに基づいて、2つの映像データのズレ量である視差データを算出する。続いて、奥行データ出力装置は、距離算出手段によって、視差データ算出手段で算出した視差データから、カメラのレンズから被写体までの距離である被写体距離を算出する。そして、奥行データ出力装置は、奥行データ算出手段によって、距離算出手段で算出された被写体距離をDとし、記憶手段に記憶されているレンズの焦点距離をfとして、被写体と撮影された被写体像との像倍率をf/Dとした場合に、この像倍率f/Dに、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、奥行データを算出する。
【0015】
請求項2に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、距離画像撮影手段と、記憶手段と、奥行データ算出手段と、を備える構成とした。
【0016】
かかる構成によれば、奥行データ出力装置は、距離画像撮影手段によって、カメラから被写体までの距離を距離画像として得る。続いて、奥行データ出力装置は、奥行データ算出手段によって、記憶手段に記憶されているレンズの焦点距離をfとし、距離画像撮影手段で撮影された距離画像から得られたカメラのレンズから被写体までの被写体距離をDとして、被写体と撮影された被写体像との像倍率をf/Dとした場合に、この像倍率f/Dに、奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、奥行データを算出する。
【0017】
請求項3に記載の奥行データ出力装置は、請求項1又は2に記載の奥行データ出力装置において、前記奥行データ算出手段で使用される前記所定のを、予め設定した条件に基づいて選択する係数選択手段を備える構成とした。
【0018】
かかる構成によれば、奥行データ出力装置は、係数選択手段によって、表示する際のディスプレイが奥行を持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fでない場合の条件のとき、前記にDf/(D-f)を選択し、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが未定の場合の条件のとき、前記に1を選択し、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bがあらかじめ与えられている場合の条件のとき、前記に前記Bを選択し、表示する際のディスプレイが映像に奥行を持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fの場合の条件のとき、前記にfを選択し、表示する際のディスプレイが未定である場合の条件のとき、前記に1/fを選択する。
【0019】
請求項4に記載の奥行データ出力装置は、被写体を撮影した複数のカメラのレンズから被写体までの距離によって規定される奥行データを出力する奥行データ出力装置であって、被写体抽出手段と、記憶手段と、奥行データ算出手段と、を備える構成とした。
【0020】
かかる構成によれば、奥行データ出力装置は、被写体抽出手段によって、立体映像カメラで撮影された立体映像データの各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する。そして、奥行データ出力装置は、奥行データ算出手段によって、被写体抽出手段で被写体像が抽出されるまでに前記レンズ又は前記受光面の位置が移動した移動距離から得られた像倍率f/(D-f)に、前記奥行データを出力するディスプレイの形式および予め設定した条件に応じて変わる値を掛けることで、奥行データを算出する。
【0021】
請求項5に記載の奥行データ出力装置は、請求項4に記載の奥行データ出力装置において、前記奥行データ算出手段で使用する前記所定のを、予め設定した条件に基づいて選択する係数選択手段を備える構成とした。
【0022】
かかる構成によれば、奥行データ出力装置は、係数選択手段によって、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが未定の場合の条件のとき、前記に1を選択し、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bがあらかじめ与えられている場合の条件のとき、前記に前記Bを選択し、表示する際のディスプレイが映像に奥行を持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記に前記fを選択し、表示する際のディスプレイが未定である場合の条件のとき、前記に1/fを選択する。
【0023】
請求項6に記載の奥行データ受信装置は、請求項1から5のいずれか一項に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示する表示映像に奥行があるように見せるためのパラメータを出力する奥行データ受信装置であって、前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、記憶手段と、奥行データ取得手段と、奥行算出手段と、を備える構成とした。
【0024】
かかる構成によれば、奥行データ受信装置は、奥行データ取得手段によって、奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する。そして、奥行データ受信装置は、記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべき所定のを選択する。奥行算出手段によって、前記奥行データの種類に応じて変わる値を、判定された前記奥行データに掛けることで、パラメータを奥行きとして算出する。例えば、この奥行データは、放送波やネットワークを介して、受信することで、取得する。
【0025】
請求項7に記載の奥行データ受信装置は、請求項3または請求項5に記載の奥行データ出力装置から出力された奥行データを受信して、カメラで被写体を撮影した映像データを表示する際に、表示する表示映像に奥行があるように見せるためのパラメータを出力する奥行データ受信装置であって、前記奥行データには、表示する際のディスプレイに応じた値を有したフラグが付随しており、前記奥行データは当該フラグに対応した種類を有しており、記憶手段と、奥行データ取得手段と、係数選択手段と、奥行算出手段と、を備え、ことを特徴する。
【0026】
かかる構成によれば、奥行データ受信装置は、奥行データ取得手段によって、奥行データを受信し、この受信した奥行データの種類を当該奥行データに付随しているフラグから判定する。さらに、奥行データ受信装置は、係数選択手段によって、前記ディスプレイの種類を判定して、前記記憶手段に記憶されている焦点距離又は平均距離を用いた、受信した奥行データに掛けるべきを選択する。すなわち、奥行データ受信装置は、係数選択手段によって、表示する際のディスプレイが奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記フラグの値に従って算出した前記カメラから前記被写体までの距離である被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fでない場合の条件のとき、前記に1を選択し、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが送信側で未定の場合の条件のとき、前記に前記記憶手段から読み出された前記平均距離Bを選択し、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、前記平均距離Bが送信側にあらかじめ与えられている場合の条件のとき、前記に1を選択し、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが立体映像データである場合の条件のとき、前記に1を選択し、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、前記被写体距離Dと前記焦点距離fとを比較した比較結果がD≫fの場合、前記に1を選択し、表示する際のディスプレイが送信側で未定である場合の条件のとき、接続されているディスプレイが2眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、前記にそれぞれfB若しくはf2を選択する。そして、奥行データ受信装置は、奥行算出手段によって、奥行データに所定のを掛けることで、パラメータを奥行きとして算出する。
【発明の効果】
【0027】
請求項1に記載の奥行データ出力装置によれば、視差データから得た被写体距離Dと、焦点距離fとで示す像倍率f/Dに所定のを掛けて、奥行データを算出するので、遠くの被写体が小さく写る場合は小さな奥行データとなり、近くの被写体が大きく写る場合は、大きな奥行データとなる。このため、奥行データ出力装置は、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。
【0028】
請求項2に記載の奥行データ出力装置によれば、距離画像から得た被写体距離Dと、焦点距離fとで示す像倍率f/Dに所定のを掛けて、奥行データを算出するので、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。
【0029】
請求項3、5に記載の奥行データ出力装置によれば、所定のに、カメラから被写体までの被写体距離Dとレンズの焦点距離fと人間の両眼間の平均距離Bとから得られる値を用いることで、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、最適な奥行データを得ることができ、任意視点映像を適切に作成することができる。
【0030】
請求項4に記載の奥行データ出力装置によれば、レンズ又は受光面の位置を移動させながら被写体を撮影可能な立体映像カメラを用いることで、立体映像カメラで撮影された映像データの各レーヤ映像から被写体像を抽出し、この被写体像が抽出されるまでにレンズ又は受光面の位置が移動した移動距離から求めた像倍率f/(D-f)に所定のを掛けて、奥行データを算出しており、映像中の被写体像のサイズに整合した共通して使用できる奥行データを得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。
【0031】
請求項6に記載の奥行データ受信装置によれば、取得した奥行データの種類とディスプレイの種類から、奥行データに掛ける所定の値を決めて、任意視点映像の奥行を算出しており、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、適切な奥行を得ることができ、複数のカメラ映像から自然な任意視点映像を作成する際に、用いることができる。
【0032】
請求項7に記載の奥行データ受信装置によれば、レンズの焦点距離fと人間の両眼間の平均距離Bとから得られる値を用いることで、映像データの種類とディスプレイの種類の自由な組み合わせにおいて、適切な奥行を得ることができる。
【発明を実施するための最良の形態】
【0033】
以下、本発明の実施の形態について、図面を参照しながら説明する。
[第1実施形態]
本発明の第1実施形態に係る任意視点映像(自由視点映像)の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図1に基づいて説明する。
【0034】
この任意視点映像システムSは、複数のカメラ10、20、・・・と、送信機30と、受信機40とを備えている。各カメラ10、20、・・・で撮影された映像データは、送信機30に送られ、それぞれの映像データと奥行データとが多重化されて、受信機40に送られる。
【0035】
映像データは、通常、カメラ10、20、・・・のレンズ後方に設置された画素ごとに赤緑青色のフィルタを持ったイメージセンサ(図示せず)によって取得されたものである。ただし、このイメージセンサで取得された赤緑青色の画素値をそのまま受信機40に送ると、各色8ビットのデータとしても、1画素当たり24ビットが必要で効率が悪いので、この映像データを、人の目の感度が高い輝度値と感度の低い色差値に変換している。
そして、送信機30において、変換した色差値は、その画素数を輝度値の画素数に対して2分の1や4分の1に間引いて、当該映像データのデータ量を減らして送る。なお、この間引きは、各カメラ10、20で行ってもよいし、送信機30で行ってもよい。
【0036】
奥行データは、複数のカメラ10、20、・・・で撮影した複数の映像データから、この映像データに映っている被写体の再生像を、任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定するものである。なお、この任意視点映像の作成は、受信機40で行われることとしている。ちなみに、この奥行データに受信側で所定の係数あるいは値を掛けたものが、映像の奥行きとなるが、この奥行きは、映像を表示するディスプレイによって異なり、多眼立体映像ディスプレイの場合は、表示映像のズレ量である視差量を表し、映像自身が奥行きを持つ立体映像ディスプレイの場合は、その映像の奥行量を表す。いずれも立体映像の奥行きを表す量なので、一括して表示映像の奥行きまたは奥行値と称す。
【0037】
ここで、図5(a)を参照して、カメラ10で、撮影した映像と奥行データとの関係について説明する。
図5(a)に示すように、カメラ10のレンズ12から任意の被写体距離Dにある被写体「猫」(以下、符号50と付す)は、レンズ12から当該レンズ12の焦点距離fだけ離れた位置にできる被写体像60として、カメラ10によって撮影される。
【0038】
このとき、被写体50の大きさ(サイズ)をAとし、被写体像60の大きさ(サイズ)をaとすると、この比である像倍率は、カメラ10のレンズ12から被写体50までの被写体距離Dとレンズ12の焦点距離fの比として、
a/A=f/D ・・・(1)
となる。
【0039】
これより、被写体像60は、被写体50までの被写体距離Dに反比例して小さくなる事が分かる。
【0040】
しかし、図5(a)をさらに詳細に見ると、レンズ12の後方の位置fで撮影される被写体像60は、完全には焦点が合っておらず、サイズaで形成され若干ぼけた像になっている。そして、完全に焦点が合った被写体像70は、レンズ12の後方の位置dに若干大きなサイズbで形成される。図5(a)より、この被写体像70の位置dは、
d=Df/(D-f) ・・・(2)
となり、被写体50までの被写体距離Dによって異なることとなる。
【0041】
そして、位置dの被写体像70は、当該位置dが被写体50までの被写体距離Dによって異なるが、被写体50の各部分の被写体距離Dはすべて異なっている為に、ひとつの被写体であっても、その部分はすべて異なる位置dに結像し、立体映像が形成されることになる。このように、焦点が合っている被写体像70までの距離dは、焦点距離fとは異なる位置に形成される。そのため、奥行データは、像倍率f/Dに後記する所定のを掛けた値として示される。すなわち、奥行データは、所定の係数あるいは値として、Df/(D-f)、1/f、f、1、B(両眼間の平均距離)のいずれかを像倍率f/Dに掛けた値である。
【0042】
カメラ10、20、・・・は、様々な被写体を撮影する一般的なものであり、この実施形態では、被写体として「猫」を撮影している。そして、カメラ10、20、・・・が有しているレンズ12、22を介して、この被写体「猫」が反転(上下が逆)した状態で撮影されている。
【0043】
送信機30は、カメラ10、20、・・・で撮影された映像データを符号化した符号化映像データと奥行データとを多重化した多重化データを、複数の受信機40に送信するもので、奥行データ出力装置1と、映像データ符号化器2と、多重化器4とを備えている。
【0044】
映像データ符号化器2は、映像データをMPEG-2等の符号化方式で符号化して、多重化器4に出力するものである。
多重化器4は、映像データ符号化器2で符号化された符号化映像データと、奥行データ出力装置1から出力された奥行データとを多重化し、多重化した多重化データを放送波又はネットワークデータとして出力するものである。なお、これら映像データ符号化器2及び多重化器4は、既存のもので構成されている。
【0045】
奥行データ出力装置1は、被写体を複数のカメラ10、20、・・・で撮影した複数の映像データ(この実施形態では、平面映像データとも言う)が入力され、これらの映像データから、被写体の再生像を任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定する奥行データを出力するもので、視差データ算出手段3と、記憶手段5と、距離算出手段7と、係数選択手段9と、奥行データ算出手段11とを備えている。
【0046】
視差データ算出手段3は、カメラ10、20、・・・から入力された映像データの中の少なくとも2つの平面映像データと、記憶手段5に記憶されているカメラの設置間隔とに基づいて、視差データ(視差量)を算出するものである。
【0047】
なお、2つの平面映像データは、隣り合う2台のカメラから入力されたものを使うことを前提にしている。ただし、2つの映像データは、映像データを撮影したカメラが複数台ある場合(特に、カメラ間の距離が近い場合)で、あるカメラから別のカメラまでのカメラ設置間隔が判明している場合、隣り合う2台のカメラで撮影されたものでなくてもよい。また、視差データの算出の仕方については、後ほど、図2を参照して説明する。
【0048】
記憶手段5は、カメラ10、20、・・・ごとのカメラ間隔(後記するL)と、カメラ10、20、・・・が有しているレンズの焦点距離とを記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。このレンズの焦点距離をfとする。
【0049】
距離算出手段7は、視差データ算出手段3で算出された視差データから、カメラ10、20、・・・から被写体までの距離を算出するものである。このカメラ10、20、・・・から被写体までの被写体距離をDとする。この距離の算出の仕方については、後ほど、図2を参照して説明する。
【0050】
係数選択手段9は、入力された情報と距離算出手段7で算出された被写体距離Dとに基づいて、奥行データ算出手段11で奥行データを算出する際に用いる所定のを選択するものである。この所定の値は、映像データがどのように撮影されたのか(平面映像データ又は立体映像データ)と、記憶手段5に記憶されているレンズの焦点距離fと距離算出手段7で算出されたDとを比較した比較結果と、表示する際のディスプレイの形式と、視聴する人間の両眼間の平均距離とに基づいて選択されている。
【0051】
入力された情報は、複数の映像データを撮影する際に、平面映像データとして撮影したか、立体映像データとして撮影したかを指定すると共に、任意視点映像を表示する際のディスプレイの形式と視聴する人間の両眼間の平均距離(日本人であれば、予め求められた値となり、外国人であればそれに応じた値)を当該装置1の使用者によって指定したものである。比較結果は、被写体距離Dと焦点距離fとの差が非常に大きい場合(D≫f)とそうでない場合とに場合分けされる。この「非常に大きい」とする場合の基準は、被写体距離Dが焦点距離fの例えば20倍以上である。
【0052】
そして、この係数選択手段9は、ディスプレイが映像に奥行きを持つ立体映像ディスプレイである場合で、比較結果がD≫fの場合、所定のとして、fを選択する。また、この係数選択手段9は、ディスプレイが映像に奥行きを持つ立体映像ディスプレイで、比較結果がD≫fでない場合、所定のとして、Df/(D-f)を選択する。さらに、この係数選択手段9は、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離があらかじめ与えられている場合、所定のとして、人間の両眼間の平均距離Bを選択する。さらに、この係数選択手段9は、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離が未定の場合、所定のとして、1を選択する。さらに、この係数選択手段9は、ディスプレイが未定である場合、所定のとして、1/fを選択する。この様に所定の値を選択すると、送信される奥行データは、映像データの種類とディスプレイの種類のそれぞれの組み合わせに適したデータ形式となり、受信機で容易に所望の奥行きを得る事ができる。
【0053】
なお、係数選択手段9は、これらの所定ののすべての中から選択する必要がなく、表示する際のディスプレイや、人間の両眼間の平均距離Bが既知か未知等によって、予め選択する所定のを限定しておけばよい。また、所定の係数あるいは値は、この係数選択手段9で選択した係数あるいは値を用いることなく、固定の係数あるいは値としてもよい。
【0054】
奥行データ算出手段11は、被写体距離Dと焦点距離fとから、被写体と撮影された被写体像との像倍率f/Dを求め、この像倍率f/Dに係数選択手段9で選択された前記所定のを掛けることで、奥行データを算出して、多重化器4に出力するものである。
【0055】
なお、奥行データ算出手段11では、奥行データを算出する際に、当該奥行データの種類を表すフラグ(例えば、このフラグを“F”で表し、2bit(F=0~3)とする)を、当該奥行データに付随させている。例えば、“F=0”は、任意視点映像を表示する際のディスプレイが立体映像ディスプレイ用の奥行データを表し、“F=1”は、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼間距離が既知の場合の奥行データを表している。また、“F=2”は、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼間距離が未知の場合の奥行データを表し、“F=3”は、任意視点映像を表示する際のディスプレイが未知の場合の奥行データを表している。
【0056】
さらに、奥行データ算出手段11では、さらにもう1ビットのフラグ(例えば、このフラグを“G”で表し、1bit(G=0,1)とする)を奥行データに付随させることが可能である。そして、この追加したフラグGにより、被写体距離Dと焦点距離fとを比較した比較結果を表すこととする。この場合、“F=0、G=0”は、D≫fでない場合の奥行データを表し、“F=0、G=1”は、D≫fの場合の奥行データを表している。
【0057】
受信機40は、送信機30から送信された多重化データを受信して、符号化映像データと奥行データとに分離し、符号化映像データを復号後、奥行データに基づいた任意視点映像を出力するものである。なお、この受信機40の構成の詳細な説明は、後記する。
【0058】
ここで、図2を参照して、視差データの算出を説明する。2台のカメラ10、20のカメラ間隔をLとし、焦点距離をfとし、カメラ10、20、・・・から被写体までの被写体距離をDとし、被写体の大きさをAとし、被写体像60、61の大きさをaとし、カメラ10から被写体50までの水平方向の距離をxとすると、カメラ20から被写体50までの水平方向の距離がL-xとなる。
【0059】
そして、カメラ10の中心線(光軸)から被写体像60までの距離は、x・f/Dとなり、20の中心線(光軸)から被写体像60までの距離は、(L-x)f/Dとなる。従って、2台のカメラ映像間で、猫の写っている位置の違いは、Δ=x・f/D+(L-x)f/D=f・L/Dとなるが、これが視差データΔである。又、被写体50の大きさAと、被写体像60、61の大きさaの比は、図2より、a/A=f/Dとなり、これが像倍率である。図1の視差データ算出手段3では、カメラ10及び、カメラ20の画像を比較し、同じ被写体(猫)の映像の位置のズレ量を測定して、視差データΔを得る。
【0060】
次に距離算出手段7では、記憶手段5から得たカメラの焦点距離fとカメラ間隔Lと、前記視差データΔから、D=f・L/Δを計算し、被写体距離Dを得る。次に奥行データ算出手段11は、カメラの焦点距離fと被写体距離Dから、映像の像倍率f/Dを求めた後、係数選択手段の指示に従って、所定の係数あるいは値としてD・f/(D-f)又は、1、人の両眼の間隔B、焦点距離f、1/fのいずれかを掛けたものを奥行データとして多重化器4に出力する。
【0061】
ここで、図3に示すフローチャートを参照して、奥行データ出力装置1の動作について説明する(適宜、図1参照)。
奥行データ出力装置1は、視差データ算出手段3によって、カメラ10、20、・・・から入力された映像データの少なくとも2つの映像データに基づいて視差データを算出する(ステップS1)。
【0062】
続いて、奥行データ出力装置1は、距離算出手段7によって、視差データ算出手段3で算出された視差データから、カメラ10、20から被写体までの距離(被写体距離)を算出する(ステップS2)。そして、奥行データ出力装置1は、係数選択手段9によって、距離算出手段7で算出した被写体距離と記憶手段5に記憶されている焦点距離とを比較した比較結果と、入力された情報とに基づいて、所定の係数あるいは値を選択する(ステップS3)。
【0063】
そして、奥行データ出力装置1は、奥行データ算出手段11によって、距離算出手段7で算出した被写体距離と記憶手段5に記憶されている焦点距離とから像倍率を求め、この像倍率に係数選択手段9で選択された所定の係数あるいは値を掛けることで奥行データを算出し、多重化器4に出力する(ステップS4)。
【0064】
[第2実施形態]
次に、本発明の第2実施形態に係る任意視点映像(自由視点映像)の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図4に基づいて説明する。
【0065】
図4に示すように、任意視点映像システムSAは、カメラ10、20、・・・と、距離画像撮影カメラ(距離画像撮影手段)13と、送信機30Aと、受信機40とを備えて構成されている。なお、図1に示した任意視点映像システムSと同様の構成については、同一の符号を付してその説明を省略する。
【0066】
距離画像撮影カメラ13は、カメラ10、20、・・・から被写体までの被写体距離を距離画像から得るものである。この距離画像は、白黒のグレースケールで表された画像(遠くものほど黒く、近くのものほど白くなる画像)である。
【0067】
この被写体までの被写体距離D(図2参照)は、背景技術の特許文献3に述べた方法と同じ方法により、距離画像撮影カメラ13に組み込まれたレーザ光線照射手段(図示せず)によるレーザ光線などで測定することが可能である。しかし、その測定値をそのまま用いたのでは、被写体像のサイズと奥行データが不釣合いとなることは背景技術の特許文献3で述べたとおりであり、奥行データ算出手段11Aで、第1実施形態と同様の処理を行い、奥行データを得る。
【0068】
送信機30Aは、カメラ10、20、・・・で撮影された映像データを符号化した符号化映像データと、距離画像撮影カメラ13で撮影された距離画像から得られた奥行データとを多重化した多重化データを、複数の受信機40に送信するもので、奥行データ出力装置1Aと、映像データ符号化器2と、多重化器4とを備えている。
【0069】
奥行データ出力装置1Aは、距離画像撮影カメラ13で得た距離画像が入力され、この距離画像から、被写体の再生像を任意視点から表示する任意視点映像を作成する際の被写体像の奥行きを規定する奥行データを出力するもので、記憶手段5Aと、奥行データ算出手段11Aと、係数選択手段9とを備えている。
【0070】
記憶手段5Aは、カメラ10、20、・・・が有しているレンズの焦点距離を記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。このレンズの焦点距離をfとする。
【0071】
奥行データ算出手段11Aは、距離画像撮影カメラ13で撮影された距離画像から得た被写体距離Dと記憶手段5Aに記憶されている焦点距離fとから、被写体と撮影された被写体像との像倍率f/Dを求め、この像倍率f/Dに係数選択手段9で選択された所定の係数あるいは値を掛けることで、奥行データを算出して、多重化器4に出力するものである。どの係数あるいは値を選択するかは、第1実施形態と同一の条件で選択する。
【0072】
なお、この奥行データ出力装置1Aは、図3に示した奥行データ出力装置1の動作とほぼ同じ動作をすることから、フローチャートを省略すると共に、奥行データ出力装置1の動作と異なる動作についてのみ説明する。
【0073】
奥行データ出力装置1Aは、奥行データ算出手段11Aによって、距離画像撮影カメラ13で撮影された距離画像から被写体距離Dを求める。ここでは、被写体距離Dは、距離画像撮影カメラ13に組み込まれたレーザ光線照射手段による測定結果から求められたものである。この様にして求めた距離値を輝度値とみなして図示したものが図14の距離画像(距離データ)である。そして、奥行データ出力装置1Aは、この被写体距離Dと焦点距離fとから、被写体と撮影された被写体像との像倍率f/Dを求め、この像倍率f/Dに係数選択手段9で選択された所定の係数あるいは値を掛けることで、奥行データを算出して、多重化器4に出力する。
【0074】
[第3実施形態]
【0075】
先ず、第3実施形態の説明に入る前に、図5を参照して、カメラ10で、平面映像を撮影する場合について補足説明をする。
この場合のレンズ12から被写体50までの被写体距離Dと、レンズ12から被写体像70までの距離dとの関係を図5(b)のグラフに示す。この例では、レンズ12の焦点距離は、f=50mmとしたが、無限遠から0.5mまでの間の被写体50の像は、レンズ12から50mm離れた位置から56mmまでの間に射影されており、非常にコンパクトな立体映像である事が分かる。
【0076】
一方、被写体像70のサイズbは、
b=Af/(D-f) ・・・(3)
となるので、この被写体像70のサイズbと位置d(ここで仮に像の奥行と呼ぶ)は、被写体50の実際のサイズAと実際の被写体距離Dを、同じ倍率f/(D-f)倍したものである事が分かる。この関係を図5(c)に示す。
【0077】
この図5(c)において、像の奥行比や像のサイズ比は、被写体50までの実際の距離が、D=1mの時の値を1として表示している。通常、被写体50までの被写体距離Dはレンズ12の焦点距離fより十分大きいので、グラフに示すように、被写体像70の大きさと位置dとは被写体50までの被写体距離Dにほぼ反比例して小さくなるが、これは、人の目で自然界を見た時に網膜に映る映像と同じ傾向を示している。従って、この被写体像70を後述する体積表示ディスプレイやホログラフィックディスプレイに表示すると、自然な立体映像に見える。
【0078】
この場合の像倍率f/(D-f)は、従来例で述べた技術を用いて被写体50までの被写体距離Dが計測されれば、f/(D-f)の値を求める事によって得られるので、被写体50の実際のサイズを測定したり、被写体像70のサイズを測定したりする必要はない。
【0079】
また、後記するように、被写体像70の位置dを2台のカメラ10、20の視差量Δから求める場合は、当該視差量Δは、カメラ間隔をLとすると、Δ=Lf/Dであるので、被写体50までの実際の被写体距離Dは、D=Lf/Δとして求まり、これより先と同様にして(3)式より像倍率が得られる。
【0080】
従って、この被写体像70を立体映像として表示する場合には、このレンズ12の後方に形成される立体映像のサイズ比f/(D-f)を用いて被写体50までの被写体距離Dを被写体像70の位置d=Df/(D-f)に変換すれば、表示する立体映像のサイズに比例した奥行きが得られる。
【0081】
この立体映像を表示するディスプレイ(図示せず)のサイズが変わった場合には、撮影時の映像サイズと表示する立体映像サイズとのサイズ比に、前記立体映像の位置dを掛ければ、映像サイズに応じた奥行となり、自然な立体映像が得られる。
【0082】
しかも、この像の位置dは、被写体までの被写体距離Dとカメラの焦点距離fのみから得られるので、任意視点映像(自由視点映像)を生成するために用いられる同じ焦点距離fのカメラ間では、カメラを切り替えても立体映像のサイズや奥行は変化せず、自然に切り替えられる。又、この像の位置dはカメラ間隔Lに依存しないので、表示すべき立体映像が決まれば、その立体映像だけで一意的に決まる。なお、平行配置のカメラ間では、被写体の距離はカメラの光軸上で測るので、全てのカメラに対して、被写体距離Dは同じになる。従って、カメラのレンズの後方に出来る被写体像の光軸上の位置dも同じになる。
【0083】
しかし、被写体像70の位置dを直接、奥行データに用いると、(2)式や図4(a)に示すように、常にレンズの焦点距離fをオフセット値として当該奥行データが持つので、奥行データのダイナミックレンジの大半がこのオフセットの為に使われ、効率の悪いことが生じる。そこで、このオフセット値fを、被写体像70の位置dから引いた値を被写体像70の奥行データδとして用いることにする。すなわち、
δ=d-f=Df/(D-f)-f=f/(D-f) ・・・(4)
となる。
これにより、奥行データのダイナミックレンジをフルに使う事ができ、効率がよい。
【0084】
この(4)式の値は、カメラが平面映像を映す場合には、(1)式で与えられる像倍率f/Dに、Df/(D-f)を掛ける事により、容易に得られるので、立体映像を撮影出来ない通常のカメラで撮影した映像データ(平面映像データ)にも、正しい奥行データを与えることができる。
ちなみに、(1)式の像倍率f/Dに、直接、被写体50からの被写体距離Dを掛けたのでは、その値は被写体50からの被写体距離Dに拘わらず、常にfとなり、立体映像にならない。
【0085】
次に、本発明の第3実施形態に係る任意視点映像(自由視点映像)の奥行データを出力する奥行データ出力装置を包含した任意視点映像システムの構成を図6に基づいて説明する。
図6に示すように、任意視点映像システムSBは、受光面移動カメラ10B、20B、・・・と、送信機30Bと、受信機40とを備えて構成されている。なお、図1に示した任意視点映像システムSと同様の構成については、同一の符号を付してその説明を省略する。
【0086】
受光面移動カメラ10B、20B、・・・は、被写体を撮影する際にフレーム画像(レーヤ映像)ごとに、受光面10b、20bの位置が移動可能に構成されたものである。この受光面10b、20bは、レンズに対向したまま前後に移動する。従来の1フレームの画像を撮影する時間内に、受講面位置をずらせながら多数枚の映像を撮影する。この各映像をレーヤ映像と称す。この様にすると、1フレームの映像が多数枚のレーヤ映像で構成され、各フレームで被写体像の焦点の合っている部分が異なるので、これを重ねて見ると立体映像になる。なお、この受光面10b、20bがレンズの焦点距離fの位置から移動した距離δが奥行データとなる。この実施形態では、受光面10b、20bが移動する構成としているが、レンズが同様に移動する機構を備えたレンズ移動カメラ(図示せず)でもよい。又、移動しない透明な受光面(図示せず)を多数重ねたもので、被写体像の焦点が合った部分が写っているレーヤの焦点距離fの位置からの距離でもよい。
【0087】
送信機30Bは、受光面移動カメラ10B、20B、・・・で撮影された映像データを符号化した符号化映像データと、受光面移動カメラ10B、20B、・・・で得られた奥行データとを多重化した多重化データを、複数の受信機40に送信するもので、奥行データ出力装置1Bと、映像データ符号化器2と、多重化器4とを備えている。
【0088】
奥行データ出力装置1Bは、受光面移動カメラ10B、20B、・・・で撮影された映像データが入力され、被写体の再生像を任意視点から表示する任意視点映像を作成する際に、表示映像に奥行がある様に見せる為のパラメータである奥行き(以下、被写体像の奥行きと言う)を規定する奥行データを出力するもので、記憶手段5と、係数選択手段9Bと、被写体抽出手段15と、奥行データ算出手段11Bとを備えている。
【0089】
被写体抽出手段15は、受光面移動カメラ10B、20Bで撮影された映像データに含まれる各レーヤ映像において、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出するものである。
【0090】
閾値は、受光面を前後に移動した時の同じ画素位置での周波数成分であり、最も高い周波数成分を持つレーヤが選ばれる。所定数以上とは、1画素以上である。同系色の画素とは、画素値が例えば、0~255の範囲にある場合、±10の画素値を持つ画素である。
【0091】
奥行データ算出手段11Bは、被写体抽出手段15で被写体像が抽出されるまでに受光面10b、20bの位置が移動した移動距離から、被写体距離Dを得て、被写体と撮影された被写体像の像倍率f(D-f)を算出し、この像倍率f(D-f)に係数選択手段9で選択された係数あるいは値を掛けることで、奥行データを算出するものである。
【0092】
係数選択手段9Bは、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離が未定の場合、所定の係数あるいは値として、1を選択し、ディスプレイが多眼式立体映像ディスプレイで、人間の両眼間の平均距離があらかじめ与えられている場合、所定の係数あるいは値として、人間の両眼間の平均距離Bを選択する。また、係数選択手段9Bは、ディスプレイが映像に奥行きを持つ立体映像ディスプレイである場合で、映像データが立体映像データである場合、所定の係数あるいは値として、fを選択し、表示するディスプレイが未定の場合、所定の係数あるいは値として1/fを選択する。
【0093】
ここで、この第3実施形態の任意視点映像システムSBにおいて、奥行データ出力装置1Bで奥行データを出力する場合について、図7に基づいて説明する。図7では、被写体80が、そこから被写体距離D離れた位置の焦点距離fのレンズ12により射影され、レンズ12の後方の位置dに、被写体像81を形成する。
【0094】
この任意視点映像システムSBの受光面移動カメラ10B、20B、・・・の受光面10b、20b、・・・の位置を前後に動かす事や、この受光面10b、20bそれぞれについて、透明なイメージセンサを多数重ねた立体的なイメージセンサを構成した場合で、このレンズ12の後方にできる焦点の合った立体映像を3次元的に撮影できる場合には、撮影される被写体の像倍率は、(3)式より、f/(D-f)で与えられる。
【0095】
このため、これに受光面移動カメラ10B、20Bの焦点距離fを掛ける事により、奥行データδ=f/(D-f)を容易に得る事ができる。また、この場合には、被写体80が撮影された受光面10bの位置dが分かっているので、この位置dからカメラの焦点距離fを引くことで、δ=d-fとしてその値を直接求める事ができ、レーザ等で被写体距離を計測する必要がなくなり、好都合である。
【0096】
なお、この奥行データ出力装置1Bは、図3に示した奥行データ出力装置1の動作とほぼ同じ動作をすることから、フローチャートを省略すると共に、奥行データ出力装置1の動作と異なる動作についてのみ説明する。
【0097】
奥行データ出力装置1Bは、被写体抽出手段15によって、予め設定した閾値よりも高い周波数成分を含む画素を抽出し、この画素が所定数以上含まれる同系色の画素の領域を被写体像として抽出する。この被写体像を抽出するまでに受光面10b、20bが移動距離から被写体距離Dを求める。そして、奥行データ出力装置1Bは、被写体距離Dと焦点距離fとから、被写体と撮影された被写体像との像倍率f/(D-f)を求め、この像倍率f/(D-f)に係数選択手段9で選択された所定の係数あるいは値を掛けることで、奥行データを算出して、多重化器4に出力する。
【0098】
次に、第1実施形態から第3実施形態までに共通する受信機40の構成について、図8を参照して説明する。
この図8に示すように、受信機40は、送信機30、30A、30Bから送信された多重化データを受信して、多眼立体映像又は映像自身が奥行きを持つ立体映像を出力するもので、受信分離手段17と、映像データ復号手段19と、映像作成手段21と、奥行データ受信装置1Cと、を備えている。
【0099】
奥行データ受信装置1Cは、奥行データを受信して、前記映像データを表示する際に、表示映像に奥行きがある様に見せる為のパラメータである奥行きを被写体の再生像の奥行きとして出力するもので、奥行データ取得手段23と、記憶手段5Cと、係数選択手段9Cと、奥行算出手段25とを備えている。なお、図1、3、5に示した任意視点映像システムS、SA、SBと同様の構成については同一の符号を付し、その説明を省略する。なお、このパラメータの具体的なものは、後記する図12の“奥行データ”に“受信側係数”を掛けたものとなる。
【0100】
なお、この受信機40は、多重化データに奥行データが多重化されている場合に対応しており、この受信機40は、受信した奥行データの種類と、接続されたディスプレイの種類を判定することで、視差量Δ又は、前記した立体映像の位置d(d=Df/(D-f))を算出して、これを用いた多眼立体映像ディスプレイ又は映像自身が奥行きを持つ立体映像ディスプレイに表示映像を出力することができる。
【0101】
また、この受信機40には、図示を省略したが、出力する多眼立体映像又は映像が奥行を持った立体映像に対応したディスプレイ(後記する電子ホログラフィディスプレイ53、両眼視差型の立体映像ディスプレイ、2視差以上の多眼立体ディスプレイ、3次元ディスプレイ)が接続されている。
【0102】
なお、これらのディスプレイは既存のもの(当業者にとっては一般的なもの)でよいので、詳細な説明を省略するが、電子ホログラフィディスプレイ53とは、被写体から出た光を方向も含めてそのまま表示するディスプレイであり、例えば、外の景色からの光が窓のガラス面を通過するときの光を干渉縞として撮影・再生するものである。この再生光は、撮影時と同じ方向と色で再生されるものなので、この電子ホログラフィディスプレイ53では、ガラス窓から外をみたのと同じ景色が再現される。さらに、この再生光は、第3の実施形態で示した様な映像自身が奥行きを持つ立体映像から出た光の干渉縞として計算で求める事が出来る。
【0103】
また、両眼視差型の立体映像ディスプレイとは、左右の目に少し被写体像の位置のずれた映像を見せるディスプレイで、その映像のズレ量を人間は奥行きと感じ、立体に見えるものである。さらに、2視差以上の多眼立体ディスプレイとは、このずれた映像のズレ量を変えながら多数表示するものである。そして、3次元ディスプレイとは、液晶ディスプレイの様な透明な表示板を多数重ねて奥行きのある立体ディスプレイを構成し、それぞれの表示板に請求項4で述べた立体映像カメラで撮影した各レーヤ映像を表示したものである。
【0104】
受信分離手段17は、受信した多重化データを符号化映像データと、奥行データとに分離し、符号化映像データを映像データ復号手段19に、奥行データを奥行データ受信装置1Cに出力するものである。
【0105】
映像データ復号手段19は、受信分離手段17で分離された符号化映像データを復号するものである。この映像データ復号手段19は、復号した映像データを映像作成手段21に出力する。
【0106】
映像作成手段21は、映像データ復号手段19から出力された映像データと、奥行データ受信装置1Cから得た奥行きとに基づいて、多眼立体映像又は映像が奥行きを持つ立体映像を作成するものである。
【0107】
奥行データ取得手段23は、受信分離手段17で多重化データから分離された奥行データを取得し、当該奥行データに付随している、表示するディスプレイの種類を指定するフラグ(前記した“F”)に従って当該奥行データの種類を判定し、奥行算出手段25に出力すると共に、被写体距離Dを記憶手段5Cに記憶されているカメラの焦点距離fを用いて算出し、係数選択手段9Cに出力するものである。
【0108】
奥行データ取得手段23では、奥行データをZとすると、例えば、フラグ“F”が“F=0”の場合、任意視点映像を表示する際のディスプレイが立体映像ディスプレイであり、被写体距離DをD≒f/Zとして得る。また、フラグ“F”が“F=1”の場合、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼の間隔Bが既知であり、被写体距離DをD=fB/Zとして得、フラグ“F”が“F=2”の場合、任意視点映像を表示する際のディスプレイが多眼立体映像ディスプレイで両眼の間隔Bが未知であり、被写体距離DをD=f/Zとして得、フラグ“F”が“F=3”の場合、任意視点映像を表示する際のディスプレイが未知であり、被写体距離DをD=1/Zとして得る。
【0109】
さらに、奥行データ取得手段23は、奥行データにもう1ビットのフラグ(例えば、このフラグを“G”で表し、1bit(G=0,1)とする)が付随されている場合には、そして、このフラグGにより、“F=0、G=0”は、D≫fでない場合の奥行データを表し、被写体距離DをD=f/Z+fとして得、“F=0、G=1”は、D≫fの場合の奥行データを表し、被写体距離DをD=f/Zとして得る。
【0110】
記憶手段5Cは、送信側で被写体を撮影した際のカメラについて、当該カメラのレンズの焦点距離fと、人間の両眼の平均距離Bとを記憶しているもので、一般的なメモリ等の記録媒体によって構成されている。
【0111】
係数選択手段9Cは、奥行データ取得手段23で判定した奥行データの種類(フラグの値、被写体距離D)と記憶手段5Cに記憶されている焦点距離fとに基づいて、所定の係数あるいは値を選択して、奥行算出手段25に出力するものである。
【0112】
この係数選択手段9Cは、表示する際のディスプレイ(接続されているディスプレイ)が奥行きを持つ立体映像ディスプレイであり、映像データが平面映像データであり、被写体距離Dと焦点距離fとを比較した比較結果がD≫fでない場合、所定の係数あるいは値に1を選択する。また、この係数選択手段9Cは、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、人間の両眼間の平均距離Bが送信側で未定の場合、所定の係数あるいは値に記憶手段5Cから読み出した平均距離Bを選択する。
【0113】
さらに、この係数選択手段9Cは、表示する際のディスプレイが2眼を含む多眼立体映像ディスプレイであり、平均距離Bが送信側にあらかじめ与えられている場合、所定の係数あるいは値に1を選択する。さらに、この係数選択手段9Cは、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、映像データが立体映像データである場合、所定の係数あるいは値に1を選択する。さらにまた、この係数選択手段9Cは、表示する際のディスプレイが映像に奥行きを持つ立体映像ディスプレイであり、前記映像データが平面映像データであり、被写体距離Dと焦点距離fとを比較した比較結果がD≫fの場合、所定の係数あるいは値に1を選択する。そして、この係数選択手段9Cは、表示する際のディスプレイが送信側で未定である場合、接続されているディスプレイが2眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかに応じて、所定の係数あるいは値にそれぞれfB若しくはf2を選択する。
【0114】
奥行算出手段25は、奥行データ取得手段23で取得された奥行データに、係数選択手段9Cで選択された所定の係数あるいは値を掛けることで、表示する際のディスプレイに対応させた被写体の再生像の奥行きを出力する
【0115】
次に、図9に示すフローチャートを参照して、奥行データ受信装置1Cの動作について説明する(適宜、図8参照)。
奥行データ受信装置1Cは、奥行データ取得手段23によって、取得された奥行データの種類が直接奥行きとして使える形(所定の係数あるいは値に1を選択する場合)か、所定の係数あるいは値(1以外の所定の係数あるいは値)を掛ける必要があるかを判定する(ステップS11)。続いて、奥行データ受信装置1Cは、係数選択手段9Cによって、接続されているディスプレイが2眼を含む多眼立体ディスプレイか映像自身が奥行きを持つ立体映像ディスプレイかを判定する(ステップS12)。
【0116】
そして、奥行データ受信装置1Cは、係数選択手段9Cによって、奥行データ取得手段23で判定された奥行データの種類と、判定されたディスプレイの種類に応じて、記憶手段5Cに記憶されている焦点距離fと人間の両眼間の平均距離Bと用いて、所定の係数あるいは値を選択する(ステップS13)。そして、奥行データ受信装置1Cは、奥行算出手段25によって、奥行データ取得手段23で取得された奥行きデータと係数選択手段9Cで選択された所定の係数あるいは値を掛けることで奥行きを算出して、出力する(ステップS14)。
【0117】
また、この第3実施形態の任意視点映像システムSBで撮影された映像データが、多重化データとして送信されるまでの処理について、図10を参照して説明する(適宜、図6参照)。
この任意視点映像システムSBの受光面移動カメラ10Bで撮影された近景の被写体90と遠景の被写体100を含む映像データは、近景の被写体像91が大きく、遠景の被写体像101が小さく撮影される。そして、この映像データは、送信機30Bに送られ、その中で被写体90及び100の色や形を表す画像データと、奥行データとに変換される。
【0118】
なお、この図10には示していないが、他の受光面移動カメラで撮影された映像データも同様の処理が行われ、全ての映像データが受信機40(図1参照)に送られて、受信機側で視聴者が希望する視点からの映像(任意視点映像)を抽出してディスプレイ(図示せず)に表示することができる。
【0119】
また、任意視点映像システムSBでは、図示していないが、ネットワークに接続して受信機40から送信されたリクエスト信号(視聴者が視聴を希望する任意視点映像を指定した信号)を受信する受信手段を備えている場合で、且つ、このリクエスト信号に基づいて、任意視点映像を作成する任意視点映像作成手段を備えている場合には、送信機30Bにて、リクエスト信号に基づいた任意視点映像を作成し、受信機40に送ることで、受信機側の視聴者は、視聴者が希望した自由な視点からの任意視点映像を享受することができる。
【0120】
さらに、この第3実施形態の任意視点映像システムSBで送信された多重化データが立体映像として表示されるまでの処理について、図11を参照して説明する(適宜、図8参照)。
受信機40では、図11に示すように、画像データとその奥行データを受け取った受信機40に電子ホログラフィディスプレイ53が接続されている。この電子ホログラフィディスプレイ53は、液晶表示素子等で構成されたものである。
【0121】
また、受信機40は、映像作成手段21によって、受け取った画像データ(映像データ)と奥行データとから立体映像51を再構成(作成)する。そして、受信機40は、映像作成手段21によって、この立体映像51から光が出たとして、その前面の適当な位置に置いたホログラム面52に届いた時の光の振幅|M|と位相φとを計算して、|M|cosφで表されるホログラムパターンを求めている。なお、ホログラム面52は、映像作成手段21の具体的な構成における一部分である。また、この映像作成手段21で作成されたものが立体映像51である。
【0122】
このホログラムパターンは、立体映像51にレーザ光を当てて反射して来る光に、同じレーザ光を重ねて照射した時に出来る干渉縞と同じものであるので、これを電子ホログラフィディスプレイ53に表示し、参照光として同じレーザ光を当てると、レーザ光が干渉縞により回折され、電子ホログラフィディスプレイ53から多方向の回折光が出てくることになる。
【0123】
そして、この多方向の回折光の強さ及び方向は、元の立体映像51の表面から出た光と同じになるので、この光を視聴者が見ると、電子ホログラフィディスプレイ53の背面側に立体映像51がある様に見える。なお、参照光が単色であると、再生される映像も単色であるが、赤緑青色のレーザ光を当てた時の干渉縞を計算し、これを電子ホログラフィディスプレイ53に表示して、赤緑青色の参照光を当てれば、カラーの立体映像も再生することができる。
【0124】
ここで再構成される立体映像51は、受信する画像データが、画素毎にその色や明るさの値を持ち、奥行データが対応する画素毎にその奥行値を持っているので、これらの値をそのまま使って容易に立体映像を再構築できる。
【0125】
また、奥行データδ=d-f=f/(D-f)が、映像データを撮影した受光面移動カメラ10Bと異なる位置から計測された場合には、奥行が計測された位置とカメラ位置の距離Cを用いて、奥行データの各画素位置を、δC/f=fC/(D-f)ずつずらせば、撮影された映像データの画素に対応した奥行データが得られる。
【0126】
この場合に、受信機40において、新たな奥行データが重なる画素位置では、値の大きい奥行データを採用すれば、手前の被写体の奥行データとなる。新たな奥行データが得られなかった画素位置は、前景に隠れていた背景であるので、近傍の値の小さい奥行データを用いればよい。この操作は、送信側で行ってもよいし、受信側で行ってもよい。
【0127】
また、受信機40において、この立体映像51を2枚の視差画像に変換して、両眼視差型の立体映像ディスプレイ(図示せず)に表示する場合は、人間の両眼間の平均距離B(以下、単に両眼の間隔Bともいう)があらかじめ求められている場合は、送信側で像倍率f/(D-f)に両眼の間隔BをかけたものfB/(D-f)を奥行データとして送り、受信側では、この奥行データをそのまま視差量Δとして両眼視差型の立体映像ディスプレイに表示する。
【0128】
さらに、送信機30Bにおいて、両眼の間隔Bが未定の場合は、像倍率f/(D-f)をそのまま奥行データとして送り、受信機40において、両眼の間隔Bを得て、この奥行データにその値を掛けたものfB/(D-f)を視差量Δとして両眼視差型の立体映像ディスプレイに表示する。
【0129】
そして、受信機40において、映像作成手段21によって、この視差量Δだけ、画像データの各画素位置をずらせて視差画像を作成すれば、両眼視差型の立体映像ディスプレイに、容易に両眼視差型の立体映像を表示することができる。
【0130】
さらに、受信機40において、2視差以上の多眼立体ディスプレイ(図示せず)に表示する場合は、映像作成手段21によって、同様にして得られた視差量Δずつ、隣り合う視差画像の画素位置をずらせながら表示すれば、多眼の立体映像を容易に得ることができる。
【0131】
また、受信機40において、液晶パネルを多数枚積層したような3次元ディスプレイ(図示せず)が接続されている場合には、送信機30Bにおいて、像倍率f/(D-f)に、記憶されているレンズの焦点距離fを掛けたものを奥行データδとして送る。そして、受信機40において、送られてくる画像データの画素値をその奥行データδで指定される液晶パネル上に表示する事により、特別な変換なしに立体映像を表示することができる。
【0132】
さらにまた、この様にして表示される立体映像は、元の被写体の実サイズの空間を表示したものではないが、この立体映像を撮影時のレンズの焦点距離fだけ離れた位置から観察者が見れば、実空間を見た時と同じ網膜像が観察者の目に写るので、実空間を見たのと同じ立体感を得ることができる。なお、立体映像が拡大表示される場合は、当該立体映像を見る距離も同じ比率で拡大すればよい。
【0133】
ここで、係数選択手段9Cで選択される所定の係数あるいは値について、様々なバリエーション(一部重複した説明も含む)と、それらの場合の効果について纏めて説明する。
第1実施形態及び第2実施形態では、ディスプレイが映像自身に奥行きを持つ立体映像ディスプレイの場合は、被写体像の像倍率f/Dに、所定のとして、Df/(D-f)を掛けて奥行データとしたか、被写体までの被写体距離Dがレンズの焦点距離fより十分大きい場合には、所定のはほぼレンズの焦点距離fに近くなるので、この様な場合には、Df/(D-f)を掛ける代わりに、レンズの焦点距離fのみを掛けたものを奥行データとしている。このため、この場合は、接続されているディスプレイが立体映像ディスプレイである事を確認して、奥行データをそのまま奥行きとして出力する。これにより、奥行を求める操作が簡略化され、高速に奥行を求める事が可能になる。
【0134】
また、送信側でディスプレイが多眼立体ディスプレイであることが分かっており、人の両眼の間隔Bがあらかじめ知られている場合は、奥行データには、所定の値としてBが掛かっているので、この場合は、奥行データ受信装置1Cは、接続されているディスプレイが多眼立体映像ディスプレイである事を確認して、奥行データをそのまま奥行きとして出力する。これにより、受信側での処理が更に容易になる。
これにより、奥行きは、直接視差量を表すので、この値だけ画素位置をずらせて2眼を含む多眼立体ディスプレイに表示すれば、容易に立体映像が得られ、受信側で特別な処理を不要にすることができる。
【0135】
さらに、送信側でディスプレイが多眼立体ディスプレイであることが分かっており、人の両眼の間隔Bが未定の場合は、奥行データには、所定の値として1が掛かっているので、この場合は、奥行データ受信装置1Cは、接続されている多眼立体映像ディスプレイの両眼の間隔Bを得て、奥行データにBを掛けて奥行として出力する。
【0136】
さらに、送信側でディスプレイの種類が未定の場合は、奥行データには、所定の値として1/fが掛かっているので、この場合は、奥行データ受信装置1Cは、接続されているディスプレイが多眼立体映像ディスプレイか、映像が奥行きを持つ立体映像ディスプレイかを判定して、多眼立体映像ディスプレイの場合は、記憶手段5Cに記憶されている焦点距離fと両眼の間隔Bを得て、fBを奥行データに掛けて奥行きとして出力する。接続されているディスプレイが像に奥行きを持つ立体映像ディスプレイの場合は、fを奥行データに掛けて奥行きとして出力する。
【0137】
これらの所定の係数あるいは値を掛ける処理は、受信機40において、受信した奥行データの種類と接続されたディスプレイの種類に応じて、正しい視差量又は立体映像の奥行きを出力することができる。
【0138】
なお、受信機40で表示するディスプレイが平面映像ディスプレイの場合は、送られてくる奥行データから、像倍率f/D又はf/(D-f)を得て、これに映像を表示すべき視点位置と送られてくるカメラ映像の視点位置間の距離Cを掛けた値fC/DもしくはfC/(D-f)ずつ被写体像をずらせて表示すれば、所望の視点位置からの映像を表示出来る。
【0139】
なお、第1実施形態では、視差量Δ=fL/Dから被写体の被写体距離Dを求めて、像倍率f/Dを出し、これに所定の係数あるいは値を掛けて奥行データを出力したが、ディスプレイが平面ディスプレイ又は多眼立体映像ディスプレイの場合は、視差量Δ=fL/Dから直接像倍率f/Dを求めて、所定の係数あるいは値を掛けてもよい。
【0140】
すなわち、本発明の奥行データを用いれば、どのような立体映像ディスプレイに対しても容易に幾何学的に正しい立体映像を表示できる。
【0141】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、奥行データ出力装置1、1A、1Bを送信機30、30A、30Bに包含し、奥行データ受信装置1Cを受信機40に包含するものとしているが、両者を合わせて構成してもよい。
また、奥行データ出力装置1、1A、1B及び、奥行データ受信装置1Cの各構成による処理をコンピュータ言語で実現可能に記述した奥行データ出力プログラムとして構成することも可能である。
【0142】
ここで、奥行データと係数選択手段で選択される所定の係数あるいは値との関係について、図12を参照して説明する。この図12において、距離測定の「視差量計測」が第1実施形態に対応しており、「距離カメラ」が第2実施形態に対応しており、「受光面位置」が第3実施形態に対応している。
そして、「送信側係数」が送信機30、30A、30Bで選択される所定の係数あるいは値を、「受信側係数」が受信機40で選択される所定の係数あるいは値を示している。
【0143】
この図12に示したように、奥行データ出力装置1、1A、1Bから奥行データを出力する際の所定の係数あるいは値と、奥行データ受信装置1Cで任意視点映像を表示する際に用いる奥行値に、当該奥行データを加工する際の所定の係数あるいは値との関係が明確になっている。
【0144】
さらに、図13~図15を参照して、視差データの例と、距離画像の例と、2眼式立体映像ディスプレイ(図示せず)に表示する映像(右目用映像、左目用映像)の例とを示す。
図13に示したように、視差データは、2つの映像データ(カメラ1画像、カメラ2画像)を視差データ算出手段3に入力することで得られたものである。
【0145】
また、図14に示したように、距離画像(距離データ)は、距離画像撮影カメラ13から直接出力したものである。なお、距離画像撮影カメラ13は、光を被写体に照射する発光器13aと、被写体で反射した反射光を受光する受光器13bと、発光器13aが照射した光が反射光として受光されるまでの時間から被写体までの距離を距離画像として出力する距離計測器13cとから構成されている。
【0146】
さらに、図15に示したように、映像データと奥行データとを映像作成手段21に入力することで、2眼式立体映像ディスプレイに出力する右目用映像、左目用映像が得られる。
【図面の簡単な説明】
【0147】
【図1】本発明の第1実施形態に係る任意視点映像システムの概略的な構成図である。
【図2】被写体までの光軸上で測った距離と、光軸に対して直角方向にずれた被写体のズレ量と被写体のサイズと、レンズでその焦点距離位置に投影される被写体像のサイズと、被写体像の光軸からのズレ量との関係を説明するための図である。
【図3】図1に示した奥行データ出力装置の動作を示したフローチャートである。
【図4】本発明の第2実施形態に係る任意視点映像システムの概略的な構成図である。
【図5】カメラにより撮影される映像の像倍率と映像の位置の関係及び被写体像の像倍率と、その映像の奥行の比率を説明するためのグラフである。
【図6】本発明の第3実施形態に係る任意視点映像システムの概略的な構成図である。
【図7】本発明の第3実施形態に係る任意視点映像システムにおいて、被写体と、この被写体からレンズの後方の位置に形成された被写体像とを示した図である。
【図8】第1実施形態から第3実施形態まで共通する受信機の構成について説明するための図である。
【図9】第1実施形態ないし第3実施形態の奥行データを判定して奥行きを出力する奥行データ受信装置の動作を示したフローチャートである。
【図10】第3実施形態の任意視点映像システムで撮影された映像データが、多重化データとして送信されるまでを説明するための図である。
【図11】第3実施形態の任意視点映像システムで送信された多重化データが立体映像として表示されるまでを説明するための図である。
【図12】奥行データと係数選択手段で選択される所定の係数あるいは値との関係について示した図である。
【図13】視差データについて例示した図である。
【図14】距離画像について例示した図である。
【図15】2眼式立体映像ディスプレイに出力する映像を例示した図である。
【図16】特許文献に開示されている従来の方法を説明するための図である。
【図17】従来の奥行表示尺度の例である。
【符号の説明】
【0148】
1、1A、1B 奥行データ出力装置
1C 奥行データ受信装置
2 映像データ符号化器
3 視差データ算出手段
4 多重化器
5、5A、5B、5C 記憶手段
7 距離算出手段
9、9B、9C 係数選択手段
10、20 カメラ
10B、20B 受光面移動カメラ
10b、20b 受光面
11、11A、11B 奥行データ算出手段
12、22 レンズ
13 距離画像撮影カメラ(距離画像撮影手段)
15 被写体抽出手段
17 受信分離手段
19 映像データ復号手段
21 映像作成手段
23 奥行データ取得手段
25 奥行算出手段
30、30A、30B 送信機
40 受信機
50、80 被写体
60、61、70、81 被写体像
52 仮想のホログラム面
53 電子ホログラフィディスプレイ
90 近景の被写体
91 近景の被写体像
100 遠景の被写体
101 遠景の被写体像
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図16】
12
【図17】
13
【図13】
14
【図14】
15
【図15】
16