TOP > 国内特許検索 > 立体映像評価装置および立体映像チューナ

立体映像評価装置および立体映像チューナ 新技術説明会

国内特許コード P05A007451
整理番号 WASEDA-293
掲載日 2005年8月26日
出願番号 特願2003-377005
公開番号 特開2005-142819
登録番号 特許第4469159号
出願日 平成15年11月6日(2003.11.6)
公開日 平成17年6月2日(2005.6.2)
登録日 平成22年3月5日(2010.3.5)
発明者
  • 河合 隆史
  • 井上 哲理
出願人
  • 学校法人早稲田大学
発明の名称 立体映像評価装置および立体映像チューナ 新技術説明会
発明の概要

【課題】 簡易かつ効果的に立体映像の評価を行うことができる立体映像評価装置、および観察者に対し、立体感を最適化した状態で立体映像を呈示することができる立体映像チューナを提供すること。
【解決手段】 オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出するピクセル視差量算出手段21と、このピクセル視差量算出手段21により算出されたピクセル単位の視差量を用いて立体映像の評価に用いられる評価用データ(例えば、最前面および/または最背面の対象についてのピクセル単位の視差量等)を作成する評価用データ作成手段22とを設け、立体映像を評価(例えば、安全性評価や快適性評価等)する立体映像評価装置20を構成した。
【選択図】 図1

従来技術、競合技術の概要


立体映像は、ディスプレイ技術に研究の重点が置かれ、コンテンツや人への影響に関する検討が遅れていたことから、これまでメディアとして普及してこなかった。しかし、最近、各企業により構成される業界団体が設立される等、立体映像の市場創出を目指す動きが本格化している。こうした動きを背景として、立体映像メディアの普及のためには、コンテンツ制作や応用領域の検討に加え、人への影響の観点から、コンテンツの安全性や快適性を評価・管理する方法、並びにシステムが、今後、重要になると考えられる。



ところで、従来より、既存の画像処理の手法として、オプティカルフローを求める画像処理技術が知られている。このオプティカルフローを求める画像処理は、時間変化するベクトルの動きの解析に用いられ、例えば、笑い始めから笑い終わりまでの笑い表情形成時等における表情筋の動きの解析等に利用されるものであり、これにより表情筋の動きの大きい部分と小さい部分との区別をつけることができる。そして、このようなオプティカルフローを求める画像処理の原理等については、各種の文献に記述されている(例えば、非特許文献1等参照)。



また、このようなオプティカルフローを求める画像処理を利用して立体表示を行う手法として、連続する撮影画像からスリット状に切り出したスリット画像を結合し、左目視用および右目視用のパノラマ画像を生成し、立体表示を行うパノラマステレオ画像生成表示方法がある(特許文献1参照)。このパノラマステレオ画像生成表示方法では、連続する2つのフレーム画像を比較し、基準フレーム画像を2等分する中心線から等距離にある2本の基準線上の各画素におけるオプティカルフローの大きさを算出する工程と、オプティカルフローの大きさに基づいて、スリット画像の幅をそれぞれ決定し、基準フレーム画像からスリット画像をそれぞれ切り出す工程と、右目用および左目用のパノラマ画像を生成するためのスリット画像をそれぞれ結合し、右目用および左目用のパノラマ画像をそれぞれ生成する工程とを有している。




【特許文献1】特開平11-164326号公報(段落[0013]、[0016]~[0018]、図1、要約)

【非特許文献1】船久保登著、“視覚パターンの処理と認識”、初版、啓学出版株式会社、1990年2月28日、p.234-238

産業上の利用分野


本発明は、左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置、および観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する立体映像を調整する立体映像チューナに係り、例えば、立体映像のコンテンツ制作者、立体映像を放送用電波に乗せて若しくは通信ネットワークを介して配信する者、または記録媒体に記録して提供する者が、それぞれ制作、配信、提供する立体映像を評価する場合、あるいはこれらの者から立体映像の配信や提供を受けた者が、立体映像を観察する場合等に利用できる。

特許請求の範囲 【請求項1】
左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置であって、
オプティカルフローを求める画像処理を用いて前記左眼用画像と前記右眼用画像との対応点間の視差量をピクセル単位で算出するピクセル視差量算出手段と、
このピクセル視差量算出手段により算出されたピクセル単位の前記視差量を用いて前記立体映像の評価に用いられる評価用データを作成する評価用データ作成手段と
前記立体映像の評価に必要な情報を画面表示する評価用ディスプレイ装置と、
前記評価用データ作成手段により作成された前記評価用データを前記評価用ディスプレイ装置の画面上に表示する処理を行う評価用データ表示処理手段とを備え、
前記評価用データ作成手段は、
前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最前面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最前面ピクセル視差量算出手段と、
前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最背面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最背面ピクセル視差量算出手段とのうち、
少なくとも一方の算出手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項2】
請求項に記載の立体映像評価装置において、
前記評価用データ表示処理手段は、
前記最前面ピクセル視差量算出手段により算出された前記最前面の対象についてのピクセル単位の前記視差量の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う最前面ピクセル視差量表示処理手段と、
前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の前記視差量の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行う最背面ピクセル視差量表示処理手段とのうち、
少なくとも一方の表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項3】
請求項またはに記載の立体映像評価装置において、
前記評価用データ作成手段は、
前記最前面ピクセル視差量算出手段および/または前記最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値を前記評価用データとして算出するピクセル視差量累積値算出手段を含んで構成され、
前記評価用データ表示処理手段は、
前記ピクセル視差量累積値算出手段により算出された前記累積値の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行うピクセル視差量累積値表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項4】
請求項のいずれかに記載の立体映像評価装置において、
前記評価用データ作成手段は、
前記最前面ピクセル視差量算出手段により算出された前記最前面の対象についてのピクセル単位の視差量と前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の視差量との差分を前記評価用データとして算出するピクセル差分算出手段を含んで構成され、
前記評価用データ表示処理手段は、
前記ピクセル差分算出手段により算出された前記差分の時系列変化について一方の軸をフレーム単位または時間単位の軸としてグラフ表示する処理を行うピクセル差分表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項5】
請求項のいずれかに記載の立体映像評価装置において、
前記評価用データ作成手段は、
前記最前面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、または標準偏差、
前記最背面の対象のピクセル単位の視差量についての複数フレームの平均値、分散、または標準偏差、
前記最前面の対象のピクセル単位の視差量についての複数フレームの平均値と前記最背面の対象のピクセル単位の視差量についての複数フレームの平均値との差分、
前記最前面の対象のピクセル単位の視差量と前記最背面の対象のピクセル単位の視差量との差分についての複数フレームの平均値、分散、または標準偏差、
各フレームのそれぞれでの全画素のピクセル単位の視差量についての平均値、分散、または標準偏差のうち、
少なくとも一つの統計データを前記評価用データとして算出する統計データ算出手段を含んで構成され、
前記評価用データ表示処理手段は、
前記統計データ算出手段により算出された前記統計データのうちの少なくとも一つを表示する処理を行う統計データ表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項6】
請求項のいずれかに記載の立体映像評価装置において、
前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
前記評価用データ作成手段は、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段および/または前記最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象についての前記視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記視差量と瞳孔間隔と前記視距離とを用いて前記画像呈示面から前記立体映像の再生位置までの奥行き方向距離を前記評価用データとして算出する再生位置算出手段とを含んで構成され、
前記評価用データ表示処理手段は、
前記再生位置算出手段により算出した前記奥行き方向距離を表示する処理を行う再生位置表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項7】
請求項のいずれかに記載の立体映像評価装置において、
前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
前記評価用データ作成手段は、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段および/または前記最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象についての前記視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記視差量と前記視距離とを用いて角度単位の視差量を前記評価用データとして算出する角度視差量算出手段とを含んで構成され、
前記評価用データ表示処理手段は、
前記角度視差量算出手段により算出した角度単位の前記視差量を表示する処理を行う角度視差量表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項8】
請求項のいずれかに記載の立体映像評価装置において、
前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
前記評価用データ作成手段は、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段および/または前記最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象についての前記視差量をピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記視差量と前記視距離とを用いて角度単位の視差量を前記評価用データとして算出する角度視差量算出手段と、
この角度視差量算出手段により算出した角度単位の前記視差量についての各フレームの累積値を前記評価用データとして算出する角度視差量累積値算出手段とを含んで構成され、
前記評価用データ表示処理手段は、
前記角度視差量累積値算出手段により算出された前記累積値を表示する処理を行う角度視差量累積値表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項9】
請求項のいずれかに記載の立体映像評価装置において、
前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
前記評価用データ作成手段は、
前記最前面ピクセル視差量算出手段および/または前記最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値を前記評価用データとして算出するピクセル視差量累積値算出手段と、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記ピクセル視差量累積値算出手段により算出された前記最前面および/または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値をピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記累積値と前記視距離とを用いて角度単位の累積値を前記評価用データとして算出する角度視差量累積値算出手段とを含んで構成され、
前記評価用データ表示処理手段は、
前記角度視差量累積値算出手段により算出した角度単位の前記累積値を表示する処理を行う角度視差量累積値表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項10】
請求項のいずれかに記載の立体映像評価装置において、
前記立体映像の観察者から立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段を備え、
前記評価用データ作成手段は、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて、前記最前面ピクセル視差量算出手段により算出された前記最前面の対象についてのピクセル単位の前記視差量と前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の前記視差量との差分を、ピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記差分と前記視距離とを用いて角度単位の差分を前記評価用データとして算出する角度差分算出手段とを含んで構成され、
前記評価用データ表示処理手段は、
前記角度差分算出手段により算出された角度単位の前記差分を表示する処理を行う角度差分表示処理手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項11】
請求項またはに記載の立体映像評価装置において、
前記角度視差量累積値算出手段により算出した前記累積値と生理・心理実験により求めた安全性基準値とを比較する角度視差量累積値比較手段と、
この角度視差量累積値比較手段による比較結果に基づき観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する安全性判断手段と
を備えたことを特徴とする立体映像評価装置。

【請求項12】
請求項10に記載の立体映像評価装置において、
前記角度差分算出手段により算出した角度単位の前記差分と生理・心理実験により求めた快適性上限値および快適性下限値とを比較する角度差分比較手段と、
この角度差分比較手段による比較結果に基づき観察者が前記左眼用画像と前記右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する快適性判断手段と
を備えたことを特徴とする立体映像評価装置。

【請求項13】
請求項11に記載の立体映像評価装置において、
前記安全性判断手段による判断結果に基づいて前記累積値が前記安全性基準値を超えている場合に前記累積値が前記安全性基準値以下になるか若しくは前記安全性基準値に近づくように前記左眼用画像および/または前記右眼用画像を補正する処理を行う画像補正処理手段を備えたことを特徴とする立体映像評価装置。

【請求項14】
請求項12に記載の立体映像評価装置において、
前記快適性判断手段による判断結果に基づいて角度単位の前記差分が前記快適性上限値から前記快適性下限値までの範囲に収まっていない場合に角度単位の前記差分が前記範囲に収まるか若しくは収まる状態に近づくように前記左眼用画像および/または前記右眼用画像を補正する処理を行う画像補正処理手段を備えたことを特徴とする立体映像評価装置。

【請求項15】
左眼用画像と右眼用画像とを融像させて得られる立体映像を評価する立体映像評価装置であって、
オプティカルフローを求める画像処理を用いて前記左眼用画像と前記右眼用画像との対応点間の視差量をピクセル単位で算出するピクセル視差量算出手段と、
このピクセル視差量算出手段により算出されたピクセル単位の前記視差量を用いて前記立体映像の評価に用いられる評価用データを作成する評価用データ作成手段と
この評価用データ作成手段により作成した前記評価用データのうちの少なくとも一種類の評価用データを、放送用電波に乗せて若しくは通信ネットワークを介して配信する立体映像または記録媒体に記録して提供する立体映像のコンテンツとしての前記左眼用画像および前記右眼用画像に、メタデータとして付加する処理を行うメタデータ付加処理手段とを備え、
前記評価用データ作成手段は、
前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最前面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最前面ピクセル視差量算出手段と、
前記ピクセル視差量算出手段により算出されたピクセル単位の前記視差量のうちから最背面の対象についてのピクセル単位の視差量を前記評価用データとして算出する最背面ピクセル視差量算出手段とのうち、
少なくとも一方の算出手段を含んで構成されている
ことを特徴とする立体映像評価装置。

【請求項16】
請求項1~10のいずれかに記載の立体映像評価装置において、
前記評価用データ作成手段により作成した前記評価用データのうちの少なくとも一種類の評価用データを、放送用電波に乗せて若しくは通信ネットワークを介して配信する立体映像または記録媒体に記録して提供する立体映像のコンテンツとしての前記左眼用画像および前記右眼用画像に、メタデータとして付加する処理を行うメタデータ付加処理手段を備えたことを特徴とする立体映像評価装置。

【請求項17】
観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する前記立体映像を調整する立体映像チューナであって、
放送用電波に乗せて若しくは通信ネットワークを介して配信されてくる立体映像または記録媒体に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像並びにこのコンテンツに付加されたメタデータを入力する立体映像入力手段と、
前記立体映像の観察者から前記立体映像呈示用ディスプレイ装置の画像呈示面までの視距離および前記立体映像呈示用ディスプレイ装置の画像呈示面サイズを観察条件として設定する観察条件設定手段と、
前記メタデータに含まれる評価用データおよび前記観察条件設定手段により設定した前記観察条件を用いて前記立体映像の再生用の前記左眼用画像および前記右眼用画像を作成する再生用画像作成手段と、
この再生用画像作成手段により作成された前記左眼用画像および前記右眼用画像を前記立体映像呈示用ディスプレイ装置に送り出す再生用画像出力手段とを備え、
前記評価用データは、請求項15または16に記載のメタデータ付加処理手段により付加された評価用データである
ことを特徴とする立体映像チューナ。

【請求項18】
請求項17に記載の立体映像チューナにおいて、
前記評価用データには、
請求項1に記載の最前面ピクセル視差量算出手段および/または最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象についてのピクセル単位の視差量と、
請求項に記載のピクセル視差量累積値算出手段により算出された前記最前面および/または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値とのうち、
少なくとも一方が含まれ、
前記再生用画像作成手段は、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて前記最前面および/または前記最背面の対象のピクセル単位の前記視差量についての各フレームの累積値をピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記累積値と前記視距離とを用いて角度単位の累積値を算出する角度視差量累積値算出手段と、
この角度視差量累積値算出手段により算出した角度単位の前記累積値と生理・心理実験により求めた安全性基準値とを比較する角度視差量累積値比較手段と、
この角度視差量累積値比較手段による比較結果に基づき観察者に対して顕著な視覚負担を与える可能性の有無または度合いについて判断する安全性判断手段と、
この安全性判断手段による判断結果に基づいて前記累積値が前記安全性基準値を超えている場合に前記累積値が前記安全性基準値以下になるか若しくは前記安全性基準値に近づくように前記左眼用画像および/または前記右眼用画像を補正する処理を行う画像補正処理手段とを含んで構成されている
ことを特徴とする立体映像チューナ。

【請求項19】
請求項17に記載の立体映像チューナにおいて、
前記評価用データには、
請求項1に記載の最前面ピクセル視差量算出手段および/または最背面ピクセル視差量算出手段により算出された前記最前面および/または前記最背面の対象についてのピクセル単位の視差量と、
請求項に記載のピクセル差分算出手段により算出された前記最前面の対象についてのピクセル単位の視差量と前記最背面ピクセル視差量算出手段により算出された前記最背面の対象についてのピクセル単位の視差量との差分とのうち、
少なくとも一方が含まれ、
前記再生用画像作成手段は、
前記観察条件設定手段により設定された前記画像呈示面サイズを用いて前記最前面の対象についてのピクセル単位の視差量と前記最背面の対象についてのピクセル単位の視差量との差分をピクセル単位から標準的な測長単位に換算する単位換算手段と、
この単位換算手段により換算して得られた標準的な測長単位の前記差分と前記視距離とを用いて角度単位の差分を算出する角度差分算出手段と、
この角度差分算出手段により算出した角度単位の前記差分と生理・心理実験により求めた快適性上限値および快適性下限値とを比較する角度差分比較手段と、
この角度差分比較手段による比較結果に基づき観察者が前記左眼用画像と前記右眼用画像とを無理なく融像することができ、かつ、十分な立体感を得ることができる可能性の有無または度合いについて判断する快適性判断手段と、
この快適性判断手段による判断結果に基づいて角度単位の前記差分が前記快適性上限値から前記快適性下限値までの範囲に収まっていない場合に角度単位の前記差分が前記範囲に収まるか若しくは収まる状態に近づくように前記左眼用画像および/または前記右眼用画像を補正する処理を行う画像補正処理手段とを含んで構成されている
ことを特徴とする立体映像チューナ。

【請求項20】
観察者に立体映像を呈示するための立体映像呈示用ディスプレイ装置に接続されてこの立体映像呈示用ディスプレイ装置の画面上に表示する前記立体映像を調整する立体映像チューナであって、
放送用電波に乗せて若しくは通信ネットワークを介して配信されてくる立体映像または記録媒体に記録されている立体映像のコンテンツとしての左眼用画像および右眼用画像並びにこのコンテンツに付加されたメタデータを入力する立体映像入力手段と、
前記立体映像の観察者から前記立体映像呈示用ディスプレイ装置の画像呈示面までの視距離または前記立体映像呈示用ディスプレイ装置の画像呈示面サイズのいずれか一方の観察条件を設定する観察条件設定手段と、
前記メタデータに含まれる評価用データおよび前記観察条件設定手段により設定した前記一方の観察条件を用いて前記視距離または前記画像呈示面サイズのいずれか他方の観察条件についての最適な条件を算出する最適観察条件算出手段と、
この最適観察条件算出手段による算出結果を前記観察者に呈示する最適観察条件呈示手段とを備え、
前記評価用データは、請求項15または16に記載のメタデータ付加処理手段により付加された評価用データである
ことを特徴とする立体映像チューナ。
産業区分
  • テレビ
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2003377005thum.jpg
出願権利状態 権利存続中
技術導入、技術提携、実用化開発(受託研究・共同研究等)のご相談を承っております。お気軽にご連絡ください。


PAGE TOP

close
close
close
close
close
close
close