TOP > 国内特許検索 > 立体映像制作装置およびプログラム

立体映像制作装置およびプログラム 新技術説明会

国内特許コード P110005682
整理番号 WASEDA-1009
掲載日 2011年8月24日
出願番号 特願2010-021680
公開番号 特開2011-160302
登録番号 特許第5505881号
出願日 平成22年2月2日(2010.2.2)
公開日 平成23年8月18日(2011.8.18)
登録日 平成26年3月28日(2014.3.28)
発明者
  • 河合 隆史
  • 盛川 浩志
  • 太田 啓路
  • 阿部 信明
出願人
  • 学校法人早稲田大学
発明の名称 立体映像制作装置およびプログラム 新技術説明会
発明の概要 【課題】制作者の意図を反映し、かつ、観察者の快適性に配慮した立体映像の制作を実現することができる立体映像制作装置を提供する。
【解決手段】平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段31と、デプス値としてとり得る最大値から最小値までの範囲を、焦点深度内に立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させ、この対応関係に従って、デプスマップを構成する各デプス値から左右の画像の対応点間の視差量を平面画像の各画素毎に算出する視差量算出処理手段22とを設け、立体映像制作装置10を構成した。
【選択図】図1
従来技術、競合技術の概要



近年、映画分野を中心として、立体映像コンテンツの制作、公開が活発化しており、我が国でも立体映像を上映可能なスクリーンが急増している。また、立体映像の撮影が可能なデジタルカメラが一般消費者向けに市販され、大手セットメーカが家庭向けの立体映像再生環境のリリースをアナウンスするなど、家庭への普及も展望されるようになってきた。しかし、立体映像を観察中の視覚的負担は、未だ深刻な問題であり、コンテンツ制作者の表現意図を十分に反映しつつ、視聴者に対して安全かつ快適な立体映像の制作方法が求められている。





立体映像の観察時における視覚的負担の原因として、視覚系の不整合が考えられる。これは、立体映像観察時の視覚系の状態が、自然視の状態と異なっていることで、認知的な矛盾が生じ、視覚的負担に関与していると考えられる。このため、国内外の各種ガイドラインでは、例えば、調節と輻輳との不一致の度合いに配慮すること等が求められている。また、このようなガイドラインの制定が進められる一方で、コンテンツ制作者の奥行き設定による表現を反映させることや、多様な視聴環境に対応した視差量の調整を行うことも同時に求められている。





なお、本発明に関連する技術として、予め用意されている左眼用画像および右眼用画像を用いた立体映像の再生時に、立体映像の奥行きが眼球光学系の焦点深度内になるように制御する立体映像作成装置が知られている(特許文献1参照)。この立体映像作成装置によれば、立体映像の表示に伴う視覚疲労の原因を解消し、視覚的に負担がなく、自然で見やすい立体映像を再生することができるとされている。





また、本願出願人により、簡易かつ効果的に立体映像の評価を行うことができる立体映像評価装置が提案されている(特許文献2参照)。この立体映像評価装置では、オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出し、算出したピクセル単位の視差量を用いて立体映像の評価用データを作成している。そして、本発明の実施の形態に適用可能な技術として本願明細書中で言及されているオプティカルフローを求める画像処理の原理等については、各種の文献に記述されている(例えば、非特許文献1等参照)。





さらに、本願の発明者らにより、立体映像による視覚負担の時系列評価について記載した論文が発表されている(非特許文献2参照)。

産業上の利用分野



本発明は、左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置およびプログラムに関し、特に、一枚の平面画像およびこれに対応するデプスマップから、立体映像の再生用の一対の左眼用画像および右眼用画像を作成するか、またはそれらの作成に必要となる視差量を算出する処理を実行する装置およびプログラムに係り、例えば、立体映像のコンテンツ制作者の使用する立体映像開発ツール、立体映像の観察者の使用する立体映像チューナ、立体映像の配信者や放送事業者の使用する立体映像提供システム等に利用できる。

特許請求の範囲 【請求項1】
左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と
前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
を備えたことを特徴とする立体映像制作装置。

【請求項2】
左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と
前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
を備えたことを特徴とする立体映像制作装置。

【請求項3】
左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と
前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量、および、前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、前記映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値、および、前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
を備えたことを特徴とする立体映像制作装置。

【請求項4】
請求項1~のいずれかに記載の立体映像制作装置として、コンピュータを機能させるためのプログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2010021680thum.jpg
出願権利状態 登録
参考情報 (研究プロジェクト等) S2010-0405-N0
技術導入、技術提携、実用化開発(受託研究・共同研究等)のご相談を承っております。お気軽にご連絡ください。


PAGE TOP

close
close
close
close
close
close
close