Top > Search of Japanese Patents > THREE-DIMENSIONAL IMAGE PRODUCING APPARATUS AND PROGRAM

THREE-DIMENSIONAL IMAGE PRODUCING APPARATUS AND PROGRAM meetings

Patent code P110005682
File No. WASEDA-1009/S2010-0405-N0
Posted date Aug 24, 2011
Application number P2010-021680
Publication number P2011-160302A
Patent number P5505881
Date of filing Feb 2, 2010
Date of publication of application Aug 18, 2011
Date of registration Mar 28, 2014
Inventor
  • (In Japanese)河合 隆史
  • (In Japanese)盛川 浩志
  • (In Japanese)太田 啓路
  • (In Japanese)阿部 信明
Applicant
  • (In Japanese)学校法人早稲田大学
Title THREE-DIMENSIONAL IMAGE PRODUCING APPARATUS AND PROGRAM meetings
Abstract PROBLEM TO BE SOLVED: To provide a three-dimensional image producing apparatus for producing three-dimensional images reflecting intention of a producer and giving consideration to watchers’ comfort.
SOLUTION: The three-dimensional image producing apparatus 10 has been constituted including a flat image memory 31 and a parallax calculator 22. The flat image memory stores a flat image and a corresponding depth map formed of depth value showing depth corresponding to each pixel of the flat image. The parallax calculator calculates, for each pixel of the flat image, a parallax between the corresponding points in the right and left images from each depth value forming the depth map under the corresponding relationship that a range from the maximum value to the minimum value that can be taken as the depth value corresponds to a range from the threshold of the parallax in the crossing direction determined to settle a reproducing range of three-dimensional image into depth of focus to the threshold of the parallax in the same direction.
Outline of related art and contending technology (In Japanese)



近年、映画分野を中心として、立体映像コンテンツの制作、公開が活発化しており、我が国でも立体映像を上映可能なスクリーンが急増している。また、立体映像の撮影が可能なデジタルカメラが一般消費者向けに市販され、大手セットメーカが家庭向けの立体映像再生環境のリリースをアナウンスするなど、家庭への普及も展望されるようになってきた。しかし、立体映像を観察中の視覚的負担は、未だ深刻な問題であり、コンテンツ制作者の表現意図を十分に反映しつつ、視聴者に対して安全かつ快適な立体映像の制作方法が求められている。





立体映像の観察時における視覚的負担の原因として、視覚系の不整合が考えられる。これは、立体映像観察時の視覚系の状態が、自然視の状態と異なっていることで、認知的な矛盾が生じ、視覚的負担に関与していると考えられる。このため、国内外の各種ガイドラインでは、例えば、調節と輻輳との不一致の度合いに配慮すること等が求められている。また、このようなガイドラインの制定が進められる一方で、コンテンツ制作者の奥行き設定による表現を反映させることや、多様な視聴環境に対応した視差量の調整を行うことも同時に求められている。





なお、本発明に関連する技術として、予め用意されている左眼用画像および右眼用画像を用いた立体映像の再生時に、立体映像の奥行きが眼球光学系の焦点深度内になるように制御する立体映像作成装置が知られている(特許文献1参照)。この立体映像作成装置によれば、立体映像の表示に伴う視覚疲労の原因を解消し、視覚的に負担がなく、自然で見やすい立体映像を再生することができるとされている。





また、本願出願人により、簡易かつ効果的に立体映像の評価を行うことができる立体映像評価装置が提案されている(特許文献2参照)。この立体映像評価装置では、オプティカルフローを求める画像処理を用いて左眼用画像と右眼用画像との対応点間の視差量をピクセル単位で算出し、算出したピクセル単位の視差量を用いて立体映像の評価用データを作成している。そして、本発明の実施の形態に適用可能な技術として本願明細書中で言及されているオプティカルフローを求める画像処理の原理等については、各種の文献に記述されている(例えば、非特許文献1等参照)。





さらに、本願の発明者らにより、立体映像による視覚負担の時系列評価について記載した論文が発表されている(非特許文献2参照)。

Field of industrial application (In Japanese)



本発明は、左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置およびプログラムに関し、特に、一枚の平面画像およびこれに対応するデプスマップから、立体映像の再生用の一対の左眼用画像および右眼用画像を作成するか、またはそれらの作成に必要となる視差量を算出する処理を実行する装置およびプログラムに係り、例えば、立体映像のコンテンツ制作者の使用する立体映像開発ツール、立体映像の観察者の使用する立体映像チューナ、立体映像の配信者や放送事業者の使用する立体映像提供システム等に利用できる。

Scope of claims (In Japanese)
【請求項1】
 
左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と
前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
を備えたことを特徴とする立体映像制作装置。

【請求項2】
 
左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と
前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
を備えたことを特徴とする立体映像制作装置。

【請求項3】
 
左眼用画像および右眼用画像を組み合わせてなる立体映像を制作する処理を実行するコンピュータにより構成された立体映像制作装置であって、
複数のフレームについて平面画像とこの平面画像の各画素に対応する奥行きを示すデプス値により構成されたデプスマップとを対応させて記憶する平面画像記憶手段と、
前記デプス値としてとり得る最大値から最小値までの範囲または最小値から最大値までの範囲を、焦点深度内に前記立体映像の再生範囲を収めるように決定された交差方向の視差量の閾値から同側方向の視差量の閾値までの範囲と対応させることにより、この対応関係に従って、前記平面画像記憶手段に記憶された前記デプスマップを構成する各デプス値から、前記左眼用画像と前記右眼用画像との対応点間の視差量を、前記平面画像の各画素毎に算出する処理を実行する視差量算出処理手段と
前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値を、映像区画を構成する複数のフレームについて累積加算して得られた累積平面移動量、および、前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値を、前記映像区画を構成する複数のフレームについて累積加算して得られた累積奥行き移動量から、前記映像区画の観察者に与える視覚的負担の度合いを示す前記映像区画の観察コストを算出するか、または前後のフレーム間の前記平面画像における特徴点の平面移動量、複数の特徴点の平面移動量の平均値、画面全体の平面移動量の平均値、若しくはその他の平面移動量の代表値、および、前後のフレーム間の前記デプスマップにおける前記平面画像上の特徴点のデプス値の変化量、前記平面画像上の複数の特徴点のデプス値の変化量の平均値、画面全体のデプス値の変化量の平均値、若しくはその他の奥行き移動量の代表値から、前後のフレーム間の観察コストを算出し、この前後のフレーム間の観察コストを、前記映像区画を構成する複数のフレームについて累積加算して前記映像区画の観察コストを算出する処理を実行する観察コスト算出処理手段と、
予め定められた前記映像区画の観察コストと補正倍率との対応関係に従って、前記観察コスト算出処理手段により算出した前記映像区画の観察コストから、対応する補正倍率を算定し、前記映像区画を構成する前記複数のフレームについて前記視差量算出処理手段により算出した前記平面画像の各画素の前記視差量に、算定した前記補正倍率を一律に乗じる補正処理を実行する視差量補正処理手段と
を備えたことを特徴とする立体映像制作装置。

【請求項4】
 
請求項1~3のいずれかに記載の立体映像制作装置として、コンピュータを機能させるためのプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2010021680thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close