Top > Search of Japanese Patents > DEPTH ESTIMATING DEVICE, DEPTH ESTIMATING METHOD, AND DEPTH ESTIMATE PROGRAM

DEPTH ESTIMATING DEVICE, DEPTH ESTIMATING METHOD, AND DEPTH ESTIMATE PROGRAM commons

Patent code P140010639
File No. 08-137
Posted date Jun 9, 2014
Application number P2009-096689
Publication number P2010-251878A
Patent number P5252642
Date of filing Apr 13, 2009
Date of publication of application Nov 4, 2010
Date of registration Apr 26, 2013
Inventor
  • (In Japanese)妹尾 孝憲
  • (In Japanese)山本 健詞
  • (In Japanese)大井 隆太朗
  • (In Japanese)三科 智之
  • (In Japanese)奥井 誠人
Applicant
  • (In Japanese)国立研究開発法人情報通信研究機構
Title DEPTH ESTIMATING DEVICE, DEPTH ESTIMATING METHOD, AND DEPTH ESTIMATE PROGRAM commons
Abstract PROBLEM TO BE SOLVED: To provide a depth estimating device capable of reducing incorrect estimated depth values, even if a plurality of associated points exist in a uniform object among a plurality of camera images.
SOLUTION: The depth estimating device 1 includes: an image input means 10 for input of a reference image and a plurality of adjacent images; an associated pixel difference operating means 20 for operating an adjacent image difference value, which is a difference absolute value between a pixel value of each pixel in the reference image and a pixel value of each pixel in a plurality of adjacent images associated with the parallax of the assumed depth value of the relevant pixel, for every assumed depth value; an adjacent image difference addition means 30a for operating a difference addition value by adding the adjacent image difference value for every pixel position of the reference image; a storage means 40 for associating and storing the difference addition value with the assumed depth value and the pixel position of the reference image; and a depth value decision means 60 for searching an assumed depth value, by which the difference addition value becomes a minimum, for every pixel position in the storage means 40 and for setting the searched assumed depth value as the depth value of the pixel position.
Outline of related art and contending technology (In Japanese)

近年、複数のカメラで同一の被写体を撮影した複数の映像(多視点映像)を用いて、立体映像や自由視点映像を生成、符号化する研究が進められている。これらの立体映像や自由視点映像を生成、符号化する技術では、基本的に、複数のカメラで被写体を撮影したカメラ映像の視差量を利用することで、被写体までの奥行値を求めている(特許文献1等参照)。

この特許文献1には、図13に示すように、複数のカメラ(C1,C2,C3)で撮影された視差方向に異なるカメラ映像を、時間方向に符号化する技術が開示されている。

この符号化の際に、特許文献1に記載されている発明は、複数のカメラ(C1,C2,C3)で撮影されたカメラ映像(F1,F2,F3)間で、映像内の被写体の奥行値を仮定し、基準となるカメラ(例えば、C2)で撮影されたカメラ映像(F2)内のブロックに含まれる画素値と、カメラの位置関係と奥行値とから定まる他のカメラ(例えば、C1,C3)で撮影されたカメラ映像(F1,F3)内の対応ブロックに含まれる画素値との差分絶対値が最小となる奥行値を求めている。

このように、従来は、複数のカメラ映像において、複数の仮定した奥行値に対応する画素値の差分絶対値が最小となる画素が、それぞれのカメラ映像の対応する画素であり、また、そのときの仮定した奥行値が当該画素の奥行値であると推定していた。

Field of industrial application (In Japanese)

本発明は、複数のカメラで被写体を撮影した映像から、多視点映像用の被写体の奥行値を推定する奥行推定装置、奥行推定方法および奥行推定プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、
前記複数配列した前記カメラのいずれかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラに隣接する複数の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段と、
複数設定した仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する画素である前記複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を演算する対応画素差分演算手段と、
この対応画素差分演算手段で演算した隣接映像差分値を、同一の仮定奥行値について前記基準映像の画素位置ごとに加算することで差分加算値を演算する隣接映像差分加算手段と、
この隣接映像差分加算手段で演算した差分加算値を、前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶する記憶手段と、
前記画素位置ごとに、前記差分加算値が最小となる前記仮定奥行値を前記記憶手段において探索し、当該画素位置の奥行値とする奥行値決定手段と、
を備えることを特徴とする奥行推定装置。

【請求項2】
 
前記映像入力手段は、前記隣接カメラとは異なり、前記複数配列した前記カメラのいずれかにおいて、予め定めた位置に配置した補助カメラで前記被写体を撮影した補助映像を入力し、
前記対応画素差分演算手段は、さらに、前記複数の仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する前記補助映像の各画素の画素値との差分絶対値である補助映像差分値を演算し、
前記補助映像差分値が予め定めた閾値よりも小さい場合に、当該画素に対応する前記差分加算値を減少させる補正係数を設定する補正係数設定手段と、
この補正係数設定手段で設定した補正係数と、当該画素に対応する前記差分加算値とを乗算することで前記差分加算値を補正する差分加算値補正手段と、
をさらに備えることを特徴とする請求項1に記載の奥行推定装置。

【請求項3】
 
前記画素位置ごとに、前記差分加算値に、前記差分加算値が最小となる前記仮定奥行値と、当該画素位置の隣接画素位置における前記差分加算値が最小となる前記仮定奥行値との差分を重み付け加算することで、当該画素位置における差分加算値を平滑化する平滑化手段をさらに備え、
前記奥行値決定手段は、前記平滑化手段で平滑化した差分加算値が最小となる前記仮定奥行値を探索し、当該画素位置の奥行値とすることを特徴とする請求項1または請求項2に記載の奥行推定装置。

【請求項4】
 
前記仮定奥行値は、前記カメラ映像の画素間隔よりも小さい仮想のサブ画素間隔を単位とする値であって、
前記対応画素差分演算手段は、前記仮定奥行値に対応する前記サブ画素を含む画素の画素値と、当該画素に隣接する画素の画素値とから補間して生成した画素値を用いて差分絶対値を演算することを特徴とする請求項1から請求項3のいずれか一項に記載の奥行推定装置。

【請求項5】
 
前記画素値は、輝度値および色差値、または、カラー値の複数の要素で構成される値であって、
前記対応画素差分演算手段は、前記差分絶対値を、前記要素ごとの値の差分絶対値和として演算することを特徴とする請求項1から請求項4のいずれか一項に記載の奥行推定装置。

【請求項6】
 
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、
前記複数配列した前記カメラのいずれかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラに隣接する複数の隣接カメラで前記被写体を撮影した複数の隣接映像とを映像入力手段により入力する映像入力ステップと、
複数設定した仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する画素である前記複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を対応画素差分演算手段により演算する対応画素差分演算ステップと、
この対応画素差分演算ステップで演算した隣接映像差分値を、隣接映像差分加算手段により、同一の仮定奥行値について前記基準映像の画素位置ごとに加算することで差分加算値を演算する隣接映像差分加算ステップと、
この隣接映像差分加算ステップで演算した差分加算値を、前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に記憶する記憶ステップと、
奥行値決定手段により、前記画素位置ごとに、前記差分加算値が最小となる前記仮定奥行値を前記記憶手段において探索し、当該画素位置の奥行値とする奥行値決定ステップと、
を含むことを特徴とする奥行推定方法。

【請求項7】
 
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定するために、コンピュータを、
前記複数配列した前記カメラのいずれかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラに隣接する複数の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段、
複数設定した仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する画素である前記複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を演算する対応画素差分演算手段、
この対応画素差分演算手段で演算した隣接映像差分値を、同一の仮定奥行値について前記基準映像の画素位置ごとに加算することで差分加算値を演算し、前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む隣接映像差分加算手段、
前記画素位置ごとに、前記差分加算値が最小となる前記仮定奥行値を前記記憶手段において探索し、当該画素位置の奥行値とする奥行値決定手段、
として機能させることを特徴とする奥行推定プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2009096689thum.jpg
State of application right Registered
Please contact us by E-mail if you have any interests on this patent


PAGE TOP

close
close
close
close
close
close
close