TOP > 国内特許検索 > 奥行推定装置、奥行推定方法および奥行推定プログラム

奥行推定装置、奥行推定方法および奥行推定プログラム コモンズ

国内特許コード P140010639
整理番号 08-137
掲載日 2014年6月9日
出願番号 特願2009-096689
公開番号 特開2010-251878
登録番号 特許第5252642号
出願日 平成21年4月13日(2009.4.13)
公開日 平成22年11月4日(2010.11.4)
登録日 平成25年4月26日(2013.4.26)
発明者
  • 妹尾 孝憲
  • 山本 健詞
  • 大井 隆太朗
  • 三科 智之
  • 奥井 誠人
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 奥行推定装置、奥行推定方法および奥行推定プログラム コモンズ
発明の概要 【課題】一様な被写体で複数のカメラ映像間における対応点が複数存在する場合であっても、奥行値の誤推定を軽減することが可能な奥行推定装置を提供する。
【解決手段】奥行推定装置1は、基準映像と、複数の隣接映像とを入力する映像入力手段10と、仮定奥行値ごとに、基準映像の各画素の画素値と、当該画素の仮定奥行値の視差に対応する複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を演算する対応画素差分演算手段20と、隣接映像差分値を、基準映像の画素位置ごとに加算することで差分加算値を演算する隣接映像差分加算手段30aと、差分加算値を、仮定奥行値と基準映像の画素位置とに対応付けて記憶する記憶手段40と、画素位置ごとに、差分加算値が最小となる仮定奥行値を記憶手段40において探索し、当該画素位置の奥行値とする奥行値決定手段60と、を備えることを特徴とする。
【選択図】図2
従来技術、競合技術の概要



近年、複数のカメラで同一の被写体を撮影した複数の映像(多視点映像)を用いて、立体映像や自由視点映像を生成、符号化する研究が進められている。これらの立体映像や自由視点映像を生成、符号化する技術では、基本的に、複数のカメラで被写体を撮影したカメラ映像の視差量を利用することで、被写体までの奥行値を求めている(特許文献1等参照)。

この特許文献1には、図13に示すように、複数のカメラ(C,C,C)で撮影された視差方向に異なるカメラ映像を、時間方向に符号化する技術が開示されている。

この符号化の際に、特許文献1に記載されている発明は、複数のカメラ(C,C,C)で撮影されたカメラ映像(F,F,F)間で、映像内の被写体の奥行値を仮定し、基準となるカメラ(例えば、C)で撮影されたカメラ映像(F)内のブロックに含まれる画素値と、カメラの位置関係と奥行値とから定まる他のカメラ(例えば、C,C)で撮影されたカメラ映像(F,F)内の対応ブロックに含まれる画素値との差分絶対値が最小となる奥行値を求めている。

このように、従来は、複数のカメラ映像において、複数の仮定した奥行値に対応する画素値の差分絶対値が最小となる画素が、それぞれのカメラ映像の対応する画素であり、また、そのときの仮定した奥行値が当該画素の奥行値であると推定していた。

産業上の利用分野



本発明は、複数のカメラで被写体を撮影した映像から、多視点映像用の被写体の奥行値を推定する奥行推定装置、奥行推定方法および奥行推定プログラムに関する。

特許請求の範囲 【請求項1】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定装置であって、
前記複数配列した前記カメラのいずれかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラに隣接する複数の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段と、
複数設定した仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する画素である前記複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を演算する対応画素差分演算手段と、
この対応画素差分演算手段で演算した隣接映像差分値を、同一の仮定奥行値について前記基準映像の画素位置ごとに加算することで差分加算値を演算する隣接映像差分加算手段と、
この隣接映像差分加算手段で演算した差分加算値を、前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶する記憶手段と、
前記画素位置ごとに、前記差分加算値が最小となる前記仮定奥行値を前記記憶手段において探索し、当該画素位置の奥行値とする奥行値決定手段と、
を備えることを特徴とする奥行推定装置。

【請求項2】
前記映像入力手段は、前記隣接カメラとは異なり、前記複数配列した前記カメラのいずれかにおいて、予め定めた位置に配置した補助カメラで前記被写体を撮影した補助映像を入力し、
前記対応画素差分演算手段は、さらに、前記複数の仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する前記補助映像の各画素の画素値との差分絶対値である補助映像差分値を演算し、
前記補助映像差分値が予め定めた閾値よりも小さい場合に、当該画素に対応する前記差分加算値を減少させる補正係数を設定する補正係数設定手段と、
この補正係数設定手段で設定した補正係数と、当該画素に対応する前記差分加算値とを乗算することで前記差分加算値を補正する差分加算値補正手段と、
をさらに備えることを特徴とする請求項1に記載の奥行推定装置。

【請求項3】
前記画素位置ごとに、前記差分加算値に、前記差分加算値が最小となる前記仮定奥行値と、当該画素位置の隣接画素位置における前記差分加算値が最小となる前記仮定奥行値との差分を重み付け加算することで、当該画素位置における差分加算値を平滑化する平滑化手段をさらに備え、
前記奥行値決定手段は、前記平滑化手段で平滑化した差分加算値が最小となる前記仮定奥行値を探索し、当該画素位置の奥行値とすることを特徴とする請求項1または請求項2に記載の奥行推定装置。

【請求項4】
前記仮定奥行値は、前記カメラ映像の画素間隔よりも小さい仮想のサブ画素間隔を単位とする値であって、
前記対応画素差分演算手段は、前記仮定奥行値に対応する前記サブ画素を含む画素の画素値と、当該画素に隣接する画素の画素値とから補間して生成した画素値を用いて差分絶対値を演算することを特徴とする請求項1から請求項3のいずれか一項に記載の奥行推定装置。

【請求項5】
前記画素値は、輝度値および色差値、または、カラー値の複数の要素で構成される値であって、
前記対応画素差分演算手段は、前記差分絶対値を、前記要素ごとの値の差分絶対値和として演算することを特徴とする請求項1から請求項4のいずれか一項に記載の奥行推定装置。

【請求項6】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定する奥行推定方法であって、
前記複数配列した前記カメラのいずれかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラに隣接する複数の隣接カメラで前記被写体を撮影した複数の隣接映像とを映像入力手段により入力する映像入力ステップと、
複数設定した仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する画素である前記複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を対応画素差分演算手段により演算する対応画素差分演算ステップと、
この対応画素差分演算ステップで演算した隣接映像差分値を、隣接映像差分加算手段により、同一の仮定奥行値について前記基準映像の画素位置ごとに加算することで差分加算値を演算する隣接映像差分加算ステップと、
この隣接映像差分加算ステップで演算した差分加算値を、前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に記憶する記憶ステップと、
奥行値決定手段により、前記画素位置ごとに、前記差分加算値が最小となる前記仮定奥行値を前記記憶手段において探索し、当該画素位置の奥行値とする奥行値決定ステップと、
を含むことを特徴とする奥行推定方法。

【請求項7】
予め定めた位置に複数配列したカメラで同一の被写体を撮影した複数のカメラ映像から、前記被写体の奥行きを示す奥行値を推定するために、コンピュータを、
前記複数配列した前記カメラのいずれかにおいて、予め定めた基準カメラで前記被写体を撮影した基準映像と、前記基準カメラに隣接する複数の隣接カメラで前記被写体を撮影した複数の隣接映像とを入力する映像入力手段、
複数設定した仮定奥行値ごとに、前記基準映像の各画素の画素値と、当該画素の前記仮定奥行値の視差に対応する画素である前記複数の隣接映像の各画素の画素値との差分絶対値である隣接映像差分値を演算する対応画素差分演算手段、
この対応画素差分演算手段で演算した隣接映像差分値を、同一の仮定奥行値について前記基準映像の画素位置ごとに加算することで差分加算値を演算し、前記仮定奥行値と前記基準映像の画素位置とに対応付けて記憶手段に書き込む隣接映像差分加算手段、
前記画素位置ごとに、前記差分加算値が最小となる前記仮定奥行値を前記記憶手段において探索し、当該画素位置の奥行値とする奥行値決定手段、
として機能させることを特徴とする奥行推定プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2009096689thum.jpg
出願権利状態 登録
※ 詳細内容の開示にあたっては、別途、JSTと秘密保持契約を締結していただくことが必要となります。


PAGE TOP

close
close
close
close
close
close
close