Top > Search of Japanese Patents > THREE-DIMENSIONAL INFORMATION RECOVERY DEVICE

THREE-DIMENSIONAL INFORMATION RECOVERY DEVICE

Patent code P10A015404
Posted date Apr 23, 2010
Application number P2005-159249
Publication number P2006-337075A
Patent number P4102386
Date of filing May 31, 2005
Date of publication of application Dec 14, 2006
Date of registration Mar 28, 2008
Inventor
  • (In Japanese)天野 一彦
  • (In Japanese)木村 茂
  • (In Japanese)大橋 洋一
Applicant
  • (In Japanese)三菱電機株式会社
  • (In Japanese)防衛装備庁長官
Title THREE-DIMENSIONAL INFORMATION RECOVERY DEVICE
Abstract PROBLEM TO BE SOLVED: To provide a three-dimensional information recovery device capable of obtaining 3-dimensional motion of camera and a spatially dense 3-dimensional shape on an imaging object from a 2-dimensional image acquired by a camera.
SOLUTION: The 3-dimensional information recovery device is provided with a motion estimation part 100 serially estimating the motion information of the camera having photographed an imaging object from dynamic image input data, and a distance estimation part 200 serially estimating the information on distance to the imaging object. The motion estimation part 100 estimates the motion information at present time from the distance information at the previous time estimated with the distance estimation part 200 and the dynamic image input data and the distance estimation part 200 estimates the distance information at present time from the motion information at present time estimated with the motion estimation part 100 and the motion image input data.
Outline of related art and contending technology (In Japanese)


カメラで撮影した画像データから撮影対象の3次元形状を求める手法として、ステレオ視あるいは両眼立体視と呼ばれる手法がある。2台のカメラのレンズ中心を離して配置して同一の撮影対象を撮影し、視点の異なる画像から撮影対象の奥行きを3角測量の原理で求めて撮影対象の3次元形状を復元する。



また、両眼立体視と同様の原理を用いて画像データから撮影対象の3次元形状を求める手法として運動立体視と呼ばれる手法がある。両眼立体視のように2台のカメラを配置するのではなく、運動立体視は、1台のカメラを移動させて視点の異なる画像を1台のカメラから得る。動画像データから時間差のある画像データを取り出せば、両眼立体視と同様に3角測量の原理により撮影対象の奥行きを求めることができる。



さらに、画像データだけを用いてカメラの運動量と撮影対象の距離を求める手法として、8点アルゴリズムと呼ばれる手法がある(非特許文献1)。8点アルゴリズムは、撮影対象上の8点を観測してカメラの移動の前後の8点の対応からカメラの運動量と8点の距離を求める手法である。



また、画像データだけを用いてカメラの運動量と撮影対象の距離を求める別の手法として、因子分解法と呼ばれる手法がある(非特許文献2)。カメラの移動の前後の画像の対応点の位置を成分に持つ計測行列を、カメラ又は撮影対象の運動を表現する行列と撮影対象の形状を表現する行列との積に分解することで動画像データから撮影対象の形状とカメラの視点の相対位置を同時に求める手法である。



【非特許文献1】
H.C.Longuet-Higgins,“Computer Algorithm for Reconstructing a Scene From Two Projections,”Nature, vol.293, pp.133-135, Sept 1981.
【非特許文献2】
C. Tomasi and T. Kanade,“Shape and motion from image streams under orthography: A factorization method,”International Journal of Computer Vision, 9(2):pp.137-154, 1992.

Field of industrial application (In Japanese)


本発明は、撮影対象までの距離、撮影対象の形状および撮影したカメラの動きを画像から推定する3次元情報復元装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
撮影対象を撮影したカメラの移動量と回転量の動き情報を動画像入力データに基づいて逐次推定する運動推定部と、
撮影対象までの距離情報を動画像入力データに基づいて逐次推定する距離推定部と
を備えた3次元情報復元装置であって、
前記運動推定部は、今回時刻の動画像入力データと、今回時刻の仮定したカメラの移動量と回転量の動き情報と、前記距離推定部で推定された前回時刻の距離情報とに基づいて前回時刻のカメラ位置から見た動画像入力データを座標の第1変換後の動画像入力データとして生成し、前記第1変換後の動画像入力データと前回時刻の動画像入力データとの明度誤差をカメラの移動量と回転量の修正量で偏微分した結果として得られる方程式の解を用いて、前記今回時刻の仮定したカメラの移動量と回転量の動き情報を逐次修正することにより今回時刻のカメラの移動量と回転量の動き情報を推定し、
前記距離推定部は、複数の今回時刻の仮定した距離情報のそれぞれに対して、前回時刻の動画像入力データと、前記運動推定部で推定された前記今回時刻のカメラの移動量と回転量の動き情報とに基づいて複数の座標の第2変換後の動画像入力データを生成し、前記複数の第2変換後の動画像入力データの中から、今回時刻の動画像入力データとの明度の一致度が最大となる第2変換後の動画像入力データを特定する処理を今回時刻の動画像入力データの画素毎に行い、特定した第2変換後の動画像入力データに対応する今回時刻の仮定した距離情報を今回時刻の距離情報として推定する
ことを特徴とする3次元情報復元装置。

【請求項2】
 
前記運動推定部は、
前記動画像入力データが逐次記憶される第1の画像記憶部と、
前記今回時刻の仮定したカメラの移動量と回転量の動き情報を出力する運動誤差修正部と、
前記今回時刻の動画像入力データと、前記今回時刻の仮定したカメラの移動量と回転量の動き情報と、
前記距離推定部で推定された前回時刻の距離情報とに基づいて前記第1変換後の動画像入力データを生成する第1の座標変換部と、
前記第1の画像記憶部に記憶された前回時刻の動画像入力データに基づいて前記前回時刻の動画像入力データの空間微分による微分画像を算出するとともに、前記第1変換後の動画像入力データと前回時刻の動画像入力データとの差分に基づいて、時間微分による微分画像を算出する時空間微分処理部と、
時空間微分されたそれぞれの前記微分画像と前記前回時刻の距離情報とに基づいて、前記第1変換後の動画像入力データと前記前回時刻の動画像入力データとの明度誤差をカメラの移動量と回転量の修正量で偏微分した結果として得られる方程式の解をカメラの移動量と回転量の動き情報誤差量として算出する運動誤差推定部とを備え、
前記運動誤差修正部は、前記運動誤差推定部で算出された前記カメラの移動量と回転量の動き情報誤差量を加算することにより前記今回時刻の仮定したカメラの移動量と回転量の動き情報を更新して前記第1の座標変換部に出力し、その後、更新した今回時刻の仮定したカメラの移動量と回転量の動き情報に対応して前記運動誤差推定部で算出された新たなカメラの移動量と回転量の動き情報誤差量を受信することにより、前記更新した今回時刻の仮定したカメラの移動量と回転量の動き情報をさらに更新する処理を所定回数繰り返すことにより最終的に更新した今回時刻の仮定したカメラの移動量と回転量の動き情報を今回時刻のカメラの移動量と回転量の動き情報として推定し、
前記距離推定部は、
前記動画像入力データが逐次記憶された第2の画像記憶部と、
前記複数の今回時刻の仮定した距離情報を出力する対応点探索部と、
前記複数の今回時刻の仮定した距離情報のそれぞれに対して、前記第2の画像記憶部に記憶された前記前回時刻の動画像入力データと、
前記運動推定部で推定された前記今回時刻のカメラの移動量と回転量の動き情報とに基づいて前記複数の第2変換後の動画像入力データを生成する第2の座標変換部と、
前記複数の第2変換後の動画像入力データのそれぞれに対して、前記今回時刻の動画像入力データとの明度の一致度に基づく複数の2次元的な評価値を算出するマッチング処理部とを備え、
前記対応点探索部は、今回時刻の動画像入力データの画素毎に、前記マッチング処理部で算出された前記複数の2次元的な評価値の中から最も一致度の高い評価値に対応する今回時刻の仮定した距離情報を今回時刻の距離情報として推定する、
ことを特徴とする請求項1に記載の3次元情報復元装置。

【請求項3】
 
前記距離推定部は、前記運動推定部から出力される各時刻におけるカメラの移動量と回転量の動き情報を累積し、累積結果が所定値を超えるごとに、画像更新指令を出力する画像更新判定部をさらに備え、
前記画像更新判定部から前記画像更新指令が出力されるごとに今回時刻の距離情報を推定することを特徴とする請求項2に記載の3次元情報復元装置。

【請求項4】
 
前記距離推定部は、前記対応点探索部からの前記複数の仮定した距離情報に対応するそれぞれの評価値に基づいて、最も一致度の高い評価値に対応する距離情報の近傍における評価値の曲率から距離信頼度を判定する距離信頼度算出部をさらに備え、
前記運動推定部は、前記時空間微分処理部が出力する空間微分による前記微分画像を所定値と比較することにより前記微分画像の微分信頼度を算出する微分信頼度算出部をさらに備え、
前記運動誤差推定部は、前記微分信頼度算出部が出力する前記微分信頼度およ
び前記距離信頼度算出部が出力する前記距離信頼度を受けて、時空間微分された
それぞれの前記微分画像において、前記微分信頼度が高く、かつ前記距離信頼度
が高い領域を特定して前記カメラの移動量と回転量の動き情報誤差量を算出する、
ことを特徴とする請求項2に記載の3次元情報復元装置。

【請求項5】
 
動画像入力データに基づいて複数の解像度レベルを有する1組のピラミッド画像データを生成するピラミッド画像生成部をさらに備え、
前記運動推定部は、前記ピラミッド画像生成部からの前記1組のピラミッド画像が記憶される第3の画像記憶部をさらに備え、
前記1組のピラミッド画像の解像度レベルの最も低い画像データに対するカメラの移動量と回転量の動き情報を推定し、その後、前記カメラの移動量と回転量の動き情報を今回時刻の仮定したカメラの移動量と回転量の動き情報の初期値として、次に解像度レベルの低い画像データに対するカメラの移動量と回転量の動き情報を推定する処理を繰り返すことにより解像度レベルの最も高い画像データに対するカメラの移動量と回転量の動き情報を推定し、
前記距離推定部は、前記ピラミッド画像生成部からの前記1組のピラミッド画像が記憶される第4の画像記憶部をさらに備え、
前記1組のピラミッド画像の解像度レベルの最も低い画像データに対する距離情報を推定し、その後、前記距離情報の近傍範囲を前記複数の今回時刻の仮定した距離情報の初期値として、次に解像度レベルの低い画像データに対する距離情報を推定する処理を繰り返すことにより解像度レベルの最も高い画像データに対する距離情報を推定する、
ことを特徴とする請求項2に記載の3次元情報復元装置。

【請求項6】
 
前記運動推定部は、外部の動きセンサにより計測されたカメラの移動量と回転量の動き情報と、前記運動誤差修正部で推定された前記カメラの移動量と回転量の動き情報とに基づいて絶対運動量に換算する補正係数を算出し、逐次推定される前記カメラの移動量と回転量の動き情報に前記補正係数を掛け合わせることにより絶対運動量を逐次算出する絶対運動量換算部をさらに備え、
前記距離推定部は、前記絶対運動量換算部から前記補正係数を受けて、前記対応点探索部により逐次推定される距離情報に前記補正係数を掛け合わせることにより絶対距離を逐次算出する絶対距離換算部をさらに備えることを特徴とする請求項2に記載の3次元情報復元装置。

【請求項7】
 
前記距離推定部は、外部の距離センサにより計測された撮影対象の距離情報と、前記対応点探索部で推定された前記距離情報とに基づいて絶対距離に換算する補正係数を算出し、逐次推定される前記距離情報に前記補正係数を掛け合わせることにより絶対距離を逐次算出する絶対距離換算部をさらに備え、
前記運動推定部は、前記絶対距離換算部から前記補正係数を受けて、前記運動誤差修正部により逐次推定されるカメラの移動量と回転量の動き情報に前記補正係数を掛け合わせることにより絶対運動量を逐次算出する絶対運動量換算部をさらに備えることを特徴とする請求項2に記載の3次元情報復元装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005159249thum.jpg
State of application right Registered
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close