Top > Search of Japanese Patents > CAMERA CALIBRATION APPARATUS, CAMERA CALIBRATION METHOD, CAMERA CALIBRATION PROGRAM, AND RECORDING MEDIUM

CAMERA CALIBRATION APPARATUS, CAMERA CALIBRATION METHOD, CAMERA CALIBRATION PROGRAM, AND RECORDING MEDIUM

Patent code P180015583
File No. 5011
Posted date Nov 22, 2018
Application number P2015-098252
Publication number P2016-213783A
Patent number P6384961
Date of filing May 13, 2015
Date of publication of application Dec 15, 2016
Date of registration Aug 17, 2018
Inventor
  • (In Japanese)志水 信哉
  • (In Japanese)藤井 憲作
  • (In Japanese)西村 真衣
  • (In Japanese)延原 章平
  • (In Japanese)松山 隆司
Applicant
  • (In Japanese)日本電信電話株式会社
  • (In Japanese)国立大学法人京都大学
Title CAMERA CALIBRATION APPARATUS, CAMERA CALIBRATION METHOD, CAMERA CALIBRATION PROGRAM, AND RECORDING MEDIUM
Abstract PROBLEM TO BE SOLVED: To provide a camera calibration apparatus, a camera calibration method, a camera calibration program, and a recording medium capable of realizing calibration of a camera model even when there is an unknown refractive layer between a camera and a subject.
SOLUTION: A camera calibration apparatus comprises: a correspondence relationship acquiring unit that acquires information on a correspondence relationship between a pixel and a position on a calibration object for each attitude of a calibration object from an image group obtained by photographing the calibration object with different attitudes; an attitude estimation unit for estimating the attitude of the calibration object to output attitude information; and a ray information acquisition unit that acquires ray information indicating a correspondence relationship between the pixel and a light beam using the information on the correspondence relationship and the attitude information. The attitude estimation unit estimates the attitude of the calibration object using a fact that the position on the calibration object sampled with the same pixel among the plurality of images exists on a straight line in the photographing space.
Outline of related art and contending technology (In Japanese)

従来、カメラで撮影された画像から、三次元情報として、例えば被写体の形状や、被写体とカメラとの位置関係を抽出する技術が知られている。このような技術は、ロボットビジョン、拡張現実感を提供するシステム等において、非常に重要となる技術である。このような三次元情報の抽出を行うためには、画像上の各画素と現実空間での光線の対応関係に関する情報と、複数のカメラ間の位置関係に関する情報とを取得する必要がある。そして、これらの情報を取得する処理は、カメラキャリブレーションと呼ばれている。特に、画像上の各画素と現実空間での光線の対応関係に関する情報を取得する処理は、内部キャリブレーションと呼ばれ、複数のカメラ間の位置関係に関する情報を取得する処理は、外部キャリブレーションと呼ばれている。

一般的なカメラキャリブレーションでは、オブジェクトと画像平面の間の写像が、ピンホールカメラモデルなど透視投影カメラモデルで表現できることを前提としている。そのような透視投影カメラモデルでは、オブジェクトからの光線は、カメラの投影中心に向かって直進しながら集束することを前提としている。そのため、カメラとオブジェクトの間に屈折層がある場合は、スネルの法則に基づき屈折層の屈折をモデル化することで、カメラキャリブレーションを実現する。そして、屈折のモデル化を行うためには、屈折層の屈折率及び位置・形状に関する情報が必要となる。しかし、予めそれらの情報を得ることは、一般的に困難であるため、屈折のモデル化を行うことができないという問題がある。また、仮に、それらの情報が得られたとしても、屈折層の形状等が複雑な場合は、屈折のモデル化の処理も複雑になるという問題がある。

透視投影カメラモデルとは異なるカメラモデルとして、非特許文献1で提案されているRaxel(ray-pixel)カメラモデルが存在する。Raxelカメラモデルでは、画像上の各画素と三次元空間における光線とを直接対応付ける。そのため、屈折層における光線の屈折をモデル化せずに、カメラキャリブレーションにおいて、画素と光線の対応付けを求めることができる。
例えば、非特許文献2に記載の手法は、カメラとの間に屈折層を含んだ撮影対象とする空間中に、チェッカーボードなどの較正物体を設置し、画素からその較正物体平面上の点へのマッピングを表す近似関数を求めることでキャリブレーションを実現している。

Field of industrial application (In Japanese)

本発明は、カメラと被写体の間に屈折層が存在する場合におけるカメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体に関する。

Scope of claims (In Japanese)
【請求項1】
 
屈折層を介して被写体を撮影することによって得られる画像の各画素と、前記被写体からの光線との対応付けを行うカメラキャリブレーション装置であって、
前記被写体として姿勢の異なる較正物体を撮影した画像群から、前記較正物体の姿勢ごとに、前記画素と前記較正物体上の位置との対応関係に関する情報を取得する対応関係取得部と、
前記対応関係取得部で取得された前記対応関係に関する情報を用いて、前記較正物体の姿勢を推定して姿勢情報を出力する姿勢推定部と、
前記対応関係取得部で取得された前記対応関係に関する情報と、前記姿勢推定部で推定された前記姿勢情報とを用いて、画素と光線との対応関係を示す光線情報を取得する光線情報取得部とを備え、
前記姿勢推定部は、複数の画像間における同一画素でサンプリングされた前記較正物体上の位置が、撮影空間において一直線上に存在することを用いて前記較正物体の姿勢を推定するカメラキャリブレーション装置。

【請求項2】
 
前記姿勢推定部は、同一画素でサンプリングされた前記較正物体上の位置から、1つの画素に対して2本以上の線分を求め、当該線分に対応する方向ベクトル間の外積を最小化するように前記較正物体の姿勢を推定する請求項1に記載のカメラキャリブレーション装置。

【請求項3】
 
前記対応関係に関する情報と、前記姿勢情報とを用いて、同一画素でサンプリングされた前記較正物体上の位置から、1つの画素に対して2本以上の線分を求め、当該線分に対応する方向ベクトル間の外積に基づくキャリブレーション評価値を求めるキャリブレーション評価部を更に備える請求項1または請求項2に記載のカメラキャリブレーション装置。

【請求項4】
 
カメラに対する姿勢の異なる前記較正物体を撮影した画像群から、前記カメラからの距離の違いが少なく、カメラに対する姿勢が異なる較正物体を撮影した3枚以上の画像群を選択する対象画像選択部を更に備え、
前記対応関係取得部は、前記対象画像選択部が選択した画像群から較正物体の姿勢ごとに、画素と較正物体上の位置との対応関係に関する情報を取得する請求項1から請求項3のいずれか一項に記載のカメラキャリブレーション装置。

【請求項5】
 
前記較正物体を撮影した画像に対して、前記較正物体が撮影されている領域の割合にしたがって、前記カメラから前記較正物体までの距離を推定する距離推定部と、
前記較正物体を撮影した画像群に対して、前記較正物体の撮影されている領域の形状の違いにしたがって、前記カメラに対する前記較正物体の姿勢の類似度を推定する類似度推定部とを更に備え、
前記対象画像選択部は、前記距離推定部で推定された距離と、前記類似度推定部で推定された類似度とに基づいて、前記カメラからの距離の違いが少なく、カメラに対する姿勢が異なる較正物体を撮影した3枚以上の画像群を選択する請求項4に記載のカメラキャリブレーション装置。

【請求項6】
 
屈折層を介して被写体を撮影することによって得られる画像の各画素と、前記被写体からの光線との対応付けを行うカメラキャリブレーション方法であって、
前記被写体として姿勢の異なる較正物体を撮影した画像群から、前記較正物体の姿勢ごとに、前記画素と前記較正物体上の位置との対応関係に関する情報を取得する対応関係取得ステップと、
前記対応関係取得ステップで取得された前記対応関係に関する情報を用いて、前記較正物体の姿勢を推定して姿勢情報を出力する姿勢推定ステップと、
前記対応関係取得ステップで取得された前記対応関係に関する情報と、前記姿勢推定ステップで推定された前記姿勢情報と用いて、画素と光線との対応関係を示す光線情報を取得する光線情報取得ステップとを備え、
前記姿勢推定ステップは、複数の画像間における同一画素でサンプリングされた前記較正物体上の位置が、撮影空間において一直線上に存在することを用いて前記較正物体の姿勢を推定するカメラキャリブレーション方法。

【請求項7】
 
請求項6に記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。

【請求項8】
 
請求項7に記載のカメラキャリブレーションプログラムを記録した記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2015098252thum.jpg
State of application right Registered
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close