Top > Search of Japanese Patents > CAMERA CALIBRATION METHOD, CAMERA CALIBRATION DEVICE AND CAMERA CALIBRATION PROGRAM

CAMERA CALIBRATION METHOD, CAMERA CALIBRATION DEVICE AND CAMERA CALIBRATION PROGRAM

Patent code P180015581
File No. 5029
Posted date Nov 22, 2018
Application number P2015-125914
Publication number P2017-011537A
Patent number P6355206
Date of filing Jun 23, 2015
Date of publication of application Jan 12, 2017
Date of registration Jun 22, 2018
Inventor
  • (In Japanese)志水 信哉
  • (In Japanese)藤井 憲作
  • (In Japanese)西村 真衣
  • (In Japanese)延原 章平
  • (In Japanese)松山 隆司
Applicant
  • (In Japanese)日本電信電話株式会社
  • (In Japanese)国立大学法人京都大学
Title CAMERA CALIBRATION METHOD, CAMERA CALIBRATION DEVICE AND CAMERA CALIBRATION PROGRAM
Abstract PROBLEM TO BE SOLVED: To provide a camera calibration method, a camera calibration device and a camera calibration program capable of achieving calibration of a camera model, even if an unknown refractive layer exists between a camera and a subject.
SOLUTION: A camera calibration method has: a correspondence acquisition step of acquiring information about correspondence of a pixel and the position on a calibration object, for each posture thereof, from an image group capturing calibration objects of different postures as subjects; intersection line detection step of detecting a pixel group corresponding to an intersection line of the calibration objects of different postures in a photographic space; a posture estimation step of estimating the posture of the calibration object by using information about correspondence in the intersection line, and outputting posture information; and a light ray information acquisition step of acquiring light ray information indicating the correspondence of the pixel and light rays in the photographic space, by using the information about the correspondence, and the posture information.
Outline of related art and contending technology (In Japanese)

従来、カメラで撮影された画像から、三次元情報として、例えば被写体の形状や、被写体とカメラとの位置関係を抽出する技術が知られている。このような技術は、ロボットビジョン、拡張現実感を提供するシステム等において、非常に重要となる技術である。このような三次元情報の抽出を行うためには、画像上の各画素と現実空間での光線の対応関係に関する情報と、複数のカメラ間の位置関係に関する情報とを取得する必要がある。そして、これらの情報を取得する処理は、カメラキャリブレーションと呼ばれている。特に、画像上の各画素と現実空間での光線の対応関係に関する情報を取得する処理は、内部キャリブレーションと呼ばれ、複数のカメラ間の位置関係に関する情報を取得する処理は、外部キャリブレーションと呼ばれている。

一般的なカメラキャリブレーションでは、オブジェクトと画像平面の間の写像が、ピンホールカメラモデルなど透視投影カメラモデルで表現できることを前提としている。そのような透視投影カメラモデルでは、オブジェクトからの光線は、カメラの投影中心に向かって直進しながら集束することを前提としている。そのため、カメラとオブジェクトの間に屈折層がある場合は、スネルの法則に基づき屈折層の屈折をモデル化することで、カメラキャリブレーションを実現する。そして、屈折のモデル化を行うためには、屈折層の屈折率及び位置・形状に関する情報が必要となる。しかし、予めそれらの情報を得ることは、一般的に困難であるため、屈折のモデル化を行うことができないという問題がある。また、仮に、それらの情報が得られたとしても、屈折層の形状等が複雑な場合は、屈折のモデル化の処理も複雑になるという問題がある。

透視投影カメラモデルとは異なるカメラモデルとして、非特許文献1で提案されているRaxel(ray-pixel)カメラモデルが存在する。Raxelカメラモデルでは、画像上の各画素と三次元空間における光線とを直接対応付けている。そのため、屈折層における光線の屈折をモデル化せずに、カメラキャリブレーションにおいて、画素と光線の対応付けを求める。
例えば、非特許文献2に記載の手法は、カメラとの間に屈折層を含んだ撮影対象とする空間中に、チェッカーボードなどの較正物体を設置し、画素からその較正物体平面上の点へのマッピングを表す近似関数を求めることでキャリブレーションを実現している。

Field of industrial application (In Japanese)

本発明は、カメラと被写体の間に屈折層が存在する場合におけるカメラキャリブレーション方法、カメラキャリブレーション装置及びカメラキャリブレーションプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
屈折層を介して被写体を撮影することによって得られる画像の各画素と、前記被写体からの光線との対応付けを行うカメラキャリブレーション方法であって、
前記被写体として姿勢の異なる較正物体を撮影した画像群から、前記較正物体の姿勢ごとに、前記画素と前記較正物体上の位置との対応関係に関する情報を取得する対応関係取得ステップと、
前記姿勢の異なる較正物体が、撮影空間において交わる交線に対応する画素群を検出する交線検出ステップと、
前記交線検出ステップで検出された前記交線における前記対応関係取得ステップで取得された前記対応関係に関する情報を用いて、前記較正物体の姿勢を推定して姿勢情報を出力する姿勢推定ステップと、
前記対応関係取得ステップで取得された前記対応関係に関する情報と、前記姿勢推定ステップで推定された前記姿勢情報とを用いて、画素と前記撮影空間中の光線との対応関係を示す光線情報を取得する光線情報取得ステップとを有するカメラキャリブレーション方法。

【請求項2】
 
前記姿勢推定ステップにおいて、前記交線が2つの前記較正物体上で定義されることを用いて前記較正物体の姿勢を推定する請求項1に記載のカメラキャリブレーション方法。

【請求項3】
 
前記姿勢推定ステップにおいて、複数の前記交線が前記撮影空間上において1点で交わることを用いて前記較正物体の姿勢を推定する請求項1に記載のカメラキャリブレーション方法。

【請求項4】
 
前記交線検出ステップにおいて、前記異なる姿勢の較正物体を撮影した画像間で、同じ位置の画素における較正平面密度が同じ場合に、当該画素を前記交線が存在する画素として検出する請求項1から請求項3のいずれか一項に記載のカメラキャリブレーション方法。

【請求項5】
 
前記対応関係取得ステップで取得した前記対応関係に関する情報と、前記姿勢推定ステップで推定した前記較正物体の姿勢とを用いて、前記較正物体の姿勢の推定の評価値を取得する評価値取得ステップをさらに有する請求項1から4のいずれか一項に記載のカメラキャリブレーション方法。

【請求項6】
 
前記評価値取得ステップにおいて、同一画素でサンプリングされた前記較正物体上の位置から、1つの画素に対して2本以上の線分を求め、当該線分に対応する方向ベクトル間の外積を用いて、前記較正物体の姿勢の推定の評価値を取得する請求項5に記載のカメラキャリブレーション方法。

【請求項7】
 
屈折層を介して被写体を撮影することによって得られる画像の各画素と、前記被写体からの光線との対応付けを行うカメラキャリブレーション装置であって、
前記被写体として姿勢の異なる較正物体を撮影した画像群から、前記較正物体の姿勢ごとに、前記画素と前記較正物体上の位置との対応関係に関する情報を取得する対応関係取得部と、
前記姿勢の異なる較正物体が、撮影空間において交わる交線に対応する画素群を検出する交線検出部と、
前記交線検出部で検出された前記交線における前記対応関係取得部で取得された前記対応関係に関する情報を用いて、前記較正物体の姿勢を推定して姿勢情報を出力する姿勢推定部と、
前記対応関係取得部で取得された前記対応関係に関する情報と、前記姿勢推定部で推定された前記姿勢情報とを用いて、画素と前記撮影空間中の光線との対応関係を示す光線情報を取得する光線情報取得部とを備えるカメラキャリブレーション装置。

【請求項8】
 
請求項1から6のいずれか一項に記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2015125914thum.jpg
State of application right Registered
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close