Top > Search of Japanese Patents > IMAGE PICKUP DEVICE AND METHOD FOR CORRECTING IMAGING SYSTEM PARAMETER

IMAGE PICKUP DEVICE AND METHOD FOR CORRECTING IMAGING SYSTEM PARAMETER meetings

Patent code P06P004097
Posted date Sep 1, 2006
Application number P2005-036989
Publication number P2006-222920A
Patent number P4631048
Date of filing Feb 14, 2005
Date of publication of application Aug 24, 2006
Date of registration Nov 26, 2010
Inventor
  • (In Japanese)李 仕剛
Applicant
  • (In Japanese)国立大学法人岩手大学
Title IMAGE PICKUP DEVICE AND METHOD FOR CORRECTING IMAGING SYSTEM PARAMETER meetings
Abstract PROBLEM TO BE SOLVED: To provide an image pickup device capable of acquiring the whole sky image information of at one and the same time and to provide a method for correcting an imaging system parameter applicable to the image pickup device satisfactorily.
SOLUTION: The image pickup device 10A is provided with: a hollow image forming part 21 configured by connecting first and second image forming means 22 and 23, wherein outer surfaces are first and second curved surfaces 22a and 23a as an incident surface; an optical path changing element 25 arranged at the center 24 of the image forming part to change the optical path of incident light made incident on the first and second image forming means, propagating the incident light to the same side; and a picking up means 26 for picking up both first and second subject images 31 and 32 formed on the basis of the incident light which passes through the first and second image forming means and whose optical path is changed by the optical path changing element. The first and second image forming means belonging to the image pickup device converge incident light made incident on first and second curved surfaces on the center of the image forming part.
Outline of related art and contending technology (In Japanese)


周囲360度の全天周画像を撮像する方法として、例えば、特許文献1に記載の撮像装置を用いた方法がある。特許文献1に記載の撮像装置は、魚眼レンズの光軸を中心とした全視野方向に、その光軸を基準として少なくとも各方向90度の画角を有する魚眼レンズを有する。特許文献1に記載の手法では、空間を1つの球体と考えた際に、その中心に上記撮像装置を配置し、まず、球体のうちの一方向の半球体の画像を取得する。次に、撮像装置を180度回転させて反対方向の半球体の画像を取得する。このようにして取得した2つの画像を結合して球面画像を形成する。
【特許文献1】
特開2000-221391号公報

Field of industrial application (In Japanese)


本発明は、撮像装置及び撮像系パラメータの校正方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
外面が入射面としての第1の湾曲面となっている第1の結像手段と外面が入射面としての第2の湾曲面となっている第2の結像手段とが結合されることによって構成される中空の像形成部と、
前記像形成部の中心部に配置される光路変更素子と、
前記第1の結像手段によって結像される第1の被写体像と前記第2の結像手段によって結像される第2の被写体像とを共に撮像する撮像手段と、
を備え、
前記第1及び第2の結像手段は、前記第1及び第2の湾曲面に入射する入射光線を前記像形成部の前記中心部に集光し、
前記光路変更素子は、前記第1及び第2の結像手段の各々に入射した入射光線の光路を変更して前記撮像手段に入射させ、
前記撮像手段は、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第2の被写体像とを共に撮像することを特徴とする撮像装置。

【請求項2】
 
前記第1及び第2の被写体像から、前記第1及び第2の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、
前記画像形成手段は、
前記第1及び第2の結像手段が有する焦点距離をfI(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心OIを原点として有すると共に前記像面に対応するXIYI平面を有する3次元座標系を第1及び第2の画像座標系としたとき、前記第1及び第2の被写体像に含まれる画像情報を、前記第1及び第2の画像座標系の前記画像中心OIを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する画像変換部と、
前記画像変換部において得られた第1及び第2の半球面画像を、前記第1の画像座標系と前記第2の画像座標系の相対姿勢情報に基づいて結合することによって前記球面画像を形成する画像形成部とを備えることを特徴とする請求項1に記載の撮像装置。

【請求項3】
 
前記画像形成手段は、
前記相対姿勢情報、前記画像中心OI及び前記焦点距離fIを校正する校正部を更に備え、
前記画像変換部は、前記校正部によって校正された画像中心OI及び焦点距離fIに基づいて前記第1及び第2の被写体像を第1及び第2の半球面画像に変換し、
前記画像形成部は、前記画像変換部で得られた前記第1及び第2の半球面画像を、前記校正部で校正された相対姿勢情報に基づいて結合して前記球面画像を形成することを特徴とする請求項2に記載の撮像装置。

【請求項4】
 
前記第1及び第2の結像手段のそれぞれの中心線と前記第1及び第2の結像手段に入射する入射光線とのなす角度をθIとし、前記第1及び第2の結像手段に入射した前記入射光線と前記像面との交点に対応する前記XIYI平面上の点の前記画像中心OIからの距離をrIとし、前記焦点距離fIに依存しており前記距離rIの歪みパラメータをkIとしたとき、前記距離rIが、
【数1】
 


と表されており、前記校正部は、式(1)のうちの2N-1(Nは、2以上の整数)次までの項を選択した、
【数2】
 


を利用して、前記画像中心OI、前記焦点距離fI及び前記相対姿勢情報のうちの少なくとも一つを校正することを特徴とする請求項3に記載の撮像装置。

【請求項5】
 
入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手段と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、前記第1の結像手段と前記第2の結像手段との間に配置されると共に前記第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備え、
前記第1及び第2の結像手段が有する焦点距離をfI(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心OIを原点として有すると共に前記像面に対応するXIYI平面を有する3次元座標系を第1及び第2の画像座標系とし、前記第1及び第2の結像手段のそれぞれの中心線と前記第1及び第2の結像手段に入射する入射光線とのなす角度をθIとし、前記第1及び第2の結像手段に入射した前記入射光線と前記像面との交点に対応する前記XIYI平面上の点の前記画像中心OIからの距離をrIとし、前記焦点距離fIに依存しており前記距離rIの歪みパラメータをkIとしたとき、前記距離rIが、
【数3】
 


で表される撮像装置に対して適用され、
前記画像中心OI、前記焦点距離fI、及び、前記第1の画像座標系と前記第2の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、
前記パラメータ校正工程は、前記画像中心OI、前記焦点距離fI、及び、前記相対姿勢情報のうちの少なくとも1つを、式(3)のうち2N-1(Nは、2以上の整数)次の項までを選択した、
【数4】
 


を利用して校正することを特徴とする撮像系パラメータの校正方法。

【請求項6】
 
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
3つ以上の前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて前記画像中心OIを校正する画像中心校正工程と、
N個以上の前記第1及び第2の被写体像に含まれる消失点の前記第1及び第2の画像座標系における位置座標、及び、式(4)を利用して前記焦点距離fIを校正する焦点距離校正工程と、
3つ以上の前記第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、前記第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする請求項5に記載の撮像系パラメータの校正方法。

【請求項7】
 
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
前記像取得工程で取得された前記第1及び第2の被写体像の画像情報を、前記第1及び第2の画像座標系での前記画像中心OIを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する第1の画像変換工程と、
式(4)の逆関数をη(rI;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θIを、
【数5】
 


とし、前記第1及び第2の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)、実空間での直線パターンの投影像内の点の前記XIYI平面における位置座標を(xI,yI)とし、前記距離rIを、
【数6】
 


とし、φIを、
【数7】
 


とし、式(5)~式(7)に基づいて表されると共に前記第1及び第2の半球面画像が有する前記直線パターンの投影像を含む平面の法線ベクトルnIが、前記第1及び第2の画像座標系が有するZI軸となす角度をθInとし、前記法線ベクトルnIがXI軸となす角度をφInとし、前記平面の方程式に基づいた評価関数ξ1I
【数8】
 


としたとき、式(8)を最小にするようにxI,c、yI,c、kI,1~kI,2i-1を決めることによって内部パラメータとしての前記画像中心OI及び前記焦点距離fIを校正する内部パラメータ校正工程と、
前記撮像手段によって同時に取得された一対の第1及び第2の被写体像の画像情報を、前記内部パラメータ校正工程で校正された前記画像中心OIを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する第2の画像変換工程と、
前記第2の画像変換工程で得られた第1の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnLとし、前記第2の画像変換工程で得られた第2の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnRとし、校正された前記画像中心OIを原点とする前記第2の画像座標系から前記第1の画像座標系への変換行列をRLRとし、評価関数ξ2を、
【数9】
 


としたとき、式(9)を最小にする変換行列RLRを決定することによって前記相対姿勢情報を校正する相対姿勢情報校正工程とを備えることを特徴とする請求項5に記載のパラメータの校正方法。

【請求項8】
 
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
前記第1及び第2の被写体像の画像情報を、前記第1及び第2の画像座標系での前記画像中心OIを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する画像変換工程と、
式(4)の逆関数をη(rI;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θIを、
【数10】
 


とし、前記第1の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)とし、前記第1及び第2の被写体像に含まれる点の前記XIYI平面での位置座標を(xI,yI)とし、前記距離rIを、
【数11】
 


とし、φIを、
【数12】
 


としたときに、前記第1及び第2の半球面画像のうち前記位置座標(xI,yI)に対応する点の位置ベクトルmIを、
【数13】
 


とし、前記第2の画像座標系から前記第1の画像座標系への変換行列をRLRとしたとき、前記第2の画像座標系で表される位置ベクトルmRを、前記変換行列RLRによって前記第1の画像座標系で表すことによって前記第1の画像座標系で表される球面画像を形成する画像形成工程と、
前記画像形成工程において形成された前記球面画像上の点mの位置ベクトルを、
【数14】
 


としたとき、点mに対応する実空間の点をMcとし、前記第1の画像座標系に回転行列R
【数15】
 


及び、並進行列T
【数16】
 


を利用して変換できる3次元座標系としての世界座標系における前記点Mcの位置ベクトルを、
【数17】
 


として、Nw
【数18】
 


とし、評価関数Cを、
【数19】
 


としたとき、式(19)を最小にするxI,c、yI,c、kI,1~kI,2i-1(ただし、iはNまでの2以上の整数)及び変換行列RLRを決定することによって、前記画像中心OI、前記焦点距離fI及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする請求項5に記載の撮像系パラメータの校正方法。

【請求項9】
 
入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、前記第1の結像手段と前記第2の結像手段との間に配置されると共に前記第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、
前記第1及び第2の被写体像を取得する像取得工程と、
3つ以上の前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心OI(Iは、第1の結像手段に対してはL、第2の結像手段に対してはR、以下同様とする)を校正する画像中心校正工程と、
前記画像中心校正工程で校正された前記画像中心OI、及び、前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点の前記画像中心OIからの距離を利用して、前記第1及び第2の結像手段の焦点距離fIを校正する焦点距離校正工程と、
3つ以上の前記第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、画像中心OIを原点として有すると共に前記第1及び第2の結像手段の像面に対応するXIYI平面を有する3次元座標系としての第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする撮像系パラメータの校正方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005036989thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close