TOP > 国内特許検索 > 撮像装置及び撮像系パラメータの校正方法 > 明細書

明細書 :撮像装置及び撮像系パラメータの校正方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4631048号 (P4631048)
公開番号 特開2006-222920 (P2006-222920A)
登録日 平成22年11月26日(2010.11.26)
発行日 平成23年2月16日(2011.2.16)
公開日 平成18年8月24日(2006.8.24)
発明の名称または考案の名称 撮像装置及び撮像系パラメータの校正方法
国際特許分類 H04N   5/225       (2006.01)
G03B  15/00        (2006.01)
G03B  37/00        (2006.01)
G06T   1/00        (2006.01)
H04N   5/232       (2006.01)
FI H04N 5/225 Z
G03B 15/00 S
G03B 15/00 W
G03B 37/00 A
G06T 1/00 420C
H04N 5/232 Z
請求項の数または発明の数 9
全頁数 37
出願番号 特願2005-036989 (P2005-036989)
出願日 平成17年2月14日(2005.2.14)
審査請求日 平成20年2月1日(2008.2.1)
特許権者または実用新案権者 【識別番号】504165591
【氏名又は名称】国立大学法人岩手大学
発明者または考案者 【氏名】李 仕剛
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100124291、【弁理士】、【氏名又は名称】石田 悟
審査官 【審査官】高野 美帆子
参考文献・文献 特表平11-508384(JP,A)
特開2003-163819(JP,A)
調査した分野 H04N 5/225
G03B 15/00
G03B 37/00
G06T 1/00
H04N 5/232
特許請求の範囲 【請求項1】
外面が入射面としての第1の湾曲面となっている第1の結像手段と外面が入射面としての第2の湾曲面となっている第2の結像手段とが結合されることによって構成される中空の像形成部と、
前記像形成部の中心部に配置される光路変更素子と、
前記第1の結像手段によって結像される第1の被写体像と前記第2の結像手段によって結像される第2の被写体像とを共に撮像する撮像手段と、
を備え、
前記第1及び第2の結像手段は、前記第1及び第2の湾曲面に入射する入射光線を前記像形成部の前記中心部に集光し、
前記光路変更素子は、前記第1及び第2の結像手段の各々に入射した入射光線の光路を変更して前記撮像手段に入射させ、
前記撮像手段は、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第2の被写体像とを共に撮像することを特徴とする撮像装置。
【請求項2】
前記第1及び第2の被写体像から、前記第1及び第2の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、
前記画像形成手段は、
前記第1及び第2の結像手段が有する焦点距離をf(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心Oを原点として有すると共に前記像面に対応するX平面を有する3次元座標系を第1及び第2の画像座標系としたとき、前記第1及び第2の被写体像に含まれる画像情報を、前記第1及び第2の画像座標系の前記画像中心Oを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する画像変換部と、
前記画像変換部において得られた第1及び第2の半球面画像を、前記第1の画像座標系と前記第2の画像座標系の相対姿勢情報に基づいて結合することによって前記球面画像を形成する画像形成部とを備えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像形成手段は、
前記相対姿勢情報、前記画像中心O及び前記焦点距離fを校正する校正部を更に備え、
前記画像変換部は、前記校正部によって校正された画像中心O及び焦点距離fに基づいて前記第1及び第2の被写体像を第1及び第2の半球面画像に変換し、
前記画像形成部は、前記画像変換部で得られた前記第1及び第2の半球面画像を、前記校正部で校正された相対姿勢情報に基づいて結合して前記球面画像を形成することを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記第1及び第2の結像手段のそれぞれの中心線と前記第1及び第2の結像手段に入射する入射光線とのなす角度をθとし、前記第1及び第2の結像手段に入射した前記入射光線と前記像面との交点に対応する前記X平面上の点の前記画像中心Oからの距離をrとし、前記焦点距離fに依存しており前記距離rの歪みパラメータをkとしたとき、前記距離rが、
【数1】
JP0004631048B2_000059t.gif
と表されており、前記校正部は、式(1)のうちの2N-1(Nは、2以上の整数)次までの項を選択した、
【数2】
JP0004631048B2_000060t.gif
を利用して、前記画像中心O、前記焦点距離f及び前記相対姿勢情報のうちの少なくとも一つを校正することを特徴とする請求項3に記載の撮像装置。
【請求項5】
入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手段と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、前記第1の結像手段と前記第2の結像手段との間に配置されると共に前記第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備え、
前記第1及び第2の結像手段が有する焦点距離をf(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心Oを原点として有すると共に前記像面に対応するX平面を有する3次元座標系を第1及び第2の画像座標系とし、前記第1及び第2の結像手段のそれぞれの中心線と前記第1及び第2の結像手段に入射する入射光線とのなす角度をθとし、前記第1及び第2の結像手段に入射した前記入射光線と前記像面との交点に対応する前記X平面上の点の前記画像中心Oからの距離をrとし、前記焦点距離fに依存しており前記距離rの歪みパラメータをkとしたとき、前記距離rが、
【数3】
JP0004631048B2_000061t.gif
で表される撮像装置に対して適用され、
前記画像中心O、前記焦点距離f、及び、前記第1の画像座標系と前記第2の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、
前記パラメータ校正工程は、前記画像中心O、前記焦点距離f、及び、前記相対姿勢情報のうちの少なくとも1つを、式(3)のうち2N-1(Nは、2以上の整数)次の項までを選択した、
【数4】
JP0004631048B2_000062t.gif
を利用して校正することを特徴とする撮像系パラメータの校正方法。
【請求項6】
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
3つ以上の前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて前記画像中心を校正する画像中心校正工程と、
N個以上の前記第1及び第2の被写体像に含まれる消失点の前記第1及び第2の画像座標系における位置座標、及び、式(4)を利用して前記焦点距離fを校正する焦点距離校正工程と、
3つ以上の前記第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、前記第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする請求項に記載の撮像系パラメータの校正方法。
【請求項7】
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
前記像取得工程で取得された前記第1及び第2の被写体像の画像情報を、前記第1及び第2の画像座標系での前記画像中心Oを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する第1の画像変換工程と、
式(4)の逆関数をη(r;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θを、
【数5】
JP0004631048B2_000063t.gif
とし、前記第1及び第2の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)、実空間での直線パターンの投影像内の点の前記X平面における位置座標を(x,y)とし、前記距離rを、
【数6】
JP0004631048B2_000064t.gif
とし、φを、
【数7】
JP0004631048B2_000065t.gif
とし、式(5)~式(7)に基づいて表されると共に前記第1及び第2の半球面画像が有する前記直線パターンの投影像を含む平面の法線ベクトルnが、前記第1及び第2の画像座標系が有するZ軸となす角度をθInとし、前記法線ベクトルnがX軸となす角度をφInとし、前記平面の方程式に基づいた評価関数ξ1
【数8】
JP0004631048B2_000066t.gif
としたとき、式(8)を最小にするようにxI,c、yI,c、kI,1~kI,2i-1を決めることによって内部パラメータとしての前記画像中心O及び前記焦点距離fを校正する内部パラメータ校正工程と、
前記撮像手段によって同時に取得された一対の第1及び第2の被写体像の画像情報を、前記内部パラメータ校正工程で校正された前記画像中心Oを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する第2の画像変換工程と、
前記第2の画像変換工程で得られた第1の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnとし、前記第2の画像変換工程で得られた第2の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnとし、校正された前記画像中心Oを原点とする前記第2の画像座標系から前記第1の画像座標系への変換行列をRLRとし、評価関数ξ2を、
【数9】
JP0004631048B2_000067t.gif
としたとき、式(9)を最小にする変換行列RLRを決定することによって前記相対姿勢情報を校正する相対姿勢情報校正工程とを備えることを特徴とする請求項に記載のパラメータの校正方法。
【請求項8】
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
前記第1及び第2の被写体像の画像情報を、前記第1及び第2の画像座標系での前記画像中心Oを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する画像変換工程と、
式(4)の逆関数をη(r;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θを、
【数10】
JP0004631048B2_000068t.gif
とし、前記第1の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)とし、前記第1及び第2の被写体像に含まれる点の前記X平面での位置座標を(x,y)とし、前記距離rを、
【数11】
JP0004631048B2_000069t.gif
とし、φを、
【数12】
JP0004631048B2_000070t.gif
としたときに、前記第1及び第2の半球面画像のうち前記位置座標(x,y)に対応する点の位置ベクトルmを、
【数13】
JP0004631048B2_000071t.gif
とし、前記第2の画像座標系から前記第1の画像座標系への変換行列をRLRとしたとき、前記第2の画像座標系で表される位置ベクトルmを、前記変換行列RLRによって前記第1の画像座標系で表すことによって前記第1の画像座標系で表される球面画像を形成する画像形成工程と、
前記画像形成工程において形成された前記球面画像上の点mの位置ベクトルを、
【数14】
JP0004631048B2_000072t.gif
としたとき、点mに対応する実空間の点をMとし、前記第1の画像座標系に回転行列R
【数15】
JP0004631048B2_000073t.gif
及び、並進行列T
【数16】
JP0004631048B2_000074t.gif
を利用して変換できる3次元座標系としての世界座標系における前記点Mの位置ベクトルを、
【数17】
JP0004631048B2_000075t.gif
として、N
【数18】
JP0004631048B2_000076t.gif
とし、評価関数Cを、
【数19】
JP0004631048B2_000077t.gif
としたとき、式(19)を最小にするxI,c、yI,c、kI,1~kI,2i-1(ただし、iはNまでの2以上の整数)及び変換行列RLRを決定することによって、前記画像中心O、前記焦点距離f及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする請求項に記載の撮像系パラメータの校正方法。
【請求項9】
入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、前記第1の結像手段と前記第2の結像手段との間に配置されると共に前記第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、
前記第1及び第2の被写体像を取得する像取得工程と、
3つ以上の前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心O(Iは、第1の結像手段に対してはL、第2の結像手段に対してはR、以下同様とする)を校正する画像中心校正工程と、
前記画像中心校正工程で校正された前記画像中心O、及び、前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点の前記画像中心Oからの距離を利用して、前記第1及び第2の結像手段の焦点距離fを校正する焦点距離校正工程と、
3つ以上の前記第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、画像中心Oを原点として有すると共に前記第1及び第2の結像手段の像面に対応するX平面を有する3次元座標系としての第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする撮像系パラメータの校正方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、撮像装置及び撮像系パラメータの校正方法に関するものである。
【背景技術】
【0002】
周囲360度の全天周画像を撮像する方法として、例えば、特許文献1に記載の撮像装置を用いた方法がある。特許文献1に記載の撮像装置は、魚眼レンズの光軸を中心とした全視野方向に、その光軸を基準として少なくとも各方向90度の画角を有する魚眼レンズを有する。特許文献1に記載の手法では、空間を1つの球体と考えた際に、その中心に上記撮像装置を配置し、まず、球体のうちの一方向の半球体の画像を取得する。次に、撮像装置を180度回転させて反対方向の半球体の画像を取得する。このようにして取得した2つの画像を結合して球面画像を形成する。

【特許文献1】特開2000-221391号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、近年では、床と天井や陸上と空などを同時にモニターできる監視カメラや、移動ロボットなどの移動体の視覚センサーとして、全方位の視覚情報を同時に取得できる撮像装置が求められている。しかしながら、特許文献1に記載の撮像装置を用いた手法では、撮像装置を回転させて全方位を撮影しているので、同一時刻における全天周の画像を得ることができない。
【0004】
そこで、本発明は、同一時刻における全天周の画像情報を取得可能な撮像装置、及び、その撮像装置に好適に適用できる撮像系パラメータの校正方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明に係る撮像装置は、外面が入射面としての第1の湾曲面となっている画角を有する第1の結像手段と外面が入射面としての第2の湾曲面となっている第2の結像手段とが結合されることによって構成される中空の像形成部と、像形成部の中心部に配置される光路変更素子と、第1の結像手段によって結像される第1の被写体像と第2の結像手段によって結像される第2の被写体像とを共に撮像する撮像手段と、を備え、第1及び第2の結像手段は、第1及び第2の湾曲面に入射する入射光線を像形成部の中心部に集光し、光路変更素子は、第1及び第2の結像手段の各々に入射した入射光線の光路を変更して撮像手段に入射させ、撮像手段は、第1の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と第2の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像することを特徴とする。
【0006】
上記撮像装置では、第1及び第2の結像手段が結合されて像形成部を構成しているため、像形成部の外面は第1及び第2の湾曲面を有することになる。これによって、像形成部の周囲の光が、像形成部内に取り込まれる。そして、第1及び第2の結像手段を通って像形成部内に取り込まれた光(入射光線)は、光路変更素子によって撮像手段側に伝搬するように光路が変更され、撮像手段が、第1及び第2の結像手段によって結像される第1及び第2の被写体像を共に取得する。
【0007】
この場合、第1及び第2の被写体像は、像形成部の周囲に位置する被写体からの光によって形成されることになるので、第1及び第2の被写体像から、像形成部を中心としたほぼ全方位の画像情報を球体の表面に有する球面画像を形成することが可能である。そして、像形成部を動かさずに第1及び第2の被写体像を上述した撮像手段で撮像しているため、同一時刻における全天周の球面画像を得ることができる。
【0008】
また、第1及び第2の結像手段を通った入射光線は、像形成部の中心部に集光されるので、像形成部は単一視点を有することになる。なお、球面画像を形成する観点から、第1及び第2の結像手段の画角は、180度であることが好適である。
【0009】
また、本発明に係る撮像装置は、第1及び第2の被写体像から、第1及び第2の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、画像形成手段は、第1及び第2の結像手段が有する焦点距離をf(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、第1及び第2の結像手段の光軸と第1及び第2の結像手段の像面との交点に対応する画像中心Oを原点として有すると共に像面に対応するX平面を有する3次元座標系を第1及び第2の画像座標系としたとき、第1及び第2の被写体像に含まれる画像情報を、第1及び第2の画像座標系の画像中心Oを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する画像変換部と、画像変換部において得られた第1及び第2の半球面画像を、第1の画像座標系と第2の画像座標系の相対姿勢情報に基づいて結合することによって球面画像を形成する画像形成部とを備えることが好ましい。
【0010】
第1及び第2の被写体像が有する画像情報は、全天周のうちの半分毎の画像情報に相当する。そして、画像変換部は、第1及び第2の被写体像から第1及び第2の半球面画像を形成し、画像形成部がそれらを結合することによって球面画像を形成している。その結果、全天周の球面画像を確実に得ることが可能である。
【0011】
また、本発明に係る撮像装置が有する画像形成手段は、相対姿勢情報、画像中心O及び焦点距離fを校正する校正部を更に備え、画像変換部は、校正部によって校正された画像中心O及び焦点距離fに基づいて第1及び第2の被写体像を第1及び第2の半球面画像に変換し、画像形成部は、画像変換部で得られた第1及び第2の半球面画像を、校正部で校正された相対姿勢情報に基づいて結合して球面画像を形成することが好適である。
【0012】
この場合、校正部によって画像中心O、焦点距離f及び相対姿勢情報が校正され、画像変換部が、その校正された画像中心O、焦点距離f及び相対姿勢情報に基づいて第1及び第2の半球面画像及び球面画像を形成し、画像形成部がそれらを結合して球面画像を取得する。その結果として、より正確な球面画像を取得することができる。
【0013】
そして、第1及び第2の結像手段のそれぞれの中心線と第1及び第2の結像手段に入射する入射光線とのなす角度をθとし、第1及び第2の結像手段に入射した入射光線と像面との交点に対応するX平面上の点の画像中心Oからの距離をrとし、焦点距離fに依存しており距離rの歪みパラメータをkとしたとき、距離rが、
【数1】
JP0004631048B2_000002t.gif

と表されており、校正部は、式(1)のうちの2N-1(Nは、2以上の整数)次までの項を選択した、
【数2】
JP0004631048B2_000003t.gif

を利用して、画像中心O、焦点距離f及び相対姿勢情報のうちの少なくとも一つを校正することが好ましい。
【0014】
式(1)は、第1及び第2の結像手段の結像特性に対応する。この式(1)から2N—1次までのN個の項を利用して校正する際には、より多くの第1及び第2の被写体像を利用して校正することになるので、結果として、より正確な校正が可能である。また、式(2)を利用して校正する際には、歪みパラメータとしてのkを算出することになり、その結果として、歪みパラメータの校正も可能である。この歪みパラメータkはfに依存するため、歪みパラメータkの算出は、焦点距離fの校正に相当することになる。
【0018】
ところで、従来の撮像装置では、魚眼レンズの光軸と像面との交点としての画像中心や魚眼レンズの焦点距離等が装置の組立誤差などによって設計値からずれるためそれらを校正する必要がある。また、上述したように2つの画像を組み合わせて球面画像を形成するためには、2つの画像を表す座標系の相対姿勢情報が必要となる。
【0019】
通常、撮像系パラメータとしての焦点距離や画像中心や相対姿勢情報の校正は、例えば次のようにして実施されていた。すなわち、魚眼レンズに入射した光と像面との交点の画像中心からの距離をrとし、入射光線と魚眼レンズの光軸とのなす角度をθとし、魚眼レンズの焦点距離をfとしたとき、rがfθや2ftanθなどで表される理論的な魚眼レンズの結像特性を利用して撮像系パラメータの校正が行われていた。
【0020】
しかしながら、監視カメラや移動体の視覚センサーでは正確な情報を取得することが必要で有るため、撮像装置の撮像系パラメータのより正確な校正が求められてきているが、従来のように結像特性(fθや2ftanθ)を利用しても十分な校正ができなかった。
【0021】
そこで、本発明に係る撮像系パラメータ校正方法は、(1)入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手段と、(2)入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、(3)第1の結像手段と第2の結像手段との間に配置されると共に第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、(4)第1の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と第2の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備え、第1及び第2の結像手段が有する焦点距離をf(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、第1及び第2の結像手段の光軸と第1及び第2の結像手段の像面との交点に対応する画像中心Oを原点として有すると共に像面に対応するX平面を有する3次元座標系を第1及び第2の画像座標系とし、第1及び第2の結像手段のそれぞれの中心線と第1及び第2の結像手段に入射する入射光線とのなす角度をθとし、第1及び第2の結像手段に入射した入射光線と像面との交点に対応するX平面上の点の画像中心Oからの距離をrとし、焦点距離fに依存しており距離rの歪みパラメータをkとしたとき、距離rが、
【数3】
JP0004631048B2_000004t.gif

で表される撮像装置に対して適用され、画像中心O、焦点距離f、及び、第1の画像座標系と第2の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、パラメータ校正工程は、画像中心O、焦点距離f、及び、相対姿勢情報のうちの少なくとも1つを、式(3)のうち2N-1(Nは、2以上の整数)次の項までを選択した、
【数4】
JP0004631048B2_000005t.gif

を利用して校正することを特徴とする。
【0022】
式(3)は、歪みパラメータとしてのkを含んだ第1及び第2の結像手段の結像特性を表している。そして、その2N-1次までの項からなる式(4)を利用して画像中心O、焦点距離f、及び、相対姿勢情報のうちの少なくとも1つを校正するので、撮像系パラメータをより正確に校正できる。この歪みパラメータkは、焦点距離fに依存しているので、焦点距離fの校正は、歪みパラメータkを算出することに相当する。
【0023】
そして、本発明に係る撮像系パラメータの校正方法におけるパラメータ校正工程は、第1及び第2の被写体像を取得する像取得工程と、3つ以上の第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Oを校正する画像中心校正工程と、N個以上の第1及び第2の被写体像に含まれる消失点の第1及び第2の画像座標系における位置座標、及び、式(4)を利用して焦点距離fを校正する焦点距離校正工程と、3つ以上の第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び直線群に略直交する直線群の消失点に基づいて、第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることが好適である。
【0024】
例えば、画像中心Oは、第1及び第2の被写体像にそれぞれ含まれる一対の消失点の交点に基づいて求められるので、2つの第1及び第2の被写体像があれば校正できるが、上記方法では3つ以上の第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Oを校正しているので、より正確な画像中心Oが得られる。
【0025】
更に、式(4)では、式(1)からN個の項が選択されているため、結果として、N個のkが含まれることになる。そして、N個以上の第1及び第2の被写体像に含まれる一対の消失点の位置座標を利用することによってkを決定でき、その結果として、距離fを校正できる。また、3つ以上の第1及び第2の被写体像にそれぞれ含まれる実空間での水平線に略平行な直線群の消失点と、その直線群に直交する直線群の消失点に基づいて相対姿勢情報を校正するので、例えば、2つの第1及び第2の被写体像に基づいて校正する場合よりもより正確に校正できる。
【0026】
更にまた、本発明に係るパラメータ校正方法が有するパラメータ校正工程は、第1及び第2の被写体像を取得する像取得工程と、像取得工程で取得された第1及び第2の被写体像の画像情報を、第1及び第2の画像座標系での画像中心Oを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する第1の画像変換工程と、式(4)の逆関数をη(r;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θを、
【数5】
JP0004631048B2_000006t.gif

とし、第1及び第2の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)、実空間での直線パターンの投影像内の点のX平面における位置座標を(x,y)とし、距離rを、
【数6】
JP0004631048B2_000007t.gif

とし、φを、
【数7】
JP0004631048B2_000008t.gif

とし、式(5)~式(7)に基づいて表されると共に第1及び第2の半球面画像が有する直線パターンの投影像を含む平面の法線ベクトルnが、第1及び第2の画像座標系が有するZ軸となす角度をθInとし、法線ベクトルnがX軸となす角度をφInとし、前述した平面の方程式に基づいた評価関数ξ1
【数8】
JP0004631048B2_000009t.gif

としたとき、式(8)を最小にするようにxI,c、yI,c、kI,1~kI,2i-1を決めることによって内部パラメータとしての画像中心O及び焦点距離fを校正する内部パラメータ校正工程と、撮像手段によって同時に取得された一対の第1及び第2の被写体像の画像情報を、内部パラメータ校正工程で校正された画像中心Oを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する第2の画像変換工程と、第2の画像変換工程で得られた第1の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnとし、第2の画像変換工程で得られた第2の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnとし、校正された画像中心Oを原点とする第2の画像座標系から第1の画像座標系への変換行列をRLRとし、評価関数ξ2を、
【数9】
JP0004631048B2_000010t.gif

としたとき、式(9)を最小にする変換行列RLRを決定することによって相対姿勢情報を校正する相対姿勢情報校正工程とを備えることが好適である。
【0027】
式(5)~式(7)より、式(8)で表される評価関数ξ1のθIn、φIn、θ、φは、xI,c、yI,c、kI,1~kI,2i—1の関数である。従って、式(8)を利用することで画像中心O及び焦点距離fを一緒に校正することができるので、校正に要する時間が短くなる。更に、式(5)より、θIn、θには、歪みパラメータkが含まれているので、歪みパラメータkも算出できる。これは、焦点距離fの校正に相当し、焦点距離fをより正確に校正できることになる。
【0028】
このようにして校正された画像中心O及び焦点距離fを利用して、第2の画像変換工程では、撮像手段によって同時に取得された第1及び第2の被写体像から第1及び第2の半球面画像が形成される。この第1及び第2の半球面画像には、実空間での同じ直線パターンが含まれている。この場合、その直線パターンの第1の半球面画像内の像を含む平面の法線ベクトルnは、RLRで表されることになる。したがって、式(9)を最小にする変換行列RLRを求めることで最適な変換行列RLRを決定することができる。
【0029】
更にまた、本発明に係るパラメータ校正方法が有するパラメータ校正工程は、第1及び第2の被写体像を取得する像取得工程と、第1及び第2の被写体像の画像情報を、第1及び第2の画像座標系での画像中心Oを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する画像変換工程と、式(4)の逆関数をη(r;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θを、
【数10】
JP0004631048B2_000011t.gif

とし、第1の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)とし、第1及び第2の被写体像に含まれる点のX平面での位置座標を(x,y)とし、距離rを、
【数11】
JP0004631048B2_000012t.gif

とし、φを、
【数12】
JP0004631048B2_000013t.gif

としたときに、第1及び第2の半球面画像のうち位置座標(x,y)に対応する点の位置ベクトルmを、
【数13】
JP0004631048B2_000014t.gif

とし、第2の画像座標系から第1の画像座標系への変換行列をRLRとしたとき、第2の画像座標系で表される位置ベクトルmを、変換行列RLRによって第1の画像座標系で表すことによって第1の画像座標系で表される球面画像を形成する画像形成工程と、画像形成工程において形成された球面画像上の点mの位置ベクトルを、
【数14】
JP0004631048B2_000015t.gif

としたとき、点mに対応する実空間の点をMとし、第1の画像座標系に回転行列R
【数15】
JP0004631048B2_000016t.gif

及び、並進行列T
【数16】
JP0004631048B2_000017t.gif

を利用して変換できる3次元座標系としての世界座標系における点Mの位置ベクトルを、
【数17】
JP0004631048B2_000018t.gif

として、N
【数18】
JP0004631048B2_000019t.gif

とし、評価関数Cを、
【数19】
JP0004631048B2_000020t.gif

としたとき、式(19)を最小にするxI,c、yI,c、kI,1~kI,2i-1(ただし、iはNまでの2以上の整数)及び変換行列RLRを決定することによって、画像中心O、前記焦点距離f及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする
この場合、球面画像は、第2の画像座標系で表される第2の半球面画像の点mを変換行列RLRによって第1の画像座標系の点に変換することで第1及び第2の半球面画像を結合して形成されている。したがって、球面画像上の点mの位置ベクトルは、位置ベクトルm又は位置ベクトルRLRによって表されることになる。
【0030】
式(10)~式(13)より、位置ベクトルmが位置ベクトルmに一致するときは、式(13)に含まれるu,v,sは、xL,c、yL,c、x、y及びkL,1~kL,2i-1の関数になり、位置ベクトルmが位置ベクトルmに一致するときは、u,v,sは、xR,c、yR,c、x、y、kR,1~kR,2i-1、及び、RLRの関数になる。したがって、式(18)を最小にするようにxI,c、yI,c、kI,1~kI,2i-1及び変換行列RLRを決定することで、画像中心O、焦点距離f及び相対姿勢情報をより正確に校正できることになる。
【0031】
また、本発明に係る撮像系パラメータの校正方法は、入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手段と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、第1の結像手段と第2の結像手段との間に配置されると共に第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、第1の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と第2の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、第1及び第2の被写体像を取得する像取得工程と、3つ以上の第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて、第1及び第2の結像手段の光軸と第1及び第2の結像手段の像面との交点に対応する画像中心O(Iは、第1の結像手段に対してはL、第2の結像手段に対してはR、以下同様とする)を校正する画像中心校正工程と、画像中心校正工程で校正された画像中心O、及び、第1及び第2の被写体像にそれぞれ含まれる一対の消失点の画像中心Oからの距離に基づいて、第1及び第2の結像手段の焦点距離fを校正する焦点距離校正工程と、3つ以上の第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び直線群に略直交する直線群の消失点に基づいて、画像中心Oを原点として有すると共に第1及び第2の結像手段の像面に対応するX平面を有する3次元座標系としての第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする。
【0032】
この場合、上記方法では3つ以上の第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Oを校正しているので、より正確な画像中心Oが得られる。
【0033】
また、画像中心Oから消失点までの距離は、第1及び第2の結像手段の結像特性に依存している。そして、上記方法では、、画像中心校正工程で校正された画像中心Oと、その画像中心Oから消失点までの距離に基づいて焦点距離fを校正するので、第1及び第2の結像手段の結像特性に応じて焦点距離fを校正できる。そして、3つ以上の第1及び第2の被写体像にそれぞれ含まれる実空間での水平線に略平行な直線群の消失点と、その直線群に直交する直線群の消失点に基づいて相対姿勢情報を校正するので、例えば、2つの第1及び第2の被写体像に基づいて校正する場合よりもより正確に校正できる。
【発明の効果】
【0034】
本発明の撮像装置によれば、同時刻に全天周の球面画像を形成することができる。そして、本発明の撮像系パラメータの校正方法によれば、同時刻に全天周の球面画像を形成するための撮像装置をより正確に校正することが可能である。
【発明を実施するための最良の形態】
【0035】
以下、図を参照して本発明の好適な実施形態について説明する。尚、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
【0036】
(第1の実施形態)
まず、本実施形態の撮像装置で得るべき球面画像について説明する。本実施形態において球面画像とは、全天周(全方位360度)に位置する各被写体の画像情報が球体の表面に投影されたものである。図1を参照してより具体的に説明する。
【0037】
図1は、球面画像を説明する図である。図1に示すように、空間上に単位半径の球体1を考え、その中心Oを原点として互いに直交するX軸、Y軸、Z軸を設定する。空間上の任意の点Mと球の中心Oとを結ぶ直線と球体1の表面2上の交点をmとする。また、点mと原点Oとを結ぶ直線のZ軸からの仰角をθとし、X軸からの方位角をφとすると、点mの位置ベクトルは、
【数20】
JP0004631048B2_000021t.gif

と表される。
【0038】
この点mは点Mが球体の表面へ投影された点に相当する。すなわち、点Mからの光が中心Oに向かって進んでいるときに球体1の表面2と交わる点がmであり、点mは点Mからの光が担う画像を形成するために必要な情報(画像情報)を有している。したがって、球体1の表面2には、中心Oを視点としたときの周囲360度に位置する被写体を投影することができる。このように画像情報を有している球体1の表面2が球面画像に相当する。そして、このように被写体像を球面画像として表す、言い換えれば、被写体を球体の表面上に射影することを球面射影モデルとも称す。
【0039】
この球面画像は、例えば、画角180度を有する一対の魚眼レンズを利用して周囲360度のうち半分ずつ(すなわち周囲180度ずつ)を撮影して得られる一対の被写体像から形成される。
【0040】
図2(a)は、魚眼レンズの結像特性を示す模式図である。図2に示した3次元座標系は、魚眼レンズの光学中心を原点とすると共に、魚眼レンズの光軸3をZ軸としたものである。ここで、光学中心とは、魚眼レンズに入射した入射光線l1が集光する点である。以下、このような座標系をカメラ座標系と称す。
【0041】
図2(a)に示すように、実空間上の点Mを魚眼レンズを利用して結像する場合、点Mからの入射光線l1は、光軸3に直交すると共に、光学中心から魚眼レンズの焦点距離fのところに位置する像面5に投影されることになる。
【0042】
図2(b)は、魚眼レンズの像面を示す図である。像面5は、前述したようにZ軸(光軸3)に直交する面である。この像面5とZ軸との交点を画像中心Oとする。この場合、点Mは、魚眼レンズによって、XY平面上の座標(r,φ)で表される点qに投影される。画像中心Oから点qまでの距離rは使用する魚眼レンズの結像特性によって決まる。魚眼レンズの結像特性としては、等距離射影方式(equidistance projection)や、正射影方式(orthogonal projection)、ステレオ射影方式(stereographicprojection)、等立体角射影方式(equisolid angleprojection)が挙げられる。以下の説明では、代表的な魚眼レンズの結像特性の一つとしての等立体角射影方式、
【数21】
JP0004631048B2_000022t.gif

で射影されるものとする。ここで、仰角θは、魚眼レンズに入射する入射光線l1と魚眼レンズの光軸3とのなす角度である。なお、他の射影方式も式と同様に、rがθの関数として表される。
【0043】
式(21)よりrが分かれば仰角θが算出されることになるので、式(20)に示すように、極座標で表される点mの座標が算出されることになる。1つの魚眼レンズで得られる被写体像は、全天周のうちの半分に相当するので、2つの魚眼レンズで得られた被写体像をそれぞれの画像中心を原点とする極座標で表して半球面画像を形成したのち、それらを結合することで、1つの球面画像を得られることになる。本明細書では、平面画像としての被写体像を、極座標で表すことを半球面画像に変換する、又は、球面画像に変換すると称す。
【0044】
ところで、画像座標系とカメラ座標系とは一方をZ軸方向に並進させることで重ね合わせられるので、同じものとして考えることができる。特に、球面画像を表す場合、すなわち、魚眼レンズで結像された被写体像を極座標表示する際には、θ及びφは、画像座標系で表す場合もカメラ座標系で表す場合も同じである。したがって、以下では、特に断らない限り、画像座標系とカメラ座標系とは同じものとする。
【0045】
以上説明したような球面画像を形成する装置について具体的に説明する。
【0046】
図3は、本発明の撮像装置の一実施形態の構成を示す概略構成図である。撮像装置10Aは、外形が略球状の球面視覚センサー20を有する。
【0047】
球面視覚センサー20は、外形が略球状であって中空の像形成部21を有する。像形成部21は、第1の結像手段としての魚眼レンズ22と、第2の結像手段としての魚眼レンズ23とが結合されものである。魚眼レンズ22,23はそれらが有する入射面としての第1及び第2の湾曲面22a,23aの中心線22b,23bに対して回転対称体となるように構成されている。そして、魚眼レンズ22,23は、第1及び第2の湾曲面22a,23aが外側を向くと共に、鏡面対称になるように配置されて結合されている。また、魚眼レンズ22,23は、図2で説明した結像特性を有しており、魚眼レンズ22,23の射影方式は、式(21)で示した等立体角射影方式である。
【0048】
図3では、魚眼レンズ22,23は、1つのレンズからなるように記載としているが、魚眼レンズ22,23は像形成部21の径方向に沿って複数のレンズを有しており、式(21)の結像特性をするように構成されている。また、魚眼レンズ22,23は、第1及び第2の湾曲面22a,23aの各点に接する接平面(例えば、図中の平面d)に垂直に入射した光は、球面視覚センサー20の中心部24を通るように設計されている。これによって、球面視覚センサー20は、単一の視点を有することになる。
【0049】
球面視覚センサー20の中心部24には、魚眼レンズ22,23に入射した入射光線l2の光路を変更する光路変更素子25が配置されている。光路変更素子25は、例えば、直交する2つの面に鏡面が形成された直角プリズムである。前述したように魚眼レンズ22,23は、複数のレンズから構成されており、それらのレンズ内で光を屈折させているので、結果として光が通っていない領域もある。光路変更素子25は、そのような領域を利用して魚眼レンズ22,23に保持されることで像形成部21内に配置されている。光路変更素子25は、魚眼レンズ22,23から入射した入射光線l2を同じ方向(例えば、図中の下側)に伝搬させて、その光路上に位置する撮像手段26に入射させる。
【0050】
撮像手段26は、CCD等の撮像素子27を有する。撮像素子27は、複数の画素からなる受光面27aが、魚眼レンズ22,23の像面5L,5Rに位置するように配置されている。撮像手段26も光路変更素子25と同様に、魚眼レンズ22,23のうち光が通っていない領域を利用して魚眼レンズ22,23に対して保持されることで像形成部21内に配置されている。
【0051】
撮像素子27は、図4に示すように、魚眼レンズ22,23に入射した入射光線l2によって形成される第1及び第2の被写体像31,32を同時に取得する。この撮像素子27上に結像され取得された第1及び第2の被写体像31,32は、受光面27aを構成する画素ごとに電気信号に変換されて、撮像手段26の一部を構成する第1の通信部28に入力される。第1の通信部28は、入力された画像情報を有する電気信号を電波に変換して、画像形成手段40に送信する。
【0052】
図3に示すように、画像形成手段40は、CPUなどを備えたいわゆるコンピュータであり、撮像素子27で取得された第1及び第2の被写体像31,32から球面画像を形成する。画像形成手段40は、第2の通信部41と、パラメータ格納部42と、画像変換部43と、画像形成部44と、校正部45Aとを有する。
【0053】
パラメータ格納部42は、魚眼レンズ22の焦点距離f及び魚眼レンズ23の焦点距離fを格納している。また、パラメータ格納部42は、魚眼レンズ22の光軸と像面5との交点としての画像中心O及び、魚眼レンズ23の光軸と像面5との交点としての画像中心Oの座標を格納している。前述したように魚眼レンズ22,23に入射した光は、光路変更素子25によって光路が変更される。そのため、魚眼レンズ22,23の光軸とは、魚眼レンズ22,23の中心線(すなわち、第1及び第2の湾曲面22a,23aの中心線22b,23b)に沿って入射した光の進行方向に一致するものとする。
【0054】
更に、パラメータ格納部42は、図5に示すように、画像中心Oを原点として設定される三次元座標系(X座標系)としての第1の画像座標系Sと、画像中心Oを原点として設定される三次元座標系(X座標系)としての第2の画像座標系Sの相対姿勢情報を格納している。この相対姿勢情報は、第2の画像座標系Sから第2の画像座標系Sへの変換行列RLRに相当する。そして、像形成部21では、魚眼レンズ22,23の視点は一致しているので、変換行列RLRは、回転行列に相当することになる。なお、パラメータ格納部42が格納している画像中心O,O、焦点距離f,f及び変換行列RLRは、初期値としては、球面視覚センサー20の設計値が格納されている。
【0055】
画像変換部43は、平面画像である第1の被写体像31を、図2を利用して説明した方法によって、第1の被写体像31が有する画像情報を半球体の表面に有する第1の半球面画像に変換する。また、画像変換部43は、平面画像である第2の被写体像32を、図2を利用して説明した方法によって、第2の被写体像32が有する画像情報を半球体の表面に有する半球面画像に変換する。ただし、入射角θは、魚眼レンズ22については、入射光線l1と中心線22bとのなす角度θを意味し、魚眼レンズ23については、入射光線l1と中心線23bとのなす角度θを意味する。
【0056】
このように、第1及び第2の半球面画像を形成するとき、画像変換部43は、パラメータ格納部42に格納されている撮像系パラメータとしての画像中心O,O、焦点距離f,f及び変換行列RLRに基づいて第1及び第2の半球面画像を形成することになる。その結果として、第1の半球面画像は第1の画像座標系Oで表され、第2の半球面画像は第2の画像座標系Oで表される。
【0057】
画像形成部44は、画像変換部43において形成された第1及び第2の半球面画像を、第1及び第2の画像座標系O,Oの相対姿勢情報としての変換行列RLR、及び、画像中心O,Oに基づいて合成して球面画像を形成する。より具体的には、第1及び第2の半球面画像の画像中心O,Oを一致させ、第2の半球面画像を変換行列RLRで第1の画像座標系O上の点に変換することで球面画像を形成する。
【0058】
上記のように球面画像は、撮像系パラメータ(画像中心、焦点距離、相対姿勢情報)を利用して形成されている。したがって、撮像系パラメータが撮像装置10Aにおいて校正される必要がある。そこで、校正部45Aは、実空間における平行な直線群(以下、平行直線群とも称す)の消失点を利用して撮像系パラメータを校正する。校正部45Aが消失点を利用して撮像系パラメータを校正する方法について説明する。校正部45Aは、CPU等を有する画像形成手段40に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。
【0059】
魚眼レンズ22は、画角180度を有しているので、第1の被写体像31内には、図6に示すように、第1の画像座標系SにおけるX平面において、画像中心Oから距離r,rの位置に一対の消失点(消失点対)V、Vが現れる。この消失点の位置は、例えば、上記平行直線群に含まれる直線に対応する像としての曲線を円錐曲線でフィッティングし、複数の円錐曲線関数を算出したのち、それらの交点を求めることで算出される。一対の消失点V,Vを結ぶ直線は、
【数22】
JP0004631048B2_000023t.gif

であり、この直線上に画像中心Oが位置する。したがって、校正部45Aは、校正後の画像中心OをC(xL,c,yL,c)としたときに、次の評価関数Γ1
【数23】
JP0004631048B2_000024t.gif

を最小にすることで画像中心Cを算出する。ここでは、魚眼レンズ22について説明したが、魚眼レンズ23についても同様であるので、魚眼レンズ23については説明を省略する。
【0060】
ところで、式(21)に示した結像特性をテーラ展開すると、
【数24】
JP0004631048B2_000025t.gif

となる。Iは、魚眼レンズ22に対してはLであり、魚眼レンズ23に対してはRであり、以下同様とする。kは、テーラ展開の係数であり、焦点距離fに依存する。そして、このkによって、例えば、図6に示すように、rL,1、rL,2の長さの違いが生じることになるので、kは、結像点の画像中心Oに対する径方向の歪みを表す放射歪み(radial distortion)パラメータである。この放射歪みパラメータとしてのkを算出することにより、球面視覚センサー20における結像特性がより正確に求められることになる。
【0061】
そこで、校正部45Aは、放射歪みパラメータとしてのkを算出する。ただし、式(24)では、無限個の項があるため、式(24)のうち低次の項から3個までの項で表される、
【数25】
JP0004631048B2_000026t.gif

を利用して放射歪みパラメータkI,1,kI,3,kI,5を算出する。
【0062】
先ず、魚眼レンズ22に対する放射歪みパラメータkL,1,kL,3,kL,5を算出する方法について説明する。消失点V,Vに対して式(25)を適用すると、
【数26】
JP0004631048B2_000027t.gif

【数27】
JP0004631048B2_000028t.gif

となる。この際、画像中心Oを校正している場合には、焦点距離fをより正確に校正する観点からrL,1及びrL,2は、校正された画像中心Oに対する距離であることが好ましい。
【0063】
また、消失点V1,V2は、実空間での直線パターンを無限に延ばしたときの無限遠点の投影像に対応するため、そのような無限遠点から魚眼レンズ22,23へ入射する入射光線l1と魚眼レンズ22,23との光軸とのなす角度であるθL,1とθL,2に対しては、
【数28】
JP0004631048B2_000029t.gif

が成り立つ。式(26)~式(28)において、未知数は3つ(kL,1、kL,3、kL,5)であるので、少なくとも3つ以上の第1の被写体像31に対して一対の消失点V,Vを算出することでkL,1、kL,3、kL,5を決定することができる。同様にして、魚眼レンズ23に対する放射歪みパラメータkR,1、kR,3、kR,5も決定する。
【0064】
前述したように、kL,1、kL,3、kL,5は、焦点距離fに依存しており、kR,1、kR,3、kR,5は、焦点距離fに依存している。その結果、放射歪みパラメータkL,1、kL,3、kL,5、R,1、kR,3、kR,5を決定することは、より正確に焦点距離f、fを算出することに相当する。したがって放射歪みパラメータk、kを算出することを焦点距離f,fの校正とも称す。
【0065】
以上のようにして魚眼レンズ22,23の画像中心C,C及び焦点距離f,fを算出したのちに、校正部45Aは、それらに基づいて第1の画像座標系Sと第2の画像座標系Sとの相対姿勢情報を算出する。相対姿勢情報は、前述したように第2の画像座標系Sから第1の座標座標系Sに変換するための変換行列RLRに相当するが、球面視覚センサー20では、視点が一致しているので、この変換行列RLRは、回転行列に相当する。
【0066】
前述したように第1及び第2の被写体像31,32には消失点V,Vが現れるので、第1及び第2の被写体像31,32から形成される第1及び第2の半球面画像にも消失点が現れる。通常、第1及び第2の半球面画像には、実空間における水平線に略平行な直線群の像及びその消失点(以下、「第1消失点」という)、並びに、水平線に直交する方向(鉛直方向)に延びる直線に略平行な直線群の像及びその消失点(以下、「第2消失点」という)が現れている。
【0067】
ここで、第1消失点の位置ベクトルをp1hcとし、第2消失点の位置ベクトルをp1vcとする。そして、3次元座標系である世界座標での第1消失点の位置ベクトルをphwとし、第2消失点の位置ベクトルをpvwとする。この場合、世界座標系から第1の画像座標系Sへの回転行列をR1cwとすると以下の式が成り立つ。
【数29】
JP0004631048B2_000030t.gif

【数30】
JP0004631048B2_000031t.gif

R1cwは上述したように回転行列であって、3つの変数が含まれているが、(式29)及び(式30)を用いることで、6個の方程式が成り立つため、R1cwを算出可能である。
【0068】
ところで、第1及び第2の半球面画像を結合することによって1つの球面画像を形成した場合、第1の半球面画像の第1消失点と第2の半球面画像の第1消失点とは一致し、第1の半球面画像の第2消失点と第2の半球面画像の第2消失点とは一致する。したがって、(式29)及び(式30)におけるphw及びpvwは、第2の半球面画像の第1消失点p2hc及び第2消失点p2vcにも変換可能である。すなわち、世界座標系から第2の画像座標系Sへの変換行列をR2cwとすると、以下の式が成り立つ。
【数31】
JP0004631048B2_000032t.gif

【数32】
JP0004631048B2_000033t.gif

(式31)及び(式32)よりR2cwが算出できる。
【0069】
そして、式(29)と式(30)、又は、(式31)と(式32)より、R1cw及びR2cwに基づいて第2の画像座標系Sから第1の画像座標系Sへの回転行列RLRを算出することができる。
【0070】
次に、撮像装置10Aにおける撮像系パラメータの校正方法についてより具体的に説明する。撮像系パラメータの校正では、図7に示すような3つの黒色の直線パターン51が含まれた校正用チャート50を利用する。なお、消失点を算出するため、球面視覚センサー20に対して校正用チャート50は十分大きいものとする。
【0071】
続いて、撮像装置10Aの配置を変えながら、図8(a)~図8(d)に示すように、校正用チャート50を複数(図8では、4枚)撮影する(像取得工程)。そして、校正部45Aは、複数の第1の被写体像31に対して前述したように消失点対(一対の消失点)V,Vの位置を算出し、式(23)に示す評価関数Γ1を最小にするxL,c、yL,cを算出する(画像中心校正工程)。これは、例えば、ラグランジュ未定乗数法等に基づいて実施すればよい。
【0072】
そして、校正部45Aが、算出したxL,c、yL,cを新しい画像中心Oとしてパラメータ格納部42に入力することで画像中心Oが校正されることになる。
【0073】
次に、撮像装置10Aを像形成部21の中心部24を通ると共に、魚眼レンズ22,23の中心線22b,23bに略直交する直線を中心として回転させながら、図9(a)~図9(c)に示すように、校正用チャート50を3枚撮像する。そして、校正部45Aは、3枚の第1の被写体像31に対して一対の消失点V,Vを算出する。次いで、式(26)~式(28)を利用して放射歪みパラメータkL,1、kL,3、kL,5を算出し、パラメータ格納部42に入力する(焦点距離校正工程)。
【0074】
以上の魚眼レンズ22に対して実施する方法と同様にして、魚眼レンズ23に対する画像中心C、及び、放射歪みパラメータkR,1、kR,3、kR,5を算出する。そして、算出した画像中心C(xL,c,yL,c)及び放射歪みパラメータkR,1、kR,3、kR,5をパラメータ格納部42に入力する。
【0075】
次に、撮像装置10Aの両方の魚眼レンズ22,23の視野内に校正用チャート50が入ると共に、校正用チャート50の直線パターン51が水平になるように校正用チャート50を配置する。そして、異なる角度で3つ以上の校正用チャート50を撮像する。続いて、校正用チャート50を90度回転させ、直線パターン51の延在方向が鉛直方向になるよう校正用チャート50を配置する。そして、異なる角度で校正用チャート50を3つ以上撮像する(像取得工程)。
【0076】
続いて、画像変換部43は、校正された画像中心O,O及び焦点距離f,fを利用して、3つ以上取得された第1及び第2の被写体像31,32を第1及び第2の半球面画像に変換する。
【0077】
ここで、校正された焦点距離f,fを利用することは、放射歪みパラメータkL,1、kL,3、kL,5及びkR,1、kR,3、kR,5を利用することに対応するので、その結果として、式(25)で表される結像特性を利用することになる。
【0078】
そして、前述した第1消失点及び第2消失点を算出し、式(29)及び式(30)を利用してRw1を決定する。また、式(31)及び式(32)を利用してRw2を決定する。そして、式(29)と式(30)、又は、(式31)と(式32)より、R1cw及びR2cwに基づいて第2の画像座標系Sから第1の画像座標系Sへの変換行列RLRを算出して、算出された変換行列RLRをパラメータ格納部42に入力する(相対姿勢情報校正工程)。
【0079】
上記校正方法では、3つ以上の第1の被写体像31及び3つ以上の第2の被写体像32を利用して画像中心O,Oを校正しているので、画像中心O,Oをより正確に校正できている。
【0080】
更に、式(24)で表される魚眼レンズ22,23の結像特性をテーラ展開し、低次の項から3項まで選択した式(25)に基づいて焦点距離f,fを校正している(言い換えれば、放射歪みパラメータkL,1、kL,3、kL,5、kR,1、kR,3、kR,5を算出している)ので、球面視覚センサー20に対応した結像特性が得られることになり、結果として、放射歪みも校正できることになる。
【0081】
例えば、理論式としての式(24)をそのまま利用して焦点距離f,fを校正した場合には、放射歪みは校正できないが、上記のように、テーラ展開し、複数の項を選択してから焦点距離f,fを校正することによって放射歪みもより確実に校正できる。
【0082】
また、3つ以上の第1及び第2の被写体像31,32を利用して相対姿勢情報を校正しているので、画像中心O,Oの場合と同様により正確な相対姿勢情報としての変換行列RLRを算出できている。
【0083】
以上のようにして校正された撮像系パラメータを有する撮像装置10Aでの球面画像形成方法について説明する。
【0084】
先ず、撮像装置10Aが魚眼レンズ22,23を利用して第1及び第2の被写体像31,32を撮像すると、撮像素子27は、それらを電気信号に変換して第1の通信部28に入力する。第1の通信部28は、入力された画像情報に相当する画像データを例えば無線によって第2の通信部41に送信する。第2の通信部41は、受信した画像データを画像変換部43に入力する。
【0085】
この画像変換部43は、校正部45Aによって校正された撮像系パラメータに基づいて第1及び第2の被写体像31,32を第1及び第2の半球面画像に変換する。そして、画像形成部44は、画像変換部43で得られた第1及び第2の半球面画像のうち、第2の画像座標系Sで表されている第2の半球面画像を変換行列RLRによって第1の画像座標系Sに変換することで球面画像を形成する。
【0086】
上記撮像装置10Aでは、画角180度を有する2つの魚眼レンズ22,23を利用して球面視覚センサー20を中心とした全天周の被写体を撮像しているので、同一時刻における被写体の球面画像を得ることができる。その結果として、動的な環境の撮像にも好適に利用することが可能である。また、像形成部21が有する魚眼レンズ22,23は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。
【0087】
そして、この球面画像は、校正部45Aによって校正された撮像系パラメータにも基づいて形成されているので、より正確に被写体を表した画像となっている。そのため、撮像装置10Aは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用できる。また、球面視覚センサー20を小型化することによって、胃カメラなどにも利用できる。
【0088】
(第2の実施形態)
本発明に係る撮像装置及び撮像系パラメータの校正方法の他の実施形態について説明する。図10に示すように、撮像装置10Bは、画像形成手段40が、校正部45Bを有する点で、図3に示した撮像装置10Aと主に相違する。球面視覚センサー20の構成は、第1の実施形態の場合と同様であるため、説明を省略する。
【0089】
この校正部45Bで撮像系パラメータを校正する方法について説明する。校正部45Bは、CPU等を有する画像形成手段40に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。本実施形態においても、像形成部21が有する魚眼レンズ22,23の結像特性は、式(25)で表されるものとする。先ず、魚眼レンズ22,23の画像中心O,O及び焦点距離f,fの校正について説明する。
【0090】
第1の実施形態の場合と同様に、校正前の第1の画像座標系Sでの魚眼レンズ22の実際の(校正後の)画像中心Cの位置座標を(xL,c,yL,c)とする。また、X平面における第1の被写体像31内の点をq(x,y)とする。この際、点qに対応する第1の半球面画像(又は球面画像)上の点をmとすると、点mは、式(20)より、
【数33】
JP0004631048B2_000034t.gif

と表される。
【0091】
校正後の画像中心Oとしての点Cを原点とする第1の画像座標系Sにおける点qの位置座標は(x-xL,c,y-yL,c)となる。また、式(25)の逆関数をηとすると、θは、
【数34】
JP0004631048B2_000035t.gif

と表される。また、方位角φは、
【数35】
JP0004631048B2_000036t.gif

となるので、第1の被写体像31を第1の半球面画像に変換したときの点qに対応する点mの位置ベクトルは、式(33)、式(34)及び式(35)より、xL,c、yL,c及びkL,1、kL,3、kL,5(又はf)の関数となる。
【0092】
ところで、図11に示すように、実空間での直線パターン51は、球面画像上では大円の一部の円弧52として表される。なお、図11に示す直線パターン51は、図7に示した直線パターン51を模式的に表したものである。この円弧52を含む平面の法線単位ベクトルnは、
【数36】
JP0004631048B2_000037t.gif

と表される。ここで、θLnは、単位法線ベクトルnとZ軸とのなす角度であり、φLnは、単位法線ベクトルnのX平面への投影線のX軸からの方位角である。この単位法線ベクトルnは、円弧52上の任意の点mq1,mq2の位置ベクトルの外積で決まるが、より正確にnを算出するために、以下の式(37)
【数37】
JP0004631048B2_000038t.gif

によって算出する。前述したように、円弧52上の点mの位置を決めるθ、φは式(34)及び式(35)よりそれぞれ、xL,c、yL,c及びkL,1、kL,3、kL,5(又は、f)の関数であるため、θLn及びφLnも同様にそれらの関数である。
【0093】
この単位法線ベクトルnと、式(33)より、円弧52を含む平面の方程式は、
【数38】
JP0004631048B2_000039t.gif

となる。そこで、撮像された直線パターン51の数をFとし、円弧52上の点の数をPとし、評価関数ξ1を、
【数39】
JP0004631048B2_000040t.gif

とする。そして、この評価関数ξ1を最小にすることによって魚眼レンズ22,23の内部パラメータとしての画像中心O,放射歪みパラメータkL,1,kL,3、kL,5(言い換えれば、焦点距離f)をより正確に得ることができる。魚眼レンズ23を校正する方法も同様であるので、説明は省略する。
【0094】
次に、第1及び第2の画像座標系S,Sの相対姿勢情報の校正について説明する。
【0095】
図12に示すように、2つの魚眼レンズ22,23の視野に含まれる実空間での直線パターン51を撮像装置10Bによって撮像する。そして、そのようにして得られた直線パターン51の第1及び第2の半球面画像としての円弧52を含む平面の単位法線ベクトルn,nを算出する。この単位法線ベクトルn,nは、式(37)と同様にして算出してもよいが、次のようにすることも可能である。すなわち、前述したように直線パターン51の投影像は、式(38)を満たす平面に含まれるが、この平面は、
【数40】
JP0004631048B2_000041t.gif

とも表される。ただし、a,b,cは、a+b+cが1という条件を満たす数である。
【0096】
円弧52上の点mから平面(a,b,c)への距離tは、abc(ax+by+cz)となるので、単位法線ベクトルnは、評価関数Γ2
【数41】
JP0004631048B2_000042t.gif

を最小にすることで求めることができる。
【0097】
なお、単位法線ベクトルn(n)としては、反対方向(すなわち、符合の異なる)を有する2つのものが算出されることになるが、それらの内積を取って評価することで、n及びnが同じ方向を向いているものを選択できる。
【0098】
ところで、単位法線ベクトルn,nは、同時に撮像された直線パターン51の像を含む平面に対するものであるので、第1及び第2の画像座標系S,Sが一致していれば同じになるはずである。そのため、第1の画像座標系Sと第2の画像座標系Sの相対姿勢情報としての変換行列RLRによって、
【数42】
JP0004631048B2_000043t.gif

が成り立つことになる。従って、評価関数ξ2
【数43】
JP0004631048B2_000044t.gif

を最小にすることでRLRを求めることができる。なお、式(43)において、nL,li及びnR,liは、複数の直線パターン51の投影像としての円弧52を含む単位法線ベクトルをそれぞれ表している。
【0099】
次に、上記方法に基づいて撮像装置10Bによる撮像系パラメータの校正方法をより具体的に説明する。先ず、魚眼レンズ22,23の画像中心O,O及び焦点距離f,fを校正する。図7に示した、直線パターン51を含む校正用チャート50を用意してそれを魚眼レンズ22の視野内に配置した後に撮像装置10Bで撮像する(像取得工程)。
【0100】
画像変換部43は、取得された第1の被写体像31から、校正前の(換言すれば、設計値としての)画像中心O及び焦点距離fに基づいて第1の半球面画像を形成する(第1の画像変換工程)。校正部45Bは、画像変換部43で形成された第1の半球面画像内の点qを式(34)及び式(35)を利用して校正後の画像中心C(xL,c,yL,c)及びkL,1、kL,3、kL,5(又はf)の関数に変換する。
【0101】
次いで、そのようにして変換された直線パターン51の投影像としての円弧52を含む平面の法線ベクトルnを式(37)を利用して算出する。この単位法線ベクトルnを算出するまでの工程をF個の直線パターン51に対して繰り返す。なお、F個の直線パターン51の投影像を得るためには、1つの直線パターン51を含んだ校正用チャートをF回撮像してもよいし、図7に示したように複数の直線パターン51を含んだ校正用チャート50を直線パターン51の総計がF個になるように撮像してもよい。
【0102】
そして、校正部45Bは、式(39)に示した評価関数ξ1を設定して、例えば、ラグランジュ未定乗数法によってxL,c、yL,c、kL,1、kL,3、kL,5を決定する。そして、その結果を、パラメータ格納部42に格納することで、画像中心O及び焦点距離fを校正する(内部パラメータ校正工程)。魚眼レンズ23の校正方法は魚眼レンズ22の場合と同様であるので、説明は省略する。
【0103】
次に、校正用チャート50を両方の魚眼レンズ22,23の視野内に配置して撮像装置10Bを回転させながら校正用チャート50を撮像する(像取得工程)。これにより、複数の直線パターン51の第1及び第2の被写体像31,32を得ることができる。画像変換部43は、校正された画像中心O,O及び焦点距離f,fに基づいて第1及び第2の被写体像31,32を第1及び第2の半球面画像に変換する(第2の画像変換工程)。
【0104】
続いて、校正部45Bは、第1及び第2の半球面画像に含まれる直線パターン51の投影像としての円弧52を含む平面の単位法線ベクトルn,nを、式(41)又は式(37)によって算出する。更に、校正部45Bは、式(39)に示す評価関数ξ2を設定して、評価関数ξ2を最小にする変換行列RLRを決定することで、相対姿勢情報を校正する(相対姿勢情報校正工程)。
【0105】
上記校正方法では、画像中心O及び焦点距離fが同時に校正され、また、画像中心O及び焦点距離fが同時に校正されるので、校正時間をより短くすることができる。また、直線パターン51の像としての円弧52を利用しているので、像形成部21を構成している魚眼レンズ22,23のように画角が180度で互いの視野に重なりがない場合でも確実に校正を実施することが可能である。
【0106】
以上のようにして、校正された撮像系パラメータを利用して撮像装置10Bによって球面画像を形成する方法は、撮像装置10Aの場合と同様である。そして、球面視覚センサー20の構成も第1の実施形態の場合と同様であるので、同じ効果を有する。すなわち、同一時刻における被写体の球面画像を得ることができ、その結果として、動的な環境の撮像にも好適に利用することが可能である。また、魚眼レンズ22,23は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。撮像装置10Bは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用でき、球面視覚センサー20を小型化することによって、胃カメラなどにも利用できることも撮像装置10Aの場合と同様である。
【0107】
(第3の実施形態)
本発明に係る撮像装置及び撮像系パラメータの校正方法の更に他の実施形態について説明する。図13に示すように、撮像装置10Cは、画像形成手段40が、3次元物体に含まれいる特徴点Mcを利用して撮像系パラメータを校正する校正部45Cを有する点で、図3に示した撮像装置10Aと主に相違する。球面視覚センサー20の構成は、第1の実施形態の場合と同様であるため、説明は省略する。
【0108】
先ず、校正部45Cによって撮像系パラメータを校正する方法について説明する。校正部45Cは、CPU等を有する画像形成手段40に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。本実施形態においても、像形成部21が有する魚眼レンズ22,23の結像特性は、式(25)で表されるものとする。先ず、魚眼レンズ22,23の画像中心O,O及び焦点距離f,fの校正について説明する。
【0109】
図14に示すように、球面視覚センサー20が、校正用ボックス60内に支持棒61などによって支持されて配置されているとする。校正用ボックス60には、複数の特徴点Mcが格子状に配列されている。図14において、ハッチング部分が特徴点M及び球面視覚センサー20を表している。また、球面視覚センサー20を中心とする座標系と魚眼レンズ22のカメラ座標系(すなわち、第1の画像座標系S)とは同じとする。これは、第2の画像座標系S上の点を変換行列RLRを利用して第1の画像座標系Sに移動することに相当する。
【0110】
ここで、撮像装置10Cによって形成される球面画像上の点の位置ベクトルをm、
【数44】
JP0004631048B2_000045t.gif

とする。前述したように、球面画像は、第1の被写体像31から変換された第1の半球面画像と、第2の被写体像32から変換された第2の半球面画像とを結合したものである。より具体的には、球面画像は、第2の画像座標系Sで表される第2の半球面画像が変換行列RLRで第1の画像座標系S上に変換されて構成されている。したがって、点mが球面画像における第1の半球面画像上の点mであるとき、mはmに一致する。また、点mが球面画像における第2の半球面画像に対応する点mであるとき、mはRLRに一致する。m,mは、式(20)を参照すると、それぞれ
【数45】
JP0004631048B2_000046t.gif

【数46】
JP0004631048B2_000047t.gif

と表される。
【0111】
ここで、第1の実施形態の場合と同様に、校正後の魚眼レンズ22の画像中心Oの座標をC(xL,c,yL,c)とし、校正後の魚眼レンズ23の画像中心Oの座標をC(xR,c,yR,c)とし、式(25)の逆関数をηとすると、式(34)が成り立つ。以上のことからu,v,sは、xL,c,yL,c,kL,1、kL,3、kL,5の関数か、又は、xR,c、yR,c、kR,1、kR,3、kR,5の関数になる。
【0112】
また、球面画像上の点mに対応する実空間での特徴点Mの第1の画像座標系S上の位置ベクトルを、
【数47】
JP0004631048B2_000048t.gif

とする。そして、図15に示すように、回転行列R及び並進行列Tによって第1の画像座標系Sに変換できる3次元座標系を世界座標系Sとする。回転行列Rは、j,j,jをベクトルとしたとき、
【数48】
JP0004631048B2_000049t.gif

であり、並進行列Tは、
【数49】
JP0004631048B2_000050t.gif

である。このとき、Nを、[Xw,Yw,Zw,1]とすると、
【数50】
JP0004631048B2_000051t.gif

が成りたつ。
【0113】
また、球面画像上の点の位置ベクトルをmとし、ρを(X+Y+Z1/2とすると、
【数51】
JP0004631048B2_000052t.gif

が成り立つ。これは、特徴点Mが球面視覚センサー20よりも十分遠くに位置していれば、位置ベクトルmと位置ベクトルMとがほぼ一致することを示している。従って、式(51)より、
【数52】
JP0004631048B2_000053t.gif

となる。これにより、以下の2つの方程式が得られる。
【数53】
JP0004631048B2_000054t.gif

【数54】
JP0004631048B2_000055t.gif

式(53)及び式(54)において、Mwiは、世界座標系Sでのi番目の特徴点Mの座標である。
【0114】
u、v、sは、点mの位置に応じて、すなわち、魚眼レンズ22によって撮像された点か、魚眼レンズ23によって撮像された点かに応じてxL,c,yL,c,kL,1、kL,3、kL,5の関数か、又は、xR,c、yR,c、kR,1、kR,3、kR,5であることから、式(53)及び式(54)には、{xL,c,yL,c,kL,1、kL,3、kL,5,xR,c、yR,c、kR,1、kR,3、kR,5,RLR,R,T}が含まれており、結果として、19個の未知数が含まれることになる。
【0115】
しかしながら、撮像する特徴点Mの数を増やすことによって、この未知数の数(ここでは、19個)よりも多くの方程式を得ることができるので、未知数を決定できる。そこで、評価関数Cを
【数55】
JP0004631048B2_000056t.gif

と設定し、式(55)を最小にするように上記の未知数を決定することで各パラメータを校正することができる。
【0116】
次に、上記方法を利用して撮像装置10Cにおいて撮像系パラメータを校正する方法をより具体的に説明する。
【0117】
先ず、球面視覚センサー20より十分大きい校正用ボックス60を用意する。この校正用ボックス60としては、例えば、立方体の箱の内面に特徴点としてのLEDを格子状に配置したものが考えられる。この校正用ボックス60内に球面視覚センサー20を支持棒61などによって配置し、球面視覚センサー20によって特徴点Mを撮像する(像取得工程)。これによって、第1及び第2の被写体像31,32には、特徴点Mに対応する像が形成されることになる。
【0118】
そして、画像変換部43は、取得された第1及び第2の被写体像31,32から、校正前の(換言すれば、校正前の)画像中心O,O及び焦点距離f,fに基づいて第1及び第2の半球面画像を形成する(画像変換工程)。ここで、校正部45Cは、画像変換部43で形成された第1の半球面画像内の点mを式(34)及び式(35)を利用して校正後の画像中心C(xL,c,yL,c)、放射歪みパラメータkL,1、kL,3L、kL,5の関数に変換する。また、第2の半球面画像内の点mを校正後の画像中心C(xR,c,yR,c)、及び、放射歪みパラメータkR,1、kR,3、kR,5の関数に変換する。
【0119】
次いで、そのようにして変換された第1及び第2の半球面画像に対して、画像形成部44は、変換行列RLRを利用して第2の半球面画像を第1の画像座標系Sで表すことによって球面画像を形成する(画像形成工程)。
【0120】
このように球面画像が形成されると、言い換えれば、第1の画像座標系Sにおいて、第1及び第2の半球面画像が一緒に表されると、校正部45Cは、式(55)に示した評価関数Cを設定して、例えば、ラグランジュ未定乗数法によって、評価関数Cを最小にする{xL,c,yL,c,kL,1,kL,3,kL,5,xR,c,yR,c,kR,1,kR,3,kR,5,RLR}を決定する。
【0121】
この際、上記の未知数は、魚眼レンズ22に関する未知数{xL,c,yL,c,kL,1,kL,3,kL,5}と魚眼レンズ23に関する未知数{xR,c,yR,c,kR,1,kR,3,kR,5}と変換行列RLRに分けられるので、先ず、魚眼レンズ22,23に関するパラメータを決定したのち、変換行列RLRを決定してもよい。
【0122】
そして、校正部45Cは、算出された{xL,c,yL,c,kL,1,kL,3,kL,5,xR,c,yR,c,kR,1,kR,3,kR,5,RLR}をパラメータ格納部42に入力する。これによって、画像中心O,O及び焦点距離f,f及び相対姿勢情報としての変換行列RLRが校正されることになる(校正工程)。
【0123】
上記校正方法では、校正用ボックス60を1回撮像することによって、画像中心O、O、焦点距離f,f及び相対姿勢情報が校正されることから、校正時間をより短くすることができる。また、3次元状に配列された特徴点Mを利用しているので、球面視覚センサー20を構成している魚眼レンズ22,23のように画角が180度で互いの視野に重なりがない場合でも確実に構成することが可能である。
【0124】
また、例えば、従来の校正方法のように、いわゆる中心射影モデルによって校正する場合、3次元状に配列された特徴点を同様に扱えない、言い換えれば、全ての特徴点に対して同じ式を適用することができない。しかしながら、前述した球面視覚センサー20の撮像系パラメータを校正する方法では、球面画像を利用して校正する(すなわち、球面射影モデルによって校正する)ため、全天周に位置する特徴点Mを同様に扱うことができる。したがって、全ての特徴点Mに対して同じ評価関数Cを適用することで撮像系パラメータを校正できる。その結果として、校正が容易であると共に、同じ式を利用するのでより正確に校正できる。
【0125】
以上のようにして、校正された撮像系パラメータを利用して撮像装置10Cによって球面画像を形成する方法は、撮像装置10Aの場合と同様である。そして、球面視覚センサー20の構成も第1の実施形態の場合と同様であるので、同じ効果を有する。
【0126】
すなわち、同一時刻における被写体の球面画像を得ることができ、その結果として、動的な環境の撮像にも好適に利用することが可能である。また、魚眼レンズ22,23は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。
【0127】
そして、撮像装置10Cは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用でき、球面視覚センサー20を小型化することによって、胃カメラなどにも利用できることも撮像装置10Aの場合と同様である。
【0128】
以上、本発明に好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、図16に示すような撮像装置10Dの構成にしてもよい。撮像装置10Dが有する球面視覚センサー80は、一対の魚眼レンズ22,23からなる像形成部21の外側に撮像手段26が配置されている点で、球面視覚センサー20の構成と相違する。
【0129】
撮像手段26は、例えば、魚眼レンズ22,23の第1及び第2の湾曲面22a,23aに固定された断面が台形形状の収容部81内に配置されていればよい。像形成部21の外面は光を通すので、このような構成でも確実に第1及び第2の被写体像31,32を取得することが可能である。また、このように収容部81を設けることで、例えば、球面視覚センサー80を移動ロボットなどに容易に取り付けられることになる。
【0130】
また、撮像手段26は、第1の通信部28を有するとしたが、例えば、図16に示した撮像装置10Dの構成の場合には、撮像手段26には第1の通信部28を設けなくてもよい。その場合には、撮像素子27と画像形成手段40とを、例えば、電気的に接続することが考えられる。
【0131】
更に、像形成部21の形状は球状としたが、像形成部21は、断面が楕円形状になっていてもよい。更にまた、第1及び第2の実施形態で説明した撮像系パラメータの構成方法は、図17に示すように、互いに離れた2つの魚眼レンズ91,92から構成される撮像装置10Eに対しても適用できる。撮像装置10Eの構成では、全天周球面画像を得るため、第1及び第2の結像手段としての魚眼レンズ91,92の画角wは、185度程度有ることが好ましい。
【0132】
更にまた、第1~第3の実施形態では、魚眼レンズ22,23の結像特性は、式(21)で表されるとしたが、式(24)で表される結像特性を有すればよい。
【0133】
また、第1の実施形態において説明した撮像系パラメータの校正方法においては、式(26)~式(28)を利用して焦点距離f,fを校正した、言い換えれば、放射歪みパラメータkを算出したが、焦点距離f,fは式(21)を利用して次のようにして校正してもよい。
【0134】
先ず、魚眼レンズ22の焦点距離fの校正方法について説明する。ここでは、校正部45Aは、画像中心Oを校正したものとして説明する。画像中心Oからの消失点V,Vまでの距離rL,1,rL,2は、式(21)を利用すると、
【数56】
JP0004631048B2_000057t.gif

【数57】
JP0004631048B2_000058t.gif

が成り立つ。なお、画像中心Oは校正されているので、rL,1及びrL,2は、校正された画像中心Oからの消失点V,Vまでの距離である。そして、θL,1及びθL,2に対しては、式(28)が成り立つ。
【0135】
L,1及びrL,2は、撮像素子27の受光面27a上の点の位置(対応する画素の位置)で決まるので、式(56)、式(57)及び式(28)より、焦点距離fを決定することができる。すなわち、校正部45Aは、魚眼レンズ22の校正された画像中心Oと、その画像中心Oからの消失点V,Vまでの距離とによって焦点距離fを校正する。魚眼レンズ23の焦点距離fについても同様にして校正できるので、焦点距離fの校正方法については説明は省略する。このようにして校正された画像中心O及び焦点距離fに基づいて相対姿勢情報としての変換行列RLRを算出する方法は、第1の実施形態で説明した通りである。
【0136】
画像中心O及び画像中心Oからの消失点V,Vまでの距離とに焦点距離fを校正する方法の場合も、rがfθで表される等距離射影方式や、rがfsinθで表される正射影方式や、rが2ftan(θ/2)で表されるステレオ射影方式に対しても適用できる。
【0137】
また、更に、第3の実施形態において校正用ボックス60は、立方体の内面にLEDを3次元状に配列したものを例示したが、例えば、図18に示すような校正用ボックス100でもよい。図18では、説明のために立方体としての校正用ボックス100の半分(3面で構成される部分)を示している。図18では、校正用ボックス100の内面は、黒と白の市松模様になっている。この場合、黒及び白の正方形の角を特徴点とすることができる。
【産業上の利用可能性】
【0138】
本発明に係る撮像装置は、例えば、警備システムでの監視センサーや、移動ロボットや製造ロボットの周辺認識装置に好適に利用することができる。更に、発掘現場や災害箇所などの狭隘箇所での撮影システムとしての利用も考えられる。更にまた、胃カメラやカプセル型の内視鏡としても利用可能である。そして、本発明に係る撮像系パラメータの校正方法は、上記のように利用する撮像装置の校正に好適に適用できる。
【図面の簡単な説明】
【0139】
【図1】本発明に係る撮像装置で形成される球面画像を示す模式図である。
【図2】魚眼レンズの結像特性を示す模式図である。
【図3】本発明に係る撮像装置の一実施形態の構成の概略を示す概略構成図である。
【図4】撮像手段によって取得される第1及び第2の被写体像の模式図である。
【図5】第1及び第2の画像座標系を示す模式図である。
【図6】一対の消失点を含む第1の被写体像の模式図である。
【図7】直線パターンを含む校正用チャートの構成を示す概略構成図である。
【図8】異なる角度で撮像された直線パターンの第1の被写体像の図である。
【図9】撮像装置を回転させながら撮像された直線パターンの第1の被写体像の図である。
【図10】本発明に係る撮像装置の他の実施形態の構成の概略を示す概略構成図である。
【図11】実空間での直線パターンの球面画像における投影像を示す模式図である。
【図12】一対の魚眼レンズの視野内に配置された直線パターンの球面画像における投影像を示す模式図である。
【図13】本発明に係る撮像装置の更に他の実施形態の構成の概略を示す概略構成図である。
【図14】校正用ボックスの構成を示す模式図である。
【図15】第1の画像座標系と世界座標系との位置関係を示す模式図である。
【図16】本発明に係る撮像装置の更に他の実施形態の構成の概略を示す概略構成図である。
【図17】本発明に係る撮像系パラメータの校正方法を適用可能な撮像装置の他の形態の構成を示す概略構成図である。
【図18】校正用ボックスの構成の一例の構成を示す図である。
【符号の説明】
【0140】
3…光軸,5…像面,10A,10B,10C,10D,10E…撮像装置、21…像形成部、22,91…魚眼レンズ(第1の結像手段)、23,92…魚眼レンズ(第2の結像手段)、22a…第1の湾曲面、22b…第1の結像手段の中心線、23a…第2の湾曲面、23b…第2の結像手段の中心線、24…像形成部の中心部、25…光路変更素子、26…撮像手段、31…第1の被写体像、32…第2の被写体像、40…画像形成手段、51…直線パターン。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17