TOP > 国内特許検索 > 撮像装置及び撮像系パラメータの校正方法

撮像装置及び撮像系パラメータの校正方法 新技術説明会

国内特許コード P06P004097
掲載日 2006年9月1日
出願番号 特願2005-036989
公開番号 特開2006-222920
登録番号 特許第4631048号
出願日 平成17年2月14日(2005.2.14)
公開日 平成18年8月24日(2006.8.24)
登録日 平成22年11月26日(2010.11.26)
発明者
  • 李 仕剛
出願人
  • 学校法人岩手大学
発明の名称 撮像装置及び撮像系パラメータの校正方法 新技術説明会
発明の概要

【課題】同一時刻における全天周の画像情報を取得可能な撮像装置、及び、その撮像装置に好適に適用できる撮像系パラメータの校正方法を提供する。
【解決手段】 撮像装置10Aは、外面が入射面としての第1及び第2の湾曲面22a,23aとなっている第1及び第2の結像手段22,23が結合されることによって構成される中空の像形成部21と、像形成部の中心部24に配置されると共に第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子25と、第1及び第2の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第1及び第2の被写体像31,32を共に撮像する撮像手段26とを備える。そして、撮像装置が有する第1及び第2の結像手段は、第1及び第2の湾曲面に入射する入射光線を像形成部の中心部に集光する。
【選択図】図3

従来技術、競合技術の概要


周囲360度の全天周画像を撮像する方法として、例えば、特許文献1に記載の撮像装置を用いた方法がある。特許文献1に記載の撮像装置は、魚眼レンズの光軸を中心とした全視野方向に、その光軸を基準として少なくとも各方向90度の画角を有する魚眼レンズを有する。特許文献1に記載の手法では、空間を1つの球体と考えた際に、その中心に上記撮像装置を配置し、まず、球体のうちの一方向の半球体の画像を取得する。次に、撮像装置を180度回転させて反対方向の半球体の画像を取得する。このようにして取得した2つの画像を結合して球面画像を形成する。

【特許文献1】特開2000-221391号公報

産業上の利用分野


本発明は、撮像装置及び撮像系パラメータの校正方法に関するものである。

特許請求の範囲 【請求項1】
外面が入射面としての第1の湾曲面となっている第1の結像手段と外面が入射面としての第2の湾曲面となっている第2の結像手段とが結合されることによって構成される中空の像形成部と、
前記像形成部の中心部に配置される光路変更素子と、
前記第1の結像手段によって結像される第1の被写体像と前記第2の結像手段によって結像される第2の被写体像とを共に撮像する撮像手段と、
を備え、
前記第1及び第2の結像手段は、前記第1及び第2の湾曲面に入射する入射光線を前記像形成部の前記中心部に集光し、
前記光路変更素子は、前記第1及び第2の結像手段の各々に入射した入射光線の光路を変更して前記撮像手段に入射させ、
前記撮像手段は、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第2の被写体像とを共に撮像することを特徴とする撮像装置。

【請求項2】
前記第1及び第2の被写体像から、前記第1及び第2の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、
前記画像形成手段は、
前記第1及び第2の結像手段が有する焦点距離をf(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心Oを原点として有すると共に前記像面に対応するX平面を有する3次元座標系を第1及び第2の画像座標系としたとき、前記第1及び第2の被写体像に含まれる画像情報を、前記第1及び第2の画像座標系の前記画像中心Oを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する画像変換部と、
前記画像変換部において得られた第1及び第2の半球面画像を、前記第1の画像座標系と前記第2の画像座標系の相対姿勢情報に基づいて結合することによって前記球面画像を形成する画像形成部とを備えることを特徴とする請求項1に記載の撮像装置。

【請求項3】
前記画像形成手段は、
前記相対姿勢情報、前記画像中心O及び前記焦点距離fを校正する校正部を更に備え、
前記画像変換部は、前記校正部によって校正された画像中心O及び焦点距離fに基づいて前記第1及び第2の被写体像を第1及び第2の半球面画像に変換し、
前記画像形成部は、前記画像変換部で得られた前記第1及び第2の半球面画像を、前記校正部で校正された相対姿勢情報に基づいて結合して前記球面画像を形成することを特徴とする請求項2に記載の撮像装置。

【請求項4】
前記第1及び第2の結像手段のそれぞれの中心線と前記第1及び第2の結像手段に入射する入射光線とのなす角度をθとし、前記第1及び第2の結像手段に入射した前記入射光線と前記像面との交点に対応する前記X平面上の点の前記画像中心Oからの距離をrとし、前記焦点距離fに依存しており前記距離rの歪みパラメータをkとしたとき、前記距離rが、
【数式1】


と表されており、前記校正部は、式(1)のうちの2N-1(Nは、2以上の整数)次までの項を選択した、
【数式2】


を利用して、前記画像中心O、前記焦点距離f及び前記相対姿勢情報のうちの少なくとも一つを校正することを特徴とする請求項3に記載の撮像装置。

【請求項5】
入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手段と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、前記第1の結像手段と前記第2の結像手段との間に配置されると共に前記第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備え、
前記第1及び第2の結像手段が有する焦点距離をf(Iは、第1の結像手段に対してL,第2の結像手段に対してR、以下同様とする)、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心Oを原点として有すると共に前記像面に対応するX平面を有する3次元座標系を第1及び第2の画像座標系とし、前記第1及び第2の結像手段のそれぞれの中心線と前記第1及び第2の結像手段に入射する入射光線とのなす角度をθとし、前記第1及び第2の結像手段に入射した前記入射光線と前記像面との交点に対応する前記X平面上の点の前記画像中心Oからの距離をrとし、前記焦点距離fに依存しており前記距離rの歪みパラメータをkとしたとき、前記距離rが、
【数式3】


で表される撮像装置に対して適用され、
前記画像中心O、前記焦点距離f、及び、前記第1の画像座標系と前記第2の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、
前記パラメータ校正工程は、前記画像中心O、前記焦点距離f、及び、前記相対姿勢情報のうちの少なくとも1つを、式(3)のうち2N-1(Nは、2以上の整数)次の項までを選択した、
【数式4】


を利用して校正することを特徴とする撮像系パラメータの校正方法。

【請求項6】
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
3つ以上の前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて前記画像中心を校正する画像中心校正工程と、
N個以上の前記第1及び第2の被写体像に含まれる消失点の前記第1及び第2の画像座標系における位置座標、及び、式(4)を利用して前記焦点距離fを校正する焦点距離校正工程と、
3つ以上の前記第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、前記第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする請求項に記載の撮像系パラメータの校正方法。

【請求項7】
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
前記像取得工程で取得された前記第1及び第2の被写体像の画像情報を、前記第1及び第2の画像座標系での前記画像中心Oを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する第1の画像変換工程と、
式(4)の逆関数をη(r;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θを、
【数式5】


とし、前記第1及び第2の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)、実空間での直線パターンの投影像内の点の前記X平面における位置座標を(x,y)とし、前記距離rを、
【数式6】


とし、φを、
【数式7】


とし、式(5)~式(7)に基づいて表されると共に前記第1及び第2の半球面画像が有する前記直線パターンの投影像を含む平面の法線ベクトルnが、前記第1及び第2の画像座標系が有するZ軸となす角度をθInとし、前記法線ベクトルnがX軸となす角度をφInとし、前記平面の方程式に基づいた評価関数ξ1
【数式8】


としたとき、式(8)を最小にするようにxI,c、yI,c、kI,1~kI,2i-1を決めることによって内部パラメータとしての前記画像中心O及び前記焦点距離fを校正する内部パラメータ校正工程と、
前記撮像手段によって同時に取得された一対の第1及び第2の被写体像の画像情報を、前記内部パラメータ校正工程で校正された前記画像中心Oを中心とする半球体の表面に有する第1及び第2の半球面画像に変換する第2の画像変換工程と、
前記第2の画像変換工程で得られた第1の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnとし、前記第2の画像変換工程で得られた第2の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをnとし、校正された前記画像中心Oを原点とする前記第2の画像座標系から前記第1の画像座標系への変換行列をRLRとし、評価関数ξ2を、
【数式9】


としたとき、式(9)を最小にする変換行列RLRを決定することによって前記相対姿勢情報を校正する相対姿勢情報校正工程とを備えることを特徴とする請求項に記載のパラメータの校正方法。

【請求項8】
前記パラメータ校正工程は、
前記第1及び第2の被写体像を取得する像取得工程と、
前記第1及び第2の被写体像の画像情報を、前記第1及び第2の画像座標系での前記画像中心Oを中心とした半球体の表面に有する第1及び第2の半球面画像に変換する画像変換工程と、
式(4)の逆関数をη(r;kI,1~kI,2i-1)(ただし、iは、Nまでの2以上の整数)として、θを、
【数式10】


とし、前記第1の結像手段の校正後の画像中心の位置座標を(xI,c,yI,c)とし、前記第1及び第2の被写体像に含まれる点の前記X平面での位置座標を(x,y)とし、前記距離rを、
【数式11】


とし、φを、
【数式12】


としたときに、前記第1及び第2の半球面画像のうち前記位置座標(x,y)に対応する点の位置ベクトルmを、
【数式13】


とし、前記第2の画像座標系から前記第1の画像座標系への変換行列をRLRとしたとき、前記第2の画像座標系で表される位置ベクトルmを、前記変換行列RLRによって前記第1の画像座標系で表すことによって前記第1の画像座標系で表される球面画像を形成する画像形成工程と、
前記画像形成工程において形成された前記球面画像上の点mの位置ベクトルを、
【数式14】


としたとき、点mに対応する実空間の点をMとし、前記第1の画像座標系に回転行列R
【数式15】


及び、並進行列T
【数式16】


を利用して変換できる3次元座標系としての世界座標系における前記点Mの位置ベクトルを、
【数式17】


として、N
【数式18】


とし、評価関数Cを、
【数式19】


としたとき、式(19)を最小にするxI,c、yI,c、kI,1~kI,2i-1(ただし、iはNまでの2以上の整数)及び変換行列RLRを決定することによって、前記画像中心O、前記焦点距離f及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする請求項に記載の撮像系パラメータの校正方法。

【請求項9】
入射面としての第1の湾曲面を有すると共に180度以上の画角を有する第1の結像手と、入射面としての第2の湾曲面を有すると共に180度以上の画角を有する第2の結像手段と、前記第1の結像手段と前記第2の結像手段との間に配置されると共に前記第1及び第2の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第1の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第1の被写体像と前記第2の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第2の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、
前記第1及び第2の被写体像を取得する像取得工程と、
3つ以上の前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点に基づいて、前記第1及び第2の結像手段の光軸と前記第1及び第2の結像手段の像面との交点に対応する画像中心O(Iは、第1の結像手段に対してはL、第2の結像手段に対してはR、以下同様とする)を校正する画像中心校正工程と、
前記画像中心校正工程で校正された前記画像中心O、及び、前記第1及び第2の被写体像にそれぞれ含まれる一対の消失点の前記画像中心Oからの距離を利用して、前記第1及び第2の結像手段の焦点距離fを校正する焦点距離校正工程と、
3つ以上の前記第1及び第2の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、画像中心Oを原点として有すると共に前記第1及び第2の結像手段の像面に対応するX平面を有する3次元座標系としての第1及び第2の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする撮像系パラメータの校正方法。
産業区分
  • テレビ
  • 写真映画
  • 工業用ロボット
  • 計算機応用
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2005036989thum.jpg
出願権利状態 権利存続中
岩手大学地域連携推進センターでは、岩手大学における知的財産の創出・管理・活用のマネジメントをしております。上記の特許等にご興味がありましたら、下記問い合わせ先にご相談ください。


PAGE TOP

close
close
close
close
close
close
close