TOP > 国内特許検索 > 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 > 明細書

明細書 :対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4521568号 (P4521568)
公開番号 特開2006-350553 (P2006-350553A)
登録日 平成22年6月4日(2010.6.4)
発行日 平成22年8月11日(2010.8.11)
公開日 平成18年12月28日(2006.12.28)
発明の名称または考案の名称 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
国際特許分類 G06T   1/00        (2006.01)
G01B  11/24        (2006.01)
G01C  11/06        (2006.01)
G06T   7/00        (2006.01)
G01C   3/06        (2006.01)
FI G06T 1/00 315
G01B 11/24 A
G01C 11/06
G06T 7/00 C
G06T 7/00 200Z
G01C 3/06 110V
G01C 3/06 140
請求項の数または発明の数 10
全頁数 31
出願番号 特願2005-174118 (P2005-174118)
出願日 平成17年6月14日(2005.6.14)
審査請求日 平成19年7月11日(2007.7.11)
特許権者または実用新案権者 【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
発明者または考案者 【氏名】小野 徹
【氏名】大谷 憲雄
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人原謙三国際特許事務所
審査官 【審査官】佐田 宏史
参考文献・文献 特開平6-231249(JP,A)
特開平9-288733(JP,A)
特開2002-366953(JP,A)
調査した分野 G06T 1/00, 7/00
G01B 11/00,11/24
G01C 3/06,11/06
特許請求の範囲 【請求項1】
計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索方法において、
各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得処理と、
各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出処理と、
抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出処理と、
取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定処理とを含むことを特徴とする対応点探索方法。
【請求項2】
抽出した画素領域の非対称性の特徴を認識する非対称性認識処理をさらに含み、
前記判定処理では、さらに、認識した非対称性の特徴に基づいて前記判定を行うことを特徴とする請求項1記載の対応点探索方法。
【請求項3】
請求項1又は2記載の対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、
特定された対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定処理とを含むことを特徴とする相互標定方法。
【請求項4】
請求項1又は2記載の対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、
特定された対応点の各撮影画像における座標に基づいて、前方交会法により対応点の3次元座標を算出する3次元計測処理とを含むことを特徴とする3次元画像計測方法。
【請求項5】
計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索装置において、
各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得手段と、
各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出手段と、
抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出手段と、
取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定手段とを備えることを特徴とする対応点探索装置。
【請求項6】
抽出した画素領域の非対称性の特徴を認識する非対称性認識手段をさらに備え、
前記判定手段は、さらに、認識した非対称性の特徴に基づいて前記判定を行うことを特徴とする請求項5記載の対応点探索装置。
【請求項7】
請求項5又は6記載の対応点探索装置と、
対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定手段とを備えることを特徴とする相互標定装置。
【請求項8】
請求項5又は6記載の対応点探索装置と、
対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、前方交会法により対応点の3次元座標を算出する3次元計測手段とを備えることを特徴とする3次元画像計測装置。
【請求項9】
請求項5又は6記載の対応点探索装置をコンピュータにより実現するための対応点探索プログラムであって、コンピュータを前記各手段として機能させるための対応点探索プログラム。
【請求項10】
請求項9記載の対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点探索に関するものである。
【背景技術】
【0002】
従来、土木分野などにおいて利用される計測手法として、3次元画像計測が知られている。「3次元画像計測」とは、計測対象を様々な方向からデジタルカメラで重複撮影し、前方交会法(例えば、非特許文献1参照)によって計測対象の3次元形状を求める技術である。
【0003】
上記前方交会法によって計測対象の3次元形状を求めるためには、相互標定(単に「標定」ともいう)を行う必要がある。「相互標定」とは、重複撮影した各撮影画像間での対応点の、各撮影画像上での画像座標に基づいて、各撮影画像間の相対的な位置関係(平行移動及び回転)を求めることをいう。「対応点」とは、各撮影画像において、計測対象のうちの同一部位が投影された点のことである。
【0004】
したがって、相互標定を行うためには、まず、各撮影画像において対応点を特定しておく必要があり、実際には、少なくとも5点以上の対応点を特定しておく必要がある。このように対応点を特定するための作業を、「対応点探索」と称する。
【0005】
なお、対応点探索は、上記相互標定のみならず、前方交会法により計測対象の3次元形状を求める際にも利用される。上記対応点のうち、相互標定を行うために用いるものを、特に「標定点」とも称し、標定点を特定するための作業を「標定点探索」とも称する。
【0006】
対応点探索や標定点探索を自動的に行うための手法として、非特許文献2に開示されているようなステレオ視や、非特許文献3に開示されているような最小2乗相関法を利用する技術、非特許文献4に開示されているような、直線状の像の投影関係をもとに自動標定を行う技術がある。
【0007】
また、工業製品などの精密画像計測では、特殊なターゲットを用いて標定点探索の自動化を行うのが一般的である。この技術は、非特許文献5に開示されている。このような工業計測において用いられる円形ターゲットについて、楕円パラメータの計算方法を示した非特許文献6も存在する。

【非特許文献1】「情報化施工のためのデジタル画像計測法に関する研究」秋本 圭一 著 京都大学工学研究科土木システム工学専攻博士論文 2002年3月 p.120-123
【非特許文献2】「コンピュータビジョン 技術評論と将来展望」松山 隆司ほか著 新技術コミュニケーションズ 1998年6月15日発行 p.123-137
【非特許文献3】「最小2乗相関法による相互標定点の対話的精密計測」服部 進ほか著 電子情報通信学会論文誌 Vol.179-D-II No.9 1996 p.1484-1491
【非特許文献4】「動画像を用いた歴史的建造物の効率的モデリング手法に関する研究」國井 洋一ほか著 日本写真測量学会平成15年度秋季学術講演会発表論文 p.59-62
【非特許文献5】「ターゲットの自動ラベリング-コード付きターゲットを使った工業計測の自動化」小野 徹ほか著 日本写真測量学会平成11年度年次学術講演会発表論文集 1999年5月 p.289-292
【非特許文献5】「円形ターゲットの自動認識と高精度計測」小野 徹ほか著 日本写真測量学会平成13年度年次学術講演会発表論文集 2001年6月 p.159-162
【発明の開示】
【発明が解決しようとする課題】
【0008】
しかしながら、非特許文献2に開示されているステレオ視は、既に相互標定が行われていることを前提としているため、重複撮影の際の各撮影画像の位置や方向が概算値でしか与えられない場合に適用することは困難である。
【0009】
また、非特許文献3に開示されている技術は、空中写真測量のように、標定要素の初期値の精度が比較的高いこと、及びほぼ直角撮影を行っており飛行高度に対して地形の標高差は充分小さくほぼ平面とみなして処理することができること、という好条件を前提にしたものであるため、一般的な画像計測に適用しても全く役に立たない。
【0010】
また、非特許文献4に開示されている技術は、人工的な強い直線形状を持つ物体が少ない土木分野においてはそのまま適用することができない。しかも、このようなエッジを用いる方法には、エッジ位置の曖昧さにより高い精度での標定が行えないという弱点もある。とりわけ野外での計測では、天候や時間帯により対象の明るさや影のでき方が異なり、撮影時の環境によってエッジの位置が大きく変化するため、安定した計測ができない。そのため、計測を目的としないコンピュータビジョンの分野では適用可能であっても、計測を目的とする分野には適用できない。
【0011】
また、特殊なターゲットを用いて標定点探索の自動化を行う技術では、規模が大きく、近づくことが危険であったり、立ち入ることが許されなかったりする計測対象を扱う土木分野での計測では、ターゲットを設置することが困難である場合が多い。
【0012】
そのため、特に土木分野において利用される計測では、特殊なターゲットを用いずに標定を行うことのできる技術が切望されている。
【0013】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、特殊なターゲットを用いることなく、土木分野においても好適に利用できる対応点探索を実現することにある。
【課題を解決するための手段】
【0014】
本発明に係る対応点探索方法は、計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索方法であって、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得処理と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出処理と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出処理と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定処理とを含むことを特徴としている。
【0015】
また、本発明に係る対応点探索装置は、計測対象を互いに異なる方向から重複撮影することによって得られた複数の撮影画像間の対応点を探索する対応点探索装置であって、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得手段と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出手段と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出手段と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定手段とを備えることを特徴としている。
【0016】
上記の方法及び構成では、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する。なお、エピポーラ拘束条件は、後述する、対応点であるか否かの判定における判定基準の1つであり、実際の判定には後述する楕円パラメータを用いた基準も利用されるので、必ずしも厳密に求められる必要はない。したがって、上記相互標定要素の概算値にも、ある程度の誤差が含まれていてもよい。
【0017】
一方、上記の方法及び構成では、複数の撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する。目立つ対象物は、その周辺の色とは異なる色を示しており、撮影画像データの色情報に基づいて撮影画像において領域分離可能な物体であればよい。したがって、計測対象にもともと含まれている物体を目立つ対象物とすることができ、例えば、洪水により押し流された土砂の堆積形状を計測対象とした場合には、褐色の土砂に混じって点在する白っぽい色の石を対象物とすることができる。
【0018】
そして、抽出した画素領域に含まれる画素の位置情報に基づくことにより、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する。楕円パラメータとは、楕円の中心座標、撮影画像における楕円の傾き、楕円の長半径、及び楕円の短半径を意味する。楕円の中心座標は、抽出した画素領域の重心として求めることができ、撮影画像における楕円の傾き、楕円の長半径、及び楕円の短半径は、画素領域の画素の分布状態に対する主成分分析を用いて求めることができる。
【0019】
そして、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する。この判定は、次のようにして行うことができる。
【0020】
すなわち、取得した撮影条件の相互標定要素の概算値と、各撮影画像において抽出された画素領域に関する楕円の中心座標とにより、エピポーラ拘束条件を満たしているか否かを判定し、各撮影画像において抽出された画素領域に関する楕円パラメータが所定の関係式を満たしているか否かを判定し、これら両方を満たす場合に、各撮影画像において抽出された画素領域に対応関係があるものと判定することができる。対応関係があるものと判定できれば、それぞれの画素領域に関連する点(例えば、当該画素領域に関して算出された楕円パラメータの中心座標)を対応点として特定することができる。
【0021】
ここで、楕円を用いて対応関係の判定を行っている理由は次のとおりである。
【0022】
点を用いる場合には、得られる情報は撮影画像における座標情報のみとなり、対応関係の判定に利用できる幾何学的条件はエピポーラ拘束条件のみとなり、通常、エピポーラ拘束条件を満たす点は多数存在することになるため、対応関係の絞り込みはできたとしても、最終的に対応関係の有無を判定することは困難である。
【0023】
一方、直線を用いる場合には、撮影画像における座標情報に加えて方向情報を得ることができる。しかし、対象物の3次元空間における傾きにより対応する撮影画像における直線の像の傾きは変化する。一般に、対象物の傾きは未知であるから、傾きの対応関係を得ることはできない。したがって、この場合も、対応関係の判定に利用できる幾何学的条件はエピポーラ拘束条件のみとなる。
【0024】
円錐を切ってできる曲線を用いる場合には、対応関係を判定するために有効な幾何学的条件の存在が知られているが、実用上はそのような曲線を特定することは極めて困難であるため、このような曲線を用いることは現実的ではない。
【0025】
これに対して、楕円を用いる場合には、楕円の中心座標に基づくエピポーラ拘束条件に加えて、楕円パラメータを判定基準とすることができるので、対応関係の有無をより的確に判定できる。楕円パラメータを判定基準とすることができる理由は次のとおりである。
【0026】
対象物の形状が楕円で表されるとすると、画像に対するその正射投影像もまた楕円である。正射投影とは平行な光線による画像への垂直な投影である。ただし、その際に像の拡大縮小も伴うため、単なる平行投影ではない。実際の投影は中心投影であり、対象物から画像へ投影される際の光線も画像に垂直に投影されるわけではないので、実画像から正射投影画像への変換が必要である。投影像が楕円であれば実画像から正射投影像への変換は容易である。
【0027】
対象物の三次元空間における傾きが既知である場合、正射投影像上の楕円形状からその対象物を表す楕円形状を一意に決定することができる。対象物の傾きが未知である場合には、ひとつの正射投影像上の楕円形状から対象物の楕円形状を特定することはできないが、異なる方向から撮影した複数の重複撮影画像が存在するなら、それぞれの楕円形状の逆投影像が特定の対象平面上で交会するという条件から、対象物が存在する平面の傾きが決定する。このことは、異なる方向から撮影されたそれぞれの正射投影像上の楕円同士は一定の幾何学的関係によって表すことができることを意味する。
【0028】
具体的には、両画像上における楕円が同一の対象物を表すものであれば、それぞれの楕円パラメータに関する関係式(数式20参照)が成り立つ。したがって、上記関係式が成り立つ場合には各画像上における楕円が同一の対象物を表すものと判断でき、上記関係式が成り立たない場合には各画像上における楕円が異なる対象物を表すものと判断できる。
【0029】
この関係は対象物が画像に対してほぼ平行投影されるような場合についてのみ成り立つので、対象物が十分小さいこと、撮影距離が十分離れていること、対象物が平面的であること、といった条件が満たされている必要がある。これらの条件のうち対象物が平面的であることは仮定となるが、それ以外は撮影条件や領域分割の設定の問題であるから十分クリアすることが可能である。
【0030】
以上より、上記の方法及び構成では、各撮影画像において目立つ対象物を用いることにより、的確な対応点の判定を行うことができる。
【0031】
本発明に係る対応点探索方法は、上記対応点探索方法において、抽出した画素領域の非対称性の特徴を認識する非対称性認識処理をさらに含み、前記判定処理では、さらに、認識した非対称性の特徴に基づいて前記判定を行うことが望ましい。
【0032】
また、本発明に係る対応点探索装置は、上記対応点探索装置において、抽出した画素領域の非対称性の特徴を認識する非対称性認識手段をさらに備え、前記判定手段は、さらに、認識した非対称性の特徴に基づいて前記判定を行うことが望ましい。
【0033】
対応関係のない2つの画素領域であっても、同一の楕円により表現される可能性がある。したがって、このように同一の楕円により表現されたとしても、これらの間には対応関係がないことを判定できる基準を用いることが望ましい。
【0034】
対応関係はなく、かつ、同一の楕円により表現される2つの画素領域においても、非対称性の特徴に注目することにより、これらの間に対応関係がないことを判定し得る。
【0035】
そこで、上記の方法及び構成では、抽出した画素領域の非対称性の特徴を認識し、この非対称性の特徴をも考慮して、各撮影画像において抽出された画素領域に対応関係があるか否かの判定を行う。
【0036】
これにより、誤って対応関係があると判断してしまう危険性をより低減し、より的確な対応点の判定を行うことができる。
【0037】
本発明に係る相互標定方法は、上記対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、特定された対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定処理とを含むことによって実現できる。
【0038】
また、本発明に係る相互標定装置は、上記対応点探索装置と、対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、各撮影画像の相互標定を行う相互標定手段とを備えることによって構成することができる。
【0039】
本発明に係る3次元画像計測方法は、上記対応点探索方法により各撮影画像における対応点を特定する対応点特定処理と、特定された対応点の各撮影画像における座標に基づいて、前方交会法により対応点の3次元座標を算出する3次元計測処理とを含むことによって実現できる。
【0040】
また、本発明に係る3次元画像計測装置は、上記対応点探索装置と、対応点探索装置により特定された各撮影画像における対応点の各撮影画像における座標に基づいて、前方交会法により対応点の3次元座標を算出する3次元計測手段とを備えることによって構成できる。
【0041】
本発明に係る対応点探索プログラムは、上記対応点探索装置をコンピュータにより実現するための対応点探索プログラムであって、コンピュータを前記各手段として機能させるものであり、本発明に係るコンピュータ読み取り可能な記録媒体は、上記対応点探索プログラムを記録した記録媒体である。これらによっても、上記対応点探索装置を実現することができる。
【発明の効果】
【0042】
本発明に係る対応点探索方法は、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得処理と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出処理と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出処理と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定処理とを含む方法である。
【0043】
また、本発明に係る対応点探索装置は、各撮影画像間におけるエピポーラ拘束条件を求めるために必要な、各撮影画像の相互標定要素の概算値を取得する取得手段と、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域を抽出する抽出手段と、抽出した画素領域に含まれる画素の位置情報に基づき、抽出した画素領域を楕円により表現したときの当該楕円の楕円パラメータを算出する楕円パラメータ算出手段と、取得した相互標定要素の概算値と、算出した楕円パラメータとに基づいて、各撮影画像において抽出された画素領域に対応関係があるか否かを判定する判定手段とを備える構成である。
【0044】
上記の方法及び構成では、各撮影画像において目立つ対象物を用いることにより、的確な対応点の判定を行うことができる。
【発明を実施するための最良の形態】
【0045】
本発明の実施の一形態について、図1から図23に基づいて説明すると以下の通りである。
【0046】
本実施形態は、特殊なターゲットを用いる必要のない自動標定点探索を含む、3次元画像計測に関するものである。本実施形態では、3次元画像計測の計測対象として、主に土木分野における計測を想定しているが、計測対象に後述する目立つ対象物が含まれておれば土木分野以外の分野においても適用できる。
【0047】
本標定点探索では、撮影画像中の目立つ対象物像を標定点候補像として抽出し、抽出された個々の対象物像を楕円パラメータで表現し、楕円の幾何学的な投影関係を用いて他の撮影画像内において対応する対象物像を探索する。この手法では、周辺と比べて目立ってさえいれば、その物体の形状や色に関わらず上記目立つ対象物として扱うことができ、その形状がどのような形状であっても楕円パラメータを用いることにより、その大きさ、向き、位置を表現する。また、対象物を点や線といった特徴量で表現した場合には幾何学的な条件から対応付けの判定が不十分であるが、対象物を楕円という特徴量で表現することにより、幾何学的な投影条件を対応付けの判断材料として利用することができるため、高速で高精度な対応付けが可能である。
【0048】
なお、本実施形態では、相互標定を行うために必要となる標定点を探索するための標定点探索に本発明を適用することを想定して説明しているが、相互標定がなされた後に、前方交会法により計測対象の3次元形状を算出する際の対応点探索に本発明を適用することもできる。
【0049】
〔処理の流れ及び装置構成〕
図1に示すフローチャート、及び図2に示すブロック図に基づいて、本3次元画像計測の処理の流れ、及び本3次元画像計測を行うための装置構成について説明する。
【0050】
本3次元画像計測には、デジタルカメラ1と、3次元画像計測装置2と、ディスプレイ3と、キーボード4とを用いる。
【0051】
デジタルカメラ1は、計測対象を撮影することにより、その撮影画像を示すデジタル画像データを生成するものである。
【0052】
3次元画像計測装置2は、上記撮影画像のデジタル画像データと、その撮影条件とに基づいて、計測対象の3次元形状を算出する装置である。3次元画像計測装置2は、パーソナルコンピュータなどのコンピュータにおいて所定のプログラムを実行させることによって構成することができる。このようにして構成される3次元画像計測装置2は、上記プログラムを実行させることによって実現される複数の機能ブロック、すなわち標定点候補抽出処理部(抽出手段)21、特徴表現処理部22(楕円パラメータ算出部(楕円パラメータ算出手段)22a及び非対称性認識部(非対称性認識手段)22b)、相互標定要素取得処理部(取得手段)23、標定点探索処理部(判定手段)24、相互標定処理部25、及び3次元形状処理部26を備えることになる。
【0053】
なお、標定点候補抽出処理部21、特徴表現処理部22、相互標定要素取得処理部23、及び標定点探索処理部24により標定点探索装置(対応点探索装置)5が構成され、この標定点探索装置5及び相互標定処理部25により相互標定装置6が構成される。
【0054】
また、上記上記標定点探索装置5を、対応点探索を行うための対応点探索装置として用い、この対応点探索装置と3次元形状処理部26とを組み合わせることにより、既に相互標定がなされた後に前方交会法により計測対象の3次元形状を算出する3次元画像計測装置を構成することもできる。この場合、3次元形状処理部26は、上記対応点探索装置により特定された対応点に基づいて、前方交会法により対応点の3次元座標を算出する。
【0055】
本3次元画像計測では、計測者が、デジタルカメラ1により計測対象を複数の方向から重複撮影し(ステップS1)、これにより得られた複数のデジタル画像データと、その撮影条件に関する情報とを3次元画像計測装置2に入力する(ステップS2)。上記「撮影条件に関する情報」とは、上記重複撮影によって撮影された撮影画像の間において、エピポーラ拘束条件を求めるために必要な情報であり、具体的には、撮影画像間での相対的な撮影位置及び撮影方向、並びに各撮影画像の撮影時の焦点距離に関する情報である。この情報を「相互標定要素」という。相互標定要素の入力は、キーボード4を用いて行われ、入力された相互標定要素は、3次元画像計測装置2の相互標定要素取得処理部23によって取得される。
【0056】
なお、上記重複撮影によって撮影された撮影画像の集合を「重複撮影画像」といい、重複撮影画像に含まれる各画像を「撮影画像」という。また、重複撮影画像に対応するデジタル画像データの集合を「重複撮影画像データ」といい、重複撮影画像に含まれる各画像に対応するデジタル画像データを「撮影画像データ」という。
【0057】
本3次元画像計測では、重複撮影画像を構成する各撮影画像を撮影した際のデジタルカメラ1の焦点距離は互いに同一、かつ、既知であり、レンズ歪みも補正済みであるものとする。また、各撮影画像間の撮影位置の関係及び撮影方向の関係はおおよそ把握されているものとする。そして、焦点距離、撮影位置の関係、及び撮影方向の関係は、上記相互標定要素として3次元画像計測装置2に入力される。
【0058】
3次元画像計測装置2では、重複撮影画像データが入力されると、標定点候補抽出処理部21により標定点の候補となる物体像(「標定点候補」という)の抽出処理を行う(ステップS3)。これにより、重複撮影画像の各撮影画像について標定点候補が抽出される。具体的には、各撮影画像それぞれの撮影画像データにおける色情報に基づいて、各撮影画像において目立つ対象物を示す画素領域が抽出される。そして、抽出された画素領域と、抽出されていない画素領域とを区別するように撮影画像データを2値化したマスク画像データが生成される。
【0059】
次に、特徴表現処理部22により、標定点候補抽出処理部21によって抽出された各標定点候補に関し、特徴表現処理を行う(ステップS4)。ここで、「特徴表現」とは、後述する標定点の探索処理を行うために利用される特徴量を標定点候補について算出するための処理を意味する。本3次元画像計測では、上記特徴量として、標定点候補の楕円パラメータを算出するとともに、標定点候補の非対称性を認識する。楕円パラメータは楕円パラメータ算出部22aにより算出され、非対称性は非対称性認識部22bによって認識される。
【0060】
次に、標定点探索処理部24により、特徴表現処理部22によって算出された各標定点候補の特徴量と、入力された相互標定要素とに基づいて、標定点の探索処理を行う(ステップS5)。「標定点の探索処理」とは、各撮影画像における標定点候補の中から、各撮影画像間において対応関係のあるものを探索することにより、標定点として採用する点を各撮影画像について決定する処理を意味する。
【0061】
次に、相互標定処理部25により、標定点探索処理部24によって決定された標定点の各撮影画像における座標に基づいて、撮影画像間の相互標定処理を行う(ステップS6)。「相互標定処理」とは、背景技術欄において説明したように、重複撮影画像の各撮影画像間の相対的な位置関係(平行移動及び回転)を求める処理を意味する。各撮影画像間のおおよその相対的な位置関係は、上記相互標定要素に基づいて算出することができるので、その位置関係を初期値とした非線形最小二乗法の問題として、繰り返し演算を行うことによって相互標定を行うことができる。
【0062】
次に、3次元形状処理部26により、標定点探索処理部24によって決定された標定点(対応点)と、相互標定処理部25による相互標定処理の結果とに基づいて、前方交会法によって計測対象の3次元座標を算出することにより、計測対象の3次元形状を表す3次元形状データを生成する処理を行う(ステップS7)。このとき、得られた標定点が多数の場合は、それらを補間することにより計測対象全体の3次元形状を求めることができ、得られた標定点が少数の場合でも、立体視や既存のステレオマッチング手法により3次元形状の再現が可能である。
【0063】
そして、3次元形状処理部26は、生成した3次元形状データをディスプレイ3に出力し、ディスプレイ3に表示させる(ステップS8)。
【0064】
〔各処理の内容〕
以下では、上述した処理の具体的内容を説明する。なお、ステップS1,S2,S6~S8の各処理は、従来より知られている技術を適用することにより容易に実現できるので、ここでは詳細な説明を省略することとし、本実施形態に特有のステップS3~S5について詳細に説明することとする。
【0065】
[標定点候補の抽出処理:ステップS3]
撮影画像は撮影された物体の様々な情報(大きさ、色、形状等)を有しており、これらを有効に利用することによって標定点候補の抽出を行うことができる。本3次元画像計測では、予め想定された物体の像を標定点候補とするのではなく、もともと計測対象に含まれている物体の像を標定点候補として利用するので、その大きさや形状は不明である。そこで、本3次元画像計測では、上記情報の中の色情報を利用して、撮影画像の中から目立つ物の像を標定点候補として抽出することとする。
【0066】
1.色の利用
標定点候補は、周辺の物体像から明確に区別でき、その形状や位置を安定して計測することが可能な物体像であることが望まれる。そこで、撮影画像中の色情報を利用することにより撮影画像において目立つ物体(「目立つ対象物」という)の像を標定点候補として抽出することとする。
【0067】
そのための1つの方法として、目立つ対象物に関する色情報を特定することにより、撮影画像においてその色情報を有する領域を抽出する方法が考えられる。しかし、全ての撮影画像は同じ色バランスで撮影されているわけではないので、撮影画像ごとに個別に色情報を特定する必要があり、自動抽出には適さないと考えられる。その上、ある色情報を特定して抽出するとなると、それ以外の色を持った目立つ対象物は抽出できないことになる。このため、単に色情報を特定するだけでは自動で多くの標定点候補を抽出できないと考えられる。
【0068】
目立つ対象物であると判断する際、人は、対象物とその周辺(背景)との色の違いに着目している。そこで、目立つ対象物自体の色だけに着目するのではなく、背景の色も含んで考えることにする。すなわち、背景色との違いをもとに標定点候補を抽出することとする。
【0069】
2.色の基準
背景との色の違いをもとに標定点候補を抽出するためには、基準となる背景の色が必要である。基準となる背景の色が求まれば、撮影画像における各点の色分布が基準よりもどれだけ離れているかを計算し、標準偏差をもとに閾値を求め、閾値を超える色を持つ点からなる領域を標定点候補として撮影画像から抽出することができる。
【0070】
しかし、実際の撮影画像には様々な色を持つ多種多様な物体が投影されており、基準となる背景の色を決めるためには工夫が必要である。単純に撮影画像全体の色の平均と標準偏差とを基準とした場合、一様な背景(例えば、河川の法面)の中に目立つ対象物のみが写っているような撮影画像では、安定して標定点候補を抽出できると考えられるが、撮影画像に大きな目立つ物体(例えば、人間、家、道路)が写っているような撮影画像では、大きな目立つ物体の色に影響され、基準となる、撮影画像全体の色の平均に偏りが生じ、標準偏差も大きくなるため、小さな目立つ対象物像が抽出されないおそれがある。
【0071】
標定点候補は、できるだけ多く抽出されることが望ましいので、極力安定して標定点候補を抽出できる基準を考えなくてはならない。
【0072】
そこで、撮影画像全体で考えるのではなく、撮影画像を小ブロックに分割して考えることにする。この方法であれば、一様な背景で写っているブロックでは安定して標定点候補を抽出できる。また、そうでないブロックにおいては、そのブロックをさらに細かく分割することにより一様な背景のブロックを取り出し、標定点候補を抽出すればよい。さらに、取り除いたブロックにも標定点候補が含まれているかもしれないので、別途抽出作業を行うことにすれば、撮影画像全体から安定して標定点候補を抽出できると考えられる。
【0073】
3.抽出方法
3.1 初期標準の算出
まず初めに、一様な背景で写っているブロックを探すための基準を考えなければならない。そのために、以下のような処理を行う。
(1)図3に示すように、撮影画像全体をX方向(横方向)に2分割し、各領域において色の平均を算出してそれらの差を求める。
(2)図4に示すように、撮影画像全体をY方向(縦方向)に2分割し、各領域において色の平均を算出してそれらの差を求める。
(3)上記(1)で求めた差と、上記(2)で求めた差とを比較し、差が大きい方向に分割する。
(4)分割したそれぞれの領域に対して上記(1)~(3)の過程を再度行う。
【0074】
上記のように、差が大きくなる方向に分割するのは、撮影画像を、目立つ物体を大きく含んでいない領域と、背景以外に目立つ物体を大きく含む領域とに分割しようとすることを示している。そこで、図5に示すように、撮影画像を領域aと領域bとに分割したとする。
【0075】
しかし、現段階ではどちらの領域に大きな目立つ物体があるのか不明である。そこで、分割された各領域a・bに対して、上記(1)~(3)を再度繰り返して実行することにより、図6に示すように、領域a1・a2・b1・b2に分割する。この過程により、大きな目立つ物体を含む領域では、その領域内でさらに大きな目立つ物体を含む領域とそうでない領域とに分割されたことになる。そしてさらに次の処理を行う。
(5)領域a1の色の平均と領域a2の色の平均との差と、領域b1の色の平均と領域b2の色の平均との差とを比較し、差が小さい方の領域a又は領域bを初期の標準と考え、その領域の色の平均値と標準偏差とを求める。
【0076】
図6に示すように、一様な背景で写っているであろう領域aでは、領域a1の色の平均と領域a2の色の平均との差はそれほど大きくはない。一方、大きな目立つ物体を含む領域bでは、領域b1の色の平均と領域b2の色の平均との差は大きくなる。そのため、上記差が小さい方の領域を選ぶことは、一様な背景で写っているであろう領域を選ぶことになる。これにより、図7に示すように、領域aの色の平均値Pと、標準偏差σとを、背景色の初期標準とすることにする。
【0077】
3.2 ブロック分割
背景色の初期標準がわかったので、次に、その初期標準をもとにして一様な背景で写っている小ブロックを探していく。そのために、以下のような処理を行う。
(6)撮影画像全体を小ブロックに分割し(ここでは64分割とする)、各小ブロック内の色の平均値Piを求める。
(7)分割された全ての小ブロックに対して、各小ブロック内の色の平均値Piと、背景色の初期標準である平均値Pとを比較し、平均値Piが平均値Pに近い値を持つ小ブロックを選び出す。
(8)選んだ小ブロック(「選択小ブロック」という)だけを用いて標準背景色となる平均値P’を再計算する。
【0078】
図8に示すように、平均値Pに近い平均値Piを持つ小ブロック(斜線を付したブロック)は、一様な背景で写っている小ブロックであると考えられる。そこで、これら選択小ブロックだけを用いて再度平均値P’を計算し、その値を標準背景色とする。
【0079】
3.3 標定点候補の抽出
標準背景色が求められたのでそれをもとに標定点候補を抽出していく。そのために、以下のような処理を行う。
(9)上記(8)において求めた標準背景色となる平均値P’を基準として、選択小ブロック内の各画素の色の差(マハラノビスの距離)をそれぞれ計算し、その差が所定の閾値よりも大きい画素を、標定点候補に含まれる画素として抽出する。
【0080】
ここで、「画素」とは、撮影画像において任意の色を表現するための最小単位を意味する。ここでは、RGBの3原色からなる画素を想定している。
【0081】
各画素におけるRGBの輝度値は、互いに直行する3次元座標系における座標値と考えることができる。選択小ブロック内の各画素の色は、RGBそれぞれについて分散を持つので、色の差を距離として考える場合、単純にユークリッド距離を求めるよりも、分散を考慮したマハラノビスの距離を利用する方がよい。マハラノビスの距離Dは次の式で表される。なお、次式における「1方向」、「2方向」、「3方向」は、それぞれRGB3原色の輝度値に対応する。
【0082】
【数1】
JP0004521568B2_000002t.gif

【0083】
3.4 標準色から離れたブロックの処理
選択されなかった小ブロック(「非選択小ブロック」という)内にも標定点候補が含まれている可能性もあるので、これを抽出することも別途考えていかなければならない。背景色の初期標準である平均値Pから離れた平均値Piを持つ非選択ブロックの類型としては、
(a)非選択小ブロック内に大きく目立つ物体が存在する。
(b)非選択小ブロックの色が全体的に初期標準の色からずれている。
(c)上記(a)と(b)との混合型。
が考えられる。
【0084】
このような場合、非選択小ブロック内から標定点候補を抽出する方法として、(a)の場合、大きく目立つ物体を再分割することにより取り除く、(b)の場合、非選択小ブロック内で平均値と標準偏差とを再計算する、といったことが考えられる。このことは結局、上述した(1)~(9)の処理を非選択小ブロック内において行うことになる。すなわち、非選択小ブロックにおいても、再度(1)~(9)の処理を行うことにより、上記(a)~(c)何れの場合についても標定点候補を抽出することができる。
【0085】
4.抽出結果
撮影画像から標定点候補を明確に区別するためには、当該標定点候補を構成する画素に何らかの印をつける必要がある。そこで、各撮影画像中において、標定点候補を構成する画素を白、それ以外の画素を黒で表すことにより2値化した画像をマスク画像として生成する。これにより、白の画素からなる領域が、標定点候補を示す画素領域となる。
【0086】
実際に、撮影画像の中から標定点候補を抽出できるのかどうか確かめてみた結果、図9に示す撮影画像から、図10に示すマスク画像を得ることができた。図10のマスク画像では、標定点候補とならない所も抽出されてはいるが、実際に抽出したい標定点候補もきちんと抽出されていることがわかった。
【0087】
[標定点候補の特徴表現処理:ステップS4]
本3次元画像計測では、各撮影画像において抽出された標定点候補同士を撮影画像間において対応付けするために、各標定点候補に対応する目立つ対象物の不変特徴量を考える。その際に、撮影画像において目立つ対象物のほぼ全体が写っており、目立つ対象物はほぼ平面的な物体(2次元状の物体)であるものと仮定する。
【0088】
1.不変特徴量の選定
各標定点候補に対応する目立つ対象物の不変特徴量としては、いくつかの候補が考えられる。個々の物体には固有の形状があり、その多様性故に大きさや傾きといった要素を規定する基準を設けなければ個々の物体を比較することはできない。例えば、撮影画像におけるx方向又はy方向の長さの最大値をその物体の大きさとするといったルールが必要となる。しかし、このような最大値や最小値を用いるような方法は、偶発的要素に左右され、撮影時の環境の変化が大きい場合には極めて不安定な規定方法となる。そのため、大きさや傾きといった要素を統計的に算出する表現方法が必要になる。
【0089】
そこで、本3次元画像計測では、目立つ対象物を楕円とみなすとともに、その特徴を表現する特徴量として楕円パラメータを用いることにより、目立つ対象物の幾何学的要素を数値化する。
【0090】
そのために、各撮影画像において抽出された標定点候補に関して楕円パラメータを算出することにより、標定点候補を楕円として表現する。具体的な処理内容を以下に説明する。
【0091】
2.楕円の推定
楕円は、中心座標(x,y)、長半径a、短半径b、回転角(傾き)αの5つのパラメータと、媒介変数θとを用いることにより、次式で表される。
【0092】
【数2】
JP0004521568B2_000003t.gif

【0093】
以下に、上記マスク画像の画素の輝度値(2値化された輝度値)に基づいて、統計的に楕円パラメータを算出する方法を示す。
【0094】
2.1 中心座標(x,y
中心座標(x,y)は、上述したマスク画像の輝度値の重心を計算することによって算出する。すなわち、次式のようになる。
【0095】
【数3】
JP0004521568B2_000004t.gif

【0096】
なお、マスク画像では、上述のとおり画素の輝度値p(x,y)は白又は黒に2値化されている。白の画素をp(x,y)=1、黒の画素をp(x,y)=0とする。(x,y)は、各マスク画像における各画素の座標である。
【0097】
2.2 回転角α
回転角αは、主成分分析を行ない、第1主成分を求めることにより算出することができる。以下では、図11を参照して、主成分分析により回転角αを求める方法について説明する。
【0098】
第1主成分zには、次式の関係が成り立つ。
【0099】
【数4】
JP0004521568B2_000005t.gif

【0100】
楕円はzの分散がl+l=1の条件のもと最大になる値として求められる。次式のようにおくと、z=lxとなる。
【0101】
【数5】
JP0004521568B2_000006t.gif

【0102】
xの分散共分散行列Sは次式のように示される。
【0103】
【数6】
JP0004521568B2_000007t.gif

【0104】
Sを用いてzの分散V{z}は次式となる。
【0105】
【数7】
JP0004521568B2_000008t.gif

【0106】
+l=1、すなわちl=1の制約のもと数式7を最大にするにはラグランジュの未定乗数λを用いて、次式となり、A(l)を最大にするlを考えればよい。
【0107】
【数8】
JP0004521568B2_000009t.gif

【0108】
そこで、Aをlで微分すると、次式となるので、次式が0となるlを求める。
【0109】
【数9】
JP0004521568B2_000010t.gif

【0110】
すなわち、次式を考えればよい。
【0111】
【数10】
JP0004521568B2_000011t.gif

【0112】
=0以外の解を持つためには次の行列式を満たさなければならない。
【0113】
【数11】
JP0004521568B2_000012t.gif

【0114】
この式は行列Sの固有方程式である。数式9の両辺に左よりlをかけるとlSl=λとなる。数式7と比較すると、zの分散の最大値は数11の固有方程式の最大固有値のλの値であり、それに対応する固有ベクトルl=(l,l)が第1主成分方向として求めることができる。よって回転角αは次式のように求めることができる。
【0115】
【数12】
JP0004521568B2_000013t.gif

【0116】
数式11の固有方程式より、Sが非負の対称行列であることから2個の非負の固有値λ,λ(λ≧λ≧0)が存在することになる。このとき、第2主成分zにおける係数ベクトルlはλの固有ベクトルとして求めることができる。また、λは短半径方向の分散である。
【0117】
2.3 長半径a、短半径b
数式11で求められる固有値λは楕円内の各点の分散を示している。ここで原点を中心とした円x+y=aで考えることにする。図12に示すように、このような円の分散はy軸から円内の各点までの距離をxとした時、(x-0)を足し合わせた点の数で割ったものである。あるxでの点の数は2y個であるので以下の式で表すことができる。
【0118】
【数13】
JP0004521568B2_000014t.gif

【0119】
この式より、円の半径はa=2×λ1/2で求められる。楕円の場合も同様に長半径方向の分散λと短半径方向の分散λとを用いて、長半径a、短半径bは次式で求められる。
【0120】
【数14】
JP0004521568B2_000015t.gif

【0121】
3.非対称性
対応関係のない2つの標定点候補であっても、それぞれから求められる楕円パラメータが偶然一致し、楕円パラメータによっては対応関係のないことを判定できない可能性もある。したがって、このような場合にも、これらの間には対応関係がないことを判定できる基準を用いることが望ましい。
【0122】
図13に示すように、標定点候補自体とそこから求められた楕円との間には、通常、形状的な差が生じる。つまり、推定された楕円は標定点候補の大まかな形状を示しているので、推定された楕円と実際の標定点候補との間には、形状部分に差が存在することになる。
【0123】
そこで、上記形状部分の差を示す要素として非対称性を考え、対応関係の判定基準に用いることにする。楕円は長軸方向及び短軸方向に対称であるので、推定された楕円に対して実際の標定点候補がこれらの方向にどのくらい非対称であるのかを特徴量として表せば、これを標定点候補に対応する目立つ対象物の特徴と考えることができるので、対応付けの判定基準として利用できる。
【0124】
図14に、短軸方向に非対称な標定点候補の例を示す。図14の標定点候補は長軸方向についてはほぼ対称である。標定点候補における非対称性の大きさは、短軸方向に細分した領域の重心位置と短軸との差(図14中「↑」又は「↓」にて示す)の分散から求めることができる。しかし、図15(a)から図15(d)に示すように、同じ楕円で表現されなおかつ非対称性の大きさが同じになる形状の標定点候補はたくさん存在する。そこで、標定点候補の非対称性をパターン化して分類することとする。
【0125】
図16に短軸方向に対する非対称性のパターン記述例を示す。楕円をその長軸方向に4つの領域に分割し、各領域内での非対称性の向き(図16中矢印の向き)の平均が正か負か求め、その組合せをパターン化すると次のようになる。
パターン1 :+--+
パターン2 :-++-
パターン3 :++--
パターン4 :--++
パターン5 :+-+-
パターン6 :-+-+
パターン7 :+++-
パターン8 :++-+
パターン9 :+-++
パターン11:---+
パターン10:-+++
パターン12:--+-
パターン13:-+--
パターン14:+---
なお、全て正(「++++」)又は全て負(「----」)という組合せは有り得ないので、実際には上記14パターンに分類される。
【0126】
そして、実際の標定点候補が上記14パターンのうちの何れに該当するかを特定し、特定したパターンを当該標定点候補の特徴量とする。例えば、図15(a)から図15(d)に示した標定点候補は、それぞれパターン1、パターン2、パターン5、パターン6となる。
【0127】
なお、非対称性の特徴量を求める際の具体的な計算方法としては、標定点候補は撮影画像上に表現されているのであるから、個々の画素が標本となる長軸方向及び短軸方向の分割も画素の幅で分割するのが最も素直な方法である。しかし、回転角αの回転が入っているので、標定点候補を-α方向に回転させて、リサンプリングした上で、ライン(x方向)ごと、あるいはコラム(y方向)ごとに重心を求める処理を行えばよい。
【0128】
4.特徴表現の結果
以上のように、標定点候補の対応関係を判定するための標定点候補の特徴量として、楕円パラメータ及び非対称性を求めることができる。そこで、各撮影画像において抽出された各標定点候補について、楕円パラメータ及び非対称性を求め、これらに基づいて標定点の探索を行うこととする。
【0129】
なお、抽出された標定点候補の数や分布によっては、楕円パラメータのみを用いて標定点候補の探索を的確に行うことができる場合もある。このような場合には、非対称性を用いる必要はない。
【0130】
[標定点の探索処理:ステップS5]
上述したようにして算出された楕円パラメータは、標定点候補の大まかな大きさ、位置、回転角を示しており、これらの特徴は標定点候補全体から算出された統計量であることから、重複撮影画像における各撮影画像間で互いに対応する標定点候補の間には、撮影位置の幾何学的関係を考慮にいれれば、不変性が保たれていると考えられる。
【0131】
そこで、算出された楕円パラメータを標定点候補の特徴量としてどのように対応付けに利用していくかを考えなくてはならない。楕円パラメータである中心座標(x,y)、長半径a、短半径b、回転角αはそれぞれ以下のように利用していくことにする。すなわち、中心座標(x,y)はエピポーラ幾何による中心座標の絞りこみに利用し、回転角αは仮想カメラ座標での光軸回りの回転角としての対応付けに利用し、長半径a及び短半径bは回転角αによる対応付けの際の計算過程で利用する。
【0132】
1.エピポーラ幾何による絞りこみ
図17に示すように、2つのカメラで3次元空間の同じ点を見ているとき、ある対象物Pはレンズ中心o1とその像p1とを結ぶ直線上のどこかに存在する(共線条件)。その際、他方のレンズ中心o2の位置がわかっていれば、対象物Pを逆投影することにより撮影画像2での対象物Pに対する像p2の候補を一つの直線上に絞り込むことができる。この直線をエピポーラ直線といい、上記絞り込みをエピポーラ拘束条件という。
【0133】
ここで、M012は撮影画像1から撮影画像2への回転を表す行列(M012=M0102)であり、mij(i=1,2,3;j=1,2,3)は回転行列M012の各成分とする。(x,y)及び(x,y)はそれぞれ撮影画像1及び2の画像座標、cは画面距離(3次元空間における撮影画像1及び2の距離)、(x,y,1)は撮影画像1のカメラ座標系における撮影画像2のレンズ中心o2の相対的な座標とする。これよりエピポーラ方程式は以下のようになる。
【0134】
【数15】
JP0004521568B2_000016t.gif

【0135】
ここで、回転行列M012は、相互標定要素、すなわち、撮影画像間での相対的な撮影位置及び撮影方向、並びに各撮影画像の撮影時の焦点距離に関する情報に基づくことにより概算値を求めることができる。その算出方法は従来よりよく知られているので、ここでは詳細な説明を省略する。このようにして求めたエピポーラ方程式を用いることにより、標定点候補の対応関係を絞り込む。
【0136】
なお、上記のように回転行列M012の概算値を用いると、その誤差の分だけ得られるエピポーラ方程式にも誤差が発生することになる。したがって、エピポーラ方程式による絞り込みを行う際には、上記誤差を考慮した緩やかな絞り込みを行う必要がある。
【0137】
2.楕円の回転角を用いた探索
2.1 投影関係
回転角αを考える前に、カメラによる撮影における投影関係に関する以下の3つの投影について説明する。
【0138】
「中心投影」とは、図18に示すように、カメラの撮影により得られる実際の撮影像であり、カメラのレンズ中心に光線を集中させるように投影する非平行投影である。
【0139】
「擬似中心投影」とは、図19に示すように、撮影像の大きさに対して撮影距離が十分長い場合に、中心投影を平行投影に近似したものである。すなわち、擬似中心投影では、撮影像の中心を通る光線に平行に投影することになる。
【0140】
「正射投影」とは、図20に示すように、カメラの光軸方向に平行投影する。すなわち、投影面に対して垂直に投影する。
【0141】
擬似中心投影と正射投影とはともに平行投影であるが、大きな違いは、擬似中心投影では投影方向が光線に平行であるのに対し、正射投影ではカメラの光軸方向に平行投影されている点である。
【0142】
正射投影では、投影面に対して垂直に投影することから、対象物がどの位置にあろうともあるいは投影された像が画像上のどこにあろうとも投影方向は常に同じである。そのため、互いに形状及び傾きの等しい2つの対象物は、それぞれの位置によらず、互いに形状及び傾きの等しい2つの像に投影される(ただし大きさは変化する)。
【0143】
一方、通常のカメラで撮影する場合、対象物は画像上に中心投影される。中心投影された像は画像の中心以外では画像に対して斜めに投影される。斜めに投影されることにより投影像に歪みが発生する。中心投影に対して疑似中心投影とは対象物が十分小さい場合に、ローカルに平行投影する方法であり、投影方向は画像に対して斜めであるからやはり投影歪みが発生する。
【0144】
このことを楕円について当てはめると、疑似中心投影では投影方向によってその像の形状が変わることとなり、回転角αも変化する。一方、正射投影では位置によらず像の形状は一定であるので、回転角αも一定である。そのため、正射投影で考えると、図21に示すように、楕円の回転角αはカメラの光軸に対する回転として考えることができ、標定点候補がどこにあろうとも同じ傾きで投影されることになる。
【0145】
上述したようにして算出された楕円パラメータは、中心投影によるものであるが、遠方計測の場合は擬似中心投影とみなすことができるため、擬似中心投影像の楕円パラメータとして考えることができる。
【0146】
2.2 仮想カメラ座標系
正射投影の性質を用いるために、擬似中心投影像とみなせる標定点候補を正射投影像に変換する必要がある。しかしながら、直接変換することは難しいので仮想カメラ座標系による仮想画像面を用いて考えることにする。
【0147】
仮想カメラ座標系とは、撮影に用いたデジタルカメラ1のカメラ座標系と同じレンズ中心を持ち、各標定点候補の中心(重心)を仮想画像面の中心とする座標系である。カメラ座標系において、光軸上にある標定点候補は擬似中心投影像でもあり、正射投影像にもなる。そのため、ある標定点候補に対してのカメラ座標系からの光線を仮想光軸と考える仮想カメラ座標を考えてやれば、標定点候補は仮想画像面に対して正射投影されるといえる。
【0148】
つまり、図22(a)及び図22(b)に示すように、撮影画像面に写った擬似中心投影像を仮想光軸に平行に仮想画像面に再投影すれば仮想カメラ座標系においては正射投影像となる。
【0149】
図23に示すように、カメラ座標系を(x,y,z)、仮想カメラ座標系を(x’,y’,z’)、仮想画像の画面距離lとすれば、カメラ座標系と仮想カメラ座標系との関係は、回転行列Mを用いて、次式のように表すことができる。
【0150】
【数16】
JP0004521568B2_000017t.gif

【0151】
y軸回りの回転φ、x軸回りの回転ωとするとMは、次式のようになる。
【0152】
【数17】
JP0004521568B2_000018t.gif

【0153】
また、カメラ座標系と仮想カメラ座標系との間には次式が成立している。
【0154】
【数18】
JP0004521568B2_000019t.gif

【0155】
ここで、l=(x+y+z1/2であるので、数式17を用いて、次式によってφ及びωを決定できる。
【0156】
【数19】
JP0004521568B2_000020t.gif

【0157】
したがって、決定されたφ及びω、並びに数式17によって回転行列Mを決定することができ、この回転行列Mと数式16とを用いることにより、カメラ座標系から仮想カメラ座標系への変換を行うことができる。
【0158】
2.3 仮想カメラ座標系での楕円パラメータの幾何学的関係
上述したように、数式16から数式19によってカメラ座標系から仮想カメラ座標系への変換を行うことができ、この変換を撮影画像に対して施すことによって得られる画像(「仮想画像」という)では標定点候補を正射投影像として考えることができる。
【0159】
そこで、重複撮影画像を構成するある撮影画像(撮影画像1)における標定点候補(標定点候補1)を仮想画像(仮想画像1)に変換したときの楕円パラメータ(長半径a1、単半径b1、回転角α1)と、上記重複撮影画像を構成する他の撮影画像(撮影画像2)において上記標定点候補1と対応関係のある標定点候補(標定点候補2)を仮想画像(仮想画像2)に変換したときの楕円パラメータ(長半径a2、単半径b2、回転角α2)との幾何学的関係について説明する。
【0160】
上述したように、正射投影された楕円像の形状は投影される位置によらず投影方向のみに依存するため、仮想画像1と仮想画像2との間の回転のみに着目して各仮想画像1・2における楕円パラメータの関係を考えることができる。
【0161】
仮想画像1と仮想画像2との間の回転を表す回転行列をM12とし、楕円の回転角α1、α2を表す回転行列をR、Rとすると、仮想画像1と仮想画像2との間の回転(光軸まわりの回転)を表す回転行列Nは次式のように表すことができる。
【0162】
【数20】
JP0004521568B2_000021t.gif

【0163】
また、回転角α1と回転角α2との差に相当する回転角をγとすると、回転行列Nは次式のように表すことができる。
【0164】
【数21】
JP0004521568B2_000022t.gif

【0165】
そして、楕円の投影関係を考えると、γとa1、a2、b1、b2との間には次式のような関係が導かれ、これによりγを求めることができる。
【0166】
【数22】
JP0004521568B2_000023t.gif

【0167】
ところで、数式20によって撮影画像1と撮影画像2との間に対応関係があるか否かを判定するためには、回転行列M12の値が既知でなければならない。そして、仮想画像は標定点候補ごとに異なるものであるので、回転行列M12も仮想画像ごとに求めなければならない。
【0168】
すでに重複撮影画像の標定が行なわれており、対象物の存在している空間の座標系(「対象座標系」という)と、カメラ座標系との回転がMという回転行列で表されており、撮影画像と仮想画像との回転はMという回転で表すことができるとする。標定が行なわれている場合、これらの値は既知である。回転行列の導出が目的であるので、ここでは簡単のため座標原点は一致させることにすると、それぞれ以下の式で表すことができる。
【0169】
【数23】
JP0004521568B2_000024t.gif

【0170】
これにより、次式の関係があることがわかる。
【0171】
【数24】
JP0004521568B2_000025t.gif

【0172】
これを、撮影画像1及び2の仮想画像関係について書き直すと、次式のようになる。なお、次式において添字記号1,2はそれぞれ撮影画像1及び撮影画像2に関する変数であることを示している。
【0173】
【数25】
JP0004521568B2_000026t.gif

【0174】
次に、重複撮影画像の標定がまだ行われていない場合について考える。このとき、M012=M0102は未知であるが(Mv1及びMv2は数式17によって求めることができる)、撮影画像1及び撮影画像2の間での回転行列を表すものである。このM012は、上記「エピポーラ幾何による絞りこみ」において説明したように、相互標定要素、すなわち、撮影画像間での相対的な撮影位置及び撮影方向、並びに各撮影画像の撮影時の焦点距離に関する情報に基づくことにより概算値を求めることができ、その算出方法は従来よりよく知られている。そして、このM012の概算値を用いると、その誤差の分だけM12には系統的な誤差が発生する。
【0175】
そこで、上記M012の概算値によって算出されるM12を用いることにより、数式20によって撮影画像1と撮影画像2との間に対応関係があるか否かを判定する際に、一定の系統誤差を許容するようにして判定基準を設けることとする。
【0176】
すなわち、実際の判定では、上記M012の概算値によって算出されるM12と、標定点候補1の回転角α1を表す回転行列Rと、標定点候補2の回転角α2を表す回転行列Rとを代入することによって算出されるR12と、上記数式21によって算出されるNとを比較し、その差が所定値以下であれば当該標定点候補1と標定点候補2との間には対応関係があるものと判定する。
【0177】
なお、対応点が得られれば、その幾何学的関係から系統誤差を求め、標定精度を向上させることもできる。
【0178】
3. 非対称性による絞りこみ
以上のように、エピポーラ拘束条件及び楕円形状の関係式によって絞り込まれた対応関係に対して、さらに、上述した非対称性による絞り込みを行う。すなわち、上記標定点候補の非対称性のパターンが一致するか否かを確認し、一致する場合には対応関係ありと判定し、一致しない場合には対応関係なしと判定する。
【0179】
なお、上述したように、抽出された標定点候補の数や分布によっては、楕円パラメータのみを用いて標定点候補の探索を的確に行うことができる場合もあり、このような場合には、非対称性を判断基準に用いる必要はない。
【0180】
4.標定点探索処理のまとめ
以上のようにして互いに対応関係のある標定点候補を発見できた場合には、各標定点候補に関連する点、例えば、当該標定点候補に関して算出された楕円パラメータの中心座標を標定点として特定する。
【0181】
上記絞り込みの過程において、1つでも条件が当てはまらない場合は、実際にはそれが対応関係があったとしても、対応関係がないものとして判断するようにする。相互標定のためには、最小で5点、十分高い精度を確保したい場合でも数十点の標定点がみつかれば十分であるので、怪しい点はできるだけ却下することが望ましいからである。
【0182】
計測対象及び撮影条件にもよって異なるが、600万画素程度の撮影画像を用いた場合、上述した処理によって各撮影画像ごとに数十から数百、多くて千点程度の標定点候補を抽出することができる。
【0183】
なお、標定点候補が小さすぎたり大きすぎたり、細長すぎたり、明瞭ではない場合には、予め標定点候補から外すようにしてもよい。
【0184】
また、対応関係の絞り込みの条件として、目立つ対象物の色合いなどの情報を追加するようにしてもよい。
【0185】
〔補足〕
3次元画像計測装置2の各ブロックは、上述のようにコンピュータにおいて所定のプログラムを実行させることによってソフトウェア的に構成してもよいし、ハードウェアロジックによって構成してもよい。
【0186】
ソフトウェア的に構成する場合、3次元画像計測装置2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである3次元画像計測装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記3次元画像計測装置2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0187】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0188】
また、3次元画像計測装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0189】
本発明は、土木分野における標定点探索及び対応点探索に特に好適に利用できる。
【図面の簡単な説明】
【0190】
【図1】本発明の実施の一形態における3次元画像計測の処理の流れを示すフローチャートである。
【図2】図1の処理を行うための装置のブロック構成を示すブロック図である。
【図3】撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。
【図4】撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。
【図5】撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。
【図6】撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。
【図7】撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。
【図8】撮影画像の背景色を求める方法を説明するために、撮影画像を示した図面である。
【図9】標定点候補の抽出を行う際に用いた撮影画像を示す図面である。
【図10】図9の撮影画像から標定点候補を抽出した結果のマスク画像を示す図面である。
【図11】主成分分析により楕円の回転角αを求める方法を説明するための図面である。
【図12】楕円の長半径a及び短半径bを求める方法を説明するための図面である。
【図13】標定点候補の形状と、当該標定点候補について求められた楕円の形状との相違を示す図面である。
【図14】標定点候補の短軸方向の重心の軌跡と当該標定点候補を表現する楕円の長軸との関係を示す図面である。
【図15】(a)は標定点候補と当該標定点候補に対応する楕円との関係を示す図面であり、(b)は他の標定点候補と当該標定点候補に対応する楕円との関係を示す図面であり、(c)はさらに他の標定点候補と当該標定点候補に対応する楕円との関係を示す図面であり、(d)はさらに他の標定点候補と当該標定点候補に対応する楕円との関係を示す図面である。
【図16】標定点候補の短軸方向の重心の軌跡と当該標定点候補を表現する楕円の長軸との関係を、長軸方向に4分割して示す図面である。
【図17】エピポーラ拘束条件を説明するための図面である。
【図18】中心投影を説明するための図面である。
【図19】擬似中心投影を説明するための図面である。
【図20】正射投影を説明するための図面である。
【図21】擬似中心投影と正射投影との関係を示す図面である。
【図22】(a)は撮影画像面に写った擬似中心投影像とこの擬似中心投影像を仮想光軸に平行に仮想画像面に再投影した像との関係を示す斜視面であり、(b)は上記関係を示す平面図である。
【図23】カメラ座標系(x,y,z)と、仮想カメラ座標系(x’,y’,z’)との関係を示す図面である。
【符号の説明】
【0191】
1 デジタルカメラ
2 3次元画像計測装置
3 ディスプレイ
4 キーボード
5 標定点探索装置(対応点探索装置)
6 相互標定装置
21 標定点候補抽出処理部(抽出手段)
22 特徴表現処理部
22a 楕円パラメータ算出部(楕円パラメータ算出手段)
22b 非対称性認識部(非対称性認識手段)
23 相互標定要素取得処理部(取得手段)
24 標定点探索処理部(判定手段)
25 相互標定処理部
26 3次元形状処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図10】
8
【図12】
9
【図14】
10
【図15】
11
【図16】
12
【図17】
13
【図18】
14
【図19】
15
【図20】
16
【図21】
17
【図22】
18
【図23】
19
【図9】
20
【図11】
21
【図13】
22