Top > Search of Japanese Patents > (In Japanese)3次元計測システム、3次元計測方法及び3次元計測プログラム

(In Japanese)3次元計測システム、3次元計測方法及び3次元計測プログラム

Patent code P180015037
File No. (S2015-1503-N0)
Posted date May 24, 2018
Application number P2017-519422
Date of filing May 20, 2016
International application number JP2016065084
International publication number WO2016186211
Date of international filing May 20, 2016
Date of international publication Nov 24, 2016
Priority data
  • P2015-103366 (May 21, 2015) JP
Inventor
  • (In Japanese)川崎 洋
  • (In Japanese)堀田 祐樹
  • (In Japanese)小野 智司
  • (In Japanese)日浦 慎作
  • (In Japanese)古川 亮
Applicant
  • (In Japanese)国立大学法人鹿児島大学
  • (In Japanese)公立大学法人広島市立大学
Title (In Japanese)3次元計測システム、3次元計測方法及び3次元計測プログラム
Abstract (In Japanese)投影光により投影光学系を介して2次元パターンが投影された計測対象物(4)を、カメラ(2)により撮像して得られた画像データと、計測対象物(4)の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより計測対象物(4)の奥行きを推定する3次元計測システム(100)である。2次元パターンは投影光学系に設けられた符号化開口パターンを介して計測対象物(4)に投影される。計測対象物(4)の奥行きは、投影光学系と撮像手段の計測対象物(4)に対する視差に基づく画像マッチングを行うステレオ法と、計測対象物(4)の画像データにおける符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定される。
Outline of related art and contending technology (In Japanese)

近年、様々な分野で物体の3次元形状を計測する研究が盛んに行われている。中でも、装置の単純さとコストの観点から構造化光(パターン光)とカメラを用いたアクティブ3次元計測手法が主流となっている。アクティブ3次元計測手法では、計測対象となる物体へパターン光が投影され、その物体の表面で反射された光がカメラで観測される。さらに、パターン光により投影される元のパターンと物体上で観測されるパターンとの対応関係による三角測量で物体の3次元形状(フォーカス方向の奥行き)がカメラの撮像画像から復元される。対応関係の計算時間の効率化のために、2次元パターン光をビデオプロジェクタで投影する手法が多く提案されている(例えば、非特許文献1参照)。

しかし、ビデオプロジェクタは被写界深度が浅く、フォーカス方向の奥行きの計測レンジに制約が存在する。この計測レンジの制約を解決するために、被写界深度の深いレーザ光源を用いる手法が提案されている。しかし、レーザ光源を用いた場合には、特殊な光学系が必要になるため、用途に合わせた光学系を構築することが困難になる。

計測レンジの狭さを解消する他の手法として、観測パターンのボケから奥行きを推定するDfD(Depth from Defocus)法が提案されている(例えば、非特許文献2参照)。DfD法は、観測パターンのボケを前提としているため、被写界深度による制約が少ない。しかし、この手法の計測装置では光源にアレイLEDを用いるため、密なパターンを物体に投影することができず、得られる奥行きマップが疎であるという不都合があった。すなわち、DfD手法は、奥行きの変化に対するパターンの変化がレンズの口径によって制限されるため、奥行き分解能が低いという不都合がある。また、奥行きの推定において逆畳込み処理を大量に行う必要があるため、計算量が膨大になるという不都合もあった。

DfD法は、一般的にはカメラのボケに基づく手法として知られており、条件さえ揃えば1枚の画像から奥行きを推定することが可能である。しかし、DfD法を良好に行うためには、計測対象に高周波なテクスチャが存在することが前提となるため、現実に適用できる範囲は限定的である。そこで、パターン投影光のボケと撮影カメラのボケの両方を数理的にモデル化し、リアルタイムに距離計測を実現するDfD法が提案されている(例えば、非特許文献3参照)。これは、市松模様状のパターンを物体に投影し、その撮影結果のボケからDfDを行う方法であり、この方法によれば、計測対象にテクスチャが無くとも計測が可能になる。しかし、非特許文献3に記載の手法では、合焦距離の異なる2枚の画像を必要とし、レンズの撮像素子との間にプリズムを設置するなど、撮影側の光学系を工夫する必要があった。

また、プロジェクタの投影像のボケを解析し、投影面の奥行きを推定する手法が提案されている(例えば、非特許文献4参照)。この手法によれば、ライン状の投影パターンの位相をシフトさせながら画像を取得することで、撮影画像のピクセルごとの奥行きを推定することができる。しかし、この手法では、投影パターンを変更した複数枚の画像を必要とするため、動いている物体の奥行き計測が困難であるという不都合があった。

また、プロジェクタの投影光学系に符号化開口を装着することで生成される構造化光を利用した3次元計測方法が開示されている(例えば、非特許文献5参照)。この方法では、格子状に符号パターンが設けられた符号化開口をつけた光源でパターン投影し、計測対象物体上で観測された投影パターンのボケ具合を利用して、DfDにより各点の距離を求める。

下記非特許文献5に開示された方法では、投影パターンのボケの大きさ、すなわち点広がり関数(Point Spread Function、以下、PSFともいう)のスケールを規定するパラメータをスケールパラメータとして用いる。まず、複数の既知の奥行きにおいて実際に観測したボケ画像を用いて、それぞれの奥行きにおけるPSFのスケールを獲得し、フィッティングにより正確なスケールパラメータを求めるキャリブレーションを行う。さらに、実際に物体に投影された構造化光による投影パターンを撮像し、撮像により得られた投影パターンの画像データを、キャリブレーションで得られたスケールパラメータに従って、奥行きによって異なるPSFを用いた逆畳込み演算を行い、格子状に配置された各復元パターンがボケのない符号化開口の符号パターンに最も類似する奥行きを、推定結果として求める。

しかしながら、上記非特許文献5に開示された方法では、逆畳込み演算と類似度の計算をすべての奥行きについて行うため、計算量の多い逆畳込み演算の演算回数が膨大となって、計算時間が長くなってしまう。また、計算結果が不安定となることも起こる。

また、武田らは、単なるステレオ法においても、符号化開口の導入によりボケによる精度低下を抑制できることを示し、さらにDfD法とステレオ法とを融合した手法を提案した(例えば、非特許文献6、7)。

Field of industrial application (In Japanese)

この発明は、3次元計測システム、3次元計測方法及び3次元計測プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
投影光により投影光学系を介して2次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定する3次元計測システムであって、
前記2次元パターンは前記投影光学系に設けられた符号化開口パターンを介して前記計測対象物に投影されるとともに、
前記計測対象物の奥行きは、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定されることを特徴とする3次元計測システム。

【請求項2】
 
前記参照画像データ群は、前記撮像手段により撮像して得られた画像データまたはシミュレーションにより算出された画像データである、
ことを特徴とする請求項1に記載の3次元計測システム。

【請求項3】
 
前記参照画像データ群は、前記投影光の光軸上の複数の位置に2次元平面を置いたときにそれぞれ前記撮像手段で撮像して得られた前記2次元平面の画像データを含む、
ことを特徴とする請求項2に記載の3次元計測システム。

【請求項4】
 
前記2次元平面は、前記投影光学系の光軸に直交している、
ことを特徴とする請求項3に記載の3次元計測システム。

【請求項5】
 
前記参照画像データ群は、
前記投影光学系の光軸に斜交する2次元平面を、前記光軸に対して複数の異なる角度でそれぞれ置いたときに得られる2次元斜面の画像データを含む、
ことを特徴とする請求項3に記載の3次元計測システム。

【請求項6】
 
前記2次元斜面の画像データは、
撮像部により撮像される前記2次元平面の参照画像データを部分的に合成することにより、作成される、
ことを特徴とする請求項5に記載の3次元計測システム。

【請求項7】
 
前記画像マッチングは、マッチング窓を用いて行われる、
ことを特徴とする請求項1に記載の3次元計測システム。

【請求項8】
 
前記2次元パターンは複数の異なる投影パターンを有し、
前記2次元パターンを構成する第1の投影パターンにより逆畳み込み演算を行わずに奥行き方向の探索範囲を決定するとともに、
前記2次元パターンを構成し、前記第1の投影パターンとは異なる第2の投影パターンにより、前記探索範囲において逆畳み込み演算を行うことによる画像の階層的復元法を用いて前記計測対象物の奥行きを推定する、
ことを特徴とする請求項1から請求項7のいずれか一項に記載の3次元計測システム。

【請求項9】
 
前記2次元パターン及び前記符号化開口パターンの組み合わせは、光学的に同じ方向に並ぶラインパターン列同士、2次元状に配列されたドットパターン同士、前記ラインパターン列と前記ドットパターンとの組み合わせのいずれかであり、前記2次元パターン及び前記符号化開口パターンの少なくとも一方は不規則なランダムパターンである、
ことを特徴とする請求項1から請求項8のいずれか一項に記載の3次元計測システム。

【請求項10】
 
前記2次元パターンには、
第1の色により形成された第1の2次元パターン群と、
第2の色により形成され、前記第1の2次元パターン群より空間周波数成分の高い第2の2次元パターン群と、
が含まれている、
ことを特徴とする請求項1から請求項9のいずれか一項に記載の3次元計測システム。

【請求項11】
 
前記2次元パターンには、
第1の色により形成された第1のラインパターン群と、
第2の色により形成され前記第1のラインパターン群と直交する第2のラインパターン群と、
が含まれている、
ことを特徴とする請求項1から請求項9のいずれか一項に記載の3次元計測システム。

【請求項12】
 
前記符号化開口パターンには、
前記第1の色の光のみを遮断するカラーフィルタを備えた第1の符号化開口パターンと、
前記第2の色の光のみを遮断するカラーフィルタを備えた第2の符号化開口パターンと、
が含まれている、
ことを特徴とする請求項10または請求項11に記載の3次元計測システム。

【請求項13】
 
前記撮像手段で撮像された前記計測対象物の画像データから得られる各色の画像データと、同じ色の前記参照画像データ群との間で前記マッチング窓を用いた画像マッチングを行うことにより、2次元パターンの結像位置を基準とする前記計測対象物の奥行きを求め、各色で求められた奥行きに基づいて、前記計測対象物の奥行きを推定する、
ことを特徴とする請求項10から請求項12のいずれか一項に記載の3次元計測システム。

【請求項14】
 
前記2次元パターンを構成するパターンの配列方向にずれるように、前記撮像手段の光学系の光軸が、前記投影光の光軸と非同軸に設定されている、
ことを特徴とする請求項1から請求項13のいずれか一項に記載の3次元計測システム。

【請求項15】
 
前記2次元パターンは、
第1の方向から前記計測対象物に前記2次元パターンを投影する第1の投影手段と、
第2の方向から前記計測対象物に前記2次元パターンを投影する第2の投影手段と、により投影される、
ことを特徴とする請求項13または請求項14に記載の3次元計測システム。

【請求項16】
 
前記第1の投影手段と前記撮像手段との光軸のずれの方向が、前記第2の投影手段と前記撮像手段との光軸のずれの方向と直交する、
ことを特徴とする請求項15に記載の3次元計測システム。

【請求項17】
 
前記撮像手段の光軸と前記投影光の光軸とが一致するように設定されている、
ことを特徴とする請求項1から請求項13のいずれか一項に記載の3次元計測システム。

【請求項18】
 
投影光により投影光学系を介して2次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定する3次元計測方法であって、
前記2次元パターンは前記投影光学系に設けられた符号化開口パターンを介して前記計測対象物に投影されるとともに、
前記計測対象物の奥行きは、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定されることを特徴とする3次元計測方法。

【請求項19】
 
投影光により符号化開口パターンが設けられた投影光学系を介して2次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定するコンピュータを、
前記計測対象物の奥行きを、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定する推定部として機能させることを特徴とする3次元計測プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2017519422thum.jpg
State of application right Published
Please contact us by E-mail if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close