Top > Search of International Patents > THREE-DIMENSIONAL MEASUREMENT SYSTEM, THREE-DIMENSIONAL MEASUREMENT METHOD, AND THREE-DIMENSIONAL MEASUREMENT PROGRAM

THREE-DIMENSIONAL MEASUREMENT SYSTEM, THREE-DIMENSIONAL MEASUREMENT METHOD, AND THREE-DIMENSIONAL MEASUREMENT PROGRAM

Foreign code F170008945
File No. (S2015-1503-N0)
Posted date Feb 1, 2017
Country WIPO
International application number 2016JP065084
International publication number WO 2016186211
Date of international filing May 20, 2016
Date of international publication Nov 24, 2016
Priority data
  • P2015-103366 (May 21, 2015) JP
Title THREE-DIMENSIONAL MEASUREMENT SYSTEM, THREE-DIMENSIONAL MEASUREMENT METHOD, AND THREE-DIMENSIONAL MEASUREMENT PROGRAM
Abstract A three-dimensional measurement system (100) for estimating the depth of a measurement object (4) on which a two-dimensional pattern is projected by projection light via a projection optical system, by comparing image data captured and obtained by a camera (2) and a reference image data group correlated with the depth of the measurement object (4) and acquired in advance. The two-dimensional pattern is projected on the measurement object (4) via a coded aperture pattern provided to the projection optical system. The depth of the measurement object (4) is estimated by image processing in which a stereo method for performing image matching based on a parallax of the projection optical system and an imaging means with respect to the measurement object (4), and a DfD method based on blur in the optical axis direction of the coded aperture pattern in the image data of the measurement object (4) are both applied.
Outline of related art and contending technology BACKGROUND ART
In recent years, in various fields for measuring a three-dimensional shape of the object 3 has been actively performed. Among them, from the viewpoint of the simplicity and cost of the structured light (pattern light) and a camera using an active 3-dimensional measurement method is the mainstream. Is an active 3-dimensional measurement method, the measuring object to the object in the projected pattern light, the light reflected at the surface of the object observed by the camera. Further, the original pattern projected by the pattern light and the object are observed on the correspondence relationship between the triangulation of the object in the three-dimensional shape 3 (in the focus direction of the depth) of the captured image is reconstructed from the camera. The calculation time of the correspondence relationship for efficiency, video projector 2 is projected onto a two-dimensional pattern light have been proposed many techniques (for example, see Non-Patent Document 1).
However, the depth of field is shallow and a video projector, a measurement range of the depth to the focus direction of the restriction exists. In order to overcome the constraints of the measurement range, the depth of field is a method of using a laser light source has been proposed. However, in the case of using a laser beam source, a special optical system is required and therefore, the optical system to the application that it is difficult to construct.
To eliminate the narrow measurement range of the other methods, the blurring of the observed pattern DfD(Depth from Defocus) estimating the depth from which has been proposed (for example, see Non-Patent Document 2). DfD method, on the premise that the blurring of the observed pattern and therefore, less constrained by the depth of field. However, the measuring apparatus of this approach for using the LED array light source, a fine pattern cannot be projected onto the object, the resulting depth map is sparse to a disadvantage. That is, approach DfD, the pattern for the change in the depth of the change is limited by the aperture of a lens, an inconvenience that the depth resolution. In addition, in the estimation of the depth of the deconvolution requires a great amount of processing, an enormous amount of calculation is also a disadvantage.
DfD method, the camera is generally known as a method based on the blurring of the image, the conditions of the same from one image 1 that is capable of estimating the depth. However, for better DfD method is, the high frequency to a target object is assumed to be because the texture is present, can be applied to the actual range is required. Therefore, the projected light pattern and the imaging camera blurring of both the defocus of the mathematical modeling, DfD method for realizing the measurement distance in real time has been proposed (for example, see Non-Patent Document 3). This is, a checkerboard pattern can be projected, the blur of a photographing result and a method of performing DfD from, according to this method, there is no texture on the measurement object can be measured. However, in the technique described in Non-Patent Document 3, two images having different focusing distance 2 is required, a prism between the lens and the imaging device are placed, the imaging optical system must be devised.
In addition, analyzing the blurring of image of a projector, a method of estimating the depth of the projection plane has been proposed (for example, see Non-Patent Document 4). According to this method, by shifting the phase of the line-shaped projection pattern while the image may be acquired, the depth of each pixel of the captured image can be estimated. However, in this method, the projection pattern is changed due to the need for a plurality of images, it is difficult to measure the depth of the object is moving at a disadvantage.
In addition, the projection optical system of the projector the coded aperture can be attached to the structured light generated in the three-dimensional measurement method using the disclosed 3 (for example, see Non-Patent Document 5). In this method, a code pattern in a lattice shape with a coded aperture is provided with the light source is projected onto the pattern, as observed on the object to be measured and the blurred degree of the projection pattern is used, by determining the distance of each point DfD.
Non-patent document 5 disclosed method, the level of blur of the projection pattern, that is the point spread function (Point Spread Function, hereinafter, also referred to as the PSF) that define the scale of the scale parameter is used as the parameter. First, a plurality of known depths in the blur image is used to actually observed, the scale of the PSF in depth of each of the obtained, accurate scale parameter is obtained by fitting the calibration is performed. Further, the actual structured light projected onto the object by imaging the projection pattern, a projection pattern obtained by imaging the image data, the calibration according to the parameters thus obtained, using the PSF varies depending on the depth of the computation of the deconvolution, each arranged in a grid pattern to restore the code pattern of the coded aperture no blurring the depth of the most similar to the, is obtained as the estimation result.
However, the non-patent document 5 in the method disclosed in, for calculation of similarity calculation and deconvolution is carried out for the depth of all, a large calculation amount of computation of the deconvolution a huge number of times, the calculation time becomes long. In addition, also occur as a result of the calculation is unstable.
In addition, the Takeda et al., in a simple stereo method, the coded aperture by the introduction of the degradation of precision due to blurring can be suppressed, and further fuzed DfD method and a stereo method was proposed (for example, Non-Patent Document 6, 7).
Scope of claims (In Japanese)[請求項1]
投影光により投影光学系を介して2次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定する3次元計測システムであって、
前記2次元パターンは前記投影光学系に設けられた符号化開口パターンを介して前記計測対象物に投影されるとともに、
前記計測対象物の奥行きは、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定されることを特徴とする3次元計測システム。
[請求項2]
前記参照画像データ群は、前記撮像手段により撮像して得られた画像データまたはシミュレーションにより算出された画像データである、
ことを特徴とする請求項1に記載の3次元計測システム。
[請求項3]
前記参照画像データ群は、前記投影光の光軸上の複数の位置に2次元平面を置いたときにそれぞれ前記撮像手段で撮像して得られた前記2次元平面の画像データを含む、
ことを特徴とする請求項2に記載の3次元計測システム。
[請求項4]
前記2次元平面は、前記投影光学系の光軸に直交している、
ことを特徴とする請求項3に記載の3次元計測システム。
[請求項5]
前記参照画像データ群は、
前記投影光学系の光軸に斜交する2次元平面を、前記光軸に対して複数の異なる角度でそれぞれ置いたときに得られる2次元斜面の画像データを含む、
ことを特徴とする請求項3に記載の3次元計測システム。
[請求項6]
前記2次元斜面の画像データは、
撮像部により撮像される前記2次元平面の参照画像データを部分的に合成することにより、作成される、
ことを特徴とする請求項5に記載の3次元計測システム。
[請求項7]
前記画像マッチングは、マッチング窓を用いて行われる、
ことを特徴とする請求項1に記載の3次元計測システム。
[請求項8]
前記2次元パターンは複数の異なる投影パターンを有し、
前記2次元パターンを構成する第1の投影パターンにより逆畳み込み演算を行わずに奥行き方向の探索範囲を決定するとともに、
前記2次元パターンを構成し、前記第1の投影パターンとは異なる第2の投影パターンにより、前記探索範囲において逆畳み込み演算を行うことによる画像の階層的復元法を用いて前記計測対象物の奥行きを推定する、
ことを特徴とする請求項1から請求項7のいずれか一項に記載の3次元計測システム。
[請求項9]
前記2次元パターン及び前記符号化開口パターンの組み合わせは、光学的に同じ方向に並ぶラインパターン列同士、2次元状に配列されたドットパターン同士、前記ラインパターン列と前記ドットパターンとの組み合わせのいずれかであり、前記2次元パターン及び前記符号化開口パターンの少なくとも一方は不規則なランダムパターンである、
ことを特徴とする請求項1から請求項8のいずれか一項に記載の3次元計測システム。
[請求項10]
前記2次元パターンには、
第1の色により形成された第1の2次元パターン群と、
第2の色により形成され、前記第1の2次元パターン群より空間周波数成分の高い第2の2次元パターン群と、
が含まれている、
ことを特徴とする請求項1から請求項9のいずれか一項に記載の3次元計測システム。
[請求項11]
前記2次元パターンには、
第1の色により形成された第1のラインパターン群と、
第2の色により形成され前記第1のラインパターン群と直交する第2のラインパターン群と、
が含まれている、
ことを特徴とする請求項1から請求項9のいずれか一項に記載の3次元計測システム。
[請求項12]
前記符号化開口パターンには、
前記第1の色の光のみを遮断するカラーフィルタを備えた第1の符号化開口パターンと、
前記第2の色の光のみを遮断するカラーフィルタを備えた第2の符号化開口パターンと、
が含まれている、
ことを特徴とする請求項10または請求項11に記載の3次元計測システム。
[請求項13]
前記撮像手段で撮像された前記計測対象物の画像データから得られる各色の画像データと、同じ色の前記参照画像データ群との間で前記マッチング窓を用いた画像マッチングを行うことにより、2次元パターンの結像位置を基準とする前記計測対象物の奥行きを求め、各色で求められた奥行きに基づいて、前記計測対象物の奥行きを推定する、
ことを特徴とする請求項10から請求項12のいずれか一項に記載の3次元計測システム。
[請求項14]
前記2次元パターンを構成するパターンの配列方向にずれるように、前記撮像手段の光学系の光軸が、前記投影光の光軸と非同軸に設定されている、
ことを特徴とする請求項1から請求項13のいずれか一項に記載の3次元計測システム。
[請求項15]
前記2次元パターンは、
第1の方向から前記計測対象物に前記2次元パターンを投影する第1の投影手段と、
第2の方向から前記計測対象物に前記2次元パターンを投影する第2の投影手段と、により投影される、
ことを特徴とする請求項13または請求項14に記載の3次元計測システム。
[請求項16]
前記第1の投影手段と前記撮像手段との光軸のずれの方向が、前記第2の投影手段と前記撮像手段との光軸のずれの方向と直交する、
ことを特徴とする請求項15に記載の3次元計測システム。
[請求項17]
前記撮像手段の光軸と前記投影光の光軸とが一致するように設定されている、
ことを特徴とする請求項1から請求項13のいずれか一項に記載の3次元計測システム。
[請求項18]
投影光により投影光学系を介して2次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定する3次元計測方法であって、
前記2次元パターンは前記投影光学系に設けられた符号化開口パターンを介して前記計測対象物に投影されるとともに、
前記計測対象物の奥行きは、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定されることを特徴とする3次元計測方法。
[請求項19]
投影光により符号化開口パターンが設けられた投影光学系を介して2次元パターンが投影された計測対象物を、撮像手段により撮像して得られた画像データと、前記計測対象物の奥行きに対応付けられて予め取得された参照画像データ群とを、比較することにより前記計測対象物の奥行きを推定するコンピュータを、
前記計測対象物の奥行きを、前記投影光学系と前記撮像手段の前記計測対象物に対する視差に基づく画像マッチングを行うステレオ法と、前記計測対象物の画像データにおける前記符号化開口パターンの光軸方向のボケに基づくDfD法の双方を適用した画像処理により推定する推定部として機能させることを特徴とする3次元計測プログラム。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • KAGOSHIMA UNIVERSITY
  • HIROSHIMA CITY UNIVERSITY
  • Inventor
  • KAWASAKI Hiroshi
  • HORITA Yuuki
  • ONO Satoshi
  • HIURA Shinsaku
  • FURUKAWA Ryo
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JP KE KG KN KP KR KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG
Please contact us by E-mail if you have any interests on this patent.

PAGE TOP

close
close
close
close
close
close