Top > Search of International Patents > IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD

IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD meetings

Foreign code F190009826
Posted date Jun 27, 2019
Country WIPO
International application number 2013JP004059
International publication number WO 2014020823
Date of international filing Jun 28, 2013
Date of international publication Feb 6, 2014
Priority data
  • P2012-168412 (Jul 30, 2012) JP
Title IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD meetings
Abstract A high-density shape reconstruction is conducted in measuring animal bodies as well. In an image processing system in which a projection pattern projected on an observed object by a projector device is photographed by an photographing device, and shape reconstruction from an input image including the projection pattern is conducted by an image processing device connected to the projector device and the photographing device, the image processing device is provided with a means for loading the input image photographed by the photographing device and for detecting lines in the projection pattern projected by the projector device, the projection pattern including a grid pattern of wave lines, the means conducting shape reconstruction by associating a point of intersection of vertical and horizontal lines extracted by the line detection with the projection pattern.
Outline of related art and contending technology BACKGROUND ART
Recently, 3 move in the restoration of a three-dimensional scene has attracted attention. For example, real-time measurement of a human body by analyzing the motion thereof, the mounting of the device is not necessary to realize an interface to the product is housed in a significant success in the game (for example, see Non-Patent Document 1). Further, such a product is used as the autonomous robot moving in an eye is proceeding and studies, the importance of the measurement in an animal body is strongly recognized. Scanner currently available animal body, for measuring the static scene the more precisely the three-dimensional scanner 3, density measurement can be performed. However, it is possible to improve the accuracy and have higher density can be achieved, and the fluid analysis or the like for medical applications, it is believed that the application range is significantly expanded.
The shape measurement of the moving objects is a method, methods such as a stereo camera using only the Time-of-Flight (TOF) to a large number of laser scanning method. Among these, a system using the projector and the projection light beam is structured by the method, to obtain the shape data of the moving object is suitable, electricity recent development, have been studied (for example, see Non-Patent Document 1-4).
Projecting a structured light method, the time coding method is roughly classified into the space encoding method. The space encoding method, a method to restore the shape from a single image for (one-shot scan), the animal body at a high frame rate suitable for the measurement. Been intensively studied for this purpose. In the space encoding method, the projected pattern can be uniquely identified from among all the corresponding point information, a two-dimensional pattern 2 directly implanted. For this purpose, because of the need for a relatively large area, tends to lower the density is restored. In addition, the surface shape variation of the pattern due to error in the decryption by easily occur such as strain.
Efficiently the corresponding point information 2 as a method for embedding a two-dimensional pattern, may be used for the color information. Using a plurality of colors, a method for embedding a plurality of bit information is each point, has been widely used (for example, see Non-Patent Document 3,5-8). However, in the case of using color information, the surface of the target object each of the RGB color component needs to be sufficiently reflective. In addition, commercially available between each of the color elements in the projector according to the spectral distribution of the wave, the color of each pixel in the determination of the error is easily caused. Therefore, the color is not used as a method for spatial encoding, such as a dotted pattern or a grid pattern has been proposed a method of using. However, to date the ambiguity problem of a drop of the density has not been settled completely.
As the active measurement method, the scanner TOF and active stereo system is generally well known. Method of measuring active animal body, various methods have been studied. In many TOF laser scanner, points toward an object to measure the laser light is irradiated, the laser light is the return time to the detector is measured. Therefore, only one point at a time is measured, a wide range is not suitable in a short period. Therefore, in order to measure the animal body, which is modulated in time relative to a wide range of the light is irradiated, each of the pixels in a two-dimensional sensor by observing the modulation, apparatus for realizing the measurement of the distance image (for example, Non-Patent Document 9, reference 10). However, it is susceptible to disturbance by other light sources in the present circumstances, the resolution is low compared to a normal camera.
On the other hand, in an active stereo measuring method, in many cases, point or line laser light is irradiated with laser light, which is measured by scanning the object. Therefore, takes time for the measurement, the measurement of the animal body is not suited. Such as a video projector by using a planar light source, can shorten the measurement time, the corresponding points need to be solved the problem. As a method to solve the problem, a considerably long time and the spatial encoding scheme is a coding method (for example, see Non-Patent Document 5).
Time coding method, a plurality of patterns are projected, the change over time of each point of the pattern of the information is encoded. Therefore, is not suitable for measuring said animal body. To compensate for this drawback have been proposed several methods. For example, to switch to the high speed pattern (for example, see Non-Patent Document 11), the phase pattern used in the method for reducing the required number of (for example, see Non-Patent Document 12), or a method using a DMD pattern (for example, see Non-Patent Document 13) and the like.
In addition, a typical active stereo slightly different approach, by using more than one camera 2, a time-varying pattern is applied to the space-time stereo method (for example, see Non-Patent Document 14) have been proposed and the like. Current, a combination of a motion estimation, the measurement was successful at a temperature of about 100 FPS is also introduced. However, the need for a plurality of frames of information, the speed of the object is essentially not suitable for measurement.
On the other hand, the space encoding method, using a static pattern, only one image in order to restore the shape from the input image, the measurement is directed to the animal body. However, temporal region of the pattern from the necessity of embedding information in, the resolution is low. In addition, a surface texture and shape of the target object are distorted pattern, tends to be unstable. For this reason, many methods to alleviate this has been proposed. For example, not to the same combination of a method of using a plurality of color bands (for example, Non-Patent Document 15, reference 16), a specific method of using the dotted lines (for example, Non-Patent Document 17, reference 18), a method of embedding information in a two-dimensional pattern (for example, Non-Patent Document 1, reference 19) and the like. However, accuracy, resolution and stability are satisfied in all of the method is still sufficient performance does not exist.
Scope of claims (In Japanese)[請求項1]
 投影装置により観測対象上に投影された投影パターンを、撮影装置により撮影し、前記投影装置および前記撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理システムにおいて、前記画像処理装置が、
 前記撮影装置により撮影された入力画像を取り込み、前記投影装置により投影された投影パターンの線検出を行う手段であって、該投影パターンは、波線によるグリッドパターンであることと、
 前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行う手段と
 を備えたことを特徴とする画像処理システム。

[請求項2]
 前記波線は、一定の周期性を持つ波状の曲線であり、前記波線によるグリッドパターンは、一定の間隔に配置された複数の波線からなり、互いに交差する2方向の波線の集合であって、一方の波線の間隔が他方の波線の波長の整数倍でないことを特徴とする請求項1に記載の画像処理システム。

[請求項3]
 前記形状復元を行う手段は、
 前記撮影装置により撮影された入力画像における各々の格子点周辺の領域を接平面で近似したパッチを、前記投影装置における出力画像に再投影する手段と、
 前記再投影されたパッチと前記投影装置により投影された投影パターンの格子点の対応候補とのステレオマッチングのエネルギーを、格子点に割り当てるデータ項と隣接格子点との間で得られる正規化項との和により計算する手段と、
 前記対応候補のステレオマッチングのエネルギーが、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段と
 を含むことを特徴とする請求項1に記載の画像処理システム。

[請求項4]
 前記形状復元を行う手段は、
 3つの標本画素からなる三角メッシュを作成し、準画素単位の深さを計算する手段と、
 前記三角メッシュを前記投影装置における出力画像に再投影したときの誤差を、全ての標本画素について計算し、前記計算された誤差を最小化し、前記標本画素以外の画素における深さを線形補間する手段と
 を含むことを特徴とする請求項1に記載の画像処理システム。

[請求項5]
 前記撮影装置は、第1および第2の撮影装置からなり、
 前記形状復元を行う手段は、前記格子点についての前記第1および第2の撮影装置の間で得られる正規化項を、前記対応候補のステレオマッチングのエネルギーに加算して、前記対応候補を取捨選択する手段を含むことを特徴とする請求項3に記載の画像処理システム。

[請求項6]
 前記形状復元を行う手段は、前記格子点について、前記第1および第2の撮影装置で得られた画素単位の深さを、平均により統合する手段を含むことを特徴とする請求項5に記載の画像処理システム。

[請求項7]
 前記投影装置は、第1および第2の投影装置からなり、
 前記形状復元を行う手段は、前記第1の投影装置から投影された第1の投影パターンと、前記第2の投影装置から投影された第2の投影パターンとで一致する格子点について、画素単位の深さを最適化する手段を含むことを特徴とする請求項1に記載の画像処理システム。

[請求項8]
 前記形状復元を行う手段は、
 前記格子点についての前記投影パターンと、前記線検出により得られた結果との差を、前記格子点の周囲の複数の位置で計算し、該計算された結果を前記対応候補のマッチングコストとして、最小の対応候補である格子点を、前記投影パターンと対応付けることにより形状復元を行う手段を含むことを特徴とする請求項1に記載の画像処理システム。

[請求項9]
 前記投影パターンを前記観測対象に投影したときに、同じエピポーラ線上の任意の2つの交点についての類似度を比較し、最も類似度が低くなるように、前記投影パターンのパラメータが選択されていることを特徴とする請求項1に記載の画像処理システム。

[請求項10]
 投影装置により観測対象上に投影された投影パターンを、撮影装置により撮影し、前記投影装置および前記撮影装置に接続された画像処理装置において、該投影パターンを含む入力画像から形状復元を行う画像処理方法であって、
 前記画像処理装置が、前記撮影装置により撮影された入力画像を取り込み、前記投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであることと、
 前記画像処理装置が、前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと
 を備えたことを特徴とする画像処理方法。

[請求項11]
 投影装置により観測対象上に投影された投影パターンを、撮影装置により撮影し、前記投影装置および前記撮影装置に接続された画像処理装置に、該投影パターンを含む入力画像から形状復元を行わせるコンピュータ実行可能命令からなるコンピュータプログラムにおいて、
 前記撮影装置により撮影された入力画像を取り込み、前記投影装置により投影された投影パターンの線検出を行うステップであって、該投影パターンは、波線によるグリッドパターンであることと、
 前記線検出により抽出された縦横線の交点を、前記投影パターンと対応付けることにより形状復元を行い、復元された画像を表示するステップと
 を実行させることを特徴とするコンピュータプログラム。

  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • NATIONAL INSTITUTE OF ADVANCED INDUSTRIAL SCIENCE AND TECHNOLOGY
  • KAGOSHIMA UNIVERSITY
  • HIROSHIMA CITY UNIVERSITY
  • Inventor
  • SAGAWA, Ryusuke
  • KAWASAKI, Hiroshi
  • FURUKAWA, Ryo
IPC(International Patent Classification)
Reference ( R and D project ) Interactive Robotics Research Group,AIST

PAGE TOP

close
close
close
close
close
close