Top > Search of Japanese Patents > METHOD AND DEVICE FOR PROJECTING INFORMATION RELATED TO MEASUREMENT RESULT ON SURFACE OF THREE-DIMENSIONAL MEASUREMENT TARGET OBJECT

METHOD AND DEVICE FOR PROJECTING INFORMATION RELATED TO MEASUREMENT RESULT ON SURFACE OF THREE-DIMENSIONAL MEASUREMENT TARGET OBJECT commons

Patent code P180015081
File No. FU785
Posted date Jun 13, 2018
Application number P2018-021435
Publication number P2019-139030A
Date of filing Feb 8, 2018
Date of publication of application Aug 22, 2019
Inventor
  • (In Japanese)藤垣 元治
  • (In Japanese)大津 雅亮
  • (In Japanese)赤塚 優一
  • (In Japanese)原子 淳一
  • (In Japanese)伊藤 将司
Applicant
  • (In Japanese)国立大学法人福井大学
  • (In Japanese)菊川工業株式会社
Title METHOD AND DEVICE FOR PROJECTING INFORMATION RELATED TO MEASUREMENT RESULT ON SURFACE OF THREE-DIMENSIONAL MEASUREMENT TARGET OBJECT commons
Abstract PROBLEM TO BE SOLVED: To provide a method and a device capable of projecting information related to measurement results on a correct position of a surface of a three-dimensional measurement target object, on the basis of the shape, position and posture of the measurement target object, when projecting the information related to measurement results on the surface of the three-dimensional measurement target object.
SOLUTION: A projection mapping method, in a projection mapping device which comprises a measurement projector and a projection projector for projecting on an object a luminance value and color information corresponding to a position of a surface of the object, includes measuring three-dimensional shape of an object using the measurement projector, referring to a table which stores a corresponding coordinate of the projector corresponding to pixels of a camera and coordinate information obtained by measuring the three-dimensional shape of the object on the basis of the coordinate information of the object, determining coordinates of pixels of the projection projector corresponding to the pixels of the camera and then, from the pixels of the projection projector, projecting the luminance value and color information corresponding to the position of the surface of the object onto the surface of the object.
Outline of related art and contending technology (In Japanese)

非接触による3次元形状計測は、製造業をはじめ、医療、土木、衣料分野など幅広い需要がある。特に、板金加工品やプレス加工品など、大型の曲面を持つ物体に対しては、非接触で3次元の分布が計測できるパターン投影による3次元計測が短時間で計測・検査が出来る手法として有効である。

実際の検査現場において作業者が3次元計測結果と実物表面の対応関係をつける作業に大きな労力がかかる。例えば、大型の板金加工製品における曲面形状の検査に用いる場合、3次元形状の計測データが得られて、形状の不具合部分が検出されたとしても、検査装置のモニター画面上に表示された不具合部分が、実物上のどの部分であるかを認識する必要がある。特に、凹凸が少ないなど形状に大きな特徴がない物体の場合には、不具合部分が物体のどの部分であるのかを特定することが難しくなる。そのため、物体上の欠陥位置の特定が短時間で行える方法が求められている。

従来手法として、特許文献1に示す装置と手法が開発されている。これは、計測用のカメラと投影用のプロジェクターの光軸を画素単位で合わせるような光学系を作成し、計測結果を表した画像を投影用のプロジェクターから対象物体表面に投影するものである。計測しているカメラ画素と投影用のプロジェクターの画素が1対1で対応している。そのため、カメラの画素ごとに得られる計測結果に対して、同じ画素に投影する輝度値やカラー情報を格納して作成する画像を、投影用のプロジェクターから投影することで、対象物の表面の対応する点ごとに計測結果や評価結果を投影することができる。

特許文献2には、カメラとプロジェクターを用いたパターン投影によって、対象となる3次元物体の3次元計測を行い、得られた点群データを元にして、投影パターンの幾何学的変形処理を行う映像投影の方法が示されている。

また、3次元物体に対するプロジェクションマッピングの技術においては、建物などの固定された物体に対するものだけでなく、動的に変化するものに対してプロジェクションマッピングを行う手法も提案されている。例えば、非特許文献1には、3次元計測で得られた点群データを元にして対象物体の位置と向きを推定し、それに応じて投影パターンを求める映像投影の方法が示されている。

Field of industrial application (In Japanese)

本発明は、3次元計測対象物体の表面に投影する方法および装置に関する。

Scope of claims (In Japanese)
【請求項1】
 
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の3次元形状を計測する第1ステップと、
前記第1ステップより前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する第2ステップと、
前記第2ステップにより、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める第3ステップと、
前記第3ステップにより求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する第4ステップと、を含むプロジェクションマッピング方法。

【請求項2】
 
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の3次元形状を計測する3次元形状計測手段と、
前記3次元形状測定手段により前記物体の3次元形状を計測して得られた座標情報を元にして、前記カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する参照手段と、
前記参照手段により、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める画素情報取得手段と、
前記画素情報取得手段により求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する投影手段を備えた、プロジェクションマッピング装置。

【請求項3】
 
前記計測用プロジェクターは非可視光を用いる、請求項2に記載のプロジェクションマッピング装置。

【請求項4】
 
前記カメラの任意の画素の近傍の画素に対応する投影画像データを用いて補間を行なう手段および前記カメラで撮影された画像に対して、前記投影画像データを増やす処理を行う手段のうちの少なくとも一方を更に備えた、請求項2または3に記載のプロジェクションマッピング装置。

【請求項5】
 
物体の表面の位置に対応した輝度値やカラー情報を物体上に投影するプロジェクション装置において、
前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照することによって、前記カメラの画素に対応する前記プロジェクターの対応画素の座標を求める方法。

【請求項6】
 
前記請求項5を実現するためのキャリブレーション方法。

【請求項7】
 
前記請求項5を実現するための装置。

【請求項8】
 
前記請求項5を実電するためのキャリブレーション装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018021435thum.jpg
State of application right Published
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close