TOP > 国内特許検索 > 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 > 明細書

明細書 :3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2019-139030 (P2019-139030A)
公開日 令和元年8月22日(2019.8.22)
発明の名称または考案の名称 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置
国際特許分類 G09G   5/00        (2006.01)
G01B  11/25        (2006.01)
G09G   5/02        (2006.01)
G09G   5/10        (2006.01)
G09G   5/36        (2006.01)
H04N   5/74        (2006.01)
G06T   7/521       (2017.01)
FI G09G 5/00 X
G01B 11/25 H
G09G 5/00 550C
G09G 5/00 510B
G09G 5/02 Z
G09G 5/10 Z
G09G 5/36 520D
H04N 5/74 D
H04N 5/74 Z
G06T 7/521
請求項の数または発明の数 8
出願形態 OL
全頁数 18
出願番号 特願2018-021435 (P2018-021435)
出願日 平成30年2月8日(2018.2.8)
新規性喪失の例外の表示 新規性喪失の例外適用申請有り
発明者または考案者 【氏名】藤垣 元治
【氏名】大津 雅亮
【氏名】赤塚 優一
【氏名】原子 淳一
【氏名】伊藤 将司
出願人 【識別番号】504145320
【氏名又は名称】国立大学法人福井大学
【識別番号】591078929
【氏名又は名称】菊川工業株式会社
個別代理人の代理人 【識別番号】110001151、【氏名又は名称】あいわ特許業務法人
審査請求 未請求
テーマコード 2F065
5C058
5C182
5L096
Fターム 2F065AA01
2F065AA04
2F065AA31
2F065AA49
2F065AA51
2F065BB05
2F065CC14
2F065DD06
2F065FF04
2F065GG21
2F065HH07
2F065JJ19
2F065JJ26
2F065LL04
2F065QQ23
2F065QQ24
2F065QQ31
5C058BA27
5C058BA35
5C058EA02
5C182AA04
5C182AA14
5C182AB18
5C182AC03
5C182BA14
5C182CA11
5C182CA21
5C182CB11
5C182CC24
5C182DA70
5L096AA09
5L096BA08
5L096CA17
5L096DA02
5L096EA27
5L096EA33
5L096FA66
5L096FA67
5L096GA53
要約 【課題】3次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記3次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供する。
【解決手段】プロジェクションマッピング方法は、計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと、を備えたプロジェクションマッピング装置において、前記計測用プロジェクターを用いて前記物体の3次元形状を計測し、前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照し、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求め、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する。
【選択図】図20
特許請求の範囲 【請求項1】
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の3次元形状を計測する第1ステップと、
前記第1ステップより前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する第2ステップと、
前記第2ステップにより、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める第3ステップと、
前記第3ステップにより求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する第4ステップと、を含むプロジェクションマッピング方法。
【請求項2】
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の3次元形状を計測する3次元形状計測手段と、
前記3次元形状測定手段により前記物体の3次元形状を計測して得られた座標情報を元にして、前記カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する参照手段と、
前記参照手段により、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める画素情報取得手段と、
前記画素情報取得手段により求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する投影手段を備えた、プロジェクションマッピング装置。
【請求項3】
前記計測用プロジェクターは非可視光を用いる、請求項2に記載のプロジェクションマッピング装置。
【請求項4】
前記カメラの任意の画素の近傍の画素に対応する投影画像データを用いて補間を行なう手段および前記カメラで撮影された画像に対して、前記投影画像データを増やす処理を行う手段のうちの少なくとも一方を更に備えた、請求項2または3に記載のプロジェクションマッピング装置。
【請求項5】
物体の表面の位置に対応した輝度値やカラー情報を物体上に投影するプロジェクション装置において、
前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照することによって、前記カメラの画素に対応する前記プロジェクターの対応画素の座標を求める方法。
【請求項6】
前記請求項5を実現するためのキャリブレーション方法。
【請求項7】
前記請求項5を実現するための装置。
【請求項8】
前記請求項5を実電するためのキャリブレーション装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、3次元計測対象物体の表面に投影する方法および装置に関する。
【背景技術】
【0002】
非接触による3次元形状計測は、製造業をはじめ、医療、土木、衣料分野など幅広い需要がある。特に、板金加工品やプレス加工品など、大型の曲面を持つ物体に対しては、非接触で3次元の分布が計測できるパターン投影による3次元計測が短時間で計測・検査が出来る手法として有効である。
【0003】
実際の検査現場において作業者が3次元計測結果と実物表面の対応関係をつける作業に大きな労力がかかる。例えば、大型の板金加工製品における曲面形状の検査に用いる場合、3次元形状の計測データが得られて、形状の不具合部分が検出されたとしても、検査装置のモニター画面上に表示された不具合部分が、実物上のどの部分であるかを認識する必要がある。特に、凹凸が少ないなど形状に大きな特徴がない物体の場合には、不具合部分が物体のどの部分であるのかを特定することが難しくなる。そのため、物体上の欠陥位置の特定が短時間で行える方法が求められている。
【0004】
従来手法として、特許文献1に示す装置と手法が開発されている。これは、計測用のカメラと投影用のプロジェクターの光軸を画素単位で合わせるような光学系を作成し、計測結果を表した画像を投影用のプロジェクターから対象物体表面に投影するものである。計測しているカメラ画素と投影用のプロジェクターの画素が1対1で対応している。そのため、カメラの画素ごとに得られる計測結果に対して、同じ画素に投影する輝度値やカラー情報を格納して作成する画像を、投影用のプロジェクターから投影することで、対象物の表面の対応する点ごとに計測結果や評価結果を投影することができる。
【0005】
特許文献2には、カメラとプロジェクターを用いたパターン投影によって、対象となる3次元物体の3次元計測を行い、得られた点群データを元にして、投影パターンの幾何学的変形処理を行う映像投影の方法が示されている。
【0006】
また、3次元物体に対するプロジェクションマッピングの技術においては、建物などの固定された物体に対するものだけでなく、動的に変化するものに対してプロジェクションマッピングを行う手法も提案されている。例えば、非特許文献1には、3次元計測で得られた点群データを元にして対象物体の位置と向きを推定し、それに応じて投影パターンを求める映像投影の方法が示されている。
【先行技術文献】
【0007】

【特許文献1】特開2001-066158号公報
【特許文献2】特開2015-173430号公報
【0008】

【非特許文献1】鷹箸拓也, 橋本直己, 佐藤美恵,3次元点群を用いた物体追跡によるインタラクティブな映像投影に関する一検討,映像情報メディア学会誌, Vol. 69, No. 6, J213-J216(2015).
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、特許文献1に開示される技術は、計測用のカメラと投影用のプロジェクターの光軸を一致させる必要があることで、特殊な光学系が必要となり、高価なものとなる。また、その微調整も必要となり手間がかかる。
【0010】
また、特許文献2に開示される技術は、対象物体の3次元計測を行うたびに投影座標変換データを生成してから座標変換処理を行っているために,対象物体が位置を変えたり変形したりした場合は,その後の手順を行うために時間がかかるという問題がある。
また、非特許文献1に開示される技術は、対象物体の形状データをあらかじめ登録しておく必要があるため、任意形状の物体には適用できない。
【0011】
そこで、本発明の目的は、3次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記3次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供することである。
【課題を解決するための手段】
【0012】
本発明の一態様は、
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の3次元形状を計測する第1ステップと、
前記第1ステップより前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する第2ステップと、
前記第2ステップにより、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める第3ステップと、
前記第3ステップにより求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する第4ステップと、を含むプロジェクションマッピング方法である。
本発明の他の態様は、
計測用プロジェクターと物体の表面の位置に対応した輝度値やカラー情報を物体上に投影する投影用プロジェクターと前記計測用プロジェクターから投影された格子パターンを撮影するカメラと、を備えたプロジェクションマッピング装置において、
前記計測用プロジェクターを用いて前記物体の3次元形状を計測する3次元形状計測手段と、
前記3次元形状測定手段により前記物体の3次元形状を計測して得られた座標情報を元にして、前記カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照する参照手段と、
前記参照手段により、前記カメラの画素に対応する前記投影用プロジェクターの画素の座標を求める画素情報取得手段と、
前記画素情報取得手段により求められた、前記投影用プロジェクターの画素から、前記物体の表面の位置に対応した輝度値やカラー情報を前記物体の表面に投影する投影手段を備えたことを特徴とする。前記計測用プロジェクターは赤外光などの非可視光を用いてもよい。
前記プロジェクションマッピング装置において、前記カメラの任意の画素の近傍の画素に対応する投影画像データを用いて補間を行なう手段および前記カメラで撮影された画像に対して、前記投影画像データを増やす処理を行う手段のうちの少なくとも一方を更に備えてもよい。
本発明の他の態様は、
物体の表面の位置に対応した輝度値やカラー情報を物体上に投影するプロジェクション装置において、
前記物体の3次元形状を計測して得られた座標情報を元にして、カメラの画素と前記物体の座標情報に対応してプロジェクターの対応座標が格納されているテーブルを参照することによって、前記カメラの画素に対応する前記プロジェクターの対応画素の座標を求める方法および装置である。そして、その方法を実現する方法および装置である。
【発明の効果】
【0013】
本発明により、3次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記3次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供できる。
【図面の簡単な説明】
【0014】
【図1A】基準面上の点と投影行使の位相の関係において、計測用のプロジェクターを用いた投影を説明する図である。
【図1B】基準面上の点と投影行使の位相の関係において、マッピング用のプロジェクターを用いた投影を説明する図である。
【図2】1画素の撮影ラインLと基準面上の3次元座標(x座標とy座標,z座標)の関係を示す図である。
【図3】変換テーブルの作成を説明する図である。
【図4A】基準面撮影で得た位相と高さの関係を示す図であり、位相とx座標の関係を示す図である。
【図4B】基準面撮影で得た位相と高さの関係を示す図であり、位相とy座標の関係を示す図である。
【図4C】基準面撮影で得た位相と高さの関係を示す図であり、位相とz座標の関係を示す図である。
【図5】作成した位相・高さの関係テーブルとその参照を説明する図である。
【図6】位相と3次元座標(x座標,y座標,z座標)の変換テーブルを説明する概念図である。
【図7】移動ステージに取り付けられた基準面に用いる液晶ディスプレイを説明する図である。
【図8】計測用のプロジェクターから基準面への格子の投影と撮影の様子を説明する図である。
【図9A】x方向の格子を基準面に表示して撮影する様子を説明する図である。
【図9B】y方向の格子を基準面に表示して撮影する様子を説明する図である。
【図10A】マッピング用のプロジェクターから基準面への格子の投影の様子(x方向)を説明する図である。
【図10B】マッピング用のプロジェクターから基準面への格子の投影の様子(x方向)を説明する図である。
【図11】計測画像と計測の様子を説明する図である。
【図12】マッピングする画像と計測の様子を説明する図である。
【図13】カメラの座標(ic,jc)とz座標の関係を示す図である。
【図14A】1画素のカメラの座標(ic,jc)とz座標の関係を示す図であり、z座標と投影画素ipの関係を説明する図である。
【図14B】1画素のカメラの座標(ic,jc)とz座標の関係を示す図であり、z座標と投影画素jpの関係を説明する図である。
【図15A】マッピング用プロジェクターで格子投影した画像の位相接続画像であり、投影画素ipを説明する図である。
【図15B】マッピング用プロジェクターで格子投影した画像の位相接続画像であり、投影画像jpを説明する図である。
【図16】形状計測のフローを説明する図である。
【図17】計測装置の一構成例を示す図である。
【図18】プロジェクターとカメラとLEDデバイスの配置を示す図である。
【図19】格子パターンを投影する様子を説明する図である。
【図20】計測結果を対象物体に投影する様子を説明する図である。
【図21】計測用プロジェクターから計測対象物体の表面に格子パターンを投影する様子を説明する図である。
【図22】計測結果を計測対象物体に投影する様子を説明する図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を図面と共に説明する。
1.計測原理
ここでは、3次元計測、および3次元計測マッピングに用いられている計測原理を説明する。3次元計測マッピングでは全空間テーブル化方法を用いて、計測時に用いるプロジェクターと、計測結果や評価結果などの計測結果関連情報を物体上にマッピングするためのプロジェクターの光軸が異なっていても、位相と3次元座標のテーブルを参照することで、複雑な計算をしなくても対応関係を求めることができる。

【0016】
まず1.1で、位相と3次元座標を変換するテーブルをつくるための全空間テーブル化方法の基準面の撮影と位相と座標のテーブルについて説明する。1.2で、液晶ディスプレイを用いたテーブルの作成方法について説明する。最後に1.3で、位相と3次元座標の変換について説明する。

【0017】
位相シフト法、光源切替位相シフト法、計測深度拡大法および,オーバーラップ法は、公知の技術を用いることができる。ここでは、テーブル作成に使用する基準面の垂直方向をz座標(高さ・深度)方向、横縦方向をxy座標方向として定義する。

【0018】
1.1 全空間テーブル化方法
1.1.1 基準面の撮影
投影する余弦波状の格子パターンに対して、直交する方向をx軸とする。このとき、図1A,図1Bに基準面上の点と投影格子の位相の関係を示す。図1Aは計測用のプロジェクターを用いた投影の場合、図1Bはマッピング用のプロジェクターを用いた投影の場合をそれぞれ表す。

【0019】
カメラと計測用プロジェクターとマッピング用プロジェクターの位置関係を固定し、x軸方向で視差がおきるように配置する。基準面はz軸に垂直に設置し、z軸方向に平行移動が可能である。格子模様がプロジェクター(計測用プロジェクターとマッピング用プロジェクター)から基準面に投影される。

【0020】
カメラの任意の1画素は図1A,図1Bに示す直線L上の点を撮影しているものとする。前記の任意の1画素は、基準面R0, R1, R2...Rに応じて、それぞれ点P0, P1, P2...PNを撮影することになる。それぞれの点における位相は、位相シフト法によって投影した格子から求めることができる。具体的には、基準面の位置をΔzずつ動かしていき、それぞれのzにおける基準面の位相分布を求めていく。この時、基準面の高さを低いほうからzi(i = 0, 1, 2, …, N)とする。ここで、N+1は基準面を動かした回数である。なお、図中のプロジェクター(計測用プロジェクターとマッピング用プロジェクター)から基準面へ引かれている実線は投影格子の輝度値の高い部分を示している。

【0021】
図2に、1画素の撮影ラインLと基準面上の3次元座標(x座標とy座標,z座標)の関係を示す。1画素が撮影している各基準面上の点P0, P1, P2...PN については、基準面に固定された2次元状のパターンからx座標およびy座標を得て、基準面の位置からz座標を得る。基準面に固定された2次元状のパターンは、そのパターンからx座標およびy座標が得られるようなパターンが必要である。

【0022】
2次元状のパターンとして2次元格子を用いる場合は、その格子のx方向およびy方向の位相値をそれぞれ求め、さらに位相接続をすることによって、各点におけるx座標およびy座標をそれぞれ得ることができる。基準面の表面に光拡散板を貼付けた液晶ディスプレイを用いることで、格子パターンを基準面上に表示することができ、撮影した画像から位相シフト法によって位相分布を求める。このようにすることで、各基準面の位置ごとに、投影格子の位相θに対するx座標,y座標,z座標がそれぞれ画素ごとに得られることになる。

【0023】
1.1.2 テーブルの作成
次に、z座標と位相との変換テーブルを作成する。変換テーブル作成の概要を図3に示す。実際に計測された2点間のz座標における位相を線形的に補間し、補間された場所で間隔Δθを一定に保つようにテーブル要素を作成する。要素には位相値の小さいほうから0, 1, 2, …, i…, Nと番号をつけ、それぞれの位相値はθi(i = 0, 1, 2, …, N)とおく。ここで、N+1は作成するテーブルの要素の総数である。NとΔθとの間には、数1式の関係がある。

【0024】
【数1】
JP2019139030A_000003t.gif

【0025】
まず、図4A,図4B,図4Cに示すように、位相θPに対応するx座標xPは、位相θPを間に持つ前後の位相θiおよびθi+1と、それに対応するx座標xiおよびxi+1を用いて数2式により求めることができる。同様に、y座標についてはyiおよびyi+1を用いて数3式により、また、z座標については、ziおよびzi+1を用いて数4式により求めることができる。

【0026】
【数2】
JP2019139030A_000004t.gif

【0027】
【数3】
JP2019139030A_000005t.gif

【0028】
【数4】
JP2019139030A_000006t.gif

【0029】
ここで、θ= θPとする。また、θi+1 < θiとなる場合、θi < θ ≦ 2πであればθi+1に2πを加え、0 ≦ θ < θi+1であればθiから2πを引いた上で数2式,数3式,および数4式を用いる。また、数2式,数3式,および数4式を用いて、あらかじめ等間隔の位相θに対応するx座標とy座標,z座標のテーブルをそれぞれ作成しておく。

【0030】
なお、図4A,図4B,図4Cにおいて、Kとして示す区間の位相に対しては、その位相を間に持つ前後の位相θNおよびθN+1とのうち、θN+1は存在しない。そこで、i = N-1として数2式,数3式,および数4式を用いて、位相と3次元座標の関係を求める。すなわち、一つ手前の基準面における位相と座標の値を用いて計算する。こうすることによって、0から2πの全ての位相に対して、3次元座標を得ることができる。また、投影格子の位相接続を行う場合でも、同様の考え方で、位相接続後の位相とその点の3次元座標を得ることが可能である。

【0031】
1.1.3 テーブルの参照
形状計測の際は、作成した位相と高さの関係テーブルを参照し、これより高さ分布を得る。作成したある1画素における、位相と高さの関係テーブルを図5に示す。ここで、基準面の位相を求めた時と同様にして、計測対象の位相θを求める。数5式に示すようにθをΔθで割った商nはθが参照すべきテーブル要素の番号と一致するため、その画素におけるz座標znが求まる。これを全画素に対して行えば、計測対象の高さ分布が算出できる。

【0032】
【数5】
JP2019139030A_000007t.gif

【0033】
x座標のテーブル作成の際、初めに得られた高さとx座標の関係から、位相とz座標の関係テーブルを利用することにより、位相とx座標の関係への変換を行った。このことにより、x座標の算出にz座標の算出が不要になる。また、y座標についても同様の手法で位相からy座標を求めるテーブルを作成することができる。

【0034】
ここで位相から3次元座標(x座標,y座標,z座標)への変換について実際に使用している方法を述べる。図6に、ある1画素においてm個のテーブル要素数を持つ、位相と3次元座標(x座標,y座標,z座標)の変換テーブルの概念図を示す。図中のIndex numberは、数5式より求めた参照テーブル要素番号nの値である。これらはすべて画素単位でメモリ上に配列としてそれぞれの並び順のまま保持され、参照の際にはn番目の場所に保管されているデータを読み出すことで結果を求めている。

【0035】
このように本発明による方法では、事前に求めた基準面の位相値分布を元に計測対象物の高さ分布を算出する。これにより、投影格子が正弦波にならないことによる計算誤差や、カメラレンズの歪曲収差の影響による誤差を回避できる。さらにテーブル参照の処理のみであるから、画素ごとの高さの計算が不要となり高速な解析が可能となる。

【0036】
1.2 液晶ディスプレイを用いたテーブルの作成方法
平板に2次元格子パターンを描く手法も有効であるが、基準面上に濃淡のパターンが描かれることによって、格子投影をする場合に、基準面内の位置によって投影格子の位相の精度にばらつきが生じる場合がある。

【0037】
そこでここでは、液晶ディスプレイを用いることで、精度よくx方向およびy方向の位相値をそれぞれ求めることができ、さらに投影格子の位相も精度よく得られる基準板を説明する。

【0038】
この基準板は、位相シフト法によって位相解析を行うことで、各画素のx座標およびy座標を精度よく求めることができる。さらに投影格子に対して、基準面内の位置によって投影格子の位相の精度にばらつきが生じることが起こらない。3次元座標と計測用のプロジェクターから投影される格子の位相の関係は全空間テーブル化手法を用いて校正を行う。

【0039】
図7に移動ステージに取り付けられた基準面に用いる液晶ディスプレイを示す。液晶ディスプレイ表面には光拡散板が貼付されており、液晶ディスプレイに表示された画像をバックライト光源からの照明光によって光拡散板に背面から投影される構造になっている。液晶ディスプレイは、z方向に移動する移動ステージ上に、ディスプレイ表面がz軸に対して垂直になるように取り付けられている。移動ステージはコンピュータからの移動ステージ制御信号によって位置をコントロールされている。

【0040】
テーブルデータ取得の手順を示す。図8に、計測用のプロジェクターから格子を投影している様子を示す。計測用のプロジェクターから投影する格子を撮影する場合は、液晶パネルには黒パターンを基準面表示画像として表示する。こうすることによって、バックライト光源からの照明光を遮断する。計測用のプロジェクターからは格子画像を投影し、カメラで撮影する。計測用のプロジェクターから投影された投影格子は、光拡散板表面に投影される。したがって、光拡散板表面が基準面となる。移動ステージを用いて基準面の位置をz0, z1, z2…zN に移動する。そして、それぞれの位置において投影格子の位相解析を行うことで、カメラで撮影される画像の画素ごとにそれぞれの位置に対する位相θ0, θ1, θ2…θN を得ることができる。

【0041】
次に、図9A,図9Bに、基準面へのx方向およびy方向の格子画像を表示する様子をそれぞれ示す。計測用とマッピング用のプロジェクターには投影画像として黒パターンを入力することで、両方のプロジェクターからの投影光を遮断する。

【0042】
液晶パネルには基準面表示画像として、x方向またはy方向の格子画像を表示する。バックライト光源から出た照明光によって、液晶パネルに表示された格子画像が液晶パネルに貼付された光拡散板に背面から投影される。投影された画像は光拡散板内部を散乱しながら透過し、基準面となっている光拡散板表面に表示される。したがって、カメラは基準面に表示された格子画像を撮影することができる。

【0043】
移動ステージを用いて基準面の位置をz0, z1, z2…zN に移動する。そして、それぞれの位置において、x方向およびy方向の格子の位相解析を行い、その位相に対して位相接続を行う。さらに、位相接続された位相からx座標またはy座標への換算を行うことで、カメラで撮影される画像の画素ごとにそれぞれの位置に対するx座標x0, x1, x2…xN およびy座標y0, y1, y2…yN を得ることができる。

【0044】
図10A,図10Bに、マッピング用のプロジェクターからx方向およびy方向の格子を投影している様子をそれぞれ示す。図8に示される計測用のプロジェクターを用いた投影と同様に、マッピング用のプロジェクターから投影する格子を撮影する場合は、液晶パネルには黒パターンを基準面表示画像として表示する。移動ステージを用いて基準面の位置をz0, z1, z2…zN に移動し、それぞれの位置においてx方向およびy方向の投影格子の位相解析を行うことで、カメラで撮影される画像の画素ごとにそれぞれの位置に対するx座標の位相Φi0, Φi1, Φi2…ΦiNおよびy座標の位相Φj0j1j2…ΦjNを得ることができる。このようにすることで、それぞれの画素で各基準面の位置でマッピング用のプロジェクターから投影される格子のx座標の位相Φip,y座標の位相Φjpと3次元座標(x座標とy座標,z座標)がそれぞれ得られる。

【0045】
位相Φip,Φjpは,基準面の位置でしか得られないが,必要に応じて基準面の間隔を小さくすることにより、3次元座標との対応関係を精度よく求めることができる。位相値Φip,Φjpはマッピング用の座標のip画素および,jp画素にそれぞれ変換する。マッピング用のプロジェクターで投影したx,y方向の格子ピッチをPip,Pjpとすると、数6式および数7式により、位相と座標が変換できる。

【0046】
【数6】
JP2019139030A_000008t.gif

【0047】
【数7】
JP2019139030A_000009t.gif

【0048】
1.3 座標変換について
3次元計測で得られた画像をマッピング用のプロジェクターで投影すると光軸が異なるため、マッピングがずれる。プロジェクションマッピングをするためには、計測したそれぞれの3次元座標(x座標とy座標,z座標)をプロジェクターから投影するための座標に変換する必要がある。上述の校正手法により、マッピング用の座標のip画素,jp画素と,z座標z0, z1, z2…zNの関係が画素ごとに得られる。

【0049】
図11に計測画像と計測の様子を示す。図中のobjectを3次元計測したものをMeasurement imageに示している。Object上のある座標値(xa,ya,za)はカメラで撮影した計測画像の座標(ic,jc)に格納されている。

【0050】
図12に計測画像の座標をマッピング用の座標に変換した様子を示す。図中のProjection imageはマッピング用のプロジェクターで投影する画像を表している。上記の計測画像の座標(ic,jc)に格納されていた座標値(xa,ya,za)は、マッピング画像の座標(ip,jp)に格納される。

【0051】
計測した3次元座標(x座標,y座標,z座標)をプロジェクターから投影するための座標に変換するために、全空間テーブル化手法により作成したテーブルを参照する。図13にカメラの画素(ic,jc)とz座標の関係を示す。

【0052】
各基準面の撮影位置zにおける3次元計測画像の1画素ごとに、対応するマッピング画像の座標が格納されている。3次元計測により取得したz座標と計測画像の座標(ic,jc)からマッピング用の座標(ip,jp)が得られる。

【0053】
全空間テーブル化手法によって、画素ごとに3次元座標がそれぞれ得られる。図14A,図14Bにある1画素(ic,jc)におけるz座標とマッピング用のプロジェクターの投影格子画像のip座標およびjp座標の関係をそれぞれ示す。座標(ic,jc)におけるz座標の値をzaとする。計測座標zaからこれらのテーブルをもとにしてzaの位置で撮影したマッピング用のプロジェクターのマッピング用のプロジェクターの投影格子画像のip座標およびjp座標を(ipa,jpa)と求めることができる。
以上の説明では、基準面に液晶ディスプレイを用いた場合について示したが、x,y座標を読み取ることができる他の手段を用いたキャリブレーション手法についても適用が可能である。例えば、基準面とする平板に、2次元の格子パターンやドットパターン、チェッカーパターンなどを描いたものについても適用が可能である。
さらに、基準面からはx,y座標の情報は得られないような場合においても、本方法では、カメラの座標(ic,jc)とz座標に対して、マッピング用のプロジェクターの投影格子画像のip座標およびjp座標の関係をテーブル化する。そのため、x,y座標を求めない3次元計測装置(高さ分布計測装置)の場合においても適用可能である。また、x,y座標を簡易的にカメラの座標(ic,jc)から算出する3次元計測装置においても適用可能である。

【0054】
図15A,図15Bにマッピング用プロジェクターで格子投影した画像の位相接続画像を示す。位相接続画像には1画素ごとにマッピング用の座標値が格納されている。図14Aからzaに対応している投影画素ipa,図14Bから投影画素jpaが求まる。

【0055】
座標変換を計測画像のz座標が得られた画素に対して行うことでマッピング画像が得られる。各変換した座標に高さ分布を入れて得られたマッピング画像をマッピング用のプロジェクターで投影することにより物体上の正しい位置に計測結果を投影することができる。

【0056】
図16は、基準面撮影からテーブル作成、対象の形状計測までのフローを説明する図である。計測の手順は、まず、シミュレーションにより計測可能であると予測される範囲に基準面を置く。その位置で、光源切替位相シフト法により位相を求める。光源を切り替えるごとに撮影し、得られた3枚以上の画像から各画素の位相値を求める。この作業をz方向へΔzずつ基準面を移動させた各位置へ繰り返す。これを、基準面がzn-1の位置になるまでn回行なうことで、画素ごとのz座標と位相の関係が求められる。ここまでが、キャリブレーションの作業である。以上により得られた関係から、位相とz座標の関係を補間した変換テーブルを作成する。このテーブルはPC内部のメモリに一時保管しておく。ここまでが、テーブル作成作業である。

【0057】
次に、基準面を撮影した範囲に計測物体を置き、光源切替位相シフト法により、キャリブレーション時と同じ回数だけ光源を順に点灯させ撮影を行い、計測物体の位相分布を算出する。この位相分布の各画素における位相値をテーブルに照らし合わせることで、計測物体のz座標分布を算出する。ここまでが、形状計測作業である。なお、実験環境に変化が無い限り、同じテーブルを用いて計測を行なうことが可能である。
図17は、計測装置の構成を示す図である。図18はプロジェクターとカメラとLEDデバイスの配置を示す図である。

【0058】
図17に示される3次元計測装置は、格子板、ラインLEDデバイス、カメラ、パーソナルコンピュータを備えている。ラインLEDデバイスをライン状に配置した8ラインの光源により構成されている。ラインLEDにはLED点灯回路とドライブ回路とが含まれている。

【0059】
LEDデバイスを4つ使用し、格子板に対して光源の距離が変わるように2組を2段に分けて設置している。これは、計測深度拡大方法を適用するためである。計測深度拡大方法は公知の技術手段である。

【0060】
3次元計測装置には、DLP式プロジェクターを組み込んでいる。このプロジェクターは、物体上へのプロジェクションマッピングに利用する。また、プロジェクター内部には、フォトダイオードを入れており、プロジェクターの光源の出力をパーソナルコンピュータに送っている。

【0061】
上述したように、本発明に係るプロジェクションマッピング装置は、計測対象物体の表面に計測結果や評価結果の分布を輝度値やカラー情報の分布として投影する際に、計測対象物体の形状に応じて、プロジェクターで投影する画像の位置を適切に決めることで、物体の形状が変わっても、物体表面上の正しい位置に計測結果や評価結果を投影することができる。また、非常に短時間にその処理を行うことができる。また、計測用の投影に近赤外光や目立たない波長の光を用いることで、作業者が3次元計測をするための投影光を見ること無しに、または、ほとんど気になること無しに、対象物に投影された計測結果や評価結果だけを見ることができる。これにより、作業員の作業性が高まる。

【0062】
次に、図19から図22を用いて、複数の格子投影装置(複数のプロジェクター)を用いた3次元形状計測方法とその装置の実施形態を説明する。図19に計測対象物体に計測用プロジェクターから格子パターンを投影する様子を示す。図20に投影用プロジェクターから計測結果を元にして作成した評価結果の分布を投影している様子を示す。まず、図19に示す計測用プロジェクターから格子像を計測対象物体に格子模様を投影する。カメラにより、計測対象物体に投影された格子画像を撮像する。次に、パーソナルコンピュータ(PC)が、上記した変換テーブルを参照して、投影画像が計測プロジェクターを用いて測定した計測対象物体の対応する座標に投影されるように処理を行う。

【0063】
また、本発明による方法は、計測用プロジェクターと投影用プロジェクターが同一の場合でも、同様の装置を構築することができる。その場合の計測と投影の様子を次に示す。図21に計測対象物体に計測用プロジェクターから格子パターンを投影する様子を示す。図22に計測用プロジェクターと兼用の投影用プロジェクターから計測結果を元にして作成した評価結果の分布を輝度値やカラー情報の分布として投影している様子を示す。パーソナルコンピュータPCが計測用と投影用の兼用のプロジェクターを制御することで、本発明によるプロジェクションマッピングを実施できる。

【0064】
上述したように、本発明に係るプロジェクションマッピング装置は、3次元計測を行った直後に計測結果や計測結果を元に生成された評価結果の分布を計測対象物の実物表面上に即座に投影することができる。すなわち、一連の処理を繰り返し実行することで、リアルタイムに計測結果や計測結果を元に生成された評価結果の分布を計測対象物の実物表面上に投影するこが可能となる。

【0065】
上記に示した方法により、投影用の画像を作成することができるが、カメラの撮影画素数が少ない場合には、投影画像にマッピングするデータ点が少なくなることで、画像内にデータが無い点が現れ、対象物体表面に投影された画像に欠けた点が現れる。

【0066】
これについては、(1)近傍のデータのある点のデータ値を用いて,補間を行うことでその点のデータを生成することで解消する手段、(2)また、カメラで撮影した画像に対して、画像の画素数を増やす処理を行い、得られた画素数の多い画像を用いて投影画像を生成する手段、による解決することができる。なお、(1)と(2)を組み合わせることで、隙間の量が低減または解消された投影画像を生成することができる。

【0067】
上述したように、本発明により、3次元計測対象物体の表面に計測結果関連情報を投影する際に、計測対象物の形状・位置・姿勢に応じて、前記計測結果関連情報を前記3次元計測対象物体の表面の正しい位置に投影することが可能な方法および装置を提供できる。
また、本発明はテーブルを参照することで対応画素の座標を求めているため、非常に短時間に投影する画像を生成することができる。
さらに、本発明は、計測用の投影に近赤外光を用いることで、作業者には3次元計測をするための投影光を見ること無く、計測対象物に投影された計測結果や評価結果だけを視認することができる。これにより作業員や視覚センサを備えたロボットによる作業性が高まる。
さらに、本発明は、リアルタイムに3次元計測結果やそれに応じた評価結果の分布を対応する実物上に投影することができる。
【符号の説明】
【0068】
L 撮影ライン
PC パーソナルコンピュータ
図面
【図1A】
0
【図1B】
1
【図2】
2
【図3】
3
【図4A】
4
【図4B】
5
【図4C】
6
【図5】
7
【図6】
8
【図7】
9
【図8】
10
【図9A】
11
【図9B】
12
【図10A】
13
【図10B】
14
【図11】
15
【図12】
16
【図13】
17
【図14A】
18
【図14B】
19
【図15A】
20
【図15B】
21
【図16】
22
【図17】
23
【図18】
24
【図19】
25
【図20】
26
【図21】
27
【図22】
28