TOP > 国内特許検索 > 特徴量を用いた3次元計測方法およびその装置 > 明細書

明細書 :特徴量を用いた3次元計測方法およびその装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B1)
特許番号 特許第6308637号 (P6308637)
登録日 平成30年3月23日(2018.3.23)
発行日 平成30年4月11日(2018.4.11)
発明の名称または考案の名称 特徴量を用いた3次元計測方法およびその装置
国際特許分類 G01B  11/25        (2006.01)
FI G01B 11/25 H
請求項の数または発明の数 21
全頁数 22
出願番号 特願2017-092144 (P2017-092144)
出願日 平成29年5月8日(2017.5.8)
審査請求日 平成29年5月8日(2017.5.8)
特許権者または実用新案権者 【識別番号】504145320
【氏名又は名称】国立大学法人福井大学
発明者または考案者 【氏名】藤垣 元治
【氏名】赤塚 優一
【氏名】高田 大嗣
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】110001151、【氏名又は名称】あいわ特許業務法人
審査官 【審査官】清水 靖記
参考文献・文献 特開2008-190990(JP,A)
特開2001-012925(JP,A)
特開2013-160596(JP,A)
特開2016-128786(JP,A)
中国特許第102721376(CN,B)
調査した分野 G01B 11/00 - 11/30

Japio-GPG/FX
JSTPlus/JMEDPlus/JST7580(JDreamIII)
Scopus

要約 【課題】特徴量を用いた3次元計測方法およびその装置を提供する。
【解決手段】複数の投影部5A、5Bから投影されたパターンまたは前記パターンの変化の少なくとも一方により得られた複数個の特徴量と空間座標との関係を予め求め、特徴量と空間座標の関係を用いて、計測対象物表面6に複数の投影部から投影されたパターンまたはパターンの変化から得られた特徴量から対象物表面の空間座標を求める。
【選択図】図2
特許請求の範囲 【請求項1】
3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影するステップと、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影するステップと、
基準物体を用いて予め求められた前記各3つ以上の特徴量の組と前記空間座標との関係を用いて、前記撮影して得られた画像を基に得られた3つ以上の特徴量の組から、前記空間座標を求めるステップと、
を含む前記計測対象物表面の空間座標を求める計測方法。
【請求項2】
請求項1において、前記各3つ以上の特徴量の組と前記各空間座標との関係をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める計測方法。
【請求項3】
請求項1において、前記各3つ以上の特徴量の組と前記各空間座標との関係の一部をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める計測方法。
【請求項4】
請求項1~3の何れか一つにおいて、前記複数の位置から投影される光の波長を複数にすることで同時に複数の特徴量を得る、前記計測対象物表面の空間座標を求める計測方法。
【請求項5】
請求項1~4の何れか一つにおいて、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める計測方法。
【請求項6】
請求項1~5の何れか一つにおいて、前記3つ以上の特徴量の組と前記各空間座標との関係は、前記複数の位置から前記基準物体の表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して、3つ以上の特徴量の組と空間座標との関係を求める方法。
【請求項7】
3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置から基準物体表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔でパターンまたは前記パターンの変化を投影して、3つ以上の特徴量の組と前記空間座標との関係を求める方法。
【請求項8】
請求項6または7の何れか一つにおいて、前記基準物体表面に格子パターンあるいはマークを固定する、3つ以上の特徴量の組と空間座標との関係を求める方法。
【請求項9】
請求項6~8の何れか一つにおいて、前記複数の位置から投影される光の波長を複数にすることで、3つ以上の特徴量の組と空間座標との関係を求める方法。
【請求項10】
請求項6~9の何れか一つにおいて、前記複数の位置は、一列に並んで配置されていることを特徴とする、3つ以上の特徴量の組と前記空間座標との関係を求める方法。
【請求項11】
3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影する投影部と、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記各3つ以上の特徴量の組と前記各空間座標との関係を記憶する記憶部と、
前記記憶手段に記憶された前記3つ以上の特徴量の組と前記各空間座標との関係を用いて、前記撮影して得られた画像を基に得られた3つ以上の特徴量の組から、前記空間座標を求める空間座標取得部と、
を備えた前記計測対象物表面の空間座標を求める計測装置。
【請求項12】
請求項11において、前記各3つ以上の特徴量の組と前記各空間座標との関係はテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める計測装置。
【請求項13】
請求項11において、前記各3つ以上の特徴量の組と前記空間座標との関係の一部がテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める計測装置。
【請求項14】
請求項11~13の何れか一つにおいて、前記投影部の複数の位置から投影される光の波長を異なったものとすることで同時に複数の前記特徴量を得る、前記計測対象物表面の空間座標を求める計測装置。
【請求項15】
請求項11~14の何れか一つにおいて、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める計測装置。
【請求項16】
請求項11~15の何れか一つにおいて、前記各3つ以上の特徴量と前記各空間座標との関係は、前記投影部の複数の位置から基準物体表面に、前記投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、3つ以上の特徴量の組と空間座標との関係を求める計測装置。
【請求項17】
請求項11~15の何れか一つにおいて、前記各3つ以上の特徴量と前記各空間座標との関係は、前記投影部と同じ構成を有する他の投影部を用い、前記他の投影部から基準物体表面に、前記他の投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、3つ以上の特徴量の組と空間座標との関係を求める計測装置。
【請求項18】
3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置からパターンまたは前記パターンの変化を投影する投影部と、
前記複数個と基準物体との間隔を変更する変更部と、
前記複数個の投影部と前記基準物体との距離を変更して複数の間隔で、前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記撮像部により撮像された画像と、前記複数の投影部と前記基準物体との距離を基に、3つ以上の特徴量の組と前記空間座標との関係を求める計測装置。
【請求項19】
請求項17または18の何れか一つにおいて、前記基準物体表面に格子パターンあるいはマークを固定する、3つ以上の特徴量の組と空間座標との関係を求める計測装置。
【請求項20】
請求項16~18の何れか一つにおいて、前記複数の位置は、一列に並んで配置されていることを特徴とする、3つ以上の特徴量の組と前記空間座標との関係を求める計測装置。
【請求項21】
請求項11から20の何れか一つにおいて、前記投影部は一つの投影ユニットからなり、前記撮像部は複数個のカメラからなり、前記複数個のカメラは前記投影ユニットに設けられている、計測装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、特徴量を用いた3次元計測方法およびその方法を用いる装置に関する。
【背景技術】
【0002】
カメラを用いた3次元形状計測は、1980年代から多くの研究が国内外で行われてきた。ロボットビジョンの分野においては、カメラのキャリブレーションが不要な方法も提案されている。多数の方向から撮影された画像から3次元形状を復元する方法も提案されているが、像上の境界部等の特徴点の対応付けを行うため、滑らかな面の形状計測ができず、また解析に時間を要する。
【0003】
近年、ロボットアームによる原子炉内部の除染活動や移動ロボットなど、障害物や突起物などの位置や形状をリアルタイムに精度よく検知・計測する方法が求められている。また、災害救助ロボットにおいては、生存者保護のため、精度よく人体と障害物の位置関係を計測する必要がある。
【0004】
しかし悪路による振動も多く、従来のステレオ方式では、カメラの位置関係がずれることで計測精度が低下する。キャリブレーション後は光学系の固定が必須のため、ズームやピント調整はできないことが、従来の常識であった。
【0005】
精度よく平面や曲面状であっても3次元形状が計測できる方法としては、格子パターンを物体に投影し、投影方向とは異なる方向から撮影された画像より3次元計測を行う投影格子の位相解析を行う方法の研究が広く行われてきた。
【0006】
国内では、武田らがフーリエ変換を用いた位相解析手法を提案しており、吉澤らが実用的な3次元計測装置を開発している。海外では、米国のSong ZhangらがDMD(Digital Micro-mirror Device)を用いた超高速度3次元計測の研究を精力的に進めている。最近の動向としては、3次元形状計測の高速化に注目が集まっている。しかし、屋外や振動の多い環境での使用はほとんど考えられていない。
【0007】
また、計測精度を高めるためのキャリブレーション方法についての研究は少なく、とくに系統的誤差が全く入らない3次元計測手法は、国内外ともに提案者以外からは提案されていない。さらに、投影部だけキャリブレーションすることで3次元計測が可能という研究は、国内外ともに見あたらない。
【0008】
発明者等は、これまでに図1に示す系統誤差が入らない「全空間テーブル化手法(特許文献1を参照)」を提案し、基礎技術の開発と多くの応用研究をしてきた。格子投影手法では、投影格子の位相と3次元座標に1対1の対応関係ができる。その関係を利用してカメラの画素ごとに位相値と3次元座標のテーブルを作ることによりレンズ歪曲収差などの系統誤差は全く入らず、ゆがみなく精度がよい3次元計測が可能となる。
【先行技術文献】
【0009】

【特許文献1】特開2008-281491号公報
【特許文献2】特開2001-108422号公報
【特許文献3】特開2017-40482号公報
【特許文献4】特開2012-189479号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかし、特許文献1に開示されている方法を含め、従来の3次元計測方法においては、カメラとプロジェクターを全て一体化した状態でキャリブレーションを行うことが必須であった。そのため、カメラを含めた3次元計測ユニットとして固定する必要があり、装置のサイズが大きくなるため、ロボットハンドや移動ロボット、自動搬送車などに取り付けにくいものになっていた。また、撮影レンズのピント調整や画角の調整をするとキャリブレーションをやり直す必要があり、メンテナンスも難しいという問題があった。
そこで、本発明の目的は、上記問題を解決するものであり、3つ以上の特徴量の組を用いた3次元計測方法およびその装置を提供することである。
【課題を解決するための手段】
【0011】
発明の一実施態様は、3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影するステップと、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影するステップと、
基準物体を用いて予め求められた前記各3つ以上の特徴量の組と前記空間座標との関係を用いて、前記撮影して得られた画像を基に得られた3つ以上の特徴量の組から、前記空間座標を求めるステップと、
を含む前記計測対象物表面の空間座標を求める計測方法である。
上記一実施態様において、前記各3つ以上の特徴量の組と前記各空間座標との関係をテーブル化しておき、前記計測対象物表面の各空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める。
また、上記一実施態様において、前記各3つ以上の特徴量の組と前記各空間座標との関係の一部をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記複数の位置から投影される光の波長を複数にすることで同時に複数の特徴量を得る、前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める。
【0012】
本発明の一実施態様において、前記3つ以上の特徴量の組と前記各空間座標との関係は、前記複数の位置から前記基準物体の表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して、3つ以上の特徴量の組と空間座標との関係を求める。
本発明の一実施態様において、3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置から基準物体表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔でパターンまたは前記パターンの変化を投影して、3つ以上の特徴量の組と前記空間座標との関係を求める。
上記の一実施態様において、前記基準物体表面に格子パターンあるいはマークを固定する。
上記一実施態様において、前記複数の位置から投影される光の波長を複数用いる。
上記一実施態様において、前記複数の位置は、一列に並んで配置されている。
【0013】
本発明の一実施態様は、3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影する投影部と、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記各3つ以上の特徴量の組と前記各空間座標との関係を記憶する記憶部と、
前記記憶手段に記憶された前記3つ以上の特徴量の組と前記各空間座標との関係を用いて、前記撮影して得られた画像を基に得られた3つ以上の特徴量の組から、前記空間座標を求める空間座標取得部と、
を備えた前記計測対象物表面の空間座標を求める計測装置である。
上記一実施態様において、前記各3つ以上の特徴量の組と前記各空間座標との関係はテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記各3つ以上の特徴量の組と前記空間座標との関係の一部がテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記投影部の複数の位置から投影される光の波長を異なったものとすることで同時に複数の前記特徴量を得る。
上記一実施形態において、前記複数の位置は、一列に並んで配置されて、前記計測対象物表面の空間座標を求める。
【0014】
本発明の一実施態様において、前記各3つ以上の特徴量と前記各空間座標との関係は、前記投影部の複数の位置から基準物体表面に、前記投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、3つ以上の特徴量の組と各空間座標との関係を求める計測装置である。
【0015】
本発明の一実施態様において、前記各3つ以上の特徴量と前記各空間座標との関係は、前記投影部と同じ構成を有する他の投影部を用い、前記他の投影部から基準物体表面に、前記他の投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、3つ以上の特徴量の組と空間座標との関係を求める。
本発明の一実施態様では、3つ以上の特徴量の複数の組を含み、前記各3つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と1対1の対応関係となるように配置された複数の位置からパターンまたは前記パターンの変化を投影する投影部と、
前記複数個と基準物体との間隔を変更する変更部と、
前記複数個の投影部と前記基準物体との距離を変更して複数の間隔で、前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記撮像部により撮像された画像と、前記複数の投影部と前記基準物体との距離を基に、3つ以上の特徴量の組と前記空間座標との関係を求める計測装置である。
【0016】
上記一実施態様において、前記基準物体表面に格子パターンあるいはマークを固定する、3つ以上の特徴量の組と空間座標との関係を求める。
上記一実施態様において、前記複数の位置は、一列に並んで配置されていることを特徴とする、3つ以上の特徴量の組と前記空間座標との関係を求める。
上記一実施態様において、前記投影部は一つの投影ユニットからなり、前記撮像部は複数個のカメラからなり、前記複数個のカメラは前記投影ユニットに設けられている。
【発明の効果】
【0017】
本発明により、3つ以上の特徴量の組を用いた3次元計測方法およびその装置を提供できる。
【図面の簡単な説明】
【0018】
【図1】特許文献1に開示される全空間テーブル化手法を説明する図である。
【図2】装置の構成を説明する図である。
【図3】光源5Aの点灯の様子を説明する図である。
【図4】光源5Bの点灯の様子を説明する図である。
【図5】キャリブレーションの様子(基準面に固定された格子パターンの撮影)を説明する図である。
【図6】キャリブレーションの様子(格子パターン8Aを投影する場合)を説明する図である。
【図7】キャリブレーションの様子(格子パターン8Bを投影する場合)を説明する図である。
【図8】特徴量φAの分布を説明する図である。
【図9】特徴量φBの分布を説明する図である。
【図10】基準取得点を説明する図である。
【図11】特徴量-座標テーブル作成の手順を説明する図である。
【図12】物体上への特徴量Aの投影を説明する図である。
【図13】物体上への特徴量Bの投影を説明する図である。
【図14】特徴量-座標テーブルから座標を読み取る手順を説明する図である。
【図15】本発明に係る、計測対象空間内の各点(各位置)に3個の位相値を取得する方法を説明する図である。
【図16】移動ロボットに本発明の実施形態の計測装置を搭載した例を説明する図である。
【図17】特徴量-座標テーブルから3次元座標を読み取る手順を説明する図である。
【図18】探索により座標を求める手順を説明する図である。
【図19】装置の構成例を説明する図である。
【図20】装置の構成例を説明する図である。
【図21】装置の構成例を説明する図である。
【図22】装置の構成例を説明する図である。
【図23】装置の構成例を説明する図である。
【図24】実験装置の構成を説明する図である。
【図25】物体の計測例を説明する図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態を図面と共に説明する。
1.計測原理の説明
1.1 キャリブレーション
まず、本発明に係る計測原理について説明する。ここでは、説明を簡単にするため、2個の特徴量を用いて2次元の座標(x, z)を求めるとして説明する。実際は3次元空間の空間座標(x, y, z)を求めるために、3次元に拡張する必要があるが、下記に述べるプロジェクターの数を3個以上とし、そこから得られる特徴量を3個以上にすることで、3次元の空間座標を同様の方法で求めることができる。

【0020】
本発明に係る実施形態の計測装置の構成を図2に示す。格子投影ユニット3には、光源5Aと格子ガラス4A、光源5Bと格子ガラス4Bが固定されている。格子投影ユニット3は光源からの光が透過する材質のものであるか、中空のもので構成されている。固定されているので、光源5A,光源5B,格子ガラス4A,格子ガラス4Bの相対的な位置関係が変化しないか、相対的な位置関係が変化しても計測に与える影響が無視できる程度である。光源5Aと格子ガラス4Aは、プロジェクターとして機能する。
図3に示すように、光源5Aが点灯すると、格子ガラス4Aに取り付けられている格子パターン8Aが、基準面7や物体6(計測対象物)に投影される。
図4に示すように、光源5Bと格子ガラス4Bについても同様に,光源5Bが点灯すると格子ガラス4Bに取り付けられている格子パターン8Bが基準面7や物体6(計測対象物)に投影される。

【0021】
基準面7は図示しないステージの上に取り付けられており、基準面7の法線方向に任意の量だけ平行移動させることができるようにする。また、基準面7表面には、x座標を表す格子パターン(もしくは目盛り等のマーク)が固定されているものとする。特許文献2に記載されるように、基準面7にディスプレイ等を用いることも可能である。また、特許文献3に記載されるように、曲面状の基準面7を用いることもできる。

【0022】
まず、キャリブレーションを行うために、図5に示すように、格子投影ユニット3の位置とカメラ1、基準面7の配置を決めて設置する。カメラ1は、キャリブレーションを行うために画像を撮影するためのカメラである。なお、このカメラ1は物体6の計測にも使うことができる。

【0023】
図5に示すように、基準面7をR0,R1,...RNの位置(それぞれz = z0,z1,...zN)に移動し、各位置において、基準面7に固定されているx座標(3次元の場合は(x, y)座標)を表す格子パターンや目盛り等のマークを撮影する。ここで撮影された画像から、カメラ1で撮影された画素ごとに、x座標(3次元の場合は(x, y)座標)を得ることができる。

【0024】
次に、図6に示すように光源5Aを点灯させることで、格子ガラス4Aに取り付けられている格子パターン8Aを基準面7に投影し、それをカメラ1で撮影する。さらに図7に示すように光源5Bを点灯させることで格子ガラス4Bに取り付けられている格子パターン8Bを基準面7に投影し、それをカメラ1で撮影する。このとき、特許文献4に示すように、光源の点灯位置を切り替えることで投影格子の位相シフトを行い、そこから位相分布を求めることができる。

【0025】
得られた位相分布から位相接続の処理を行うことで、連続化された位相値φAおよびφBの分布が得られる。連続化された位相値φAおよびφBは,格子パターン8Aおよび格子パターン8Bによって得られる特徴量である。このようにして、図8および図9に模式的に示すように、格子パターン8Aおよび格子パターン8Bによって、特徴量A(φA)および特徴量B(φB)の分布を得ることができる。この分布は,上述のようにカメラ1で基準面7を撮影した画像を元にして、基準面7の位置ごとに、画素ごとの離散的な分布として取得することができる。なお、格子投影法の場合は、格子パターンの1周期ごとに位相が2πだけ変化するため、得られる位相値は2πごとの繰り返しとなるが、空間的な位相の変化の情報を用いて位相接続を行うことや、投影格子のピッチを複数個にすることで、その組み合わせの情報によって位相接続を行うことが可能である。そのようにすることで、投影格子に対して2πごとの繰り返しが解消されて連続化された位相値(位相接続された位相値)を得ることができる。これは、サンプリングモアレ法や位相シフト法、その他の位相解析手法を用いる場合も同様である。

【0026】
以上の手順を行うことで、図10に示す基準取得点の位置において、特徴量の組(φA, φB)および座標(x, y)がそれぞれ得られることになる。図10では基準取得点は模式的に飛び飛びの位置に書かれている。実際には、x方向にはカメラ1の画素数分だけ、さらに、z方向には基準面7を移動する間隔分だけ基準取得点が得られることになるため、実際には図10で示すよりも密に基準取得点が得られることになる。

【0027】
また、ここで示した格子投影機構の代わりに液晶プロジェクターやDMD(デジタルマイクロミラーデバイス)を用いたプロジェクターを用いることによっても同様に空間内に特徴量の分布を作ることができる。また、スリット光をスキャンするような光切断法を用いる場合でも、スリット光をスキャンする量(例えばスリット光の出射角度など)を特徴量として用いることができる。

【0028】
このように,投影部から投影されるパターンから特徴量を得る方法だけでなく、位相シフト法やグレーコード法のように複数のパターンを変化させることで特徴量を得る方法、上述の光切断法などのようにパターンの変化によって特徴量が得られる手法であれば、本手法に適用することができる。位相シフト法の場合は得られる位相値を特徴量とし、グレーコード法の場合は、空間を分割するグレイコード値を特徴量とすればよい。また,偏光を利用する手法では、その偏光方向を特徴量とすればよい。

【0029】
1.2 特徴量-座標テーブルの作成
次に特徴量Aと特徴量Bの組(φA, φB)から座標(x, z)を求める特徴量-座標テーブルを作成する手順を示す。図11に示すように、まず前述のキャリブレーション手法によって、基準面7の位置ごとに、画素ごとの離散的な分布として取得された基準取得点を特徴量空間に射影する。ここで、特徴量空間は、特徴量Aと特徴量Bを座標軸とする空間である。基準取得点ごとにその点における特徴量の組(φA, φB)と座標(x, z)が得られているため、特徴量空間へ射影することができ、射影された基準取得点ごとに座標(x, z)が得られている状態となる。

【0030】
次に、特徴量Aと特徴量Bを離散化した点について考える。図11では、等間隔に離散化した場合を示している。この格子点をテーブル要素として、その近傍にある複数の基準取得点が持つ座標(x, z)の値を元にして、その要素の座標値を補間して求める。このようにすることで、特徴量Aと特徴量Bに関する特徴量-座標テーブルの各要素の値(各テーブル要素に格納するデータ)を求めることができる。このとき、特徴量空間において、基準取得点が近傍にあることで有意な補間を行うことができるため、基準取得点がある程度密集している領域を計測領域とする。

【0031】
なお、実際は3次元空間の空間座標(x, y, z)を求めるために、3次元に拡張する必要があるが、プロジェクターの数を3個以上とし、そこから得られる特徴量を3個以上にすることで、特徴量-座標テーブルを同様に作成することができる。各テーブル要素は3次元の空間座標となる。

【0032】
1.3 計測対象物体の3次元座標の取得
次に、物体6(計測対象物)表面上の点の座標(x, z)を計測する手順を示す。まず、カメラ2を計測対象物体が撮影できる位置に設置する。このとき、カメラ1と基準面7は不要であるので、除去してもよい。

【0033】
前述の図3と図4の説明で述べたように、光源5Aおよび光源5Bが点灯することで、格子ガラス4Aおよび格子ガラス4Bに取り付けられている格子パターン8Aおよび格子パターン8Bが物体表面に投影される。この場合も図12と図13に示すように、基準面7撮影の場合と同様に、特徴量A(φA)および特徴量B(φB)の分布がそれぞれ物体表面上に投影されていると考えることができる。

【0034】
カメラ2のある1画素が撮影する物体上の点Pについて考える。点Pには特定の特徴量A(φA, P)および特徴量B(φB, P)が投影されていることになり、特徴量の組(φA, P, φB, P)がカメラ2の該当する1画素で得られることになる。カメラ2で撮影される他の画素においても、同様にそれぞれの画素に対応する特徴量の組が得られることになる。

【0035】
次に、点Pにおいて得られた特徴量の組(φA, P, φB, P)から、点Pの空間座標(xP, zP)を求める手順を示す。前述のように、あらかじめ作成しておいた図11に示す特徴量-座標テーブルを用いて、図14に示すように、特徴量の組(φA, P, φB, P)に最も近いテーブル要素T3(φ'A, P, φ'B, P)に格納されているデータを読み出す出すことで、(x'P, z'P)を求めることができる。また,特徴量の組(φA, P, φB, P)の近傍の複数のテーブル要素(例えば,T1,T2,T3,T4)に格納されているデータを元にして,補間により点Pの空間座標(xP, zP)を算出することもできる。

【0036】
3次元空間の空間座標(x, y, z)を求めるために、上述した2次元空間での説明を3次元に拡張する必要がある。図15は本発明に係る、計測対象空間内の各点(各位置)に3個の位相値を取得する方法を説明する図である。

【0037】
図15に示されるように、プロジェクターPA,PB,PCを異なる位置に3台配置し、投影する格子の向きを調整することで、計測対象空間内の1点ごと(各位置)に3個の連続化された位相値(上述の説明の「特徴量」に対応する)を持つことになる。また、3個のプロジェクターのうち2個が同じ位置に配置されていたとしても、投影する格子の向きまたはピッチが異なっていればよい。要するに、3個のプロジェクターの配置と投影する格子の向き,ピッチなどの組み合わせによって、計測領域や部分的な計測領域に対して、3個の位相値と3次元座標が1対1の対応関係になるように配置と投影する格子の向き、ピッチとなっていればよい。このようにすると、この組み合わせと3次元座標は1対1の対応関係となるため、2次元の場合と同様に3次元でもテーブル化が可能である。あらかじめこの3個の連続化された位相値と3次元座標との対応関係をテーブル化しておく。
計測対象空間内に配置された計測対象物である物体6をカメラ12で撮影する場合は、各点ごとに3個の位相値が得られることになる。そして、対象物の3次元計測を行う場合には、カメラ12で撮影された画像から得られた3個以上の位相値から、そのテーブルを参照することで、3次元座標値を得ることができる。

【0038】
このように、3個の位相値と3次元座標値との関係をテーブル化することで瞬時に3次元座標値を求めることができ、系統誤差も入らず精度よく座標が得られる。この方法では、カメラ12の位置に無関係に3次元座標値が得られる。後述するように、カメラやレンズの位置が変化してもよく、ズームやピント調整も可能となる。計測装置の取り付け後にズームやオートフォーカスを使って計測対象物を拡大して撮影できるような3次元計測装置はこれまでになく、画期的で広い適用範囲が期待できる。

【0039】
プロジェクターPA、PB、PCに備わった各光源は、コンピュータ30に搭載された制御プログラムに従って動作する。カメラ12は物体6に投影された格子パターン像を撮像し、撮像した画像情報をコンピュータ30に送る。コンピュータ30は、記憶手段31に格納された3個の位相値(特徴量)と3次元座標値との関係付けたテーブルを用いて、物体6の表面の各点の3次元座標値を求める。そして、求められた3次元座標値を用いて、コンピュータ30に備わった図示しない表示装置の表示画面に3次元画像として表示することができる。なお、テーブルデータを取得する本発明の方法を実施する場合も、コンピュータ30を用い、テーブルデータを取得するためのプログラムを動作させて、特徴量と3次元座標値との関係を示すテーブルデータを取得する。これらのプログラムは、記憶媒体32に格納してもよいし、コンピュータ30を図示しないインターネットなどの通信回線を経由し、クラウド上でプログラムを動作させてもよい。
また、コンピュータ30、記憶手段31、または、記憶媒体32が行なう演算処理または記憶処理は、それらの一部をインターネットなどの通信回線を経由し、図示しない別のコンピュータなどの処理装置で動作させてもよい。

【0040】
本発明では、カメラの画素数やカメラの数に係らず全体で同じテーブルが1個だけあればよい。このため、カメラの画素数が増えてもテーブル用のメモリー容量がむやみに増大することにはならない。また、複数個のカメラを配置する場合であっても、テーブルの容量が増えることはない。

【0041】
例えば、図16に示すように移動ロボット14に搭載し、路面状況の良くない現場で振動によってカメラやレンズの位置が移動したとしても、本手法を用いれば精度よく3次元計測が行える。走行手段として車輪を有する移動ロボット14は、上下にカメラ12,13と、縦方向と横方向の2方向の格子投影が可能な格子投影ユニット15A,15Bを備えている。

【0042】
なお、本発明に係る計測方法は、格子投影法だけにかぎらず、空間コード化法や、光切断法にも応用することが可能である。空間コード化法の場合は、3方向にプロジェクターを設置して、2値のパターンを複数回投影することで空間を分割する。それぞれのプロジェクターによって得られたコードが3個得られるので、その3個のコードと空間座標の対応関係を作ればよい。

【0043】
光切断法の場合は、レーザー等のスリット光の光源を3個用意する。スリット光の移動量がそれぞれの光源ごとに3個得られるため、その3個の移動量を表す値と空間座標の対応関係を作ればよい。

【0044】
上述したように、2次元空間のみを考える場合には、プロジェクターは少なくとも2個あればよい。3個以上になっても、3個の値から座標値の2成分を得ることは可能である。上述したように、3次元空間を考える場合には、プロジェクターは最低3個あればよい。4個以上になっても、4個の値から座標値の3成分を得ることは可能である。

【0045】
図17は、プロジェクターの数を3個以上とし、そこから得られる特徴量を3個以上にすることで作成した,特徴量-座標テーブルとそれを用いて座標を読み取る手順を示す図である。

【0046】
この場合も図14の場合と同様に、点Pにおいて得られた特徴量の組(φA, P, φB, P, φC, P)から点Pの空間座標として、特徴量の組に最も近いテーブル要素から(x'P, y'P, z'P)を求めることや、特徴量の組の近傍の複数のテーブル要素に格納されているデータを元にして、補間により(xP, yP, zP)を求めることができる。

【0047】
また、特徴量-座標テーブルを作成せずに、探索により座標を求める手法もある.図18にその手順を示す。図18は、上からグラフA,グラフB,グラフXとして、それぞれ、カメラ1で撮影された画像の横方向の画素番号(i座標)に対する特徴量A(φA),特徴量B(φB),さらに基準面7から得られたx座標の分布を表す。

【0048】
また,グラフA,グラフB,グラフXともに、基準面7をR0,R1,...RNの位置(それぞれz = z0,z1,...zN)に移動して得られた値をプロットしたものを模式的に示している。これらの値は、基準面7に沿って連続的に単調に変化するものであるため、図18に示すように、基準面7の位置ごとに、なめらかな曲線状に得られることになる。

【0049】
まず、グラフAおよびグラフBにおいて、物体上の点Pで得られた特徴量の組(φA, P, φB, P)から、グラフAおよびグラフBのどちらも同一のzの値になるi座標、もしくは近いzの値になるi座標を探索する。

【0050】
点Pは物体上の1点であるため、i座標が同一で、z座標も同一となる点がグラフAおよびグラフB内に必ず存在するはずである。ただ、基準面7を設置する位置が離散的であるため、必ずしも同一になる点が見つかるとは限らない。その場合は、基準面7を設置する間隔が小さければ、近似的にそのような点を見つけることや、補間によりそのようになる点を算出することができる。

【0051】
図18では、基準面7上でそのようになる点が探索できた場合を示している。このようにして探索して求めた基準面7の番号とそのz座標,i座標を覚えておく。ここでは、基準面7の番号は2,z座標はz2,i座標はiPである.次に、グラフXにおいて、その基準面7の番号2とi座標iPからx座標xPの値を読み取ることができる。また、z座標はz2であるため、この手順で(xP, zP)が得られることになる。

【0052】
この探索による座標の求め方についても3次元に拡張可能である。図18では横軸がi座標であり、グラフA,グラフB,グラフXがそれぞれi座標に対する特徴量である。これに対して、3次元に拡張する場合は、カメラ1の画素の座標(i, j)に対する特徴量A(φA),特徴量B(φB),特徴量C(φC)および,x座標,y座標のグラフを作成すればよい。このようにすることで、同様の手順で3次元座標(xP, yP, zP)を求めることができる。

【0053】
以上の方法を用いることによって、物体の3次元計測を行うカメラ2については、全くキャリブレーションを行うことなく、3次元計測を行うことができる。すなわち、カメラ2の位置は、移動してもよく、また、撮像レンズのピント調整やズーム調整を行ってもよいことになる。また、カメラ内部の発熱などの要因によって温度変化が発生し、それによってカメラ内部に変形が発生し、撮影位置が微小に変化することがあるが、その影響もない。

【0054】
カメラの向きによっては、カメラに対する重力の向きによって、レンズやカメラ内部のたわみの量が微小に変化するが、その影響も入らない。一般に撮像レンズにはピント調整機構やズーム機構などの可動部があるため、多少のぐらつきやがたつきがあり、振動や重力の向きなどによって微小に変形を起こす。これによって従来の3次元計測装置は計測精度の低下が発生していたが、本発明による計測方法の場合はその影響はない。
なお本明細書において、以上に述べた複数個の特徴量と空間座標の対応関係をもとにして空間座標を求める手法を「特徴量型全空間計測手法」と呼び,その対応関係をテーブル化して空間座標を求める手法を「特徴量型全空間テーブル化手法」と呼ぶことにする。

【0055】
1.4 装置の構成例
以下、装置の構成例を示す。図19は、縦方向の格子を投影する格子投影部が左右に取り付けられており、中央部に横方向の格子を投影する格子投影部が取り付けられている形態である。このようにすることで、複数個の特徴量の組が計測領域内もしくはその部分領域内で一意になるようにできる。

【0056】
格子投影ユニット3の左右に格子ガラス4A,4Bが取り付けられ、中央部に格子ガラス4Cが取り付けられている。各格子ガラス4A,4B,4Cに対応するように、光源5A,5B,5Cが格子投影ユニット3に設けられている。格子ガラス4A,4B,4Cの全ての格子の向きが異なるように配置することが望ましい。

【0057】
図20は,装置内部にカメラを組み込んだ形態を示したものである。キャリブレーションに用いるカメラと計測用に用いるカメラは同一のものを使っても良いし、別々のものを使ってもよい。装置にカメラを組み込むことで、装置全体を小型化することができる。

【0058】
内部に組み込むカメラには、ズームレンズを用いることも可能である。複数のカメラを組み込むこと、片方は広角レンズを用いることで広い範囲を計測することができるカメラとし、もう一方のカメラにはズームレンズを用いることで、部分的に詳細に3次元計測を行うことができるようになる。また、カメラにパン・チルト機構をとりつけることで、さらに必要な領域を詳細に撮影することができ3次元計測装置を作成することも可能である。図20の実施形態では、ズームレンズ付きカメラ16とカメラ17が組み込まれている。

【0059】
図21は,投影する格子に任意の角度を与えたものである。格子ガラス4A,4B,4Cが格子投影ユニット3に取り付けられている。本発明による計測手法では、このように任意の向きの投影格子を取り付けても、複数個の特徴量の組が計測領域内もしくはその部分領域で一意になるような配置であれば、3次元計測を行うことができる。また、計測領域の部分領域において複数個の特徴量の組が一意になるような配置であっても、どの部分領域かが特定できる手段があればよい。例えば、計測領域を左側と右側の部分領域ごとに特徴量の組が一意に決まる場合は、計測領域の左側か右側かがあきらかになる手段が別途あればよいことになる。その部分領域が数多くあっても同様である。例えば、位相接続されていない位相分布(2πの繰り返しになる位相分布)を特徴量とする場合は、特徴量の組が同一となる点は計測領域内で複数個存在することも想定される。その場合は、どの部分領域が求める領域かを判別する手段が別途あればよいことになる。

【0060】
図22は、格子の投影部分を、格子ガラス4A,4B,4C、4Dの4個にしたものである。投影される格子パターンが4個以上であっても、複数個の特徴量の組が計測領域内もしくはその部分領域内で一意になるような配置であれば、3次元計測を行うことができる。

【0061】
図23は、格子ガラス4A,4B,4Cのように、投影する格子に任意の向きを与え、さらに複数個のカメラ18,19,20を組み込んだものである。カメラを複数個にすることで、各々のカメラそれぞれに広角撮影やズーム撮影,ピントの合う位置,パン・チルト機構などの別々の機能を持たせるようなことも可能である。また、複数のカメラで撮影して得られた空間座標の分布を合成することで、ノイズの低減された計測結果を得ることもできる。

【0062】
また、本発明の実施形態として、格子投影部で用いる光源の波長を分けておくことで、撮影側で分離して撮影することができるため、同時に格子パターンを投影することができる。すなわち、ワンショットの画像から空間座標を求めることも可能となる。このようにすることで揺れている状態であっても3次元計測を行うことができる。例えば、手で持ちながらであっても精度よく3次元計測が行える。また、ドローン等に搭載することでも精度よく3次元計測が行えるため、インフラ構造物の検査などにも利用することが可能となる。
また、格子投影部として液晶プロジェクターのように2方向格子パターンを投影できるものを用いることができる。この場合は、1個の投影部で2個の特徴量を得ることができる。そのため、このような投影部を用いる場合は、3次元の空間座標を求めるためには、少なくとも2個の格子投影部が必要となる。

【0063】
以上のように、本発明の実施形態について説明したが、本発明は上述した実施形態の例に限定されることなく、適宜の変更を加えることにより、その他の態様で実施することができ、以下の効果を奏することができる。
(1)瞬時に3次元座標値を求めることができ、系統誤差も入らず精度よく座標が得られる。
(2)カメラの位置に無関係に3次元座標値が得られる。すなわち、カメラやレンズの位置が変化してもよく、ズームやピント調整も可能となる。カメラを複数個にしても、テーブルを増やす必要はない。
(3)振動下であっても,格子投影部分のみ強固にして振動対策をしておけばよい。

【0064】
2.実験例
以下に、特徴量型全空間計測手法の実験例を示す。この実験では、簡単にするため、2個の特徴量を用いて(x, z)座標を求める実験を行った。図24に、2台のプロジェクターと基準面7、計測対象物体,テーブル作成用カメラであるカメラ1,計測用カメラであるカメラ2の配置を示す。

【0065】
格子投影ユニット3には、光源5Aと格子ガラス4A,光源5Bと格子ガラス4Bが固定されている。光源5Aと格子ガラス4Aは、プロジェクターとして機能する。これにより、基準面7と計測対象物体に格子Aと格子Bをそれぞれ投影することができる。また、カメラ1は格子投影ユニット3内に固定されている。格子投影ユニット3は、リニアステージに取り付けられており、基準面7の法線方向に任意量だけ平行移動させることができる。

【0066】
基準面7には、液晶モニタ10の表面に光拡散板を貼付けたものを用いた。液晶モニタ10にx方向の格子パターンを表示し、それをカメラ1で撮影することで、撮影画素ごとに基準面7上のx座標値を知ることができる。また、格子Aと格子Bを投影することで、基準面7を撮影する画素ごとに、x座標値.z座標値,格子Aの位相値φAおよび格子Bの位相値φBを得ることができる。

【0067】
なお、本実験では、基準面7をz = 0 mmからz = 90 mmまで10 mm間隔で移動して、それぞれの位置において、投影された格子の位相値の解析と液晶モニタへのx方向の格子の表示とその撮影を行った。投影された格子の位相解析にはサンプリングモアレ法を用い、得られた位相分布に対して位相接続の処理を行うことで各画素における格子パターン8Aの位相値φAおよび格子パターン8Bの位相値φBを求めた。また,基準面7に表示されたx方向の格子の位相解析には、位相シフト法を用いた。

【0068】
本実験の場合、基準面7は移動させず、代わりに格子投影ユニット3を移動することで、相対的に基準面7が移動する状態を作った。図24に示す基準面7の位置R0,R1,...RNは、格子投影ユニット3からの相対的な位置を示している。

【0069】
次に,計測対象物体として、図25に示すように、白色の平板11を用い、x軸に対して30度傾けて設置した。白色の平板11には、40mmの間隔で2カ所にマークが付けられているこのマークのある点をP1とP2とする。物体に対して格子パターン8Aを投影して、カメラ2で撮影する。得られた画像からサンプリングモアレ法で位相分布を求め、さらに位相接続を行うことで、点P1と点P2における位相値φA,P1および格子パターン8Bの位相値φB,P1をそれぞれ求める。同様に、物体に対して格子パターン8Bを投影することで、点P1と点P2における位相値φA,P2および格子パターン8Bの位相値φB,P2を求める。これらの位相値が特徴量となる。

【0070】
実験の結果、点P1における位相値φA,P1およびφB,P1はそれぞれ-31.49 radと-35.44 radであった。また、点P2における位相値φA,P2およびφB,P2はそれぞれ-47.66 radと-53.64 radであった。これらの特徴量をもとにして(x, z)座標を求めると、点P1においては(61.0 mm, 50.0 mm),点P2においては(96.1 mm, 30.0 mm)となった。これら2点の間隔を得られた座標値から求めたところ、40.4 mmとなり、2点間の間隔が得られていることがわかる。なお、本実験においては、図18を用いて説明した特徴量-座標テーブルを作成せずに探索により座標を求める手法を用いた。
【符号の説明】
【0071】
1 カメラ
2 カメラ
3 格子投影ユニット
4A 格子ガラス
4B 格子ガラス
5A 光源
5B 光源
6 物体
7 基準面
8A 格子パターン
8B 格子パターン
9 リニアステージ
10 液晶モニタ
11 平板
12 カメラ
13 カメラ
14 移動ロボット
15A 格子パターン
15B 格子パターン
16 ズームレンズ付きカメラ
17 カメラ
18 カメラ
19 カメラ
20 カメラ

30 コンピュータ
31 記憶手段
32 記憶媒体
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24