Top > Search of Japanese Patents > THREE-DIMENSIONAL MEASURING INSTRUMENT, METHOD, AND PROGRAM > Specification

Specification :(In Japanese)三次元計測装置および三次元計測方法並びに三次元計測プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4883517
Publication number P2006-145405A
Date of registration Dec 16, 2011
Date of issue Feb 22, 2012
Date of publication of application Jun 8, 2006
Title of the invention, or title of the device (In Japanese)三次元計測装置および三次元計測方法並びに三次元計測プログラム
IPC (International Patent Classification) G01B  11/25        (2006.01)
G06T   7/60        (2006.01)
FI (File Index) G01B 11/25 H
G06T 7/60 150S
Number of claims or invention 7
Total pages 18
Application Number P2004-336554
Date of filing Nov 19, 2004
Date of request for substantive examination Aug 30, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】500372717
【氏名又は名称】学校法人福岡工業大学
Inventor, or creator of device (In Japanese)【氏名】盧 存偉
Representative (In Japanese)【識別番号】100099508、【弁理士】、【氏名又は名称】加藤 久
Examiner (In Japanese)【審査官】山下 雅人
Document or reference (In Japanese)特開2004-077290(JP,A)
特開平03-289505(JP,A)
特開2001-012925(JP,A)
特開2003-254733(JP,A)
Field of search G01B 11/00-11/3025
G06T 1/00
G06T 7/60
Scope of claims (In Japanese)【請求項1】
計測対象物に投影する光のパターンであって各縞の強度値がそれぞれ異なる強度値で一定な縞状の光のパターンを形成するパターン形成手段と、
前記計測対象物に前記パターン形成手段により形成されたパターンの光(以下、「パターン光」と称す。)を投影する投影手段と、
前記パターン光が投影された計測対象物を撮像して画像を取得する撮像手段と、
前記画像から前記投影されたパターン光(以下、「投影パターン光」と称す。)を検出する投影パターン光検出手段と、
前記投影パターン光と元のパターン光とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、
前記投影パターン光を周期ごとに分割する分割手段と、
前記周期ごとに分割された投影パターン光の各分割された領域内における計測点の位相値を算出する位相値算出手段と、
前記算出された位相値より計測点の奥行き距離を算出する距離算出手段と、
前記算出された計測点の奥行き距離を用いて前記計測対象物の三次元情報を算出する三次元情報算出手段と
を備える三次元計測装置。
【請求項2】
前記パターン形成手段は、前記計測対象物に投影する光のパターンの各縞間の強度値の差の絶対値の合計を最大にするように前記パターン光の縞の強度分布を最適化し最適強度組み合わせパターンを形成するものである請求項1記載の三次元計測装置。
【請求項3】
前記投影パターン光検出手段により検出された投影パターン光の強度値を補正する強度値補正手段を備えた請求項1または2に記載の三次元計測装置。
【請求項4】
前記撮像手段により取得された画像内の計測対象物の位置を補正する位置補正手段を備えた請求項1から3のいずれかの項に記載の三次元計測装置。
【請求項5】
前記三次元情報算出手段は、前記計測対象物の空間座標、距離、角度、面積または体積を算出するものである請求項1から4のいずれかの項に記載の三次元計測装置。
【請求項6】
計測対象物に投影する光パターンであって各縞の強度値がそれぞれ異なる強度値で一定な縞状の光のパターンを形成するパターン形成ステップと、
投影手段により前記パターン形成ステップで形成されたパターンの光を前記計測対象物に投影するパターン光投影ステップと、
撮像手段により前記パターン光が投影された計測対象物を撮像して画像を取得する撮像ステップと、
前記画像から前記投影されたパターン光を検出する投影パターン光検出ステップと、
前記投影パターン光と元のパターン光と比較して前記投影パターン光の方向角を算出する方向角算出ステップと、
前記投影パターン光を周期ごとに分割する分割ステップと、
前記周期ごとに分割された投影パターン光の各分割された領域内における計測点の位相値を算出する位相値算出ステップと、
前記算出された位相値より計測点の奥行き距離を算出する距離算出ステップと、
前記算出された計測点の奥行き距離を用いて前記計測対象物の三次元情報を算出する三次元情報算出ステップと
を含む三次元計測方法。
【請求項7】
コンピュータを、
計測対象物に投影する光のパターンであって各縞の強度値がそれぞれ異なる強度値で一定な縞状の光のパターンを形成するパターン形成手段と、
前記パターン形成手段により形成されたパターンの光が投影された計測対象物が撮像された画像から前記投影されたパターン光を検出する投影パターン光検出手段と、
前記投影パターン光と元のパターン光とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、
前記投影パターン光を周期ごとに分割する分割手段と、
前記周期ごとに分割された投影パターン光の各分割された領域内における計測点の位相値を算出する位相値算出手段と、
前記算出された位相値より計測点の奥行き距離を算出する距離算出手段と、
前記算出された計測点の奥行き距離を用いて前記計測対象物の三次元情報を算出する三次元情報算出手段と
して機能させるための三次元計測プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、物体に所定パターンの光を投影し非接触で三次元情報を計測する三次元計測装置、三次元計測方法および三次元計測プログラムに関する。
【背景技術】
【0002】
近年、医療や美容、衣服を初め靴、眼鏡、帽子など服飾の設計、また、ダイエット管理や健康管理などの様々な分野においては、胴体のみならず顔や頭、手足などの人体全身の三次元形状データの取得が要求されており、非接触かつ高速な三次元形状計測装置の開発が期待されている。
【0003】
三次元計測の手法としては、計測対象物に計測の補助となる特定の光や電波等を照射することなく計測を行う受動型のものと、光、音波、電波などを計測対象物に照射し、その情報を利用して計測を行う能動型のものとに分けられる。
【0004】
これまでに、レーザを用いたパターン光を計測対象物に投影して三次元計測を行う方法が多数提案されており実用化が図られている。しかしながら、レーザ光は人体に悪影響を及ぼす可能性があるため、これらの方法を人体に応用することは難しい。レーザ光の強度をできる限り小さくするなどの改良化がなされた三次元計測方法が、例えば特許文献1などに記載されているが、レーザ光を弱くするとその分撮影時間を長くしなければならず、レーザ総光量は結果的に大きくなってしまう。従って、レーザを使わない人体の三次元計測方法が確立されることが望まれる。
【0005】
レーザ光を使わない能動型の三次元計測方法による人体形状計測装置の一例が非特許文献1に記載されている。この人体形状計測装置では、時系列空間コード化法を利用しており、ストライプ状の光シャッタ列によって作られた7種のコード化パターン光(グレイコードパターン)を計測対象物に投影し、工学的に物体を分割して三角測量の原理で計測対象物の座標値を算出する。
【0006】
しかしながら、非特許文献1に記載の人体形状計測装置では、1回の計測で複数回の投影が必要となる。従って、高精度の計測を行うにはかなりの投影回数が必要となる。例えば、非特許文献1の人体形状計測装置に用いられている時系列空間コード化法では、1%の奥行き方向計測精度を向上させるために、少なくとも7回の投影が必要となる。人体計測においては、被験者に計測の最中に長時間の静止状態を維持してもらうことは難しく、できる限り投影回数を減らして三次元計測にかかる時間を短くすることが望まれる。
【0007】
そこで、上記の問題を解決するために、白黒投影カラー解析手法による三次元計測方法が本発明者らによって考案されている(非特許文献2参照。)。この白黒投影カラー解析手法では、まず、計測対象物に対して白黒系のパターン光を投影する。そして、その反射光強度情報をより多く得るために、デジタル式カメラを用いて投影(観測)されたパターンの光を撮影する。得られたカラー投影パターン光画像の各画素の色チャンネルを解析し、最も強い反射の得られた色チャンネルを該当画素の計測チャンネルとして、強度分布の大きい計算用画像を合成する。この計算用画像から検出された投影パターン光を形成する一つ一つの個別パターン(縞)の強度分布から投影パターン光の方向角を求めて、計測対象物の三次元情報を算出する。
【0008】

【特許文献1】特開2003-11430号公報
【非特許文献1】柴田 進、山内航一郎、西尾裕志、二川貴志、佐藤幸男,第10回画像センシングシンポジウム講演論文集,画像センシング技術研究会,2004年6月9日,p.253-258
【非特許文献2】長 元気、盧 存偉,“MPCAとOIMP技術の融合によるパターン光投影3次元画像計測の効率向上”,第10回画像センシングシンポジウム講演論文集,画像センシング技術研究会,2004年6月9日,p.53-58
【発明の開示】
【発明が解決しようとする課題】
【0009】
非特許文献2の白黒投影カラー解析手法は、一回の投影で多くの個別パターン光を持つパターン光を検出することができるため、時系列空間コード化法よりも短時間で精度のよい三次元計測が可能となる。しかしながら、非特許文献2の白黒投影カラー解析手法では、計算用画像における投影パターン光の強度分布において、個別パターン光の極大値となる計測点の三次元情報しか求めることができないため、個別パターン光と隣接する個別パターン光の間の情報が失われた三次元情報となってしまう。
【0010】
そこで、本発明は、一回の投影で多くのパターン光情報を得ることができ、高速かつ高精度の三次元情報を得ることができる三次元計測装置および三次元計測方法並びに三次元計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の三次元計測装置は、計測対象物に投影する光のパターンを形成するパターン形成手段と、計測対象物にパターン形成手段により形成されたパターンの光(以下、「パターン光」と称す。)を投影する投影手段と、パターン光が投影された計測対象物を撮像して画像を取得する撮像手段と、画像から投影されたパターン光(以下、「投影パターン光」と称す。)を検出する投影パターン光検出手段と、投影パターン光と元のパターン光とを比較して投影パターン光の方向角を算出する方向角算出手段と、投影パターン光を周期ごとに分割する分割手段と、分割された投影パターン光から計測点の位相値を算出する位相値算出手段と、算出された位相値より計測点の奥行き距離を算出する距離算出手段と、算出された計測点の奥行き距離を用いて計測対象物の三次元情報を算出する三次元情報算出手段とを備えることを特徴とする。
【0012】
本発明の三次元計測装置によれば、パターン形成手段によって形成されたパターンの光が投影手段により計測対象物に投影され、このパターン光が投影された計測対象物の画像が撮像手段により撮像され、この撮像された画像から投影パターン光検出手段によって投影パターン光が検出されるので、一回の投影で多くの個別パターン光を持つ投影パターン光を検出することができる。つまり、一回の投影で多くの投影パターン光情報を得ることができる。また、方向角算出手段により投影パターン光の各個別パターン光の方向角が算出されるとともに分割手段によって投影パターン光が周期ごとに分割され、分割された投影パターン光である個別パターン光の各計測点における位相値が位相値算出手段によって算出される。そして、算出された各計測点の位相値が各計測点の奥行き距離に変換して算出されるので、投影パターン光の各個別パターン光のうち強度分布が極大値となる計測点1箇所だけでなく、個別パターン光の各計測点の三次元情報を得ることができ、精度の高い三次元情報とすることができる。なお、パターン光および投影パターン光は、一つ一つの個別パターン光の集合体である。
【0013】
また、本発明の三次元計測方法は、計測対象物に投影する光パターンを形成するパターン形成ステップと、投影手段によりパターン形成ステップで形成されたパターンの光を計測対象物に投影するパターン光投影ステップと、撮像手段によりパターン光が投影された計測対象物を撮像して画像を取得する撮像ステップと、画像から投影されたパターン光を検出する投影パターン光検出ステップと、投影パターン光と元のパターン光と比較して投影パターン光の方向角を算出する方向角算出ステップと、投影パターン光を周期ごとに分割する分割ステップと、分割された投影パターン光から計測点の位相値を算出する位相値算出ステップと、算出された位相値より計測点の奥行き距離を算出する距離算出ステップと、算出された計測点の奥行き距離を用いて計測対象物の三次元情報を算出する三次元情報算出ステップとを含むことを特徴とする。
【0014】
さらに、本発明の三次元計測プログラムは、コンピュータを、計測対象物に投影する光のパターンを形成するパターン形成手段と、パターン形成手段により形成されたパターンの光が投影された計測対象物が撮像された画像から投影されたパターン光を検出する投影パターン光検出手段と、投影パターン光と元のパターン光とを比較して投影パターン光の方向角を算出する方向角算出手段と、投影パターン光を周期ごとに分割する分割手段と、分割された投影パターン光から計測点の位相値を算出する位相値算出手段と、算出された位相値より計測点の奥行き距離を算出する距離算出手段と、算出された計測点の奥行き距離を用いて計測対象物の三次元情報を算出する三次元情報算出手段として機能させることを特徴とする。
【0015】
本発明の三次元計測方法および三次元計測プログラムによれば、上記本発明の三次元計測装置と同様の作用効果を得ることができる。
【0016】
本発明の三次元計測装置のパターン形成手段は、パターン光の強度分布を最適化して最適強度組み合わせパターンを形成するものである方が望ましい。最適パターン形成手段がパターン光の強度分布を最適化して最適強度組み合わせパターンを形成することによって、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大にする強度分布の大きい最適強度組み合わせパターンが作成される。この最適強度組み合わせパターンの光を計測対象物に投影すると、撮像手段により撮像された計測対象物の画像から得られる投影パターン光においても、注目する個別パターン光とこれに隣接する個別パターン光の各極大値の強度差が最大となる。従って、投影パターン光の各個別パターン光の方向角の算出精度を向上させることができるとともに、投影パターン光の周期ごとの分割も精度よく行うことができ、三次元計測の精度をさらに向上させることができる。
【0017】
また、本発明の三次元計測装置は、投影パターン光検出手段により検出された投影パターン光の強度値を補正する強度値補正手段を備えることが望ましい。強度値補正手段によって、投影パターン光検出手段により検出された投影パターン光の強度値が補正されるので、色分布や表面反射特性が明確でない計測対象物に対しても高精度な三次元計測を行うことができる。つまり、ほぼ均一の色分布を持つ人体などだけでなく、様々な色で着色されているような物体であっても短時間で高精度の三次元計測を行うことができる。
【0018】
また、本発明の三次元計測装置は、撮像手段により取得された画像内の計測対象物の位置を補正する位置補正手段を備えることが望ましい。位置補正手段によって、撮像手段により取得された画像内の計測対象物の位置が補正されるので、静止物体ではない計測対象物に対しても高精度な三次元計測を行うことができる。つまり、計測中に完全に静止することは難しい人や動物などに対して短時間で高精度の三次元計測を行うことができる。
【0019】
また、本発明の三次元計測装置の三次元情報算出手段は、計測対象物の空間座標、距離、角度、面積または体積を算出するものであることが望ましい。三次元情報算出手段が、計測対象物の空間座標、距離、角度、面積または体積を算出するので、本発明の三次元計測装置を用いることによって、計測対象物の様々な情報を得ることができる。
【0020】
さらに、本発明の三次元計測装置で用いられるパターンは縞状に形成されたものであることが望ましい。パターンが縞状に形成されているので、このパターン光を投影して得られた解析に用いる投影パターン光の強度分布をサイン波として容易に解析することができる。また、この場合、個別パターン光はパターン光および投影パターン光を形成している一つ一つの縞を示す。
【発明の効果】
【0021】
(1)パターン形成手段によって形成されたパターン光が計測対象物に投影手段により投影され、パターン光が投影された計測対象物の画像が撮像手段により撮像され、この画像から投影パターン光検出手段によって投影パターン光が検出されるので、一回の投影で多くの投影パターン光情報を得ることができる。また、方向角算出手段により投影パターン光の各個別パターン光の方向角が算出されるとともに分割手段によって投影パターン光が周期ごとに分割され、分割された投影パターン光である個別パターン光の各計測点における位相値が位相値算出手段によって算出され、この算出された各計測点の位相値が各計測点の奥行き距離に変換されるので、投影パターン光の各個別パターン光の強度分布が極大値となる計測点1箇所だけでなく、個別パターン光の各計測点の三次元情報を得ることができ、精度の高い三次元情報とすることができる。
【0022】
(2)最適パターン形成手段により作成された最適強度組み合わせパターンは、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大とする強度分布の大きいパターン光となっているので、この最適強度組み合わせパターンの光を計測対象物に投影すると、撮像手段により撮像された計測対象物の画像から得られる投影パターン光においても、注目する個別パターン光とこれに隣接する個別パターン光の各極大値の強度差が最大となり、個別パターン光の方向角の算出精度を向上させることができるとともに、投影パターン光の周期ごとの分割も精度よく行うことができる。従って、三次元計測の精度をさらに向上させることができる。
【0023】
(3)強度値補正手段によって、投影パターン光検出手段により検出された投影パターン光の強度値が補正されるので、色分布や表面反射特性が明確でない計測対象物についても短時間で高精度な三次元計測を行うことができる。
【0024】
(4)位置補正手段によって、撮像手段により取得された画像内の計測対象物の位置が補正されるので、静止物体ではない計測対象物に対しても短時間で高精度な三次元計測を行うことができる。
【0025】
(5)三次元情報算出手段が、計測対象物の空間座標、距離、角度、面積または体積を算出するので、計測対象物の様々な情報を得ることができる。
【0026】
(6)本発明の三次元計測装置に用いられるパターンが縞状に形成されたものであるので、解析に用いる投影パターン光の強度分布をサイン波として容易に解析することができる。
【発明を実施するための最良の形態】
【0027】
以下、本発明の実施の形態における三次元計測装置を図を用いて説明する。図1は本実施形態における三次元計測装置の全体構成を示す図である。図2は図1の三次元計測装置の詳細な構成を示すブロック図である。
【0028】
図1に示すように、本実施形態の三次元計測装置は、計測対象物Aにパターン光を投影する投影手段としてのパターン投影機1と、パターン光が投影された計測対象物Aを撮像して画像を撮像する撮像手段としてのカメラ2と、このカメラ2により撮像した画像のデータを処理するコンピュータ3とから構成される。パターン投影機1とコンピュータ3、カメラ2とコンピュータ3は、各データを伝送することができる伝送ケーブル4によって接続されている。
【0029】
パターン投影機1は、コンピュータ3により形成されたパターンデータをパターン光に変換し、計測対象物Aに投影する装置として機能する。例えば、液晶プロジェクタやDLP(デジタルライトプロセッシング、商標)プロジェクタなど市販の簡単な装置を用いることができる。カメラ2はデジタル式カメラである。なお、カメラ2はデジタル式カメラであれば8ビット、12ビットのものや、3CCD、1CCD等のどのようなものでもよい。
【0030】
コンピュータ3は、図示しない三次元計測プログラムの実行により、図2に示すように、カメラ2から伝送された画像のデータや後述する各手段により算出された結果を記憶する記憶手段10と、記憶手段10から画像を取得して計測対象物Aを抽出する抽出手段13と、記憶手段10から画像を取得して投影パターン光を検出する投影パターン光検出手段14と、抽出手段13により画像から抽出された計測対象物Aの位置や、投影パターン光検出手段14により検出された投影パターン光の強度値を補正する位置補正手段および強度値補正手段としての補正手段15と、投影したパターン光と補正手段15により強度値が補正された投影パターン光とを比較して、投影パターン光の各個別パターン光の方向角を算出する方向角算出手段16と、投影パターン光を周期ごとに分割する分割手段17と、分割手段17により分割された投影パターン光である個別パターン光から各計測点における位相値を算出する位相値算出手段18と、位相値算出手段18により算出された位相値より計測点の奥行き距離を算出する距離算出手段19と、距離算出手段19により算出された計測点の奥行き距離から計測対象物Aの三次元情報を算出する三次元情報算出手段20と、三次元情報算出手段20により算出された三次元情報を出力する出力手段21として機能する。
【0031】
また、コンピュータ3は、前述の三次元計測プログラムの実行により、初期パターン形成手段11と、計測対象物Aに投影する光のパターンを形成するパターン形成手段として、パターン光の強度分布を最適化して最適強度組み合わせパターンを形成する最適パターン形成手段12として機能する。
【0032】
初期パターン形成手段11および最適パターン形成手段12は形成した初期パターンを記憶手段10に記憶する。また、抽出手段13、投影パターン光検出手段14、補正手段15、方向角算出手段16、分割手段17、位相値算出手段18、距離算出手段19、三次元情報算出手段20は、必要な情報を記憶手段10から取得するとともに、結果を記憶手段10に記憶する。出力手段21は記憶手段10から取得した三次元情報を出力する。
【0033】
初期パターン形成手段11は、縞がない強度均一の全面投影用のパターンを形成する。最適パターン形成手段12は、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大にすることによって投影するパターン光の強度分布を最適化して最適強度組み合わせパターンを形成する。
【0034】
抽出手段13は、パターン光が投影された計測対象物Aを撮像した画像を記憶手段10から取得して、計測対象物Aを抽出する。投影パターン光検出手段14は、パターン光が投影された計測対象物Aを撮像した画像を記憶手段10から取得して、投影パターン光の強度分布を検出する。また、補正手段15は、初期パターン光が投影された計測対象物Aを撮像した画像と最適強度組み合わせパターン光が投影された計測対象物Aの画像とを記憶手段10から取得するとともに、これらの画像を比較して各画像間の計測対象物Aの位置を補正する。さらに、補正手段15は、最適パターン形成手段12により形成された最適強度組み合わせパターン光を投影した計測対象物Aの投影パターン光の強度分布と初期パターン形成手段11により形成された均一強度の初期パターン光を投影した計測対象物Aの投影パターン光の強度分布を用いて、投影パターン光の強度値を補正し、計測対象物の色分布情報を除いた強度分布とする。
【0035】
方向角算出手段16は、計測対象物Aに投影した最適強度組み合わせパターン光の各個別パターン強度分布の極大値と補正手段15により強度値が補正された投影パターン光の各個別パターン強度分布の極大値とを比較し、投影パターン光のうちの注目する個別パターン光が、最適強度組み合わせパターン光のうちの推定される個別パターン光であるかどうかの確信度を求めることによって各パターン光の方向角を算出する。
【0036】
分割手段17は、投影パターン光の強度分布から得られる強度値の極大値および極小値により投影パターン光を周期ごとに分割する。また、位相値算出手段18は、分割手段17により分割された投影パターン光である個別パターン光の強度値を用いて計測点の位相値を算出する。さらに、距離算出手段19は、位相値算出手段18により算出された各計測点の位相値より各計測点の奥行き距離を算出する。
【0037】
三次元情報算出手段20は、距離算出手段19により算出された各計測点の奥行き距離から計測対象物Aの三次元情報を算出する。この三次元情報には、計測対象物Aの空間座標、距離、角度、面積、および体積などが含まれる。
【0038】
出力手段21は、三次元情報算出手段20により算出された計測対象物Aの空間座標、距離、角度、面積または体積などをコンピュータ3に接続されたディスプレイ上に表示したり、テキストファイルや図面ファイルとして印刷したりする。
【0039】
次に、本実施形態の三次元計測装置の計測の流れを図3~図6に基づいて説明する。図3は本実施形態の三次元計測装置の幾何関係を示す図である。図4は本実施形態の三次元計測装置を用いた三次元計測の流れを示す図である。図5は最適強度組み合わせパターン光の一例を示す図であり、(a)はパターン、(b)は強度の空間分布を示す図である。図6は投影パターン光の強度分布を示す図である。
【0040】
まず、図3に示すような幾何関係になるように、パターン投影機1とカメラ2を一定の距離だけ離して配置する。
【0041】
投影するパターン光は三次元計測の計測速度および精度を左右する重要な役割を有す。本実施形態では縦縞状の白黒パターン光を用いる。ここで、縞の投影方向を表す方向角は等間隔に設定し、各方向角の位置を縞のアドレスと称する。本実施形態で用いるパターン光はN本の縞を持ち、各縞のアドレスは、それぞれ、1,2,3,・・・・,Nとする。また、各縞の方向角はそれぞれα1,α2,α3,・・・,αNとする。i番目の縞の強度値はIiとする。
【0042】
まず、コンピュータ3の初期パターン形成手段11により初期パターンを形成する。形成された初期パターンは記憶手段10に記憶されるとともに伝送ケーブル4により初期パターンデータとしてパターン投影機1に送られる。パターン投影機1に送られた初期パターンデータは初期パターン光として計測対象物Aに投影される。初期パターン光は縞がない強度均一の全面投影パターンである。(ステップS101,以下、図4参照。)この初期パターン形成手段11で形成されるパターンは、通常の画像撮影で用いられる強度均一の光パターンと同じものである。
【0043】
パターン投影機1によって計測対象物Aに投影された初期パターン光をカメラ2により撮像する。撮像された画像は、伝送ケーブル4を通じて、コンピュータ3に送られ、記憶手段10に記憶される(ステップS102)。
【0044】
次に、抽出手段13は、あらかじめ取得しておいた背景のみの画像と初期パターン光が投影された計測対象物Aの画像とを用いて、背景差分法により計測対象物Aを抽出する(ステップS103)。
【0045】
最適パターン形成手段12は、投影パターンの強度分布を最適化して図5に示すような最適強度組み合わせパターンを形成する(ステップS104)。
【0046】
最適強度組み合わせパターンを形成するためには、まず式(1)のような評価関数d(I1,I2,・・・,IN)を定義する。
【数1】
JP0004883517B2_000002t.gif
ただし、(I1,I2,・・・,IN)は投影光パターンの縞の強度分布、kjは重み係数である。また、Nは投影するパターンにある縞の総本数であり、Mは評価関数をかけるフィルタの幅である。
【0047】
最適パターン形成手段12は、上記の評価関数d(I1,I2,・・・,IN)の値を最大にする組み合わせを最適組み合わせとし、この組み合わせを用いたパターンを最適強度組み合わせパターンとする。この最適強度組み合わせパターンは、記憶手段10に記憶されるとともに伝送ケーブル4によりパターン投影機1に伝送される。なお、最適組み合わせを求めることが困難な場合では、d(I1,I2,・・・,IN)の値を十分に大きくする組み合わせである準最適組み合わせを用いても構わない。本実施形態の最適パターン形成手段12は、この準最適組み合わせを含むものとする。
【0048】
パターン投影機1によって計測対象物Aに投影された最適強度組み合わせパターン光をカメラ2により撮像する。撮像された画像は、伝送ケーブル4を通じて、コンピュータ3に送られ、記憶手段10に記憶される(ステップS105)。
【0049】
ここで、補正手段15は、初期パターン光が投影された計測対象物Aの画像と、最適強度組み合わせパターン光が投影された計測対象物Aの画像とを記憶手段10から取得するとともにこれらの画像を比較し、最小二乗法を用いて計測対象物Aの位置を補正する。(ステップS106)。
【0050】
次に、投影パターン光検出手段14は、記憶手段10に記憶された画像から図6に示すような投影パターン光の強度分布を検出する(ステップS107)。
【0051】
ここで、補正手段15は、検出された投影パターン光の強度値を以下の式(2)により補正する(ステップS108)。
【数2】
JP0004883517B2_000003t.gif
ここで、(i,j)は計測点の座標、I’は最適強度組み合わせパターン光を投影した計測対象物Aの投影パターン光の補正後の強度値、I1は最適強度組み合わせパターン光を投影した計測対象物Aの投影パターン光の強度値、I0は初期パターン光を投影した計測対象物Aの投影パターン光の強度値である。M(n)は投影パターン光の強度変調関数、nはパターン光の縞次数、O(x、y)は物体の表面反射率、k’,kは調節係数である。また、P0は初期パターン光の強度値である。
【0052】
観測されたn本(n≦N)の縞の強度分布を
JP0004883517B2_000004t.gifとし、そのアドレスをSo=(O1,O2,・・・,ON)とする。方向角算出手段15は、各縞の方向角の位置である各縞のアドレスOi(1≦i≦n)を下記のように計算する(ステップS108)。
【0053】
Step1:各縞のアドレスOi(1≦i≦n)を計算するために、まず、最適強度組み合わせパターン光を投影した計測対象物Aの投影パターン光のうち注目する縞の強度
JP0004883517B2_000005t.gifと最適強度組み合わせパターン光の強度Ij(j=1,2,・・・,N)を比較し、式(3)を満たすjを注目する縞の候補アドレスとして抽出し、その集合をGとする。
【数3】
JP0004883517B2_000006t.gif
ここで、Aは定数であり、本実施形態では縞間強度差の最小値の2~5倍の値を取っている。
【0054】
Step2:次に、式(4)を用いてi番目の注目する縞のアドレスがk(k∈G)である確率Li(k)を計算する。
【数4】
JP0004883517B2_000007t.gif
ここで、w1,w2,w3は定数、またN1≦M,N2≦M,S=|Imax-Imin|である。
【0055】
Step3:次に、式(5),式(6)を用いてi番目の縞のアドレスを求める。
【数5】
JP0004883517B2_000008t.gif
【数6】
JP0004883517B2_000009t.gif
ここで、Bは定数である。
【0056】
Step4:最適強度組み合わせパターン光を投影した計測対象物Aの投影パターン光のうち注目する縞の強度
JP0004883517B2_000010t.gifと最適強度組み合わせパターン光の強度Ijとの差が閾値Cより大きい場合
JP0004883517B2_000011t.gif、もしくは計算された確率Li(t)が小さく式(6)を満たさない場合には縞の欠損があると判断される。この場合、ここからτ本の縞欠損があると想定し、縞欠損を考慮した最適強度組み合わせパターン光の強度Ijと最適強度組み合わせパターン光を投影した計測対象物Aの投影パターン光のうち注目する縞の強度
JP0004883517B2_000012t.gifとの比較を行い、縞アドレスを判定する。具体的には、式(4)のkを式(7)に修正して、再度Step3を実行し、各縞のアドレスから方向角を算出する(ステップS109)。
【数7】
JP0004883517B2_000013t.gif
【数8】
JP0004883517B2_000014t.gif
ただし、τの記号は、+が注目する縞の下方、-が上方に縞の欠損があることを示す。閾値Cの値は補正手段15が行う補正により適宜設定する。
【0057】
次に、分割手段17によって、図6に示すような投影パターン光の強度分布から得られた強度値の極大値および極小値により、投影パターン光を周期ごとに分割する。これにより、計測対象物Aの奥行きはいくつかの奥行き領域Qに分割される(ステップS110)。分割手段17は、ステップS107により得られた強度値がI(Q)であるQ本目の縞の強度値の極大値をQ本目の縞の中心位置T(Q)とし、この位置から縞の両側にある強度値の極小値であるB(Q-1)とB(Q+1)を探す。B(Q-1)からB(Q+1)までの領域はQ本目の縞の奥行き領域Qとなる。抽出されたすべての縞に対しこのような操作を行い、計測対象物A全体をいくつかの奥行き領域に分割する。
【0058】
そして、位相値算出手段18は、数(9)を用いて分割手段17により分割して得られた各奥行き領域で、投影パターン光の縞の強度値によりその位相値β(i,j)を算出する(ステップS111)。
【数9】
JP0004883517B2_000015t.gif
ここで、走査方向に縞の強度が増加する場合には、B(i,j)=0、減少する場合にはB(i,j)=1となる。
【0059】
位相値算出手段18によって算出された位相値β(i,j)を用いて、距離算出手段19は各奥行き領域で、計測対象物Aの奥行き距離Z(i,j)を式(10)により算出する(ステップS112)。
【数10】
JP0004883517B2_000016t.gif
ここで、Z(Q)は領域Qの奥行き最小値であり、kは定数である。
【0060】
三次元情報算出手段20は、投影パターン光の各縞の各計測点である画素ごとにステップS107~ステップS112の計算により得られた値を用いて、計測対象物A全体の三次元空間座標を算出する。この三次元情報には空間座標、距離、角度、面積または体積などが含まれる。特に計測対象物Aが人体の場合には、体型なども算出することができる(ステップS113)。
【0061】
すべての計測結果は、コンピュータ3に接続されたディスプレイなどの出力手段21を用いて画面上に表示したり、プリンタなどの別の出力手段21によって、テキストファイルや図面ファイルとして出力したりすることができる(ステップS114)。
【0062】
なお、本実施形態では、パターン投影機1とカメラ2をそれぞれ1台ずつ用いたが、計測精度をさらに向上させるために、図7に示すように、局所領域用のカメラ2a,2b,2c・・・を数台増設してもよい。これにより、局所領域の細かい画像を用いて、計測対象物Aの高解像度画像を合成することができ、この画像を用いることにより、より高精度の三次元情報を算出することができる。また、図8に示すように、パターン投影機1とカメラ2とを1セットとし、計測対象物Aの周辺に複数セットを設置してもよい。これにより、より短時間で広範囲の計測を実現することができ、計測対象物Aの三次元情報を全周に渡って短時間で高精度に得ることもできるので、特に人体などを計測する際には被験者に負担をかけることなく計測を行うことができる。
【0063】
なお、本実施形態では、投影するパターン光は縦縞状のものを用いたが、これに限らず、横縞状、斜めに形成された縞状のものなど直線状の縞で形成されたパターンや、大きさの異なる同心円状、円形状、楕円状などの模様による円形パターンおよび多角形による角形パターンや、格子状などの複雑な模様によるパターンを用いてもよい。
【0064】
また、静止物体を計測する場合には補正手段15によるステップS106を省略することができる。これにより、計測対象物Aの三次元情報をより短時間で得ることができる。
【実施例】
【0065】
以下に、人体の三次元計測を行った結果を図9に示す。図9は本発明の三次元計測装置を用いて人体を三次元計測する様子を示す図であり、(a)は初期パターン光を投影した画像、(b)は最適強度組み合わせパターン、(c)は最適強度組み合わせパターン光を投影した画像、(d)は強度値補正を行った画像、(e)奥行き距離を算出した結果を示す画像、(f)三次元情報をグラフィック表現した画像である。
【0066】
図9に示すように、本発明の三次元計測装置を用いた人体の三次元計測では、良好な結果を得ることができた。本発明の三次元計測精度は、計測システムのキャリブレーションにも依存するが、縞本数が60の場合、各縞の方向角の認識率が100%であるので、奥行き方向(Z方向)の計測精度は98.3%以上である。また、各縞の間の部分の計測は強度・位相解析により行い、3階調以上の計測精度を確保できれば、奥行き方向の計測精度は99.4%以上になる。また、XとY方向の計測精度は使用されたカメラの解像度などにより変わるが、Z方向以上の計測精度を保証することができる。
【産業上の利用可能性】
【0067】
本発明は、一回の投影で多くの個別パターンを有するパターン光を得ることができ、高速かつ高精度の三次元情報を得ることができるので三次元計測装置として有用である。特に、精度の高い三次元情報が一回の投影で得られ、短時間で計測を行うことができることから、人体の三次元計測装置としても有用であるので、特に医療、衣服設計、生活環境整備など分野での利用が可能となる。また、人体の三次元情報から体型の計測などもできるので、健康管理、ダイエットなど分野にも利用することができる。
【図面の簡単な説明】
【0068】
【図1】本実施形態における三次元計測装置の全体構成を示す図である。
【図2】本実施形態における三次元計測装置の詳細な構成を示すブロック図である。
【図3】本実施形態の三次元計測装置の幾何関係を示す図である。
【図4】本実施形態の三次元計測装置を用いた三次元計測の流れを示す図である。
【図5】最適強度組み合わせパターン光の一例を示す図であり、(a)はパターン、(b)は強度の空間分布を示す図である。
【図6】投影パターン光の強度分布を示す図である。
【図7】本発明の他の実施形態を示す図である。
【図8】本発明の他の実施形態を示す図である。
【図9】本発明の三次元計測装置を用いて人体を三次元計測する様子を示す図であり、(a)は初期パターン光を投影した画像、(b)は最適強度組み合わせパターン、(c)は最適強度組み合わせパターン光を投影した画像、(d)は強度値補正を行った画像、(e)奥行き距離を算出した結果を示す画像、(f)三次元情報をグラフィック表現した画像である。
【符号の説明】
【0069】
1 パターン投影機
2,2a,2b,2c カメラ
3 コンピュータ
4 伝送ケーブル
10 記憶手段
11 初期パターン形成手段
12 最適パターン形成手段
13 抽出手段
14 投影パターン光検出手段
15 補正手段
16 方向角算出手段
17 分割手段
18 位相値算出手段
19 距離算出手段
20 三次元情報算出手段
21 出力手段
Drawing
(In Japanese)【図2】
0
(In Japanese)【図3】
1
(In Japanese)【図4】
2
(In Japanese)【図6】
3
(In Japanese)【図1】
4
(In Japanese)【図5】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8