TOP > 国内特許検索 > 3次元計測システム、3次元計測方法及びプログラム > 明細書

明細書 :3次元計測システム、3次元計測方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-024052 (P2016-024052A)
公開日 平成28年2月8日(2016.2.8)
発明の名称または考案の名称 3次元計測システム、3次元計測方法及びプログラム
国際特許分類 G01B  11/25        (2006.01)
FI G01B 11/25 H
請求項の数または発明の数 12
出願形態 OL
全頁数 27
出願番号 特願2014-148336 (P2014-148336)
出願日 平成26年7月18日(2014.7.18)
発明者または考案者 【氏名】川▲崎▼ 洋
【氏名】堀田 祐樹
【氏名】小野 智司
出願人 【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
個別代理人の代理人 【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満
【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典
【識別番号】100133592、【弁理士】、【氏名又は名称】山口 浩一
【識別番号】100139262、【弁理士】、【氏名又は名称】中嶋 和昭
【識別番号】100138092、【弁理士】、【氏名又は名称】山田 裕輔
【識別番号】100168114、【弁理士】、【氏名又は名称】山中 生太
審査請求 未請求
テーマコード 2F065
Fターム 2F065AA53
2F065FF10
2F065HH07
2F065JJ03
2F065JJ26
2F065LL00
2F065LL22
2F065PP23
2F065QQ00
2F065QQ16
2F065QQ17
2F065QQ38
要約 【課題】より計算量を低減しつつ、精度良く計測対象物の3次元計測を行う3次元計測システム、3次元計測方法及びプログラムを提供する。
【解決手段】初期計測部42は、複数の第1投影パターンからなる構造化光の投影により計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、投影光学系のフォーカス方向に関する各第1被投影パターンの奥行きの探索範囲を計測する。ファイン計測部43は、第1投影パターンと異なる複数の第2投影パターンからなる構造化光の投影により計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと第2投影パターンとの類似度により、投影光学系のフォーカス方向に関する各復元パターンに対応する奥行きを計測する。
【選択図】図7
特許請求の範囲 【請求項1】
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光を、計測対象物に投影する投影部と、
前記構造化光により前記計測対象物に投影された被投影パターンを撮像する撮像部と、
前記撮像部での撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測する計測部と、
を備え、
前記計測部は、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測部と、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、前記フォーカス方向に関する前記第1の計測部で計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測部と、
を備える3次元計測システム。
【請求項2】
前記各第1被投影パターンの画像データの画像特徴と、前記フォーカス方向に関する前記各第1被投影パターンの奥行きとが関連づけて登録されたデータベースを有し、
前記第1の計測部は、
前記第1の画像データにおける前記各第1被投影パターンの画像特徴を抽出し、前記データベースを参照して、抽出された画像特徴に対応する前記各第1被投影パターンの奥行きの探索範囲を求める、
請求項1に記載の3次元計測システム。
【請求項3】
前記画像特徴は、
ローカル・バイナリ・パターン又はローカル・ターナリ・パターンである、
請求項2に記載の3次元計測システム。
【請求項4】
前記第2の計測部は、
スライディングウインドウ方式で前記第2の画像データから抽出された部分画像データに対して逆畳込み演算を行って、その演算により得られた復元パターンと前記第2投影パターンとの類似度計算により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する、
請求項1乃至3のいずれか一項に記載の3次元計測システム。
【請求項5】
前記第2の計測部は、
前記逆畳込み演算を行うことによりフォーカス方向に得られた複数の復元パターンと第2投影パターンとの類似度をコストとして、グラフカット処理を行い、第2被投影パターンの奥行きを推定する、
請求項1乃至4のいずれか一項に記載の3次元計測システム。
【請求項6】
前記投影部は、
合焦位置がそれぞれ異なる複数色の前記構造化光を、前記計測対象物に投影し、
前記撮像部は、
前記構造化光により前記計測対象物に投影された投影パターンを色毎に撮像し、
前記計測部は、
前記撮像部での撮像により得られた各色の画像データのうち、前記符号パターンを読み取り可能な画像データに基づいて、前記計測対象物の3次元形状を計測する、
請求項1乃至5のいずれか一項に記載の3次元計測システム。
【請求項7】
前記投影部は、
前記符号化開口に、前記第1投影パターンよりも密に配置された前記複数の第2投影パターンを介して、前記構造化光を前記計測対象物に投影する、
請求項1乃至5のいずれか一項に記載の3次元計測システム。
【請求項8】
前記投影部は、
前記符号化開口として、
第1の前記符号パターンが形成され、第1の前記構造化光を投影する第1投影部と、
第2の前記符号パターンが形成され、第2の前記構造化光を投影する第2投影部と、
を有する、
請求項1乃至5のいずれか一項に記載の3次元計測システム。
【請求項9】
前記符号化開口として、
第1の符号パターンは、第1の色の前記構造化光を投影する第1の色フィルタを用いて構成され、
第2の符号パターンは、第2の色の前記構造化光を投影する第2の色フィルタを用いて構成され、
前記撮像部は、
前記構造化光により前記計測対象物に投影された投影パターンを色毎に撮像する、
請求項8に記載の3次元計測システム。
【請求項10】
前記投影部は、
前記第1又は第2の符号パターンとして、開口パターンを使用し、
投影パターンとして、周期パターンからなる前記構造化光を投影する、
請求項8又は9に記載の3次元計測システム。
【請求項11】
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光を、計測対象物に投影する投影ステップと、
前記構造化光により前記計測対象物に投影された被投影パターンを撮像する撮像ステップと、
前記撮像ステップでの撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測する計測ステップと、
を含み、
前記計測ステップは、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測ステップと、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、前記フォーカス方向に関する前記第1の計測ステップで計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測ステップと、
を含む3次元計測方法。
【請求項12】
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光により計測対象物に投影された被投影パターンの撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測するコンピュータを、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測部、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2画像データに対し、前記フォーカス方向に関する前記第1の計測部で計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測部、
として機能させるプログラム。
発明の詳細な説明 【技術分野】
【0001】
この発明は、3次元計測システム、3次元計測方法及びプログラムに関する。
【背景技術】
【0002】
近年、様々な分野で物体の3次元形状を計測する研究が盛んに行われている。中でも、装置の単純さとコストの観点から構造化光とカメラを用いたアクティブ3次元計測手法が主流となっている。アクティブ3次元計測手法では、計測対象となる物体へパターン光が投影され、その物体の表面で反射された光がカメラで観測され、パターン光により投影される元のパターンと物体上で観測されるパターンとの対応関係による三角測量で物体の3次元形状(フォーカス方向の奥行き)が画像から復元される。対応関係の計算時間の効率化のために、2次元パターン光をビデオプロジェクタで投影する手法が多く提案されている(例えば、非特許文献1参照)。
【0003】
しかし、ビデオプロジェクタは被写界深度が浅く、フォーカス方向の奥行きの計測レンジに制約が存在する。この計測レンジの制約を解決するために、被写界深度の深いレーザ光源を用いる手法が提案されている。しかし、レーザ光源を用いた場合には、特殊な光学系が必要になるため、用途に合わせた光学系を構築することが困難になる。
【0004】
計測レンジの狭さを解消する他の手法として,観測パターンのボケから奥行きを推定するDfD(Depth from Defocus)法が提案されている(例えば、非特許文献2参照)。DfD法は、観測パターンのボケを前提としているため、被写界深度による制約が少ない。しかし、この手法の計測装置では光源にアレイLEDを用いるため、密なパターンを物体に投影することができず、得られる奥行きマップが疎であるという不都合があった。また、奥行きの推定において逆畳込み処理を大量に行う必要があるため、計算量が膨大になるという不都合もあった。
【0005】
DfD法は、一般的にはカメラのボケに基づく手法として知られており、条件さえ揃えば1枚の画像から奥行きを推定することが可能である。しかし、DfD法を良好に行うためには,計測対象に高周波なテクスチャが存在することが前提となるため、現実に適用できる範囲は限定的である。そこで、パターン投影光のボケと撮影カメラのボケの両方を数理的にモデル化し、リアルタイムな距離計測を実現するDfD法が提案されている(例えば、非特許文献3参照)。これは、市松模様状のパターンを物体に投影し、その撮影結果のボケからDfDを行う方法であり、この方法によれば、計測対象にテクスチャが無くとも計測が可能になる。しかし、非特許文献3に記載の手法では、合焦距離の異なる2枚の画像を必要とし、レンズの撮像素子との間にプリズムを設置するなど、撮影側の光学系を工夫する必要があった。
【0006】
また、プロジェクタの投影像のボケを解析し、投影面の奥行きを推定する手法が提案されている(例えば、非特許文献4参照)。この手法によれば、ライン状の投影パターンの位相をシフトさせながら画像を取得することで、撮影画像のピクセルごとの奥行きを推定することができる。しかし、この手法では、投影パターンを変更した複数枚の画像を必要とするため、動いている物体の奥行き計測が困難であるという不都合があった。
【0007】
また、プロジェクタの投影光学系に符号化開口を装着することで生成される構造化光を利用した3次元計測方法が開示されている(例えば、非特許文献5参照)。この方法では、格子状に符号パターンが設けられた符号化開口をつけた光源でパターン投影し、計測対象物体上で観測された投影パターンのボケ具合を利用して、DfDにより各点の距離を求める。
【先行技術文献】
【0008】

【非特許文献1】Ryusuke Sagawa, Nozomu Kasuya, Kazuhiro Sakashita, Ryo Furukawa, Hiroshi Kawasaki, Yasushi Yagi, "Grid-based Active Stereo with Single-colored Wave Pattern for Dense One-shot 3D Scan," Proc. 2012 Second Joint 3DIM/3DPVT Conference, pp. 363-370 (2012)
【非特許文献2】H. Kawasaki, Y. Horita, H. Masuyama, S. Ono, M. Kimura, Y. Takane, "Optimized Aperture for Estimating Depth from Projector's Defocus", International Conference on 3D Vision (3DV), Jun. 2013 (Seattle, USA)
【非特許文献3】Nayar, S., Watanabe, M., and Noguchi, M., "Real-Time Focus Range Sensor", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 18, No. 12, pp. 1186-1198 (1996)
【非特許文献4】Zhang, L. and Nayar, S.K., "Projection Defocus Analysis for Scene Capture and Image Display", ACM Trans. on Graphics (also Proc. of ACM SIGGRAPH) (2006).
【非特許文献5】堀田祐樹、小野智司、川崎洋、木村誠、高根靖雄、”符号化開口を用いたプロジェクタカメラシステムによるボケを利用した三次元計測手法”、電子情報通信学会論文誌 D Vol.196-D No.8 pp.1828-1833、一般社団法人電子情報通信学会2013
【発明の概要】
【発明が解決しようとする課題】
【0009】
上記非特許文献5に開示された方法では、投影パターンのボケの大きさ、すなわち点広がり関数(Point Spread Function、以下、PSFともいう)のスケールを規定するパラメータをスケールパラメータとして用いる。まず、複数の既知の奥行きにおいて実際に観測したボケ画像を用いて、それぞれの奥行きにおけるPSFのスケールを獲得し、フィッティングにより正確なスケールパラメータを求めるキャリブレーションを行う。さらに、実際に物体に投影された構造化光による投影パターンを撮像し、撮像により得られた投影パターンの画像データを、キャリブレーションで得られたスケールパラメータに従って、奥行きによって異なるPSFを用いた逆畳込み演算を行って、格子状に配置された各復元パターンがボケのない符号化開口の符号パターンに最も類似する奥行きを、推定結果として求める。
【0010】
しかしながら、上記非特許文献5に開示された方法では、逆畳込み演算と類似度の計算をすべての奥行きについて行うため、計算量の多い逆畳込み演算の演算回数が膨大となって、計算時間が長くなってしまう。また、結果が不安定となることも起こる。
【0011】
この発明は、上記のような問題点を解決するためになされたものであり、より計算量を低減しつつ、精度良く計測対象物の3次元計測を行うことができる3次元計測システム、3次元計測方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するため、この発明の第1の観点に係る3次元計測システムは、
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光を、計測対象物に投影する投影部と、
前記構造化光により前記計測対象物に投影された被投影パターンを撮像する撮像部と、
前記撮像部での撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測する計測部と、
を備え、
前記計測部は、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測部と、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、前記フォーカス方向に関する前記第1の計測部で計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測部と、
を備える。
【0013】
前記各第1投影パターンの画像データの画像特徴と、前記フォーカス方向に関する前記各第1投影パターンの奥行きとが関連づけて登録されたデータベースを有し、
前記第1の計測部は、
前記第1の画像データにおける前記各第1被投影パターンの画像特徴を抽出し、前記データベースを参照して、抽出された画像特徴に対応する前記各第1被投影パターンの奥行きの探索範囲を求める、
ようにしてもよい。
【0014】
前記画像特徴は、
ローカル・バイナリ・パターン又はローカル・ターナリ・パターンである、
こととしてもよい。
【0015】
前記第2の計測部は、
スライディングウインドウ方式で前記第2の画像データから抽出された部分画像データに対して逆畳込み演算を行って、その演算により得られた復元パターンと前記第2の投影パターンとの類似度計算により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する、
こととしてもよい。
【0016】
前記第2の計測部は、
前記逆畳込み演算を行うことによりフォーカス方向に得られた複数の復元パターンと第2投影パターンとの類似度をコストとして、グラフカット処理を行い、第2被投影パターンの奥行きを推定する、
こととしてもよい。
【0017】
前記投影部は、
合焦位置がそれぞれ異なる複数色の前記構造化光を、前記計測対象物に投影し、
前記撮像部は、
前記構造化光により前記計測対象物に投影された投影パターンを色毎に撮像し、
前記計測部は、
前記撮像部での撮像により得られた各色の画像データのうち、前記符号パターンを読み取り可能な画像データに基づいて、前記計測対象物の3次元形状を計測する、
こととしてもよい。
【0018】
前記投影部は、
前記符号化開口に、前記第1投影パターンよりも密に配置された前記複数の第2投影パターンを介して、前記構造化光を前記計測対象物に投影する、
こととしてもよい。
【0019】
前記投影部は、
前記符号化開口として、
第1の前記符号パターンが形成され、第1の前記構造化光を投影する第1投影部と、
第2の前記符号パターンが形成され、第2の前記構造化光を投影する第2投影部と、
を有する、
こととしてもよい。
【0020】
前記符号化開口として、
第1の符号パターンは、第1の色の前記構造化光を投影する第1の色フィルタを用いて構成され、
第2の符号パターンは、第2の色の前記構造化光を投影する第2の色フィルタを用いて構成され、
前記撮像部は、
前記構造化光により前記計測対象物に投影された投影パターンを色毎に撮像する、
こととしてもよい。
【0021】
前記投影部は、
前記第1又は第2の符号パターンとして、開口パターンを使用し、
投影パターンとして、周期パターンからなる前記構造化光を投影する、
こととしてもよい。
【0022】
この発明の第2の観点に係る3次元計測方法は、
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光を、計測対象物に投影する投影ステップと、
前記構造化光により前記計測対象物に投影された被投影パターンを撮像する撮像ステップと、
前記撮像ステップでの撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測する計測ステップと、
を含み、
前記計測ステップは、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測ステップと、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、前記フォーカス方向に関する前記第1の計測ステップで計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測ステップと、
を含む。
【0023】
この発明の第3の観点に係るプログラムは、
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光により計測対象物に投影された被投影パターンの撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測するコンピュータを、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測部、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2画像データに対し、前記フォーカス方向に関する前記第1の計測部で計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測部、
として機能させる。
【発明の効果】
【0024】
この発明によれば、計測対象物に形成された複数の第1被投影パターンの画像データに基づいて、投影光学系のフォーカス方向に関する奥行きの探索範囲を絞り込んでから逆畳込み演算を行うことにより、各復元パターンの奥行きを計測している。これにより、逆畳込み演算を行う探索範囲を限定するので、逆畳込み演算の演算回数を少なくすることができる。この結果、より計算量を低減しつつ、精度良く計測対象物の3次元計測を行うことができる。
【図面の簡単な説明】
【0025】
【図1】この発明の実施の形態1に係る3次元計測システムの概略的な構成を示す斜視図である。
【図2】図1の3次元計測システムの光学系の構成を示す図である。
【図3】図3(A)は、符号化開口の符号パターンの一例を示す図である。図3(B)は、フォーカス方向に関する符号パターンの被投影パターンの変化を示す図である。
【図4】図4(A)は、投影パターンの一例(その1)を示す図である。図4(B)は、符号化開口のフォーカス方向に関する被投影パターンの変化(その1)を示す図である。
【図5】図5(A)は、投影パターンの一例(その2)を示す図である。図5(B)は、符号化開口のフォーカス方向に関する被投影パターンの変化(その2)を示す図である。
【図6】図1のコンピュータのハードウエア構成を示すブロック図である。
【図7】図1のコンピュータの機能構成を示すブロック図である。
【図8】孤立パターンのローカル・バイナリ・パターンのヒストグラムと、奥行きとの相関関係を示す図である。
【図9】孤立パターンの画像データのローカル・バイナリ・パターンのヒストグラムと、ヒストグラムデータベースに登録された複数のヒストグラムとのマッチングを示す図である。
【図10】スケールパラメータのフィッティングの一例を示す図である。
【図11】逆畳込み演算及びマッチングの流れの一例を示す図である。
【図12】スライディングウインドウの一例を示す図である。
【図13】スライディングウインドウ方式での処理の流れの一例を示す図である。
【図14】奥行きと視差との関係を示す図である。
【図15】グラフカット処理の一例を示す図である。
【図16】階層復元の一例を示す図である。
【図17】3次元計測処理のフローチャートである。
【図18】キャリブレーションのフローチャート(その1)である。
【図19】キャリブレーションのフローチャート(その2)である。
【図20】初期計測のフローチャートである。
【図21】ファイン計測のフローチャートである。
【図22】3次元計測システムの適用例を示す図である。
【図23】この発明の実施の形態2に係る3次元計測システムの光学系の構成を示す図である。
【図24】この発明の実施の形態3に係る3次元計測システムの概略的な構成を示すブロック図である。
【発明を実施するための形態】
【0026】
以下、この発明の実施の形態について図面を参照して詳細に説明する。

【0027】
実施の形態1.
まず、この発明の実施の形態1について説明する。

【0028】
図1には、3次元計測システム100の概略的な構成が示されている。図1に示すように、3次元計測システム100は、プロジェクタ1とカメラ2とコンピュータ3とを備える。プロジェクタ1は、投影光(構造化光)を計測対象物4に投影する投影部である。カメラ2は、その投影光(構造化光)により計測対象物4に投影された被投影パターンを撮像する撮像部である。カメラ2とコンピュータ3との間は、通信ネットワークで接続されている。この通信ネットワークにより、カメラ2とコンピュータ3との間で画像データの送受信が可能となる。コンピュータ3は、カメラ2での撮像により得られた画像データに基づいて、計測対象物4の3次元形状(プロジェクタ1から見た計測対象物4の奥行き)を計測する計測部である。

【0029】
図2には図1の3次元計測システム100の光学系の構成が示されている。図2に示すように、プロジェクタ1は、映像面11と投影光学系12と符号化開口13とを備える。光源から発せられた投影光は、映像面11を透過する。映像面11には映像が表示されている。したがって、映像面11を透過した光は、映像面11に表示された映像の情報を含んだ光となる。この光は、投影光学系12に入射する。

【0030】
投影光学系12は、入射した光を外部に投影する。投影光学系12は、屈折光学系であり、映像面11に表示された映像を結像させる。

【0031】
投影光学系12の出射面には符号化開口13が装着されている。図3(A)に示すように、符号化開口13には、符号パターン5が設けられている。符号パターン5は左右非対称なパターンである。投影光学系12を出射した光は、符号パターン5の開口部分を介してプロジェクタ1から出射される。符号パターン5では、図3(A)に示す白の部分が光を透過させる。これにより、プロジェクタ1の出射光は、符号パターン5の形状の情報を含んだ光(構造化光)となる。

【0032】
図2に戻り、投影光学系12の光軸AXに沿った座標軸dの原点を投影光学系12の中心とする。プロジェクタ1の出射光は、投影光学系12の光軸AXを中心としながら座標軸dの+d方向に進み、点dpで合焦する。プロジェクタ1の映像面11は、点dpとは結像関係にある。したがって、点dpにスクリーンを置くと、そのスクリーンには、映像面11に表示された映像が結像する。この結像位置が位置Bである。

【0033】
一方、符号化開口13は、結像映像と畳み込みの関係にあり、フーリエ変換などでその性質を解析可能である。したがって、映像面11において点状の投影パターンを投影した場合、符号化開口13の符号パターン5は、点dp、すなわち合焦状態では点状のパターンとなり、デフォーカスするにつれて、符号パターン5の像が現れてくるようになる。この実施の形態に係る3次元計測システム100は、デフォーカス状態にある符号パターン5の画像データを処理することにより、計測対象物4の光軸AXの方向(座標軸dの方向)の奥行きを計測する。符号パターン5の像を読み取りできる範囲は、位置Aと位置Cとの間であるため、計測対象物4の奥行きの探索範囲は、位置Aから位置Cまでの範囲Fとなる。図3(B)に示すように、計測対象物4に投影される符号パターンの投影像(被投影パターン)は、座標軸dの方向(すなわち投影光学系12のフォーカス方向)の奥行きに応じて変化する。

【0034】
この実施の形態では、映像面11に2種類の映像が表示される。図4(A)に示す投影パターン11Aと図5(A)に示す投影パターン11Bである。

【0035】
図4(A)に示すように、投影パターン11Aでは、複数の点状の第1投影パターンが4行4列の格子状に設けられている。この複数の第1投影パターンからなる符号パターン5を介した構造化光の投影により、計測対象物4には符号パターン5の像(第1被投影パターン)が形成される。図4(B)には、符号化開口13Aにおけるフォーカス方向に関するパターン像の変化が示されている。図4(B)に示すように、合焦位置Bにおいて、投影パターン11Aのパターン像は、4×4のほぼ点状のパターンとなるが、デフォーカス状態にある位置A、Cでは、符号パターン5の像が4行4列に並ぶ配列パターンとなる。

【0036】
符号パターン5は非対称となっているため、-d方向にデフォーカスした位置Bと、+d方向にデフォーカスした位置Cとでは、符号パターン5の像が異なっている。このため、各符号パターン5の形状(ボケ状態)を解析すれば、被投影パターンがどちらの方向にどの程度デフォーカスしているのかを求めることができる。

【0037】
前述のように、位置Aから位置Cまでが、投影光学系12のフォーカス方向に関する奥行きの探索範囲Fであるが、探索範囲Fにおいて、符号化開口13Aの符号パターン5を介した投影像では、符号パターン5の像が他の符号パターン5の像と干渉が少ないように、映像面11における投影パターン11Aは、疎な配置となっている。特に、全く干渉しないように配置すると、投影パターン11Aの配列密度は疎となるが、処理は安定する。コンピュータ3は、符号化開口13Aを介した構造化光の投影により計測対象物4に形成された複数の被投影パターン(孤立パターン)の画像データ(第1の画像データ)に基づいて、投影光学系12のフォーカス方向に関する各被投影パターンの奥行きの探索範囲を計測する。

【0038】
図5(B)に示すように、映像面11に表示された投影パターン11Bでは、複数の第2の点状パターンが7行7列の格子状に設けられている。すなわち、投影パターン11Bでは、点状パターンの配列密度が投影パターン11Aよりも密となっている。図5(B)に示すように、合焦位置Bにおいて、投影パターン11Bの像は、7×7のドット状のパターンとなるが、デフォーカス状態にある位置A、Cでは、符号パターン5の像が7行7列に並ぶ配列パターンとなる。

【0039】
符号パターン5は非対称となっているため、-d方向にデフォーカスした位置Bと、+d方向にデフォーカスした位置Cとでは、符号パターン5の像が異なっている。このため、各符号パターン5の形状(ボケ状態)を解析すれば、その被投影パターンがどちらの方向にどの程度デフォーカスしているのかを求めることができる点は、投影パターン11Aと同じである。

【0040】
投影パターン11Bは、投影パターン11Aの符号パターンよりも、密に配列されているので、投影光学系12のフォーカス方向に関する奥行きの探索範囲F(位置A~位置C)において、符号化開口13Bの符号パターン同士が大きく重なる区間が出てくる。

【0041】
コンピュータ3では、投影パターン11Bを用いた構造化光の投影により計測対象物4に形成された被投影パターンの画像データ(第2の画像データ)に対し、投影光学系12のフォーカス方向に関して投影パターン11Aを用いて計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行う。この逆畳込み演算により、複数の投影パターン11Bにそれぞれ対応する複数の復元パターンが形成される。コンピュータ3は、その演算により得られた復元パターンと投影パターン11Bとの類似度計算により、投影光学系12のフォーカス方向に関する各復元パターンの奥行きを計測する。

【0042】
符号化開口13Aと符号化開口13Bとは、投影光学系12に選択的に装着される。その選択は手動によって行われてもよいし、自動的に、例えばコンピュータ3の制御により行われるようにしてもよい。あるいは、カラーフィルターを用いて、別々の透過色として配置してもよい。また、その場合、投影パターンの色もそれに合わせて配色すると良い。選択的に装着した符号化開口13A、13Bを介した光は、前述のように、各符号パターン5の構造情報を含む構造化光となる。この構造光は投影光として計測対象物4(キャリブレーションの際には平面スクリーン)に投影される。

【0043】
カメラ2は、構造化光により計測対象物4に投影された被投影パターンを撮像する。カメラ2は、光軸AX上に設置されていても、されていなくても良い。プロジェクタ1とカメラ2が同軸ではない場合、ハーフミラーなどを使用する必要がなく、より明るいパターンを計測することが出来る他、視差を利用した高精度化がなされるというメリットがある。

【0044】
コンピュータ3は、カメラ2での撮像により得られた画像データに基づいて、計測対象物4の3次元形状を計測する。上述のように、計測対象物4の各符号パターン5の像の形成状態は、座標軸dの位置に依存するため、計測対象物4の各符号パターン5の像の形成状態を画像解析することにより、計測対象物4のフォーカス方向の奥行きを求めることができる。

【0045】
図1のコンピュータ3のハードウエア構成を示す図6に示すように、コンピュータ3は、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36を備える。主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36はいずれも内部バス30を介して制御部31に接続されている。

【0046】
制御部31は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部33に記憶されているプログラム39を実行することにより、図1に示すコンピュータ3の各構成要素が実現される。

【0047】
主記憶部32は、RAM(Random-Access Memory)等から構成されている。主記憶部32には、外部記憶部33に記憶されているプログラム39がロードされる。この他、主記憶部32は、制御部31の作業領域(データの一時記憶領域)として用いられる。

【0048】
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部33には、制御部31に実行させるためのプログラム39があらかじめ記憶されている。また、外部記憶部33は、制御部31の指示に従って、このプログラム39の実行の際に用いられるデータを制御部31に供給し、制御部31から供給されたデータを記憶する。

【0049】
操作部34は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス30に接続するインターフェイス装置から構成されている。操作部34を介して、操作者が操作した内容に関する情報が制御部31に入力される。

【0050】
表示部35は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。表示部35には、後述のとおり、被検者の上気道の通気状態に関する情報などが表示される。

【0051】
通信部36は、シリアルインターフェイスまたはパラレルインターフェイスから構成されている。通信部36は、通信ネットワークを介してカメラ2と接続されており、カメラ2から画像データを受信する。

【0052】
図1に示すコンピュータ3の各種構成要素は、図6に示すプログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36などをハードウエア資源として用いて実行されることによってその機能を発揮する。

【0053】
図6に示すようなハードウエア構成を有するコンピュータ3は、その機能構成として、図7に示すように、記憶部40、データ取得部41と、初期計測部42と、ファイン計測部43と、出力部44とを備える。

【0054】
記憶部40は、図6に示すハードウエア構成のうち、外部記憶部33に対応する。記憶部40は、各種データ(画像データ50A、50B、ヒストグラムデータベース51、奥行き範囲データ52、スケールパラメータ53、奥行きデータ54)を記憶する。

【0055】
データ取得部41は、図6に示すハードウエア構成のうち、制御部31、操作部34、通信部36に対応する。データ取得部41は、カメラ2から送信された画像データを、画像データ50A、50Bとして、記憶部40に記憶する。操作部34の操作入力により、カメラ2から送信された画像データを、画像データ50A、50Bのいずれかとして記憶部10に記憶する。

【0056】
投影パターン11Aが投影され符号化開口13Aが投影光学系12に装着されている場合に、データ取得部41は、操作部34の操作入力により、カメラ2で撮像された画像データを画像データ50Aとして記憶部40に記憶する。すなわち、画像データ50Aは、符号化開口23Aを介した構造化光の投影により計測対象物4に形成された複数の孤立パターン(図4(B)参照)の第1の画像データである。

【0057】
一方、投影パターン11Bが投影され符号化開口13Bが投影光学系12に装着されている場合に、データ取得部41は、操作部34の操作入力により、カメラ2で撮像された画像データを画像データ50Bとして記憶部40に記憶する。すなわち、画像データ50Bは、符号化開口13Bを介した構造化光の投影により計測対象物4上に形成された被投影パターンの第2の画像データである。

【0058】
第1の計測部としての初期計測部42は、図6に示すハードウエア構成のうち、制御部31、主記憶部32及び操作部34に対応する。初期計測部42は、記憶部40に記憶された画像データ50Aに基づいて、初期計測を行う。初期計測部42は、記憶部40に記憶された画像データ50Aに基づいて、投影光学系12のフォーカス方向(座標軸dの方向)に関する各孤立パターンの奥行きの探索範囲を計測する。計測結果は、奥行き範囲データ52として記憶部40に記憶される。

【0059】
より具体的には、初期計測部42は、画像データ50Aにおける各孤立パターンの画像特徴を抽出する。画像特徴としては、ローカル・バイナリ・パターン(LBP)又はローカル・ターナリ・パターン(LTP)が採用される。さらに、初期計測部42は、ヒストグラムデータベース51を参照して、抽出された画像特徴に対応する各孤立パターンの奥行きを求める。図8に示すように、各孤立パターンの奥行き(Depth1、Depth2、Depth3)とLBPのヒストグラムとの間には相関関係がある。奥行きが同じであれば、各孤立パターンのLBPのヒストグラムはほぼ同じとなる。

【0060】
ここで、LBP及びLTPとは、画像データを、中心画素とその中心画素に隣接する8画素各々について、その大小関係を0又は1のバイナリデータとして並べた例えば8ビットのデータ列を各画素の画素値とした画像データ(LBP画像、LTP画像ともいう)である。LTPでは、バイナリデータではなく3値データになる。LBPのヒストグラムは、横軸をLBPの輝度値とし、縦軸をその輝度値を有する画素数としたものである。

【0061】
ヒストグラムデータベース51には、図8に示すような各孤立パターンの画像データの画像特徴と、フォーカス方向に関する各孤立パターンの奥行きとが関連づけて登録されている。ヒストグラムデータベース51には、予め行われるキャリブレーションにより得られたデータが登録される。

【0062】
初期計測部42は、図9に示すように、画像データ50Aに含まれる孤立パターンの画像データをLBP画像に変換し、変換されたLBP画像に基づいてLBPのヒストグラムを生成する。初期計測部42は、生成したヒストグラムと、ヒストグラムデータベース51に登録された複数のLBP画像(Depth1、Depth2、Depth3)のヒストグラムとをマッチングし、最も類似度の高いヒストグラムに対応する奥行きを、4×4の孤立パターン毎に求める。孤立パターン毎に求められた奥行きの探索範囲は、奥行き範囲データ52として記憶部40に記憶される。

【0063】
第2の計測部としての高精度(ファイン)計測部43は、図6に示すハードウエア構成のうち、制御部31、主記憶部32及び操作部34に対応する。ファイン計測部43は、記憶部40に記憶された画像データ50Bに基づいて、計測対象物4の正確な奥行きの計測を行う。ファイン計測により、投影光学系12のフォーカス方向に関する画像データ50Bに含まれる被投影パターンの奥行きが計測される。計測は、逆畳込み演算を用いて行われる。

【0064】
計測対象物4に投影される被投影パターンは、投影パターン11Bと点広がり関数(PSF)との畳込みにより形成される。PSFは、奥行きに応じて異なったものとなる。このため、被投影パターンに対して各奥行きに対応するPSFで逆畳込み演算を行った結果、得られる復元パターンが、投影パターン11Bに最も近いときの奥行きが、その復元パターンに対応する奥行きということになる。

【0065】
ファイン計測部43は、画像データ50Bに対して探索範囲内の複数のサンプリング位置で逆畳込み演算を行う。これにより、計測範囲内の複数のサンプリング位置に対応する逆畳込み演算後の画像データ(復元パターン)が得られる。

【0066】
ただし、この実施の形態では、ファイン計測部43は、奥行き範囲データ52に含まれる奥行きの探索範囲(Fより小さい微小範囲)に絞りこんで、探索範囲内の複数のサンプリング位置で逆畳込み演算を行う。これにより、逆畳込み演算という計算量の多い複雑な演算の演算回数を著しく少なくすることができる。

【0067】
この実施の形態では、符号パターンの像のボケ具合を積極的に利用して形状復元を行うため、そのボケ具合が必然的に大きくなることから、そのボケ具合を予めキャリブレーションしておく必要がある。収差を無視できる場合には、キャリブレーションするパラメータを、ボケの大きさ(スケール)Sに関するもののみとすることができる。

【0068】
投影光学系12の光軸AX上に平面スクリーンを置いた場合、その平面スクリーン上に投影される点状パターンのボケの物理的な大きさy(d)は、次式で表される。
【数1】
JP2016024052A_000003t.gif
ここで、dは、座標軸d上の平面スクリーンの位置であり、yaは、符号化開口13の開口径であり、dpは、プロジェクタ1から投影される構造化光の合焦距離であり、daは、カメラ2から投影光学系12までの座標軸d方向に関する距離である。

【0069】
ここで、投影像をカメラ2で撮影したとき、平面スクリーン上の点像のボケの大きさ(スケール)Sは、以下のように表される。
【数2】
JP2016024052A_000004t.gif

ここで、cがスケールパラメータである。スケールパラメータcは以下のようになる。
【数3】
JP2016024052A_000005t.gif

すなわち、スケールパラメータcと、平面スクリーンの位置dが決まれば、スケールS(d)が決まる。この実施の形態では、複数の既知の奥行きにおいて実際に観測したボケ画像を用いて、それぞれの奥行きにおけるスケールS(d)を獲得し、図10に示すように、スケールS(d)のフィッティングを行って正確なスケールパラメータcを求め、最終的に、スケールパラメータcに基づいて、奥行きdの関数であるスケールS(d)を求める。この方法は、必要な撮像画像が多くなるものの、現実に即したスケールパラメータcが直接得られ、カメラ2とプロジェクタ1との間のベースライン等のキャリブレーションも不要となる。スケールパラメータcは、スケールパラメータ53として記憶部40に記憶される。

【0070】
ファイン計測部43は、図11に示すように、計測対象物4に符号化開口13Bを介して投影パターン11Bを投影し、キャリブレーションで得られたスケールパラメータcを用いて画像データ50Bの被投影パターンP2を複数の奥行きで(その奥行きのスケールS(d))で逆畳込み演算して逆畳込み演算後のパターンP3~P5を求める。ファイン計測部43は、投影パターン11Bに最も類似する復元パターン(パターンP3~P5に含まれる各復元パターン)の奥行きdを、復元パターン毎に求める。逆畳込み演算を行うため、隣接する符号パターン5同士のボケが重なったような場合であっても、正しいスケールパラメータcで逆畳込み演算された場合には、それらは明確に分離され、各復元パターンの奥行きを安定して推定し、計測対象物4の3次元形状を正確に復元することが可能である。

【0071】
ファイン計測部43は、スライディングウインドウ方式で画像データ50Bから抽出された部分画像データに対して逆畳込み演算を行う。図12に示すように、スライディングウインドウWは、画像データ50B上を左上から右に向かって順次スライドする。そして、それぞれの位置で、スライディングウインドウW内の画像データが抽出される。さらに、抽出された画像データに対して、上述の逆畳込み演算が行われ、画像データ内の被投影パターンの奥行きが算出される。スライディングウインドウWのスライド間隔は、スライド前の領域とスライド後の領域の一部が重なるようになっている。

【0072】
ファイン計測部43では、スライディングウインドウW内の画像データに対して、逆畳込み演算が行われ、そのときの奥行きが算出される。スライディングウインドウWの横方向の走査が完了すると、スライディングウインドウWは、下方向及び左端にシフトする。そして、同様の処理が実行される。スライディングウインドウWの上下の間隔も、スライド前とスライド後とで一部が重なるようになっている。このようにして、画像データ50B全体のスライディングウインドウWの順次走査及び奥行きの推定が行われる。

【0073】
図13に示すように、画像データ(Captured image)に対してスラインディングウインドウWで一部の画像データを抽出し、ハミング窓でフィルタリングしたものをスケールパラメータcに基づくカーネル(kernel)で逆畳込み演算する。そして、それぞれ逆畳込み演算された画像データを、ハミング窓を用いて他の画像データと統合(Intergration(Weighed sum))することにより、逆畳込み演算後の画像データ(Deconvolved image)を得る。

【0074】
ファイン計測部43は、スライディング方式による逆畳込み演算により得られた復元パターンと投影パターン11Bとの類似度を計算し、投影光学系12のフォーカス方向に関する各復元パターンに対応する奥行きを計測する。類似度計算には、画像マッチングや、画像特徴量の比較を用いることができる。画像特徴量としては、ガウス関数のあてはめによる点らしさや、尖度などを用いることができる。

【0075】
この実施の形態に係る3次元計測システム100では、カメラ2とプロジェクタ1とが同軸上にはない。したがって、図14に示すように、プロジェクタ1とカメラ2との間の視差により、プロジェクタ1及びカメラ2に近い平面(Near plane)上の点像(赤)と、遠い平面(Far plane)上の点像(緑)との射影ひずみが生じる。この射影ひずみは、逆畳込み演算に悪影響を及ぼす。そこで、この実施の形態では、スライディングウインドウ方式を採用すれば、演算を行う画像データの大きさを小さくすることができるので、この射影ひずみの影響を低減することができる。

【0076】
ファイン計測部43は、逆畳込み演算を行うことにより得られた画像データに対して、グラフカット処理を行い、グラフカット処理が行われた画像データに含まれる復元パターンと投影パターン11B(オリジナルパターン)との類似度計算を行う。
【数4】
JP2016024052A_000006t.gif

グラフカット処理は、上述のエネルギE(D)を最小にする処理である。上述の式において、g(Dv)は、データコストであり、逆畳込み演算を行うことによりフォーカス方向に得られた複数の復元パターンと投影パターン11Bとの類似度を用いることができる。h(Du,Dv)は、隣接する画素同士の輝度値の差分に相当する関数である。すなわち、グラフカット処理では、他の隣接画素と極端に輝度値が異なる画素について、エネルギE(D)が最小となるように、輝度値の修正が施される。図15には、4つの平面シートをそれぞれ異なる奥行きに設置した場合に得られる画像データが示されている。図15に示すように、このグラフカット処理により、画像データにおけるノイズ成分が低減され、画像データ全体が滑らかに調整される。

【0077】
上述のように、この実施の形態では、図16に示すように、パターンが疎な投影パターン11Aを用いて、画像データ50A(Captured image with Coarse pattern)が撮像される。そして、初期計測部42により、画像データ50Aに含まれる複数の被投影パターン(孤立パターン)各々のLBPのヒストグラムと複数の奥行きの符号パターンのLBPのヒストグラムとの間のカイ二乗の距離(Chi-square distance)が求められて粗推定((a)Coarse estimation)が行われる。その結果、図16に示すようなグラフが求められ、奥行きの探索範囲(Estimated depth range in coarse estimation)が求められる。

【0078】
そして、密な投影パターン11Bを用いて画像データ50B(Captured image with Dense pattern(patterns are overlapped each other))を撮像し、画像データ50Bにおける符号パターン5の像が互いに重なった被投影パターンに対して、求められた奥行きの探索範囲(Search depth range in dense estimation)で、各奥行きにおけるPSF(PSF for each depth)を用いて逆畳込み演算が行われる。そして、奥行きに対する元の投影パターン11B(オリジナルパターン)とのマッチングが行われて密推定((b)Dense estimation)が行われる。その結果、図16に示すようにグラフが求められ、各復元パターンに対応する奥行きが求められる。すなわち、この実施の形態では、粗推定と密推定とを段階的に行う。この処理は、階層復元とも呼ばれる。

【0079】
ファイン計測部43において、逆畳込み演算は、計測可能範囲F全体ではなく、奥行き範囲データ52の探索範囲(図16ではL1とL2)だけで行われる。これにより、逆畳込み演算の演算回数を著しく少なくすることができる。

【0080】
出力部44は、図6に示すハードウエア構成のうち、制御部31、主記憶部32、操作部34及び表示部35に対応する。出力部44は、奥行きデータ54を表示する。

【0081】
次に、3次元計測システム100の動作について説明する。

【0082】
図17には、3次元計測システム100の3次元計測処理(メイン処理)が示されている。図17に示すように、まず、コンピュータ3は、キャリブレーションを行う(ステップS1)。

【0083】
キャリブレーションでは、プロジェクタ1から出射された構造化光を投影する平面スクリーンが用いられる。図18に示すように、プロジェクタ1は、符号化開口13Aを投影光学系12に装着し、粗い投影パターン11Aを計測対象物4に投影する(ステップS11)。続いて、平面スクリーンの位置(奥行き)が更新される(ステップS12)。ここでは、平面スクリーンが最初の位置に置かれる。最初の位置(平面スクリーンの奥行き)は、他の計測手段によって既知であるものとする。最初の位置は位置Aであるとする。続いて、カメラ2が、平面スクリーンに投影されたプロジェクタ1の投影像を撮像する(ステップS13)。これにより、撮像画像が、カメラ2からデータ取得部41を介して画像データ50Aとして記憶部40に記憶される。

【0084】
続いて、初期計測部42は、撮像画像(画像データ50A)をLBP化する(ステップS14)。これにより、例えば図8に示すDepth1のLBP画像が生成される。続いて、初期計測部42は、LBP画像のヒストグラムを生成する(ステップS15)。これにより、例えば、Depth1でのLBP画像のヒストグラムが生成される。

【0085】
初期計測部42は、奥行きと対応づけて生成されたヒストグラムをヒストグラムデータベース51に記憶する(ステップS16)。続いて、初期計測部42は、最後の位置であるか否かを判定する(ステップS17)。ここでは、位置Cが最後の位置であり、スクリーンの位置は、まだ位置Aであるので、判定は否定される。

【0086】
最後の位置でなければ(ステップS17;No)、初期計測部42は、スクリーンの位置を更新する(ステップS12)。ここでは、位置AからΔdほど、+d方向にシフトされる。この後、投影像の撮像(ステップS13)、撮像画像のLBP化(ステップS14)、ヒストグラムの生成(ステップS15)、ヒストグラムデータベース51への登録(ステップS16)、最後の位置の判定(ステップS17)が繰り返される。このようにして、位置Aから位置Cまでの各位置について、一定のサンプリング間隔Δdで、LBP画像のヒストグラムが生成される。

【0087】
最後の位置であると判定された場合(ステップS17;Yes)、図19に進み、プロジェクタ1の投影光学系12に符号化開口13Bを装着し、密に配列された投影パターン11B(密パターン)を投影する(ステップS21)。続いて、平面スクリーンの位置が更新される(ステップS22)。ここでは、平面スクリーンが位置Aに設定される。続いて、カメラ2は、投影像を撮像する(ステップS23)。

【0088】
続いて、ファイン計測部43は、画像データ50Bに基づいて、その奥行きでのスケールS(d)を算出し、奥行きと対応づけて記憶部40に記憶する(ステップS24)。続いて、ファイン計測部43は、スクリーンが最後の位置であるか否かを判定する(ステップS25)。ここでは、位置Cが最後の位置であるとする。スクリーンの位置は、まだ位置Aであるので、判定は否定される。

【0089】
最後の位置でなければ(ステップS25;No)、ファイン計測部43は、スクリーンの位置を更新する(ステップS22)。ここでは、位置AからΔdほど、+d方向にシフトされる。以降、投影像の撮像(ステップS23)、スケールS(d)の算出、記憶(ステップS24)、最後の位置の判定(ステップS25)が再び実行される。このようにして、位置Aから位置Cまでの各位置について、一定のサンプリング間隔Δdで、スケールS(d)が算出される。最後の位置であると判定された場合(ステップS25;Yes)、ファイン計測部43は、フィッティングを行って、スケールパラメータcを求める(ステップS26)。スケールパラメータcはスケールパラメータ53として記憶部40に記憶される。これにより、キャリブレーションが完了する。

【0090】
図17に戻り、続いて、計測対象物4を、計測範囲F内に設置する(ステップS2)。これより、計測対象物4の3次元形状の計測が開始される。

【0091】
続いて、初期計測部42は、初期計測を行う(ステップS3)。図20に示すように、プロジェクタ1は、投影光学系12に符号化開口13Aを装着して粗い投影パターン11Aを投影する(ステップS31)。続いて、カメラ2は、計測対象物4の投影像を撮像する(ステップS32)。これにより、カメラ2から画像データが送信され、データ取得部41は、この画像データを画像データ50Aとして記憶部40に記憶する。

【0092】
続いて、初期計測部42は、画像データ50Aに含まれる各孤立パターンでのローカル・バイナリ・パターン(LBP)画像を生成する(ステップS33)。初期計測部42は、生成されたLBP画像のヒストグラムを生成する(ステップS34)。初期計測部42は、生成されたヒストグラムとヒストグラムデータベース51に登録された各奥行きでのヒストグラムとの類似度計算を行い(ステップS35)、最も近いLBPの奥行きの探索範囲を決定し、奥行き範囲データ52として、記憶部40に記憶する(ステップS36)。

【0093】
続いて、初期計測部42は、すべてのパターンについて計測が完了したか否かを判定する(ステップS37)。まだ、すべてのパターンの計測が完了していなければ(ステップS37;No)、初期計測部42は、孤立パターンでのLBPの生成(ステップS33)、ヒストグラムの生成(ステップS34)、マッチング(ステップS35)、最も近いLBPの奥行きの探索範囲の決定(ステップS36)、すべてのパターン完了の判定(ステップS37)が繰り返される。すべてのパターンで、計測が完了し、奥行きの探索範囲が決定されると(ステップS37;Yes)、初期計測を終了する。

【0094】
図17に戻り、ファイン計測部43は、ファイン計測を行う(ステップS4)。図21に示すように、プロジェクタ1の投影光学系12に符号化開口13Bを装着し、計測対象物4に投影パターン11B(密パターン)を投影する(ステップS41)。続いて、カメラ2は投影像を撮像する(ステップS42)。これにより、カメラ2から画像データが送信され、データ取得部41は、この画像データを画像データ50Bとして記憶部40に記憶する。

【0095】
続いて、ファイン計測部43は、奥行き設定を更新する(ステップS43)。ここで、奥行きは、奥行き範囲データ52に定められた探索範囲内で設定される。

【0096】
ファイン計測部43は、スライディングウインドウ方式で、撮像された画像データ50Bに対して設定された奥行きの範囲で逆畳込み演算を行う(ステップS44)。ここでは、図13に示すような処理が行われ、逆畳込み演算後の画像データ(Deconvolved image)が求められる。

【0097】
続いて、ファイン計測部43は、逆畳込み演算後の画像データに対してグラフカット処理を行う(ステップS45)。これにより、全体的にノイズ成分の少ない画像データが得られる。

【0098】
続いて、ファイン計測部43は、逆畳込み演算により得られグラフカット処理が施された画像データに含まれる複数の復元パターン各々と、オリジナルの投影パターン11Bとの類似度を算出する(ステップS46)。

【0099】
ファイン計測部43は、最後の位置であるか否かを判定する(ステップS47)。最後の位置でなければ(ステップS47;No)、ファイン計測部43は、奥行きの設定を更新する(ステップS43)。以降、最後の位置であると判定されるまで、ステップS43~S47が繰り返される。

【0100】
最後の奥行きであると判定されれば(ステップS47;Yes)、ファイン計測部43は、これまでに最も類似度が高い奥行きを探索し、探索された奥行きの集合を奥行きデータ54として記憶部40に記憶する(ステップS48)。この後、ファイン計測部43は、ファイン計測を終了する。

【0101】
図17に戻り、ファイン計測が終了すると、3次元計測処理が終了する。求められた奥行きデータ54が、計測対象物4の3次元形状を示している。この3次元形状は、出力部44により表示出力される。

【0102】
この3次元計測システム100の利用方法としては様々なものがある。計測時間が短縮されているため、図22には、この3次元計測システム100での計測対象物4の3次元形状の計測結果の一例が示されている。図22に示すように、動体の3次元計測、モーションジェスチャの認識などにも適用することができる。

【0103】
以上詳細に説明したように、この実施の形態によれば、計測対象物4に形成された複数の疎な投影パターン11Aの画像データに基づいて、投影光学系12のフォーカス方向に関する各被投影パターンの奥行きの探索範囲を絞り込んでから、複数の密な投影パターン11Bの画像データに基づいて逆畳込み演算を行うことにより、各被投影パターンの奥行きを計測している。これにより、逆畳込み演算を行う範囲を、その奥行きを基準として限定された計測範囲内とするので、逆畳込み演算の演算回数を少なくすることができる。この結果、より計算量を低減しつつ、精度良く計測対象物の3次元計測を行うことができる。

【0104】
実施の形態2.
次に、この発明の実施の形態2について説明する。

【0105】
図23に示すように、この実施の形態2に係る3次元計測システム100は、ハーフミラー60をさらに有する。3次元計測システム100は、カメラ2の光軸が、プロジェクタ1の投影光学系12の光軸AXと同軸に構成されている。プロジェクタ1から出射された投影光は、ハーフミラー60を透過して計測対象物4に投影される。計測対象物4での反射光は、ハーフミラー60で反射してカメラ2に至り、カメラ2にて計測対象物4の投影像が、撮像される。

【0106】
このようにすれば、奥行きの変化による射影ひずみの発生を防止することができる。したがって、グラフカット処理及びスライディングウインドウ方式を採用しなくても精度良く計測対象物4の3次元形状を求めることができる。

【0107】
実施の形態3.
次に、この発明の実施の形態3について説明する。

【0108】
図24に示すように、この実施の形態2に係る3次元計測システム100は、2つのプロジェクタ1A、1Bを備える。プロジェクタ1A、1Bの構成は、プロジェクタ1と同じである。

【0109】
プロジェクタ1Aの投影光学系12には、符号化開口13が装着されている。ただし、プロジェクタ1Aの投影光学系12に装着された符号化開口13は、第1の色としての赤色光を透過させる赤色フィルタである。プロジェクタ1Bの投影光学系12にも、符号化開口13が装着されている。ただし、プロジェクタ1Bの投影光学系12に装着された符号化開口13は、第2の色としての青色光を透過させる青色フィルタである。

【0110】
プロジェクタ1Aから出射される赤色光は、ハーフミラー61を介して投影される。プロジェクタ1Bから出射される青色光は、ハーフミラー61を介して投影される。

【0111】
カメラ2は、赤色光による画像と、青色光による画像とを別々に撮像可能なRGBカメラとなっている。RGBカメラは、構造化光により計測対象物4に投影された被投影パターンを色毎に撮像する。

【0112】
赤色光と青色光とは波長が異なるため、合焦位置が異なる。すなわち、この3次元計測システム100では、投影部(プロジェクタ1A、1B)は、合焦位置がそれぞれ異なる複数色の構造化光を、計測対象物4に投影する。構造化光により計測対象物4に投影された被投影パターンを色毎に撮像する。コンピュータ3は、カメラ2での撮像により得られた各色の画像データのうち、符号パターン5の像を読み取り可能な画像データに基づいて、計測対象物4の3次元形状を計測する。

【0113】
赤色光の合焦位置BF1近傍に被投影パターンが形成されている場合には、プロジェクタ1Bから出射される青色光による画像データを用いて、計測を行うようにすればよい。図24に示すように、赤色光の合焦位置BF1近傍では、赤色光による符号パターン5の像は、点像に近くなっており、青色光による符号パターン5の像を用いた方が、奥行きを精度良く求められるからである。また、青色光の合焦位置BF2近傍に被投影パターンが形成されている場合には、赤色光による画像データを用いて、計測を行うようにすればよい。青色光の合焦位置BF2近傍では、青色光による符号パターン5の像は、点像に近くなっており、赤色光による符号パターン5の像を用いた方が、奥行きを精度良く求められるからである。

【0114】
なお、プロジェクタ1Aに投影される投影パターンを疎な投影パターン11Aとし、プロジェクタ11Bに投影される投影パターンを密な投影パターン11Bとしてもよい。この場合には、初期計測及びファイン計測を1回の撮像(1ショット)により行うことができる。

【0115】
また、プロジェクタ1Bには、符号化開口13Bを装着しなくてもよい。本特許ではこれを開口パターンと呼ぶ。この場合、プロジェクタ1Bには、映像面11に、特定の空間周波数成分を有する周期パターンを表示させ、その周期パターンの映像を含む構造化光を投影させるようにする。そして、プロジェクタ1Aから出射される赤色光の画像データに基づいて初期計測を行い、プロジェクタ1Bから出射され映像として移し出されるパターンのボケ具合に基づいて、ファイン計測を行うようにしてもよい。高周波パターンは僅かなボケでもこれを高精度に計測することが出来るため、合焦位置付近ではボケ具合が少なくなるため、逆畳み込みによる奥行き推定精度が低くなる点を、効果的に補うことができる。

【0116】
上記実施の形態1のような同軸落射方式でない3次元計測システムでは、スライディングウインドウ方式を用いて、奥行きの変化による被投影パターンの射影ひずみを解決した。しかし、プロジェクタとカメラとのベースラインが既知である場合には、奥行きの変化による被投影パターンの位置ずれ量を算出することができるので、カメラで撮像された画像データに含まれる被投影パターンの位置をベースラインに基づいて補正した上で、奥行きの推定を行うようにしてもよい。

【0117】
また、上記各実施の形態では、ローカル・バイナリ・パターン(LBP)を画像特徴として、初期計測を行ったが、前述のように、ローカル・ターナリ・パターン(LTP)を画像特徴として、初期計測を行うようにしてもよい。

【0118】
また、上記各実施の形態では、投影光学系12の出射側に符号化開口13を装着したが、投影光学系12の入射側に符号化開口13を装着するようにしてもよい。また、投影光学系12の内部に符号化開口13を組み込んでもよい。投影光学系12が複数のレンズより構成されている場合には、そのレンズ間に符号化開口13を装着するようにしてもよい。

【0119】
符号パターン5も、図3(A)に示すものには限られない。計測対象物4に非対称なパターンを形成できるものであればよい。

【0120】
その他、コンピュータ3のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

【0121】
制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36、内部バス30などから構成されるコンピュータ3の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するコンピュータ3を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでコンピュータ3を構成してもよい。

【0122】
コンピュータ3の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

【0123】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0124】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【符号の説明】
【0125】
1、1A、1B プロジェクタ、2 カメラ、3 コンピュータ、4 計測対象物、5 符号パターン、11 映像面、11A、11B 投影パターン、12 投影光学系、13、13A、13B 符号化開口、30 内部バス、31 制御部、32 主記憶部、33 外部記憶部、34 操作部、35 表示部、36 通信部、39 プログラム、40 記憶部、41 データ取得部、42 初期計測部、43 高精度(ファイン)計測部、44 出力部、50A、50B 画像データ、51 ヒストグラムデータベース、52 奥行き範囲データ、53 スケールパラメータ、54 奥行きデータ、60、61 ハーフミラー、100 3次元計測システム。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23