TOP > 国内特許検索 > 3次元計測システム、3次元計測方法及びプログラム

3次元計測システム、3次元計測方法及びプログラム

国内特許コード P160012883
整理番号 S2014-1212-N0
掲載日 2016年3月29日
出願番号 特願2014-148336
公開番号 特開2016-024052
出願日 平成26年7月18日(2014.7.18)
公開日 平成28年2月8日(2016.2.8)
発明者
  • 川▲崎▼ 洋
  • 堀田 祐樹
  • 小野 智司
出願人
  • 国立大学法人 鹿児島大学
発明の名称 3次元計測システム、3次元計測方法及びプログラム
発明の概要 【課題】より計算量を低減しつつ、精度良く計測対象物の3次元計測を行う3次元計測システム、3次元計測方法及びプログラムを提供する。
【解決手段】初期計測部42は、複数の第1投影パターンからなる構造化光の投影により計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、投影光学系のフォーカス方向に関する各第1被投影パターンの奥行きの探索範囲を計測する。ファイン計測部43は、第1投影パターンと異なる複数の第2投影パターンからなる構造化光の投影により計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと第2投影パターンとの類似度により、投影光学系のフォーカス方向に関する各復元パターンに対応する奥行きを計測する。
【選択図】図7
従来技術、競合技術の概要


近年、様々な分野で物体の3次元形状を計測する研究が盛んに行われている。中でも、装置の単純さとコストの観点から構造化光とカメラを用いたアクティブ3次元計測手法が主流となっている。アクティブ3次元計測手法では、計測対象となる物体へパターン光が投影され、その物体の表面で反射された光がカメラで観測され、パターン光により投影される元のパターンと物体上で観測されるパターンとの対応関係による三角測量で物体の3次元形状(フォーカス方向の奥行き)が画像から復元される。対応関係の計算時間の効率化のために、2次元パターン光をビデオプロジェクタで投影する手法が多く提案されている(例えば、非特許文献1参照)。



しかし、ビデオプロジェクタは被写界深度が浅く、フォーカス方向の奥行きの計測レンジに制約が存在する。この計測レンジの制約を解決するために、被写界深度の深いレーザ光源を用いる手法が提案されている。しかし、レーザ光源を用いた場合には、特殊な光学系が必要になるため、用途に合わせた光学系を構築することが困難になる。



計測レンジの狭さを解消する他の手法として,観測パターンのボケから奥行きを推定するDfD(Depth from Defocus)法が提案されている(例えば、非特許文献2参照)。DfD法は、観測パターンのボケを前提としているため、被写界深度による制約が少ない。しかし、この手法の計測装置では光源にアレイLEDを用いるため、密なパターンを物体に投影することができず、得られる奥行きマップが疎であるという不都合があった。また、奥行きの推定において逆畳込み処理を大量に行う必要があるため、計算量が膨大になるという不都合もあった。



DfD法は、一般的にはカメラのボケに基づく手法として知られており、条件さえ揃えば1枚の画像から奥行きを推定することが可能である。しかし、DfD法を良好に行うためには,計測対象に高周波なテクスチャが存在することが前提となるため、現実に適用できる範囲は限定的である。そこで、パターン投影光のボケと撮影カメラのボケの両方を数理的にモデル化し、リアルタイムな距離計測を実現するDfD法が提案されている(例えば、非特許文献3参照)。これは、市松模様状のパターンを物体に投影し、その撮影結果のボケからDfDを行う方法であり、この方法によれば、計測対象にテクスチャが無くとも計測が可能になる。しかし、非特許文献3に記載の手法では、合焦距離の異なる2枚の画像を必要とし、レンズの撮像素子との間にプリズムを設置するなど、撮影側の光学系を工夫する必要があった。



また、プロジェクタの投影像のボケを解析し、投影面の奥行きを推定する手法が提案されている(例えば、非特許文献4参照)。この手法によれば、ライン状の投影パターンの位相をシフトさせながら画像を取得することで、撮影画像のピクセルごとの奥行きを推定することができる。しかし、この手法では、投影パターンを変更した複数枚の画像を必要とするため、動いている物体の奥行き計測が困難であるという不都合があった。



また、プロジェクタの投影光学系に符号化開口を装着することで生成される構造化光を利用した3次元計測方法が開示されている(例えば、非特許文献5参照)。この方法では、格子状に符号パターンが設けられた符号化開口をつけた光源でパターン投影し、計測対象物体上で観測された投影パターンのボケ具合を利用して、DfDにより各点の距離を求める。

産業上の利用分野


この発明は、3次元計測システム、3次元計測方法及びプログラムに関する。

特許請求の範囲 【請求項1】
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光を、計測対象物に投影する投影部と、
前記構造化光により前記計測対象物に投影された被投影パターンを撮像する撮像部と、
前記撮像部での撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測する計測部と、
を備え、
前記計測部は、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測部と、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、前記フォーカス方向に関する前記第1の計測部で計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測部と、
を備える3次元計測システム。

【請求項2】
前記各第1被投影パターンの画像データの画像特徴と、前記フォーカス方向に関する前記各第1被投影パターンの奥行きとが関連づけて登録されたデータベースを有し、
前記第1の計測部は、
前記第1の画像データにおける前記各第1被投影パターンの画像特徴を抽出し、前記データベースを参照して、抽出された画像特徴に対応する前記各第1被投影パターンの奥行きの探索範囲を求める、
請求項1に記載の3次元計測システム。

【請求項3】
前記画像特徴は、
ローカル・バイナリ・パターン又はローカル・ターナリ・パターンである、
請求項2に記載の3次元計測システム。

【請求項4】
前記第2の計測部は、
スライディングウインドウ方式で前記第2の画像データから抽出された部分画像データに対して逆畳込み演算を行って、その演算により得られた復元パターンと前記第2投影パターンとの類似度計算により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する、
請求項1乃至3のいずれか一項に記載の3次元計測システム。

【請求項5】
前記第2の計測部は、
前記逆畳込み演算を行うことによりフォーカス方向に得られた複数の復元パターンと第2投影パターンとの類似度をコストとして、グラフカット処理を行い、第2被投影パターンの奥行きを推定する、
請求項1乃至4のいずれか一項に記載の3次元計測システム。

【請求項6】
前記投影部は、
合焦位置がそれぞれ異なる複数色の前記構造化光を、前記計測対象物に投影し、
前記撮像部は、
前記構造化光により前記計測対象物に投影された投影パターンを色毎に撮像し、
前記計測部は、
前記撮像部での撮像により得られた各色の画像データのうち、前記符号パターンを読み取り可能な画像データに基づいて、前記計測対象物の3次元形状を計測する、
請求項1乃至5のいずれか一項に記載の3次元計測システム。

【請求項7】
前記投影部は、
前記符号化開口に、前記第1投影パターンよりも密に配置された前記複数の第2投影パターンを介して、前記構造化光を前記計測対象物に投影する、
請求項1乃至5のいずれか一項に記載の3次元計測システム。

【請求項8】
前記投影部は、
前記符号化開口として、
第1の前記符号パターンが形成され、第1の前記構造化光を投影する第1投影部と、
第2の前記符号パターンが形成され、第2の前記構造化光を投影する第2投影部と、
を有する、
請求項1乃至5のいずれか一項に記載の3次元計測システム。

【請求項9】
前記符号化開口として、
第1の符号パターンは、第1の色の前記構造化光を投影する第1の色フィルタを用いて構成され、
第2の符号パターンは、第2の色の前記構造化光を投影する第2の色フィルタを用いて構成され、
前記撮像部は、
前記構造化光により前記計測対象物に投影された投影パターンを色毎に撮像する、
請求項8に記載の3次元計測システム。

【請求項10】
前記投影部は、
前記第1又は第2の符号パターンとして、開口パターンを使用し、
投影パターンとして、周期パターンからなる前記構造化光を投影する、
請求項8又は9に記載の3次元計測システム。

【請求項11】
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光を、計測対象物に投影する投影ステップと、
前記構造化光により前記計測対象物に投影された被投影パターンを撮像する撮像ステップと、
前記撮像ステップでの撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測する計測ステップと、
を含み、
前記計測ステップは、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測ステップと、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2の画像データに対し、前記フォーカス方向に関する前記第1の計測ステップで計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測ステップと、
を含む3次元計測方法。

【請求項12】
投影光学系と、前記投影光学系に装着され非対称な符号パターンが形成された符号化開口とを介した構造化光により計測対象物に投影された被投影パターンの撮像により得られた画像データに基づいて、前記計測対象物の3次元形状を計測するコンピュータを、
前記符号化開口に配置された前記符号パターンを介して、複数の第1投影パターンからなる前記構造化光の投影により前記計測対象物に形成された複数の第1被投影パターンを得て、これを撮影した第1の画像データに基づいて、前記投影光学系のフォーカス方向に関する前記各第1被投影パターンの奥行きの探索範囲を計測する第1の計測部、
前記第1投影パターンと異なる複数の第2投影パターンからなる前記構造化光の投影により前記計測対象物に形成された第2被投影パターンを撮影した第2画像データに対し、前記フォーカス方向に関する前記第1の計測部で計測された奥行きの探索範囲に絞り込んで逆畳込み演算を行って、その演算により得られた複数の復元パターンと前記第2投影パターンとの類似度により、前記投影光学系のフォーカス方向に関する前記各復元パターンに対応する奥行きを計測する第2の計測部、
として機能させるプログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2014148336thum.jpg
出願権利状態 公開
特許の内容に興味を持たれた方、ライセンスをご希望の方は、下記「問合せ先」までお問い合わせください。


PAGE TOP

close
close
close
close
close
close
close