TOP > 国内特許検索 > 物体形状推定装置及びプログラム > 明細書

明細書 :物体形状推定装置及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-008954 (P2016-008954A)
公開日 平成28年1月18日(2016.1.18)
発明の名称または考案の名称 物体形状推定装置及びプログラム
国際特許分類 G01B  11/24        (2006.01)
G01B  11/26        (2006.01)
FI G01B 11/24 K
G01B 11/26 H
請求項の数または発明の数 9
出願形態 OL
全頁数 27
出願番号 特願2014-131760 (P2014-131760)
出願日 平成26年6月26日(2014.6.26)
発明者または考案者 【氏名】城殿 清澄
【氏名】内藤 貴志
【氏名】加藤 邦人
【氏名】山本 和彦
【氏名】伊藤 優太
出願人 【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
【識別番号】304019399
【氏名又は名称】国立大学法人岐阜大学
個別代理人の代理人 【識別番号】100079049、【弁理士】、【氏名又は名称】中島 淳
【識別番号】100084995、【弁理士】、【氏名又は名称】加藤 和詳
審査請求 未請求
テーマコード 2F065
Fターム 2F065AA04
2F065AA35
2F065AA53
2F065CC16
2F065DD06
2F065FF05
2F065FF44
2F065GG23
2F065GG24
2F065HH14
2F065JJ26
2F065LL67
2F065MM12
2F065QQ13
2F065QQ24
2F065QQ26
2F065QQ38
2F065RR03
要約 【課題】物体表面の色が未知の場合であっても、物体の3次元形状を精度よく推定することができるようにする。
【解決手段】照明部10により、物体表面に対して、RGBに対応する3つの光の各々と、3つの光の各々の波長を全て包含する波長域を有する光とが照射され、画像取得部30で、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、反射率推定部34で、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、法線ベクトル算出部36で、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。
【選択図】図1
特許請求の範囲 【請求項1】
物体表面に対して、波長の異なる少なくとも3つの光の各々を、それぞれ異なる位置から照射する第1光照射手段と、
前記物体表面に対して、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する第2光照射手段と、
前記第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも3つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第1光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも3つの光の各々の波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも3つの光の各々の波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。
【請求項2】
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも3つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項1記載の物体形状推定装置。
【請求項3】
前記第2光照射手段は、前記第1光照射手段により前記少なくとも3つの光の各々を照射する位置とは異なる位置から、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する請求項1又は2記載の物体形状推定装置。
【請求項4】
前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも3つの光の各々の波長間の反射率比を推定する請求項1~請求項3の何れか1項記載の物体形状推定装置。
【請求項5】
物体表面に対して、波長の異なる少なくとも2つの光の各々を、それぞれ異なる位置から照射する第1光照射手段と、
前記物体表面に対して、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長を全て包含する波長域を有する光を、前記第1光照射手段の少なくとも2つの光とは異なる位置から照射する第2光照射手段と、
前記第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第1光照射手段により照射される光の各々の明るさと、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。
【請求項6】
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項5記載の物体形状推定装置。
【請求項7】
前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する請求項5又は6記載の物体形状推定装置。
【請求項8】
コンピュータを、
物体表面に対して、波長の異なる少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも3つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、
前記物体表面に対して、前記少なくとも3つの光の各々を、それぞれ異なる位置から照射する第1光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも3つの光の各々の波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも3つの光の各々の波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。
【請求項9】
コンピュータを、
物体表面に対して、波長の異なる少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも2つの光とは異なる位置から照射する第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、
前記物体表面に対して、前記少なくとも2つの光の各々を、それぞれ異なる位置から照射する第1光照射手段により照射される光の各々の明るさと、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、物体形状推定装置及びプログラムに係り、特に、物体の3次元形状を推定する物体形状推定装置及びプログラムに関する。
【背景技術】
【0002】
従来より、被験者に負担を与えることなく、自然な摂食運動を正確に測定し得る摂食運動測定システムが提案されている(特許文献1参照)。この摂食運動測定システムでは、取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する手法が用いられている。
【0003】
また、照度差ステレオ法で求められる相対的な座標系を絶対的な座標系に高精度で変換し、精度の高い3次元データを生成する3次元データ生成方法が提案されている(特許文献2参照)。この3次元データ生成方法では、照射方向を変えて被写体を撮像することにより複数の原画像を取得し、各原画像のデータによって画像行列を生成し、当該画像行列に因子分解を適用して被写体における面の向きを抽出し、抽出した面の向きに基づいて被写体の3次元データを生成している。また、被写体を撮像する際に、立体チャートの表面の反射率の比及び面の向きが既知である少なくとも3つの面を被写体とともに撮像し、3つの面の反射率及び面の向きを用いて被写体の面の向きを絶対的な座標系に変換している。
【0004】
また、照度差ステレオ法による顔形状の復元手法が提案されている(非特許文献1参照)。非特許文献1の技術では、カラーではなく、モノクロカメラを利用しており、異なる方向に設置された3つの白色光源を順に点灯しながら、3枚の画像を取得し、取得した画像の輝度差から対象物の法線ベクトルを推定して、対象物の3次元形状を復元している。また、外乱となる環境光の影響を排除するため、白色光源の照射がない4枚目の画像を取り込み、白色光を照射した画像との差分画像を利用している。
【先行技術文献】
【0005】

【特許文献1】特開2013-31650号公報
【特許文献2】特開2001-74417号公報
【0006】

【非特許文献1】A. Jones et al., “Head-mounted Photometric Stereo for Performance Capture,” Proc. European Conf. on Visual Media Production (CVMP 2011), pp. 158-164, 2011.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1の技術では、波長の異なる分光画像データを時系列に取得するため、計測に時間を要する。したがって、対象物に動きがある場合には3次元形状をうまく推定できないといった問題や、推定精度の劣化を生じるという問題がある。また、対象物の反射率は波長間で一定と仮定するか、又は波長間の反射率比を予め設定する必要があるが、表面色の異なる複数の物体を正しく計測する場合には、これらの前提が成立しないため法線ベクトルを推定することができないという問題がある。
【0008】
また、特許文献2の技術では、参照となる立体チャートを常に被写体とともに撮像する必要があるため、装置の構成や対象物の設置方法の制約となるという問題がある。
【0009】
また、非特許文献1の技術では、モノクロカメラを用いた照度差ステレオ法であるため、特許文献1と同様の問題がある。また、画像がモノクロである性質上、反射率変化に対応することができないという問題がある。
【0010】
本発明は、上記問題点を解決するために成されたものであり、物体表面の色が未知の場合であっても、物体の3次元形状を精度よく推定することができる物体形状推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、第1の発明に係る物体形状推定装置は、物体表面に対して、波長の異なる少なくとも3つの光の各々を、それぞれ異なる位置から照射する第1光照射手段と、前記物体表面に対して、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する第2光照射手段と、前記第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも3つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、前記第1光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも3つの光の各々の波長間の反射率比を推定する反射率推定手段と、前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも3つの光の各々の波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、を含んで構成されている。
【0012】
また、第1の発明に係る物体形状推定装置において、前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも3つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出してもよい。
【0013】
また、第1の発明に係る物体形状推定装置において、前記第2光照射手段は、前記第1光照射手段により前記少なくとも3つの光の各々を照射する位置とは異なる位置から、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射してもよい。
【0014】
また、前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも3つの光の各々の波長間の反射率比を推定してもよい。
【0015】
また、第1の発明に係るプログラムは、コンピュータを、物体表面に対して、波長の異なる少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも3つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、前記物体表面に対して、前記少なくとも3つの光の各々を、それぞれ異なる位置から照射する第1光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも3つの光の各々の波長間の反射率比を推定する反射率推定手段、及び前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも3つの光の各々の波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段として機能させるためのプログラムである。
【0016】
また、第2の発明に係る物体形状推定装置は、物体表面に対して、波長の異なる少なくとも2つの光の各々を、それぞれ異なる位置から照射する第1光照射手段と、前記物体表面に対して、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長を全て包含する波長域を有する光を、前記第1光照射手段の少なくとも2つの光とは異なる位置から照射する第2光照射手段と、前記第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、前記第1光照射手段により照射される光の各々の明るさと、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する反射率推定手段と、前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、を含んで構成されている。
【0017】
また、第2の発明に係る物体形状推定装置において、前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出してもよい。
【0018】
また、第2の発明に係る物体形状推定装置において、前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定してもよい。
【0019】
また、第2の発明に係るプログラムは、コンピュータを、物体表面に対して、波長の異なる少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも2つの光とは異なる位置から照射する第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、前記物体表面に対して、前記少なくとも2つの光の各々を、それぞれ異なる位置から照射する第1光照射手段により照射される光の各々の明るさと、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段として機能させるためのプログラムである。
【発明の効果】
【0020】
本発明の物体形状推定装置、及びプログラムによれば、物体表面に対して、波長の異なる少なくとも3つの光の各々と、少なくとも3つの光の各々の波長を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、取得した分光画像データの各々を用いて波長間の反射率比を推定し、推定した反射率比を用いて物体表面の各位置の法線ベクトルを算出することで、物体表面の色が未知の場合であっても、物体の3次元形状を精度よく推定することができる、という効果が得られる。
【図面の簡単な説明】
【0021】
【図1】本発明の第1の実施の形態に係る物体形状推定装置の構成を示すブロック図である。
【図2】3CCDを用いたカラーカメラの構成を示す模式図である。
【図3】単板式カラー画像で用いられるカラーフィルタを示す模式図である。
【図4】本発明の第1の実施の形態に係る撮像環境を示す概念図である。
【図5】本発明の第1及び第2の実施の形態に係る物体形状推定装置の物体形状推定処理ルーチンの内容を示すフローチャートである。
【図6】本発明の第2の実施の形態に係る物体形状推定装置の構成を示すブロック図である。
【図7】本発明の第2の実施の形態に係る白色光源が有する波長域を示す概念図である。
【図8】本発明の第2の実施の形態に係る撮像環境を示す概念図である。
【図9】本発明の各実施の形態に係る効果を示す模式図である。
【図10】本発明の各実施の形態に係る実験結果を示す図である。
【図11】照度差ステレオ法の原理を示す模式図である。
【発明を実施するための形態】
【0022】
以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0023】
まず、本発明の各実施の形態の前提となる照度差ステレオ法の原理について概要を説明する。

【0024】
照度差ステレオ法は画像の輝度情報から撮像した物体表面の法線ベクトルを算出する技術である。装置は1つのカメラと3つの光源で構成されている。図11に示すように、撮像対象に対してそれぞれ異なる方向に3つの光源を配置し、いずれか1つの光源が照射された状態の画像データを取得する。つまり、光源の数と同じ枚数の画像データが取得される。カメラと撮像対象の位置関係は変化しないため、画像中の各画素は対象物の同じ点を撮影していることになる。変化するのは光源の位置だけであるため、画像の明るさは光源の位置と各画素に対応した対象物表面の法線ベクトルに依存する。ただし、物体表面は完全拡散反射、つまり面からの反射光はどの方向にも均一な強度を有すると仮定している。このとき、以下(1)式が成立する。

【0025】
【数1】
JP2016008954A_000003t.gif

【0026】
ここで、Iは撮像画像の画素値、又は輝度、ρは物体表面の反射率、Lは光源の明るさを表す。また、nは注目点、又は物体表面における法線ベクトル、sは注目点から光源の方向を表す単位ベクトル、θはnとsがなす角度である。

【0027】
つまり、光源の明るさLと反射率ρが不変と仮定すれば、画面中の輝度Iは光源の向きと物体表面の法線ベクトルがなす角度によってのみ変化する。法線ベクトルは上記(1)式より、次の(2)式によって定義される。

【0028】
【数2】
JP2016008954A_000004t.gif

【0029】
未知数は法線ベクトルの3成分、つまり3次元空間のベクトル要素であり、各画素について、3つの光源に対する画像データから上記(2)式を3つ生成できる。そのため、生成した3つの式からなる連立方程式を解くことにより、各画素における法線ベクトルを算出することができる。

【0030】
以上の手順で法線ベクトルを求める方法が照度差ステレオ法であるが、上述のように光源を切り替えながら3枚の画像を取得する必要がある。光源の波長域が互いに重ならないように設定し、カメラ側で3つの波長域の画像を分光して撮像できれば光源の切り替えは必要ない。このアイデアに基づいて、RGBのLED光源とカラーカメラを用いた構成によるカラー照度差ステレオ法によって1度の撮影で対象物の法線ベクトルを算出する手法も提案されている。ただし、カラー照度差ステレオ法では反射率ρを不変とする条件の成立性が課題である。単色の物体を計測するだけであれば、最初に1度だけキャリブレーションすればよいが、計測対象に色の変化が生じたり、計測対象が様々な色を含む場合にはこの手法は適用できない。物体の表面色によって反射率が変化してしまうためである。

【0031】
そこで、本発明の各実施の形態では照明装置の点滅を利用して、計測対象の反射率比を画素単位、又は画像中の小領域単位で推定することにより、カラー照度差ステレオ法の適用範囲を拡張する。

【0032】
<本発明の第1の実施の形態に係る物体形状推定装置の構成>

【0033】
次に、本発明の第1の実施の形態に係る物体形状推定装置の構成について説明する。

【0034】
図1に示すように、本発明の第1の実施の形態に係る物体形状推定装置100は、予め設定された波長域の照射光を撮像対象の物体表面に照射する照明部10と、照明部10による照明の点滅を制御する照明制御部12と、照明が照らされた物体表面を撮像する撮像部14と、撮像部14から出力される画像データを処理する画像処理部20と、画像処理部20での処理結果を表示するための出力部50とを備えている。

【0035】
照明部10は、物体表面に対して、光を照射する4つの光源で構成されている。4つの光源のうち3つは、物体表面に対して、後述する撮像部14で分光撮像が可能なRGBのそれぞれの波長に対応した3つの光の各々を、それぞれ異なる位置から照射する光源である。なお、当該3つの光源が第1光照射手段の一例である。残りの1つの光源は、波長の異なる3つの光の各々の波長を全て包含する波長域を有する光を物体表面に対して照射する光源(以下、白色光源と呼ぶ)である。なお、当該白色光源が第2光照射手段の一例である。白色光源はRGB全ての波長域を含むため、白色光源を点滅させると、撮像部14で撮像される画像の各々から得られるRGBの波長に対応する3つの分光画像データの各々は、全て輝度変化を生じることになる。

【0036】
照明制御部12は、照明部10の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御する。また、制御周期に同期してトリガ信号を撮像部14に送信する。一方、白色光源以外の光源は撮像の間、点灯状態を保つように制御する。なお、白色光源以外の光源をそれぞれ順番に切り替えて点灯させるようにしてもよい。

【0037】
撮像部14は、照明制御部12から送信されるトリガ信号に合わせてシャッターを制御し、物体表面を撮像する。結果として白色光源が点灯した状態と消灯した状態で計測対象の物体表面を映した2枚一組の画像を撮影する。撮影された画像データは、照明制御部12の白色光源の点灯状態を識別するためのフラグ情報と共に画像処理部20へ転送される。撮像部14は、図2に示すように、プリズムを用いて入射光を分割し、異なる特性のバンドパスフィルタを配したCCDでそれぞれを受光する3CCD構成とする。なお、図3に示すように画素ごとにRGBを透過するフィルタを並べることで一つの撮像素子でカラー情報を取得する単板式の構成としてもよい。いずれの場合でも、バンドパスフィルタは照明部10のRGBのいずれか一つの波長域のみを透過するように構成されているものとする。図4に本実施の形態の撮影環境の模式図を示す。未知の反射率ρを有する物体表面から反射された4光源の光をカメラで撮像する。反射率ρは物体表面の色に応じて変化するため、法線ベクトルを正しく算出するためには、反射率ρを推定しなければならない。

【0038】
画像処理部20は、CPUと、RAMと、後述する物体形状推定処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この画像処理部20をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロック図で説明すると、図1に示すように、撮像部14から画像を取得する画像取得部30と、分光画像データと照明部10に関する情報を記憶する撮像情報格納部32と、物体表面の各位置について反射率比を推定する反射率推定部34と、推定した反射率比を用いて対象物の法線ベクトルを算出する法線ベクトル算出部36とを備えている。

【0039】
画像取得部30は、撮像部14により物体表面を撮像することにより得られた、照明制御部12による白色光源の光の点灯及び消灯に対応する一組の画像の各々から、波長の異なる3つの光の各々の波長に対応する分光画像データの各々を取得すると同時に、白色光源の点灯状態を識別するためのフラグ情報を取得する。そして、波長の異なる3つの光の各々について、白色光源の点灯及び消灯に対応した一組の分光画像データを揃えて、反射率推定部34に出力する。

【0040】
なお、点灯及び消灯を繰り返しながら画像が順に撮影されるようにすれば、1フレーム前の画像と現フレームの画像とは点灯状態が異なるため、1フレーム前の画像データを撮像情報格納部32に格納しておき、画像取得部30からは現フレームの画像の分光画像データだけが出力されるように構成し、反射率推定部34の演算過程では、必要に応じて1フレーム前の画像の分光画像データを撮像情報格納部32から取得する形にしてもよい。

【0041】
撮像情報格納部32は、画像取得部30で取得された一組の画像についての分光画像データが格納される。また、照明部10の波長の異なる3つの光源に起因する明るさの成分Lg、Lb、Lr、白色光源に起因する明るさの成分E、及び各注目画素に対応する物体表面上の点から各光源の方向を表す単位ベクトルsE、sLg、sLb、sLrの値等を記憶している。

【0042】
反射率推定部34は、撮像情報格納部32に記憶されている照明部10により照射される波長の異なる3つの光の各々の明るさと、画像取得部30により取得された波長の異なる3つの光の各々の波長に対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置について、波長の異なる3つの光の各々の波長間の反射率比を推定する。

【0043】
ここで、波長間の反射率比を推定する原理について説明する。

【0044】
まず、白色光源が点灯している場合と消灯している場合に対して、上述した(1)式に基づいて以下(3)式、及び(4)式の関係式が各画素について成り立つ。

【0045】
【数3】
JP2016008954A_000005t.gif

【0046】
ここで、Eは白色光源の明るさを表す。また、添え字のLは白色光源以外の光源に起因する成分を表し、添え字Eは白色光源に起因する成分を表す。ILEは白色光源と白色光源以外の光源の両者で照らされた場合の画像中の注目画素の明るさを意味する。

【0047】
(3)式と(4)式に従って明るさの差分をとると、白色光源のみに起因する関係式が導出され、反射率に関する以下(5)式、及び(6)式の関係式が得られる。本実施の形態においては、各注目画素について、取得された波長の光の各々の波長に対応する分光画像データの各々の注目画素についての、光の点灯及び消灯における明るさの差分値をとる。

【0048】
【数4】
JP2016008954A_000006t.gif

【0049】
(6)式における反射率は、以下(7)において、RGBごとに、波長の異なる3つの光の各々の反射率について、それぞれ同様に算出される。(6)式の分子をILE-I=I’と置くと、

【0050】
【数5】
JP2016008954A_000007t.gif

【0051】
となる。従って、各注目画素に対応する物体表面の各位置について、波長の異なる3つの光の各々の波長間の反射率比は以下の(8)式により推定される。

【0052】
【数6】
JP2016008954A_000008t.gif

【0053】
法線ベクトル算出部36は、反射率推定部34で上記(8)式により物体表面の各位置について推定された3つの光の各々の波長間の反射率比と、撮像情報格納部32に記憶されている、照明部10により照射される光の各々の明るさ及び各注目画素に対応する物体表面上の点から各光源の方向と、画像取得部30により取得された波長の異なる3つの光の各々の波長に対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。

【0054】
ここで、物体表面の各位置の法線ベクトルを算出する原理について説明する。

【0055】
まず、上記(2)式に基づいて、画素単位で法線ベクトルが算出されるが、RGBにおける反射率の違いを上記(8)式の比で推定できるため、表面色の違いなどによって画素単位でRGB間の反射率が変化していても法線ベクトルを算出することができる。これは、法線ベクトルも大きさ1のベクトルであり、3軸成分の比率が分かれば求められるためである。

【0056】
波長の異なる3つの光の各々の波長に対応する分光画像データの各々に対して、RGBのそれぞれについて上記(4)式が成立する。また、(8)式から物体表面におけるRGBに対応した反射率比が求められているため、法線ベクトルnに対して以下の(9)~(11)式の関係式が成り立つ。

【0057】
【数7】
JP2016008954A_000009t.gif

【0058】
法線ベクトルは3次元空間のベクトルであり、ベクトルの要素は3つである。そこで、法線ベクトル算出部36では、各注目画素に対応する物体表面の各位置について、反射率推定部34において物体表面の各位置について推定された、波長の異なる3つの光の各々の波長間の反射率比を用いて、(9)~(11)式からなる連立方程式を解くことにより、物体表面の各位置の法線ベクトルを算出する。そして、算出した物体表面の各位置の法線ベクトルに基づいて、出力部50により物体形状に関する所定の出力情報を出力する。なお、特定の向きの面のみを出力するようにしてもよいし、法線ベクトルの変化が不連続な部分を抽出してもよい。

【0059】
<第1の実施の形態に係る物体形状推定装置の作用>

【0060】
次に、第1の実施の形態に係る物体形状推定装置100の作用について説明する。照明制御部12により照明部10の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御し、制御周期に同期してトリガ信号を撮像部14に送信する。また、照明制御部12により、白色光源以外の光源は撮像の間、点灯状態を保つように照明部10を制御する。そして、撮像部14により、白色光源により照射される光の点灯及び消灯に同期して、対象物の撮像が行われ、撮像された一組の画像を画像処理部20において受け付けると、物体形状推定装置100は、図5に示す物体形状推定処理ルーチンを実行する。

【0061】
まず、ステップS100では、撮像部14から受け付けた一組の画像の各々から、波長の異なる3つの光の各々の波長に対応する分光画像データの各々を取得すると共に、白色光源の点灯状態を識別するためのフラグ情報を取得する。

【0062】
次に、ステップS102では、ステップS100で取得した分光画像データの各々、及びフラグ情報に基づいて、3つの光の各々の波長に対して、当該光の波長の分光画像データの各注目画素について、白色光源の光の点灯及び消灯における明るさの差分値を算出する。

【0063】
ステップS104では、撮像情報格納部32に記憶されている、照明部10により照射される3つの光の各々の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向を取得する。

【0064】
ステップS106では、ステップS102で3つの光の各々の波長に対して算出した分光画像データの各注目画素についての明るさの差分値と、ステップS104で取得した3つの光の各々の明るさとに基づいて、各注目画素に対応する物体表面の各位置について、上記(8)式に従って、3つの光の各々の波長間の反射率比を推定する。

【0065】
ステップS108では、ステップS102で3つの光の各々の波長に対して算出した分光画像データの各注目画素についての明るさの差分値と、ステップS104で取得した3つの光の各々の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向と、ステップS106で推定した波長の異なる3つの光の各々の波長間の反射率比とに基づいて、上記各注目画素に対応する物体表面の各位置について、(9)~(11)式からなる連立方程式を解くことにより、法線ベクトルを算出する。

【0066】
そして、ステップS110では、ステップS108で算出した物体表面の各位置の法線ベクトルに基づいて、出力部50により物体形状に関する所定の出力情報を出力する。

【0067】
以上説明したように、第1の実施の形態に係る物体形状推定装置によれば、物体表面に対して、RGBに対応する3つの光の各々と、3つの光の各々の波長を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出することにより、物体表面の色が未知の場合であっても、物体の3次元形状を精度よく推定することができる。

【0068】
また、点滅する光源を一つ追加し、点灯及び消灯に合わせた2枚の画像を取得することで、様々な色を有する反射率が未知の物体表面の法線ベクトルを推定することが可能となる。例えば、図6(A)のような平面に異なる色が付した物体では、色によって反射率が変化する。そのため、従来手法では、図6(B)に示すように、推定される法線ベクトルが正しく求められない。しかしながら、上述した第1の実施の形態で説明した方法によれば、図6(C)に示すように、物体表面の色に依らず正しい形状を推定できる。また、図10(A)~(C)は、図7(A)に示すカラー印刷した白紙を壁に貼り付け、従来手法と上述した第1の実施の形態で説明した提案手法との両者で法線ベクトルを算出した場合の実験結果の例である。対象は平面であるが、従来手法では、図7(B)のように、対象表面のカラーにより法線方向が変化していることが分かる。一方、提案手法では、図7(C)のように、ほぼ一様な色で表示されており、表面色に影響されていないことが確認できる。なお、カメラから見て対象面が少し右に傾いているため、図7(C)のように表示されている。

【0069】
また、2枚の画像を撮像するだけで済むため、計測時間が比較的短く抑えられる。

【0070】
<本発明の第2の実施の形態に係る物体形状推定装置の構成>

【0071】
次に、本発明の第2の実施の形態に係る物体形状推定装置の構成について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

【0072】
第2の実施の形態では、照明部210が、3つの光源で構成されており、波長が異なる2つの光の各々と、2つの光の各々の波長を包含する波長域を有する光とが照射される点、反射率比を推定する原理、及び法線ベクトルを算出する原理が第1の実施の形態と異なっている。

【0073】
図8に示すように、本発明の第2の実施の形態に係る物体形状推定装置200は、照明部210と、照明制御部212と、撮像部214と、画像処理部220と、出力部250とを備えている。

【0074】
照明部210は、物体表面に対して、光を照射する3つの光源で構成されている。3つの光源のうち2つは、物体表面に対して、撮像部214で分光撮像可能なRGBのうち2つに対応した2つの光の各々を、それぞれ異なる位置から照射する光源である。本実施の形態では、2つの光はRGBのうちGとBの波長の各々に対応する。なお、当該2つの光源が第1光照射手段の一例である。残りの1つの光源は、図9に示すように、波長の異なる2つの光の各々のGとBの波長と、当該2つの光の各々の波長とは異なるRの波長とを全て包含する波長域を有する光を物体表面に対して照射する白色光源である。なお、当該白色光源が第2光照射手段の一例である。

【0075】
照明制御部212は、照明部210の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御する。

【0076】
撮像部214は、照明制御部212から送信されるトリガ信号に合わせてシャッターを制御し、物体表面を撮像する。図10に本実施の形態の撮影環境の模式図を示す。未知の反射率ρを有する物体表面から反射された3光源の光をカメラで撮像する。

【0077】
画像処理部220は、図8に示すように、画像取得部230と、撮像情報格納部232と、反射率推定部234と、法線ベクトル算出部236とを備えている。

【0078】
画像取得部230は、撮像部14により物体表面を撮像することにより得られた、照明制御部12による白色光源の光の点灯及び消灯に対応する一組の画像の各々から、RGBに対応する分光画像データの各々を取得すると同時に、白色光源の点灯状態を識別するためのフラグ情報を取得する。そして、白色光源の点灯及び消灯に対応した一組の画像を揃えて、反射率推定部234に受け渡す。

【0079】
撮像情報格納部232は、画像取得部30で取得された一組の画像についての分光画像データが格納される。また、照明部210の波長の異なる2つの光源に起因する明るさの成分Lg、Lb、白色光源に起因する明るさの成分E、及び各注目画素に対応する物体表面上の点から各光源の方向を表す単位ベクトルsE、sLg、sLbの値等を記憶している。

【0080】
反射率推定部234は、撮像情報格納部232に記憶されている照明部210により照射される波長の異なる2つの光の各々の明るさ、白色光源の光の明るさ、及び各注目画素に対応する物体表面上の点から白色光源の方向と、画像取得部30により取得されたRGBに対応する分光画像データの各々とに基づいて、物体表面の各位置について、RGB間の反射率比を推定する。

【0081】
ここで、第2の実施の形態における波長間の反射率比を推定する原理について説明する。

【0082】
まず、白色光源が点灯した状態に対して、以下(12)~(14)式の関係式が各画素について成り立つ。

【0083】
【数8】
JP2016008954A_000010t.gif

【0084】
一方、白色光源が消灯した状態に対して、以下(15)、及び(16)式の関係式が各画素について成り立つ。

【0085】
【数9】
JP2016008954A_000011t.gif

【0086】
Rの波長に対応する画素は、白色光源が消灯した場合には光源がなくなるため、関係式はGとBに対応する画素のみで成立する。ここで、各注目画素について、GとBに対応する分光画像データの各々の注目画素についての、光の点灯及び消灯における明るさの差分値をとることで、白色光源にのみ起因する以下(17)、及び(18)式の関係式が得られる。

【0087】
【数10】
JP2016008954A_000012t.gif

【0088】
上記(12)、(17)、及び(18)式に基づいて、以下(19)式により、RGBごとに、反射率が算出される。

【0089】
【数11】
JP2016008954A_000013t.gif

【0090】
従って、各注目画素に対応する物体表面の各位置について、RGB間の反射率比は以下(20)式により推定される。

【0091】
【数12】
JP2016008954A_000014t.gif

【0092】
法線ベクトル算出部236は、反射率推定部234で上記(20)式により物体表面の各位置について推定されたRGB間の反射率比と、撮像情報格納部232に記憶されている、照明部210により照射される波長の異なる2つの光の各々の明るさ、白色光源の光の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向と、画像取得部230により取得されたRGBに対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。

【0093】
法線ベクトル算出部236では、各注目画素に対応する物体表面の各位置について、反射率推定部34において物体表面の各位置について推定された、RGB間の反射率比を用いて、以下の(21)式に示す3つの式からなる連立方程式を解くことにより、物体表面の各位置の法線ベクトルを算出する。

【0094】
【数13】
JP2016008954A_000015t.gif

【0095】
<第2の実施の形態に係る物体形状推定装置の作用>

【0096】
次に、本発明の第2の実施の形態に係る物体形状推定装置200の作用について説明する。照明制御部212により照明部210の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御し、制御周期に同期してトリガ信号を撮像部214に送信する。また、照明制御部212により、白色光源以外の光源は撮像の間、点灯状態を保つように照明部210を制御する。そして、撮像部214により、白色光源により照射される光の点灯及び消灯に同期して、対象物の撮像が行われ、撮像された一組の画像を画像処理部220において受け付けると、物体形状推定装置200は、上記図5に示す物体形状推定処理ルーチンと同様の処理ルーチンを実行する。

【0097】
なお、第2の実施の形態に係る物体形状推定装置200の他の構成及び作用については、第1の実施の形態と同様であるため、詳細な説明を省略する。

【0098】
以上説明したように、第2の実施の形態に係る物体形状推定装置によれば、物体表面に対して、RGBのうち2つに対応する2つの光の各々と、2つの光の各々の波長とRの波長に対応する光を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々からRGBの分光画像データの各々を取得し、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出することにより、物体表面の色が未知の場合であっても、物体の3次元形状を精度よく推定することができる。

【0099】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0100】
例えば、上述した各実施の形態では、照明部から照射される光は、RGBに対応する波長を有する3つの光である場合を例として説明したが、これに限定されるものではなく、カメラによって撮像した画像から、3つ以上の波長を識別できる分光画像データの取得が可能な光であれば、どのような波長の光を用いてもよい。

【0101】
また、上述した各実施の形態では、各注目画素に対応する物体表面の各位置について、反射率比を推定し、法線ベクトルを算出する場合を例として説明したが、これに限定されるものではなく、画像を所定の小領域単位に分割し、分割した小領域領域に対応する物体表面の各位置について、反射率比を推定し、法線ベクトルを算出するようにしてもよい。
【符号の説明】
【0102】
10、210 照明部
12、212 照明制御部
14、214 撮像部
20、220 画像処理部
30、230 画像取得部
32、232 撮像情報格納部
34、234 反射率推定部
36、236 法線ベクトル算出部
50、250 出力部
100、200 物体形状推定装置
図面
【図1】
0
【図5】
1
【図8】
2
【図2】
3
【図3】
4
【図4】
5
【図6】
6
【図7】
7
【図9】
8
【図10】
9
【図11】
10