Top > Search of Japanese Patents > OBJECT SHAPE ESTIMATION APPARATUS AND PROGRAM

OBJECT SHAPE ESTIMATION APPARATUS AND PROGRAM

Patent code P170014350
File No. GI-H26-03
Posted date Jun 30, 2017
Application number P2014-131760
Publication number P2016-008954A
Patent number P6432968
Date of filing Jun 26, 2014
Date of publication of application Jan 18, 2016
Date of registration Nov 16, 2018
Inventor
  • (In Japanese)城殿 清澄
  • (In Japanese)内藤 貴志
  • (In Japanese)加藤 邦人
  • (In Japanese)山本 和彦
  • (In Japanese)伊藤 優太
Applicant
  • (In Japanese)国立大学法人岐阜大学
Title OBJECT SHAPE ESTIMATION APPARATUS AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To make it possible to accurately estimate the three-dimensional shape of an object even if the color of an object surface is unknown.
SOLUTION: An illumination unit 10 emits three light rays corresponding to RGB and a light ray having a wavelength range containing all wavelengths of the three light rays onto a surface of an object; an image acquisition unit 30 acquires spectral image data from each of a pair of images corresponding to lighting and light-off of light; a reflectance estimation unit 34 estimates a reflection ratio among the wavelengths at each position of the object surface corresponding to each pixel of interest using the acquired spectral image data; and a normal vector calculation unit 36 calculates a normal vector of each position of the object surface corresponding each pixel of interest using the estimated reflection ratio.
Outline of related art and contending technology (In Japanese)

従来より、被験者に負担を与えることなく、自然な摂食運動を正確に測定し得る摂食運動測定システムが提案されている(特許文献1参照)。この摂食運動測定システムでは、取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する手法が用いられている。

また、照度差ステレオ法で求められる相対的な座標系を絶対的な座標系に高精度で変換し、精度の高い3次元データを生成する3次元データ生成方法が提案されている(特許文献2参照)。この3次元データ生成方法では、照射方向を変えて被写体を撮像することにより複数の原画像を取得し、各原画像のデータによって画像行列を生成し、当該画像行列に因子分解を適用して被写体における面の向きを抽出し、抽出した面の向きに基づいて被写体の3次元データを生成している。また、被写体を撮像する際に、立体チャートの表面の反射率の比及び面の向きが既知である少なくとも3つの面を被写体とともに撮像し、3つの面の反射率及び面の向きを用いて被写体の面の向きを絶対的な座標系に変換している。

また、照度差ステレオ法による顔形状の復元手法が提案されている(非特許文献1参照)。非特許文献1の技術では、カラーではなく、モノクロカメラを利用しており、異なる方向に設置された3つの白色光源を順に点灯しながら、3枚の画像を取得し、取得した画像の輝度差から対象物の法線ベクトルを推定して、対象物の3次元形状を復元している。また、外乱となる環境光の影響を排除するため、白色光源の照射がない4枚目の画像を取り込み、白色光を照射した画像との差分画像を利用している。

Field of industrial application (In Japanese)

本発明は、物体形状推定装置及びプログラムに係り、特に、物体の3次元形状を推定する物体形状推定装置及びプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
物体表面に対して、波長の異なる少なくとも3つの光の各々を、それぞれ異なる位置から照射する第1光照射手段と、
前記物体表面に対して、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する第2光照射手段と、
前記第1光照射手段により照射される光の点灯状態を保ち、かつ、前記第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記第2光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第1光照射手段により照射される光及び前記第2光照射手段により照射される光の点灯、並びに前記第1光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも3つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第1光照射手段により照射される光及び第2光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから前記第1光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第2光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも3つの光の各々の波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも3つの光の各々の波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第1光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。

【請求項2】
 
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記物体表面の注目点に対して予め求められた前記第1光照射手段の光源の各々の方向を表す単位ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも3つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項1記載の物体形状推定装置。

【請求項3】
 
前記第2光照射手段は、前記第1光照射手段により前記少なくとも3つの光の各々を照射する位置とは異なる位置から、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する請求項1又は2記載の物体形状推定装置。

【請求項4】
 
物体表面に対して、波長の異なる少なくとも2つの光の各々を、それぞれ異なる位置から照射する第1光照射手段と、
前記物体表面に対して、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長を全て包含する波長域を有する光を、前記第1光照射手段の少なくとも2つの光とは異なる位置から照射する第2光照射手段と、
前記第1光照射手段により照射される光の点灯状態を保ち、かつ、前記第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記第2光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第1光照射手段により照射される光及び前記第2光照射手段により照射される光の点灯、並びに前記第1光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第1光照射手段により照射される光及び第2光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから前記第1光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第2光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第1光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。

【請求項5】
 
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記物体表面の注目点に対して予め求められた前記第1光照射手段の光源の方向を表す単位ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項4記載の物体形状推定装置。

【請求項6】
 
前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する請求項4又は5記載の物体形状推定装置。

【請求項7】
 
コンピュータを、
物体表面に対して、波長の異なる少なくとも3つの光の各々を、それぞれ異なる位置から照射する第1光照射手段により照射される光の点灯状態を保ち、かつ、前記物体表面に対して、前記少なくとも3つの光の各々の波長を全て包含する波長域を有する光を照射する第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記第2光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第1光照射手段により照射される光及び前記第2光照射手段により照射される光の点灯、並びに前記第1光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも3つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、
前記第1光照射手段により照射される光及び第2光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから前記第1光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第2光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも3つの光の各々の波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも3つの光の各々の波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも3つの光の各々の波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第1光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。

【請求項8】
 
コンピュータを、
物体表面に対して、波長の異なる少なくとも2つの光の各々を、それぞれ異なる位置から照射する第1光照射手段により照射される光の点灯状態を保ち、かつ、前記物体表面に対して、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも2つの光とは異なる位置から照射する第2光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記第2光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第1光照射手段により照射される光及び前記第2光照射手段により照射される光の点灯、並びに前記第1光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、
前記第1光照射手段により照射される光及び第2光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから前記第1光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第2光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長間の反射率比と、前記第1光照射手段により照射される光の各々の明るさ及び位置と、前記第2光照射手段により照射される前記少なくとも2つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも2つの光の各々の波長、及び前記少なくとも2つの光とは異なる波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第1光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2014131760thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close