TOP > 国内特許検索 > 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム > 明細書

明細書 :鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2018-066655 (P2018-066655A)
公開日 平成30年4月26日(2018.4.26)
発明の名称または考案の名称 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム
国際特許分類 G01B  11/00        (2006.01)
G06T   1/00        (2006.01)
G06T   7/60        (2017.01)
G01B  11/26        (2006.01)
FI G01B 11/00 G
G06T 1/00 315
G06T 7/60 150P
G01B 11/26 G
請求項の数または発明の数 4
出願形態 OL
全頁数 17
出願番号 特願2016-205443 (P2016-205443)
出願日 平成28年10月19日(2016.10.19)
発明者または考案者 【氏名】竹内 広太
【氏名】藤井 憲作
【氏名】小島 明
【氏名】松山 隆司
【氏名】延原 章平
【氏名】柏野 孝士
出願人 【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
個別代理人の代理人 【識別番号】110001634、【氏名又は名称】特許業務法人 志賀国際特許事務所
審査請求 未請求
テーマコード 2F065
5B057
5L096
Fターム 2F065AA01
2F065AA06
2F065AA12
2F065AA31
2F065AA53
2F065BB01
2F065BB02
2F065BB25
2F065DD02
2F065DD04
2F065FF04
2F065FF31
2F065FF51
2F065GG21
2F065HH04
2F065HH14
2F065JJ05
2F065JJ19
2F065JJ26
2F065LL12
2F065QQ24
2F065QQ31
2F065RR03
5B057CA13
5B057CB17
5B057CD14
5B057DA07
5B057DC08
5L096AA09
5L096CA04
5L096DA02
5L096EA26
5L096FA67
5L096FA69
5L096GA08
要約 【課題】鏡面の位置および姿勢を推定する鏡面情報取得装置、鏡面情報取得方法を提供する。
【解決手段】鏡面情報取得装置は、相互相関検出に基づくTOFセンサ11から直接照射され被写体30により反射された直接光d2と鏡面20を介して照射された光d1が被写体により反射された反射光との干渉が発生した場合における、実像X上特徴点と、鏡像X’上特徴点と、TOFセンサの発光と受光における干渉時相互相関値と、を取得する実像鏡像取得部、両特徴点に基づいて鏡面の位置および向きの初期値を推定する初期値推定部と、干渉が発生していない場合における、実像上特徴点と、非干渉時相互相関値と、を取得する実像取得部、非干渉時相互相関値に基づいて被写体の位置を推定する位置推定部、干渉時相互相関値と、鏡面の位置および鏡面の向きの初期値と、被写体の位置と、に基づいて鏡面の位置および向きを示す鏡面情報を取得する鏡面情報取得部を備える。
【選択図】図6
特許請求の範囲 【請求項1】
相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と、前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光と、の干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得部と、
前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定部と、
前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得部と、
前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定部と、
前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する鏡面情報取得部と、
を備える鏡面情報取得装置。
【請求項2】
前記鏡面情報取得部は、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて、前記鏡面の反射率を取得する、請求項1に記載の鏡面情報取得装置。
【請求項3】
相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光との干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得ステップと、
前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定ステップと、
前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得ステップと、
前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定ステップと、
前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する取得ステップと、
を有する鏡面情報取得方法。
【請求項4】
請求項1又は2に記載の鏡面情報取得装置としてコンピュータを機能させるためのコンピュータプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、鏡などの反射物体を介して撮影された画像から、鏡面の位置及び姿勢を推定する技術に関する。
【背景技術】
【0002】
映像表現及び画像処理技術分野において、三次元形状を取得するための研究開発が古くから進められ、今なお重要な研究要素の一つとして広く認識されている。近年では安価なTOF(Time of Flight)センサが市場に登場したことにより、被写体表面の三次元形状を計測することが容易になった。しかし、TOFセンサ単体では被写体の前面の形状しか計測することができないため、被写体の全周囲の三次元形状を計測するためには、被写体の周囲に複数のTOFセンサを設置して撮影を行い、これら複数のTOFセンサによる三次元形状データを結合する必要がある。しかしながら、複数のTOFセンサを用いる方法では、設置コストがかさんでしまう。そこで、被写体の背後に鏡を設置し、当該鏡に映った鏡像を疑似的な複数のTOFセンサによって撮影された画像であるものと仮定することで、TOFセンサ単体で被写体の全周囲三次元形状を計測する方法が提案されている。
【0003】
例えば、TOFセンサではなく一般的なカラーカメラと鏡を用いて、鏡像からの視体積交差法により被写体表面の三次元形状の計測を行う方法がある(非特許文献1参照)。当該方法を用いる場合には、カメラに対する鏡の位置及び姿勢を推定する必要がある。例えば、被写体を撮影する前に被写体の近傍にチェッカー柄が描かれたキャリブレーションボードを設置し、鏡像及び実像の双方から検出可能なチェッカー柄の格子点をそれぞれ計測することによって鏡の位置及び姿勢を推定することが可能である(非特許文献2参照)。
【先行技術文献】
【0004】

【非特許文献1】Forbes, Keith, et al. "Shape-from-Silhouette with Two Mirrors and an Uncalibrated Camera." Computer Vision-ECCV 2006. Springer Berlin Heidelberg, 2006. 165-178.
【非特許文献2】Takahashi, Kosuke, Shohei Nobuhara, and Takashi Matsuyama. "A New Mirror-based Extrinsic Camera Calibration Using an Orthogonality Constraint. "Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1に記載の方法は、視体積交差法によって物体の表面形状を復元するため、物体の表面形状が複雑である場合には復元がしにくいという問題がある。また、非特許文献2に記載の方法において、カラーカメラをTOFセンサに置き換えただけでは、鏡の位置及び姿勢を推定することは難しい。なぜならば、TOFセンサは近赤外光を用いて距離を計測するため、鏡によって近赤外光が被写体に対し多重照射されることにより相互干渉が発生してしまうためである。そのため、鏡のキャリブレーション精度は著しく低下してしまう。
【0006】
また、TOFセンサと鏡を用いて被写体表面の三次元形状の計測を行うためには鏡の反射率を計算する必要があるが、非特許文献2に記載の方法では鏡の反射率を得ることはできない。鏡の反射率を事前に既知としておく方法も考えられるが、TOFセンサの製品ごとに異なる波長の赤外線が採用されているため、すべての波長についてそれぞれ反射率を事前に測定しておくことは困難である。また、事前に鏡の反射率を測定するよりも、鏡の位置及び姿勢の推定とあわせて反射率を推定するほうが、反射率の推定精度はより高くすることができる。
【0007】
本発明はこのような事情に鑑みてなされたものであり、鏡などの反射物体を介して撮影された画像を用いて、鏡面の位置及び姿勢を推定する技術の提供を目的としている。
【課題を解決するための手段】
【0008】
本発明の一態様は、相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と、前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光と、の干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得部と、前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定部と、前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得部と、前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定部と、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する鏡面情報取得部と、を備える鏡面情報取得装置である。
【0009】
本発明の一態様は、上記の鏡面情報取得装置であって、前記鏡面情報取得部は、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて、前記鏡面の反射率を取得する。
【0010】
本発明の一態様は、相互相関検出に基づくTOFセンサから被写体へ直接照射され前記被写体によって反射された光である直接光と前記相互相関検出に基づくTOFセンサから鏡面を介して前記被写体へ照射された光が前記被写体によって反射された光である反射光との干渉が発生している場合における、前記直接光に基づく画像である実像における前記被写体の特徴点である実像上特徴点と、前記反射光に基づく画像である鏡像における前記実像上特徴点に対応する前記被写体の特徴点である鏡像上特徴点と、前記相互相関検出に基づくTOFセンサの発光と受光における相互相関値を示す干渉時相互相関値と、を取得する実像鏡像取得ステップと、前記実像上特徴点と前記鏡像上特徴点とに基づいて前記鏡面の位置および前記鏡面の向きの初期値を推定する初期値推定ステップと、前記干渉が発生していない場合における、前記実像上特徴点と、前記相互相関値を示す非干渉時相互相関値と、を取得する実像取得ステップと、前記非干渉時相互相関値に基づいて前記被写体の位置を推定する位置推定ステップと、前記干渉時相互相関値と、前記鏡面の位置および前記鏡面の向きの前記初期値と、前記被写体の前記位置と、に基づいて前記鏡面の位置および前記鏡面の向きを示す鏡面情報を取得する取得ステップと、を有する鏡面情報取得方法である。
【0011】
本発明の一態様は、上記の鏡面情報取得装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【0012】
本発明により、鏡などの反射物体を介して撮影された画像を用いて、鏡面の位置及び姿勢を推定することが可能となる。
【図面の簡単な説明】
【0013】
【図1】鏡面情報取得装置の構成を示すブロック図である。
【図2】実像鏡像取得部の構成を示す図である。
【図3】実像取得部の構成を示す図である。
【図4】実像鏡像取得部の詳細を説明するための図である。
【図5】鏡面情報取得部の詳細を説明するための図である。
【図6】鏡面情報取得部の詳細を説明するための図である。
【図7】鏡面情報取得部の詳細を説明するための図である。
【図8】鏡面情報取得装置の動作を示すフローチャートである。
【図9】鏡面情報取得装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0014】
(鏡面情報取得装置の構成)
図1は本実施形態における鏡面情報取得装置の構成を示すブロック図である。
鏡面情報取得装置10は、例えばコンピュータ装置によって構成され、図1に示すように、実像鏡像取得部101と、初期値推定部102と、実像取得部103と、位置推定部104と、鏡面情報取得部105と、を含んで構成される。また、鏡面情報取得装置10は、撮像部11と通信接続されている。撮像部11は、相互相関検出に基づくTOFセンサ(本稿では「相互相関検出に基づくTOFセンサ」を、単に「TOFセンサ」と称する)によって構成され、図1に示すように、発光部111と、受光部112と、を含んで構成される。なお、TOFセンサの測距原理は、一般的なFour bucket samplingを用いるものとする。

【0015】
以下、実像鏡像取得部101による取得について、図2を参照しながら説明する。図2は実像鏡像取得部101による取得の概要を示す概略図である。

【0016】
図2に示すように、実像鏡像取得部101を備える鏡面情報取得装置10と撮像部11(TOFセンサ)とは通信接続されている。撮像部11が備える発光部111及び受光部112は、鏡20とキャリブレーションボード30とが設置された方向へ向けられている。なお、鏡20の代わりに、これに類する鏡面(反射面)を有する他の物体(反射物体)、例えば、床面等が用いられてもよい。また、鏡面の形状は、既知の形状であれば平面でなくても構わない。

【0017】
鏡面情報取得装置10の実像鏡像取得部101は、鏡20による反射光の干渉を受ける状態で撮像部11によって撮影された輝度画像中に映り込んでいる実像X上のキャリブレーションボードの特徴座標群(u,v)と、鏡像X’上のキャリブレーションボードの特徴座標群(u,v)と、発光部111及び受光部112による相互相関値(干渉時相互相関値)とを取得する。

【0018】
なお、鏡20とキャリブレーションボード30の配置については、撮像部11により、鏡20を介さず取得される実像X上のキャリブレーションボード30と、鏡20を介して取得される鏡像X’上のキャリブレーションボード30とが、双方とも取得可能な配置であるという条件が満たされているものとする。

【0019】
発光部111は、任意に設定された変調周波数fに基づいて発光を繰り返し、受光部112は、任意に設定された変調周波数fに基づいて受光を繰り返す。
受光部112は、発光部111が発行した光の波長を取得することができる受光素子を有する。なお、本実施形態のように、TOFセンサにおいて一般的に用いられている近赤外波長帯域によって取得が行われる場合には、例えば、発光部111として、近赤外光を一定間隔で照射することができる近赤外光ライトが用いられ、受光部112として、近赤外光を取得することができる近赤外光カメラが用いられる。また、可視光を用いて取得が行われる場合には、例えば、発光部111として、一般的なプロジェクタが用いられ、受光部112として、一般的なカラーカメラが用いられる。なお、撮像部11が撮影する画像の解像度は任意の解像度でよい。

【0020】
なお、以下の説明においては、説明を簡略化するため、鏡面情報取得装置10が画素ひとつに対して行う処理について説明をするが、全画素のうちの一部の複数の画素、もしくは全ての画素を並行して処理するような構成であっても構わない。

【0021】
再び図1を参照しながら説明する。実像鏡像取得部101は、特徴座標群(u,v)及び特徴座標群(u,v)を初期値推定部102へ出力する。また、実像鏡像取得部101は、干渉時相互相関値を、後述する鏡面情報取得部105へ出力する。

【0022】
初期値推定部102は、実像鏡像取得部101から、撮像部11によって撮影された輝度画像を示す情報を取得する。初期値推定部102は、当該輝度画像をもとに、鏡20の(鏡面の)法線ベクトルnと、鏡20と受光部112との距離dとを推定し、後述する鏡面情報取得部105における処理に用いるための初期値として、鏡面情報取得部105へ出力する。

【0023】
以下、実像取得部103による取得について、図3を参照しながら説明する。図3は実像取得部103による取得の概要を示す概略図である。

【0024】
図3に示すように、図2に示した構成とは異なり、鏡20の鏡面部分の前面には、鏡面を遮蔽するための遮蔽板40が設置されている。なお、遮蔽板40の代わりに、鏡面を遮蔽するための布等が用いられてもよい。

【0025】
鏡面情報取得装置10の実像取得部103は、鏡20による反射光の干渉を受けない状態で撮像部11によって撮影された輝度画像中に映り込んでいる実像X上のキャリブレーションボードの特徴座標群(u,v)と、発光部111及び受光部112による相互相関値(非干渉時相互相関値)とを取得する。

【0026】
再び図1を参照しながら説明する。実像取得部103は、非干渉時相互相関値を位置推定部104へ出力する。
位置推定部104は、実像取得部103から非干渉時相互相関値を取得し、当該非干渉時相互相関値を用いてキャリブレーションボード30の位置Xを推定する。位置推定部104は、推定した位置Xを後述する鏡面情報取得部105へと出力する。

【0027】
鏡面情報取得部105は、実像鏡像取得部101から干渉時相互相関値を取得し、初期値推定部102から初期値として鏡20の法線ベクトルnと鏡20と受光部112との距離dとを取得し、位置推定部104からキャリブレーションボード30の位置Xを取得する。鏡面情報取得部105は、取得した、干渉時相互相関値、法線ベクトルn0、距離d及び位置Xを用いて、鏡20の法線ベクトルn、鏡20と受光部112との距離d、鏡20の反射率ρを求める。

【0028】
(鏡面情報取得装置の動作)
以下、鏡面情報取得装置10の動作について説明する。図4及び図5は、図1に示す鏡面情報取得装置の動作を示すフローチャートである。

【0029】
まず始めに、実像鏡像取得部101は、取得に用いられるパラメータ(変調周波数及びサンプリング周期)の設定を行う(ステップS001)。実像鏡像取得部101は、上述したように、発光部111が発光する周波数及び受光部112が受光する周波数である変調周波数fの設定を行う。変調周波数fの値は任意であるが、例えば、実像鏡像取得部101は、変調周波数fの値を10MHz(メガヘルツ)に設定する。

【0030】
また、実像鏡像取得部101は、受光部112が取得を行う4つのサンプリング周期として、θ、θ、θ及びθの設定を行う。サンプリング周期θ、θ、θ及びθの値は任意であるが、実像鏡像取得部101は、例えば、サンプリング周期θ、θ、θ及びθの値を、π/2間隔でθ=0、θ=π/2、θ=πθ=3π/2に設定する。

【0031】
次に、実像鏡像取得部101は直接光と反射光とが互いに干渉している状態における、発光部111と受光部112による相互相関値(干渉時相互相関値)を取得する(ステップS002)。

【0032】
以下、発光部111と受光部112による相互相関値の取得について、図6を参照しながら説明する。
図6は模式的に実像鏡像取得部101の構成を表しており、受光部112と発光部111は設定されたパラメータに従いFour bucket samplingに基づいた相互相関値の取得を画素毎に行う。

【0033】
図示するように、発光部111から発光され、受光部112によって受光される近赤外光には、被写体(キャリブレーションボード30)に直接反射する光路である光路長dの光路と、鏡20に反射してから被写体(キャリブレーションボード30)に再度反射する光路である光路長dの光路と、2つの光路が存在する。以下、光路長dの光路を通る光のことを直接光と呼び、光路長dの光路を通る光のことを反射光と呼ぶ。

【0034】
以下、ある時間τにおける直接光と反射光が干渉した状態で取得される相互相関値C(τ)を表す式を(1)式に示す。ここでA、Aはそれぞれ直接光と反射光の振幅の振幅、Ψ、Ψは式(2)であらわされる位相差である。式(2)において、cは光速である。

【0035】
【数1】
JP2018066655A_000003t.gif

【0036】
【数2】
JP2018066655A_000004t.gif

【0037】
式(1)で表される相互相関関数は連続関数であり、すべての時刻における相互相関値Cを取得することは困難であるため、実像鏡像取得部101は、ステップS001において設定したサンプリング周期θ、θ、θ及びθにおいてのみ、相互相関値Cの取得を行う(すなわち、C、C、C及びCの取得が行われる)。ここで取得される相互相関値は、2πfτ=θ、2πfτ=θ、2πfτ=θ、2πfτ=θとして、以下に示す式(3)で表されるものである。

【0038】
【数3】
JP2018066655A_000005t.gif

【0039】
再び図4に戻って、鏡面情報取得装置10の動作について説明する。
次に、実像鏡像取得部101は、輝度画像の取得を行う(ステップS003)。実像鏡像取得部101は、一般的なTOFセンサと同様に、受光部112が画素毎に取得している光の振幅を画像化した情報を取得する。

【0040】
次に、実像鏡像取得部101は、輝度画像中から特徴点検出を行う(ステップS004)。なお、当該特徴点検出は、実像Xと鏡像X’とに共通して撮影される画素のうちの一部の画素の対応関係を知るために行われる処理である。そのため、当該特徴点検出の方法は、画素の対応を取ることができる方法であれば、任意の方法でよい。例えば、当該特徴点検出は、一般的な自然特徴点であるHarrisやSIFT等によって行うことができる。

【0041】
なお、説明の簡略化のため、本実施形態においては、キャリブレーションボード30に描かれた柄はチェッカー柄(市松模様)であるものとし、特徴点はチェッカー柄の格子点であるものとする。チェッカー柄の格子点検出については、一般的な検出方法を用いればよい。また、本実施形態においては、被写体はキャリブレーションボードとしたがこれに限られるものではなく、被写体は特徴点があるその他の任意の物体でもよい。

【0042】
実像鏡像取得部101は、輝度画像から実像X及び鏡像X’として映るチェッカー柄のすべての格子点を検出し、その座標をそれぞれ特徴点座標(u,v)、特徴点座標(u,v)とする。

【0043】
次に、実像鏡像取得部101は、全ての画素で取得されている相互相関値のうち、特徴点座標(u,v)および特徴点座標(u,v)の画素における相互相関値のみを抽出する(ステップS005)。特徴点座標(u,v)における各サンプリング周期の相互相関値を、それぞれC(u,v)、C(u,v)、C(u,v)、およびC(u,v)とし、特徴点座標(u,v)における各サンプリング周期の相互相関値を、それぞれC(u,v)C(u,v)、C(u,v)、およびC(u,v)とする。

【0044】
実像鏡像取得部101は、特徴点座標(u,v)と特徴点座標(u,v)とを初期値推定部102へ出力し、抽出された相互相関値C(u,v)、C(u,v)、C(u,v)、C(u,v)と、相互相関C(u,v)C(u,v)、C(u,v)、C(u,v)とを鏡面情報取得部105へ出力する(ステップS006)。

【0045】
次に、初期値推定部102は、特徴点座標(u,v)及び特徴点座標(u,v)とキャリブレーションボード30の3次元形状情報とから、鏡20の法線ベクトルn、鏡20と受光部112との距離dの推定を行う(ステップS007)。

【0046】
なお、既知形状の物体表面上の3次元点座標と、当該3次元点座標を撮影した画像において対応する2次元点座標との双方が既知である場合に、カメラに対する既知形状物体の姿勢及び位置を推定する方法は多く知られており、例えば、Zhangの手法(Zhang, Z.: A Flexible New Technique for Camera Calibration, IEEE Trans.Pattern Anal. Mach. Intell., Vol. 22, No. 11, pp. 1330{1334 (2000).)を用いることができる。Zhangの手法を用いることにより、実像Xとしてのキャリブレーションボード30の(チェッカー柄の)位置と向き、鏡像X’としてのキャリブレーションボード30の(チェッカー柄の)位置と向きを求めることができる。

【0047】
実像Xと鏡像X’とは、鏡20に対して対称となる位置関係にあるため、実像Xとしてのキャリブレーションボード30の(チェッカー柄の)位置と向き、鏡像X’としてのキャリブレーションボード30の(チェッカー柄の)位置と向きに基づいて、鏡20の位置と向きを求めることができる。さらに、鏡20の位置と向きが求まることにより、さらに鏡20の法線ベクトルnと、鏡20と受光部112との距離dとを求めることができる。

【0048】
初期値推定部102は、鏡20の法線ベクトルnと、鏡20と受光部112との距離dとを鏡面情報取得部105へ出力する。

【0049】
次に、実像取得部103は、直接光と反射光との干渉が発生していない状態での実像Xの取得を行い、相互相関値を取得する。

【0050】
まず、鏡20、発光部111、受光部112、キャリブレーションボード30の位置を変えずに、鏡20が遮蔽板40等によって遮蔽される。遮蔽板40は、反射光と直接光との干渉を防ぐため設置されるので、発光部111が発光する光の波長成分を十分に吸収する色や素材であることが望ましい。なお、発光部111が発光する光の波長成分を十分に吸収できる物体であるならば板でなくてもよく、例えば、遮蔽板40の代わりに黒い布等が用いられてもよい。

【0051】
次に、実像取得部103は、実像鏡像取得部101が行う取得と同様に、発光部111と受光部112による相互相関値の取得を行う(ステップS008)。なお、実像取得部103が取得すべき信号は実像鏡像取得部101が取得すべき信号と同じであるが、遮蔽板40により反射光が発生しないため、実像鏡像取得部101で取得される相互相関値とは異なる相互相関値が実像取得部103において取得される。

【0052】
次に、実像取得部103は、実像鏡像取得部101から入力された特徴点座標(u,v)の画素における各サンプリング周期の相互相関値を抽出し、これらをC(u,v)、C(u,v)、C(u,v)及びC(u,v)とする(ステップS009)。

【0053】
実像取得部103は、抽出した相互相関値を非干渉時の相互相関値として、位置推定部104へ出力する(ステップS010)。

【0054】
以下、図5を参照しながら、引き続き鏡面情報取得装置10の動作について説明する。
次に、位置推定部104は、キャリブレーションボード30の位置を推定する(ステップS011)。上述した初期値推定部102によって行われる処理において、初期値推定部102は、特徴点座標(u,v)及び特徴点座標(u,v)からキャリブレーションボード30の位置を求めることによって鏡20の位置を推定したが、位置推定部104は、相互相関値を用いることによってキャリブレーションボード30の位置をより高い精度で推定する。

【0055】
位置推定部104において推定されるのは、チェッカー柄の格子点の三次元位置(x,y,z)であり、これはすなわち特徴点座標(u,v)に対応する三次元点のことである。したがって、特徴点座標(u,v)における受光部112からチェッカー柄の格子点までの距離lを求めることにより、以下の式(4)から三次元位置(x,y,z)を算出することができる。式(4)において、Fは受光部112の焦点距離、座標(u,v)は画像中心座標を表している。

【0056】
【数4】
JP2018066655A_000006t.gif

【0057】
lを相互相関値C(u,v)、C(u,v)、C(u,v)、C(u,v)から求めるには、Four bucket samplingの原理に基づき、以下の式(5)、式(6)を用いて求めることができる。

【0058】
【数5】
JP2018066655A_000007t.gif

【0059】
【数6】
JP2018066655A_000008t.gif

【0060】
位置推定部104は、各特徴点座標(u,v)に対応する三次元座標(x,y,z)を真値Xとして、鏡面情報取得部105へと出力する。

【0061】
鏡面情報取得部105は、鏡20の法線ベクトルn0、鏡20と受光部112との距離dとを初期値として、キャリブレーションボード30の位置の真値Xとしての三次元座標(x,y,z)と干渉時相互相関値とから、鏡20の法線ベクトルn、鏡20と受光部との距離d及び反射率ρを計算する。

【0062】
以下、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρを求めるために必要となる式(7)について説明する。式(7)は式(1)に対し、2πfτ=θ、2πfτ=θ、2πfτ=θ、2πfτ=θとして代入して得られる行列方程式であり、直接光と反射光が干渉を起こしている場合におけるFour bucket samplingの式となる。鏡面情報取得部105は、取得値C、C、C、C3、Ψ、Ψ、さらにこれらから算出されるA、A、Bを用いることにより、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρを計算する。

【0063】
【数7】
JP2018066655A_000009t.gif

【0064】
式(7)からA、A、Bの値をそのまま求めるとランク落ちが発生するため、適切な解を得ることができない。そのため、鏡面情報取得部105は、まずはA、Aに制約を加える(ステップS012)。

【0065】
まず、A、Aについての制約として式(8)を与える。図7は式(8)に用いられるパラメータを図示したものである。この制約条件は、図7のように光路長の違いがある場合に、直接光による光路Aの光路長を光路長d、反射光の光路Bの光路長を光路長dとし、照射光の強さが光路長の2乗に反比例することに起因している。さらに鏡20の反射率ρによる光の減衰が発生する。加えて、キャリブレーションボード30への近赤外光の入射角の違いが存在する。以上を踏まえて、光路Aを通る光のキャリブレーションボード30への入射角をcosθ、光路Bを通る光のキャリブレーションボード30への入射角をcosθとして、キャリブレーションボード30が完全拡散面だと仮定した場合の制約条件が式(8)である。

【0066】
【数8】
JP2018066655A_000010t.gif

【0067】
再び図5に戻って、鏡面情報取得装置10の動作について説明する。
次に、鏡面情報取得部105は、実像X側での行列方程式として式(9)の作成を行う(ステップS013)。Ψ、Ψは、図7に示した光路長d1、光路長dを用いて、Ψ=4πfd/c、Ψ=4πfd/cで表される。図8にその詳細を示す。発光部111から位置推定部104にて求めたキャリブレーションボード30の真値Xを経由して、受光部112の画素(u,v)に到達する光路長が光路長d、Xを鏡20の初期パラメータn、d折り返した位置をX’として、位置X’を経由する光路、つまり、発光部111から、鏡20、位置Xの順に経由して受光部112の画素(u,v)に到達する光路長が光路長dである。

【0068】
【数9】
JP2018066655A_000011t.gif

【0069】
次に、鏡像側での行列方程式として式(10)の作成を行う(ステップS014)。Ψ、Ψは、図8の光路長d1、光路長dを用いて、Ψ=4πfd/c、Ψ=4πfd/cであらわされる。図9にその詳細を示す。発光部から鏡を介してパターン位置X’を経由して受光部の特徴点座標(u,v)の画素に到達する光路長が光路長d、発光部からX、鏡の順に経由して受光部の特徴点座標(u,v)の画素に到達する光路長が光路長dである。

【0070】
【数10】
JP2018066655A_000012t.gif

【0071】
次に、鏡面情報取得部105は、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρの計算を行う。まず、式(9)において、制約条件として式(8)を用いて、A1、A2、Bの計算が行われる。これは、A1、A2、B以外のパラメータはすべて既知であるため、式(11)の行列を考え、これが一般化逆行列であると仮定すれば、式(12)を得ることができ、A1、A2、Bを解くことができる。しかし実際には、最初に仮定した鏡20の初期パラメータn、dに誤差が含まれているため、得られたA1、A2、Bを用いても、式(9)の左辺と右辺は等しくならない。式(10)においてもこれは同様である。

【0072】
【数11】
JP2018066655A_000013t.gif

【0073】
【数12】
JP2018066655A_000014t.gif

【0074】
そのため、式(9)、(10)の両方において、左辺と右辺の差を誤差とする誤差関数が最小になるような、鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρが求められる。これは一般的な制約付き最小化問題であるため、詳細な説明は省略する。鏡面情報取得部105は、得られた鏡20の法線ベクトルn、鏡20と受光部112との距離d、反射率ρを出力する(ステップS015)。

【0075】
以上、説明したように、本実施形態に係る鏡面情報取得装置10は、鏡などの反射物体を介して撮影された画像を用いて、鏡面の位置及び姿勢を推定することができる。さらに、本実施形態に係る鏡面情報取得装置10は、鏡の位置及び姿勢の推定とあわせて鏡の反射率を推定することができる。

【0076】
上述した実施形態における鏡面情報取得装置10をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0077】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0078】
10…鏡面情報取得装置、11…撮像部、20…鏡、30…キャリブレーションボード、101…実像鏡像取得部、102…初期値推定部、103…実像取得部、104…位置推定部、105…鏡面情報取得部、111…発光部、112…受光部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8