Top > Search of Japanese Patents > VISUAL SENSOR SYNCHRONIZING DEVICE AND VISUAL SENSOR SYNCHRONIZATION METHOD > Specification

Specification :(In Japanese)視覚センサ同期装置および視覚センサ同期方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5213045
Publication number P2010-135926A
Date of registration Mar 8, 2013
Date of issue Jun 19, 2013
Date of publication of application Jun 17, 2010
Title of the invention, or title of the device (In Japanese)視覚センサ同期装置および視覚センサ同期方法
IPC (International Patent Classification) H04N   5/335       (2011.01)
H04N   5/238       (2006.01)
G03B  17/00        (2006.01)
G03B  15/00        (2006.01)
FI (File Index) H04N 5/335
H04N 5/238 Z
G03B 17/00 P
G03B 15/00 F
Number of claims or invention 6
Total pages 13
Application Number P2008-307855
Date of filing Dec 2, 2008
Exceptions to lack of novelty of invention (In Japanese)特許法第30条第1項適用 発行者名 :社団法人 日本機械学会 刊行物名 :ロボティクス・メカトロニクス講演会2008 講演論文集のCD-ROM 発行年月日:2008年(平成20年)6月5日
Date of request for substantive examination Nov 14, 2011
Patentee, or owner of utility model right (In Japanese)【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
Inventor, or creator of device (In Japanese)【氏名】鏡 慎吾
Representative (In Japanese)【識別番号】100095359、【弁理士】、【氏名又は名称】須田 篤
【識別番号】100143834、【弁理士】、【氏名又は名称】楠 修二
Examiner (In Japanese)【審査官】若林 治男
Document or reference (In Japanese)国際公開第2004/107739(WO,A1)
Field of search H04N 5/30 -5/378
H04N 5/222-5/257
G03B 15/00
G03B 17/00
Scope of claims (In Japanese)【請求項1】
強度変調の施された照明装置と、
フレーム時間を制御し得る撮像素子と、
前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子との動作の時刻ずれに係る情報を得て、この得られた情報に基づくフレーム時間のフィードバック制御によって前記時刻ずれを最小化する演算制御手段とを備え、
前記演算制御手段は、前記照明装置と前記撮像素子との動作の時刻ずれに係る情報として、フレームによって1もしくは-1、または、1、0もしくは-1を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算し、前記フィードバック制御により、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、
特徴とする視覚センサ同期装置。
【請求項2】
前記照明装置はデューティ比1:1の矩形波で強度変調され、
前記撮像素子は基本フレーム時間を前記照明装置の変調周期の2分の1とされており、
前記演算制御手段は、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることを、
特徴とする請求項1記載の視覚センサ同期装置。
【請求項3】
前記照明装置はデューティ比1:1の矩形波で強度変調され、
前記撮像素子は基本フレーム時間を前記照明装置の変調周期の4分の1とされており、
前記演算制御手段は、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって 1,0,または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化することを、
特徴とする請求項1記載の視覚センサ同期装置。
【請求項4】
強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有し、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子の動作の時刻ずれに係る情報として、フレームによって1もしくは-1、または、1、0もしくは-1を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算し、この得られた情報に基づくフレーム時間のフィードバック制御によって、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする視覚センサ同期方法。
【請求項5】
前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることを、特徴とする請求項4記載の視覚センサ同期方法。
【請求項6】
前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を前記照明装置の変調周期の4分の1とし、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって
1,0,または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化することを、特徴とする請求項4記載の視覚センサ同期方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、視覚センサのタイミング同期に関するものであり、例えばCCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたカメラ、及びそれらに画像処理装置を追加した視覚処理システムを複数用いる場合において、それらの相互間で撮像のタイミングを合わせるために好適な視覚センサ同期装置および視覚センサ同期方法に関する。
【背景技術】
【0002】
物体や人物など、運動する対象を非接触で観測する際に、CCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたカメラ、及びそれらに画像処理装置を追加したものである視覚処理システムにより動画像を得ることが広く行われる。これらのシステムを総称して視覚センサと呼ぶ。動画像は一般に、適当な時間間隔で撮像される静止画の列であり、通常は一定時間間隔で撮像される。
【0003】
図11に示すように、対象に関して複数方向から観測を行いたい場合や、広域の情報の観測を行いたい場合などに、複数の視覚センサ51を用いることが広く行われている。この際、各視覚センサ51から得られた情報を統合して、元の撮影対象50の位置や形状を正しく求めるためには、各視覚センサ51の撮像タイミングが同期されていることが必要となる。これは、撮影対象50の動きが高速な際に特に重要となる。
【0004】
従来、視覚センサ間の撮像タイミングを同期するためには、専用の電気配線を使用してタイミング信号を送受信することで行うことが一般的である。また近年は、コンピュータネットワークの普及に伴って、ネットワーク上で特殊な通信を行うことで各視覚センサの内蔵時計を相互に同期し、それにより撮像タイミングの同期を行う手法も知られている(例えば、非特許文献1参照)。
【0005】
一方、自発光する物体を撮影対象50とする場合以外は、視覚センサ51による撮像には、図11に示すように、常に照明光源52が必要となるが、この照明光源52に強度変調を加え、視覚センサ51側に特殊な技術を導入することで、照明光源52の強度変調の基準時間系と視覚センサ51の撮像の基準時間系との間の相対的なずれを検出する手法が知られている(例えば、非特許文献2、3または4参照)。
【0006】

【非特許文献1】G. Litoset al., ”Synchronous Image Acquisition based on Network Synchronization”,Proceedings of Computer Vision and Pattern Recognition Workshop, 2006, p.167-172
【非特許文献2】S. Andoand A. Kimachi, “Conrrelation Image Sensor: Two-Dimensional Matched Detectionof Amplitude-Modulated Light”, IEEE Transactions on Electron Devices, 2003, 50,(10), p.2059-2066
【非特許文献3】J. Ohtaet al., “An Image Sensor with an In-Pixel Demodulation Function for Detectingthe Intensity of a Modulated Light Signal”, IEEE Transactions on ElectronDevices, 2003, 50, (1), p.166-172
【非特許文献4】B.Buxbaum et al., “PMD-PLL: receiver structure for incoherent communication andranging systems”, Proceedings of the SPIE, 1999, 3850, p.116-127
【発明の開示】
【発明が解決しようとする課題】
【0007】
視覚センサの撮像タイミング同期を実現するためには、専用の配線または非特許文献1に記載のように通信ネットワークを介して時刻情報を送受信する必要があり、その敷設には手間がかかり、視覚センサの配置等にも制限が生じるという課題があった。無線通信ネットワーク上で時刻同期プロトコルに基づく通信を行うことは可能と考えられるが、遅延変動が無視できない状況では同期精度に限界があるという課題があった。
【0008】
これらとは別の手段として、Global Positioning System (GPS) による時刻情報の受信、光学ビーコンの受信、専用無線通信帯域でのビーコン受信などにより、同期を行うことも可能と考えられるが、各方法のためにはそれぞれGPS受信機、光検出器、無線受信機などの専用機器を、撮像素子とは別に備える必要があり、コスト増を招くという課題があった。
【0009】
一方、非特許文献2、3および4に記載のような技術を用いれば、照明光の強度変調タイミングを基準として、そこからの相対的なずれを視覚センサ自身が光学像から得ることが可能であり、撮像タイミング同期に応用することが可能と考えられるが、いずれの技術も視覚センサの画素内に特殊な回路を埋め込むことが必要であり、通常のCCDイメージセンサやCMOSイメージセンサを用いたシステムには適用できないという課題があった。
【0010】
本発明は、このような課題に鑑み創案されたもので、専用の配線や通信ネットワークを用いることなく、また同期信号受信のための特殊な受信機を装備することなく、また特殊な画素回路を要することなく、照明光の変調タイミングを基準として視覚センサの撮像タイミングを同期させることができる視覚センサ同期装置および視覚センサ同期方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するため、本発明に係る視覚センサ同期装置は、強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子と、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子との動作の時刻ずれに係る情報を得て、この得られた情報に基づくフレーム時間のフィードバック制御によって前記時刻ずれを最小化する演算制御手段とを備え、前記演算制御手段は、前記照明装置と前記撮像素子との動作の時刻ずれに係る情報として、フレームによって1もしくは-1、または、1、0もしくは-1を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算し、前記フィードバック制御により、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする。

【0013】
本発明に係る視覚センサ同期装置で、前記照明装置はデューティ比1:1の矩形波で強度変調され、前記撮像素子は基本フレーム時間を前記照明装置の変調周期の2分の1とされており、前記演算制御手段は、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることが好ましい。また、本発明に係る視覚センサ同期装置で、前記照明装置はデューティ比1:1の矩形波で強度変調され、前記撮像素子は基本フレーム時間を前記照明装置の変調周期の4分の1とされており、前記演算制御手段は、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって 1,0,または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化してもよい。

【0014】
本発明に係る視覚センサ同期方法は、強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有し、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子の動作の時刻ずれに係る情報として、フレームによって1もしくは-1、または、1、0もしくは-1を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算し、この得られた情報に基づくフレーム時間のフィードバック制御によって、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする。

【0016】
本発明に係る視覚センサ同期方法は、前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることが好ましい。また、本発明に係る視覚センサ同期方法は、前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を前記照明装置の変調周期の4分の1とし、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって
1,0,または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化してもよい。

【0017】
本発明に係る視覚センサ同期装置および視覚センサ同期方法は、強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有している。撮像素子が各フレームの画像を獲得するごとに、その画像から特徴量を計算し、その特徴量に基づいて照明装置と撮像素子との動作の時刻ずれに係る情報を得ることが好ましい。この情報に基づいて時刻ずれを最小化するように、フレーム時間をフィードバック制御を行うことで、視覚センサの同期を行う。
【0018】
照明装置と撮像素子との動作の時刻ずれに係る情報を得るために、フレームごとに定められた値を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算する。照明装置と撮像素子との動作の時刻ずれに係る情報が得られれば、時刻ずれを最小化するようなフィードバック制御は、位相同期ループ (PLL) 理論に基づいて実行できる。
【0019】
特に、照明装置をデューティ比1:1の矩形波で強度変調し、撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る時間関数としてフレームによって値1または-1を取るものを用いると、前記時間相関を各フレームの画像から計算される特徴量の累積加減算と、その結果への低域通過フィルタの適用とによって得ることができる。基本フレーム時間を基準として、前記時間相関の値の定数倍だけフレーム時間を増加(相関値が負の場合は減少)させることで、同期が実現される。
【0020】
ここで、フレーム時間を増加または減少させる量、すなわちゲインを適切に設定する必要があるが、適切なゲインの範囲は撮像素子が実効的に受光する変調照明光の振幅に依存する。この依存性を考慮せずに動作させることで同期が不安定になるのを回避するため、照明装置をデューティ比1:1の矩形波で強度変調し、撮像素子の基本フレーム時間を照明の変調周期の4分の1とし、各フレームの画像から計算される特徴量で構成される第2の時間関数と、フレームごとに定められた値を取る第1の時間関数との間の時間相関を計算するとともに、各フレームの画像から計算される特徴量で構成される第2の時間関数の振幅に比例する量を計算する。前記振幅に比例する量で正規化された前記時間相関から、照明装置と撮像素子との動作の時刻ずれに係る情報が得られれば、時刻ずれを最小化するようなフィードバック制御が実行できる。
【発明の効果】
【0021】
本発明により、専用の配線や通信ネットワークを用いることなく、また同期信号受信のための特殊な受信機を装備することなく、また特殊な画素回路を要することなく、視覚センサの撮像タイミングを、照明光の変調タイミングを基準として同期させることを可能とする視覚センサ同期装置および視覚センサ同期方法が得られる。
【発明を実施するための最良の形態】
【0022】
以下,本発明の実施の形態について、図面を参照しながら説明する。
本発明の実施の形態の視覚センサ同期装置の基本的構成を図1に示す。
図1に示すように、視覚センサ同期装置は、変調照明装置11と光学系12と撮像素子13と演算制御回路14からなる。
【0023】
変調照明装置11は、LED (light emitting device) 等の発光体111と、その発光制御回路112からなる。変調照明装置11から発せられた強度変調光は、直接に、または物体等で反射することにより間接に、光学系12を通して撮像素子13上に照射され、電気信号に変換される。演算制御回路14は、この電気信号を読み取り、適当な演算を加えた後、その演算結果に基づいて撮像素子13のフレーム時間を制御する。撮像素子13は、複数の画素131を有する。
【0024】
演算制御回路14は、演算制御手段を成し、以下で述べる演算及び制御を実行できる専用の回路でもよいし、マイクロプロセッサ上のソフトウェアとして実現するのでもよい。撮像素子13は、フレーム時間を制御できるものを選択して使用する必要があるが、撮像素子13に内蔵された制御回路へ指示を与えることで行ってもよく、外部から与えるシャッタートリガ信号を制御することで行ってもよい。
【0025】
本実施形態の原理を説明するための準備として、PLL理論の基礎的事項を述べる。本実施形態は、PLLのうち、入出力信号が離散的な値のみを取るディジタルPLL (DPLL) に基づく。DPLLの基本構成を図2に示す。図2に示すように、同期の基準となる参照信号を f(t) とし、f(t) に同期される出力信号を g(t) とする。図3に示すように、f(t) および g(t) は、いずれも値1と-1を交互に繰り返すデューティ比1:1 の矩形関数である。図2に示すように、位相検出器21は、f(t)とg(t)との積f(t)g(t)を計算する。低域通過フィルタ22は、この積を時間平均した値q(φ)を出力する。この出力q(φ)は、f(t)とg(t)との時間相関であり、f(t)とg(t)との位相差φに依存する値となる。f(t)とg(t)との位相差によって時間相関値q(φ)がどのように変化するかを、図4に示す。
【0026】
図2に示すように、電圧制御発振器23は、出力信号g(t)を出力する発振器であり、その発振周期は、低域通過フィルタ22が出力する時間相関値qに応じて変化する。発振周期は、時間相関値qが0のときはあらかじめ定められた基本発振周期で動作し、時間相関値qが0より大きくなるに従って長く、0より小さくなるに従って短くなる。
【0027】
図4に示すように、この時間相関値qが正のときは、フレーム時間が長くなることでg(t)の位相が相対的に遅れる方向に変化する。逆に負のときは、g(t)の位相は相対的に進む方向に変化する。このようなフィードバックの効果により、時間相関値qの変化分に応じて発振周期を変化させる際のゲインを適切に選ぶことで、f(t)とg(t)との位相差がπ/2となる平衡点で、このシステムの動作は収束する。なお、位相差が3π/2の点も平衡点であるが、この平衡点は不安定であり、外乱等の存在する現実の状況下でこの動作点に留まることはない。
【0028】
本実施形態では、照明装置11から発せられ、撮像素子13上に照射される光が参照信号f(t)に対応する。撮像素子13内の各画素131に照射される光強度は、通常一様ではないが、以下では、まずは議論を簡単化するため、特に断らない限り、各画素131に照射される光強度は一様であるとする。従って以下では、撮像素子13に照射された光強度、各画素131に照射された光強度、画素131に照射された光強度の全画素にわたる総和のそれぞれを、f(t)と同一視することがある。
【0029】
本実施形態の第1の態様では、出力信号g(t)は、撮像素子13のフレームごとに定められた値を取る第1の時間関数に対応し、参照信号f(t)は、各フレームの画像から計算される特徴量で構成される第2の時間関数に対応している。低域通過フィルタ22の出力であるf(t)とg(t)との時間相関q(φ)を以下のように表す。
【数1】
JP0005213045B2_000002t.gif
ここで、Tは、時間平均を取る区間を表し、撮像素子のフレーム時間より十分に長いとする。
【0030】
前述のDPLLの説明では、f(t)は1または-1の値を取るとした。しかし、強度変調光の強度は、負の値を取ることはできない。代わりに、図5に示すように、f(t)は0または1の値を取る矩形波とする。すなわち、f(t)は、1または-1の値を取る矩形波をf'(t) として f(t) = f’(t)/2 + 1/2 と表される。
【0031】
f(t) = 1 は照明装置11が点灯している場合に、f(t) = 0 は消灯している場合に対応させる。ここで、g(t) のデューティ比が1:1であることに注意すると、前述のDPLLは全く同様に動作する。なぜならば、以下が成り立つからである。
【数2】
JP0005213045B2_000003t.gif

【0032】
図5に示すように、出力関数g(t)として、奇数フレームの間はg(t) = 1、偶数フレームの間はg(t) = -1を取るものを考える。
【0033】
演算制御回路14は、[数1]式の時間相関値を用いて撮像素子13の動作を制御する。しかし、ここでの被積分関数f(t)g(t)を直接得ることはできない。なぜならば、撮像素子13の各画素131が出力する輝度値は、照射された光強度、すなわちf(t)の1フレーム時間にわたる積分であり、任意の瞬間におけるf(t)の値ではないからである。一方、g(t)が各フレーム期間内においては固定値を取ることに注意すると、[数1]式の積分値は以下のように得ることができる。
【数3】
JP0005213045B2_000004t.gif

【0034】
ここで、iは撮像素子13の各フレームに時間順に与えられた連番であり、F[i]はフレームiにおいて各画素131が得た輝度値を、全画素について総和したものである。[数3]式の総和は、時間平均を取る区間Tに相当するフレーム数にわたって計算するものとする。なお、この時間平均操作を直接実行する代わりに、再帰型低域通過フィルタとして実装してもよく、その他のより高度な低域通過フィルタを用いてもよい。
【0035】
演算制御回路14は、この時間相関値qに基づいて撮像素子13のフレーム時間を制御する。ここで、g(t)の中心周波数がf(t)の周波数とほぼ同一となるようにする。すなわち、時間相関値qが0のときにフレーム時間が照明変調周期の1/2になるようにし、時間相関値qが大きくなるに従ってフレーム時間を長く、小さくなるに従ってフレーム時間を短くする。時間相関値qの変化に応じてフレーム時間を変化させる際のゲインを適切な値に設定することで、撮像素子13の撮像タイミングは、f(t)とg(t)との周期が同一であり、位相差がπ/2である点に収束する。すなわち、フレーム時間が照明変調周期の1/2であり、各フレームの中心時刻が照明の点灯・消灯切り替わり時刻と一致する点に収束する。
【0036】
さて、これまでは、撮像素子の各画素131に照射される光強度は一様であり、照明装置11からの変調照明光そのものと同一視できるとして説明してきた。このことの妥当性を、より実際的な状況を鑑みて議論する。
【0037】
一般に、照明装置11を含むさまざまな光源から発せられた光は、視覚センサの視野内の物体表面で反射され、その反射光が光学系12を通して撮像素子13に照射される。撮像素子13の各画素131が得る輝度値の全画素にわたる総和は、照明装置11を起源とする成分と、その他の光源を起源とする成分の和として表される。ここで、前者は照明装置11の発光体111の輝度に比例し、後者は発光体111の輝度に依存しないとみなせる。いま、視野内の物体表面の反射率分布が隣接フレーム間で大きくは変化しないと仮定すると、その他の光源を起源とする成分は、奇数フレームの分と偶数フレームの分とが相殺され、時間相関値qへ寄与しない。
【0038】
以上の議論をまとめると、時間相関値qへ寄与するのは、各画素131が得る輝度値のうち照明装置11を起源とする成分のみであり、またその成分の全画素にわたる総和は発光体111の輝度に比例する。よって、これまで説明してきたように、各画素131が得る輝度値の総和を、参照信号f(t)と同一視して差し支えない。
【0039】
ところで、視野内の物体表面の反射率分布が隣接フレーム間で大きく変化する場合は、前述の議論は妥当ではない。f(t)の周波数が十分に高い、すなわち高フレームレートで撮影を行う高速度撮影の条件では、このような状況は生じにくい。また、十分に高フレームレートでない場合でも、視野のうちから反射率の変化の激しい領域を除いた他の画素にわたって輝度値の総和を取ることで、このような状況を回避することもできる。このように、適当な画素を選択し、あるいは重みづけを行った上で、各画素の輝度値の総和を計算したものを、画像から計算される特徴量と呼ぶ。
【0040】
なお、これまでは撮像素子13の各画素131は、照射される光強度をフレーム時間の全期間にわたって積分するとして議論してきた。これは、実際は常には成り立たず、機械的または電子的シャッタにより、フレーム時間のうち一部の期間にわたって照射される光強度が積分される場合もある。この場合のf(t)とg(t)との関係を、図6に示す。図4に示したf(t)とg(t)との位相差φによる時間相関値q(φ)の変化が、この場合にどのようになるかを、図7に示す。ここで、位相差φは、g(t) = 1 であるフレーム期間の中心時刻が、f(t) = 1 である期間の中心時刻に一致する場合を位相差0とし、これらがf(t)の1周期分だけずれている場合を位相差2πとして表した。図7に示すように、この場合も、f(t)とg(t)との位相差φがπ/2となる点のみが安定平衡点であり、同様に動作することがわかる。従って、フレーム時間のうち一部の期間でのみ積分動作がなされる場合でも、動作には差し支えがない。
【0041】
さて、これまでの議論で、時間相関値qの変化に応じてフレーム時間を変化させる際のゲインを適切な値に設定する必要があることを述べた。ここで、適切なゲインの範囲は、撮像素子13へ照射される光のうち、照明装置11を起源とする変調照明成分の振幅に依存することに注意が必要である。f(t)とg(t)との位相差が同じ場合でも、振幅が大きいときは、フレーム時間に比較的大きな変化分が生じ、動作を不安定にしてしまう恐れがある。これを避けるためには、振幅の大きさの効果を打ち消すように、ゲインを小さく取る必要がある。
【0042】
ところが、撮像素子13へ照射される変調照明成分の振幅は、視野内の反射率分布や照明装置11の配置などにも依存するため、事前に見積もるのは難しく、また時間とともに変化し得る。そのような場合は、ゲインの事前設定が困難であり、従って安定動作をさせることが困難となる。これが問題となる場合に対応するためには、変調振幅をオンラインで推定し、その値によってゲインを正規化する手段が必要である。
【0043】
この正規化を実現する本実施形態の第2の態様では、照明装置11をデューティ比1:1 の矩形波で強度変調し、撮像素子13の基本フレーム時間を照明装置11の変調周期の4分の1 とする。撮像素子13のフレームごとに定められた値を取る第1の時間関数として、図8に示すように、各フレームに時間順に与えられた連番を4で除した際の剰余が0のフレームではg1(t) = 1、2のフレームではg1(t) = -1、1または3のフレームではg1(t) = 0 となる関数g1(t)と、同じく連番を4で除した際の剰余が1のフレームではg2(t) = 1、3のフレームではg2(t) = -1、0または2のフレームではg2(t) = 0となる関数g2(t)の2つを考える。
【0044】
これらg1(t)およびg2(t)のそれぞれについて、本実施形態の第1の態様と同様に、f(t)との時間相関を計算する。f(t)とg1(t)との時間相関をq1(φ)、f(t)とg2(t)との時間相関をq2(φ)と表す。いま撮像素子13のフレーム時間の全期間にわたって光強度が積分されるとしたとき、f(t)とg1(t)との位相差φに応じて、q1(φ)とq2(φ)とがそれぞれどのように変化するかを、図9に示す。ここで、位相差φは、g1(t) = 1 であるフレーム期間の中心時刻が、f(t) = 1 である期間の中心時刻に一致する場合を位相差0とし、これらがf(t)の1周期分だけずれている場合を位相差2πとして表した。
【0045】
図9に示すように、現在の位相差φの値によらず、max(|q1(φ)|, |q2(φ)|) により、変調照明成分の振幅を見積もることができることがわかる。よって、本実施形態の第1の態様と同様に、q1の値によりフレーム時間を変化させ、この際のゲインを前述の通り見積もられた振幅で正規化し、安定動作をさせることが可能となる。この正規化項には、必要に応じて時間平滑化などの後処理を施してもよい。
【0046】
以上で述べた本実施形態の第2の態様は、撮像素子13のフレーム時間の一部の期間でのみ光強度が積分される場合でも同様に動作する。この場合のq1(φ)およびq2(φ)の変化の例を、図10に示す。図10に示すように、依然として位相差φがπ/2となる点が安定平衡点であり、また、変調照明成分の振幅を同様に見積もることができることがわかる。
【図面の簡単な説明】
【0047】
【図1】本発明の実施の形態の視覚センサ同期装置を示す構成図である。
【図2】ディジタル位相同期ループ(DPLL)の基本構成を示すブロック図である。
【図3】図2に示すディジタル位相同期ループの参照信号f(t)と出力信号g(t)とを示すグラフである。
【図4】図2に示すディジタル位相同期ループの参照信号f(t)・出力信号g(t)間の時間相関値q(φ)を示すグラフである。
【図5】図1に示す視覚センサ同期装置の変調照明装置の参照信号f(t)と出力信号g(t)とを示すグラフである。
【図6】図1に示す視覚センサ同期装置のフレーム時間の一部の期間でのみ積分動作が行われる場合の参照信号f(t)と出力信号g(t)とを示すグラフである。
【図7】図6に示す視覚センサ同期装置の参照信号f(t)・出力信号g(t)間の時間相関値q(φ)を示すグラフである。
【図8】図1に示す視覚センサ同期装置のゲインの正規化を考慮する場合の参照信号f(t)と出力信号g1(t)と出力信号g2(t)とを示すグラフである。
【図9】図8に示す視覚センサ同期装置の参照信号f(t)・出力信号g1(t)間の時間相関値q1(φ)と、参照信号f(t)・出力信号g2(t)間の時間相関値q2(φ)とを示すグラフである。
【図10】図1に示す視覚センサ同期装置のゲインの正規化を考慮する場合で、フレーム時間の一部の期間でのみ積分動作が行われる場合の参照信号f(t)・出力信号g1(t)間の時間相関値q1(φ)と、参照信号f(t)・出力信号g2(t)間の時間相関値q2(φ)とを示すグラフである。
【図11】従来の視覚センサの同期システムを示す構成図である。
【符号の説明】
【0048】
11 照明装置
111 発光体
112 発行制御回路
12 光学系
13 撮像素子
131 画素
14 演算制御回路
21 位相検出器
22 低域通過フィルタ
23 電圧制御発振器
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10