Top > Search of Japanese Patents > VISUAL SENSOR SYNCHRONIZING DEVICE AND VISUAL SENSOR SYNCHRONIZATION METHOD

VISUAL SENSOR SYNCHRONIZING DEVICE AND VISUAL SENSOR SYNCHRONIZATION METHOD commons

Patent code P110004910
File No. P20080079
Posted date Aug 18, 2011
Application number P2008-307855
Publication number P2010-135926A
Patent number P5213045
Date of filing Dec 2, 2008
Date of publication of application Jun 17, 2010
Date of registration Mar 8, 2013
Inventor
  • (In Japanese)鏡 慎吾
Applicant
  • (In Japanese)国立大学法人東北大学
Title VISUAL SENSOR SYNCHRONIZING DEVICE AND VISUAL SENSOR SYNCHRONIZATION METHOD commons
Abstract PROBLEM TO BE SOLVED: To provide a visual sensor synchronizing device and a visual sensor synchronization method for synchronizing the image pickup timing of a visual sensor, with the modulation timing of illumination light as a reference, without having to use private wirings or communications networks, being equipped with a special receiver for receiving synchronizing signals, or without having to require a special pixel circuit.
SOLUTION: The visual sensor synchronizer includes lighting device 11 to which intensity modulation is applied; an imaging element 13 for controlling the frame time; and an operation control circuit 14. The operation control circuit 14 obtains the information regarding the shift in time of the movement between the lighting device 11 and the imaging element 13 through post-processing of an image obtained by the imaging element 13 and minimizes the shift in time by the feedback control of the frame time based on the obtained information.
Outline of related art and contending technology (In Japanese)


物体や人物など、運動する対象を非接触で観測する際に、CCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたカメラ、及びそれらに画像処理装置を追加したものである視覚処理システムにより動画像を得ることが広く行われる。これらのシステムを総称して視覚センサと呼ぶ。動画像は一般に、適当な時間間隔で撮像される静止画の列であり、通常は一定時間間隔で撮像される。



図11に示すように、対象に関して複数方向から観測を行いたい場合や、広域の情報の観測を行いたい場合などに、複数の視覚センサ51を用いることが広く行われている。この際、各視覚センサ51から得られた情報を統合して、元の撮影対象50の位置や形状を正しく求めるためには、各視覚センサ51の撮像タイミングが同期されていることが必要となる。これは、撮影対象50の動きが高速な際に特に重要となる。



従来、視覚センサ間の撮像タイミングを同期するためには、専用の電気配線を使用してタイミング信号を送受信することで行うことが一般的である。また近年は、コンピュータネットワークの普及に伴って、ネットワーク上で特殊な通信を行うことで各視覚センサの内蔵時計を相互に同期し、それにより撮像タイミングの同期を行う手法も知られている(例えば、非特許文献1参照)。



一方、自発光する物体を撮影対象50とする場合以外は、視覚センサ51による撮像には、図11に示すように、常に照明光源52が必要となるが、この照明光源52に強度変調を加え、視覚センサ51側に特殊な技術を導入することで、照明光源52の強度変調の基準時間系と視覚センサ51の撮像の基準時間系との間の相対的なずれを検出する手法が知られている(例えば、非特許文献2、3または4参照)。



【非特許文献1】
G. Litoset al., ”Synchronous Image Acquisition based on Network Synchronization”,Proceedings of Computer Vision and Pattern Recognition Workshop, 2006, p.167-172
【非特許文献2】
S. Andoand A. Kimachi, “Conrrelation Image Sensor: Two-Dimensional Matched Detectionof Amplitude-Modulated Light”, IEEE Transactions on Electron Devices, 2003, 50,(10), p.2059-2066
【非特許文献3】
J. Ohtaet al., “An Image Sensor with an In-Pixel Demodulation Function for Detectingthe Intensity of a Modulated Light Signal”, IEEE Transactions on ElectronDevices, 2003, 50, (1), p.166-172
【非特許文献4】
B.Buxbaum et al., “PMD-PLL: receiver structure for incoherent communication andranging systems”, Proceedings of the SPIE, 1999, 3850, p.116-127

Field of industrial application (In Japanese)


本発明は、視覚センサのタイミング同期に関するものであり、例えばCCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたカメラ、及びそれらに画像処理装置を追加した視覚処理システムを複数用いる場合において、それらの相互間で撮像のタイミングを合わせるために好適な視覚センサ同期装置および視覚センサ同期方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
強度変調の施された照明装置と、
フレーム時間を制御し得る撮像素子と、
前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子との動作の時刻ずれに係る情報を得て、この得られた情報に基づくフレーム時間のフィードバック制御によって前記時刻ずれを最小化する演算制御手段とを備え、
前記演算制御手段は、前記照明装置と前記撮像素子との動作の時刻ずれに係る情報として、フレームによって1もしくは-1、または、1、0もしくは-1を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算し、前記フィードバック制御により、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、
特徴とする視覚センサ同期装置。

【請求項2】
 
前記照明装置はデューティ比1:1の矩形波で強度変調され、
前記撮像素子は基本フレーム時間を前記照明装置の変調周期の2分の1とされており、
前記演算制御手段は、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることを、
特徴とする請求項1記載の視覚センサ同期装置。

【請求項3】
 
前記照明装置はデューティ比1:1の矩形波で強度変調され、
前記撮像素子は基本フレーム時間を前記照明装置の変調周期の4分の1とされており、
前記演算制御手段は、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって 1,0,または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化することを、
特徴とする請求項1記載の視覚センサ同期装置。

【請求項4】
 
強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有し、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子の動作の時刻ずれに係る情報として、フレームによって1もしくは-1、または、1、0もしくは-1を取る第1の時間関数と、各フレームの画像から計算される特徴量で構成される第2の時間関数との間の時間相関を計算し、この得られた情報に基づくフレーム時間のフィードバック制御によって、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする視覚センサ同期方法。

【請求項5】
 
前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることを、特徴とする請求項4記載の視覚センサ同期方法。

【請求項6】
 
前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を前記照明装置の変調周期の4分の1とし、フレームごとに定められた値を取る前記第1の時間関数として、フレームによって
1,0,または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化することを、特徴とする請求項4記載の視覚センサ同期方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2008307855thum.jpg
State of application right Registered
Please contact us by facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close