TOP > 国内特許検索 > 距離画像センサ、及び撮像信号を飛行時間法により生成する方法 > 明細書

明細書 :距離画像センサ、及び撮像信号を飛行時間法により生成する方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5585903号 (P5585903)
公開番号 特開2010-032425 (P2010-032425A)
登録日 平成26年8月1日(2014.8.1)
発行日 平成26年9月10日(2014.9.10)
公開日 平成22年2月12日(2010.2.12)
発明の名称または考案の名称 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
国際特許分類 G01S  17/10        (2006.01)
H01L  27/146       (2006.01)
G01S  17/89        (2006.01)
FI G01S 17/10
H01L 27/14 A
G01S 17/89
請求項の数または発明の数 8
全頁数 29
出願番号 特願2008-196616 (P2008-196616)
出願日 平成20年7月30日(2008.7.30)
審査請求日 平成23年5月26日(2011.5.26)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】川人 祥二
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】山下 雅人
参考文献・文献 国際公開第2007/026779(WO,A1)
特表2004-538491(JP,A)
特開平09-178853(JP,A)
調査した分野 G01S17/00-17/95
G01S 7/48- 7/51
H01L27/146
H04N 5/225
H04N 5/335
G01B11/00-11/30
特許請求の範囲 【請求項1】
飛行時間法を用いる距離画像センサであって、
飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、
互いに異なる第1~第nの飛行時間(n>1)に対応する第1~第nの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、前記第1~第nの撮像タイミングにそれぞれ対応する第1~第nの要素画像信号を前記制御信号に応答して生成する信号生成装置とを有する画像生成装置と、
前記第1~第nの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成する処理装置とを備え、
各ピクセルの前記検出素子は、前記第1~第nの撮像タイミングの各々における第1及び第2の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第1及び第2の電荷を生成し、
各ピクセルは、前記第1及び第2の撮像ウインドウに対応してそれぞれ前記第1及び第2の電荷から第1及び第2の要素信号を提供し、
前記第1の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
前記第2の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
前記第iの要素画像信号(1≦i≦n)は、前記第iの撮像タイミングにおける各ピクセルの前記第1及び第2の要素信号を含み、
前記放射源は、時間軸に関して順に配列された第1~第nのフレームそれぞれにおいて対象物に照射される第1~第nのパルスの列を前記放射パルスとして提供し、
前記第1~第nのパルスは、それぞれ、前記第1~第nのフレームの始点から、互いに異なるシフト量でシフトされており、
前記第1~第nのフレームの各々において、前記撮像時刻は各フレームの始点から所定の時間で規定され、
前記第1~第nのフレームの各々は、前記第1及び第2の撮像ウインドウを含み、
前記第1~第nのパルスの各々の持続時間は、前記第1の撮像ウインドウの期間以下であり、
前記第1~第nのパルスの各々の持続時間は、前記第2の撮像ウインドウの期間以下であり、
前記第1~第nのフレームの各々は、前記第1及び第2の撮像ウインドウと、前記第1及び第2の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする距離画像センサ。
【請求項2】
前記ピクセルは、前記第1~第nの撮像タイミングにおける前記第1及び第2の撮像ウインドウにおいてそれぞれ導通し前記検出素子に接続された第1及び第2の転送ゲートと、前記検出素子に接続され前記電荷廃棄ウインドウに導通する第1及び第2の廃棄ゲートとを含み、
前記検出素子は前記第1の転送ゲートと前記第2の転送ゲートとの間に位置し、
前記検出素子は前記第1の廃棄ゲートと前記第2の廃棄ゲートとの間に位置する、ことを特徴とする請求項に記載された距離画像センサ。
【請求項3】
前記第1~第nのパルスのパルス幅は、線形応答領域を用いて前記距離情報を含む画像信号を生成可能なように規定されている、ことを特徴とする請求項1又は請求項に記載された距離画像センサ。
【請求項4】
飛行時間法を用いる距離画像センサであって、
飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、
互いに異なる第1~第nの飛行時間(n>1)に対応する第1~第nの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、前記第1~第nの撮像タイミングにそれぞれ対応する第1~第nの要素画像信号を前記制御信号に応答して生成する信号生成装置とを有する画像生成装置と、
前記第1~第nの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成する処理装置とを備え、
各ピクセルの前記検出素子は、前記第1~第nの撮像タイミングの各々における第1及び第2の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第1及び第2の電荷を生成し、
各ピクセルは、前記第1及び第2の撮像ウインドウに対応してそれぞれ前記第1及び第2の電荷から第1及び第2の要素信号を提供し、
前記第1の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
前記第2の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
前記第iの要素画像信号(1≦i≦n)は、前記第iの撮像タイミングにおける各ピクセルの前記第1及び第2の要素信号を含み、
前記放射源は、単一のフレームに単一のパルスを前記放射パルスとして提供し、
前記第1~第nの撮像タイミングは、前記フレーム内に位置し、
前記第1~第nの撮像タイミングの前記撮像時刻は、互いに異なるシフト量で前記単一のフレームの始点からシフトされており、
前記第1の撮像タイミングの前記撮像時刻の直前には前記第1の撮像ウインドウが設けられ、
前記第nの撮像タイミングの前記撮像時刻の直後には前記第2の撮像ウインドウが設けられ、
前記第1~第nの撮像タイミングのうちの第iの撮像タイミング(1≦i<n-1)と第i+1の撮像タイミングとの間には、前記検出素子に入射する入射放射線に応じた電荷を取り込むためのウインドウが規定されており、
前記ウインドウは、前記第1及び第2の撮像ウインドウのために兼用され、
前記パルスの持続時間は、前記第1の撮像ウインドウの期間以下であり、
前記パルスの各々の持続時間は、前記第2の撮像ウインドウの期間以下である、ことを特徴とする距離画像センサ。
【請求項5】
前記単一のフレームは、前記第1及び第2の撮像ウインドウと、前記第1の撮像ウインドウ及び前記第2の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする請求項に記載された距離画像センサ。
【請求項6】
前記ピクセルは、前記検出素子の一方の側に配置された第1の群の第1~第jの転送ゲートと、前記検出素子の他方の側に配置された第2の群の第j+1~第n+1の転送ゲートと、前記検出素子に接続され前記電荷廃棄ウインドウに導通する第1及び第2の廃棄ゲートとを含み、
前記第1~第n+1の転送ゲートは、前記第1~第nの撮像タイミングのいずれかにおいて導通し、
前記検出素子は前記第1の廃棄ゲートと前記第2の廃棄ゲートとの間に位置する、ことを特徴とする請求項に記載された距離画像センサ。
【請求項7】
複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法であって、
前記ピクセルアレイの検出素子を用いて、互いに異なる第1~第nの飛行時間(n>1)で複数の撮像を行って、第1~第nの要素画像信号を生成するステップと、
前記第1~第nの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成するステップとを備え、
各ピクセルは、前記第1~第nの撮像タイミングにおける第1及び第2の撮像ウインド
ウにおいてそれぞれ第1及び第2の電荷を生成し、
前記第1の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
前記第2の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
各ピクセルは、前記第1及び第2の電荷の量にそれぞれ対応する第1及び第2の要素信号を提供し、
前記第iの要素画像信号(1≦i≦n)は、前記第iの撮像タイミングにおける前記複数のピクセルの前記第1及び第2の要素信号を含み、
前記第1~第nの要素画像信号を生成する前記ステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含み、
前記放射パルスの照射では、時間軸に関して順に配列された第1~第nのフレームそれぞれにおいて対象物に照射するための第1~第nのパルスが出射され、
前記第1~第nのパルスは、それぞれ、前記第1~第nのフレームの始点から、互いに異なるシフト量でシフトされており、
前記第1~第nのフレームの各々において、前記基準時刻は各フレームの始点であり、
前記第1~第nのフレームの各々は、前記第1及び前記第2の撮像ウインドウを含み、
前記第1~第nのパルスの各々の持続時間は、前記第1の撮像ウインドウの期間以下であり、
前記第1~第nのパルスの各々の持続時間は、前記第2の撮像ウインドウの期間以下であり、
前記第1~第nのフレームの各々は、前記第1及び第2の撮像ウインドウと、前記第1及び第2の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする方法。
【請求項8】
複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法であって、
前記ピクセルアレイの検出素子を用いて、互いに異なる第1~第nの飛行時間(n>1)で複数の撮像を行って、第1~第nの要素画像信号を生成するステップと、
前記第1~第nの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成するステップとを備え、
各ピクセルは、前記第1~第nの撮像タイミングにおける第1及び第2の撮像ウインド
ウにおいてそれぞれ第1及び第2の電荷を生成し、
前記第1の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
前記第2の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
各ピクセルは、前記第1及び第2の電荷の量にそれぞれ対応する第1及び第2の要素信号を提供し、
前記第iの要素画像信号(1≦i≦n)は、前記第iの撮像タイミングにおける前記複数のピクセルの前記第1及び第2の要素信号を含み、
前記第1~第nの要素画像信号を生成する前記ステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含み、
前記放射パルス照射では、単一のフレームに単一のパルスが出射され、
前記第1~第nの撮像タイミングは、前記単一のフレーム内に位置し、
前記第1~第nの撮像タイミングは、前記単一のフレームの始点から、互いに異なるシフト量でシフトされており、
前記第1及び第2の撮像ウインドウの各々は、前記第1~第nの撮像タイミングのうち隣接する撮像タイミングの間に設けられている、ことを特徴とする方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、距離画像センサ、及び撮像信号を飛行時間法により生成する方法に関する。
【背景技術】
【0002】
特許文献1には、全画素同時電子シャッタ動作が可能な固体撮像装置が記載されている。この固体撮像装置は、全フォトダイオードをリセットした後に、第1転送ゲートを一斉に閉じ、各フォトダイオードに電荷の蓄積を行う。シャッタ時間が経過した後に、第1転送ゲートを一斉に開き、蓄積された電荷をそれぞれの電荷蓄積領域に転送する。特許文献2には、電子シャッタ作用を備えた能動ピクセルセンサアレイが記載されている。特許文献3には、距離画像センサのための画素回路が記載されている。シリコン基板上に酸化膜が設けられており、この酸化膜上に、2つの電荷転送用フォトゲート電極が設けられる。酸化膜の縁部には、電荷取り出し用の浮遊拡散層が設けられている。特許文献4には、強度変調された放射フィールドを検出と復調のための方法及び装置が記載されている。この方法及び装置では、センサ素子のアレイの光感応部に生成された信号電荷を、光源によって生成された変調信号に同期してメモリセルに転送するように、センサ素子の電子スイッチを制御すると共に、メモリセルに格納された信号電荷を評価ユニットに転送するように、メモリセルを制御する。特許文献5には、アクティブピクセルセンサが記載されている。アクティブピクセルセンサは、信号電荷として集められるフォト電荷を入力光から発生する光検出領域と、ピクセル内に増幅器の入力に接続されたセンスノードに光検出領域から信号電荷を転送するトランジスタとを備える。ピクセルの設計では、光検出領域が中心軸に関して二次元対称性を有するように設けられている。特許文献6では、TOF法を用いる三次元撮像システムが記載されている。三次元撮像システムのピクセルは、ピクセル検出器、電荷コレクタ及び電子シャッタを含み、電子シャッタは、ピクセル検出器と電荷コレクタとの間に介在している。非特許文献1は、CCDを用いた距離測定センサが記載されている。反射光の遅延時間は、2つの検知期間によって位相シフト量として測定される。

【特許文献1】特開平11-177076号公報
【特許文献2】特表2000-504489号公報
【特許文献3】特開2005-235893号公報
【特許文献4】USP5856667号公報
【特許文献5】USP5986297号公報
【特許文献6】USP6323942号公報
【非特許文献1】Ryohei Miyagawa, Takeo Kanade, "CCD-based range-finding sensor,"IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652 (1997).
【発明の開示】
【発明が解決しようとする課題】
【0003】
光の飛行時間を用いた従来の距離画像センサでは、距離計測範囲を広げるためには、以下の事項が必要であった:(a1)光の変調周波数を高める;(a2)光のパルスの幅を広げる。一方、距離分解能を高めるためには、以下の事項が必要であった:(b1)光の変調周波数を高める;(b2)光のパルス幅を短くする。上記のように、距離計測範囲を広げるためには光のパルスの幅を広げることが求められる一方で、距離分解能を高めるためには光のパルス幅を短くすることが求められる。故に、計測可能な距離範囲を拡大することは、距離分解能を向上させることとトレードオフの関係にある。
【0004】
本発明は、このような事情を鑑みて為されたものであり、距離分解能を低下させることなく、距離計測範囲を拡大可能な距離画像センサ、及び撮像信号を飛行時間法により生成する方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一側面は、飛行時間法を用いる距離画像センサである。距離画像センサは、(a)飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、(b)互いに異なる第1~第nの飛行時間(n>1)に対応する第1~第nの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、第1~第nの撮像タイミングにそれぞれ対応する第1~第nの要素画像信号を制御信号に応答して生成する信号生成装置とを有する画像生成装置と、(c)第1~第nの要素画像信号を合成して、対象物に関する距離情報を含む画像信号を生成する処理装置とを備える。各ピクセルの検出素子は、第1~第nの撮像タイミングの各々における第1及び第2の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第1及び第2の電荷を生成する。各ピクセルは、第1及び第2の撮像ウインドウに対応してそれぞれ第1及び第2の電荷から第1及び第2の要素信号を提供する。第1の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有している。第2の撮像ウインドウは、撮像時刻の直後にあり所定の時間幅を有している。第iの要素画像信号(1≦i≦n)は、第iの撮像タイミングにおける各ピクセルの第1及び第2の要素信号を含む。
【0006】
この距離画像センサによれば、第1~第nの飛行時間(n>1)は互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、第1~第nの飛行時間に対応する第1~第nの撮像タイミングで第1~第nの要素画像信号を生成するので、第1~第nの要素画像信号の各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第1~第nの要素画像信号を合成して画像信号を生成するので、広い距離範囲における対象物の距離情報を得ることができる。
【0007】
また、対象物の距離情報を得るために、第1~第nの撮像タイミングの各々では、第1及び第2の撮像ウインドウでピクセルの検出素子に入射する入射放射線に対応する第1及び第2の要素信号を生成しているので、複数回の飛行時間法の測定により、広い距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
【0008】
本発明に係る距離画像センサでは、放射源は、時間軸に関して順に配列された第1~第nのフレームそれぞれにおいて対象物に照射される第1~第nのパルスの列を放射パルスとして提供する。第1~第nのパルスは、それぞれ、第1~第nのフレームの始点から、互いに異なるシフト量でシフトされている。第1~第nのフレームの各々において、撮像時刻は各フレームの始点から所定の時間で規定されている。第1~第nのフレームの各々は、第1及び第2の撮像ウインドウを含む。第1~第nのパルスの各々の持続時間は、第1の撮像ウインドウの期間以下である。第1~第nのパルスの各々の持続時間は、第2の撮像ウインドウの期間以下である。
【0009】
この距離画像センサによれば、第1~第nの飛行時間の測定には、互いに異なるシフト量でシフトされた第1~第nのパルスを用いる。第1~第nのパルスは、それぞれ、時間軸に関して順に配列された第1~第nのフレームにおいて対象物に照射される。第1~第nのパルスを、それぞれ、第1~第nのフレームにおける第1及び第2の撮像ウインドウに対応づけて、複数回の飛行時間の測定を行うことができる。
【0010】
本発明に係る距離画像センサでは、第1~第nのフレームの各々は、第1及び第2の撮像ウインドウと、第1及び第2の撮像ウインドウと異なる電荷廃棄ウインドウとを含む。ピクセルは、電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。この距離画像センサによれば、電荷廃棄ウインドウにおいて検出素子の電荷が廃棄されるので、検出素子が受ける背景ノイズを除外できる。
【0011】
本発明に係る距離画像センサでは、ピクセルは、第1~第nの撮像タイミングにおける第1の撮像ウインドウ及び第2の撮像ウインドウにそれぞれ導通し検出素子に接続され第1及び第2の転送ゲートと、検出素子に接続され電荷廃棄ウインドウに導通する第1及び第2の廃棄ゲートとを含む。検出素子は第1の転送ゲートと第2の転送ゲートとの間に位置する。検出素子は第1の廃棄ゲートと第2の廃棄ゲートとの間に位置する。この距離画像センサのピクセルアレイは、上記の構造のピクセルのアレイを含むことができる。
【0012】
本発明に係る距離画像センサでは、第1~第nのパルスのパルス幅は、線形応答領域を用いて距離情報を含む画像信号を生成可能なように規定されることができる。この距離画像センサによれば、線形応答領域を用いるので、飛行時間の測定の全範囲において、距離精度を確保できる。
【0013】
本発明に係る距離画像センサでは、放射源は、単一のフレームに単一のパルスを放射パルスとして提供する。第1~第nの撮像タイミングは、単一のフレーム内に位置する。第1~第nの撮像タイミングの撮像時刻は、互いに異なるシフト量で単一のフレームの始点からシフトされている。第1の撮像タイミングの撮像時刻の直前には第1の撮像ウインドウが設けられると共に、第nの撮像タイミングの撮像時刻の直後には第2の撮像ウインドウが設けられる。第1~第nの撮像タイミングのうちの第iの撮像タイミング(1≦i<n-1)と第i+1の撮像タイミングとの間には、検出素子に入射する入射放射線に応じた電荷を取り込むためのウインドウが規定されている。ウインドウは、第1及び第2の撮像ウインドウのために兼用されている。単一のパルスの持続時間は第1及び第2の撮像ウインドウの期間以下である。
【0014】
この距離画像センサによれば、第1~第nの撮像タイミングの各々における撮像時刻の前後にそれぞれ第1及び第2の撮像ウインドウが設けられる。故に、第1及び複数の第2の撮像ウインドウが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の第1の撮像ウインドウがあり、最後には単独の第2の撮像ウインドウがある。撮像ウインドウの列において、単独の第1の撮像ウインドウと単独の第2の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第1の撮像ウインドウ及び第2の撮像ウインドウの両方のために設けられている。撮像ウインドウの列におけるn個の撮像時刻において、第1~第nの要素画像信号が生成される。
【0015】
本発明に係る距離画像センサでは、単一のフレームは、第1及び第2の撮像ウインドウと、第1の撮像ウインドウ及び第2の撮像ウインドウと異なる電荷廃棄ウインドウとを含む。ピクセルは、電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。この距離画像センサによれば、電荷廃棄ウインドウにおいて検出素子の電荷が廃棄されるので、検出素子が受ける背景ノイズを除外できる。
【0016】
本発明に係る距離画像センサでは、ピクセルは、検出素子の一方の側に配置された第1の群の第1~第jの転送ゲートと、検出素子の他方の側に配置された第2の群の第j+1~第n+1の転送ゲートと、検出素子に接続され電荷廃棄ウインドウに導通する第1及び第2の廃棄ゲートとを含む。第1~第n+1の転送ゲートは、第1~第nの撮像タイミングのいずれかにおいて導通する。検出素子は第1の廃棄ゲートと第2の廃棄ゲートとの間に位置する。この距離画像センサのピクセルアレイは、上記の構造のピクセルのアレイを含むことができる。
【0017】
本発明の別の側面は、複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法である。この方法は、(a)ピクセルアレイの検出素子を用いて、互いに異なる第1~第nの飛行時間(n>1)で複数の撮像を行って、第1~第nの要素画像信号を生成するステップと、(b)第1~第nの要素画像信号を合成して、対象物に関する距離情報を含む画像信号を生成するステップとを備える。各ピクセルは、第1~第nの撮像タイミングにおける第1及び第2の撮像ウインドウにおいてそれぞれ第1及び第2の電荷を生成する。第1の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり、また所定の時間幅を有している。第2の撮像ウインドウは、撮像時刻の直後にあり、また所定の時間幅を有している。各ピクセルは、第1及び第2の電荷の量にそれぞれ対応する第1及び第2の要素信号を提供する。第iの要素画像信号(1≦i≦n)は、第iの撮像タイミングにおける複数のピクセルの第1及び第2の要素信号を含む。
【0018】
この方法によれば、第1~第nの飛行時間(n>1)は互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、第1~第nの飛行時間に対応する第1~第nの撮像タイミングで第1~第nの要素画像信号を生成するので、第1~第nの要素画像信号の各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第1~第nの要素画像信号を合成して画像信号を生成するので、広い距離範囲における対象物の距離情報を得ることができる。
【0019】
また、対象物の距離情報を得るために、第1~第nの撮像タイミングの各々では、第1の撮像ウインドウ及び第2の撮像ウインドウでピクセルの検出素子に入射する入射放射線に対応する第1及び第2の要素信号を生成しているので、複数回の飛行時間により、広い距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
【0020】
本発明に係る方法では、第1~第nの要素画像信号を生成するステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含む。放射パルスの照射では、時間軸に関して順に配列された第1~第nのフレームそれぞれにおいて対象物に照射するための第1~第nのパルスが出射される。第1~第nのパルスは、それぞれ、第1~第nのフレームの始点から、互いに異なるシフト量でシフトされている。第1~第nのフレームの各々において、基準時刻は各フレームの始点である。第1~第nのフレームの各々は、第1及び第2の撮像ウインドウを含む。第1~第nのパルスの各々の持続時間は、第1の撮像ウインドウの期間以下である。第1~第nのパルスの各々の持続時間は、第2の撮像ウインドウの期間以下である。
【0021】
この方法によれば、第1~第nの飛行時間の測定には、互いに異なるシフト量でシフトされた第1~第nのパルスを用いる。第1~第nのパルスは、それぞれ、時間軸に関して順に配列された第1~第nのフレームにおいて対象物に照射される。第1~第nのパルスを、それぞれ、第1~第nのフレームにおいて第1及び第2の撮像ウインドウを用いて、複数回の飛行時間の測定を行うことができる。
【0022】
本発明に係る方法では、第1~第nの要素画像信号を生成するステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含む。放射パルス、または、単一のフレームに単一のパルスが出射される。第1~第nの撮像タイミングは、単一のフレーム内に位置する。第1~第nの撮像タイミングは、単一のフレームの始点から、互いに異なるシフト量でシフトされている。第1及び第2の撮像ウインドウの各々は、第1~第nの撮像タイミングのうち隣接する撮像タイミングの間に設けられている。
【0023】
この方法によれば、第1~第nの撮像タイミングの各々における撮像時刻の前後に第1及び第2の撮像ウインドウが設けられる。故に、複数の第1の撮像ウインドウ及び複数の第2の撮像ウインドウが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の第1の撮像ウインドウがあり、最後には単独の第2の撮像ウインドウがある。撮像ウインドウの列において、単独の第1の撮像ウインドウと単独の第2の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第1の撮像ウインドウ及び第2の撮像ウインドウの両方のために設けられている。
【発明の効果】
【0024】
本発明によれば、距離分解能を低下させることなく距離計測範囲を拡大可能な距離画像センサ、及び撮像信号を飛行時間法により生成する方法が提供される。
【発明を実施するための最良の形態】
【0025】
本発明の知見は、例示として示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解できる。引き続いて、添付図面を参照しながら、本発明の距離画像センサ、及び撮像信号を飛行時間法により生成する方法に係る実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付する。
【0026】
図1は、本実施の形態に係る、飛行時間法を用いる距離画像センサを示す図面である。距離画像センサ11は、放射源13と、画像生成装置15と、処理装置17とを備える。放射源13は、飛行時間を計測するために対象物に照射する放射パルスLを発生する。放射源13は、例えば、半導体発光素子13aと、この発光素子13aの駆動回路13bとを含み、駆動回路13bはタイミング信号に応答して発光素子を駆動する。半導体発光素子13aとしては、発光ダイオード及びレーザダイオードが用いられる。放射源13は、近赤外領域、可視光等の波長範囲の放射線を用いることができる。近赤外領域、可視光等を提供する光源から、TOF測定のための光パルスが出射される。画像生成装置15は、制御装置21、ピクセルアレイ23、及び信号生成装置25を有する。画像生成装置15の制御装置21は、互いに異なる第1~第nの飛行時間(n>1)TOF1~TOFnに対応する第1~第nの撮像タイミングを示す制御信号を生成する。ピクセルアレイ23は複数のピクセル27を含み、これらのピクセル27は、例えば行及び列に配列されている。各ピクセル27は、入射放射線Lに感応して電荷を生成する検出素子を含む。この検出素子として、例えばフォトゲート等を用いることができる。信号生成装置17は、第1~第nの撮像タイミングにおける撮像にそれぞれ対応する第1~第nの要素画像信号SE1~SEnを制御信号に応答して生成する。処理装置17は、第1~第nの要素画像信号SE1~SEnを合成して、対象物に関する距離情報を含む画像信号SIMAGEを生成する。
【0027】
各ピクセル27の検出素子は、各撮像タイミングにおける第1及び第2の撮像ウインドウWPU1、WPU2において該検出素子に入射する入射放射線に応じてそれぞれ第1及び第2の電荷を生成する。各ピクセル27は、第1及び第2の撮像ウインドウWPU1、WPU2における第1及び第2の電荷にそれぞれ対応した第1及び第2の出力信号S1、S2を提供する。第1の撮像ウインドウWPU1は、基準時刻から規定された撮像時刻TPUの直前にあり、第2の撮像ウインドウWPU2は、撮像時刻TPUの直後にある。故に、n回の撮像における第1及び第2の電荷の比率からn回の飛行時間(TOF)を測定できる。第1及び第2の撮像ウインドウWPU1、WPU2は、所定の時間幅PWINを有している。第iの要素画像信号(1≦i≦n)は、第iの撮像タイミングにおける各ピクセル27の第1及び第2の要素信号S1、S2を含む。
【0028】
この距離画像センサ11によれば、第1~第nの飛行時間TOF1~TOFnは互いに異なるので、それぞれの飛行時間TOF1~TOFnの測定は、互いに異なる測距範囲をカバーする。また、第1~第nの飛行時間TOF1~TOFnに対応する第1~第nの撮像タイミングで第1~第nの要素画像信号SE1~SEnを生成するので、第1~第nの要素画像信号SE1~SEnの各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第1~第nの要素画像信号SE1~SEnを合成して画像信号SIMAGEを生成するので、広い距離範囲における対象物の距離情報を得ることができる。
【0029】
また、対象物の距離情報を得るために、第1~第nの撮像タイミングの各々では、第1及び第2の撮像ウインドウWPU1、WPU2を介してピクセル27の検出素子に入射する入射放射線Lに対応する第1及び第2の出力信号S1、S2を生成するので、複数回の飛行時間法の測定により所望の距離範囲において対象物に関する距離範囲の情報を得ている。広い距離範囲における対象物の距離情報を得るために、放射パルスLの幅を広げる必要がないので、飛行時間TOF1~TOFnの測定において、距離分解能を低下されない。
【0030】
図1を参照すると、距離画像センサシステム31が示されており、このシステム31は、距離画像センサ11及び外部装置33を含む。外部装置33は、例えば表示装置、出力デバイス等であることができる。出力デバイスは例えばインタフェース装置である。
【0031】
また、信号生成装置25は、各ピクセル27から提供された第1及び第2の要素信号S1、S2から、第1~第nの要素画像信号SE1~SEnを生成するための手段25a、25b、25cを含む。第1~第nの要素画像信号SE1~SEnは、それぞれ、第1~第nの撮像タイミングにおいて撮像された対象物の画像情報及び距離情報を含んでいる。第1~第nの撮像タイミングの各々が、所定の間隔で配置されているので、第1~第nの撮像タイミングを用いて所望の測距範囲の撮像を可能にしている。一方、距離分解能は、第1~第nの飛行時間TOF1~TOFnの各々の測定において規定される。
【0032】
図2は、画像信号SIMAGEを表示装置33によって表示した画像を示している。図2(a)を参照すると、撮像の対象物が示されている。図2(b)を参照すると、第1~第nの要素画像信号SE1~SEnを処理して作成された明暗画像が示される。図2(c)を参照すると、画像信号SIMAGEを表示装置に出力された画像が表示されている。図2(c)の表示では、距離画像センサ11と対象物との距離に応じて表示のトーンが変更されている。なお、実際のシステムでは、表示された画像は、距離画像センサ11と対象物との距離に応じて色分けされることができる。
【0033】
図3は、本実施の形態における距離画像センサのためのピクセルの一構造を示す図面である。図3(a)を参照すると、ピクセル27の主要部を示す平面図である。図3(b)及び図3(c)には、それぞれ、図3(a)に示されたI-I線及びII-II線に沿って取られた断面を示す。ピクセル27は、シリコン基板といった半導体基板P-sub上に形成されている。ピクセル27は、フォトゲートPGと、第1及び第2の転送ゲートTX、TXと、第1及び第2の廃棄ゲートTXBCDとを含む。フォトゲートPGは、入射放射線Lに感応して電荷を生成する。フォトゲートPGは、それぞれ、第1及び第2の転送ゲートTX、TXを介して第1及び第2の浮遊半導体領域FD、FDに接続されている。また、フォトゲートPGは、それぞれ、第1及び第2の廃棄ゲートTXBCDを介して第1及び第2の半導体領域FDBCDに接続されている。第1及び第2の半導体領域FDBCDは、電荷廃棄ライン、例えばVDDに接続されている。フォトゲートPGは、第1及び第2の転送ゲートTX、TXの間に設けられており、また第1及び第2の廃棄ゲートTXBCDの間に設けられている。第1及び第2の浮遊半導体領域FD1、FD2及び第1及び第2の半導体領域FDBCDは、例えばp型半導体領域p-well、p-epiに設けられたn型半導体領域である。第1及び第2の浮遊半導体領域FD1、FD2は、リセットゲートResetを介して第1及び第2のn型半導体領域FDRに接続されており、これらの半導体領域FDRには、リセット電圧が印加されている。リセットゲートResetは、薄いMIS(好ましくはMOS)構造を有しており、リセットゲートResetとp型半導体領域p-wellとの間には、ゲート絶縁膜が設けられており、この薄い絶縁膜は例えば薄いSiOからなる。フォトゲートPG、第1及び第2の転送ゲートTX、TX及び第1及び第2の廃棄ゲートTXBCDは、厚いMIS(好ましくはMOS)構造を有しており、フォトゲートPG、第1及び第2の転送ゲートTX、TX及び第1及び第2の廃棄ゲートTXBCDとn型半導体埋込領域n-buriedとの間には、ゲート絶縁膜が設けられており、厚い絶縁膜は例えば薄いSiOからなる。第1及び第2の浮遊半導体領域FD、FD及び第1及び第2の浮遊半導体領域FDBCDは、n型半導体埋込領域n-buriedのエッジに接触している。
【0034】
ピクセル27は、第1及び第2の浮遊半導体領域FD1、FD2にそれぞれ接続された増幅器Amp1、Amp2を含む。増幅器Amp1、Amp2の各々は、ソースフォロアアンプを含む。例えば、増幅器Amp1、Amp2の各々は増幅用トランジスタを含み、これらのトランジスタのゲートは、それぞれ、第1及び第2の浮遊半導体領域FD、FDに接続される。増幅用トランジスタのソースは、ピクセルアレイ23のカラム線に接続される。増幅用トランジスタの導通は、選択用トランジスタによって行われる。選択用トランジスタ及び増幅用トランジスタは、電源線とカラム線との間に接続され、選択用トランジスタは増幅用トランジスタに直列に接続される。
【0035】
図4及び図5を参照しながら、ピクセルの動作を説明する。代表的なフレームFrameが示されている。撮像ウインドウAの開始時刻は、フレームFrameの始点から規定され所定の期間Tの期間であり、また撮像ウインドウBの開始時刻は、撮像ウインドウAの終了点から規定され所定の期間Tの期間である。フレームFrameは、撮像ウインドウA、Bと異なる電荷廃棄ウインドウCを含む。測距に先だって、ピクセルアレイの第1及び第2の浮遊半導体領域FD1、FD2はリセットされる。
【0036】
第1及び第2の撮像ウインドウA、Bでは、それぞれ、転送ゲートTX1、TX2が導通する。第1の撮像ウインドウAの幅は第2の撮像ウインドウBの幅と等しい。動作の説明を容易にするために、放射パルスPは、第1の撮像ウインドウの立ち上がりに同期して出射される。ピクセルアレイは、距離画像センサと対象物との距離に応じた遅延時間(TOF)で遅延した受信パルスPを受ける。フォトゲートPGは、受信パルスPに応答して電荷を生成する。電荷は、第1及び第2の撮像ウインドウA、Bにおいてそれぞれ第1及び第2の浮遊半導体領域FD1、FD2に転送される。図5から理解されるように、パルスPRの遅延時間は、距離画像センサと対象物との間の光の往復時間に等しい。
【0037】
図5(a)に示されるように、第1の転送ゲートTX1の導通に応答して、第1の撮像ウインドウA内で生成された電荷△Q1が第1の転送ゲートTX1を介して第1の浮遊半導体領域FD1に転送される。第1の撮像ウインドウA内では、図5(b)に示されるように、廃棄ゲートTXBCDは非道通である。
【0038】
図5(c)に示されるように、第2の転送ゲートTX2の導通に応答して、第2の撮像ウインドウB内で生成された電荷△Q2が第2の転送ゲートTX2を介して第2の浮遊半導体領域FD2に転送される。第2の撮像ウインドウB内では、図5(d)に示されるように、廃棄ゲートTXBCDは非道通である。
【0039】
図5(e)に示されるように、廃棄ゲートTXBCDの導通に応答して、電荷廃棄ウインドウC内で生成された電荷(背景電荷)△Q3が廃棄ゲートTXBCDを介して半導体領域FDBCDに転送される。電荷廃棄ウインドウC内では、図5(f)に示されるように、第1及び第2の転送ゲートTX1、TX2は非道通である。
【0040】
図6は、画像生成装置の構成を示す図面である。図4及び図5を参照しながら行われたピクセル動作の制御は、図6の画像生成装置の各回路によって行われる。図6を参照すると、ピクセルアレイ23が示されている。ピクセルアレイ23の一辺には、PGドライバ21aが設けられている。PGドライバ21aは、各ピクセル27のフォトゲートPGに接続され、また各ピクセル27を駆動している。PGDクロック発生器21bは、PGドライバ21aに接続されており、またPGドライバ21aのためのタイミングクロックを生成する。PGDクロック発生器21bは、タイミング発生器21cに接続されており、また画像生成装置15の動作タイミングを規定するクロックを生成する。信号生成装置25が、ピクセルアレイ23によって生成された信号を垂直スキャナ25dからの制御信号に応じて順に読み出す。この信号は、ピクセル27のソースフォロア型増幅器の負荷となる電流源25aを用いてカラム線上の電圧信号に変換される。電圧信号は、ノイズキャンセル回路25bによって処理されて、ノイズキャンセル回路25b内の記憶回路に格納される。ノイズキャンセル回路25bにおける処理によって、ピクセルにリセットノイズが除去される。ノイズキャンセル回路25b内の記憶回路の内容は、水平スキャナ25cからの制御信号に応答して出力駆動回路25eに順に送られる。出力駆動回路25eは、第1~第nの要素画像信号SE1~SEnを提供する。処理装置17は、n個の要素画像信号SE1~SEnを合成して、対象物に関する距離情報を含む画像信号SIMAGEを生成する。
【0041】
図7は、ピクセル分配特性を示す図面である。分配特性の測定は、図7(a)に示されるタイミングで行われる。一フレームにおいて、第1及び第2の撮像ウインドウA、Bのタイミングを規定する。第1及び第2の撮像ウインドウA、Bの幅は、例えば100ナノ秒(ns)である。第1及び第2の撮像ウインドウA、Bによって規定される撮像時間に対して、放射パルスの出射タイミングを変化させて遅延時間を調整した。放射パルスの幅は、例えば100ナノ秒である。図7(b)を参照すると、ピクセルの出力信号の信号V1、V2は、遅延時間に対してほぼ線形に変化している。また、信号V1-V2もほぼ線形に変化している。信号V1+V2が、撮像ウインドウの期間幅においてほぼ一定であるので、遅延時間に応じた電荷の振り分けが適切に行われている。第1及び第2の撮像ウインドウA、Bと放射パルスとの重なり期間を除いて、出力値がゼロであるので、電荷廃棄ゲートの動作が確認される。図7(b)を参照すると、信号V1は、遅延時間Td=-100ns、+100nsの付近において非線形に変化しており、信号V2は、遅延時間Td=0ns、+200nsの付近において非線形に変化している。この非線形な振る舞いは、放射パルスが、理想的な矩形から変形していることに起因すると考えられる。
【0042】
図8は、短パルスを用いたピクセル分配特性を示す図面である。分配特性の測定は、図8(a)に示されるタイミングで行われる。一フレームにおいて、第1及び第2の撮像ウインドウA、Bのタイミングを規定する。第1及び第2の撮像ウインドウA、Bの幅は、例えば100ナノ秒(ns)である。第1及び第2の撮像ウインドウA、Bによって規定される撮像時間に対して、放射パルスの出射タイミングを変化させて遅延時間を調整した。放射パルスの幅は、第1及び第2の撮像ウインドウA、Bの幅より短く、例えば10ナノ秒である。遅延時間は、投射パルスの立ち下がりが第1及び第2の撮像ウインドウA、Bの撮像時間に一致するときを基準にしている。図8(b)を参照すると、ピクセルの出力信号V1、V2は、遅延時間に対してほぼ線形に変化している。また、信号V1-V2もほぼ線形に変化している。信号V1+V2が、撮像ウインドウの期間幅においてほぼ一定であるので、遅延時間に応じた電荷の振り分けが行われている。第1及び第2の撮像ウインドウA、Bと放射パルスとの重なり期間を除いて、出力値がゼロであるので、電荷廃棄ゲートの動作が確認される。
【0043】
図9は、放射パルス幅及び撮像ウインドウ幅との距離分可能との関係を示す図面である。図9(a)を参照すると、毎秒30フレームの繰り返しで行われた測距における、放射パルス強度と距離分解能との関係を示す。この測定において、放射パルス幅は、100ns及び0nsが用いられた。図9(b)を参照すると、毎秒3フレームの繰り返しで行われた測距における、放射パルス強度と距離分解能との関係を示す。この測定において、放射パルス幅は、100ns及び10nsが用いられた。
【0044】
まず、放射パルスの強度は大きくなるにつれて、距離分可能が向上している。また、放射パルスの幅を100nsから10nsに変更すると、距離分解能が1/10に小さく成っている。故に、距離分解能が放射パルス幅に比例する、故に、距離分解能は、放射源からの放射パルス幅に線形に変化すると共に、この放射パルス幅と共に小さくなる。
発明者の実験例により得られた分解能の値を示す:
測定方式、 放射パルス100ns、放射パルス10ns
毎秒30フレーム、29mm、 2.3mm、(平均化処理無し)
毎秒3フレーム、 9.1mm、 1.3mm、(平均化処理有り)。
【0045】
(実施例1)
図10は、一実施例の測距タイミングを示す図面である。図10(a)を参照すると、放射源13は、時間軸に関して順に配列された第1~第nのフレーム(図10では5フレーム)それぞれにおいて対象物に照射される第1~第nのパルス(図10では5パルス)PT1~PT5の列を放射パルスとして提供する。第1~第nのフレームは、制御信号によって規定される。該フレームの各々において、撮像時刻TPU1~TPU5は各フレームの始点から所定の時間△TPDの位置に規定される。各フレームは、撮像ウインドウA、Bを含む。パルスPT1~PT5の幅は、第1及び第2の撮像ウインドウの幅より小さい。或いは、パルスPT1~PT5の幅は、第1及び第2の撮像ウインドウの幅以下であってもよい。図10(b)は、各フレームの始点を基準にして表示する時間軸(以下「還元された時間軸」と呼ぶ)の原点に合わせて、時間軸に関して順に配列された5つのフレームの始点を示す図面である。図10(b)を参照すると、第1~第nのパルスPT1~PT5が、それぞれ、第1~第5のフレームの始点から互いに異なるシフト量でシフトされることが理解される。
【0046】
この距離画像センサによれば、第1~第nの飛行時間TOF1~TOF5の測定には、互いに異なるシフト量でシフトされた第1~第nのパルスPT1~PT5を用いる。第1~第nのパルスPT1~PT5は、それぞれ、時間軸に関して順に配列された第1~第nのフレームFrame1~Frame5において対象物に照射される。第1~第nのパルスPT1~PT5を、それぞれ、第1~第nのフレームFrame1~Frame5における第1及び第2の撮像ウインドウA、Bに対応づけて、複数回の飛行時間TOF1~TOF5の測定を行うことができる。
【0047】
第1~第nのフレームFrame1~Frame5の各々は、撮像ウインドウA、Bと異なる電荷廃棄ウインドウCを含む。ピクセル27は、電荷廃棄ウインドウCにおいて、検出素子の電荷を廃棄するので、検出素子に入射する背景ノイズを除外できる。また、電荷廃棄ウインドウCの期間は、撮像ウインドウA、Bにおいて各ピクセルによって生成された出力信号S1、S2を読み出すために用いられる。
【0048】
図11は、ピクセルアレイ23と放射源13とを用いて撮像信号SIMAGEを飛行時間法により生成する方法における主要な工程を示す図面である。工程S101では、ピクセルアレイ23の検出素子を用いて、互いに異なる第1~第nの飛行時間TOF1~TOFnで第1~第nの撮像を行って、第1~第nの要素画像信号SE1~SEnを生成する。
工程S107では、第1~第nの要素画像信号SE1~SEnを合成して、対象物に関する距離情報を含む画像信号SIMAGEを生成する。
【0049】
具体的には、工程S101は以下の手順による。工程S102では、時間軸に関して順に配列された第1~第nのフレームの内の第1のフレームおいて第1のパルスを放射して、第1のフレームにおける撮像ウインドウA、Bを用いて第1の撮像を行う。工程S103では、工程S102で得られた第1の撮像をピクセルアレイから読み出して、第1の要素画像信号SE1を生成する。工程S104では、時間軸に関して順に配列された第2~第nのフレームの内の第iのフレームおいて第iのパルスを放射して、第iのフレームにおける撮像ウインドウA、Bを用いて第iの撮像を行う。工程S105では、工程S104で得られた第iの撮像をピクセルアレイから読み出して、第iの要素画像信号SEiを生成する。工程S106では、第iの撮像及び第iの要素画像信号SEiの生成を繰り返す。
【0050】
上記のように、第1~第nの飛行時間TOF1~TOFnの測定には、互いに異なるシフト量でシフトされた第1~第nのパルスを用いる。これらのパルスは、それぞれ、時間軸に関して順に配列された第1~第nのフレームにおいて対象物に照射される。第1~第nのパルスを、それぞれ、第1~第nのフレームにおける第1及び第2の撮像ウインドウに対応づけて、複数回の飛行時間TOF1~TOFnの測定を行うことができる。
【0051】
この方法によれば、第1~第nの飛行時間TOF1~TOFnは互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、飛行時間TOF1~TOFnに対応するn個の撮像タイミングでそれぞれ要素画像信号SE1~SEnを生成するので、要素画像信号SE1~SEnの各々は、互いに異なる距離範囲の対象物の距離情報を有する。これらの要素画像信号SE1~SEnを合成して画像信号SIMAGEを生成するので、広い距離範囲にわたる対象物の距離情報を得ることができる。また、対象物の距離情報を得るために、撮像タイミングの各々では、撮像ウインドウA、Bでピクセルの検出素子に入射する入射放射線に対応する第1及び第2の信号S1、S2を生成すると共に、複数回の飛行時間の測定により、所望の距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能が低下しない。
【0052】
(実施例2)
実施例2の距離画像センサでは、放射源13は、単一のフレームFrame0に単一のパルスPT0を放射パルスとして提供する。図12(a)は、単一のフレームを用いるタイミングを示す。このフレームは、制御信号によって規定される。第1~第nのフレーム第1~第nの撮像タイミング(この例では、TPU1、TPU2、TPU3)は、単一のフレームFrame0内に位置する。撮像タイミングの撮像時刻TPU1PU2、TPU3は、互いに異なるシフト量で単一のフレームFrame0の始点からシフトされている。n個の撮像タイミングのうちの第iの撮像タイミング(1≦i<n-1)と第i+1の撮像タイミングとの間に、検出素子に入射する入射放射線に応じた電荷を浮遊半導体領域に取り込むためのウインドウが規定される。撮像時刻TPU1PU2、TPU3の各々の直前には撮像ウインドウAが設けられ、この撮像時刻の直後には撮像ウインドウBが設けられるので、撮像ウインドウ間のウインドウは撮像ウインドウA、Bとして兼用される。
【0053】
この距離画像センサによれば、撮像ウインドウA、Bが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の撮像ウインドウAがあり、最後には単独の撮像ウインドウBがある。撮像ウインドウの列において、単独の第1の撮像ウインドウと単独の第2の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第1の撮像ウインドウ及び第2の撮像ウインドウの両方のために設けられている。故に、第1~第nの撮像タイミングの各々における撮像時刻の前後にそれぞれ第1及び第2の撮像ウインドウが設けられる。撮像ウインドウの列における複数の撮像時刻において、それぞれ、複数の要素画像信号が生成される。
【0054】
一例では、単一のパルスPT0の持続時間は、第1の撮像ウインドウAの期間と等しく、単一のパルスPT0の持続時間は、第2の撮像ウインドウBの期間と等しい。単一のパルスPT0の持続時間は、フレームFrame0の始点から規定される。単一のパルスPT0の終了時点から所定の数のウインドウの列が規定される。ウインドウ列内のウインドウは、互いに異なる転送ゲートTXiの導通によって規定される。単一のフレームFrame0は、ウインドウの列の期間と異なる電荷廃棄ウインドウとを含む。ピクセル27は、この電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。これによって、検出素子が受ける背景ノイズを除外できる。
【0055】
図13は、本実施例に適用可能なピクセルの構造の平面図を示す図面である。図13のピクセルを図3(a)のピクセルと比較すると、転送ゲートの構造を除いて、図13のピクセルの構造は図3(a)のピクセル構造と同じである。図13のピクセルは、フォトゲートPGの一方の側に配置された第1の群の第1~第jの転送ゲート(図13ではTX1、TX3)と、フォトゲートPGの他方の側に配置された第2の群の第j+1~第n+1の転送ゲート(図13ではTX2、TX4)を含む。第1~第n+1の転送ゲート(図13ではTX1~TX4)は、第1~第nの撮像タイミングのいずれかにおいて導通する。第1~第n+1の転送ゲート(図13ではTX1~TX4)は、それぞれ、第1~第n+1の浮遊半導体領域(図13ではFD1~FD4)に接続されている。なお、フォトゲートPGは廃棄ゲートTXBCDの間に位置する。
【0056】
図12(b)は、パルスの遅延に応じて、選択ゲートTX1~TX4に生成される信号を示す。遅延時間の基準は、放射パルスの立ち上がり時刻に規定される。選択ゲートTX1~TX4は、飛行時間によって遅延したパルスを取り込んで、図12(b)に示される信号VTX1、VTX2、VTX3、VTX4を生成する。図12(b)は、遅延時間に応じて転送ゲートTX1~TX4が、互いに異なる信号を生成することを示している。図12(b)は、図7(b)及び図8(b)に対応する特性を示す。3個以上の撮像ウインドウの列の使用によって、単一のパルスTP0を用いるけれども、複数回の飛行時間の測定を行うことができる。撮像期間においては、転送ゲートTX1~TX4のいずれかが導通している。
【0057】
図14は、ピクセルアレイ23と放射源13とを用いて撮像信号SIMAGEを飛行時間法により生成する方法における主要な工程を示す図面である。工程S201では、ピクセルアレイ23の検出素子を用いて、互いに異なる飛行時間TOF1~TOFnでn回の撮像を行って、要素画像信号SE1~SEnを生成する。工程S208では、要素画像信号SE1~SEnを合成して、画像信号SIMAGEを生成する。
【0058】
具体的には、工程S201は以下の手順による。工程S202では、飛行時間を計測するための放射パルスを対象物に照射する。工程S203では、複数のウインドウ列内の第1の撮像ウインドウにおいて第1の撮像を行う。工程S204では、工程S203で得られた第1の撮像をピクセルアレイから読み出して、第1の要素画像信号SE1を生成する。工程S205では、第i-1のウインドウの直後の第iの撮像ウインドウにおいて第iの撮像を行う。工程S206では、工程S205で得られた第iの撮像をピクセルアレイから読み出して、第1の要素画像信号SEiを生成する。工程S207では、第iの撮像及び第iの要素画像信号SEiの生成を繰り返す。
【0059】
上記のように、単一の放射パルス及び3個以上の撮像ウインドウを用いて複数回の撮像を行う。この方法によれば、飛行時間TOF1~TOFnは互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、飛行時間TOF1~TOFnに対応するn個の撮像タイミングで要素画像信号SE1~SEnを生成するので、これらの要素画像信号SE1~SEnの各々は、互いに異なる距離範囲の対象物の距離情報を有する。これらの要素画像信号SE1~SEnを合成して画像信号SIMAGEを生成するので、広い距離範囲における対象物の距離情報を得ることができる。また、対象物の距離情報を得るために、第1~第nの撮像タイミングの各々では、撮像ウインドウA及び撮像ウインドウBでピクセルの検出素子に入射する入射放射線に対応する第1及び第2の出力信号S1、S2を生成するので、複数回の飛行時間の測定により、所望の範囲の対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
【0060】
引き続き、いくつかの測定装置の例を説明する。
(例1):レンジシフトタイミング
図15を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームFrame1~Frame4が配置されている。フレームFrame1~Frame4の各々には、撮像ウインドウA、Bが設けられている。図15(a)を参照すると、撮像ウインドウA、Bの幅は100ナノ秒であり、撮像ウインドウAはフレームの始点に合わせて配置されており、撮像ウインドウBは撮像ウインドウAの直後に配置される。フレームFrame1~Frame4には、それぞれ、パルスPT1~PT4が設けられている。飛行時間のためのパルスPの幅は25ナノ秒である。パルスPT1はフレームFrame1の始点から75ナノ秒のシフト量でシフトされ、パルスPT2はフレームFrame2の始点から50ナノ秒のシフト量でシフトされ、パルスPT3はフレームFrame3の始点から25ナノ秒のシフト量でシフトされ、パルスPT4はフレームFrame4の始点に設けられている。
【0061】
25ナノ秒幅のパルスPを用いるとき、計測範囲は3.75メートルである。フレームFrame1を用いてセンサから3.75メートルの範囲を測定可能であり、フレームFrame2を用いて3.75メートルから7.5メートルの範囲を測定可能であり、フレームFrame3を用いて7.5メートルから11.25メートルの範囲を測定可能であり、フレームFrame4を用いて11.25メートルから15メートルの範囲を測定可能である。4パルスを用いた測定範囲は15メートルであり、これは、パルス幅100ナノ秒を用いた測定範囲と同じである。一方、本距離画像センサによれば、パルス幅を短くできるので、パルス幅100ナノ秒を用いた測距に比べて、距離分解能は改善される。
【0062】
発明者は、図15(b)に示されるように、測距における分解能を見積もった。パルスPの幅は100ナノ秒(比較例)であると共に背景光に応答してフォトゲートが生成する電子(N)は10、10であるとき、それぞれ、距離分解能σは0.040メートル、0.045メートルである。一方、本実施例では、パルスPの幅は25ナノ秒であると共に背景光に応答してフォトゲートが生成する電子(N)は10、10であるとき、それぞれ、距離分解能σは0.010メートル、0.011メートルであった。パルス幅を短くすることによって、距離分解能を小さくできる。
【0063】
(例2):デューティ比
図16を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームFrame1~Frame4が配置されている。フレームFrame1~Frame4の各々には、撮像ウインドウA、Bが設けられている。撮像ウインドウA、Bの幅は25ナノ秒であり、撮像ウインドウAはフレームの始点から75ナノ秒でシフトされた時刻に合わせて配置されており、撮像ウインドウBは撮像ウインドウAの直後に配置されている。フレームFrame1~Frame4には、それぞれ、例1と同様に、パルスPT1~PT4が設けられている。
【0064】
フレームの幅に対する撮像ウインドウの幅の比率(デューティ比)を小さくして、TOF測定期間における背景光のノイズの影響を低減できる。この低減によって距離分解能を改善できる。例2では、撮像ウインドウの幅が、例1における値に比べて1/4の25ナノ秒であるので、撮像ウインドウにおいて不可避的に取り込まれる背景光を少なくなる。
【0065】
発明者は、図16(b)に示されるように、測距における分解能を見積もった。読み出し回路のランダムノイズによる電子数(N)及び背景光に応答してフォトゲートによって生成される電子(N)がそれぞれ100、10であり、また光源のパルスのデューティ比が0.1であるとき、100ナノ秒(比較例)のパルスPの距離画像センサの距離分解能を見積もった。距離分解能σは15メートルの測距範囲に対して、約4.5センチメートル以下であった。
【0066】
また、読み出し回路のランダムノイズによる電子数(N)及び背景光に応答してフォトゲートによって生成され電子(N)がそれぞれ100、10であるとき、25ナノ秒のパルスPの距離画像センサの距離分解能を見積もった。光源パルスのデューティ比が0.1、0.025であるとき、距離分解能σは、それぞれ、15メートルの測距範囲に対して、約1.1センチメートル以下、1センチメートル以下であった。光源パルスのデューティ比を小さくすることによって、距離分解能を小さくできる。
【0067】
(例3):線形応答領域
図17を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームFrame1~Frame7が配置されている。フレームFrame1~Frame7の各々には、撮像ウインドウA、Bが設けられている。撮像ウインドウA、Bの幅は100ナノ秒であり、撮像ウインドウAはフレームの始点に合わせて配置されており、撮像ウインドウBは撮像ウインドウAの直後に配置されている。フレームFrame1~Frame7には、例1と同様に、パルスPT1~PT7が設けられている。撮像ウインドウA、Bの幅は100ナノ秒であり、飛行時間のためのパルスPT1~PT7の幅は25ナノ秒である。
【0068】
図17(b)に示されるように、遅れ時間がゼロ秒と10ナノ秒の付近で、ピクセルからの信号が遅れ時間に対する線形な変化から外れている、この非線形性は距離精度を低下させている。遅れ時間の線形応答領域を測距に用いることによって、距離精度を所定の値に維持することができる。パルスPT1~PT7の幅とシフト量を調整して、パルスPT1~PT7の各々における線形領域を利用して、遅延時間と距離との関係から距離の決定を行うことができる。
【0069】
フレームFrame1では、パルスPT1は撮像ウインドウA及び撮像ウインドウBの切り替わり時刻を横切って設けられている。この時刻を基準にして、パルスPT2の立ち下がりは+3ナノ秒でシフトしている。フレームFrame2では、パルスPT2のシフト量は、パルスPT1のシフト量に対して-4ナノ秒でシフトされている。フレームFrame3は、パルスPT3のシフト量は、パルスPT2のシフト量に対して-4ナノ秒でシフトされている。同様に、パルスPT4~PT7も、それぞれ、隣接フレーム内のパルスPT3~PT6のシフト量を基準にして所定の調整量(-4ナノ秒)でシフトされている。故に、あるフレーム内の放射パルスのシフト量と隣接フレーム内の放射パルスのシフト量との差は、該放射パルス幅未満である。
【0070】
この距離画像センサによれば、線形応答領域を用いるので、飛行時間の測定の全範囲において、距離精度を確保できる。
【0071】
好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることは、当業者によって認識される。本発明は、本実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。
【産業上の利用可能性】
【0072】
以上説明したように、本実施の形態は、レンジシフト動作に基づくTOF距離画像センサ及び方法に関しており、以下のように構成される。デューティ比の小さい、すなわち、短時間のパルス光を用い、検出する撮像ウインドウの期間以外の期間では電荷を蓄積せずに生成電荷を排出する。この構造に基づき、光パルスの発光タイミングと撮像ウインドウとの関係を相対的にずらして複数回の撮像を行って、複数の要素画像信号を生成する。これらの要素画像信号を合成することによって、所望の距離分解能を保つと共に、距離計測の範囲を広げることができる。また、本実施の形態に係る方法と装置によれば、電荷排出構造をもつ距離画像センサでは、短時間光パルスの発光タイミングを、撮像のための撮像ウインドウに対して、相対的にずらして撮像を行う。これらの画像を合成すると共に、これらの画像により距離を計測する。これによって、高い距離分解能をもちながら、距離計測範囲を広くできる。さらに、本実施の形態に係る距離画像センサ及び方法によれば、複数の撮像タイミングの各々において規定された撮像ウインドウを用いて、撮像タイミング毎の信号をピクセルから取り出す。これによって、1フレーム内の信号として、異なる値でレンジシフトされた複数の要素画像信号を取り出す。さらに、本実施の形態に係る距離画像センサ及び方法によれば、小さいパルス幅の測距パルスと使用するとき、1つの測距パルスでは線形に検出される範囲が狭くなる。これによる距離精度の低下を避けるために、互いのシフト量が異なるようにシフトした複数の測距パルスを用いると共に、測距範囲を互いに重ね合わせるように配列された測距パルスを用いて距離の計測を行う。これは、パルス毎を用いる測距に異なる測距範囲を割り付けると共に、測距パルスのシフト量差が測距パルスのパルス幅未満になるようにパルスを配列する。これによって、広い計測範囲で線形の計測を行うことができる。
【図面の簡単な説明】
【0073】
【図1】図1は本実施の形態に係る飛行時間法による距離画像センサを示す図面である。
【図2】図2は、画像信号SIMAGEを表示装置によって表示した画像を示す図面である。
【図3】図3は本実施の形態における距離画像センサのピクセル構造を示す図面である。
【図4】図4は、ピクセルの動作タイミングを示す図面である。
【図5】図5は、ピクセルの動作を概略的に示す図面である。
【図6】図6は、画像生成装置の構成を示す図面である。
【図7】図7は、ピクセル分配特性を示す図面である。
【図8】図8は、短パルスを用いたピクセル分配特性を示す図面である。
【図9】図9は放射パルス幅及び撮像ウインドウ幅と距離分解能との関係の図面である。
【図10】図10は、一実施例の測距タイミングを示す図面である。
【図11】図11は、ピクセルアレイと放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法の主要な工程を示す図面である。
【図12】図12は、単一のフレームを用いる測距タイミング、及びパルスの遅延に応じて選択ゲートTX1~TX4の各々に生成される信号波形を示す図面である。
【図13】図13は、本実施例に適用可能なピクセルの構造の平面図を示す図面である。
【図14】図14は、複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法における主要な工程を示す図面である。
【図15】図15は、距離画像センサの一例におけるタイミングを示す図面である。
【図16】図16は、距離画像センサの一例におけるタイミングを示す図面である。
【図17】図17は、距離画像センサの一例におけるタイミングを示す図面である。
【符号の説明】
【0074】
11…距離画像センサ、13…放射源、15…画像生成装置、17…処理装置、13a…半導体発光素子、13b…駆動回路、21…制御装置、23…ピクセルアレイ、25…信号生成装置、27…ピクセル、SE1~SEn…要素画像信号、SIMAGE…画像信号、WPU1、WPU2…第1及び第2の撮像ウインドウ、
図面
【図1】
0
【図3】
1
【図4】
2
【図5】
3
【図6】
4
【図10】
5
【図11】
6
【図12】
7
【図13】
8
【図14】
9
【図2】
10
【図7】
11
【図8】
12
【図9】
13
【図15】
14
【図16】
15
【図17】
16