TOP > 国内特許検索 > 距離画像センサ > 明細書

明細書 :距離画像センサ

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4235729号 (P4235729)
公開番号 特開2004-294420 (P2004-294420A)
登録日 平成20年12月26日(2008.12.26)
発行日 平成21年3月11日(2009.3.11)
公開日 平成16年10月21日(2004.10.21)
発明の名称または考案の名称 距離画像センサ
国際特許分類 G01S  17/10        (2006.01)
H01L  27/146       (2006.01)
FI G01S 17/10
H01L 27/14 A
請求項の数または発明の数 6
全頁数 16
出願番号 特願2003-132945 (P2003-132945)
出願日 平成15年5月12日(2003.5.12)
優先権出願番号 2003025609
優先日 平成15年2月3日(2003.2.3)
優先権主張国 日本国(JP)
審査請求日 平成18年1月16日(2006.1.16)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】川人 祥二
審査官 【審査官】大和田 有軌
参考文献・文献 特開2002-368205(JP,A)
特開2001-281336(JP,A)
特開2003-247809(JP,A)
特開2001-148808(JP,A)
特開平11-316645(JP,A)
特表2000-517427(JP,A)
特開2000-298005(JP,A)
特開平11-274457(JP,A)
平井隆夫、外4名,“変調光検出用ビジョンチップ”,2001年映像情報メディア学会年次大会講演予稿集,2001年 8月27日,p.367
Ryohei Miyagawa, et al.,“CCD-Based Range-Finding Sensor”,IEEE Transactions on Electron Devices,1997年10月,Vol.44, No.10,p.1648-1652
調査した分野 G01S 7/48 - 7/51
G01S 17/00 - 17/95
G01B 11/00 - 11/30
G01C 3/00 - 3/32
H01L 21/339
H01L 27/14 - 27/148
H01L 29/762
H04N 5/30 - 5/335
特許請求の範囲 【請求項1】
光源からの光を断続的に対象物に投射し、その反射光の遅れ時間から距離を計測する距離画像センサにおいて、
対象物からの反射光を電荷に変換する半導体基板に埋め込まれた埋め込みフォトダイオード構造による受光素子と、
半導体基板上のMOS(Metal Oxide Semiconductor)構造による第1、第2及び第3のゲート手段と、
前記第1、第2及び第3のゲート手段にそれぞれ対応する第1、第2及び第3の電荷蓄積ノードと、
前記第1、第2及び第3のゲート手段の開閉を制御する制御手段と、を具備し、
前記第1の電荷蓄積ノードと前記第2の電荷蓄積ノードに対して、前記受光素子からの電荷を、前記第1のゲート手段と前記第2のゲート手段により前記光源からの光の断続動作と同期させて交互に電荷転送して蓄積を行い、前記受光素子からの電荷転送効率を向上させるとともに蓄積電荷の配分比から対象物までの距離を求め、
さらに、投射光による反射光が存在しない期間に、前記第3のゲート手段を開くことにより背景光による電荷を前記第3の電荷蓄積ノードへ転送し、背景光除去のための電荷蓄積を前記第3の電荷蓄積ノードに対して行い、
投射光を受光するパルス幅、すなわち前記ゲートが開く期間を繰返し周期に対して十分短くしてなることを特徴とする距離画像センサ。
【請求項2】
さらに、前記の各電荷蓄積ノードに対応してサンプリング・ホールド手段を設けてなる請求項1記載の距離画像センサ。
【請求項3】
前記第1および第2の蓄積ノードに蓄積された電荷の和、前記第1乃至第3の蓄積ノードに蓄積された電荷の和、あるいは前記第3の蓄積ノードに蓄積された電荷から、輝度画像信号を得ることを特徴とする請求項1又は2記載の距離画像センサ。
【請求項4】
さらに、前記第1および第2のゲート手段の開閉を制御する信号を通過させる電圧制御遅延手段を設け、前記蓄積ノードに蓄積された電荷の差に基づく信号を、前記電圧制御遅延手段に制御信号として前記電荷の差が零に近づくような極性で与えて、負帰還ループを構成することを特徴とする請求項1記載の距離画像センサ。
【請求項5】
投射光の繰返し周期の各周期に同期して背景光による電荷を捨てるリセット手段を設けてなる請求項1記載の距離画像センサ。
【請求項6】
前記制御手段は、前記第1の電荷蓄積ノードには反射光の立ち上がる一瞬の電荷を、前記第2の電荷蓄積ノードには反射光が安定的レベルになってからの電荷を蓄積するように前記ゲート手段を制御してなる請求項1記載の距離画像センサ。
発明の詳細な説明 【0001】
【産業上の利用分野】
本発明は、光の速度が既知であることを利用し、光を対象物に照射したのち、対象物からはね返ってきた光を受け、その遅れ時間を計測することで対象物までの距離を測定する技術に関する。
【0002】
【従来の技術】
光の速度は、3×108 m/sである。これが既知であるので、光を放って、対象物からはね返ってきた光を受け、その遅れ時間を計測することで、対象物までの距離を測定することができる。TOF(Time-of-flight)法とは、この光の飛行時間を測定することで対象物までの距離を測る方法である。その遅れ時間の計測の分解能と、距離の分解能の関係は、表1のようになる。
【0003】
【表1】
JP0004235729B2_000002t.gif表1 TOF法による遅れ時間計測分解能と距離分解能の関係
【0004】
表1からは測距分解能とともに、遅れ時間計測範囲に対する距離計測範囲を読み取ることができ、たとえば遅れ時間計測範囲が1usで、遅れ時間計測分解能が、1nsのものができれば、150mの範囲を15cmの分解能で測定でき、車載用の距離センサとして利用可能である。
【0005】
関連する従来法としては、3件報告されている。
(1) Inventer:Cyrus Bamji, Assignee:Canesta Inc., "CMOS-Compatible Three-dimensional image sensor" , US Patent No. US6323942 B1, Nov. 27, 2001
(2) R. Lange, P. Seitz, A. Biber, S. Lauxtermann, " Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging ", Proceedings of SPIE, Vol. 3965, pp. 177- 188, (2000).
(3) Ryohei Miyagawa, Takeo Kanade, " CCD-based range-finding sensor ", IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652, (1997).
【0006】
(1)の方式は、パルス光を投影し、受光した信号のパルスのピークを検出することでパルスの波形を整形し、高速なパルスを用いて遅れ時間をディジタル的に計測するものである。この場合、受光した信号をパルスにできるためには、光の明るさが十分にないと実現できず、用途が限られる。
(2)と(3)は、方式としては近いものである。
(2)の方式は、CCDとCMOSと一体化したプロセスで実現するものであり、20MHzの高い周波数の変調光を用いて、CCDの電荷転送を利用し、変調光と同期して2つのノードに高速に交互に電荷転送し、2つのノードへの電荷の配分比が変調光の遅れ時間に依存することを利用する。CCDとCMOSの混在プロセスが必要であるため、コストが高くなる。
(3)の方式は、CCDの構造を利用し、パルス変調された変調光で発生した電荷を、2つのノードに交互に転送し、その配分比が、変調光の遅れ時間に依存することを利用する。これもCCDを利用するため、特殊な製造工程が必要となる。
【0007】
【特許文献1】
米国特許6323942号明細書
【非特許文献1】
R. Lange, P. Seitz, A. Biber, S. Lauxtermann, "Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging", Proceedings of SPIE, Vol. 3965, pp. 177- 188, (2000)
【非特許文献2】
Ryohei Miyagawa, Takeo Kanade, " CCD-based range-finding sensor", IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652, (1997)
【0008】
【発明が解決しようとする課題】
従来の光の飛行時間を測定することで対象物までの距離を測る方法は、感度が低いか、製造工程が複雑なものであった。また、いずれも背景光を除去することは考慮されていない。
【0009】
【発明の概要】
標準的なCMOSプロセスまたはCMOSイメージセンサのための比較的簡単な工程を追加することにより、または回路を追加することで、比較的安価に電荷転送効率の向上と電荷蓄積(積分)を実現でき、これにより感度の高い距離画像センサを得ることを本発明者は考案した。また、本発明の一実施例では、背景光の影響を取り除くことができるので、通常の環境で使用できる。
発明のポイントは以下のとおりである。
【0010】
電荷転送効率の向上と電荷蓄積(積分)を実現しつつ対象物までの距離を測る方式は大きく分けて2つ考えられる。1つは埋め込みフォトダイオードを用いて完全空乏化するデバイス構造を利用し、その電荷を2つのノードに高速に交互に電荷転送および蓄積し、その配分比が変調光の遅れ時間に依存することを利用する。もう1つは、特殊なデバイス構造は利用せず(より低コストになる)、フォトダイオードで発生した電荷を、変調光に同期して、アンプを用いて、2つの容量に交互に電荷転送し蓄積する。このとき、その配分比が変調光の遅れ時間に依存することを利用する。
【0011】
埋め込みフォトダイオードの構造を用いて2つのノードに電荷配分を行う原理は、従来法の(3)に原理がかなり近い。しかしながら、従来法の(3)はCCDデバイスであるので、CMOSの処理回路との混在はできない。埋め込みフォトダイオードは高画質のCMOSイメージセンサの標準的な技術になりつつあり、本願構成で採用するCMOS構造において、比較的低コストで性能の高いCMOSイメージセンサ技術を用いて、距離画像センサが実現できる利点を有する。
【0012】
従来のいずれの方法も、そのままでは背景光を除去することは考慮されていない。本発明の実施例では、背景光の影響を取り除くことができるので、通常の環境で利用することができる。背景光の除去方法として、3つの方法を提案する。
【0013】
(a)電荷蓄積のノード(あるいは容量)を3つもち、その内の2つは、変調光の遅れによって、電荷配分の比率が変わるようにタイミングを選び、残りの1つは、常に変調光がOFFになっているタイミングにすることで、背景光のみによる信号を蓄積するようにする。これを用いて、変調光の遅れの情報を含む信号から、背景による成分を差し引くことで、背景の影響を除去する。非常に高速にこれらを切り替えるため、3つのノードでの背景光の同一性が高い。しかし、画素回路がやや複雑になる点と、暗電流の影響が残る点が課題としてある。
【0014】
(b) 電荷蓄積ノード(あるいは容量)は2つだけとする。画像を高速に読み出すことを考え、その高速の画像をさらに2つの時間帯に分ける。最初の時間帯では、変調光を投射して、2つの電荷蓄積ノードの信号(変調光の遅れに依存した信号)を取り出し、後の時間帯では、変調光をOFFし、背景光だけによる2つの電荷蓄積ノードの信号を取り出す。これらの信号を用いて処理することで、背景光の影響が除くことができる。ただし、2つの時間帯で、背景が変化する場合には、完全に取りきれない可能性もある。しかし、最終的には、高速に読み出して計算した値に対して平均値処理で求めるため、この処理により、背景光の影響をより少なくすることができる。
【0015】
(c)変調光の遅れ時間に依存する2つの電荷蓄積ノードの信号の差を求め、これを積分器で増幅して、電圧制御遅延回路の制御電圧として与える。遅延回路の出力パルスにより、2つの電荷蓄積ノードへの電荷転送のタイミングを制御し、負帰還回路とすることで、2つの電荷蓄積ノードの信号は同じになる。このときの積分器の出力電圧が、遅延時間に依存していることを利用する。この場合には、2つのノードの差だけをみて、遅延時間を直接測定している回路となり、背景分が差し引かれるので、背景の影響が自動的に取り除かれる。ただし、回路が複雑になる。
このように、それぞれ一長一短がある。
本発明の距離画像センサは、光源からの光を断続的に対象物に投射し、その反射光の遅れ時間から距離を計測する距離画像センサにおいて、対象物からの反射光を電荷に変換する半導体基板に埋め込まれたフォトダイオード構造による受光素子と、半導体基板上のMOS(Metal Oxide Semiconductor)構造による第1、第2及び第3のゲート手段と、第1、第2及び第3のゲート手段にそれぞれ対応する第1、第2及び第3の電荷蓄積ノードと、第1、第2及び第3のゲート手段の開閉を制御する制御手段と、を具備し、第1の電荷蓄積ノードと第2の電荷蓄積ノードに対して、受光素子からの電荷を、第1のゲート手段と第2のゲート手段により光源からの光の断続動作と同期させて交互に電荷転送して蓄積を行い、受光素子からの電荷転送効率を向上させるとともに蓄積電荷の配分比から対象物までの距離を求め、さらに、投射光による反射光が存在しない期間に、第3のゲート手段を開くことにより背景光による電荷を第3の電荷蓄積ノードへ転送し、背景光除去のための電荷蓄積を第3の電荷蓄積ノードに対して行い、投射光を受光するパルス幅、すなわちゲートが開く期間を繰返し周期に対して十分短くしてなることを特徴とする。
また、本発明の距離画像センサは、さらに、各電荷蓄積ノードに対応してサンプリング・ホールド手段を設けてなることとしてもよい。
また、本発明の距離画像センサは、第1および第2の蓄積ノードに蓄積された電荷の和、第1乃至第3の蓄積ノードに蓄積された電荷の和、あるいは第3の蓄積ノードに蓄積された電荷から、輝度画像信号を得ることとしてもよい。
また、本発明の距離画像センサは、さらに、第1および第2のゲート手段の開閉を制御する信号を通過させる電圧制御遅延手段を設け、蓄積ノードに蓄積された電荷の差に基づく信号を、電圧制御遅延手段に制御信号として電荷の差が零に近づくような極性で与えて、負帰還ループを構成することとしてもよい。
また、本発明の距離画像センサは、投射光の繰返し周期の各周期に同期して背景光による電荷を捨てるリセット手段を設けてなることとしてもよい。
また、本発明の距離画像センサは、制御手段は、 第1の電荷蓄積ノードには反射光の立ち上がる一瞬の電荷を、第2の電荷蓄積ノードには反射光が安定的レベルになってからの電荷を蓄積するようにゲート手段を制御してなることとしてもよい。
【0016】
【実施例】
まず、最も簡単な図1のブロック図の場合を例にとり、背景が除去されながら、光の飛行時間が測定できる原理について説明する。これは上の原理の(b)に対応する。図2は、各画素の構造図であり、図3はその等価回路である。図4に各画素の回路での動作タイミング図を示す。高速に画像を取得する周期をThとする。これをパルス変調光を投射する期間ThLと変調光をOFFする期間ThDに分ける。変調光を投射する期間では、光源は、ある周期をもつ繰り返しパルスで駆動されて発光する。これを対象物に照射する。その反射光による像を、レンズを介して距離画像センサに結像する。
【0017】
各画素には埋め込みフォトダイオードがあり、蓄積された電荷を2つの拡散層(n+)へ、図示されていない制御部からの制御信号が供給される制御信号線TX1(以下「TX1」と略す)と制御信号線TX2(以下「TX2」と略す)によるゲート構造によって交互に電荷転送し電荷蓄積を行う。このとき埋め込みフォトダイオードは、TX1またはTX2に高い電圧が加えられたとき、n形の領域が完全に空乏化されるように作っておく。これにより、高速に電荷が伝送される。変調光の周波数は高くする程、光飛行時間測定の分解能が上がるため、1MHz以上の高い周波数でTX1とTX2の制御を行わなければならず高速の電荷転送は必須である。また、この構造により電荷転送効率が向上する。
【0018】
いま遅れがなければ、TX1を開くときと光源の照射のタイミングが完全に一致し、TX1の側だけに、電荷が転送される。変調光の到来に遅れ時間があると、TX2側に一部の電荷が転送される。いま光源の発光している時間の幅をToとし、(発光していない時間幅もTo)、光源の遅れ時間をTd,変調光により発生する光電流をIp,背景光により発生する光電流をIb,2つの電荷蓄積ノードで発生する暗電流をそれぞれ、Id1,Id2とする。また、電荷から電圧への変換利得をGcとし、信号を取り出すまでの電荷転送の回数をNとすると、それぞれのノードでの信号電圧V1,V2は以下のようになる。
V1=Gc・N(Ip(To-Td)+Id1・2To+Ib・To) (1)
V2=Gc・N(Ip・Td+Id2・2To+Ib・To) (2)
【0019】
次に、変調光をOFFし、同じ時間同じ処理を行ったときの2つのノードの電圧をV1’,V2’とする。このとき、
V1’=Gc・N(Id1・2To+Ib・To) (3)
V2’=Gc・N(Id2・2To+Ib・To) (4)
となる。ここで、
A=V1+V2,B=V1’+V2’,C=V1-V1’,D=V2-V2’ (5)
とすると
A-B=Gc・N・Ip・To (6)
D-C=Gc・N・Ip(2Td+To) (7)
となり、これらは、暗電流と背景の成分を含まない。式(6)(7)から、パルス光の飛行時間を以下のように計算することができる。
【0020】
【数1】
JP0004235729B2_000003t.gif図4に示すように1つの高速画像の取得の周期で、この飛行時間が計算される。この時間は、微小な信号により計算されるためノイズの影響を受けており、これを何フレームにもわたって平均値処理をすることでノイズの影響が低減でき、精度が上げられる。M回平均化する場合、次式のようになる。
【0021】
【数2】
JP0004235729B2_000004t.gifここで、Ai,Bi,Ci,Diはi回目の高速フレームでの前記A,B,C,Dの値である。
図2の場合、電荷蓄積ノードがn+になり、この部分で発生するリセットノイズを除去することができないため、ノイズレベルが高くなり、また暗電流も大きい。暗電流は上の処理で除去できても、暗電流によるショットノイズは除去できないので、ノイズが大きくなる。そこで、図5に示すようにTXを開いた先に1段だけのCCDの構造を用い、制御信号線STの電極の直下に電荷をいったん蓄積し、読み出しのときのn+に電荷転送して読むようにすれば、これらの問題がなくなる。ただし、構造が複雑になるため、製作コストが上がる。
【0022】
次に、図6に示すように、電荷転送用のTXが3つある構造での背景光の除去と光飛行時間の測定原理を説明する。タイミング図を図7に示す。
図7に示すように、3つのノードのうち1つに変調光の遅延時間に関係した信号成分を取り出し、3つ目の蓄積ノードには、変調光が発光していないタイミングのときの電荷だけを取り込む。暗電流を、それぞれ、Id1,Id2,Id3とし、3つ目の電荷蓄積ノードでの信号電圧をV3とすると次式がなりたつ。
V1=Gc・N(Ip(To-Td)+Id1・3To+IbTo) (10)
V2=Gc・N(IpTd+Id2・3To+IbTo) (11)
V3=Gc・N(Id3・3To+IbTo) (12)
この方式では、暗電流は除去できないため、暗電流が問題にならない場合に使用できる。そこで暗電流の項を無視して考える。A=V2+V1,B=V2-V1とすると、Tdは以下のように求められる。
【0023】
【数3】
JP0004235729B2_000005t.gif次に、アンプ負帰還による電荷転送を用い、変調光の遅延に依存した電荷蓄積を行う方式について説明する。
【0024】
図8に利得Aを有する反転増幅器を用いたアンプ負帰還型の回路を示す。
その動作タイミングは、図4と同じである。φ1とφ2は、互いにオーバーラップしないクロックである。最初、φRによるスイッチをオンにしながら、φ1とφ2によるスイッチをオンにすることで、C1,C2の電荷のリセットを行う。その後、パルス変調光の周波数に同期してφ1とφ2を交互にオンする。このとき、C1とC2に転送される電荷Q1,Q2は、以下の関係がある。
【0025】
Q1=Ip(To-Td)+Id1・2To+Ib・To (14)
Q2=Ip・Td+Id2・2To+Ib・To (15)
これをN回繰り返し、アンプの出力で観測すれば、C1,C2をアンプに接続したときの電圧V1,V2は、以下のようになる。
【0026】
【数4】
JP0004235729B2_000006t.gif【数5】
JP0004235729B2_000007t.gif【0027】
つまり、先に説明した埋め込みフォトダイオードを用いたものと同じ原理(図2)で動作し、パルス変調光の飛行時間(遅れ時間)を計算できるとともに、背景除去も同様な処理によって可能である。
図8を画素回路として用いた距離画像センサ全体の構成は、図9のようになる。
また、図10に示すように、C3と直列にφ3で制御されるスイッチを設け、タイミングを図7と同じにし、パルス変調光が発光していないときの背景光だけによる電荷をC3に記憶するようにφ3を制御する。これにより、図6の場合と同じ原理で、背景光を除去しながら、パルス変調光の飛行時間を計算することができる。
アンプ負帰還による電荷転送を用いることにより、受光素子で発生した光電荷の転送効率が向上するとの効果がある。
【0028】
次に、比較的高速に動く物体に対する距離を測定、或いは車載用など距離画像センサ自体が移動体にのって使用されるような場合、全画素同時に距離測定がなされないといけない。このためには、図8あるいは、図10の回路に、負帰還アンプの出力に、サンプル&ホールド回路を設けた図11の回路とする。
次に、遅延同期ループを用い、背景の影響をなくした距離画像センサの原理を説明する。
【0029】
図12に、そのブロック図を示す。画素回路は、フォトダイオード(PD)、電荷電圧変換回路、積分器、電圧制御パルス遅延回路、及び電圧読み出し用バッファアンプからなる。電荷電圧変換回路には、先に述べた、図2,図5の埋め込みフォトダイオードを用いて、垂直信号線に出力する代わりに、電流源負荷だけを接続したもの、或いは、図8で出力バッファを取り除いたものを使用する。
【0030】
基本原理は同じなので、電荷電圧変換回路として、図2の回路に電流源負荷を接続した場合について説明する。その2つの出力の差を求めた値を、一定時間ごとにサンプルし、積分器に与える。サンプルしたあとは、電荷電圧変換回路の信号電荷をリセットする。この積分器は、遅延同期ループの安定化のために必要である。積分器の出力で、電圧制御遅延回路のパルスの遅延時間を制御する。その出力パルスで、電荷転送のためのTX1,TX2を制御する信号を生成する。動作タイミング図を、図13に示す。
【0031】
変調光の遅延時間が大きいときには、電荷蓄積ノード1の出力が大きくなり、電荷蓄積ノード2の出力が小さくなる。積分器がノード2の出力電圧からノード1の出力電圧を引いた値を積分するようにしてあると積分器の出力電圧が低下し、この電圧で制御される電圧制御遅延回路のパルスの遅れ量が大きくなり、これによってノード1の電荷転送時間が増え、ノード2の電荷転送時間が減る。つまり、負帰還ループになっている。
【0032】
最終的に平衡するのは、ノード1とノード2への電荷転送の時間が同じになった場合であり、このとき、電圧制御遅延回路のパルスの遅延が、パルス変調光の遅延量に同期していることになる。その電圧制御遅延回路の制御電圧は、その遅延量に比例するため、その制御電圧を読み出すことで、パルス変調光の遅延量を測ることができる。
【0033】
この方式では、2つのノードに蓄積される電荷Q1,Q2は、転送をN回繰り返すと以下のようになる。
Q1=N(Ip(Ts-Td)+IbTo) (18)
Q2=N(Ip(To+Td-Ts)+IbTo) (19)
ここでTsは、電圧制御遅延回路によるパルスの遅延時間である。
【0034】
その差に比例した電圧を取り出し、積分器で増幅する。その直流利得が十分大きいとすると積分器の直流出力は、次式のように表される。
Vcont=A(2Ts-2Td-To) (20)
Vcontと電圧制御遅延回路の遅延時間Tsの関係は、
Ts=Tso-kVcont (21)
と表せる。式(21)を(20)に代入して整理し、kA>>1であれば
【0035】
【数6】
JP0004235729B2_000008t.gifとなる。すなわち、制御電圧は、変調光の遅延時間を直接反映したものになる。この電圧を読み出せばよい。
この回路では遅延同期ループ内に安定化のための積分器が設けられているが、これはよく知られているようにローパスフィルタで代替することができる。
これらの処理回路はCMOSで構成できるので、CMOSイメージセンサの基板上に一体で集積化することができる。これにより、コンパクトな距離画像センサを構成することができる。
【0036】
次に、投影光の発光時間の幅を狭くすることで、各画素の繰り返し動作周波数を高くすることなく、距離分解能を高くするようにした例を示す。
本距離画像センサにおける距離計測分解能は、光ショットノイズで決まり、次式となる。
【数7】
JP0004235729B2_000009t.gifここで、Nsは、2つの容量にたまっている電子数の和であり、fsは、パルス周波数、cは光速である。背景光の影響は無視している。分解能を向上させるためには、パルスの繰り返し周波数を高くする必要がある。比較的に近距離を測定を対象とする場合、パルスの繰り返し周波数を高くしないで、パルス幅を短くすることで、分解能を高くすることができる。図14に、背景光の除去機能のない場合の短パルスを用いた動作タイミングを示す。
【0037】
この場合の距離分解能は、
【数8】
JP0004235729B2_000010t.gifとなり、パルス幅twを短くすることにより、繰り返し周波数を高くしなくても、距離分解能を高くできる。
なお、図14のタイミングを、図4に示した動作タイミングに適用することで、背景光の影響を除去することができる。
背景光を除去する場合は、図15または図16のようにする。図15は、前記の図7においてTX3(φ3)を一定とし、投射光の発光パルス幅と、TX1(φ1),TX2(φ2)を短くしたものに相当する。背景光の除去原理は、既に述べたものと同じである。
図16は、投射光のパルス幅を短くすることにより、同じ投入電力に対してその分発光強度を強くできることと、発光していない期間アンプのリセットスイッチを投入することで、背景光の影響を軽減するものである。パルス光を受信している期間における背景光の影響は残るが、発光強度を十分高くすることができれば、その影響を小さくすることができる。
【0038】
図16の投射光と受信光とに着目すると、図17に示されるように、実際のLEDでの発光波形は、立ち上がり、立ち下がりにおいて、急峻には変化せず、傾斜をもってたちあがっていることがわかる。そこで、信号のサンプル幅と位置を変更することにより、光強度の傾斜面を利用して距離を計測する構成を次に示す。
受信したパルス光の立ち上がり瞬間にあわせ、短時間の時間幅で、受信光により発生した電荷を検出して、これを1つの電荷蓄積容量に転送し、またパルス光が完全に立ち上がって一定になった後の時刻において、受信光により発生した電荷を検出して、これをべつの電荷蓄積容量に転送することで、その2つの容量にたまった電荷による信号電圧の比を用いて、遅れ時間を計算することにより、距離計測精度を向上できる。
【0039】
距離計測分解能をあげるためには、信号の遅れによって容量に取り込まれる電荷の変化の比率を大きくする必要がある。別の言い方をすれば、信号の遅れとは無関係に取り込まれる電荷を少なくする。このためには、信号電荷を取り込むパルス幅を短くすればよい。この場合、2つの条件を満たさないといけない。1つは、その取り込みパルスの幅の期間に、受信光の遅れ時間により、信号電荷が連続的に変化すること、もう1つは、取り込んだ信号電荷の組み合わせにより、受信光の強度だけで決まる基準となる値を遅れ時間と無関係な信号値を求められることである。
【0040】
電荷の取り込みパルス幅を短くしながら、これらの条件を満たすために図17のようにする。この方法では、一方の容量に、TX1(φ1)のパルス幅を短くしたもので、電荷を取り込む。このとき、図17に示したS1の面積に比例する信号電荷を取り込むことになる。また、他方の容量にTX2(φ2)のパルス幅を短くしたもので、信号電荷を取り込む。この場合は、図のS1の面積に比例した信号電荷を取り込むことになるが、これは、受信光が遅れても、受信したパルス光が完全に立ち上がって強度が一定になった信号を取り込んでいることになる。つまり、一方の容量には、遅延時間に依存した電荷、他方の容量には遅延時間に無関係の電荷が取り込めることになる。
【0041】
受信光の強度をL、取り込みパルス幅をTとすると
【数9】
JP0004235729B2_000011t.gifである。また、パルス光の立ち上がり時間をT、光の送信パルスに対する取り込みパルスに対する先行時間をT、受信光の遅れ時間をTdとすると、受信光が直線的に立ち上がっていれば、
【数10】
JP0004235729B2_000012t.gifとなることがわかる。
【0042】
式(25),(26)より、次式が得られる。
【数11】
JP0004235729B2_000013t.gif2つの容量にたまった電荷により発生する読みだした電圧は、S1とS2に比例するので、その信号の比を計算すれば、S1とS2の比が計算でき、式(27)から遅れ時間が計測できる。
この場合の距離分解能は、ほぼ
【数12】
JP0004235729B2_000014t.gifとなり、Tを短くすることで、分解能をあげることができる。
なお、信号を距離画像センサから読み出したあと、平均化処理を行うことで、距離分解能を改善することができる。M回平均化を行った場合の分解能は、
【数13】
JP0004235729B2_000015t.gifとなる。このようにM回平均化を行うと、画像のフレーム速度がその分遅くなるが、これは、もともとの画像の読みだしのフレーム速度を速くすることができれば、動画として十分なフレーム速度で距離画像を得ることができる。特に、解像度が低い(画素数が少ない)場合には、フレーム速度を速くすることは容易であり、有効である。
【0043】
なお、このような短い発光パルス幅を用いることは、多重反射による信号を取り込むのを防ぐことにも利用できる。さらに、予定外の遠い距離のところで反射してきた光が、次の取り込みパルスのタイミングで戻ってくることで、距離計測を誤るのを防ぐためにも用いることができる。つまり、発光パルス幅に対して繰り返し周期を長くすれば、次の取り込みパルスのタイミングで取り込まれるためには、非常に遠いところで反射してくる必要があり、近距離に比べて十分減衰しているので影響は少ない。
【0044】
以上画像情報から距離情報を取り出すことを述べたが、本願構成によれば2つの容量に蓄積された信号V1およびV2を得て、この信号から距離情報を算出しているため、同時に輝度画像情報を得ることができる。
つまり、式(1)のV1と式(2)のV2の和を求めれば、これが対象としている物体の輝度情報となるためである。また、図6や図9の回路を図7に示すタイミングで動作させた場合では式(12)のV3が背景の輝度信号となるので、これそのものを対象物の輝度画像信号とすることもできるし、照射した光による反射光も利用するために式(10)のV1、式(11)のV2、式(12)のV3を全て加算することにより輝度画像信号を得ることもできる。
【0045】
スイッチについて説明すると、図8、10、11に用いられているスイッチは電荷の転送を制御するゲートとして動作し、これは、フォトダイオードと半導体基板上において接続される、図18に示すようなMOSトランジスタを用いる。これには、図18(a)のようにnチャネルMOSトランジスタを用いるもの(pチャネルであってもよい)と、図18(b)のように、nチャネルとpチャネルのMOSトランジスタを並列接続し、pチャネルには、nチャネルの制御信号を論理反転させた信号を与えるものが、考えられる。
【0046】
距離画像センサからの信号読みだしについては、おおむね通常のCMOSイメージセンサと同様である。ただしフォトダイオードからの電荷転送の制御信号TX1(φ1)、TX2(φ2)は全画素に同時に与えられ、しかも高い周波数の信号であるので、その期間には、スイッチングノイズが発生する。したがって画素部からの信号読みだしとしては、これらの処理が終了したあとに読みだし期間を設けて行うのが得策である。
【0047】
その読みだしは、図1の場合は、まず読みだしたい行の画素部のバッファ選択信号Sを与え、2つの電荷蓄積ノードの信号をカラムの読みだし回路に設けたサンプル&ホールド回路(S/H)において、φc1とφc2によりサンプルし、記憶することで行う。そのカラムのS/H回路に記憶された1行分の信号は水平走査により順次選択して、時系列信号として出力する。このときに、カラムのサンプルホールド回路において、画素部のリセット信号Rを与えた時の信号も読みだして、画素のソースフォロワが発生する固定パターンノイズ等をキャンセルした信号を記憶して、これを水平走査して読み出しても良い。
【0048】
また、図9の場合には、まず読みだしたい行の画素部のバッファ選択信号Sを与える。次いで、画素部にφ1を与えたときに、画素内の容量C1に記憶された信号が画素部から出力され、これをカラムに並べたS/H回路において、制御信号φc1によりサンプルし、記憶する。ついで、画素部にφ2を与えたときに、画素内の容量C2に記憶された信号が画素部から出力され、これをカラムに並べたS/H回路において、制御信号φc2によりサンプルし、記憶する。これらのカラムのS/H回路に記憶された1行分の信号は水平走査により順次選択して、時系列信号として出力する。この場合においても、画素部のリセット信号φRを与えた時の信号も読みだして、画素のソースフォロワが発生する固定パターンノイズ等をキャンセルした信号を記憶して、これを水平走査して読み出しても良い。
【0049】
なお、図9では、φ1,φ2の信号が垂直に与えられているが、図19のように、タイミング制御回路を、垂直に配置し、φ1,φ2の信号を水平に与えてもよい。この場合には、信号を読み出す際、読み出したい行のφ1,φ2だけを動作させることができる。このようにした方が、画素部の発生するノイズを効果的にキャンセルできる可能性がある。なお、ノイズキャンセルの方法としては、図19では、画素部をリセットした値を記憶するためのS/H回路を設け、リセットレベルをφCRによりサンプルし、その出力と、画素部のC1とC2に記憶された信号を読みだした2つのS/H回路の出力の信号との差を、最終出力の手前で差分をとることでキャンセルすることも可能である。
【0050】
【発明の効果】
以上述べた構成により、感度が向上するとともに背景光や暗電流の影響を取り除くことができるので、光の飛行速度を利用した距離測定用画像センサを、通常の環境で利用することができる。また、距離画像情報とともに輝度画像信号を得ることもできる。
【図面の簡単な説明】
【図1】 TOF測距センサのブロック図
【図2】 埋め込みフォトダイオードを用いたCMOS距離画像センサの画素構造(1)
【図3】 図2に示す構造の等価回路
【図4】 動作タイミング(図2の回路)
【図5】 CMOS距離画像センサの画素構造(2)
【図6】 CMOS距離画像センサの画素構造(3) (背景光除去)
【図7】 図6に示す構造を用いる場合の動作タイミング図
【図8】 アンプ負帰還による電荷転送を用いた変調光遅延時間依存電荷電圧変換回路
【図9】 アンプ負帰還による電荷転送を用いた距離画像センサの全体の構成
【図10】 図8に背景信号記憶用容量(C3)を追加した構成
【図11】 図8にサンプル&ホールド回路を設け、全画素同時距離計算を可能とした構成
【図12】 電圧制御遅延回路を用いた背景除去距離画像センサのブロック図
【図13】 各画素の処理の動作タイミング図
【図14】 短パルスを用いた場合の動作タイミング(背景光の影響を低減する処理なし)
【図15】 短パルスを用いた場合の動作タイミング(背景光の除去機能あり)
【図16】 短パルスを用い、周期的リセットを加えた場合の動作タイミング(背景光による部分を低減)
【図17】 受信光のパルスの立ち上がり部を検出することで、距離計測分解能を向上させるためのタイミング図
【図18】 MOSトランジスタによるスイッチ
【図19】 電荷転送制御信号を水平方向から与える場合の構成
【符号の説明】
PD フォトダイオード
R リセット用制御信号線
S 信号読み出し用制御信号線
ST ポテンシャル井戸形成用制御信号線
S/H サンプル・ホールド回路
Td 反射光の遅れ時間
TX1,TX2 転送ゲート用制御信号線
VR リセット用基準電位
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18