TOP > 国内特許検索 > 広ダイナミックレンジイメージセンサ > 明細書

明細書 :広ダイナミックレンジイメージセンサ

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4392492号 (P4392492)
公開番号 特開2004-363666 (P2004-363666A)
登録日 平成21年10月23日(2009.10.23)
発行日 平成22年1月6日(2010.1.6)
公開日 平成16年12月24日(2004.12.24)
発明の名称または考案の名称 広ダイナミックレンジイメージセンサ
国際特許分類 H04N   5/335       (2006.01)
FI H04N 5/335 P
H04N 5/335 E
請求項の数または発明の数 12
全頁数 18
出願番号 特願2003-156301 (P2003-156301)
出願日 平成15年6月2日(2003.6.2)
審査請求日 平成18年1月16日(2006.1.16)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】川人 祥二
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】松田 岳士
参考文献・文献 特開平09-181986(JP,A)
特開平04-317279(JP,A)
特開平06-217206(JP,A)
特開平01-274580(JP,A)
特開2002-334326(JP,A)
特開2001-346096(JP,A)
特開平05-161078(JP,A)
特開平10-173988(JP,A)
特開平05-316413(JP,A)
調査した分野 H04N 5/30 - 5/335
特許請求の範囲 【請求項1】
イメージアレイセンサと、
前記イメージアレイセンサに長時間蓄積された光電荷による信号を全画素に対してフレーム周期の1/2よりも短時間に集中読み出しを行う手段と、
各画素毎の信号に関し、フレーム周期から長時間蓄積期間を差し引いた残余期間の全部またはその一部を利用してn回(nは以上の整数)の短時間蓄積を行う手段と、
前記長時間蓄積された光電荷による信号の全画素短時間集中読み出し完了後に第1番目の短時間蓄積の光電荷による信号を全画素に対してフレーム周期の1/2よりも短時間に集中読み出しを行う手段と、
番目(i=1,…,p-1;pは整数であり、かつp≦n)の短時間蓄積の光電荷による信号の全画素短時間集中読み出し完了後に、i+1番目の短時間蓄積の光電荷による信号を全画素に対してフレーム周期の1/2よりも短時間に集中読み出しを行う手段と、
前記長時間蓄積の光電荷による信号および前記i番目(i=1,…,p)の短時間蓄積の光電荷による信号を合成する手段とからなり、
前記短時間蓄積の各々の蓄積時間は前記残余期間を前記短時間蓄積の回数nで等分した時間以下である広ダイナミックレンジイメージセンサ。
【請求項2】
さらに、垂直走査開始信号との時間差が外部から制御可能なリセット信号により前記短時間蓄積の光電荷の初期化を行い、任意時間の短時間蓄積を可能とするリセット手段を備えてなる請求項1記載の広ダイナミックレンジイメージセンサ。
【請求項3】
さらに、長時間蓄積信号がその線形範囲を超えて飽和しているかどうかを判定し、飽和している場合には短時間蓄積信号の読み出しを行い、飽和していない場合には読み出しを行わないという適応的制御手段を備えてなる請求項1記載の広ダイナミックレンジイメージセンサ。
【請求項4】
前記適応的制御手段は、さらに、i番目の短時間蓄積信号がその線形範囲を超えて飽和しているかどうかを判定し、飽和している場合にはi+1番目の短時間蓄積信号の読み出しを行い、飽和していない場合には読み出しを行わないものである請求項3記載の広ダイナミックレンジイメージセンサ。
【請求項5】
さらに、それ以前に取得した長時間蓄積信号及び短時間蓄積信号が飽和しているかどうかを表すオーバーフロー信号作成手段と、短時間蓄積信号の振幅の最大値が設定したしきい値よりも小さいかどうかを表すアンダーフロー信号作成手段と、前記オーバーフロー信号および前記アンダーフロー信号を用いて短時間蓄積信号の数及びそれぞれの蓄積時間の組み合わせを動的に変更する手段とを備えてなる請求項1記載の広ダイナミックレンジイメージセンサ。
【請求項6】
前記オーバーフロー信号作成手段は、各蓄積信号が飽和しているかどうかを、複数画素におけるしきい値を越えている画素の数により判定して信号作成するものであり、前記アンダーフロー信号作成手段は、その振幅の最大値が設定したしきい値よりも小さいかどうかを、複数画素におけるしきい値を越えている画素の数により判定して信号作成するものである請求項5記載の広ダイナミックレンジイメージセンサ。
【請求項7】
前記アンダーフロー信号作成手段は、それ以前に取得した短時間蓄積信号に対して得たヒストグラムの平均値が、設定したしきい値よりも小さいかどうかを判定して信号作成するものである請求項5記載の広ダイナミックレンジイメージセンサ。
【請求項8】
さらに、既に読み出した長時間蓄積による映像信号または短時間蓄積による映像ごとのヒストグラムを求める手段と、そのヒストグラムの平均値が、あるしきい値以下の場合には高いゲインに設定し、また高ゲインに設定して読み出した信号に対しては、ヒストグラムの平均値が別に設けたしきい値を越えている場合には、低いゲインの設定に戻すゲイン可変の増幅器をカラムに備えてなる請求項1記載の広ダイナミックレンジイメージセンサ。
【請求項9】
さらに、信号を短時間に高速に読み出すために、並列に信号の水平転送を行う複数の読み出し回路をカラムに設けてなる請求項1乃至5記載の広ダイナミックレンジイメージセンサ。
【請求項10】
さらに、並列に信号の水平転送を行うために、カラーフィルタの画素成分毎に分けた画素成分毎の読み出し回路をカラムに設けてなる請求項1乃至5記載の広ダイナミックレンジイメージセンサ。
【請求項11】
イメージアレイセンサと、前記イメージアレイセンサから長時間蓄積信号を得る手段と、前記イメージアレイセンサから複数種類の短時間蓄積信号を得る手段と、既に画像メモリに書き込まれた信号を読み出して、それが設定したしきい値を越える場合には、演算を施したイメージセンサからの読み出し信号を画像メモリの対応する画素位置において上書きをするという動作を、前記長時間蓄積信号と複数種類の短時間蓄積信号とを蓄積時間の長い順に読み出した映像信号に対して繰り返し行うことにより合成する手段とを備えてなる広ダイナミックレンジイメージセンサ。
【請求項12】
イメージアレイセンサと、前記イメージアレイセンサから長時間蓄積信号を得る手段と、前記イメージアレイセンサから複数種類の短時間蓄積信号を得る手段と、蓄積時間の種類を表すために蓄積時間の長い信号から短い信号に向かって順次増加するようにゾーン番号を割り当てる手段と、前記長時間蓄積信号と複数種類の短時間蓄積信号のうちいずれか1つを、前記ゾーン番号とともに記憶する画像メモリと、前記イメージアレイセンサから読み出した長時間蓄積信号が飽和していない場合にはゾーン番号をそのまま書き込むとともに長時間蓄積信号を画像メモリに書き込み、飽和している場合にはゾーン番号を1つ大きな値にして書き込む第1の書き込み制御手段と、次に書き込むべき短時間蓄積信号のゾーン番号と、既に前記画像メモリに記憶されたゾーン番号とを比較し、既に記憶されている画像信号が飽和していると判断した場合には、次に書き込むべき短時間蓄積信号を新画像信号として前記画像メモリに書き込み、飽和していないと判断した場合には、画像信号及びゾーン番号の更新を行わない第2の書き込み制御手段とを備えてなる広ダイナミックレンジイメージセンサ。
発明の詳細な説明 【0001】
【発明の属する技術分野】
この発明は、イメージセンサにおけるダイナミックレンジの拡大に関するものである。
【0002】
【従来の技術】
非常に明るい部分と暗い部分が同時に存在している場合でも良好に撮像を行うことができる広いダイナミックレンジを持ったイメージセンサの従来技術は数多く存在する。 CMOSイメージセンサ上でダイナミックレンジを高照度側へ拡大する処理として多くの方式が存在する。
これには(1)特開平7-274072号で提示されている、画素回路内に比較器と係数器を配置して、フォトダイオードが外部から設定したしきい値に達するまでのクロック数を計測する方式、(2)特開2000-253320号で提示されている、画素回路内に比較器と係数器を配置して、一フレーム期間内にフォトダイオードが、外部から設定したしきい値に達した回数を計測する方式、(3)特開2001-169184号ならびに(4)特開2001-186414号に提示されている、4トランジスタ型画素回路において、フォトダイオードのブルーミング電荷を1垂直期間より十分短い期間、フローティングディフュージョンに蓄積する方式、ならびに信号レベルとリセットレベルの差分と、信号検出部で一垂直期間より十分短い期間蓄積した信号分から求める方式、(5)Yibing (Michelle) Wang他によってthe 2001 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, pp137-140で発表された”A High Dynamic Range CMOS APS Image Sensor”で説明されているような、4トランジスタ型画素回路のフローティングディフュージョンを、高照度用の感度の低い光電変換素子として利用する方式、(6)米国特許公報6175383号、6369737号、2002/0027606号および、IEEE Journal of Solid State Circuits, Vol.35, No.5の”100000-Pixel, 120-dB Imager in TFA Technology”に記載されている、蓄積時間と読み出し信号レベルから浮動小数点表現により画素値を求める方式、(7)特開2000-83198ならびに特開2002-77733で提示されている、入射光量に対して対数的に信号電圧が変化する対数圧縮型画素回路を利用する方式、(8)CMOSイメージセンサにおいて、n行目の信号読みだしを行う際に、Δだけずれた行の信号の読みだしも行うことで、長時間蓄積信号と短時間蓄積信号を獲得し、これらを合成して広ダイナミックレンジ化を図る方式(US Patent 6115065)、などがある。
【0003】
【特許文献1】
特開平7-274072号公報
【特許文献2】
特開2000-253320号公報
【特許文献3】
特開2001-169184号公報
【特許文献4】
特開2001-186414号公報
【特許文献5】
米国特許第6175383号明細書
【特許文献6】
米国特許第6369737号明細書
【特許文献7】
米国特許第2002/0027606号明細書
【特許文献8】
特開2000-83198号公報
【特許文献9】
特開2002-77733号公報
【特許文献10】
米国特許第6115065号明細書
【非特許文献1】
Yibing (Michelle) Wang etc. ”A High Dynamic Range CMOS APS Image Sensor”, the 2001 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, pp137-140
【非特許文献2】
”100000-Pixel, 120-dB Imager in TFA Technology”IEEE Journal of Solid State Circuits, Vol.35, No.5
【0004】
【発明が解決しようとする課題】
一般的なCMOSイメージセンサの信号蓄積と信号読みだしタイミングを図1(a)に、バースト読みだし(集中読みだし)を行うCMOSイメージセンサの信号蓄積及び読みだしタイミングを図(b)に示す。これは垂直方向の画素数が5画素の場合であり、垂直ブランキング期間は考慮していない。
【0005】
一般的なCMOSイメージセンサの場合には、垂直方向の画素数がNの場合、1フレームの時間TをNで割った時間をかけて1水平ライン分の信号の読みだしを行い、すべての画素からの信号読みだしを1フレームの時間をかけて読み出す。
これに対して、バースト読みだしでは、1水平ラインの信号の読みだし時間を短くし、すべての画素からの信号読みだしを集中的に短時間に行う。このような読みだし方をすると、信号を高速に読み出さなければならないため、消費電力が大きくなるなどの問題があるが、信号電荷の蓄積開始時点のタイミングのずれが、比較的従来の方法に比べて少ないため、動きの大きい対象物を撮像したときのひずみが比較的小さいという利点がある。
【0006】
従来の技術の(8)は、図1(a)の読みだし方法に基づき、長時間蓄積を行ったn行目の信号読みだしを行う際に、その行から既に読み出した方向にΔ行だけずれた行の信号の読み出しも行うことによって、Δ×T(1水平ラインの読みだし時間)に相当する短時間蓄積の信号をも読みだし、それらを合成することで、広ダイナミックレンジのイメージセンサを実現しようとするものである。
しかしながら、このような読みだし方向では、動きの大きい対象物を撮像したときに、動きひずみが大きいという問題がある。また、最も短時間の蓄積時間は、Δ=1の場合であり、これ以下にはできないため、拡大できるダイナミックレンジの最大値がこれによって制限されてしまう。また、長時間蓄積の信号と短時間蓄積の信号の読みだしを同時並行で行うので、例えば長時間蓄積を行った全画素の情報から、短時間蓄積と読みだしを行うかどうかをリアルタイムに判断したりする適応的な処理はできない。
【0007】
【発明の概要】
本発明は、信号のバースト読みだし(集中読みだし)に基づく広ダイナミックレンジイメージセンサに関するものであり、かつ、アダプティブマルチプルサンプリング方式についても提案する。
本発明は、イメージセンサから長時間蓄積を行った信号を高速にバースト読み出しし、その後、短時間蓄積を行った信号をバースト読み出しする。さらにその後、より短時間の蓄積を行った信号をバースト読み出しする。必要であれば、これらをさらに繰り返す。これらの蓄積時間の異なる信号を読み出して合成することで広ダイナミックレンジ化をはかったイメージセンサである。
さらに、バースト読み出しにより、長時間蓄積、短時間蓄積の画像情報がフレーム単位で得られることを利用し、信号の最大値、飽和しているかどうか、ヒストグラムの情報を元に、読み出し回路の利得と、短時間蓄積、極短時間蓄積とバースト読み出しを行うかどうか、またそれらの蓄積時間をリアルタイムに判断しながら設定し、最適のダイナミックレンジに設定しながら撮像を行うことができる適応ダイナミックレンジイメージセンサである。
【0008】
【実施例】
本発明は、従来技術の問題を解決する特徴を備えた広ダイナミックレンジイメージセンサを提供するものである。まず、本発明は、図1の(b)に示すバースト読みだしに基づいている。これに基づき、長時間蓄積、短時間蓄積、より短時間の蓄積といった複数の蓄積時間による信号を読みだし、合成することで広ダイナミックレンジイメージセンサを実現する。本発明による広ダイナミックレンジイメージセンサの信号の蓄積と読みだしのタイミング図を図2に示す。この例では、垂直方向の画素数が5画素の場合を示している。長時間蓄積を行った信号を読み出すトータルの時間をTとする。各画素毎に関しフレーム周期から長時間蓄積を行った時間を差し引いた時間の全部、あるいは、その一部の時間、信号蓄積を行った信号を短時間蓄積信号とし、同じTの時間をかけて読み出す。また、残された時間の一部を用いて、さらに、より短時間の蓄積を行い、同じTの時間をかけて読み出す。さらに短時間の蓄積を行った信号読み出しを行う場合も同様であり、このようにして複数の蓄積時間の信号を読み出すことができる。
長時間蓄積の信号を短時間で集中読み出し後に、短時間蓄積信号の読み出しを行うためには、全画素に対する集中読み出しの時間は、長くともフレーム周期の1/2以下でなければならない。実際の構成としては、フレーム周期の1/4または1/6が実用的価値が高いと考えられる。例えば、フレーム周期の1/4の場合には、2種類までの短時間蓄積、フレーム周期の1/6の場合には、3種類までの短時間蓄積を行うのが適しており、この範囲内で短時間蓄積を行うかどうかと、短時間蓄積の時間を適応的に変化させながら、広ダイナミックレンジの画像の撮像を行うことができる。
【0009】
いま、短時間蓄積信号のバースト読みだし数を、Nとする。図2の例では、短時間蓄積とより短時間蓄積の信号の2回バースト読みだしするので、N=2である。また、長時間信号蓄積時間TALと、Tの比、つまり、TAL/TをNとする。フレーム周期をTとして
次式の関係がある。
【数1】
JP0004392492B2_000002t.gif【0010】
m回(m種類)の短時間信号蓄積を行う場合を考え、m回目の信号蓄積時間をTAS(m)とする。その最長の値を、TASMAX(m)とする。図2より、TASMAX(m)=Tである。その蓄積時間はこれを最大値として任意に選ぶことができる。ただし、その制御を容易にするため、以下のように蓄積時間を設定する。
【0011】
垂直方向の画素数をNとすると、1水平ラインを読み出す時間Tは、垂直ブランキング期間をTとして、
【数2】
JP0004392492B2_000003t.gifである。Tを、Tの整数倍にえらび、T=N×Tとする。これを用いて短時間蓄積時間を以下のように選ぶ。
AS(m)=nT
ここで、nは整数であり、0≦n≦N+Nである。この方法により可能な最短の蓄積時間を、TASMIN(m)とすると、これはn=1の場合であり、
ASMIN(m)=Tとなる。
これより、長時間蓄積を1フレーム周期にわたり行う一般的なイメージセンサに対する最大のダイナミックレンジ拡大率は、T/TASMIN(m)であり、以下のようになる。
【数3】
JP0004392492B2_000004t.gif【0012】
例えば、N=3,N=4,N+N=484の場合、3388倍、すなわち約71dBまでの拡大が可能である。同じ計算を、従来技術の(8)に対して行うと、従来技術では、ダイナミックレンジの拡大率は、垂直画素数倍つまり、Nであるので、480倍、すなわち約54dBである。本発明の方が、ダイナミックレンジ拡大に対して有利であることがわかる。
【0013】
次に、このような原理に基づく広ダイナミックレンジイメージセンサの回路構成について説明する。図3に、そのブロック図を示す。
また、図3において、N=4,N=1,N=2の場合の制御信号のタイミングを図4に示す。TAS(1)=Tとし、TAS(2)=2Tとしている。長時間蓄積を行った信号に対して、最初のTの期間にバースト読みだしを行う。この期間を用いて、短時間(TAS(1)の時間)蓄積を行い、次のTの期間にバースト読みだしを行う。この期間の一部を用いてより短時間(TAS(2)の時間)蓄積を行い、次のTの期間にバースト読みだしを行う。
【0014】
このような動作を行わせるために、垂直シフトレジスタ(図3では、Dの記号でかいたフリップフロップのチェーン)に与える2つのトリガ信号(VTRG1, VTRG2)を図4に示したように与える。VTRG1は、バースト読みだしのためのトリガであり、VTRG2は、Tよりも短い時間蓄積を行うためのリセット信号を発生するために専用に設けた垂直シフトレジスタに与えるトリガ信号である。図4に示したようなタイミングでVTRG2を与えることで、TAS(2)=T+T=2Tとなる。
【0015】
バースト読みだしでは、読みだし速度が高速になるため、消費電力が増大する可能性がある。特にA/D変換器の消費電力が増大する。しかし、1フレーム周期の中で読みだしを行っている時間以外は、読みだし回路及びA/D変換器は動作させる必要がないので、投入電力をカットして低消費電力化を図ることができる。具体的には、例えば通常動作のための電流値から、スタンバイ時には、電流を1/10程度にしぼった電流値を設定することで、回路を不安定にすることなく、スタンバイ時の電力を大きく低減することができる。
【0016】
また、読みだし速度が高速になるために、1つの読みだし回路だけでは動作速度がおいつかなくなる場合があり、その場合は、図5に示すように、読みだし回路を2系統、あるいは図6のように4系統設ける方法も考えられる。カラーフィルタを用いた単板式カラーイメージセンサの場合、例えばベイヤー配列の原色フィルタのR,B,G1,G2成分を4系統の読み出し回路にそれぞれ読み出して、並列に水平読み出しを行うことができる。この場合、4つの読み出し回路の特性のずれの補正を、色信号に対する処理を行う際に同時に行うことができ、無駄がない。図6中のADCはA/D変換器である。
【0017】
なお、以上は、3トランジスタ画素回路の場合を示しているが、画素内電荷転送を用いた4トランジスタ画素回路など、他の画像回路を用いることも可能である。例えば、4トランジスタの画素回路の場合には、図4,図5においてVTRG2によって、リセット信号だけでなく、電荷転送の制御信号についても発生するようにすればよい。
【0018】
このようなバースト読みだしによる広ダイナミックレンジイメージセンサでは、動きひずみを少なくすることと、広ダイナミックレンジ画像が得られるという2点を両立できるため、車載用など、撮像対象の動きが大きく、広ダイナミックレンジが必要な応用に適する。
この方式のもう1つの利点は、長時間蓄積、短時間蓄積の画像を独立して得ることができるので、長時間蓄積により得た画像情報を元にして短時間蓄積撮像の条件設定、あるいは短時間蓄積撮像が必要かどうかの判断をリアルタイムに行うことができることである。
【0019】
バースト読みだしでは、全画素の信号を完全に読み終わってから、次の短時間蓄積の読みだしを行うかどうか、またそのための画素部の電荷の初期化動作を行うかどうかを決定することができる。このことを利用すると、撮像している対象にあわせて最適なダイナミックレンジにリアルタイムに設定しながら撮像することができる。つまり、適応的ダイナミックレンジ撮像が可能である。
【0020】
図7に、撮像条件の異なる10の状態と、それぞれにおいて得られるダイナミックレンジの値をしめす。S0は、長時間信号蓄積と読みだしのみを行う場合であり、各状態におけるダイナミックレンジは、このときのダイナミックレンジを基準として取ってある。LSは長時間蓄積信号、SA1,SA2,SA3は短時間蓄積信号を意味しているが、図7の中の値は、SA1についてはLAに対する、SA2はSA1に対する、またSA3はSA2に対する蓄積時間の比を表している。なお、短時間蓄積信号を読み出すと、その分長時間蓄積の時間がその分短くなり、その分感度が低下するので、その効果をダイナミックレンジの計算に入れている。また、長時間信号に対してのみ、イメージセンサのカラムでG=4のゲインで増幅する場合についても示している。G=1の場合のダイナミックレンジD=66dB、G=4の場合のダイナミックレンジD’=60dBとすると、最大(状態S9の場合)でそれぞれ123dB, 29dBまで拡大可能である。
【0021】
図7において、短時間蓄積を2回まで行う場合、すなわちS0からS6までを用いる場合について、ダイナミックレンジをリアルタイムに最適値に設定しながら撮像する場合の状態遷移図を図8に示す。これは、長時間蓄積信号及び1回目、2回目の短時間蓄積信号が、扱える最大振幅を超えているかどうかを表すオーバーフローフラグOF,OF,OFまた、1回目及び2回目の短時間蓄積信号の最大値が、扱える最大振幅と比べて十分小さいかどうかを表す、アンダーフローフラグUF,UFを用いて、撮像条件を動的に設定する。
図8に、動的ダイナミックレンジ設定のための処理のブロック図を示す。まずオーバーフローフラグについては、A/D変換器(ADC)の出力Yに対して、設定したしきい値Tと比較し、Tを越えている画素の数をカウンタで計数する。これをN(Y,T)とし、これが、設定したしきい値T以上であれば、オーバーフローフラグを1にする。式で表せば、
【数4】
JP0004392492B2_000005t.gifとなる。ここで、OFiのiは、i=0,1,2をとり、OF,OF,OFは、それぞれ長時間蓄積信号,1回目の短時間蓄積信号,2回目の短時間蓄積信号に対するオーバーフローフラグである。
【0022】
また、アンダーフローフラグについては、ADCの出力Yに対して、設定したしきい値Tと比較し、Tを越えている画素の数をカウンタで計数する。これをN(Y,T)とし、これが、設定したしきい値T以下であれば、アンダーフローフラグを1にする。式で表せば、
【数5】
JP0004392492B2_000006t.gifとなる。ここで、UFiのiは、i=1,2をとり、UF,UFは、それぞれ1回目の短時間蓄積信号、2回目の短時間蓄積信号に対するYから判断した、アンダーフローフラグである。
これらのフラグを用いて、図8の状態遷移図のように、ダイナミックレンジを適応的に変化させながら、信号がほぼ飽和しない最適の条件での撮像を行うことができる。
特にバースト読みだしでは、例えば、全体に照度の低い状態で長時間蓄積信号だけで撮像を続けている状態から、急に明るくなったとしても、長時間蓄積信号が飽和しているかどうかを判断し、直後に短時間蓄積信号の読みだし状態に移行することができ、飽和をさせないで画像を取得することができる。
なお、このような広ダイナミックレンジの撮像条件がフレーム毎に頻繁に変化することにより、ちらつきを感じる等問題が生じる場合には、式(1)や式(2)の中に示した条件が、何フレームかにわたって継続して起こった場合にのみ、オーバーフロー、アンダーフローのフラグを発生させたり、実際の状態遷移を、フレーム毎に行うのではなく、複数フレームに対して1回だけ行うようにする。
【0023】
また、イメージセンサのカラムにおいてノイズキャンセルを行いながら、小さいゲインと大きなゲインを切り替えることで、低照度において低雑音で信号の読みだしノイズを低くすることで、低照度側へのダイナミックレンジ拡大が可能である。ゲインを1倍と4倍で切り替えるカラムノイズキャンセル回路の例を図10に示す。反転増幅器を用いたスイッチトキャパシタ型のノイズキャンセル回路であり、Gain入力に1が与えられると入力側に接続される容量が4Cになり、反転増幅器の入出力間に接続される容量Cとの比により4倍の増幅がなされる。Gain入力に0が与えられると入力の3Cが切り離され、容量比は1になるため、1倍の増幅がなされる。また、この回路は入力に画素からのリセットレベルと信号レベルが交互に与えられる。 図3に示すような3トランジスタの画素回路の場合は、先に信号レベルが与えられ、そのとき、図10のφ1で制御されるスイッチをオンにしておき、入力の容量に信号レベルをサンプルする。その後、φ1で制御されるスイッチをオフにし、入力にリセットレベルを与えることで、入力レベルとリセットレベルの差が増幅されて出力され、ノイズキャンセル動作がなされる。なお、埋め込みフォトダイオードを用いて画素内部で電荷転送を行う4トランジスタの場合は、先にリセットレベルが与えられ、その後信号レベルが与えられる点が異なるだけで、同様に適用可能である。
【0024】
4倍のゲインの設定は、長時間蓄積信号の読みだし、短時間蓄積信号の読みだしどちらに対しても用いることができるが、特に低照度領域の感度を向上する意味では長時間蓄積信号に対して適用するのが有効である。長時間蓄積信号に対して、ゲインを1倍と4倍で切り替える方法としては、1フレーム前の長時間蓄積信号を全画素読みだして得た信号から計算したヒストグラムを用いるのが有効である。そのための処理回路の構成を図9に示す。その方法について説明する。ADCの出力Yに対し、N階調の画像をM個の領域に分割する。まず、i=0,…,M-1に対して、ヒストグラムH(i)を初期化する。すなわち、
H(i)=0 (i=0,…,M-1)
全ての画素出力に対して、以下を実行する。
(i=0,…,M-1)に対し、
【数6】
JP0004392492B2_000007t.gifここで[x]は、xの小数点以下を切り捨てた整数を意味する。このようにして得たヒストグラムの平均値を計算する。
【数7】
JP0004392492B2_000008t.gifこれを用いて、カラム増幅器のゲインを図11に示すような状態遷移図に従い、ゲインをフレーム単位で設定する。
【0025】
これは、以下の様な動作をする。現在のカラム増幅器のゲインGを1として、ヒストグラムの平均値があるしきい値Tよりも小さければ、カラム増幅器のゲインGを4にし、T以上であれば、G=1のままとする。これは、新しいフレームの画像の読みだしを行う以前に設定を完了しておく。そのフレームに対して同様にヒストグラムの平均値を計算し、それが、べつのしきい値Tよりも小さければ、G=4のままとする。もしTを超えていたら、G=1に戻す。なお、図9においては、G=1の場合は、G1を1に設定し、G=4の場合にはG4を1に設定する。この2つの制御信号が、図10のカラムノイズキャンセルアンプのゲインを設定するためのRSフリップフロップに与えられ、G1とG4がともに0の場合には設定状態を保持する。
このようにすることで、1つ前のフレームの輝度分布を見ながら、次のフレームの画像信号の読みだしのゲインを最適にコントロールすることができる。この場合、あるフレームから急激に明るくなった場合には、G=4に設定することで、長時間蓄積信号が飽和するかもしれない。しかし、その場合には短時間蓄積信号を読み出すことで飽和した画素信号を短時間蓄積信号で置き換えることができる。
【0026】
このようにカラム増幅器のゲインを可変にするのは、長時間蓄積を行った信号だけに対して行うこともできるが、短時間蓄積の信号に対しても同様に行ってもよい。また、次のフレームの長時間蓄積信号の読みだしの際のカラム増幅器のゲインを決めるためのヒストグラムとして、現フレームの長時間蓄積信号から求める方法と、短時間蓄積信号から求める方法の両方が考えられる。
また、このようなゲインの設定の変更をフレーム毎に行うとちらつきを感じるなどの問題がある場合には、図11の状態遷移のための条件判定を、複数フレームにわたって満たされた場合にのみ行うようにしたり、複数フレームに対して1回だけ行うように状態遷移の頻度を低くすることも考えられる。
【0027】
上記のようにして求めた短時間蓄積信号に対するヒストグラムの平均値は、カラムの増幅器のゲインの設定だけでなく、適応的ダイナミックレンジ設定のためにも用いることができる。この場合、式(2)において、次式のように変更する。
【数8】
JP0004392492B2_000009t.gifここで、
【数9】
JP0004392492B2_000010t.gifは、輝度信号Yに対して求めたヒストグラムの平均値を意味する。これが、設定したしきい値T以下であるかどうかでアンダーフローフラグを発生する。
次に、フレームメモリを節約しながら、長時間蓄積信号と複数種類の短時間蓄積信号をメモリに効率よく書き込み、またメモリから読み出すことで、ディジタル化された映像信号の周波数を低くして出力するための方法について説明する。ここでは、長時間蓄積信号と3種類の短時間蓄積信号をイメージセンサから読み出す場合について説明する。
【0028】
まず、全体のフルスケールFSに対し、各領域の配分の比率を決める。長時間蓄積信号、及び3つの短時間蓄積信号を、図7に示した記号LA,SA1,SA2,SA3で表し、それらの蓄積時間それぞれを、T,TS1,TS2,TS3とする。またTL >TS1 >TS2 >TS3とする。
それらに対する配分割合をF,FS1,FS2,FS3とする。ここで、
FS=F+FS1+FS2+FS3
である。
なお、各蓄積信号に対するFSとしては、図12に示したように、完全に飽和するレベルではなく、それよりもやや低い値に設定する。
まず長時間蓄積信号LAの出力Yに対して、メモリに書き込む出力ZOUTを、次式のように定める。
OUT=A×Y
ここで、A=F/FSであり、長時間蓄積信号に対するゲイン定数である。つまり、まず長時間蓄積信号に一定のゲインをかけたものを出力の候補とする。
【0029】
次に、最初の短時間蓄積信号SA1の出力Yと、メモリに記憶された値ZMに対して、メモリに書き込む出力ZOUTを、次式のように定める。
【数10】
JP0004392492B2_000011t.gifここで、
【数11】
JP0004392492B2_000012t.gif及び
【数12】
JP0004392492B2_000013t.gifは、1番目の短時間蓄積信号に対するゲイン定数及びオフセットである。これは、もし、メモリに書き込まれた値がFを越えていなければ、長時間蓄積信号をメモリに再び書き込み、越えていれば短時間蓄積信号で置き換えることを意味する。このとき、2つの領域を連続的につなぐため、Yからオフセットを引いたものにゲインをかけ、Fだけシフトする。
【0030】
同様に、2番目の短時間蓄積信号SA2の出力Yと、メモリに記憶された値ZMに対して、メモリに書き込む出力ZOUTを、次式のように定める。
【数13】
JP0004392492B2_000014t.gifここで、
【数14】
JP0004392492B2_000015t.gif及び
【数15】
JP0004392492B2_000016t.gifは、2番目の短時間蓄積信号に対するゲイン定数及びオフセットである。
【0031】
さらに、3番目の短時間蓄積信号SA3の出力Yに対しても同様に、
【数16】
JP0004392492B2_000017t.gifここで、
【数17】
JP0004392492B2_000018t.gif及び
【数18】
JP0004392492B2_000019t.gifは、3番目の短時間蓄積信号に対するゲイン定数及びオフセットである。
【0032】
以上の処理により、入射光量Poに対する出力の応答特性は、図12のようになる。このような処理を行うための処理回路の構成を図13に示す。
このようにすることで、ダイナミックレンジを圧縮した信号をリアルタイムに計算しながら、メモリに格納することができる。図中のレジスタ1,2,3は、(1),(2),(3),(4)の順に、長時間蓄積信号、1番目、2番目、2番目の短時間蓄積信号に対して枠内に書かれた値を出力する。比較器は、入力A,Bに対して、出力Cとして次式のような値を出力する。
【数19】
JP0004392492B2_000020t.gifまた、マルチプレクサは、制御入力、つまり比較器の出力Cが1ならば、A側を、C=0ならば、B側を選択する。
【0033】
図13では、フレームメモリを2枚用いて、ディジタル出力の速度を、イメージセンサの画素クロック周波数にあわせている。その動作を図14(a)に示す。図中、LAは、長時間蓄積信号、SA1,SA2,SA3は短時間蓄積信号のメモリへの書き込みの期間を意味し、このとき、対応する画素信号に対してフレームメモリに既に書き込まれた信号をレジスタ4にまず読み出し、その演算結果を再びフレームメモリの同じ画素信号に対して書き込む動作を行う。フレームメモリから外部への出力は、1フレームの時間をかけて行う。2枚のフレームメモリに対して、偶数フレームと奇数フレームを表す制御信号ODとEVを用いて、図14(a)のように切り替えを行うことで、イメージセンサとの間の書き込み・読み出し動作とメモリからの外部への出力を相補的に行うことで、フレームメモリから外部への出力を1フレームかけて読み出すことを可能にしている。
【0034】
なお、フレームメモリを1枚だけ用いて、出力を高速に出力することも可能であり、この場合、図14(b)のように、イメージセンサが長時間信号の蓄積動作を行っており、信号が出力されない期間を用いて、フレームメモリから読み出して出力する。
【0035】
また、このような広ダイナミックレンジ画像に合成を行わないで、原信号とその蓄積時間を表すゾーン番号を画像メモリに格納することも可能である。その場合の処理のブロック図を図15に示す。
まずA/D変換器として、Nビットとし、そのフルスケールを越えている場合1、越えていない場合0の値をとる飽和フラグDsを出力する機能を有するものとする。ゾーンを表す2ビットのコードにDsの値を加算したコードを、イメージセンサの出力Yと併せてメモリに書き込む。最初の長時間蓄積信号については、Yの値とゾーンコード(00)にDsを加算したコードをメモリに書き込む。比較器のA入力には(00)が与えられるのでマルチプレクサは常に、センサ出力側(A側)を選択する。次に、最初の短時間蓄積信号については、レジスタ1の値と、メモリに記憶された長時間蓄積信号のゾーンコードを比較する。
【0036】
このとき、長時間蓄積信号が飽和していれば、(01)が読み出されるので、比較器が、式(3)で与えられる動作をするとすれば、比較出力Cは1になり、マルチプレクサによりセンサ出力側が選択されて、メモリの値が更新される。もし、長時間蓄積信号が飽和していなければ、(00)が読み出され、(01)と比較される結果、C=0となり、マルチプレクサにより、メモリ出力側が選択されるので、同じ値が再び書き込まれて、メモリ記憶値の更新がなされず、長時間蓄積信号が記憶されたままとなる。
【0037】
2番目の短時間蓄積信号、3番目の短時間蓄積信号についても同様である。ただし、3番目の短時間蓄積信号の読み出しに対しては、Dsの値は常に0としておく。これよりもより短時間の蓄積信号を読み出さないので、飽和しているどうかの情報は必要ない。もし、2番目の短時間蓄積信号が飽和していれば、メモリから読み出されたゾーンコードは(11)であるので、センサ出力側が選択され、メモリの値が更新される。
図15の場合、A/D変換された原信号をそのまま記憶できる利点がある。ただし、広ダイナミックレンジ画像として表示するためには、後に図12に示したような変換処理が必要である。
【0038】
なお、メモリに記憶された蓄積信号が飽和していない場合には、マルチプレクサによりメモリ出力側を選択して同じ値を書き込むと説明したが、この場合には書き込み動作自体を行わないようにしてもよいことは明らかである。
【0039】
【発明の効果】
以上述べた構成により、以下の効果が得られる。
(1) 高速に読み出すことで、全画素のシャッタタイミングを従来のCMOSイメージセンサのローリングシャッタに比べて軽減される。このため、動物体を撮像した際の歪が軽減されるため、車載用にも適する。
(2) 画素部の構成にはなんら制約がない。このため、高感度のCMOSイメージセンサデバイスが利用可能。これによって、低照度領域にもダイナミックレンジ拡大が可能。
(3) 高速に読み出すことで、その後の信号処理を即座に開始することができる。そのため、リアルタイム処理が要求される車載用に適する。
(4) カラムにゲインを一斉に、多段階で変更するアンプを用いる。これによって、機械的なアイリス制御を一切用いずに感度範囲を可変にすることができる。夜間の使用のために、ゲインを大きくして感度アップしても、もともと広いダイナミックレンジを持っているので、十分な広いダイナミックレンジを確保できる。昼間から夜間までの広い照度条件で使用される車載用として適する。
(5) 長時間蓄積、短時間蓄積、極短時間蓄積の信号をバースト読み出しすることで、ダイナミックレンジを適応的に切り替える広ダイナミックレンジイメージセンサが実現できる。
【図面の簡単な説明】
【図1】 一般的なCMOSイメージセンサの信号蓄積と読みだしのタイミングと、バースト読みだしにおける信号蓄積と読みだしのタイミング(垂直画素数5の場合、LA:信号蓄積期間、LR:信号読み出し期間)
【図2】 信号の蓄積と、読み出しのタイミング(垂直画素数5の場合、LA:長時間蓄積信号蓄積期間、SA:短時間蓄積信号蓄積期間、VSA:極短時間蓄積信号蓄積期間、LR:長時間蓄積信号読み出し期間、SR:短時間蓄積信号読み出し期間、VSR:極短時間蓄積信号読み出し期間、数字は、イメージアレイの対応する行番号)
【図3】 広ダイナミックレンジイメージセンサのブロック図
【図4】 垂直画素数が4画素の場合の制御信号タイミング
【図5】 読みだし回路を2系統もつ場合の構成
【図6】 原色フィルタの4成分を並列に出力する場合の広ダイナミックレンジイメージセンサの構成
【図7】 各状態における撮像条件とダイナミックレンジの例(NS=3,NR=3,N=480の場合、LA,SA1,SA2,SA3はそれぞれ長時間蓄積時間,1回目,2回目,3回目の蓄積時間である。Tはフレーム周期)
【図8】 適応的ダイナミックレンジ設定のための状態遷移図の例
【図9】 ダイナミックレンジを適応的に変化させる処理回路のブロック図
【図10】 1倍と4倍のゲインを選択できるカラムノイズキャンセル回路
【図11】 ゲイン設定のための状態遷移図
【図12】 長時間蓄積信号LA及び3種類の短時間蓄積信号(SA1, SA2, SA3)を用いた非線形応答特性の合成
【図13】 図12の変換特性を得るための処理のブロック図
【図14】 メモリへの書き込み及び読み出しの動作
【図15】 映像信号と蓄積時間を表すゾーン番号を書き込む場合の処理ブロック図
【符号の説明】
S :読み出し制御信号
R :リセット制御信号
LA:長時間蓄積信号蓄積期間
SA:短時間蓄積信号蓄積期間
VSA:極短時間蓄積信号蓄積期間
LR:長時間蓄積信号読み出し期間
SR:短時間蓄積信号読み出し期間
VSR:極短時間蓄積信号読み出し期間
ADC:A/D変換器
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14