TOP > 国内特許検索 > 固体撮像装置 > 明細書

明細書 :固体撮像装置

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成28年7月25日(2016.7.25)
発明の名称または考案の名称 固体撮像装置
国際特許分類 H04N   5/374       (2011.01)
H04N   5/357       (2011.01)
H01L  27/146       (2006.01)
FI H04N 5/335 740
H04N 5/335 570
H01L 27/14 A
国際予備審査の請求
全頁数 30
出願番号 特願2014-529532 (P2014-529532)
国際出願番号 PCT/JP2013/071372
国際公開番号 WO2014/024922
国際出願日 平成25年8月7日(2013.8.7)
国際公開日 平成26年2月13日(2014.2.13)
優先権出願番号 2012175364
優先日 平成24年8月7日(2012.8.7)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IS , JP , KE , KG , KN , KP , KR , KZ , LA , LC , LK , LR , LS , LT , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ , UA , UG , US , UZ
発明者または考案者 【氏名】香川 景一郎
【氏名】川人 祥二
出願人 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
【識別番号】100170818、【弁理士】、【氏名又は名称】小松 秀輝
審査請求 未請求
テーマコード 4M118
5C024
Fターム 4M118AA05
4M118AB01
4M118BA14
4M118CA04
4M118CA05
4M118DD04
4M118FA06
4M118GD04
5C024AX01
5C024CX03
5C024CX41
5C024CX43
5C024EX43
5C024GX16
5C024GX18
5C024GY31
5C024GZ02
5C024HX17
5C024HX21
5C024HX28
5C024HX29
5C024HX30
5C024HX40
要約 固体撮像装置1Aは、画素Cが二次元配列された画素アレイPを有する撮像部2と、画素アレイP上に配置された複数のレンズ3aを有するレンズ部3と、電気信号SEを用いて画像を生成する画像生成部4Aと、を備える。撮像部2は、撮像領域Tを一つ含む画素アレイPを複数有する。画像生成部4Aは、電気信号SEが有するノイズを低減するために、撮像領域T間で互いに対応する画素Cごとに電気信号SEを平均化して画像を生成する。
特許請求の範囲 【請求項1】
受けた光に対応した電気信号をトランジスタを介して提供する画素が二次元配列された画素アレイを有する撮像部と、
前記画素アレイ上に配置された複数のレンズを有するレンズ部と、
前記電気信号を用いて画像を生成する画像生成部と、
を備え、
前記撮像部は、前記レンズ部により被写体像が結像される撮像領域を複数含む前記画素アレイを一つ、又は、前記撮像領域を一つ含む前記画素アレイを複数有し、
前記画像生成部は、前記電気信号が有するノイズを低減するために、前記撮像領域間で互いに対応する前記画素ごとに前記電気信号を平均化して前記画像を生成する、固体撮像装置。
【請求項2】
前記撮像部は、M個(Mは2以上の整数)の前記画素アレイを有し、
前記画素は、
受けた光に対応した電荷を生成する光電変換部と、
前記光電変換部に並設され前記電荷が転送される浮遊拡散部と、
前記浮遊拡散部に転送された前記電荷が排出される排出部と、
前記浮遊拡散部に接続され、前記浮遊拡散部の電位に対応した前記電気信号を前記トランジスタを介して提供する出力部と、を含み、
前記画素アレイを複数有する前記撮像部における変換利得は、前記画素アレイを一つ有する前記撮像部における前記変換利得のM倍以上に設定する、請求項1に記載の固体撮像装置。
【請求項3】
前記トランジスタは、MOSFETであり、
前記MOSFETのチャネル長は、前記光電変換部と前記浮遊拡散部との間の長さ、又は、前記浮遊拡散部と前記排出部との間の長さよりも小さい、請求項2に記載の固体撮像装置。
【請求項4】
前記画像生成部は、
前記画素から提供された前記電気信号の分散を算出する算出部と、
前記各画素の前記分散に基づいて平均値の分散が最小となる前記撮像領域の組み合わせを選択する選択部と、
前記撮像領域の組み合わせに基づいて、前記撮像領域間で互いに対応する前記画素ごとに前記電気信号を平均化して前記画像を統合する統合部と、を有する請求項1~3の何れか一項に記載の固体撮像装置。
【請求項5】
前記画像生成部は、
前記画素から提供されたそれぞれの前記電気信号に適用される重み係数を提供する係数算出部と、
前記重み係数を前記画素から提供された前記電気信号の値に乗じて得た値を前記撮像領域間で互いに対応する前記画素ごとに平均化して前記画像を統合する統合部と、を有する請求項1~3の何れか一項に記載の固体撮像装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、固体撮像装置に関する。
【背景技術】
【0002】
特許文献1には、映像信号のランダムノイズ除去を行う構成を有する固体撮像装置が記載されている。この固体撮像装置は、画素アレイと、画素アレイから映像信号を読み出すための出力回路とを備えている。固体撮像装置は、2つの出力回路が接続された画素アレイを有している。2つの出力回路から出力された2つの映像信号は、加算平均等の処理がなされ、映像信号からノイズが除去される。
【0003】
特許文献2には、装置の薄型化を図ることができる撮像装置が記載されている。この撮像装置は、複数のエリアセンサと、エリアセンサのそれぞれに被写体像を結像する複数のマイクロレンズとを備えている。エリアセンサに結像される被写体像は被写体の全体像である。複数のマイクロレンズは互いに異なる焦点距離を有している。画像を生成する時には、焦点距離が合った被写体像が結像されたエリアセンサの出力を用いる。従って、焦点調整を行うためのマイクロレンズの移動機構を省くことが可能となり、装置の薄型化を図ることができる。
【0004】
特許文献3には、被写体とマイクロレンズアレイとの距離が大きい場合であっても解像度の高い画像を取得可能な画像入力装置が記載されている。この画像入力装置は、マイクロレンズとマイクロレンズに対応する被写体像が結像される受光セルとが組み合わされた構成を複数備えている。マイクロレンズと受光セルとの相対的な位置関係は、組み合わせ毎に異なっている。従って、被写体とマイクロレンズとの距離が大きい場合であっても、各受光セルには異なる被写体像が結像されるため、画像の解像度を向上させ得る。
【0005】
特許文献4には、3次元ライトフィールドを取得するシステムが記載されている。このシステムは、3次元ライトフィールドデータを必要とする、テレビ及びデジタルエンターテインメントに対して使用できる3次元ディスプレイシステムである。
【先行技術文献】
【0006】

【特許文献1】特開2004-165913号公報
【特許文献2】特開2004-146619号公報
【特許文献3】特開2000-32354号公報
【特許文献4】特開2008-259171号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
デジタルカメラやカムコーダなどの撮像システムにおいて、低ノイズ、高感度、高ダイナミックレンジの全てを満たすことは、いまだに解決されていない大きな課題である。これら撮像システムには、光子1個を識別可能なノイズレベルを実現することが望まれている。そのためにはアナログデジタル変換器等のノイズを含めて入力換算ノイズとして0.1電子rms(量子効率100%の場合に、光子に換算して0.1個rms)のノイズレベルが要求される。しかしながら、現在の商用機では、1電子rms程度に留まっている。
【0008】
上記問題点に鑑みて、本発明は、ノイズを低減することが可能な固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一側面に係る固体撮像装置は、受けた光に対応した電気信号をトランジスタを介して提供する画素が二次元配列された画素アレイを有する撮像部と、画素アレイ上に配置された複数のレンズを有するレンズ部と、電気信号を用いて画像を生成する画像生成部と、を備え、撮像部は、レンズ部により被写体像が結像される撮像領域を複数含む画素アレイを一つ、又は、撮像領域を一つ含む画素アレイを複数有し、画像生成部は、電気信号が有するノイズを低減するために、撮像領域間で互いに対応する画素ごとに電気信号を平均化して画像を生成する。
【0010】
上記固体撮像装置は、複数のレンズを含むマルチアパーチャ構造を有しているため、被写体像が撮像された画像データからなるマルチアパーチャ画像が得られる。そして、画像生成部では、撮像領域間で互いに対応する画素ごとに電気信号を平均化するため、画素から提供された電気信号に含まれるノイズが低減される。従って、上記固体撮像装置によれば、ノイズを低減した画像を得ることができる。
【0011】
上記固体撮像装置の撮像部は、M個(Mは2以上の整数)の画素アレイを有し、画素は、受けた光に対応した電荷を生成する光電変換部と、光電変換部に並設され電荷が転送される浮遊拡散部と、浮遊拡散部に転送された電荷が排出される排出部と、浮遊拡散部に接続され、浮遊拡散部の電位に対応した電気信号をトランジスタを介して提供する出力部と、を含み、画素アレイを複数有する撮像部における変換利得は、画素アレイを一つ有する撮像部における変換利得のM倍以上に設定する。このような構成によれば、光電変換部で生成された電荷1個当たりの出力電圧値を大きくすることができる。従って、電気信号に含まれるノイズ割合を小さくすることができる。
【0012】
上記固体撮像装置のトランジスタは、MOSFETであり、MOSFETのチャネル長は、光電変換部と浮遊拡散部との間の長さ、又は、浮遊拡散部と排出部との間の長さよりも小さい。このような構成によれば、電圧・電流の利得を示すトランスコンダクタンスを高くすることができるため、出力部の周波数帯域を広げ、後段のカラムアンプで帯域制限することにより低ノイズ化することができる。
【0013】
上記固体撮像装置の画像生成部は、画素から提供された電気信号の分散を算出する算出部と、各画素の分散に基づいて平均値の分散が最小となる撮像領域の組み合わせを選択する選択部と、撮像領域の組み合わせに基づいて、撮像領域間で互いに対応する画素ごとに電気信号を平均化して画像を合する統合部と、を有する。このような構成によれば、互いに対応する一又は複数の画素から提供された電気信号を平均化して統合画像の画素値を得るため、ノイズレベルを全体的に低減することができる。さらに、電気信号の平均化は、平均値の分散が最小となる撮像領域の組み合わせを用いて実施されるので、比較的大きいノイズを有する画素から提供された電気信号が画像の統合に用いる電気信号から排除される。従って、例えばランダムテレグラフシステムノイズのように比較的大きいノイズを発生する画素が含まれていても、ノイズを好適に低減することができる。
【0014】
上記固体撮像装置の画像生成部は、画素から提供されたそれぞれの電気信号に適用される重み係数を提供する係数算出部と、重み係数を画素から提供された電気信号の値に乗じて得た値を撮像領域間で互いに対応する画素ごとに平均化して画像を統合する統合部と、を有する。このような構成によれば、互いに対応する一又は複数の画素から提供された電気信号を平均化して統合画像の画素値を得るため、ノイズレベルを全体的に低減することができる。さらに、電気信号の平均化は、重み係数が乗算された電気信号の値を用いるため、比較的大きいノイズを有する画素から提供された電気信号には小さい重み係数を乗算することにより、統合画像に及ぼす影響を抑制することができる。従って、例えばランダムテレグラフシステムノイズのように比較的大きいノイズを発生する画素が含まれていても、ノイズを好適に低減することができる。
【発明の効果】
【0015】
本発明によれば、ノイズを低減することが可能な固体撮像装置が提供される。
【図面の簡単な説明】
【0016】
【図1】第1実施形態の固体撮像装置の構成を示す図である。
【図2】画素ユニットとレンズ部との配置を示す図である。
【図3】画像生成部を構成するハードウエアの一例を示す図である。
【図4】画素ユニットの構成を説明するための図である。
【図5】第1実施形態の固体撮像装置に内蔵される画素の構造の一例を示す図である。
【図6】第1実施形態の処理フローを説明するための図である。
【図7】画素ユニットの一例を示す図である。
【図8】画素アレイの一例を示す図である。
【図9】第1実施形態の処理フローを説明するための図である。
【図10】第1実施形態の処理フローを説明するための図である。
【図11】第1実施形態の処理フローを説明するための図である。
【図12】第2実施形態の固体撮像装置の構成を示す図である。
【図13】第2実施形態の処理フローを説明するための図である。
【図14】第3実施形態の固体撮像装置の構成を示す図である。
【図15】第3実施形態の固体撮像装置に内蔵される画素の構造の一例を示す図である。
【図16】第3実施形態の固体撮像装置の効果を説明するための図である。
【図17】変形例を説明するための図である。
【図18】変形例を説明するためのフロー図である。
【図19】実施例を説明するための図である。
【図20】実施例を説明するための図である。
【図21】実施例を説明するための図である。
【発明を実施するための形態】
【0017】
以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

【0018】
(第1実施形態)
図1は、第1実施形態に係る固体撮像装置1Aの構成を示すブロック図である。図1に示されるように、固体撮像装置1Aは、受けた光に対応した電気信号をトランジスタを介して提供する撮像部2と、複数のレンズ3aを有するレンズ部3と、撮像部2から出力された信号を用いて画像を生成する画像生成部4Aとを有している。

【0019】
撮像部2は、被写体等からの光に基づく電気信号を生成する複数の画素アレイPを含む画素ユニット6を有している。図2は、画素ユニット6とレンズ部3との配置を示す斜視図である。画素ユニット6は、正方格子状に配置された複数の画素アレイPを有している。レンズ部3は、正方格子状に配置された複数のレンズ3aを有している。これら複数のレンズ3aは、複数の画素アレイPのそれぞれに対応する位置に配置され、画素アレイPに被写体像を結像する。このような画素アレイP及びレンズ3aの配置によれば、画素アレイPのそれぞれには、被写体像が結像される一つの撮像領域Tが設定される(図4参照)。すなわち、本実施形態の画素アレイPは1つの撮像領域Tを有している。そして、本実施形態の撮像部2は、画素アレイPを複数有している。従って、撮像部2からは、被写体が撮像された複数の画像データが提供される。なお、これら複数の画素アレイPとレンズ部3とを有する構成は、マルチアパーチャ構造と呼ばれる。また、複数の画素アレイPを有する撮像部2から得られた複数の画像データをマルチアパーチャ画像と呼ぶ。

【0020】
なお、図2には、16個の画素アレイPが配置された画素ユニット6が示されているが、画素ユニット6が有する画素アレイPの数は16個に限定されることはない。画素ユニット6が有する画素アレイPの数は16個以下であってもよいし、16個以上であってもよい。また、図2には、16個のレンズ3aが配置されたレンズ部3が示されているが、レンズ部3が有するレンズ3aの数は16個に限定されることはない。レンズ部3が有するレンズ3aの数は16個以下であってもよいし、16個以上であってもよい。

【0021】
図1に示すように、画素アレイPは、1つのチップとして構成されている。このチップには、複数の画素Cと、画素Cの動作を制御する制御回路7と、画素Cから出力される電気信号SEを処理する信号処理回路8とが設けられている。このような構成を有する画素アレイPによれば、1つのイメージセンサである画素アレイP内において、A/D変換処理や増幅処理等の信号処理が実行されるためノイズが低減される。制御回路7は、画素Cを制御するための制御信号SCを生成する。例えば、制御回路7は、電気信号SEを出力する行を選択する制御信号SCを生成し駆動線LDに出力する。駆動線LDは、複数の転送スイッチ駆動線、リセットスイッチ駆動線、及び行選択スイッチ駆動線等を含んでいる。制御回路7は、複数のブロックに分割されて画素Cの周辺に配置されている。

【0022】
信号処理回路8は、各画素Cから電気信号SEを行毎に読み出す読み出し回路、サンプルホールド回路及び/又はノイズキャンセル回路、A/D変換回路等を含んでいる。サンプルホールド回路は、リセットレベルに対応した信号と、信号レベルに対応した信号とを保持する。ノイズキャンセル回路は、リセットレベルと信号レベルとの差を生成して、画素のリセットノイズをキャンセルする。信号処理回路8は、電気信号SEに対して所定の信号処理がなされた画像信号SGを生成し、画像生成部4Aに出力する。

【0023】
なお、本実施形態の撮像部2は、上述した構成に限定されることはなく、例えば、制御回路7や信号処理回路8が画素アレイPの外部に設けられる構成であってもよい。例えば、撮像部2が、複数の画素アレイPを有する一つのチップである画素ユニット6と、画素ユニット6に含まれる画素アレイPの全てを制御する制御回路7と、画素ユニット6に含まれる全ての画素アレイPから出力される電気信号SEを処理する信号処理回路8とを有する構成であってもよい。このような構成によれば、画素Cの制御や電気信号SEの処理は、画素アレイPごとではなく、複数の画素アレイP間において実行される。

【0024】
画像生成部4Aは、撮像部2の信号処理回路8から出力される画像信号SGを用いて画像を生成するものである。画像生成部4Aは、機能的構成要素である標準化部9と、算出部11と、選択部12と、記憶部13と、統合部14とを有している。標準化部9は、撮像部2から出力された画像信号SGに対して所定の標準化処理を行う。標準化処理には、例えば、歪曲の補正、結像倍率の補正、画像サイズを統一するための切り出し、位置合わせ等の処理がある。算出部11は、画素アレイPの画素が有するノイズの分散を算出し、その結果を選択部12に出力する。選択部12は、算出部11から出力された各画素の分散に基づいて、平均値の分散が最小となる撮像領域Tの組み合わせを選択する。対応する画素ごとの撮像領域Tの組み合わせの情報は、記憶部13に出力され、記憶される。記憶部13は、撮像部2から出力された画像信号SGの統合に用いる情報を記憶している。統合部14は、記憶部13に記憶されている情報に基づいて、撮像部2から出力された画像信号SGを1つの画像データに統合する。

【0025】
画像生成部4Aは、例えば、図3に示すコンピュータ90を用いて実現される。コンピュータ90は、画像生成部4Aを構成するハードウエアの一例である。コンピュータ90は、CPUを具備しソフトウエアによる処理や制御を行なうサーバ装置、パーソナルコンピュータ等の各種データ処理装置を含んでいる。コンピュータ90は、CPU91、主記憶装置であるRAM92及びROM93、入力デバイスであるキーボード及びマウス等の入力装置94、ディスプレイ、プリンタ等の出力装置96、ネットワークカード等のデータ送受信デバイスである通信モジュール97、ハードディスク等の補助記憶装置98などを含むコンピュータシステムとして構成されている。図1に示す機能的構成要素は、CPU91、RAM92等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU91の制御のもとで入力装置94、出力装置96、通信モジュール97を動作させるとともに、RAM92や補助記憶装置98におけるデータの読み出し及び書き込みを行うことで実現される。

【0026】
図4は、画素ユニット6の構成を説明するための図である。画素ユニット6は、M個の画素アレイPを有している。複数の画素アレイPは、正方格子状に二次元配列されている。それぞれの画素アレイPは、複数の画素Cを有している。画素Cは、受けた光に対応した電気信号SEをトランジスタを介して提供する。複数の画素Cは、正方格子状に二次元配列されている。

【0027】
画素Cについて説明する。図5は、固体撮像装置1Aに内蔵される画素Cの構造の一例を示す図である。画素Cは、光電変換部16と、信号読出部17と、出力部18とを有している。画素Cの構造は、CMOSイメージセンサで利用されているpinフォトダイオードを用いた4トランジスタ方式のアクティブピクセルセンサ(APS)である。また、画素Cは、低ノイズ化のために浮遊拡散部の静電容量を小容量化し、浮遊拡散部における電荷—電圧の変換利得を高めている。さらに、低ノイズ化のために、出力部18における周波数帯域を広げると共に後段のカラムアンプで帯域を制限している。このような構成を実現する為に、浮遊拡散部の電圧を読み出す出力部18のソースフォロワ回路を構成するトランジスタに低電圧MOSFETを用いている。

【0028】
光電変換部16は、受けた光に対応した電荷を生成する。光電変換部16は、埋め込み型のフォトダイオードPDを含んでいる。フォトダイオードPDは、半導体基板19の主面19aに埋め込まれて設けられている。フォトダイオードPDは、半導体基板19の主面19aに設けられた比較的浅いp+型半導体領域ANと、p+型半導体領域ANの直下に設けられた比較的深いn型半導体領域KDとを含んでいる。p+型半導体領域ANとn型半導体領域KDとはpn接合Jを形成している。このpn接合Jは半導体基板19に埋め込まれているので、フォトダイオードPDの暗電流は非常に小さい。p+型半導体領域ANは半導体基板19を介して接地されている。n型半導体領域KDはトランジスタM1のソースと共用され、これによりフォトダイオードPDはトランジスタM1に接続されている。

【0029】
信号読出部17は、光電変換部16に隣接して並設されている。信号読出部17は、出力部18を介して電気信号SEを信号線LEに出力する。電気信号SEは、光電変換部16から信号読出部17の浮遊拡散領域に転送された電荷に対応している。信号読出部17は、第1障壁部21、浮遊拡散部FD、第2障壁部22、及び排出部DRを含んでいる。

【0030】
第1障壁部21は、フォトダイオードPDに隣接して並設されている。第1障壁部21は、p型半導体によって形成され、所定の電位障壁を形成する。第1障壁部21の表面には、絶縁層19bを介してゲート電極23が接続されている。浮遊拡散部FDは、第1障壁部21に隣接して並設されている。浮遊拡散部FDは、n+半導体24によって形成され、その表面には出力部18の入力端18nが接続される。このような構成により、フォトダイオードPDのn型半導体領域KDをソース、浮遊拡散部FDをドレイン、ゲート電極23をゲートとするトランジスタM1が形成されている。このトランジスタM1により、第1障壁部21の電位障壁の大きさがゲート電極23から第1障壁部21に印可される転送信号TXにより制御される。これにより、フォトダイオードPDにおいて生成された電荷が浮遊拡散部FDに転送される。

【0031】
第2障壁部22は、浮遊拡散部FDに隣接して並設されている。第2障壁部22は、p型半導体によって形成され、所定の電位障壁を形成している。第2障壁部22の表面には、絶縁層19bを介してゲート電極26が接続されている。排出部DRは、第2障壁部22に隣接して並設されている。排出部DRは、n+半導体25によって形成され、その表面には高電位電源VRSTが接続されている。このような構成によれば、浮遊拡散部FDをソース、排出部DRをドレイン、ゲート電極26をゲートとするトランジスタM2が形成される。さらに、ゲート電極26が駆動線LRに接続されることにより、トランジスタM2は信号読出部17に転送された電荷をリセットするためのリセットスイッチとして動作する。すなわち、ゲート電極26を介して第2障壁部22に印可されるリセット信号RSTにより、第2障壁部22の電位障壁の大きさが制御される。これにより、浮遊拡散部FDに転送された電荷が排出部DRに排出されるので、浮遊拡散部FDの電荷がリセットされる。

【0032】
出力部18は、浮遊拡散部FDに転送された電荷に基づく電位に応じた電気信号SEを提供する。出力部18は、トランジスタM3,M4を含み、いわゆるソースフォロワアンプの回路構成をなしている。トランジスタM3,M4は、読出アンプとして機能する。トランジスタM3のゲートは浮遊拡散部FDに接続され、ドレインは高電位電源VDDAに接続され、ソースはトランジスタM4のドレインに接続されている。トランジスタM4は、選択スイッチとして機能する。トランジスタM4のゲートは駆動線LSに接続され、ドレインはトランジスタM3のソースに接続され、ソースは信号線LEに接続されている。

【0033】
ところで、通常、固体撮像装置1Aの製造において微細CMOSプロセスを用いる場合であっても、画素Cのアナログ部分であるトランジスタM1,M2には、信号振幅を確保するために3.3V耐圧のMOSFETを用いることがある。このトランジスタM1,M2では、ゲート電極23,26における絶縁層19bの膜厚が大きく、チャネル長さL1,L2が長く設定されている。ここで、チャネル長さL1は、フォトダイオードPDと浮遊拡散部FDを構成するn+半導体24との間の長さである。また、チャネル長さL2は、浮遊拡散部FDを構成するn+半導体24と排出部DRを構成するn+半導体25の間の長さである。この場合にトランジスタM1,M2の最小チャネル長さは、例えば0.4μm程度である。

【0034】
ここで、出力部18のトランジスタM3,M4を、トランジスタM1,M2と同様の3.3V耐圧のMOSFETとすると、電圧・電流の利得を示すトランスコンダクタンス(以下「gm」ともいう)を高くすることができないため、低ノイズ化が困難になる。

【0035】
そこで、本実施形態のトランジスタM3,M4には、トランジスタM1,M2よりも小さい製造プロセスルールを適用した低電圧微細MOSFETを用いる。トランジスタM3,M4には、例えば、最小チャネル長さが0.18μmである1.8V耐圧のMOSFETを用いる。すなわち、トランジスタM3,M4の製造には、0.18μmのプロセスを用いる。この場合、トランジスタM3,M4の最小チャネル長は、トランジスタM1,M2の半分程度となる。トランジスタM3,M4の製造においては、製造ばらつきを考慮し、チャネル長さは、最小チャネル長に対して10%~数10%程度大きくした長さに設定する。このような微細MOSFETを用いたトランジスタM3,M4を有する出力部18によれば、画像ソースフォロワの周波数帯域を広げ、後段のカラムアンプで帯域制限することにより低ノイズ化することができる。

【0036】
本実施形態における変換利得は、浮遊拡散部FDの静電容量やトランジスタM1~M4の寄生容量、ソースフォロワアンプであるトランジスタM3,M4における電圧利得による低減効果等に基づくものである。本実施形態の画素Cが有する変換利得は、一例として、撮像部2が有する画素アレイPの数がM個(Mは2以上の整数)であるとき、画素アレイPを一つ有する撮像部における変換利得のM倍以上に設定するとよい。例えば、変換利得は、100μV/e~1mV/e(一電荷あたり100マイクロボルト~一電荷あたり1ミリボルト)のオーダーに設定される。

【0037】
ここで、変換利得の一部をなす浮遊拡散部FDの静電容量について説明する。浮遊拡散部FDは、フォトダイオードPDから転送された電荷量と、浮遊拡散部FDにおける静電容量とに基づいて、電荷量を電気信号SE1に変換して出力する。電荷量Q、浮遊拡散部FDの実効静電容量CFD、及び電気信号SE1の電圧ΔVとの関係は、下記式(1)により示される。下記式(1)によれば、電圧ΔVは、電荷量Qに比例し、実効静電容量CFDに反比例する。従って、浮遊拡散部FDにおける電荷—電圧の利得を高めるためには、例えば、浮遊拡散部FDの実効静電容量CFDを小さくすればよい。なお、浮遊拡散部FDにおける電荷—電圧の利得は、本実施形態における変換利得の一部をなす。
【数1】
JP2014024922A1_000003t.gif

【0038】
浮遊拡散部FDの実効静電容量CFDは、下記式(2)に示すように、飽和電子数(q・N)と、電気信号SEの最大振幅(Vpp)に基づいて設定される。浮遊拡散部FDの実効静電容量CFDは、半導体基板19及びn+半導体24の不純物プロファイルや濃度、製造プロセスに依存する。本実施形態の浮遊拡散部FDは、一例として、0.1fF~1fFオーダーの実効静電容量CFDを有する。浮遊拡散部FDの実効静電容量CFDをこのように設定することにより、電荷1個当たりの出力電圧値を高めることができる。
【数2】
JP2014024922A1_000004t.gif

【0039】
以上説明した固体撮像装置1Aにおける画素Cの動作について説明する。まず、画素Cに光Hが入射すると、フォトダイオードPDにおいて電荷が生成される。電荷が生成されると、転送スイッチ駆動線LTを介して制御回路7からゲート電極23に所定の正電圧を有する転送信号TXが印可される。このとき、第1障壁部21の電位障壁の高さが低下するので、フォトダイオードPDのポテンシャル井戸から浮遊拡散部FDのポテンシャル井戸に電荷が転送される。なお、浮遊拡散部FDのポテンシャル井戸の深さは、フォトダイオードPDのポテンシャル井戸の深さよりも深くされているので、電荷の完全転送が実現される。

【0040】
浮遊拡散部FDに電荷が転送されると、浮遊拡散部FDの実効静電容量CFD及び浮遊拡散部FDに転送された電荷量に対応して浮遊拡散部FDの電位が変化する。そして、行選択スイッチ駆動線LSを介して制御回路7からトランジスタM4のゲートに制御信号SCが印可される。これにより、出力部18のトランジスタM3,M4を介して浮遊拡散部FDの電位が、出力部18を介して電気信号SEとして信号線LEに出力される。

【0041】
次に、本実施形態の固体撮像装置1Aによる撮影の処理フローについて説明する。図6は、第1実施形態の処理フローを説明するための図である。処理フローは、マルチアパーチャ画像の撮影前に実施される前処理工程(工程S1)と、マルチアパーチャ画像の撮影時に実施される後処理工程(工程S3)とを含んでいる。

【0042】
図7は、処理フローを説明する為に用いる画素ユニット6の一例を示す図である。画素ユニット6は、M個(Mは2以上の整数)の画素アレイPを有している。画素ユニット6において、最下段且つ左端の画素アレイPをP(1)とし、最上段且つ右端の画素アレイPをP(M)としている。なお、この画素アレイPの符号付けは説明の便宜上のものであり、他の規則に従って符号を付してもよい。

【0043】
図8は、処理フローを説明する為に用いる画素アレイPの一例を示す図である。画素アレイP(1)は、X×Y個の画素Cを有している。画素アレイP(1)において、最下段且つ左端の画素CをC(1,1)とし、最下段且つ右端の画素CをC(X,1)とし、最上段且つ左端の画素CをC(1,Y)とし、最上段且つ右端の画素CをC(X,Y)としている。なお、この画素Cの符号付けは説明の便宜上のものであり、他の規則に従って符号を付してもよい。

【0044】
前処理工程S1では、複数の画素アレイPで取得された複数の画像を1つの画像に統合するために必要な情報を取得する。必要な情報とは、画素C単位ごとの撮像領域Tの組み合わせである。すなわち、画像の統合に用いられる撮像領域Tは、画素Cごとに選択される。本実施形態では、画素アレイPのそれぞれが1つの撮像領域Tを有しているため、必要な情報は画素Cが有するノイズが最小となる画素アレイPの組み合わせの情報となる。組み合わせの情報の一例として、画素C(1,1)では、画素アレイP(1),P(3)…P(m)の画素アレイPが選択される。また、別の画素C(x,y)では、別の画素アレイPの組み合わせである画素アレイP(2),P(6)…P(M)が選択される。なお、これらの組み合わせ情報は、説明の便宜上のものであり、画素C(1,1)及び別の画素C(x,y)の画素値を統合する為に選択される画素アレイPの組み合わせは上記以外の画素アレイのPが選択されてもよい。まず、撮像部2で撮像されたマルチアパーチャ画像の歪みを除去するためのカメラキャリブレーションを実施する(工程S5)。この工程S5では、レンズ部3を構成するレンズ3aをピンホールレンズと仮定し、焦点距離、レンズ3aの光軸と画素アレイPとの交点、歪曲パラメータ等を推定する。また、この工程S5は、一般的に、市松模様状のチェスボードや水玉模様のテストパターンを用いて実施する。

【0045】
次に、固体撮像装置1Aを暗箱等に配置して、画素Cに光を入射させない状態にする。そして、この状態において所定数の暗時画像G(m,r)を取得する(図9(a)参照)。ここで、mは画素ユニット6における画素アレイPの位置を示す符号であり、rは暗時画像Gの取得数である。例えば、暗時画像Gの取得数rは、5枚以上であり、好ましくは100枚以上である。

【0046】
次に、それぞれの画素アレイPにおいて取得された暗時画像Gを、キャリブレーション(工程S5)で推定されたパラメータに基づいて標準化する(工程S7)。この工程S7は、主として画像生成部4Aの標準化部9により実行される。この工程S7では、それぞれの暗時画像Gの歪曲を補正する。また、この工程S7では、それぞれのレンズ3aが有する焦点距離の違いによる結像倍率の違いを補正する。この補正では、複数の画素アレイPにおいて基準とする画素アレイPがあらかじめ設定される。また、この工程S7では、レンズ3aの光軸と画素アレイPとの交点を暗時画像Gの中心として、同じサイズになるように暗時画像Gを切り出す。この工程S7により、標準化された暗時画像GDが得られる。標準化された暗時画像GDでは、各画素アレイPの画像の対応画素が同一の座標上にある。

【0047】
次に、暗時画像GDの画素C毎に暗時ノイズの分散を算出する(工程S9)。この工程S9は、画像生成部4Aの算出部11において実行される。この暗時ノイズは、フォトダイオードPDの暗電流によるショットノイズ、信号読出部17及び出力部18における読み出しノイズ等を含んでいる。暗時ノイズの分散σは、それぞれの画素Cから出力される電気信号SEのばらつきを示すものである。

【0048】
図9(c)は、暗時ノイズを示すグラフの一例である。図9(c)の(ア)部は、画素アレイP(1)で撮像された暗時画像GD(1)において、画素C(1,Y)(図9(b)参照)が有する画素値を縦軸とし、横軸を暗時画像GDの数としたグラフである。この画素Cはσ(1)の分散を有している。図9(c)の(イ)部は、画素アレイP(2)で撮像された暗時画像GD(2)において、画素アレイP(2)に対応する画素C(1,Y)(図9(b)参照)が有する画素値を縦軸とし、横軸を暗時画像GDの数としたグラフである。この画素Cはσ(2)の分散を有している。図9(c)の(ウ)部は、画素アレイP(M)で撮像された暗時画像GD(M)において、画素アレイP(M)に対応する画素C(1,Y)(図9(b)参照)が有する画素値を縦軸とし、横軸を暗時画像GDの数としたグラフである。この画素Cはσ(M)の分散を有している。図9(c)の(ア)~(ウ)を確認すると、画素アレイP間で互いに対応する画素Cからは異なる暗時ノイズを有する電気信号SEが出力されていることがわかる。工程S9では、上述した工程を繰り返し、画素C(1,1)~C(X,Y)のそれぞれの暗時ノイズの分散σを算出する。

【0049】
なお、暗時画像Gを標準化する工程S7及び暗時ノイズの分散σを算出する工程S9は、工程S9を工程S7の前に実施してもよい。

【0050】
次に、画素C単位で暗時ノイズの大きさが最小となるように画素アレイPの組み合わせを決定する(工程S11)。この工程S11は、画像生成部4Aの選択部12において実行される。以下、工程S11について、画素C(1,Y)における画素値を生成するための画素アレイPの組み合わせを決定する工程を一例として説明する。

【0051】
図10(a)に示すように、工程S9により、画素アレイPの間で互いに対応する画素C(1,Y)の分散σ(1)~σ(M)が算出される。画素アレイP(1)の画素Cの分散σは、σ(1)である。画素アレイP(2)の画素Cの分散σは、σ(2)である。画素アレイP(3)の画素Cの分散σは、σ(3)である。画素アレイP(m)の画素Cの分散σは、σ(m)である。画素アレイP(M)の画素Cの分散σは、σ(M)である。

【0052】
次に、図10(b)に示すように、分散σが小さい順に並び替える。本実施形態では、分散σは、σ(m)が最も小さく、σ(3)、σ(2)、σ(1)、σ(M)の順に大きくなるものとする。

【0053】
次に、図11に示すように、分散σの値が小さいものから順に画素値を平均した場合の分散値Meを、下記式(3)を用いて算出する。ここで、下記式(3)において、A={1,2,…,M}であり、画素アレイPの集合を示す。また、下記式(3)において、A’⊆Aであり、N’はA’の要素数を示す。また、本実施形態における暗時ノイズは、ガウス分布に従うものとする。
【数3】
JP2014024922A1_000005t.gif

【0054】
まず、上記式(3)と、分散σが最も小さいσ(m)及びその次に小さいσ(3)とを用いて分散値Me(2)を算出する。次に、上記式(3)と、σ(m)、σ(3)及びσ(2)を用いて分散値Me(3)を算出する。以下同様に、分散値Meの算出に用いる分散σの数を1つづつ増やし、それぞれの分散値Meを算出することにより、画素値の平均値の分散値Me(1)~Me(M)が得られる。なお、画素平均値の分散値Me(1)は、分散の値が最も小さいσ(m)であるとする。これら分散値Me(1)~Me(M)において最も小さい値となる画素アレイPの組み合わせが、画素C(1,Y)における画素値を生成するための画素アレイPの組み合わせとなる。選択された画素Cには、所定の方法によりフラグ付けがなされる。

【0055】
後処理工程S3では、前処理工程S1で取得された情報に基づいて、撮像部2により撮像されたマルチアパーチャ画像を1つの画像に合成する。

【0056】
まず、固体撮像装置1Aを用いてマルチアパーチャ画像を撮像する(工程S13)。次に、各画素アレイPにおける画像を標準化処理する(工程S15)。この工程S15では、工程S7における処理のように、歪曲の補正、結像倍率の補正、画像サイズを統一するための切り出し、位置合わせ等の処理が実施される。そして、標準化処理されたそれぞれの画素アレイPにおける画像データと、記憶部13に記憶された画素アレイPの組み合わせ情報とに基づいて、マルチアパーチャ画像を1つの画像に統合する。この工程S17は、画像生成部4Aの統合部14において実行される。画素アレイPの画素値をPとすると、合成画素値は、下記式(4)により算出される。以上の工程によりノイズが低減された画像が得られる。なお、必要があれば、統合された画像に対してバイラテラルフィルタなどのノイズ低減フィルタ処理を実施して最終的な出力画像としてもよい。
【数4】
JP2014024922A1_000006t.gif

【0057】
固体撮像装置1Aの効果について説明する。固体撮像装置1Aは、複数のレンズ3aを含むマルチアパーチャ構造を有しているため、被写体像が撮像された画像データからなるマルチアパーチャ画像が得られる。そして、画像生成部4Aでは、撮像領域T間で互いに対応する画素Cごとに電気信号SEを平均化するため、画素Cから提供された電気信号SEに含まれるノイズが低減される。従って、上記固体撮像装置1Aによれば、ノイズを低減した画像を得ることができる。

【0058】
ところで、CMOSイメージセンサの画素では、画素の読出しトランジスタが発生するノイズの影響が大きくなっている。特に、ランダムテレグラフシグナルノイズ(RTSノイズ)が観測されている。RTSノイズは、界面準位に電子が捕獲されることによりフラットバンド電圧がシフトすることに起因している。RTSノイズが発生する画素では、出力がランダムに変動する。特に、微細化されたMOSFETでは、RTSノイズが増加する虞がある。微細化MOSFETでは、不純物分布のばらつきにより一時的かつ局所的に閾値が高くなり、微小領域の特性が全体の特性を支配する。本実施形態の固体撮像装置1Aは、出力部18に微細化されたMOSFETを用いているので、帯域制限により低ノイズ化することができる。一方、固体撮像装置1Aの画素Cは、微細化されたMOSFETを用いるので、RTSノイズを生じる可能性が高まっている。しかし、RTSノイズが発生する画素Cが含まれていたとしても、平均化の過程において、RTSノイズといった比較的大きいノイズが発生する画素Cから提供される電気信号SEは、画像の統合に用いられることがない。従って、微細化MOSFETの適用によるRTSノイズの影響を抑制し、入力換算ノイズを低減することができる。

【0059】
本実施形態の固体撮像装置1Aは、マルチアパーチャ構造を有している。このような構成によれば、合成実効画素サイズを大きくすることができる。従って、単一の露光時間であっても、大きい飽和電子数と、超高感度とを両立させることができる。

【0060】
本実施形態の固体撮像装置1Aは、画素アレイPを複数備えている。このような構成によれば、一部の画素アレイPに欠陥画素が含まれている場合には、欠陥画素を含む画素アレイPの電気信号SEを用いることなく、その他の画素アレイPの電気信号SEに基づいて画像を統合する。従って、欠陥画素による補完が不要であるため、1画素サイズの極めて微弱な光を発する微小物体を検出することができる。

【0061】
ところで、レンズの開口を大きくする、即ちレンズのF値を小さくすることで、より多くの光を取り込み、カメラシステムの感度を向上する手法がある。しかし、レンズの開口を大きくすると、レンズの収差補正のために複数のレンズが必要となる。従って、レンズを含む光学系の重量の増加、製造コストの増加、可搬性の低下等の問題が生じる虞がある。また、一般に、F値を1以下とすることは、収差補正の点から非常に困難である。これに対して、本実施形態の固体撮像装置1Aは、複数のレンズ3aを有するレンズ部3を備えている。軽量且つF値が大きいレンズ3aを複数用いることにより、光学系の実効的な明るさを向上させ、F値を0に近づけることができる。例えば、F値が1.4であるレンズ3aを3行×3列配置したレンズ部3は、実効F値が0.47となる。

【0062】
また、固体撮像装置には暗電流の大きい欠陥画素が必ずいくつかは存在する。これらの画素から提供される電気信号は、画像の統合に利用することができない。従って、欠陥画素の周囲にある画素から提供される電気信号を用いて補完する必要があるために、情報が欠落する。情報が欠落する場合には、例えば、微小物体を検出することができない。これに対して、本実施形態の固体撮像装置1Aは、複数の画素アレイPを有しているので、被写体像が撮像された複数の画像データが得られる。従って、欠陥画像における電気信号を補完する必要がないため、情報の欠落を防止することができる。

【0063】
(第2実施形態)
第2実施形態に係る固体撮像装置1Bについて説明する。固体撮像装置1Bは、選択部12に代えて係数算出部15を有する点で固体撮像装置1Aと相違する。撮像部の構成は、第1実施形態の撮像部2と同様であるため、詳細な説明は省略する。以下、係数算出部15について詳細に説明する。

【0064】
図12は、二次元イメージセンサである第2実施形態の固体撮像装置1Bの構成を示す図である。図12に示すように、固体撮像装置1Bは、撮像部2と、レンズ部3と、画像生成部4Bとを有している。画像生成部4Bは、標準化部9と、算出部11と、係数算出部15と、記憶部13Bと、統合部14Bとを有している。係数算出部15は、算出部11から出力されたノイズの分散に基づいて、それぞれの撮像領域Tにおける互いに対応する画素Cにおける平均値の分散が最小となるように重み係数wを算出する。算出された重み係数wは記憶部13Bに出力され、記憶される。記憶部13Bは、撮像部2から出力された画像信号SGの統合に用いる情報を記憶している。本実施形態における画像信号SGの統合に用いる情報とは、各画素Cの電気信号に乗算される重み係数である。統合部14Bは、記憶部13Bに記憶されている情報に基づいて、撮像部2から出力された画像信号SGを1つの画像データに統合する。

【0065】
図13は、第2実施形態における処理フローを説明するための図である。第2実施形態における処理フローは、前処理工程S2において、第1実施形態の暗時画像Gの画素C毎に暗時ノイズの分散を算出する工程(工程S9)に代えて、画素C単位で平均値の分散が最小となるように重み係数を算出する工程(工程S10)を有する点で、第1実施形態の処理フローと相違する。

【0066】
第2実施形態の処理では、カメラキャリブレーションの実施(工程S5)、暗時画像Gの標準化(工程S7)、撮像領域Tの画素Cごとに暗時ノイズの分散の算出(工程S9)を行う。次に、重み係数wを算出する(工程S10)。この工程S10は、主として画像生成部4Bの係数算出部15により実行される。工程S10では、下記式(5)に示すように、分散σに重み係数wを乗算した値を対応する全ての画素Cに亘って平均化し、平均値が最小となるそれぞれの重み係数wを算出する。それぞれの画素Cの分散σに乗算される重み係数wは、下記式(6)を用いて算出する。なお、重み係数wは、下記式(7)を満たすものである。
【数5】
JP2014024922A1_000007t.gif
【数6】
JP2014024922A1_000008t.gif
【数7】
JP2014024922A1_000009t.gif

【0067】
後処理工程S3では、前処理工程S2で取得された情報に基づいて、撮像部2により撮像されたマルチアパーチャ画像を1つの画像に合成する。まず、固体撮像装置1Bを用いてマルチアパーチャ画像を撮像する(工程S13)。次に、各画素アレイPにおける画像を標準化処理する(工程S15)。そして、標準化処理されたそれぞれの画素アレイPにおける画像データと、記憶部13Bに記憶された重み係数wとに基づいて、マルチアパーチャ画像を1つの画像に統合する(工程S17)。この工程S17は、主として画像生成部4Bの統合部14Bにおいて実行される。画素アレイPの画素値をPとすると、合成画素値は、下記式(8)により算出される。以上の工程によりノイズが低減された画像が得られる。
【数8】
JP2014024922A1_000010t.gif

【0068】
本実施形態の固体撮像装置1Bにおいても、固体撮像装置1Aと同様の効果を得ることができる。

【0069】
(第3実施形態)
第3実施形態に係る固体撮像装置1Cについて説明する。図14は、二次元イメージセンサである第3実施形態の固体撮像装置1Cの構成を示す図である。固体撮像装置1Cは、信号処理回路8が出力処理部8aを有している点で固体撮像装置1Aと相違する。出力処理部8aは、後述する2つの出力部18a,18bから提供される電気信号SEa,SEbを処理する。処理の内容は、後述する。

【0070】
図15は、第3実施形態の固体撮像装置1Cに内蔵される画素Ccの構造の一例を示す図である。図15に示すように、固体撮像装置1Cは、主として画素3Cが2つの出力部18a,18bを有している点で、第1実施形態に係る固体撮像装置1Aと相違する。画素Ccは、第1出力部18aと、第2出力部18bとを有している。第1出力部18aは、トランジスタM3a,M3bに加え、さらにトランジスタM5aを有している。このトランジスタM5aは、トランジスタM3aが有する寄生容量を低減する為に用いられる。トランジスタM5aのゲートは後述するトランジスタM4bのゲートに接続されている。トランジスタM5aのドレインは高電位電源VDDAに接続されている。トランジスタM5aのソースはトランジスタM3aのソースに接続されている。

【0071】
第2出力部18bは、3つのトランジスタM3b,M4b,M5bを有している。トランジスタM3bのゲートは浮遊拡散部FDに接続され、ドレインは高電位電源VDDAに接続され、ソースはトランジスタM4bのドレイン及びトランジスタM5bのソースに接続されている。トランジスタM4bのゲートはトランジスタM5aのゲート及び駆動線LSbに接続され、ドレインはトランジスタM3bのソースに接続され、ソースは信号線LEbに接続されている。トランジスタM5bのゲートはトランジスタM4aのゲート及び駆動線LSaに接続され、ドレインは高電位電源VDDAに接続され、ソースはトランジスタM3bのソース及びトランジスタM4bのドレインに接続されている。

【0072】
第1及び第2出力部18a,18bによる電気信号SEa,SEbの読出し動作について説明する。まず、第1駆動線LSaを介して制御信号が第1出力部18aのトランジスタM4aと、第2出力部18bのトランジスタM5bに入力される。このとき、第1出力部18aを介して第1電気信号SEaが信号線LEaに出力される。また、第2出力部18bでは、読出しアンプであるトランジスタM3bのソースに高電圧が印可されるので、トランジスタM3bのゲート直下が空乏化される。次に、第2駆動線LSbを介して制御信号が第1出力部18aのトランジスタM5aと、第2出力部18bのトランジスタM4bに入力される。このとき、第2出力部18bを介して第2電気信号SEbが信号線LEbに出力される。また、第1出力部18aでは、読出しアンプであるトランジスタM3aのソースに高電圧が印可されるので、トランジスタM3aのゲート直下が空乏化される。

【0073】
第1及び第2出力部18a,18bを構成する各トランジスタM3a~M5a,M3b~M5bは、それぞれ異なるノイズを有している。従って、第1出力部18aから読み出された第1電気信号SEaに含まれるノイズと、第2出力部18bから読み出された第2電気信号SEbに含まれるノイズとを取得し、ノイズを低減し得る組み合わせを決定する。例えば、第1電気信号SEaを単独で用いる場合、第2電気信号SEbを単独で用いる場合、第1及び第2電気信号SEa,SEbを算術平均等する場合がある。これらの処理内容は、画素Ccごとに予め決定され、信号処理回路8に記憶される。そして、各画素Ccから電気信号SEa,SEbを読み出す場合に、予め定められた処理内容が実行される。この処理は、主として信号処理回路8の出力処理部8aにおいて実行される。

【0074】
従って、これら第1及び第2出力部18a,18bを有する画素Ccでは、第1出力部18aから第1電気信号SEaが提供され、第2出力部18bから第2電気信号SEbが提供される。

【0075】
図16は、読出しアンプであるトランジスタM3a,M3bを示している。M3a,M3bは、ゲート71g、ソース71s、ドレイン71dを含んでいる。ここで、読出しアンプであるトランジスタM3a,M3bのゲート71gの直下を空乏化させない場合には、ゲート71直下にチャネル72があるため容量73がそのまま存在する。この容量73は、ノイズの低減を阻害するおそれがある(図16(a)参照)。一方、トランジスタM3a,M3bのソース71sに電圧を印可してゲート71gの直下を空乏化させた場合(図16(b)参照)には、ゲート71gの容量74が空乏層76の容量に直列に結合される。容量の直列結合によれば、合成された容量は見かけ上低減する。従って、ノイズを低減することができる。このように、第3実施形態の固体撮像装置1Cでは、読出しに用いていない出力部のトランジスタのソースに高い電圧を与えてゲート直下を空乏化させることにより、浮遊拡散部FDの電位ノードの寄生容量が増加して変換利得が低下する、すなわち入力換算ノイズが増加することを抑制している。

【0076】
固体撮像装置1Cの画素Ccでは、第1出力部18aから第1電気信号SEaを読み出す場合には、読出しに使用しない第2出力部18bのトランジスタM3bのゲート直下を空乏化させる。従って、第1電気信号SEaのノイズを低減させることができる。また、第2出力部18bから第2電気信号SEbを読み出す場合には、読出しに使用しない第1出力部18aのトランジスタM3aのゲート直下を空乏化させる。従って、第2電気信号SEbのノイズを低減させることができる。従って、固体撮像装置1Cによれば、さらにノイズを低減した画像を得ることができる。

【0077】
(変形例1)
本発明の固体撮像装置1Aは、前述した実施形態に限定されるものではない。上述した第1~第3実施形態では、画素アレイPは1つの撮像領域Tを有し、撮像部2は画素アレイPを複数有していた。しかし、本発明に係る固体撮像装置は、画素アレイPが複数の撮像領域Tを有し、撮像部2が画素アレイPを1つ有していてもよい。図17は、変形例1の撮像部2における画素アレイPと撮像領域Tとを示す図である。変形例1の撮像部81は、1つの画素アレイPを有している。また、画素アレイP上には、複数のレンズ3aが配置されている。複数の撮像領域Tはレンズ3aに対応している。このような構成によれば、レンズ部3により被写体像が結像される撮像領域Tが1つの画素アレイPに複数設定される。従って、この撮像部2から提供される電気信号SEによれば、一つの画像が得られる。そして、この画像には、複数の被写体が撮影されている。すなわち、変形例1では、1つのイメージセンサを分割して用いている。このような構成であっても、ノイズが低減された画像を得ることができる。

【0078】
(変形例2)
また、上述した第1~第3実施形態では、固体撮像装置1A~1Cと被写体との間の距離が固定であった。しかし、固体撮像装置1A~1Cと被写体との間の距離は固定である必要はなく、任意の距離に変化してもよい。図18は、固体撮像装置1A~1Cと被写体との間の距離が変化する場合の変形例2に係る処理フローを示す図である。処理フローは、撮影前に実施される前処理工程(工程S21)と、撮影時に実施される後処理工程(工程S23)とを含んでいる。

【0079】
変形例2の処理フローは、撮像領域Tの組み合わせを決定する工程S11が前処理工程S21で実施されず、後処理工程S23で実施される点で第1実施形態の処理フローと相違する。また、変形例2の処理フローは、後処理工程S23において、固体撮像装置1A~1Cと被写体との距離を推定する工程S14を有する点で第1実施形態の処理フローと相違する。

【0080】
マルチアパーチャ画像を撮影している間に固体撮像装置1A~1Cと被写体との距離が変化する場合には、それぞれの撮像領域Tにおいて互いに対応する画素Cは、撮影状況に依存して変化する。従って、マルチアパーチャ画像を撮影するごとに、それぞれの撮像領域Tにおける画素C同士の対応関係を算出し、その結果に基づいて、画素C毎に暗示ノイズの平均値の分散が最小となる撮像領域Tの組み合わせを決定する。また、工程S14では、各撮像領域Tごとに撮像された画像の間において、位置合わせを実施してもよい。この場合、拡大率はフーリエ変換、log-polar変換後のスペクトルに基づいて補正する。また、位置合わせには、位相限定相関法や特徴点を用いる方法を採用することもできる。さらに、固体撮像装置1A~1Cと被写体との距離を推定する工程S14では、デプスマップを用いてもよい。

【0081】
(変形例3)
また、第1~第3実施形態では、画素Cは、小容量化された浮遊拡散部FDと、微細化されたトランジスタM3,M4とを有していた。しかし、固体撮像装置1Aが有する画素Cは、小容量化された浮遊拡散部FDと、微細化されたトランジスタM3,M4とを有する画素に限定されることはない。また、トランジスタM3,M4には、トランジスタM1,M2と同じチャネル長を有するMOSFETを用いてもよい。このような画素を有する固体撮像装置においても、ノイズが低減された画像を得ることができる。

【0082】
(変形例4)
また、前述した第1~第3実施形態では、フォトダイオードPDの暗電流によるショットノイズや信号読出部17及び出力部18におけるアンプノイズをパワーで加算して、統一的に暗示ノイズとして処理した。このような処理によれば、画素ごとに電気信号を平均化する工程において、第1実施形態に記載した選択平均法、第2実施形態に記載した加重平均法のいずれも適用することができる。一方、アンプに起因するノイズと暗電流に起因するノイズとをそれぞれ別々に処理してもよい。まず、アンプに起因するノイズと暗電流に起因するノイズとを、蓄積時間を変更することにより分離する。次に、アンプに起因するノイズに注目して選択平均法により画像の合成に用いる画素アレイPを選択する。また、暗電流に起因するノイズに注目して選択平均法により画像の合成に用いる画素アレイPを選択する。そして、アンプに起因するノイズに注目して選択された画素アレイPと、暗電流に起因するノイズに注目して選択された画素アレイPとにおいて共通する画素アレイPを用いて画像を合成する。

【0083】
(実施例1)
本発明に係る固体撮像装置について、ノイズを低減する効果をシミュレーションにより確認した。シミュレーションに用いた固体撮像装置のモデルは、撮像部2が3行×3列に配置された9個の画素アレイPを有している。それぞれの画素アレイPは、200行×200列に配置された画素Cを有している。それぞれの画素Cは、発明者らが開発した低ノイズイメージセンサが有するノイズの実測値を有するものとした。図19(d)は、原画像のデータに対してフォトンショットノイズと、実測したセンサノイズを加えたシミュレーション画像である。

【0084】
画像を統合するために実施される互いに対応する画素Cごとに電気信号を平均化するための手法として、第1実施形態の固体撮像装置1Aで用いた選択平均法を用いた。ここで、選択平均法とは、電気信号SEの平均化において、統合後の各画素Cの分散が最小になるように1つ以上の画素アレイPを選択し、選択された画素アレイPの画素値の平均値を統合画像の画素値とする方法である。さらに、比較例として、画素Cごとに電気信号を平均化するための手法として、単純平均法及び最小ノイズ選択法を用いた。ここで、単純平均法とは、電気信号SEの平均化において、全ての画素アレイPの画素値を用いて画素値の平均値を統合画像の画素値とする方法である。また、最小ノイズ選択法とは、分散が最小である画素アレイの画素のみを選択して当該画素の画素値を統合画像の画素値とする方法である。

【0085】
図19(a)は、単純平均法を用いて処理した画像である。図19(a)を確認すると、ノイズは全体的に低減できているが、RTSノイズ又は暗電流のショットノイズに起因するごま塩状のノイズがあることが確認された。図19(b)は、最小ノイズ選択法を用いて処理した画像である。図19(b)を確認すると、ごま塩状のノイズは無いが、全体的にノイズレベルが高いことが確認された。

【0086】
これらに対して、図19(c)は、選択平均法を用いて処理した画像である。図19(c)に示すように、選択平均法を用いて処理した場合には、比較例よりもノイズが低減され、RTSノイズ又は暗電流のショットノイズによるごま塩状のノイズのノイズは確認されなかった。従って、比較例による方法よりもノイズを低減できることがわかった。

【0087】
(実施例2)
本発明に係る固体撮像装置について、ノイズの分布をシミュレーションにより確認した。シミュレーションに用いた固体撮像装置のモデルは、実施例1と同様である。また、実施例1のように、比較例として単純平均法と最小ノイズ選択法を用いた場合のノイズの分布を確認した。

【0088】
図20は、入力換算ノイズの分布を示している。図20は、横軸が入力換算ノイズを示し、縦軸が入力換算ノイズを有する画素の数を示している。ここで、入力換算ノイズとは、撮像部3から出力される電気信号SEにおけるノイズの大きさを、ソースフォロワアンプのゲイン等で割り戻して電荷の数に換算したものである。入力換算ノイズは、光電変換部16で生成された電荷から、画像信号SGとして撮像部2から出力されるまでの間のトータルゲインで、ノイズの量を割り戻すことにより算出される。

【0089】
図20のグラフH1は、平均化処理を実施する前の画像が有するノイズの分布である。グラフH1では、ノイズの分布のピークPK1は1.02電子rmsであった。また、グラフH1では、ノイズレベルが10電子rms程度の比較的大きいノイズを有する画素の存在が確認された。

【0090】
図20のグラフH2は、単純平均法による処理を実施した画像が有するノイズの分布である。グラフH2では、ノイズの分布のピークPK2は0.47電子rmsであり、処理前よりもノイズが低減されていることが確認された。しかしながら、グラフH2では、1~10電子rmsの大きさのノイズを有する画素の存在が確認された。

【0091】
図20のグラフH3は、最小ノイズ選択法による処理を実施した画像が有するノイズの分布である。グラフH3では、ノイズの分布のピークPK3は0.84電子rmsであり、処理前よりもノイズが低減されていることが確認された。

【0092】
図20のグラフH4は、選択平均法による処理を実施した画像が有するノイズの分布である。グラフH4では、ノイズの分布のピークPK4は0.46電子rmsであり、処理前よりもノイズが低減されていることが確認された。また、ピークの入力換算ノイズ値は単純平均法と同等であった。一方、グラフH4では、単純平均法のグラフH2では確認された1~10電子rmsの大きさのノイズは確認されなかった。従って、選択平均法による処理が最もノイズを低減できることがわかった。また、1電子rmsを下回る低ノイズ化が可能であることがわかった。

【0093】
(実施例3)
本発明に係る固体撮像装置について、選択平均法を用いた場合のノイズの分布を実施例2とは別のシミュレーションにより確認した。シミュレーションに用いた固体撮像装置のモデルは、実施例1と同様である。比較例として、単純平均法、最小ノイズ選択法、中央値選択法を用いた場合のノイズの分布を確認した。また、マルチアパーチャ構造により実現される合成F値と同等の明るさを有するシングルアパーチャ構造の撮像装置において想定されるノイズの分布も確認した。

【0094】
図21は、入力換算ノイズの分布を示している。図21は、横軸が実効的な光学ゲインで規格化した入力換算ノイズを示し、縦軸が入力換算ノイズを有する画素の数を示している。

【0095】
グラフH5は、平均化処理を実施する前の画像が有するノイズの分布である。ノイズの分布のピークPK5は0.81電子rmsであった。グラフH6は、単純平均法による処理を実施した画像が有するノイズの分布である。ノイズの分布のピークPK6は0.30電子rmsであった。グラフH7は、最小ノイズ選択法による処理を実施した画像が有するノイズの分布である。ノイズの分布のピークPK7は0.68電子rmsであった。グラフH8は、選択平均法による処理を実施した画像が有するノイズの分布である。ノイズの分布のピークPK8は0.30電子rmsであった。

【0096】
グラフH9は、画像の合成時に中央値を選択する中央値選択法による処理を実施した画像が有するノイズの分布である。ノイズの分布のピークPK9は0.40電子rmsであった。RTSノイズは除去されているがノイズのピークPK9は、選択平均法におけるノイズの分布のピークPK8よりも大きいことがわかった。

【0097】
グラフH10は、シングルアパーチャ構造の撮像装置において想定されるノイズの分布である。ノイズの分布のピークPK10は0.14電子rmsであった。ノイズピークPK10は最も小さいがRTSノイズが残存していることがわかった。画素の微細化が進むとこのRTSノイズ成分が大きくなり、画質が劣化することが予想される。
【符号の説明】
【0098】
1A,1B,1C…固体撮像装置、2,81…撮像部、3…レンズ部、3a…レンズ,4A,4B…画像生成部、11…算出部、12…選択部、13,13B…記憶部、14,14B…統合部、15…係数算出部、16…光電変換部、18…出力部、18a…第1出力部、18b…第2出力部、C,Cc…画素、DR…排出部、FD…浮遊拡散部、H…光、M1,M2,M3,M3a,M3b,M4,M4a,M4b,M5a,M5b…トランジスタ、P…画素アレイ、SE,SE1,SEa…電気信号、T…撮像領域。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20