TOP > 国内特許検索 > レンズレス撮像装置 > 明細書

明細書 :レンズレス撮像装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-031327 (P2020-031327A)
公開日 令和2年2月27日(2020.2.27)
発明の名称または考案の名称 レンズレス撮像装置
国際特許分類 H04N   5/225       (2006.01)
G03B  15/00        (2006.01)
H04N   5/232       (2006.01)
G06T   1/00        (2006.01)
FI H04N 5/225 300
G03B 15/00 Z
H04N 5/225 800
H04N 5/232 380
H04N 5/232 290
G06T 1/00 500Z
請求項の数または発明の数 6
出願形態 OL
全頁数 14
出願番号 特願2018-155651 (P2018-155651)
出願日 平成30年8月22日(2018.8.22)
発明者または考案者 【氏名】中村 友哉
【氏名】山口 雅浩
出願人 【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
個別代理人の代理人 【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃
【識別番号】100192212、【弁理士】、【氏名又は名称】河野 貴明
【識別番号】100204032、【弁理士】、【氏名又は名称】村上 浩之
審査請求 未請求
テーマコード 5B057
5C122
Fターム 5B057BA15
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5C122EA54
5C122FA02
5C122FC04
5C122FH11
5C122FH18
5C122GE01
5C122GE05
5C122GE11
5C122HA88
要約 【課題】装置の小型化と画角が180度以上の広角撮像を実現する。
【解決手段】レンズレス撮像装置100であって、複数の孔部102b、104bと孔部の周縁に設置される光検出器102a、104aがそれぞれ設けられ、光検出器が設置される面が互いに対向して設けられる少なくとも一対のCMOSイメージセンサ102、104から構成される撮像部101と、光検出器から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い被写体の撮像画像を出力する画像再構成処理部110と、を備え、撮像部は、一方のCMOSイメージセンサに設置される光検出器が他方のCMOSイメージセンサに開口された複数の孔部を介して得られる符号化光学像をスパースサンプリングし、画像再構成処理部は、光検出器からスパースサンプリングされた符号化光学像を圧縮センシングに基づき画像再構成して撮像画像を出力する。
【選択図】図1
特許請求の範囲 【請求項1】
結像させるレンズを用いずに被写体を撮像可能なレンズレス撮像装置であって、
有効画素領域にランダムに開口された複数の孔部と該孔部の周縁に設置される光検出器がそれぞれ設けられ、かつ、該光検出器が設置される面が互いに対向するように設けられる少なくとも一対のCMOSイメージセンサから構成される撮像部と、
前記CMOSイメージセンサの前記光検出器から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い前記被写体の撮像画像を出力する画像再構成処理部と、を備え、
前記撮像部は、前記一対のCMOSイメージセンサのうち、一方のCMOSイメージセンサに設置される前記光検出器が他方のCMOSイメージセンサに開口された前記複数の孔部を介して得られる前記撮像データとして符号化光学像をスパースサンプリングし、
前記画像再構成処理部は、前記光検出器からスパースサンプリングされた前記符号化光学像を圧縮センシングに基づき画像再構成して前記撮像画像を出力することを特徴とするレンズレス撮像装置。
【請求項2】
前記画像再構成処理部は、それぞれの前記CMOSイメージセンサの前記光検出器からスパースサンプリングされた前記符号化光学像のスパース性を利用した逆解析により、圧縮センシングに基づく画像再構成を行うことを特徴とする請求項1に記載のレンズレス撮像装置。
【請求項3】
前記一対のCMOSイメージセンサは、前記複数の孔部による開口率がそれぞれ略同一であることを特徴とする請求項1又は2に記載のレンズレス撮像装置。
【請求項4】
前記複数の孔部は、前記CMOSイメージセンサの縁部の領域を除いた有効画素領域のみに形成されることを特徴とする請求項1乃至3の何れか1項に記載のレンズレス撮像装置。
【請求項5】
前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサから構成されることを特徴とする請求項1乃至4の何れか1項に記載のレンズレス撮像装置。
【請求項6】
前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサのユニットが複数から構成される多面体形状であることを特徴とする請求項1乃至4の何れか1項に記載のレンズレス撮像装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、結像させるレンズを用いることなく、被写体を撮像するレンズレス撮像装置に関する。
【背景技術】
【0002】
近年では、スマートフォン等に搭載するデジタルカメラは、薄型化が必要とされている。この種のデジタルカメラの薄型化技術として、例えば、特許文献1には、レンズを用いることなく物体像を撮像可能な撮像システムが開示されている。当該撮像システムでは、画像センサ上に貼り付けられる基板の上面に形成される格子のパターンが渦巻き状等の特殊なパターンとなっている。このため、当該撮像システムで像を現像する際に、画像センサにて受光される射影パターンから逆問題を解くときの演算量が多いという問題があった。
【0003】
レンズを用いることなく物体像を得るデジタルカメラの薄型化を図る際に、現像処理に係る演算量を低減するために、例えば、特許文献2では、フレネルゾーンプレートによる符号化開口を用いて光線情報を取得する撮像装置が開示されている。当該撮像装置では、第1のパターンを有し、光の強度を変調する変調器を透過した光を画像センサが画像データに変換して出力し、画像処理部が当該画像データと第2のパターンを示すパターンデータとの相互相関演算に基づいて像を復元するものとなっている。
【先行技術文献】
【0004】

【特許文献1】米国特許出願公開第2014/0253781号明細書
【特許文献2】特開2018-061109号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、これらの手法では、光学系の薄型化や設計自由度の拡大に伴う高性能化が実現されるものの、撮像部を構成するイメージセンサの裏側を撮影できないため、当該撮像部で撮像可能な範囲を示す画角が180度未満のものとなっていた。撮像装置の薄型化や小型化の要請に応えるために開発されてきたレンズレス撮像装置においても、より簡素な構成で当該画角が180度以上の広角な撮像が実現されることが望まれる。
【0006】
本発明は、上記課題に鑑みてなされたものであり、より簡素な構成で装置を小型化した上で画角が180度以上の広角な撮像を実現することの可能な、新規かつ改良されたレンズレス撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、結像させるレンズを用いずに被写体を撮像可能なレンズレス撮像装置であって、有効画素領域にランダムに開口された複数の孔部と該孔部の周縁に設置される光検出器がそれぞれ設けられ、かつ、該光検出器が設置される面が互いに対向するように設けられる少なくとも一対のCMOSイメージセンサから構成される撮像部と、前記CMOSイメージセンサの前記光検出器から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い前記被写体の撮像画像を出力する画像再構成処理部と、を備え、前記撮像部は、前記一対のCMOSイメージセンサのうち、一方のCMOSイメージセンサに設置される前記光検出器が他方のCMOSイメージセンサに開口された前記複数の孔部を介して得られる前記撮像データとして符号化光学像をスパースサンプリングし、前記画像再構成処理部は、前記光検出器からスパースサンプリングされた前記符号化光学像を圧縮センシングに基づき画像再構成して前記撮像画像を出力することを特徴とする。
【0008】
本発明の一態様によれば、有効画素領域にランダムに複数の孔部を設けて対向配置させたCMOSイメージセンサ同士が符号化開口として機能して符号化光学像が得られるので、これら符号化光学像をスパースサンプリングして圧縮センシングに基づき画像再構成することによって、レンズレスで画角が180度以上の広角な撮像が実現できる。
【0009】
本発明の一態様では、前記画像再構成処理部は、それぞれの前記CMOSイメージセンサの前記光検出器からスパースサンプリングされた前記符号化光学像のスパース性を利用した逆解析により、圧縮センシングに基づく画像再構成を行うこととしてもよい。
【0010】
このようにすれば、撮像部で得られた符号化光学像のスパース性を利用した逆解析により、圧縮センシングに戻づく画像再構成を行えるので、レンズレスで画角が180度以上の広角な撮像が実現できる。
【0011】
本発明の一態様では、前記一対のCMOSイメージセンサは、前記複数の孔部による開口率がそれぞれ略同一であることとしてもよい。
【0012】
このようにすれば、各CMOSイメージセンサから得られる符号化光学像のスパース性等が略同一になるので、より広角に均一な撮像が実現できる。
【0013】
また、本発明の一態様では、前記複数の孔部は、前記CMOSイメージセンサの縁部の領域を除いた有効画素領域のみに形成されることとしてもよい。
【0014】
このようにすれば、CMOSイメージセンサからの再構成画像の画質の劣化を抑制しながら、装置の小型化が実現できる。
【0015】
また、本発明の一態様では、前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサから構成されることとしてもよい。
【0016】
このようにすれば、撮像部をよりコンパクト化した上で、レンズレスで画角が180度以上の広角な撮像が実現できる。
【0017】
また、本発明の一態様では、前記撮像部は、前記複数の孔部の周縁に前記光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサのユニットが複数から構成される多面体形状であることとしてもよい。
【0018】
このようにすれば、確実にレンズレスで全方位に向けた画角が大きい広角な撮像が実現できる。
【発明の効果】
【0019】
以上説明したように本発明によれば、撮像部を一対のCMOSイメージセンサの有効画素領域にランダムに複数の孔部を設けて光検出器を設置した面を対向配置させる簡素な構成とすることによって、装置を小型化した上で画角が180度以上の広角な撮像をレンズレスで実現できるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係るレンズレス撮像装置の概略構成を示すブロック図である。
【図2】(A)乃至(C)は、本発明の一実施形態に係るレンズレス撮像装置に備わる撮像部の構成例を示す説明図である。
【図3】本発明の一実施形態に係るレンズレス撮像装置の設計の一実施例を示す動作説明図である。
【図4】本発明の一実施形態に係るレンズレス撮像装置の撮像動作及び画像再構成処理動作の一実施例を示す数理モデルによる動作説明図である。
【図5】本発明の一実施形態に係るレンズレス撮像装置の実施例の動作原理を説明する説明図である。
【図6】本発明の一実施形態に係るレンズレス撮像装置を設計する際に検討した画素孔部の幅に関するグラフである。
【図7】本発明の一実施形態に係るレンズレス撮像装置の設計時における一実施例の撮像結果を示す説明図である。
【図8】本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データのS/N、拘束項係数τの影響を検討した実施例の撮像結果を示す説明図である。
【図9】本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データの物体依存性の影響を検討した実施例の撮像結果を示す説明図である。
【図10】本発明の一実施形態に係るレンズレス撮像装置の設計時における開口エリア制限と再構成への影響を検討した実施例の撮像結果を示す説明図である。
【図11】本発明の一実施形態に係るレンズレス撮像装置の設計時におけるCMOSイメージセンサの開口率とサンプリングレートの影響を検討した実施例の撮像結果を示す説明図である。
【図12】本発明の一実施形態に係るレンズレス撮像装置の一実施例の構成を示す説明図である。
【発明を実施するための形態】
【0021】
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

【0022】
まず、本発明の一実施形態に係るレンズレス撮像装置の概略構成について、図面を使用しながら説明する。図1は、本発明の一実施形態に係るレンズレス撮像装置の概略構成を示すブロック図である。

【0023】
本発明の一実施形態に係るレンズレス撮像装置100は、結像させるレンズを用いずに被写体を撮像可能とする撮像装置に適用される。特に、本実施形態のレンズレス撮像装置100は、撮像部を構成する光学系の薄型化や設計自由度の拡大に伴う高性能化を実現した上で、簡素な構成で装置の小型化と画角の180度以上の広角な撮像を実現させるために適用される。本実施形態のレンズレス撮像装置100は、図1に示すように、撮像部101と、画像再構成処理部110とを備える。

【0024】
撮像部101は、被写体となる撮像対象を撮像して得られた画素信号を撮像データに変換する機能を有する。本実施形態では、撮像部101は、図1に示すように、一対のCMOSイメージセンサ102、104と、これらのCMOSイメージセンサ102、104で取得される撮像データをそれぞれ取り込むインターフェース機能部106、108とを備える。

【0025】
本実施形態では、CMOSイメージセンサ102、104は、図1に示すように、それぞれの有効画素領域にランダムに開口された複数の孔部102b、104bと、当該孔部102b、104bの周縁に設置されるフォトダイオード等からなる光検出器102a、104aがそれぞれ設けられている。そして、これらのCMOSイメージセンサ102、104は、光検出器102a、104aが設置される面が互いに対向するように設けられている。

【0026】
CMOSイメージセンサ102、104には、シリコン材料等から構成される有効画素領域にDeep RIE装置等で加工分解能や画素ピッチオーダー等を踏まえた穴あけ加工により、それぞれの有効画素領域にランダムに複数の孔部102b、104bが形成される。CMOSイメージセンサ102、104は、有効画素領域の画素ごとに電荷の読み出しを行うので、孔部102b、104bの空いた画素が混在していても、イメージセンサとして機能する。

【0027】
このように、一対のCMOSイメージセンサ102、104のそれぞれの有効画素領域にランダムに複数の孔部102b、104bを開口して、かつ、CMOSイメージセンサ102、104の光検出器102a、104aが設置される面が互いに対向するように配置させることによって、対向する各CMOSイメージセンサ102、104は、互いに符号化開口として機能するようになる。そして、各CMOSイメージセンサ102、104の光検出器102a、104aは、それぞれ符号化光学像をスパースサンプリングする。

【0028】
すなわち、一方のCMOSイメージセンサ102は、対向して設けられる符号化開口として機能する他方のCMOSイメージセンサ104の光検出器104aが設けられた面に対して背面側からの集光により、CMOSイメージセンサ102の光検出器102aが符号化光学像をスパースサンプリングする。これに対して、他方のCMOSイメージセンサ104は、対向して設けられる符号化開口として機能する一方のCMOSイメージセンサ102の光検出器102aが設けられた面に対して背面側からの集光により、CMOSイメージセンサ104の光検出器104aが符号化光学像をスパースサンプリングする。

【0029】
このように、本実施形態では、一対のCMOSイメージセンサ102、104のそれぞれが対向側のCMOSイメージセンサ104、102を符号化開口として機能させることによって、対向する当該CMOSイメージセンサ104、102の背面側に有する被写体を撮像できるようになる。このため、撮像部101は、双方のCMOSイメージセンサ102、104からの符号化光学像をスパースサンプリングすることによって、撮像部101の画角が180度以上の広角の撮像が可能になる。

【0030】
また、本実施形態では、各CMOSイメージセンサ102、104から得られる符号化光学像のスパース性等のバラつきを無くして、より広角に均一な撮像が実現するために、これらのCMOSイメージセンサ102、104は、複数の孔部102b、104bによる開口率がそれぞれ略同一としている。

【0031】
インターフェース機能部106、108は、CMOSイメージセンサ102、104の光検出器102a、104aからスパースサンプリングされた符号化光学像の撮像データを後続の画像再構成処理部110に送信するためのインターフェースとしてのデータ取得、メモリとしてのデータ記憶、及びこれらの動作を制御する制御部としての機能を有する。本実施形態では、これらのインターフェース機能部106、108は、装置の小型化を図り、設計自由度を高めるために、CMOSイメージセンサ102、104の基板の有効画素領域の縁部側に設けられている。

【0032】
画像再構成処理部110は、撮像部101から取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行い、被写体の撮像画像を出力する機能を有する。本実施形態では、画像再構成処理部110は、撮像部101のCMOSイメージセンサ102、104の光検出器102a、104aから取得される撮像データに対して圧縮センシングに基づく画像再構成処理を行うことによって、被写体の撮像画像を出力する。

【0033】
すなわち、本実施形態では、画像再構成処理部110は、CMOSイメージセンサ102、104の光検出器102a、104aからスパースサンプリングされた符号化光学像を圧縮センシングに基づき画像再構成して撮像画像を出力する。具体的には、画像再構成処理部110は、それぞれのCMOSイメージセンサ102、104の光検出器102a、104aからスパースサンプリングされた符号化光学像のスパース性を利用した逆解析により、圧縮センシングに基づく画像再構成を行う。なお、画像再構成処理部110による圧縮センシングに基づく画像再構成の動作の具体的な実施例の詳細については、後述する。

【0034】
このように、本実施形態では、撮像部101が有効画素領域にランダムに複数の孔部102b、104bを設けて対向配置させたCMOSイメージセンサ102、104から構成される。このため、これらCMOSイメージセンサ102、104同士が互いに符号化開口として機能するので、対向するCMOSイメージセンサ104、102の光検出器104a、102aで符号化光学像が得られる。そして、これら符号化光学像をスパースサンプリングして後続の画像再構成処理部110が圧縮センシングに基づき画像再構成することによって、被写体の撮像画像が得られる。

【0035】
このため、CMOSイメージセンサ102、104の互いの背面側に有する被写体を撮像して得られた符号化光学像をスパースサンプリングしてから、画像再構成処理部110で圧縮センシングに基づき画像再構成して、歪みやノイズの少ない撮像画像が得られる。すなわち、より簡素な構成でレンズレス撮像装置100を小型化した上で、画角が180度以上の広角な撮像が実現されるようになる。

【0036】
なお、本実施形態では、撮像部101は、複数の孔部102b、104bの周縁に光検出器102a、104aが設置される面が互いに対向するように設けられる一対のCMOSイメージセンサ102、104から構成される例について説明しているが、かかる構成例に限定されない。すなわち、撮像部101は、互いに対向する少なくとも一対のCMOSイメージセンサから構成されていればよい。

【0037】
例えば、図2(A)に示すように、本実施形態の撮像部101は、複数の孔部102b、104bの周縁に不図示の光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサ102、104から構成されることによって、撮像部101をよりコンパクト化した上で、レンズレスで画角が180度以上の広角な撮像が実現できるようになっている。このように、撮像部101をCMOSイメージセンサ二枚対面方式とすることによって、制御系やメモリを含めたイメージセンサ基板全体サイズを気にせずに実装できるので、実現が比較的容易となる。

【0038】
また、図2(B)に示すように、撮像部201は、複数の孔部202bの周縁に不図示の光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサ202のユニットが3つから構成される立方体方式としてもよい。撮像部201をこのような構成とすることによって、図2(A)の二枚対面方式と比べて、画角拡大効果が限定的にならずに、全方位撮影に近い効果が得られる。

【0039】
さらに、図2(C)に示すように、撮像部301は、複数の孔部の周縁に光検出器が設置される面が互いに対向するように設けられる一対のCMOSイメージセンサ302のユニットが4つ以上から構成される多面体方式や、正多面体の極限状態となる球体方式としてもよい。撮像部301をこのような構成とすることによって、確実にレンズレスで全方位に向けた画角が大きい広角な撮像が実現され、全方位撮影に近い効果が得られるようになる。

【0040】
次に、本発明の一実施形態に係るレンズレス撮像装置の原理実証シミュレーションの実施例について、図面を使用しながら説明する。

【0041】
図3は、本発明の一実施形態に係るレンズレス撮像装置の設計の一実施例を示す動作説明図である。本実施例では、本実施形態に係るレンズレス撮像装置を設計する過程において、互いに対向させる一対のCMOSイメージセンサ102、104の間隔、孔部102b、104bの幅、基板102c、104cに設けられる有効画素領域102d、104dの範囲等について、検討した。

【0042】
本実施例では、図3に示すように、CMOSイメージセンサ102、104の画素数が512×512、画素幅が60μm×60μm、間隔が2mm、基板102c、104cと有効画素領域102d、104dを合わせた厚さが1mmとした場合に、有効画素領域102d、104dは、基板102c、104cの縁部を除いた中央側に3.07cm×3.07cmの大きさを確保する必要があることが分かった。また、一方のCMOSイメージセンサ102に斜入射した光も対向するCMOSイメージセンサ104で検出できるようにするためには、有効画素領域102d、104dの端部側には、孔部102b、104bを設けない方が良いことが分かった。

【0043】
図4は、本発明の一実施形態に係るレンズレス撮像装置の撮像動作及び画像再構成処理動作の一実施例を示す数理モデルによる動作説明図である。本実施例では、図3に示すように、CMOSイメージセンサ102、104の振幅透過率をそれぞれm1、m2とした場合に、撮像対象となる物体f(図4では、物体fが点光源の場合を図示)を撮像して取得画像gを得たときの撮像モデルと再構成モデルについて検討した。

【0044】
本実施例では、取得画像gの撮像モデルは、CMOSイメージセンサ104の振幅透過率をm2、撮像対象となる物体f、系の点拡がり関数(PSF)h、ノイズnをそれぞれベクトル表示として表した場合に、ベクトル同士の畳み込み積分演算子を*と表現すれば、下記の式(1)で表せる。
g=m2(h*f)+n・・・・・(1)

【0045】
また、上記の式(1)で示される取得画像gの撮像モデルで使用される系の点拡がり関数(PSF)hは、マスクの拡大作用を示す行列式W、CMOSイメージセンサ102の振幅透過率をベクトル表示でm1、CMOSイメージセンサ102による回折ボケをベクトル表示でbとしてあらわした場合に、下記の式(2)で表せる。
h=Wm1*b・・・・・(2)

【0046】
一方、前述した撮像モデルに対する画像再構成処理部による処理結果を示す再構成モデルに関しては、取得画像gの比例要素数が撮像対象となる物体fの要素数より小さいので、圧縮センシングに基づく自然画像のスパース性を利用した逆解析により画像再構成を行う。その際に、本実施例では、下記の式(3)に示すように、TV正則化最小化問題を近接勾配法で解いて、再構成画像が求まることが分かった。

【0047】
【数1】
JP2020031327A_000003t.gif

【0048】
なお、上記の式(3)における左辺は、再構成画像を示し、右辺のg-m2・(Wm1*b*f)は、データ忠実項を示し、右辺の定数τを含む項は、正則化項を示すものとする。

【0049】
図5は、本発明の一実施形態に係るレンズレス撮像装置の実施例の動作原理を説明する説明図である。本実施例では、回折ボケのモデルとそれを無視する根拠を示すものとなっている。点拡がり関数PSFは、図5に示すように、マスクとなるCMOSイメージセンサ102の幾何光学的な影でなく、それが回折によりぼけたものとなる開口幅wが小さいか、又は伝搬距離zが長い程、回折の影響が顕著となる。また、矩形開口のフラウンホーファー回折場は、近似的にsinc関数で表せ、回折の拡がり幅bは、sinc関数の第一零点間の距離とすると、下記の式(4)で表せる。
≒λz/w・・・・・(4)

【0050】
現在の設計パラメータでの具体値は、bが2.22μmと近似できる。このため、今回画素幅は、60μmであるので、回折ボケは、十分小さいものとして無視できることが分かった。また、穴幅又は画素幅が小さくなるにつれて、回折ボケが無視できなくなることに留意する必要があることが分かった。

【0051】
図6は、本発明の一実施形態に係るレンズレス撮像装置を設計する際に検討した画素孔部の幅に関するグラフである。本実施例では、空間解像度を最大化する画素穴の幅を決めるために、一対のCMOSイメージセンサ間の距離zに対するマスクとなるCMOSイメージセンサの単位矩形穴幅と、波動光学的PSFの零値全幅との関係を検討した。図6に示すように、マスクの空間周波数と開口の回折ボケがトレードオフの関係であることから、各センサ間の距離zが1mm、5mm、10mmとした場合の波動光学的PSFの零値全幅が最小値となるマスクの単位矩形穴幅がそれぞれ20μm、50μm、70μmとなることが分かった。現時点では、実施容易な加工技術を考慮して、数100μm程度の幅の穴あけを想定している。

【0052】
図7は、本発明の一実施形態に係るレンズレス撮像装置の設計時における一実施例の撮像結果を示す説明図である。本実施例では、撮像データを順モデル計算後に、輝度値を[0 255]の整数に丸めて、40dBの加法性白色ガウス雑音(AWGN)を印加した。また、CMOSイメージセンサのマスクパターン検証のため、表と裏の視野に同じ物体があるとした。

【0053】
本実施例では、図7に示すように、加法性雑音、量子化誤差を考慮した上で自然画像を視認できる程度に再構成できることを確認された。また、本実施例では、拘束項の係数は、過度の平滑化とS/N低下のトレードオフを踏まえて適宜選択した。さらに、本実施例では、各CMOSイメージセンサは、異なるランダムマスクであったが、具体的な構造が違っても大域的な性質が同じとなることが確認できた。

【0054】
図8は、本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データのS/N、拘束項係数τの影響を検討した実施例の撮像結果を示す説明図である。本実施例では、加法性白色ガウス雑音(AWGN)を20dB、30dB、40dBを印加した場合のS/N、拘束項係数τの影響を検討した。図8に示すように、撮像データのS/Nが悪い場合、拘束項係数τの大きい復号過程を経た平滑化された画像のみが再構成される旨が分かった。

【0055】
図9は、本発明の一実施形態に係るレンズレス撮像装置の設計時における撮像データの物体依存性の影響を検討した実施例の撮像結果を示す説明図である。本実施例では、加法性白色ガウス雑音(AWGN)を40dB、拘束項係数τを0.00001、撮像データを8bitとした場合における各撮像対象を撮像した場合の物体依存性を検討した。図9に示すように、本実施例から自然画像の範疇であれば、極端な対象依存性が無い旨が分かった。このため、本発明の一実施形態に係るレンズレス撮像装置が被写体の対象依存性がそれほどない態様で適用できることが分かった。

【0056】
図10は、本発明の一実施形態に係るレンズレス撮像装置の設計時における開口エリア制限と再構成への影響を検討した実施例の撮像結果を示す説明図である。本実施例では、図10に示すように、マスクとなるCMOSイメージセンサの開口サンプリングパターンを変更した場合における撮像対象となる物体の撮像データの再構成画像の優劣を検討した。図10に示すように、開口のマスクパターンが端部に設けられると、撮像光量が増加することから、再構成画像の画質が劣化することが分かった。このため、本発明の一実施形態に係るレンズレス撮像装置では、再構成画像の画質の劣化を抑制しながら、装置の小型化を実現させるために、複数の孔部をCMOSイメージセンサの縁部の領域を除いた有効画素領域のみにランダムに形成するものとした。

【0057】
図11は、本発明の一実施形態に係るレンズレス撮像装置の設計時におけるCMOSイメージセンサの開口率とサンプリングレートの影響を検討した実施例の撮像結果を示す説明図である。本実施例では、図11に示すように、光量に影響する開口率と逆問題の安定性に影響するサンプリングレートがトレードオフの関係にあることが分かった。このため、本発明の一実施形態に係るレンズレス撮像装置では、CMOSイメージセンサの感度、想定するCMOSイメージセンサのS/Nに基づき、CMOSイメージセンサの開口率とサンプリングレートを設計することとした。

【0058】
図12は、本発明の一実施形態に係るレンズレス撮像装置の一実施例の構成を示す説明図である。前述した本発明の一実施形態に係るレンズレス撮像装置の原理実証シミュレーションの各実施例の結果内容に基づいて、装置を小型化した上で画角が180度以上の広角な撮像をレンズレスで実現する好適な実施例を定めた。

【0059】
図12に示すように、有効画素領域が3.07cm(60μm×512画素)、孔部の開口幅480μm(60μm×8画素)、階調8bit、厚み1mmのCMOSイメージセンサ402を2枚それぞれ対向させて配置させれば、CMOSイメージセンサ402の光検出器が光を検出できる限界角度内領域となる撮像可能範囲として、当該CMOSイメージセンサ402の表裏両面、すなわち、前後を同時に50度の範囲の画角で撮像できる超広角レンズレスカメラを構成できることが分かった。また、系の較正が完全に行えたと仮定すると、30dBのノイズが加わった場合でも自然画像に対してPSNRが20dB程度の画質を達成できることが分かった。

【0060】
以上説明したように、本発明の一実施形態に係るレンズレス撮像装置を適用することによって、より簡素な構成で装置を小型化した上で画角が180度以上の広角な撮像を実現できるようになる。すなわち、本実施形態では、有効画素領域にランダムに穴あけ加工したCMOSイメージセンサを対向させた構成の撮像部で被写体を撮像し、当該撮像部での撮像データを圧縮センシング法に基づき撮像データの逆問題を解いて、被写体となる撮像物体像を再構成することによって、画角が180度以上の広角な撮像がレンズレスで実現されるようになる。

【0061】
具体的には、本実施形態に係るレンズレス撮像装置を適用することによって、数cm程度の大きさの小型デバイスで全方位を撮像可能な超小型レンズレス撮像装置が実現される。このため、例えば、人体内部の全方位観察と三次元モデリングが可能な内視鏡や、瓦礫下等の狭い場所に潜り込む探索ロボット、存在に気づかれない程度の小型なドローン、装着感のない一人称ビジョン装置等に応用され得るので、極めて大きな工業的価値を有する。

【0062】
なお、上記のように本発明の各実施形態及び各実施例について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。

【0063】
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、レンズレス撮像装置の構成、動作も本発明の各実施形態及び各実施例で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0064】
100 レンズレス撮像装置、101、201、301 撮像部、102、104、202、302、402 CMOSイメージセンサ、102a、104a 光検出器、102b、104b、202b 孔部、106、108 インターフェース機能部、110 画像再構成処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11