Top > Search of Japanese Patents > IMAGE RECONSTRUCTION METHOD AND DEVICE > Specification

Specification :(In Japanese)画像再構成法及び画像再構成装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P3699921
Publication number P2003-141529A
Date of registration Jul 15, 2005
Date of issue Sep 28, 2005
Date of publication of application May 16, 2003
Title of the invention, or title of the device (In Japanese)画像再構成法及び画像再構成装置
IPC (International Patent Classification) G06T  3/40      
G06T  1/00      
H04N  5/335     
FI (File Index) G06T 3/40 C
G06T 1/00 280
H04N 5/335 V
Number of claims or invention 7
Total pages 12
Application Number P2001-337227
Date of filing Nov 2, 2001
Date of request for substantive examination Jun 6, 2002
Patentee, or owner of utility model right (In Japanese)【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
Inventor, or creator of device (In Japanese)【氏名】谷田 純
【氏名】山田 憲嗣
Representative (In Japanese)【識別番号】100084135、【弁理士】、【氏名又は名称】本庄 武男
Examiner (In Japanese)【審査官】真木 健彦
Document or reference (In Japanese)特開平06-141246(JP,A)
特開昭63- 26171(JP,A)
Field of search G06T 3/00 300
G06T 1/00 420
G06T 1/00 440
G06T 1/00 500
Scope of claims (In Japanese)【請求項1】
複数のマイクロレンズが配列されたマイクロレンズアレイにより,受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において,
上記物体縮小像間の相対位置を,上記物体縮小像間のシフト量に関する相関演算によって算定する第1の工程と,
上記物体縮小像の画素を,上記第1の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第2の工程と,
上記第2の工程により再配置された上記単一の物体像の欠失した画素を,補間処理により得る第3の工程と,
を具備してなることを特徴とする画像再構成法。
【請求項2】
上記第3の工程で得られた上記単一の物体像を鮮鋭化処理する第4の工程を更に具備してなる請求項1に記載の画像再構成法。
【請求項3】
上記シフト量を,上記相関演算に用いられる相関関数における相関ピークとして算定する請求項1又は2のいずれかに記載の画像再構成法。
【請求項4】
上記シフト量を,上記相関関数を所定の範囲で積分して得られる領域を2等分するシフト量に基づいて決定する請求項1~3のいずれかに記載の画像再構成法。
【請求項5】
上記相関関数として,線形補間された離散的な相関関数を用いてなる請求項1~4のいずれかに記載の画像再構成法。
【請求項6】
複数のマイクロレンズが配列されたマイクロレンズアレイにより,受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において,
上記物体縮小像間の相対位置を,上記物体縮小像間のシフト量に関する相関演算によって算定する第1の手段と,
上記物体縮小像の画素を,上記第1の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として,上記物体縮小像よりも解像度の高い一の領域上に再配置する第2の手段と,
上記第2の手段により再配置された上記単一の物体像の欠失した画素を,補間処理により得る第3の手段と,
を具備してなることを特徴とする画像再構成装置。
【請求項7】
上記第3の手段で得られた上記単一の物体像を鮮鋭化処理する第4の手段を更に具備してなる請求項6に記載の画像再構成装置。
Detailed description of the invention (In Japanese)
【0001】
【発明の属する技術分野】
本発明は,複数のマイクロレンズを利用した複眼画像入力装置を用いて取得した複数の低解像な物体縮小像から,高解像な単一の物体像を再構成する手法に関する。
【0002】
【従来の技術】
様々な画像情報を,効率的且つ高品質に取得する画像入力装置としては,デジタルカメラ,ビデオカメラ等,被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置が広く用いられている。しかし,近年,画像入力装置の更なる小型,薄型化を図るために,昆虫等に見られる複眼構造を模倣した複眼画像入力装置が開発されている。
該複眼画像入力装置は,複数のマイクロレンズを配列したマイクロレンズアレイと平面状に形成された受光素子とを具備して概略構成されており,上記マイクロレンズアレイによって上記受光素子上に結像される複数の低解像な物体縮小像を信号処理することにより単一の物体像を再構成する構造である。従って,単一の光学系を用いた画像入力装置に較べて小型,薄型の構成であるにも拘わらず,明るい光学系を実現するものであるが,一つづつの物体縮小像は解像度が低い欠点を有しており,これら複数の物体縮小像を用いて解像度の高い画像を再構成することが行われている。
上記のような複数の低解像な物体縮小像から単一の物体像を再構成する複眼画像入力装置の画像再構成法としては,例えば熊谷の修士論文“複眼光学系を用いた画像入力システムに関する研究”(大阪大学,2000),谷田,熊谷等の論文“Thin observation module by bound optics (TOMBO):concept and experimental verification” Appl.Opt.40,1806-1813(2001)において相加平均法と擬似逆行列法が開示されている。
前者の相加平均法は,上記物体縮小像の重心位置を基準として重ね合わせることにより,単一の物体像を再構成する手法である。
後者の擬似逆行列法は,先ず,被写体である物体と物体縮小像とをベクトルで表現し,光学系の点像分布関数を行列で記述する。続いて,該点像分布関数の逆行列を数学的に演算することにより,単一の物体像を再構成する手法である。
【0003】
【発明が解決しようとする課題】
しかしながら,上記複眼画像入力装置は,同一物体を異なる視点から複数の微小光学系で撮像するものであり,上記複数の物体縮小像には視差が含まれるが,上述の相加平均法は,受光素子上に形成された複数の低解像な物体縮小像を単に重ねる手法であるため,上記物体縮小像間の視差が物体情報の位置ゆらぎとなり,再構成される物体像の解像度は向上せず,高い解像度を得ることはできない。一方,上述の擬似逆行列法では,理論上,上記点像分布関数を正確に記述することによって再構成される物体像の解像度を高くすることが可能となる。しかし,実際には物体と上記マイクロレンズアレイとの距離,或いは上記マイクロレンズアレイと上記受光素子との距離を正確に取得すること,及び上記マイクロレンズアレイ及び上記受光素子のアライメント誤差による影響を正確に取得することは困難である。このため,上記点像分布関数を,正確に記述することは出来ない。更には,逆行列を求める演算においても,該点像分布関数の逆行列は厳密に求めることができないため,近似的な逆行例である擬似逆行列を用いざるを得ない。このため,該擬似逆行列法を用いて再構成し,取得される物体像の解像度の低下を回避できない。
そこで,本発明は上記課題に鑑みて成されたものであり,その目的とするところは,上記マイクロレンズアレイによって上記受光素子上に結像する複数の低解像度な物体縮小像から単一の物体像を回復する画像再構成法において,物体と上記マイクロレンズアレイとの距離が不定である場合や,上記マイクロレンズアレイ及び上記受光素子のアライメント誤差がある場合にも,高解像な単一の物体像を形成する再構成手法を提供することにある。
【0004】
【課題を解決するための手段】
上記目的を達成するために請求項1に記載の発明は,複数のマイクロレンズが配列されたマイクロレンズアレイにより,受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において,上記物体縮小像間の相対位置を,上記物体縮小像間のシフト量に関する相関演算によって算定する第1の工程と,上記物体縮小像の画素を,上記第1の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第2の工程と,上記第2の工程により再配置された上記単一の物体像の欠失した画素を,補間処理により得る第3の工程とを具備してなることを特徴とする画像再構成法として構成されている。
このように構成することによって,物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく,上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて,該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため,高い解像度を得ることができる。
【0005】
また,上記第1,第2の工程のみでは,情報が得られない画素の発生を招くこともあるが,補間処理(第3の工程)によって美しい再構成画像を得ることができる。
【0006】
更に,上記補間処理で得られた単一の物体像を鮮鋭化処理する第4の工程を具備しているものも考えられる。
このように構成することによって,請求項1に記載の画像再構成法で得られた再構成画像に対してエッジ強調等の鮮鋭化処理を施すことが可能となり,更に解像度の高い再構成画像を得ることができる。
【0007】
ここで,上記シフト量を上記相関演算に用いられる相関関数における相関ピークとして算定することによって,物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく,上記物体縮小像の画像情報から,該物体縮小像間の相対位置情報を算定することが可能となる。
【0008】
また,上記シフト量を上記相関関数を所定の範囲で積分して得られる領域を2等分するシフト量に基づいて決定する形態も考えられる。
このような形態によれば,上記相関関数として離散的な相関関数を線形補間した相関関数を適用した場合等,相関ピークを示すシフト量を相関関数から直接的に読み取ることが困難である場合にも,相関ピークを示すシフト量を算定することが可能となる。
【0009】
ここで,複眼画像入力装置を用いて取得する物体縮小像は,物体の画像情報を受光素子によって取得した離散的な点の集合である。また,算定すべきシフト量は離散点の間隔より小さい。
このため,物体縮小像間の相関演算には,離散的な相関関数が適用され,且つ該相関関数における相関ピークを示すシフト量の算定には,上記離散的な相関関数を線形補間したものが用いられることになる。
【0010】
請求項1に記載の発明を画像再構成装置として捉えると,複数のマイクロレンズが配列されたマイクロレンズアレイにより,受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において,上記物体縮小像間の相対位置を,上記物体縮小像間のシフト量に関する相関演算によって算定する第1の手段と,上記物体縮小像の画素を,上記第1の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第2の手段と,上記第2の手段により再配置された上記単一の物体像の欠失した画素を,補間処理により得る第3の手段とを具備してなることを特徴とする画像再構成装置となる。
このように構成することによって,物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく,上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて,該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため,高い解像度を得ることができる。
例えば,各手段の一実施例としては,上述した請求項1における各工程を実行可能であって,コンピュータ等に格納されたプログラムであることが望ましい。
【0011】
また,上記画像再構成装置によれば,欠失した画素を含む再構成画像を補間処理することが可能となり,美しい再構成画像を得ることができる。
【0012】
更にまた,請求項2に記載の発明についても,上記補間処理で得られた単一の物体像を鮮鋭化処理する第4の手段を更に具備してなる形態として考えられよう。
このような形態によれば,ぼけのある再構成画像をエッジ強調等の鮮鋭化処理することが可能となり,更に解像度の高い再構成画像を得ることができる。
【0013】
【発明の実施の形態】
以下添付図面を参照しながら,本発明の実施の形態及び実施例について説明し,本発明の理解に供する。尚,以下の実施の形態及び実施例は,本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
ここに,図1は本実施の形態に係る画像再構成法の流れを示す図,図2はマイクロレンズアレイによって受光素子上に結像され,画像情報に変換された物体縮小像を示す図((a)は全体図,(b)は拡大図),図3は物体縮小像間の相関関数を示す図,図4は画像の再配置についての概略説明図,図5は相対位置に従って上記物体縮小像の画素を単一の物体像として再配置した画像を示す図,図6は再配置された単一の物体像の欠失した画素を補間処理した画像を示す図,図7は補間処理された単一の物体像を鮮鋭化処理した画像を示す図である。
【0014】
ここで,図1を用いて,本発明に係る画像再構成法の手順の概要を説明する。以下S1,S2,,は処理手順(ステップ)の番号を示す。
先ず,図1の処理が開始される前に,複数のマイクロレンズが配列されたマイクロレンズアレイによって複数の物体縮小像が,受光素子上に結像されているものとする。図2(a)は,被写体である「A」の複数の物体縮小像が上記受光素子上に結像し,画像情報に変換された様子を示している。また,該物体縮小像は,該物体縮小像を拡大した図2(b)が示すように,解像度の低い粗い画像情報である。
上記複数の物体縮小像が結像されると,先ずステップS1では,上記物体縮小像間のシフト量に関する相関演算を実施し,上記物体縮小像間の相対位置を算出する。
続いて,ステップS2では,上記物体縮小像の画素を,上記相対位置のずれの修正された単一の物体像を同一領域上に再配置する。この上記相対位置のずれ量は各光学系(マイクロレンズ)間の視差によって生じるものである。
このように,本発明に係る画像再構成法は,上記受光素子上に結像された上記物体縮小像のシフト量に関する相関演算を利用して,該物体縮小像間の相対位置を算出することにより,視差によるずれが解消された単一な物体像を再構成することが可能である。
これにより,被写体である物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく鮮明な単一画像を取得することが出来る。
続いて,ステップS3では,上記再配置された上記単一の物体像の欠失した画素の補間処理を行う。
これにより,欠失画素のない美しい画像を得ることが出来る。
最後に,ステップS4では,上記補間処理で得られた上記単一の物体像を,鮮鋭化処理することにより,さらに高い解像度の物体像を取得することができる。
【0015】
以下に,上述した各処理手順の詳細について,ステップS1から説明する。
(S1)
ステップS1では,上記物体縮小像間の相対位置を算出している。
ここで,本発明に係る画像再構成法は,上記物体縮小像間の相対位置を算出するために相関演算を用いている。即ち,上記物体縮小像間のシフト量に関する相関演算によって算出される相関ピークを示すシフト量に基づいて,上記物体縮小像間の相対位置を算定している。
以下に,上記物体縮小像間の相対的なシフト量に関する相関演算の詳細について説明する。
先ず,簡単のため,上記物体縮小像の相対的なシフト量を平行移動のみであると仮定して考える。
一般に,2つの2変数関数f(x,y),g(x,y)の正規化相互相関関数Rc(x,y)は下記式1で定義される。
【0016】
【数1】
JP0003699921B2_000002t.gif
【0017】
ここで,上記物体縮小像は同一形状であるため,上記2変数関数f(x,y),g(x,y)を同一と考えると,上記相関信号波形Rc(x,y)は,図3(a)の破線で示すように,相関ピーク(図3ではx_peak)を中心として左右対象となる。この場合,Rc(x,y)とx_peakの間に,下記式2の関係が成り立つことは容易に理解できる。ここで,簡単のために,下記式2は一次元で表している。
【0018】
【数2】
JP0003699921B2_000003t.gif
【0019】
従って,上記複眼画像入力装置における上記物体縮小像に対して上述した式1及び式2を適用することによって,該物体縮小像間の相関ピークを算出すれば,該物体縮小像間の相対位置を算定できる。
しかしながら,上記複眼画像入力装置における上記物体縮小像は,上記受光素子によってサンプリングされた離散した点によって構成されるため,正規化相互相関関数は離散的となり,下記式3で定義される離散的な相関関数Rd(xi,yj)が適用される。(図3(a)には矢印で示す)
ここで,サンプリングされたシフト位置を{xi:i=0,1,2,…,N,yj:j=0,1,2,…,M}とした。
【0020】
【数3】
JP0003699921B2_000004t.gif
【0021】
更に,上記相関関数Rd(xi,yj)の相関ピークを示すシフト量を求めるために,下記式4に従って線形補間し,図3(a)に実線で示す相関関数Rc’(x,y)を得る。
ここで,[x]はxの整数部分を示す。
【0022】
【数4】
JP0003699921B2_000005t.gif
【0023】
しかしながら,図3(a)に示すように,上記式4によって得られた相関関数Rc'(x,y)は,離散的な相関関数を線形補間したものであるため,該相関関数Rc'(x,y)から直接的に正確なx_peakを識別することが出来ない。
そこで,上記物体縮小像が同一であるために,上記相関信号波形Rc'(x,y)がx_peakを中心として左右対象となることを利用する。即ち,上述の式2に対して上記Rc'(x,y)を適用することにより,図3(b)に示すように,Rc'(x,y)を所定の範囲で積分して得られる領域を2等分するシフト量に基づいてx_peakを算出する。
これにより,上記各物体縮小像間の相対位置を算定することが可能となる。
同様の手順を全ての物体縮小像について繰り返すことによって,ある規準とする物体縮小像に対する,全ての物体縮小像の相対位置を算定する。
ここで,図3(b)に示すように,上記x_peakを算出の際に,所定の閾値Tを設けて,該閾値を上回るデータについてのみ積分を施しても良い。上記閾値Tを設けることにより,上記物体縮小像間の相関ピーク近傍のデータを用いて相対位置を算定可能となり,より正確な相対位置を算出することができる。
ここで,上述したステップS1を実行可能であって,コンピュータ等の記憶装置に格納されたプログラムが,請求項6~7に記載した第1の手段の一実施例である。
【0024】
(S2)
ステップS2では,上記ステップS1で算出した上記相対位置のずれの修正された単一の物体像として,上記物体縮小像の画素を同一領域上に再配置を行う。
上記再配置の手順について図4を用いて説明する。
ここで,図4に示すA,B,Cは,上記受光素子上に結像された3×3の画素を持つ物体縮小像であり,更にDは単一の物体像が再配置される領域(上記物体縮小像よりも解像度の高い領域)であって,画素数は受光素子全体と同数とする。
ステップS2では,先ず,上記ステップS1において,上記物体縮小像間の相対位置を演算の基準とした物体縮小像(図4ではBで表す)の画素を領域Dのスケールを併せて,矢印で示すように配置する。
続いて,他の物体縮小像(図4ではA,Cで表す)の画素を,上記ステップS1で算出した上記物体縮小像Bに対する相対位置に基づいて領域Dに再配置する。
これにより,領域D上に,上記相対位置のずれの修正された単一の物体像として再配置することが可能となる。また,再配置の際に画素値自体に操作は行わないため,ノイズ成分の不要な増幅が見られることも無い。
実際に図2(a)から再構成した単一の物体像を図5に示す。図2(b)に示した上記物体縮小像と較べて,解像度が著しく向上していることが理解される。
ここで,上述したS1と同様に上記ステップS2を実行可能なプログラムが,請求項6~7に記載した第2の手段の一実施例である。
【0025】
(S3)
ステップS3では,上記再配置された上記単一の物体像の欠失した画素の補間処理を行う。
上記ステップS2で得られた単一の物体像は,各物体縮小像の画素を拡大された同一領域内に再配置しただけの画像であるため,物体と上記マイクロレンズアレイとの物体距離によっては,図5に示すように黒い斑点で示される欠失画素を含む場合がある。
そのため,上記のように欠失画素がある場合,その周辺の画素値を用いて補間する。この際,欠失画素では水平,或いは垂直方向に対して線形的に画素値が変化すると仮定すると,欠失画素がNdel個連続している場合,そのi番目の欠失画素に対して補間する画素値Pdel(i)は下記式5を適用して算出可能である。
ここで,P1,P2は欠失画素に隣接する画素の画素値である。
【0026】
【数5】
JP0003699921B2_000006t.gif
【0027】
そこで,対象とする欠失画素に対して,水平及び垂直方向に上記式5を適用し,得られた値の平均値を該欠失画素に対する画素値とする。
これにより,図5に示す単一の物体像に含まれる欠失画素に対して,上述した補間処理を施すことによって得られる単一の物体像は,図6に示すように,より物体形状に近い画像とすることが出来る。
ここで,上述したS1或いはS2と同様に上記ステップS3を実行可能なプログラムが,請求項6~7に記載した第3の手段の一実施例である。
【0028】
(S4)
ステップS4では,上記補間処理で得られた上記単一の物体像を,鮮鋭化処理する。
ここで,上記ステップS3で得られた単一の物体像は,図6に示すようにぼけのある画像である。
そこで,周知である高域強調フィルタ等の手法を用いて高い周波数成分を強調することによって、エッジ強調を行い画像を鮮鋭化する。
これにより得られる単一の物体像は,図7に示すようにエッジ強調された,高解像度な画像とすることが可能となる。
ここで,上述したS1~S3と同様に上記ステップS4を実行可能なプログラムが,請求項7に記載した第4の手段の一実施例である。
【0029】
【発明の効果】
以上説明したように,上記目的を達成するために請求項1に記載の発明は,複数のマイクロレンズが配列されたマイクロレンズアレイにより,受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において,上記物体縮小像間の相対位置を,上記物体縮小像間のシフト量に関する相関演算によって算定する第1の工程と,上記物体縮小像の画素を,上記第1の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第2の工程と,上記第2の工程により再配置された上記単一の物体像の欠失した画素を,補間処理により得る第3の工程とを具備してなることを特徴とする画像再構成法として構成されている。
このように構成することによって,物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく,上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて,該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため,高い解像度を得ることができる。
【0030】
また,上記第1,第2の工程のみでは,情報が得られない画素の発生を招くこともあるが,補間処理(第3の工程)によって美しい再構成画像を得ることができる。
【0031】
更に,上記補間処理で得られた単一の物体像を鮮鋭化処理する第4の工程を具備しているものも考えられる。
このように構成することによって,請求項1に記載の画像再構成法で得られた再構成画像に対してエッジ強調等の鮮鋭化処理を施すことが可能となり,更に解像度の高い再構成画像を得ることができる。
【0032】
ここで,上記シフト量を上記相関演算に用いられる相関関数における相関ピークとして算定することによって,物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく,上記物体縮小像の画像情報から,該物体縮小像間の相対位置情報を算定することが可能となる。
【0033】
また,上記シフト量を上記相関関数を所定の範囲で積分して得られる領域を2等分するシフト量に基づいて決定する形態も考えられる。
このような形態によれば,上記相関関数として離散的な相関関数を線形補間した相関関数を適用した場合等,相関ピークを示すシフト量を相関関数から直接的に読み取ることが困難である場合にも,相関ピークを示すシフト量を算定することが可能となる。
【0034】
ここで,複眼画像入力装置を用いて取得する物体縮小像は,物体の画像情報を受光素子によって取得した離散的な点の集合である。また,算定すべきシフト量は離散点の間隔より小さい。
このため,物体縮小像間の相関演算には,離散的な相関関数が適用され,且つ該相関関数における相関ピークを示すシフト量の算定には,上記離散的な相関関数を線形補間したものが用いられることになる。
【0035】
請求項1に記載の発明を画像再構成装置として捉えると,複数のマイクロレンズが配列されたマイクロレンズアレイにより,受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において,上記物体縮小像間の相対位置を,上記物体縮小像間のシフト量に関する相関演算によって算定する第1の手段と,上記物体縮小像の画素を,上記第1の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第2の手段と,上記第2の手段により再配置された上記単一の物体像の欠失した画素を,補間処理により得る第3の手段とを具備してなることを特徴とする画像再構成装置となる。
このように構成することによって,物体とマイクロレンズアレイとの距離や,マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく,上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて,該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため,高い解像度を得ることができる。
例えば,各手段の一実施例としては,上述した請求項1における各工程を実行可能であって,コンピュータ等に格納されたプログラムであることが望ましい。
【0036】
また,上記画像再構成装置によれば,欠失した画素を含む再構成画像を補間処理することが可能となり,美しい再構成画像を得ることができる。
【0037】
更にまた,請求項2に記載の発明についても,上記補間処理で得られた単一の物体像を鮮鋭化処理する第4の手段を更に具備してなる形態として考えられよう。
このような形態によれば,ぼけのある再構成画像をエッジ強調等の鮮鋭化処理することが可能となり,更に解像度の高い再構成画像を得ることができる。
【図面の簡単な説明】
【図1】本実施の形態に係る画像再構成法の流れを示す図。
【図2】マイクロレンズアレイによって受光素子上に結像され,画像情報に変換された物体縮小像を示す図。
【図3】物体縮小像間の相関関数を示す図。
【図4】画像の再配置についての概略説明図。
【図5】相対位置に従って上記物体縮小像の画素を単一の物体像として再配置した画像を示す図。
【図6】再配置された単一の物体像の欠失した画素を補間処理した画像を示す図。
【図7】補間処理された単一の物体像を鮮鋭化処理した画像を示す図。
【符号の説明】
A …物体縮小像
B …物体縮小像
C …物体縮小像
D …単一な物体像を形成する領域
S1,S2,,…処理手順(ステップ)の番号
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6