TOP > 国内特許検索 > 画像構成装置及び画像構成方法 > 明細書

明細書 :画像構成装置及び画像構成方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4235539号 (P4235539)
公開番号 特開2005-167484 (P2005-167484A)
登録日 平成20年12月19日(2008.12.19)
発行日 平成21年3月11日(2009.3.11)
公開日 平成17年6月23日(2005.6.23)
発明の名称または考案の名称 画像構成装置及び画像構成方法
国際特許分類 H04N   5/232       (2006.01)
G06T   1/00        (2006.01)
G06T   3/00        (2006.01)
H04N   5/225       (2006.01)
FI H04N 5/232 Z
G06T 1/00 280
G06T 1/00 420C
G06T 3/00 300
H04N 5/225 Z
請求項の数または発明の数 5
全頁数 17
出願番号 特願2003-401726 (P2003-401726)
出願日 平成15年12月1日(2003.12.1)
審査請求日 平成18年4月28日(2006.4.28)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】谷田 純
【氏名】仁田 功一
個別代理人の代理人 【識別番号】100084135、【弁理士】、【氏名又は名称】本庄 武男
審査官 【審査官】▲広▼島 明芳
参考文献・文献 特開2003-141529(JP,A)
特開2003-283907(JP,A)
生源寺類,外4名,複眼光学系を用いた薄型画像入力装置の開発,映像情報メディア学会誌,日本,2003年 9月 1日,Vol.57 No.9,1135-1141
調査した分野 G06T 1/00 - 3/60
H04N 5/225 - 5/232
特許請求の範囲 【請求項1】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データを記憶する縮小像記憶手段から,前記複数の物体縮小像の画像データを読み出し該画像データに基づいて単一の物体像を構成しその画像データを出力する物体像構成手段を具備する画像構成装置において,
前記物体像構成手段が,
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と,
与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と,
前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより,前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と,
前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え,その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ,前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と,
を実行してなることを特徴とする画像構成装置。
【請求項2】
前記物体像構成手段が,さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求めるシフト量算出工程を実行するものである請求項1に記載の画像構成装置。
【請求項3】
前記物体像構成手段が,さらに前記シフト量算出工程で得られた前記シフト量に基づいて前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求める投影過程導出工程を実行するものである請求項2に記載の画像構成装置。
【請求項4】
前記物体像構成手段が実行する前記初期物体像生成工程が,
前記シフト量算出工程で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置して単一の物体像の画像データを生成し,該画像データに対して欠失画素の補間処理を施すことにより前記単一の物体像の初期画像データを生成するものである請求項2又は3に記載の画像構成装置。
【請求項5】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データに基づいて単一の物体像を構成する画像構成方法において,
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と,
与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と,
前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより,前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と,
前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え,その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ,前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と,
を有してなることを特徴とする画像構成方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は,複数のマイクロレンズを利用した複眼式カメラを用いて取得した複数の低解像な物体縮小像から,高解像な単一の物体像を構成する画像構成装置及び画像構成方法に関するものである。
【背景技術】
【0002】
様々な画像情報を,効率的且つ高品質に取得する画像入力装置としては,デジタルカメラ,ビデオカメラ等,被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置(以下,単眼式カメラという)が広く用いられている。しかし,近年,画像入力装置の更なる小型,薄型化を図るために,昆虫等に見られる複眼構造を模倣した複眼式カメラ(複眼画像入力装置)が開発されている。
複眼式カメラは,複数のマイクロレンズを配列したマイクロレンズアレイと平面状に形成された受光素子とを具備しており,マイクロレンズアレイによって受光素子上に結像される複数の低解像な物体縮小像を得るものである。ここで,マイクロレンズアレイの一次元方向(一列)のアレイ数をNとすると,複眼式カメラでは,単眼式カメラとほぼ同一の観察領域を単眼式カメラの1/N倍の焦点距離(1/Nの厚み)で同等の受光素子数を用いて観察することができる。このため,複眼式カメラは,同一観察領域を観察できる単眼式カメラに比べ,飛躍的に薄型化,小型化することができ,単眼式カメラと同等の明るい像を得ることができる。
図8は,単眼式カメラの光学系((a)単眼光学系)と複眼式カメラの光学系((b)複眼光学系)とを模式的に表した図である。
図8の(a),(b)を比較してわかるように,複眼式カメラでは,前記マイクロレンズ80それぞれの焦点距離(図中,f/Nで表す)が微小であるため,複眼式カメラは,同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
しかし,複眼式カメラは,薄型かつ小型で明るい像を得られる長所を有する反面,物体縮小像それぞれは解像度が低いという欠点を有している。そこで,これら複数の物体縮小像について画像処理を行うことにより,解像度の高い単一の物体像を構成することが必要となる。
ここで,複数の物体縮小像から1つの高精細な画像を得る手法としては,例えば,非特許文献1に,相加平均法や擬似逆行列法等による画像再構成法が示されている。前者の相加平均法は,物体縮小像の重心位置を基準として重ね合わせることにより,単一の物体像を再構成する手法である。また,後者の擬似逆行列法は,先ず,被写体である物体と物体縮小像とをベクトルで表現し,光学系の点像分布関数を行列で記述する。続いて,該点像分布関数の逆行列を数学的に演算することにより,単一の物体像を再構成する手法である。
また,特許文献1には,複数の物体縮小像間の相関演算によりそれらのシフト量を算定し,そのシフト量に基づいて複数の縮小像の各画素を同一領域上に再配置して高精細な画像を得る画素再配置法が示されている。
一方,単眼式カメラにより得た画像に基づくデジタル超解像技術の1つとして,非特許文献2には,観察位置が異なるが重なりをもつ複数の低解像画像から一枚の高解像を生成させる反復アルゴリズムである反復逆投影法(Iterative back projection Method)が示されている。

【特許文献1】特開平2003—141529号公報
【非特許文献1】J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N. Kondo, D. Miyazaki, and Y. Ichioka, "Thin Observation module by bound optics (TOMBO): concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001)
【非特許文献2】M. Irani and S. Peleg, "Improving resolution by image registration, CVGIP: Graphical Models and Image Processing, 53, pp. 231-239 (1991).
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら,複眼式カメラは,同一物体を異なる視点から複数の微小光学系で撮像するものであり,複数の物体縮小像には視差が含まれる。
このため,前述の相加平均法は,受光素子上に形成された複数の低解像な物体縮小像を単に重ねる手法であるため,物体縮小像間の視差が物体情報の位置ゆらぎとなり,再構成される物体像の解像度は向上せず,高い解像度を得ることはできないという問題点があった。
また,前述の擬似逆行列法では,理論上,前記点像分布関数を正確に記述することによって再構成される物体像の解像度を高くすることが可能となる。しかし,実際には物体とマイクロレンズアレイとの距離,或いはマイクロレンズアレイと受光素子との距離を正確に取得することや,マイクロレンズアレイ及び受光素子のアライメント誤差による影響を正確に取得することは困難である。このため,前記点像分布関数を正確に記述することができない。さらに,逆行列を求める演算においても,前記点像分布関数の逆行列は厳密に求めることができないため,近似的な逆行例である擬似逆行列を用いざるを得ない。このため,擬似逆行列法を用いた再構成により得られる物体像の解像度の低下を回避できないという問題点があった。
また,特許文献1に示される画素再配置法によれば,前記相加平均法や前記擬似逆行列法に比べてより解像度の高い画像を得ることができるが,それでも,単眼式カメラで撮像される画像に比べると,複眼式カメラ自体の空間分解能の制限に起因する画質の劣化がみられるという問題点があった。
複眼式カメラにおいて,各物体縮小像における1画素当りの観察領域は,光学系の倍率の関係により,同じ観察領域を観察する単眼式カメラにおける1画素当たりの観察領域のN倍(N:マイクロレンズアレイの1列のアレイ数)に広がってしまい,これは,1画素当たりの空間分解能が低い(粗い)ことを示している。さらに,前記画素再配置法は,基本的に複数の物体縮小像上の画素情報を再構成面(同一の領域)に1対1対応で逆投影するものである。これは,受光素子の開口広がりを近似的に無視したことに相当し,このため,前記画素再配置法により得られる単一画像(再構成画像)は,眼画像入力装置で撮像される画像に比べると画質の劣化が見られる。例えば,前記画素再配置法による再構成画像を周波数面で解析すると,高周波数成分の情報が大きく損なわれたものとなる。
従って,本発明は上記事情に鑑みてなされたものであり,その目的とするところは,マイクロレンズアレイによって受光素子上に結像する複数の低解像な物体縮小像からより高解像の単一の物体像を構成でき,さらに,物体とマイクロレンズアレイとの距離が不定である場合や,マイクロレンズアレイ及び受光素子のアライメント誤差がある場合にも高解像な単一の物体像を構成することができる画像構成装置及び画像構成方法を提供することにある。
【課題を解決するための手段】
【0004】
上記目的を達成するために本発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データを記憶する縮小像記憶手段から,前記複数の物体縮小像の画像データを読み出し該画像データに基づいて単一の物体像を構成しその画像データを出力する物体像構成手段を具備する画像構成装置において,前記物体像構成手段が,前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と,与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と,前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより,前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と,前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え,その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ,前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と,を実行してなることを特徴とする画像構成装置として構成されるものである。
これは,複眼式カメラ(複眼画像入力装置)での撮影によって得られる複数の物体縮小像を用いて単一の物体像を構成する処理に,前記反復逆投影法(Iterative back projection Method)を適用したものである。
これにより,後述するように,前記画素再配置法によって得られる高解像画像よりもより高解像の物体画像が得られることが検証された。
【0005】
ここで,前記物体像構成手段が,さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求めるシフト量算出工程を実行するものであれば,そのシフト量を用いて以下の2つの応用が可能となる。
その1つは,前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求めることである。
前記幾何的投影過程を表す変換式は,前記複眼式カメラの特性や物体と複眼式カメラとの距離に基づいて設定することができる。しかし,カメラと物体との距離は状況に応じて変わり得るため,正確な距離を都度設定することは実用的でない。また,カメラの特性についても,マイクロレンズアレイと受光素子間のアライメント誤差(マイクロレンズアレイと受光素子の位置関係のずれ)を有する場合がある。
そこで,前記物体像構成手段が,前記シフト量算出工程を実行するものである場合において,前記物体像構成手段が,さらに前記シフト量算出工程で得られた前記シフト量に基づいて前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求める投影過程導出工程と,を実行するものが考えられる。
前記物体縮小像各々を撮像するマイクロレンズ相互間の相対位置や焦点距離等は既知であるので,前記物体縮小像間の相対位置のずれを表す前記シフト量が求まれば,撮影対象となる物体とマイクロレンズとの距離を求めることができる。従って,このようにして求めた距離とカメラの既知の特性とに基づいて,前記幾何的投影過程を表す変換式を求めることができる。
しかも,マイクロレンズアレイと受光素子間のアライメント誤差がある場合,物体縮小像の相関演算から求めた前記シフト量に基づいて物体とマイクロレンズとの距離を求めると(即ち,複眼式カメラで撮影した実画像に基づいて物体までの距離を求めると),その距離には,各物体縮小像ごとに求まる物体までの距離を平均化等する過程により前記アラインメント誤差分が反映されており,その距離(シフト量に基づいて求めた距離)に基づいて求めた前記幾何的投影過程を表す変換式は,前記アライメント誤差が補償されたものとなる。
これにより,カメラ(マイクロレンズアレイ)と物体との間の距離を都度設定する必要がなく,その距離が不明(不定)であっても,また,マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができる。
また,同様に,前記物体像構成手段が,前記シフト量算出工程を実行するものである場合において,前記物体像構成手段が実行する前記初期物体像生成工程が,前記シフト量算出工程で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置して単一の物体像の画像データを生成し,該画像データに対して欠失画素の補間処理を施すことにより前記単一の物体像の初期画像データを生成するものが考えられる。
これにより,前記初期画像データについて,ハードウェアにおけるアライメント誤差が補償され,アライメント誤差の補償とディジタル超解像処理(前記反復逆投影法の処理)とを融合した物体像構成を円滑に実行することができる。
【0006】
また,本発明は,前記画像構成装置が実行する処理に相当する画像構成方法として捉えたものであってもよい。
即ち,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データに基づいて単一の物体像を構成する画像構成方法において,
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と,与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と,前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより,前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と,前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え,その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ,前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と,を有してなることを特徴とする画像構成方法である。
【発明の効果】
【0007】
本発明によれば,複眼式カメラにより得られた複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成し,これを初期値として単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する処理と,前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することによって前記単一の物体像の画像データを更新する処理とを前記誤差分が既定条件を満たすまで繰り返し実行することにより,前記画素再配置法によって得られる高解像画像よりもより高解像の物体画像を得ることができる。
また,さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求め,該シフト量に基づいて前記幾何的投影過程を表す変換式を求めることにより,カメラ(マイクロレンズアレイ)と物体との間の距離が不明(不定)であっても,また,マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができる。
【発明を実施するための最良の形態】
【0008】
以下添付図面を参照しながら,本発明の実施の形態について説明し,本発明の理解に供する。尚,以下の実施の形態は,本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
ここに,図1は本発明の実施の形態に係る画像構成装置Xの概略構成を表すブロック図,図2は画像構成装置Xによる第1の画像処理例の処理手順を表すフローチャート,図3は画像構成装置Xによる第2の画像処理例の処理手順を表すフローチャート,図4は第1の画像処理例により構成した物体画像の一例を表す図,図5は第2の画像処理例により構成した物体画像の一例を表す図,図6は物体縮小像間の相関関数を示す図,図7は複数の物体縮小像を同一領域上に配置する様子を模式的に表した図,図8は単眼式カメラの光学系と複眼式カメラの光学系とを模式的に表した図である。
【0009】
まず,図1のブロック図を用いて,本発明の実施の形態に係る画像構成装置Xの構成について説明する。
画像構成装置Xは,パーソナルコンピュータ等の一般的な計算機であり,各種演算処理を実行するCPU1と,該CPU1が画像処理プログラムを実行する際にプログラムを展開する主メモリであるRAM2と,当該画像構成装置Xのオペレーティングシステムの一部をなす基本プログラムが記憶されるROM3と,画像処理プログラムや各種データが記憶されるハードディスク等の記憶手段である記憶部4とを具備している。さらに,図示していないが,画像構成装置Xは,一般的な計算機が備える他の構成要素も具備している。
画像構成装置Xは,図8(b)に示した構成を備える複眼式カメラ10とA/D変換部20を介して接続され,前記複眼式カメラ10により物体を撮影して得た複数の物体縮小像の信号を前記A/D変換部20によりデジタル信号に変換された画像データを入力し,その画像データを前記記憶部4(前記縮小像記憶手段の一例)に記憶させる。
さらに,画像構成装置Xは,前記記憶部4から前記複数の物体縮小像の画像データを読み出し,読み出した画像データ(物体縮小像)に基づいて単一の物体像を構成しその画像データを前記データ記憶部4に出力(格納)するとともに,不図示のCRTディスプレイ等の表示手段,或いはプリンタ等の画像形成手段等にグラフィック画像として出力する。
図8に示すように,前記複眼式カメラ10は,複数のマイクロレンズ80が配列されたマイクロレンズアレイ82を通じて受光素子81上に複数の物体縮小像を結像し,各物体縮小像の信号(アナログ信号)を出力するものである。
【0010】
(第1の画像処理例)
次に,図2のフローチャートを用いて,画像処理装置Xにより実行される第1の画像処理例の手順について説明する。本画像処理は,前記複数の物体縮小像の画像データに基づいて単一の物体像を構成しその画像データを出力する処理であり,画像処理装置Xの前記CPU1(前記物体像構成手段の一例)が,予め設定された画像処理プログラムに従って実行するものである。以下,S10,S20,…は,処理手順(ステップ)の番号を表す。本画像処理の実行前に,前記複眼式カメラ10により被撮影物(以下,単に物体という)を撮影して得た複数の物体縮小像の画像データが,前記記憶部4(前記縮小像記憶手段の一例)に記憶されているものとする。
ここでは,前記マイクロレンズアレイ82と受光素子81との間のアライメント誤差がなく,さらに,物体とマイクロレンズアレイ82との距離が既知である(何らかの方法で測定した結果が設定される場合を含む)ものとする。また,各マイクロレンズ80の配置間隔,焦点距離等はもちろん既知である。これらの既知の情報から,周知の光学理論に基づき,物体までの距離から物体縮小光学系の倍率を算出し,さらに物体縮小像の1画素と物体の領域との関係を明らかにすることにより,物体の実像から前記物体縮小像各々への幾何的投影過程を表す変換式Tkとその逆変換式Tk-1を求めることができる。
この第1の画像処理例では,そのようにして求めたTk,Tk-1が予め与えられているものとする。ここで,添字kは,前記物体縮小像各々の識別番号(k=1~K)を表す。Tkは,例えば,関数や行列式等により表すことができ,その逆変換関数や逆行列若しくは疑似逆行列をTk-1とすることが考えられる。
【0011】
<ステップS10>
まず,前記記憶部4から前記複数の物体縮小像の画像データgkを読み出し,読み出した画像データgkに基づいて,単一の物体像の初期画像データf(0)(初期高解像画像)を生成する(前記初期物体像生成工程の一例)。
ここでは,前記複数の物体縮小像の画像データgkを前記逆変換式Tk-1に基づく次の式(1)に適用することにより,前記初期画像データf(0)を求める。
【数1】
JP0004235539B2_000002t.gif
この(1)式において,*はコンボリュ—ション (畳み込み積分)演算子を表し,hは各マイクロレンズ80と受光素子81(アレイを構成する各素子)とを含む各物体縮小光学系における既知のボケ過程を表す(以下,同様)。例えば,hには,被写体である物体と物体縮小像とをベクトルで表現し,光学系の点像分布関数を行列として設定することが考えられる。点像分布関数が未知の場合,ガウス分布関数を設定してもよい。
<ステップS20>
次に,与えられた単一の物体像の画像データf(n)(n=0,1,2,…)から前記物体縮小像各々の推定画像の画像データgk(n)を,物体の実像から前記物体縮小像各々への幾何的な投影過程を表す前記変換式Tkに基づく次の式(2)により(幾何的投影過程に基づいて)推定する(前記縮小像推定工程の一例)。
【数2】
JP0004235539B2_000003t.gif
ここで,nは後述する繰り返し処理(反復処理)の回数を表し,S10で求めた前記初期画像データf(0)を,前記単一の物体像の画像データf(n)の初期値(n=0)として与える。
<ステップS30>
次に,S20で推定された前記物体縮小像各々の推定画像gk(n)と前記物体縮小像gk各々との誤差分(差)の評価指標である誤差指標e(n)を求める。
具体的には,例えば,次の(3)式により求める。
【数3】
JP0004235539B2_000004t.gif
<ステップS40>
次に,S30で求めた前記誤差指標e(n)が既定条件を満たすか否か(即ち,誤差分が既定条件を満たすか否か)を判別する。
ここでは,前記誤差指標e(n)が既定のしきい値以下となったか否かを既定条件とする。この他にも,例えば,前回の前記誤差指標e(n)からの改善幅(低下幅)が既定のしきい値以下となったことを既定条件とする等,他の既定条件とすることも考えられる。
【0012】
<ステップS50>
S40において,前記誤差指標e(n)が前記既定条件を満たさない(即ち,誤差分が既定条件を満たさない)と判別した場合は,推定画像と物体縮小像との誤差分(gk-gk(n))を,前記逆変換式Tk-1に基づいて前記幾何的投影過程の逆過程で投影する(逆投影する)ことにより,前記単一の物体像の画像データf(n)を更新する(前記基準物体像更新工程の一例)。
ここで,更新後の前記単一の物体像の画像データをf(n+1)とすると,例えば,次の(4)式により画像データの更新を行う。
【数4】
JP0004235539B2_000005t.gif
この(4)式において,pは逆投影カーネルと呼ばれるパラメータを表す。
ここで,S20の実行(即ち,式(2)の実行)及びS50の実行(即ち,式(4)の実行)を繰り返すことにより,前記誤差分e(n)を収束させるためには,pを次の(5)式を満たすよう設定すればよいことが知られている。
【数5】
JP0004235539B2_000006t.gif
ここで,δはデルタ関数を表す。当該S50の処理では,(5)式を満たすようpを設定する。
この画像データf(n)の更新処理(S50)が実行された後は,S20へ戻って,更新後の画像データf(n+1)について前述した処理を繰り返す。
これにより,S20(縮小像推定工程)においてS10で求められた前記初期画像データf(0)を前記単一の物体像の画像データf(n)の初期値として与え,その後前記誤差分e(n)が前記既定条件を満たすまで,S20~S50の処理(縮小像推定工程及び物体像更新工程)を繰り返し実行することになる。
【0013】
<ステップS60>
そして,S40において,前記誤差分e(n)が前記既定条件を満たすと判別した場合は,そのときの前記単一の物体像の画像データf(n)を最終的な物体像の画像データとして前記データ記憶部4に出力(格納)するとともに,不図示のCRTディスプレイ等の表示手段にグラフィック画像として出力した後,当該画像処理を終了させる。
ここで,S30,S40,S60の処理が,前記反復制御工程の処理の一例である。
当該画像処理により得られた画像の一例を図4に示す。
図4(a)は,前記物体縮小像であり,図4(b)は,図4(a)の物体縮小像に基づいて前記画素再配置法により得られた物体像,図4(c)は,図4(a)の物体縮小像に基づいて当該画像処理により得られた物体像である。
マイクロレンズアレイ82のアレイ数は5×5であり,各物体縮小像は80×80画素で形成されている。
前記画素再配置法及び当該画像処理のいずれにより構成した物体画像(b),(c)も,その画素数は,元の複数の物体縮小像の総画素数(400×400画素)に等しい。
図4(b),(c)の比較より,当該画像処理により画像の高解像化が実現されていることが確認できる。特に,画像の高周波成分であるエッジ部位における鮮鋭化の効果が大きいといえる。
【0014】
(第2の画像処理例)
前記第1の画像処理例では,前記マイクロレンズアレイ82と受光素子81との間のアライメント誤差がなく,さらに,物体とマイクロレンズアレイ82との距離が既知である場合についてのものであった。
しかし,実際のシステムにおいて,受光素子とマイクロレンズ間のアライメント誤差が生じることは,現状の位置合わせ技術では不可避な場合が多い。
また,複眼式カメラ10と物体との距離を固定化することは自由度の制限が大きく,距離が変わる都度その距離を計測及び設定することも実用的でない。前記反復逆投影法では,これらの誤差量に対する考慮がなされていない。
以下,図3のフローチャートを用いて,前記マイクロレンズアレイ82と受光素子81との間のアライメント誤差や,物体とマイクロレンズアレイ82との距離の変化を補償できる第2の画像処理例について説明する。
本画像処理は,前記第1の画像処理例(図2)における初期画像データの生成処理(S10)の変わりに,後述するS1~S4の処理に置き換えた以外は,前記第1の画像処理例と同じ処理である。本画像処理も,画像処理装置Xの前記CPU1(前記物体像構成手段の一例)が,予め設定された画像処理プログラムに従って実行するものである。以下,S1,S2,…は,処理手順(ステップ)の番号を表す。本画像処理の実行前に,前記複眼式カメラ10により被撮影物(以下,単に物体という)を撮影して得た複数の物体縮小像の画像データが,前記記憶部4(前記縮小像記憶手段の一例)に記憶されているものとする。
【0015】
<ステップS1>
まず,前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求める(前記シフト量算出工程の一例)。
前記物体縮小像間の相対位置のずれは,各光学系(マイクロレンズ)間の視差によって生じるものである。
以下,本処理の詳細について説明する。
先ず,簡単のため,前記物体縮小像の相対的なシフト量を平行移動のみであると仮定して考える。
一般に,2つの2変数関数f(x,y),g(x,y)の正規化相互相関関数Rc(x,y)は次の(6)式で定義される。
【数6】
JP0004235539B2_000007t.gif
ここで,前記物体縮小像は各々同一形状であるため,前記2変数関数f(x,y),g(x,y)を同一と考えると,前記相関信号波形Rc(x,y)は,図6(a)の破線で示すように,相関ピーク(図6ではx_peak)を中心として左右対象となる。この場合,Rc(x,y)とx_peakの間に,次の(7)式の関係が成り立つ。ここで,簡単のために,(7)式は一次元で表している。
【数7】
JP0004235539B2_000008t.gif
従って,前記複眼式カメラ10における前記物体縮小像に対して(6)式及び(7)式を適用することによって前記物体縮小像間の相関ピークを算出すれば,該物体縮小像間の相対位置を算定できる。
ここで,前記物体縮小像は,前記受光素子81によってサンプリングされた離散した点によって構成されるため,正規化相互相関関数は離散的となり,次の(8)式で定義される離散的な相関関数Rd(xi,yj)が適用される(図6(a)には矢印で示す)。なお,サンプリングされたシフト位置を{xi:i=0,1,2,…,N,yj:j=0,1,2,…,M}とした。
【数8】
JP0004235539B2_000009t.gif

【0016】
さらに,前記相関関数Rd(xi,yj)の相関ピークを示すシフト量を求めるために,次の(9)式に従って線形補間し,図6(a)に実線で示す相関関数Rc’(x,y)を得る。ここで,[x]はxの整数部分を示す。
【数9】
JP0004235539B2_000010t.gif
ここで,図6(a)に示すように,(9)式によって得られた相関関数Rc’(x,y)は,離散的な相関関数を線形補間したものであるため,該相関関数Rc’(x,y)から直接的に正確なx_peakを識別することができない。
そこで,前記物体縮小像が同一であるために,前記相関信号波形Rc’(x,y)がx_peakを中心として左右対象となることを利用する。即ち,前述の(7)式に対して前記Rc’(x,y)を適用することにより,図6(b)に示すように,Rc’(x,y)を所定の範囲で積分して得られる領域を2等分するシフト量に基づいてx_peakを算出する。
これにより,上前記各物体縮小像間の相対位置を算定することが可能となる。
同様の手順を全ての物体縮小像について繰り返すことによって,ある基準とする物体縮小像に対する,他の全ての物体縮小像の相対位置(位置のずれ)を算定する。
この位置ずれ量から,アライメント誤差を含めた物体縮小像と再構成画像上の対応関係,即ち,単一の物体像を構成するために必要な各画素のシフト量(移動量)を求めることができる。
ここで,図6(b)に示すように,前記x_peakを算出する際に,所定の閾値Tを設けて,該閾値を上回るデータについてのみ積分を施してもよい。前記閾値Tを設けることにより,前記物体縮小像間の相関ピーク近傍のデータを用いて相対位置(即ち,シフト量)を算定可能となり,より正確な相対位置(位置ずれ)を算出することができる。
また,前記シフト量とマイクロレンズアレイのレンズ間隔,焦点距離などのハードウェアの既知のパラメータから,物体~装置間の距離を導出することも可能である。
【0017】
<ステップS2>
次に,S1(シフト量算出工程)で得られた前記シフト量に基づいて,前記S20(前記縮小像推定工程の一例)で用いる前記幾何的投影過程を表す変換式Tkとその逆変換式Tk-1を求める(前記投影過程導出工程の一例)。
前記物体縮小像各々を撮像するマイクロレンズ相互間の相対位置や焦点距離等は既知であるので,前記物体縮小像間の相対位置のずれを表す前記シフト量が求まれば,撮影対象となる物体とマイクロレンズ80との距離及び光学系の倍率を求めることができる。この倍率と1画素分の受光素子の面積から,周知の光学系の理論式により前記幾何的投影過程を表す変換式Tkを求めることができる。さらに,この変換式Tkから,その逆変換式Tk-1(逆行列や疑似逆行列等)を求めることができる。
ここで,物体までの距離は,各画素の前記シフト量から算出される物体距離(物体までの距離)を物体縮小像ごとに求め,それらを平均化することにより,マイクロレンズアレイ82と受光素子81間が理想的にアライメントされている(アライメント誤差が補償された)状態での物体距離を精度よく導出できる。
従って,マイクロレンズアレイ82と受光素子81間のアライメント誤差がある場合,前述したように,物体縮小像の相関演算から求めた前記シフト量に基づいて求めた物体までの距離には,前記アラインメント誤差分が反映されており,その距離に基づいて求めた前記幾何的投影過程を表す変換式は,前記アライメント誤差が補償されたものとなる。ここで,受光素子81の各画素の形状が既知であれば,任意の受光素子の画素開口率を扱うことができる。
これにより,複眼式カメラ10(マイクロレンズアレイ)と物体との間の距離を都度設定する必要がなく,その距離が不明(不定)であっても,また,マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても,それらを反映した前記幾何的投影過程を表す変換式を導出することができる。
【0018】
<ステップS3>
次に,S1(シフト量算出工程)で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置することにより,相対位置のずれが修正された単一の物体像の初期画像データを生成する。
図7は,前記複数の物体縮小像を同一領域上に配置する様子を模式的に表したものである。図7に示すQ0,Q1,Q2は,それぞれ前記受光素子81上に結像された3×3の画素を持つ前記縮小像を表し,M1は単一の立体対象の画像が構成される領域である。M1の領域は,例えば,前記RAM2の一部の領域に確保され,その画素数は前記受光素子全体の画素数と同数とする。
本処理では,まずS1において基準とした前記物体縮小像(図7ではQ0で表す)の画素を領域M1のスケールに合わせて,矢印で示すように配置する。
続いて,他の前記物体縮小像(図7ではQ1,Q2で表す)の画素を,S1で算出した前記シフト量に基づいて領域M1に配置する。
これにより,前記領域M1上に,前記縮小像相互間の相対位置のずれが修正(補正)されて配置された高解像度の単一の物体画像が構成されることになる。
【0019】
<ステップS4>
次に,S3で得られた物体画像の画像データについて,欠失した画素の補間処理を行う。ここで,ステップS3とステップS4とが,前記初期物体像生成工程の一例である。
S3で得られた単一の物体像の画像データに欠失画素がなければ,これをそのまま前記初期画像データすることができる。しかし,S3で得られた単一の物体像は,各物体縮小像の画素を拡大された同一領域内に配置しただけの画像であるため,物体と前記マイクロレンズアレイ82との物体距離によっては,或いは前記アラインメント誤差がある場合には,欠失画素を含むことになる。こにょうな欠失画素を含む画像を前記初期画像データとして用いると,後述する反復逆投影処理によって画素欠失部がより強調されてしまい,前記初期画像データとしては適切でない。
また,前記アラインメント誤差がある場合に,従来の反復逆投影法のようにその誤差を考慮せずに定めた逆変換式Tk-1を適用して前記初期画像データを生成すると,物体縮小像と推定する再構成画像との対応関係に差異が生じる。この差異は,実際の物体情報と再構成画像とに誤差があることを表す。初期画像の精度(誤差の大きさ)は,反復処理が終了するまでの速度や,最終的に得られる高解像画像の画質に影響する。従って,前記アラインメント誤差を考慮せずに定めた逆変換式Tk-1を適用して前記初期画像データを生成することは適切でない。
そのため,ここでは,欠失画素がある場合,その周辺の画素値を用いて補間する。この際,欠失画素では水平,或いは垂直方向に対して線形的に画素値が変化すると仮定すると,欠失画素がNdel個連続している場合,そのi番目の欠失画素に対して補間する画素値Pdel(i)は,例えば,次の(10)式を適用して算出可能である。ここで,P1,P2は欠失画素に隣接する画素の画素値である。
【数10】
JP0004235539B2_000011t.gif
対象とする欠失画素に対して,水平及び垂直方向に(10)式を適用し,得られた値の平均値を該欠失画素に対する画素値とする。
これにより,欠失画素がなくより実際の物体像に近い画像が得られる。
【0020】
以下,S4で得られた欠失画素補間後の物体画像の画像データを前記初期画像データとし,さらに,S2で得られた前記幾何的投影過程を表す変換式Tkとその逆変換式Tk-1を用いて,前述したS20~S60の処理を実行する。
以上の処理により,複眼式カメラ10(マイクロレンズアレイ)と物体との間の距離を都度設定する必要がなく,その距離が不明(不定)であっても,また,マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができる。
当該画像処理により得られた画像の一例を図5に示す。
図5(a)は,複眼式カメラ10により得られた複数の物体縮小像に基づいて前記画素再配置法により得られた物体像,図5(b)は,同じく物体縮小像に基づいて当該画像処理により得られた物体像である。
図5の例の撮像条件は以下の通りである。
各マイクロレンズの焦点距離は1.3mm,同レンズ径は0.5mm,被撮影物体はマイクロレンズから520mmの距離に配置して撮影した。その取得画像は5×5(N=5)個の物体縮小像で構成され,各物体縮小像は160×160画素を有しており,受光部としてベイヤ配列(2×2画素でR,G,Bチャネル1セットの情報を取り扱う)に基づくRGBフィルタによるカラーCCDを用いた。従って,R,G,B各チャネルの情報は,各物体縮小光学系当り80×80画素となる。
図5(a),(b)の各物体画像は,400×400画素で構成されている。図5(a),(b)を比較すると,高解像化にムラがあるものの,目や帽子のひさし部位が鮮明に表現されていることがわかる。
この結果から,本画像処理例2により,カメラ(マイクロレンズアレイ)と物体との間の距離が不明(不定)であっても,また,マイクロレンズアレイ及び受光素子のアライメント誤差がある場合であっても高解像の物体画像を得ることができることがわかる。
【産業上の利用可能性】
【0021】
本発明は,複眼式カメラにより得た複数の低解像画像から高解像の画像を得る画像構成装置及び画像構成方法に利用することが可能である。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態に係る画像構成装置Xの概略構成を表すブロック図。
【図2】画像構成装置Xによる第1の画像処理例の処理手順を表すフローチャート。
【図3】画像構成装置Xによる第2の画像処理例の処理手順を表すフローチャート。
【図4】第1の画像処理例により構成した物体画像の一例を表す図。
【図5】第2の画像処理例により構成した物体画像の一例を表す図。
【図6】物体縮小像間の相関関数を示す図。
【図7】複数の物体縮小像を同一領域上に配置する様子を模式的に表した図。
【図8】単眼式カメラの光学系と複眼式カメラの光学系とを模式的に表した図。
【符号の説明】
【0023】
1…CPU
2…RAM
3…ROM
4…記憶部
10…複眼式カメラ
20…A/D変換部
80…マイクロレンズ
81…受光素子
82…マイクロレンズアレイ
S1,S2,,,…処理手順(ステップ)
図面
【図1】
0
【図2】
1
【図3】
2
【図6】
3
【図7】
4
【図8】
5
【図4】
6
【図5】
7