Top > Search of Japanese Patents > IMAGE CONFIGURATION APPARATUS AND IMAGE CONFIGURATION METHOD

IMAGE CONFIGURATION APPARATUS AND IMAGE CONFIGURATION METHOD meetings

Patent code P05P002014
File No. RX03P13
Posted date Jul 12, 2005
Application number P2003-401726
Publication number P2005-167484A
Patent number P4235539
Date of filing Dec 1, 2003
Date of publication of application Jun 23, 2005
Date of registration Dec 19, 2008
Inventor
  • (In Japanese)谷田 純
  • (In Japanese)仁田 功一
Applicant
  • (In Japanese)国立研究開発法人科学技術振興機構
Title IMAGE CONFIGURATION APPARATUS AND IMAGE CONFIGURATION METHOD meetings
Abstract PROBLEM TO BE SOLVED: To provide an image configuration apparatus capable of configuring a single object image with high resolution comprising a plurality of object reduced images formed on a light receiving element by a micro lens array, and to provide an image configuration method.
SOLUTION: A processing procedure includes: a step S1 of obtaining a shift amount regarding a deviation between relative positions among object reduced images through a correlation arithmetic operation among the object reduced images by using image data of the plurality of the object reduced images; a step S2 of obtaining the conversion formula of a geometrical projection process from an object image to each of the object reduced images on the basis of the shift amount; step S3, S4 of generating initial image data of the single object image on the basis of the image data of the plurality of the object reduced images; a step S20 of carrying out processing of estimating each estimated image of the object reduced images according to the conversion formula by using the initial image data for an initial value; steps S20 to S50 of repetitively executing the processing in the step S20 and processing of updating the image data of the single object image on the basis of the estimated image of each of the object reduced images and the error between the estimated image of each of the object reduced image and each of the object reduced images is projected by reverse process of the geometrical projection until the error satisfies a predetermined condition; and a step S60 of outputting an object image with high resolution obtained finally.
Outline of related art and contending technology (In Japanese)


様々な画像情報を,効率的且つ高品質に取得する画像入力装置としては,デジタルカメラ,ビデオカメラ等,被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置(以下,単眼式カメラという)が広く用いられている。しかし,近年,画像入力装置の更なる小型,薄型化を図るために,昆虫等に見られる複眼構造を模倣した複眼式カメラ(複眼画像入力装置)が開発されている。
複眼式カメラは,複数のマイクロレンズを配列したマイクロレンズアレイと平面状に形成された受光素子とを具備しており,マイクロレンズアレイによって受光素子上に結像される複数の低解像な物体縮小像を得るものである。ここで,マイクロレンズアレイの一次元方向(一列)のアレイ数をNとすると,複眼式カメラでは,単眼式カメラとほぼ同一の観察領域を単眼式カメラの1/N倍の焦点距離(1/Nの厚み)で同等の受光素子数を用いて観察することができる。このため,複眼式カメラは,同一観察領域を観察できる単眼式カメラに比べ,飛躍的に薄型化,小型化することができ,単眼式カメラと同等の明るい像を得ることができる。
図8は,単眼式カメラの光学系((a)単眼光学系)と複眼式カメラの光学系((b)複眼光学系)とを模式的に表した図である。
図8の(a),(b)を比較してわかるように,複眼式カメラでは,前記マイクロレンズ80それぞれの焦点距離(図中,f/Nで表す)が微小であるため,複眼式カメラは,同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
しかし,複眼式カメラは,薄型かつ小型で明るい像を得られる長所を有する反面,物体縮小像それぞれは解像度が低いという欠点を有している。そこで,これら複数の物体縮小像について画像処理を行うことにより,解像度の高い単一の物体像を構成することが必要となる。
ここで,複数の物体縮小像から1つの高精細な画像を得る手法としては,例えば,非特許文献1に,相加平均法や擬似逆行列法等による画像再構成法が示されている。前者の相加平均法は,物体縮小像の重心位置を基準として重ね合わせることにより,単一の物体像を再構成する手法である。また,後者の擬似逆行列法は,先ず,被写体である物体と物体縮小像とをベクトルで表現し,光学系の点像分布関数を行列で記述する。続いて,該点像分布関数の逆行列を数学的に演算することにより,単一の物体像を再構成する手法である。
また,特許文献1には,複数の物体縮小像間の相関演算によりそれらのシフト量を算定し,そのシフト量に基づいて複数の縮小像の各画素を同一領域上に再配置して高精細な画像を得る画素再配置法が示されている。
一方,単眼式カメラにより得た画像に基づくデジタル超解像技術の1つとして,非特許文献2には,観察位置が異なるが重なりをもつ複数の低解像画像から一枚の高解像を生成させる反復アルゴリズムである反復逆投影法(Iterative back projection Method)が示されている。
【特許文献1】
特開平2003―141529号公報
【非特許文献1】
J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N. Kondo, D. Miyazaki, and Y. Ichioka, "Thin Observation module by bound optics (TOMBO): concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001)
【非特許文献2】
M. Irani and S. Peleg, "Improving resolution by image registration, CVGIP: Graphical Models and Image Processing, 53, pp. 231-239 (1991).

Field of industrial application (In Japanese)


本発明は,複数のマイクロレンズを利用した複眼式カメラを用いて取得した複数の低解像な物体縮小像から,高解像な単一の物体像を構成する画像構成装置及び画像構成方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データを記憶する縮小像記憶手段から,前記複数の物体縮小像の画像データを読み出し該画像データに基づいて単一の物体像を構成しその画像データを出力する物体像構成手段を具備する画像構成装置において,
前記物体像構成手段が,
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と,
与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と,
前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより,前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と,
前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え,その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ,前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と,
を実行してなることを特徴とする画像構成装置。

【請求項2】
 
前記物体像構成手段が,さらに前記複数の物体縮小像の画像データを用いて前記物体縮小像間の相関演算により前記物体縮小像間の相対位置のずれに関するシフト量を求めるシフト量算出工程を実行するものである請求項1に記載の画像構成装置。

【請求項3】
 
前記物体像構成手段が,さらに前記シフト量算出工程で得られた前記シフト量に基づいて前記縮小像推定工程で用いる前記幾何的投影過程を表す変換式を求める投影過程導出工程を実行するものである請求項2に記載の画像構成装置。

【請求項4】
 
前記物体像構成手段が実行する前記初期物体像生成工程が,
前記シフト量算出工程で得られた前記シフト量に基づいて前記複数の物体縮小像を同一領域上に配置して単一の物体像の画像データを生成し,該画像データに対して欠失画素の補間処理を施すことにより前記単一の物体像の初期画像データを生成するものである請求項2又は3に記載の画像構成装置。

【請求項5】
 
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の物体縮小像を結像する複眼式カメラにより物体を撮影して得た複数の物体縮小像の画像データに基づいて単一の物体像を構成する画像構成方法において,
前記複数の物体縮小像の画像データに基づいて単一の物体像の初期画像データを生成する初期物体像生成工程と,
与えられた単一の物体像の画像データから前記物体縮小像各々の推定画像を幾何的投影過程に基づいて推定する縮小像推定工程と,
前記物体縮小像各々の推定画像と前記物体縮小像各々との誤差分を前記幾何的投影過程の逆過程で投影することにより,前記縮小像推定工程において与えられた前記単一の物体像の画像データを更新する物体像更新工程と,
前記縮小像推定工程に前記初期画像データを前記単一の物体像の画像データの初期値として与え,その後前記誤差分が既定条件を満たすまで前記縮小像推定工程及び前記物体像更新工程を繰り返し実行させ,前記誤差分が前記既定条件を満たしたときの前記単一の物体像の画像データを最終的な物体像の画像データとして出力する反復制御工程と,
を有してなることを特徴とする画像構成方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2003401726thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close