TOP > 国内特許検索 > 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置 > 明細書

明細書 :複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3303128号 (P3303128)
公開番号 特開平11-295826 (P1999-295826A)
登録日 平成14年5月10日(2002.5.10)
発行日 平成14年7月15日(2002.7.15)
公開日 平成11年10月29日(1999.10.29)
発明の名称または考案の名称 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置
国際特許分類 G03B 35/08      
G03B 15/00      
G03B 15/08      
G06T  7/00      
FI G03B 35/08
G03B 15/00
G03B 15/08
G06F 15/62
請求項の数または発明の数 4
全頁数 6
出願番号 特願平10-104786 (P1998-104786)
出願日 平成10年4月15日(1998.4.15)
審判番号 不服 2000-004022(P2000-004022/J1)
審査請求日 平成10年4月15日(1998.4.15)
審判請求日 平成12年3月23日(2000.3.23)
特許権者または実用新案権者 【識別番号】391012327
【氏名又は名称】東京大学長
発明者または考案者 【氏名】相澤 清晴
【氏名】児玉 和也
個別代理人の代理人 【識別番号】100059258、【弁理士】、【氏名又は名称】杉村 暁秀 (外1名)
特許請求の範囲 【請求項1】
異なる焦点合わせの複数画像Im (m=1,‥‥,n)を撮像し、
該異なる焦点合わせの複数画像Im および所望の画像I間に成立する、以下に示す重ね合わせモデルに基づく恒等式を導出し、
f(T1 ,‥‥,Tk ,T11,‥‥,T1n,T21,‥‥,T2n,‥‥,Tmk
‥‥,Tn1,‥‥,Tnn,I,I1 ,‥‥,In )=0 -(1)
ただし、n=2,3,‥‥、k=1,‥‥,n、m=1,‥‥,n、Tmk;カメラ特性およびカメラパラメータから決定されるぼけ関数による畳み込みを表わす定数、Tk ;ユーザが指定する、画像中のぼけ関数による畳み込みや視差に対応する平行移動量を表わす定数この恒等式に前記異なる焦点合わせの複数画像Im およびTmk,Tk を代入して解を求め、
この解に基づき所望の画像Iを生成する画像処理を行うことを特徴とする、複数画像を用いる画像処理方法。

【請求項2】
前記定数Tk を調整することにより、前記所望の画像Iとして、画像の全領域を鮮鋭化した全焦点画像、奥行き毎に鮮鋭度調整を行った任意焦点画像、視差を付与した立体視用視差付画像、前記任意焦点画像に視差を付与した立体視用視差付任意焦点画像、特定領域のみを強調した部分強調画像、特定領域のみを抽出した部分抽出画像を含む各種画像の何れか1つを選択的に生成することを特徴とする、請求項1記載の複数画像を用いる画像処理方法。

【請求項3】
符号化の前処理として、奥行き方向に異なる領域毎に焦点ぼけ調整を行うことを特徴とする、請求項1または2記載の複数画像を用いる画像処理方法。

【請求項4】
撮像用レンズ機構と、
該撮像用レンズ機構から出射した光を入射される1つの入射面と、入射された光を複数n(n=2,3,‥‥)等分した分配光をそれぞれ出射するn個の出射面とを有するプリズム手段と、
該プリズム手段のn個の出射面から出射した分配光をそれぞれ撮像するn個の撮像部と、
前記n個の撮像部のそれぞれを前記分配光の光軸方向に移動させることにより前記n個の出射面および対応する撮像部間の位置関係をそれぞれ調整する焦点合わせ調整機構と、
前記n個の撮像部による撮像のタイミングを同期させる同期手段とを具え、
異なる焦点合わせの複数画像を同時に撮像し得るようにしたことを特徴とする、請求項1~3の何れか1項記載の複数画像を用いる画像処理方法の実施に使用する複数画像同時撮像型カメラ装置。
発明の詳細な説明 【発明の詳細な説明】

【0001】
【発明の属する技術分野】本発明は、異なる焦点合わせの複数画像から所望の画像を生成する画像処理方法および、該方法の実施に使用する複数画像同時撮像型カメラ装置に関するものである。

【0002】
【従来の技術】複数の画像から所望の画像を生成する画像処理方法の従来例としては、例えば領域分割に基づく画像処理方法がある。この従来の画像処理方法では、例えば異なる焦点合わせの画像を複数枚用意し、個々の画像において焦点の合っている領域をそれぞれ判定し、この判定結果に基づいて前記複数の画像の領域分割を行い、各領域に対し所定の視覚効果を与える一連の処理を行うことにより、所望の画像の生成を行う。その際、上記一連の処理を人手を介さずに自動的に実行する場合には、上述した領域判定、領域分割、視覚効果の処理を順次行うための手順を記述した画像処理プログラムを用いるのが一般的である。

【0003】
また、上記画像処理方法に用いる複数画像を撮像するために使用するカメラ装置の従来例としては、例えば図2に示す通常の撮像レンズ制御型カメラ装置51があり、このカメラ装置51は1つの光学系を有するカメラ装置として構成されている。この従来のカメラ装置51を使用して、同一シーン(例えば図2のシーン52)に対して異なる焦点合わせにより撮像した複数枚の画像を取得するためには、焦点合わせを変化させて複数回の撮像を行う必要がある。

【0004】
すなわち、図2に示す従来のカメラ装置51を使用して異なる焦点合わせのn種類の画像を撮像する場合には、ズームレンズ53を手動またはカメラ外部に設けたサーボレンズ制御装置54により制御して、まず1番目の奥行きに焦点が合うようにズームレンズ53の焦点合わせを制御してから1枚目の画像を撮像し、次に、2番目の奥行きに焦点が合うようにズームレンズ53の焦点合わせを制御してから2枚目の画像を撮像し、以下同様にしてn番目の奥行きに焦点が合うようにズームレンズ53の焦点合わせを制御してからn枚目の画像を撮像する。このように、n種類の奥行きに対して焦点が合った画像を撮像したい場合には、n回の焦点合わせおよび撮像が必要となる。なお、撮像された画像は図示しないCCDからワークステーション55に転送されて、画像処理に供されることになる。

【0005】
【発明が解決しようとする課題】上記従来の画像処理方法は、「焦点が合っている領域」という判定条件を用いているため、撮像対象シーンの中に一様な輝度値を有する領域や奥行き変化のある領域が存在する場合には、それら領域については領域判定の判定精度を十分に確保することができない。このため、上記従来の画像処理方法の適用範囲は、焦点の合った領域を統合することによる画像の鮮鋭化等に限定されてしまい、領域毎に焦点ぼけを任意に調整したり、擬似的な視差を与えて立体画像を生成する等の、より高次の画像処理への拡張は極めて困難である。

【0006】
また、ズームレンズを外部から制御する方式を採用した上記従来のカメラ装置は、上述した撮像方式を用いる限り、焦点を合わせたい奥行き毎に1つの撮像部によって撮像を繰り返す必要があり、動的に変化する撮像対象に対しては原理的に焦点合わせの異なる画像を複数枚同時に撮像することができないため、動画像の撮像には使用することができず、用途が静止画のみに限定されてしまう。

【0007】
さらに、撮像用レンズとして一般的に使用されるズームレンズは、それ自体が複数のレンズを利用した極めて複雑な制御構造を有しているため、外部から焦点合わせの調整を行うと、実効的な視点位置である内部のレンズ群の光学的中心(主点)が光軸の前後方向に変化することが避けられない。このため、焦点合わせを調整すると3次元的な条件も付加されることになり、例えば、ある条件において撮像した画像では前面の物体によって遮蔽されていた背面の物体が、別の画像では視点が移動したために新たにシーン内に現れて撮像されてしまう現象が生じる。その結果、立体画像の生成等を目的とする画像処理において要求される、「焦点合わせを変化させた場合であっても、同一シーンを撮像した画像間では撮像されている対象(物体等)が画像全体での倍率変化を除き同一である」という条件を満たすことができず、このようにして撮像された画像を用いて画像処理により生成した画像は、上記現象に起因する画質の劣化が避けられない。

【0008】
本発明は、異なる焦点合わせの複数画像から所望の画像を生成する画像処理方法を提供することを第1の目的とする。

【0009】
本発明は、異なる焦点合わせの複数画像を同時に撮像し得るカメラ装置を提供することを第2の目的とする。

【0010】
【課題を解決するための手段】上記第1の目的のため、本発明の請求項2に係る画像処理方法は、異なる焦点合わせの複数画像Im (m=1,‥‥,n)を撮像し、該異なる焦点合わせの複数画像Im および所望の画像I間に成立する、以下に示す重ね合わせモデルに基づく恒等式を導出し、
f(T1 ,‥‥,Tk ,T11,‥‥,T1n,T21,‥‥,T2n,‥‥,Tmk
‥‥,Tn1,‥‥,Tnn,I,I1 ,‥‥,In )=0 -(1)
ただし、n=2,3,‥‥、k=1,‥‥,n、m=1,‥‥,n、Tmk;カメラ特性およびカメラパラメータから決定されるぼけ関数による畳み込みを表わす定数、Tk ;ユーザが指定する、画像中のぼけ関数による畳み込みや視差に対応する平行移動量を表わす定数この恒等式に前記異なる焦点合わせの複数画像Im およびTmk,Tk を代入して解を求め、この解に基づき所望の画像Iを生成する画像処理を行うことを特徴とするものである。

【0011】
本発明の請求項2に係る画像処理方法は、前記定数Tk を調整することにより、前記所望の画像Iとして、画像の全領域を鮮鋭化した全焦点画像、奥行き毎に鮮鋭度調整を行った任意焦点画像、視差を付与した立体視用視差付画像、前記任意焦点画像に視差を付与した立体視用視差付任意焦点画像、特定領域のみを強調した部分強調画像、特定領域のみを抽出した部分抽出画像を含む各種画像の何れか1つを選択的に生成することを特徴とするものである。

【0012】
本発明の請求項3に係る画像処理方法は、符号化の前処理として、奥行き方向に異なる領域毎に焦点ぼけ調整を行うことを特徴とするものである。

【0013】
上記第2の目的のため、本発明の請求項4に係る、上記請求項1~3の何れか1項記載の複数画像を用いる画像処理方法の実施に使用するカメラ装置は、撮像用レンズ機構と、該撮像用レンズ機構から出射した光を入射される1つの入射面と、入射された光を複数n(n=2,3,‥‥)等分した分配光をそれぞれ出射するn個の出射面とを有するプリズム手段と、該プリズム手段のn個の出射面から出射した分配光をそれぞれ撮像するn個の撮像部と、前記n個の撮像部のそれぞれを前記分配光の光軸方向に移動させることにより前記n個の出射面および対応する撮像部間の位置関係をそれぞれ調整する焦点合わせ調整機構と、前記n個の撮像部による撮像のタイミングを同期させる同期手段とを具え、異なる焦点合わせの複数画像を同時に撮像し得るようにしたことを特徴とするものである。

【0014】
【作用】本発明の請求項1によれば、異なる焦点合わせの複数画像および生成すべき所望の画像のそれぞれを、奥行き毎の領域に対応する画像群の重ね合わせIm (m=1,‥‥,n)およびIとして表わすことにより、前記複数画像および所望の画像の間に直接的に成立する、重ね合わせモデルに基づく恒等式(1)を導くから、この恒等式に前記異なる焦点合わせの複数画像Im およびTmk,Tk を代入して解くことにより、画像処理によって所望の画像Iを生成することができる。その際、前記複数画像および所望の画像に共通する要素である領域分割に依存する要素は上記恒等式から消去されるため、上記従来例のような領域判定の判定精度が確保できない不具合は生じず、したがって、画像処理方法の適用範囲が画像の鮮鋭化等に限定される不具合も生じない。

【0015】
本発明の請求項2によれば、前記複数画像および所望の画像の間に直接的に成立する関係を表わす上記恒等式は各種画像に適用できるから、前記定数Tk を調整することにより、前記所望の画像Iとして、画像の全領域を鮮鋭化した全焦点画像、奥行き毎に鮮鋭度の調整(焦点の調整)を行った任意焦点画像、視差を付与した立体視用視差付画像、前記任意焦点画像に視差を付与した立体視用視差付任意焦点画像、特定領域のみを強調した部分強調画像、特定領域のみを抽出した部分抽出画像を含む各種画像の何れか1つを選択的に生成することができる(例えば、前記定数Tk を高域フィルタの効果が得られるように調整すれば特定の領域のみを強調した部分強調画像が得られ、前記定数Tk を位相ずらしフィルタの効果が得られるように調整すれば視差を付与した立体視用視差付画像が得られ、前記定数Tk を不要領域に対する全零フィルタの効果が得られるように調整すれば特定領域のみを抽出した部分抽出画像が得られる)。

【0016】
本発明の請求項3によれば、符号化の前処理として、奥行き方向に異なる領域毎に焦点ぼけを強調あるいは抑制する調整を行うから、領域毎の適応的な画像圧縮(例えば低レート符号化)を行う場合に好適である。

【0017】
本発明の請求項4によれば、撮像用レンズ機構から出射した光は、プリズム手段の入射面に入射した後に複数n(n=2,3,‥‥)等分された分配光となり、これら分配光は前記プリズム手段のn個の出射面からそれぞれ出射してn個の撮像部によりそれぞれ撮像される。その際、焦点合わせ調整機構によって前記n個の撮像部のそれぞれを前記分配光の光軸方向に移動させることにより前記n個の出射面および対応する撮像部間の位置関係がそれぞれ調整されるとともに、同期手段により前記n個の撮像部による撮像が同期して行われるから、異なる焦点合わせの複数画像を同時に撮像することができる。この撮像により得られる異なる焦点合わせの複数画像は、「焦点合わせを変化させた場合であっても、同一シーンを撮像した画像間では撮像されている対象(物体等)が画像全体での倍率変化を除き同一である」という条件を満たすものとなるから、立体画像の生成等を目的とする上記請求項1~3に記載の画像処理に用いることができる。また、上記撮像により異なる焦点合わせの複数画像が同時に得られるから、対象が動的に変化する場合(動画像等)にも対応することができる。

【0018】
【発明の実施の形態】以下、本発明の実施の形態を図面に基づき詳細に説明する。図1は本発明の複数画像を用いる画像処理方法の実施に用いる複数画像同時撮像型カメラ装置の原理的構成を示す図である。本実施形態の複数画像同時撮像型カメラ装置(以下、単にカメラ装置という)1は、撮像用レンズ機構2と、撮像用レンズ機構2から出射した光3を入射される1つの入射面4aと、入射された光3のパワーを3等分した分配光5をそれぞれ出射する3個の出射面4bとを有するプリズム手段4と、プリズム手段4の3個の出射面4bから出射した分配光5をそれぞれ撮像する3個の撮像部6と、3個の出射面4bおよび対応する撮像部6間の位置関係をそれぞれ調整する焦点合わせ調整機構7と、3個の撮像部による撮像のタイミングを同期させる同期回路8等を具備して成る。

【0019】
上記撮像用レンズ機構2としては、例えば既存のズームレンズ機構を用いるのが、撮像する画像について様々な画角調整を行えるようにする上で好ましい。この場合、図示しない撮像対象シーンから入射した光3は、ズームレンズ機構2を構成するレンズ群を通過する際に画角を調整されてから、プリズム手段4へ入射する。

【0020】
上記プリズム手段4は、撮像用レンズ機構2から導かれた光3を、そのパワーを分配することにより複数n(n=2,3,‥‥)等分するものであり、例えば図1に示すような、光の分配のために一般的に使用される3方向光分配プリズムを用いるものとする。この場合、各方向に3分の1ずつ光のパワーが等分されて、光3は3つの分配光5となる。このプリズム手段4の光分配機能により、撮像用レンズ機構2から取り込まれた光3は、パワー分配された後に複数(この場合3つ)の撮像部6へ出射するため、各撮像部6は同様の分配光5を取り込むことになる。

【0021】
なお、図1に示すカメラ装置1ではプリズム手段4を1段としたが、プリズム手段を多段に接続する構成としてもよく、その場合、より多数の撮像部に同様に分配光を出射して撮像する画像の枚数を増加させることができる。

【0022】
上記撮像部6としては、例えば一般に用いられている「親指大のカメラ」からレンズ部を取り去ったものを用いるものとする。また、上記焦点合わせ調整機構7としては、分配光5の光軸方向に焦点面を前後移動させて可動焦点面を形成することができる機構であればよく、例えば可動ステージを用いるものとする。上記撮像部6では、プリズム手段4から出射した分配光5に対する焦点面(CCD等の撮像素子の受光面)が、焦点合わせ調整機構7によって光軸方向に前後移動されることにより、それぞれ独立に焦点合わせが調整される。そのため、同期回路8からの同期信号に基づいて、各撮像部6は、同一の撮像対象シーンに対して焦点合わせのみが異なる画像を全く同時に撮像することができる。

【0023】
上記カメラ装置1を用いて複数画像の撮像を行う場合、まず、撮像用レンズ機構2を調整することにより画角の調整を行う。次に、焦点合わせ調整機構7を用いて各撮像部6を光軸方向に前後移動させることにより、プリズム手段4の出射面4bおよび対応する撮像部6間の位置関係をそれぞれ独立に調整し、各撮像部6がそれぞれ所望の異なる奥行きに焦点が合った状態となるようにしておく。この状態において、各撮像部6に接続しておいた図示しない画像記録装置を使用して実際に撮像を行う。その際、各撮像部6に接続された画像記録装置に同期回路8から同期信号を入力して、3つの撮像部6が同時かつ独立的に同一撮像対象シーンを撮像するようにすることにより、異なる焦点合わせの複数画像を同時に撮像することができる。そのため、撮像対象シーンが動的に変化する場合においても、連続的に異なる焦点合わせの画像を動画として撮像することができる。

【0024】
この撮像により得られる異なる焦点合わせの複数画像は、「焦点合わせを変化させた場合であっても、同一シーンを撮像した画像間では撮像されている対象(物体等)が画像全体での倍率変化を除き同一である」という条件を満たすものとなるから、立体画像の生成等を目的とする、本実施形態の複数画像を用いる画像処理に用いることができるものとなる。

【0025】
次に、本実施形態の複数画像を用いる画像処理方法について説明する。なお、この画像処理方法を実施するために使用する「異なる焦点合わせの複数画像」としては、上記カメラ装置1を用いて撮像したものを使用するのが好ましいが、本実施形態の画像処理方法は他のカメラ装置で撮像した「異なる焦点合わせの複数画像」にも適用可能であることは言うまでもない。

【0026】
本実施形態の画像処理方法では、撮像対象シーンを複数n(n=2,3,‥‥)枚の画像の階層構造と見なして、奥行き毎の領域で分割されたn枚の画像をik (k=1,‥‥,n)と表わし、これを用いて、それぞれの奥行きに焦点を合わせて撮像した画像群の重ね合わせIm (m=1,‥‥,n)を以下のように表わす。このIm は異なる焦点合わせの複数画像である。
【数1】
JP0003303128B2_000002t.gif同様に、生成すべき所望の画像Iを、複数枚の画像の階層構造と見なして、以下のように表わす。
【数2】
JP0003303128B2_000003t.gif【0027】上記(2),(3)式において、Tmkはカメラ特性およびカメラパラメータから決定されるぼけ関数による畳み込みを表わす定数、Tk はユーザが指定する、画像中のぼけ関数による畳み込みや視差に対応する平行移動量を表わす定数、k=1,‥‥,nである。上記(2),(3)式からik を消去して、異なる焦点合わせの複数画像Imおよび所望の画像Iの間に直接的に以下の関係式を導出する。
f(T1 ,‥‥,Tk ,T11,‥‥,T1n,T21,‥‥,T2n,‥‥,Tmk
‥‥,Tn1,‥‥,Tnn,I,I1 ,‥‥,In )=0 -(1)

【0028】
この(1)式は、異なる焦点合わせの複数画像Im および所望の画像I間に成立する、重ね合わせモデルに基づく恒等式となるため、ユーザが指定した所望の定数Tk と、カメラ特性およびカメラパラメータから決定される定数Tmkと、複数画像Im とを(1)式に代入すると、所望の画像Iのみが未知数となる。よって、この(1)式を解くことにより、所望の画像Iを画像処理によって生成することができる。なお、上記(1)式を直接解くことにより所望の画像Iが生成されるが、上記(1)式を反復的に解くようにするのが、より好ましい。

【0029】
その際、複数画像Im および所望の画像Iに共通する要素である領域分割に依存する要素ik は(1)式から消去され、領域分割を介することなく直接的に所望の画像Iが生成されるから、上記従来例のような領域判定の判定精度が確保できない不具合は生じない。したがって、本実施形態の画像処理方法の適用範囲は画像の鮮鋭化等に限らず、以下のような多様なものとなる。

【0030】
すなわち、上記恒等式(1)は複数画像Im および所望の画像I間に直接的に成立する関係を表わしており、各種画像に適用可能であるので、物体等の存在する領域毎の画像処理を行う場合(個々の奥行きに対応する領域毎および物体等が存在する領域毎の画像処理を含む)には、ユーザが予め画像処理の対象とする物体等を包囲する矩形領域を指定する補助的な領域指定を行うとともにぼけ関数を表わす前記定数Tk を所望に応じて調整するだけでよい。この調整により、個々の物体等を含む領域毎の画像処理が可能になり、上記従来例のように人の手で長時間掛けて当該領域自体を切り出す作業を行う必要もなく、画像処理が高速化される。

【0031】
その上、上記調整により、所望の画像Iとして、画像の全領域を鮮鋭化した全焦点画像、奥行き毎に鮮鋭度調整を行った任意焦点画像、視差を付与した立体視用視差付画像、前記任意焦点画像に視差を付与した立体視用視差付任意焦点画像、特定領域のみを強調した部分強調画像、特定領域のみを抽出した部分抽出画像等の各種画像の何れか1つを選択的に生成することができる。特に、遠景または近景のぼけを独立的に強調または抑制しつつ奥行き毎に視差を付与した画像である立体視用視差付任意焦点画像は、本実施形態の画像処理方法を用いて初めて生成できるものであり、この画像処理方法の有効性を立証するものである。

【0032】
例えば、ある領域内の物体等に焦点を合わせるフィルタの効果が得られるような定数Tk の調整を物体等を含む領域の全てに対し行えば鮮鋭化した全焦点画像を得ることができ、本実施形態の画像処理方法による鮮鋭化処理は高精細画像を取得する場合に有効である。また、物体等を含む奥行き方向に分割した領域毎に該物体等の鮮鋭度(焦点)を調整するフィルタの効果が得られるようように定数Tk を調整すれば任意焦点画像を得ることができ、物体等を含む領域毎に位相ずらしフィルタの効果が得られるように定数Tk を調整すれば視差を付与した立体視用視差付画像を得ることができ、物体等を含む奥行き方向に分割した領域毎に該物体等の鮮鋭度を調整するフィルタおよび位相ずらしフィルタ効果の効果が得られるように定数Tk を調整すれば視差付任意焦点画像を得ることができ、特定領域に対し高域フィルタの効果が得られるように定数Tk を調整すれば特定の領域のみを強調した部分強調画像を得ることができ、不要領域に対し全零フィルタの効果が得られるように定数Tk を調整すれば特定領域のみを抽出した部分抽出画像を得ることができる。

【0033】
なお、符号化の前処理として、奥行き方向に異なる領域毎に焦点ぼけを強調あるいは抑制する調整を行っておくのが、領域毎の適応的な画像圧縮(例えば低レート符号化)を行う場合には有効である。

【0034】
【発明の効果】以上説明したように、本発明の複数画像を用いる画像処理方法によれば、異なる焦点合わせの複数画像Im (m=1,‥‥,n)および所望の画像Iに直接的に成立する、重ね合わせモデルに基づく恒等式(1)にIm およびTmk,Tk を代入して解くことにより、奥行き領域毎に焦点ぼけや視差等の調整を行った所望の画像Iを領域分割を介することなく画像処理によって直接的に生成することができる。その際、前記複数画像および所望の画像に共通する要素である領域分割に依存する要素は上記恒等式から消去されるから、上記従来例のような領域判定の判定精度が確保できない不具合は生じない。したがって、本発明の画像処理方法の適用範囲は画像の鮮鋭化に限定されず、高度かつ多様な画像生成処理が可能となる。

【0035】
例えば、上記恒等式における定数Tk を調整することにより、各種画像(画像の全領域を鮮鋭化した全焦点画像、奥行き毎に鮮鋭度調整を行った任意焦点画像、視差を付与した立体視用視差付画像、前記任意焦点画像に視差を付与した立体視用視差付任意焦点画像、特定領域のみを強調した部分強調画像、特定領域のみを抽出した部分抽出画像等)の中の所望のものを生成することができる。

【0036】
また、本発明の複数画像同時撮像型カメラ装置によれば、撮像用レンズ機構から入射した光をプリズム手段を用いて複数n(n=2,3,‥‥)に分配して、異なる焦点合わせの複数画像を同期して撮像する際に、焦点合わせ調整機構がn個の撮像部のそれぞれを前記分配光の光軸方向に移動させることにより焦点合わせの調整をn個の撮像部のそれぞれで行うから、得られた異なる焦点合わせの複数画像間では、上記従来例のような奥行き毎の倍率変化に伴うずれが生じることはない。したがって、本発明の複数画像同時撮像型カメラ装置により撮像した異なる焦点合わせの複数画像を用いて上記本発明の画像処理を行うことにより、上記ずれによる画質劣化のない良好な画像を生成することができるとともに、立体画像の生成等を目的とする画像処理や、対象が動的に変化する場合(動画像等)にも対応することができる。
図面
【図2】
0
【図1】
1