TOP > 国内特許検索 > 立体画像構成方法,立体対象の距離導出方法 > 明細書

明細書 :立体画像構成方法,立体対象の距離導出方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4205533号 (P4205533)
公開番号 特開2005-069936 (P2005-069936A)
登録日 平成20年10月24日(2008.10.24)
発行日 平成21年1月7日(2009.1.7)
公開日 平成17年3月17日(2005.3.17)
発明の名称または考案の名称 立体画像構成方法,立体対象の距離導出方法
国際特許分類 G01B  11/24        (2006.01)
G01B  11/00        (2006.01)
G02B  27/22        (2006.01)
H04N  13/02        (2006.01)
FI G01B 11/24 K
G01B 11/00 H
G02B 27/22
H04N 13/02
請求項の数または発明の数 6
全頁数 27
出願番号 特願2003-301501 (P2003-301501)
出願日 平成15年8月26日(2003.8.26)
審査請求日 平成18年4月28日(2006.4.28)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】谷田 純
【氏名】仁田 功一
個別代理人の代理人 【識別番号】100084135、【弁理士】、【氏名又は名称】本庄 武男
審査官 【審査官】岡田 卓弥
参考文献・文献 特開2003-141529(JP,A)
調査した分野 G01B11/00-11/30
G02B27/22
G06T 1/00
H04N13/02
特許請求の範囲 【請求項1】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,
前記マイクロレンズアレイの正面方向における下記(X1)式を満たす前面側距離bfから下記(X2)式により求まる背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について,下記(X3)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第1のシフト量算出工程と,
前記第1のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第1の縮小像配置工程と,
を有してなることを特徴とする立体画像構成方法。
【数1】
JP0004205533B2_000014t.gif
但し,Dは前記マイクロレンズアレイ側から見た前記立体対象の奥行き方向の厚み,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数を表す。
【請求項2】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,
前記マイクロレンズアレイの正面方向における下記(X4)式及び(X5)式をそれぞれ満たす前面側距離bfから背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について,下記(X6)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第2のシフト量算出工程と,
前記第2のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第2の縮小像配置工程と,
を有してなることを特徴とする立体画像構成方法。
【数2】
JP0004205533B2_000015t.gif
但し,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数,yは各式で共通の所定のパラメータを表す。
【請求項3】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮像し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,
前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第3のシフト量算出工程と,
前記第3のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第3の縮小像配置工程と,
前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第1の要素領域画像選択工程と,
前記第1の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する画像組合せ工程と,
を有してなることを特徴とする立体画像構成方法。
【請求項4】
前記設定距離br(i)(i=1,2,…,n)を下記(X7)式により求まる距離又は下記(X7)式により求まる距離よりも設定間隔が狭い距離に設定してなる請求項2に記載の立体画像構成方法。
【数3】
JP0004205533B2_000016t.gif
但し,bf(1)は所定の初期値,rはその値が約0.1である係数とする。
【請求項5】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法であって,
前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第3のシフト量算出工程と,
前記第3のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第3の縮小像配置工程と,
前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケの有無又は画像ボケの程度に関する画像ボケ情報を求める画像ボケ情報導出工程と,
前記画像ボケ情報導出工程で得られた前記画像ボケ情報及びそれに対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める距離導出工程と,
を有してなることを特徴とする立体対象の距離導出方法。
【請求項6】
前記距離導出工程が,
前記画像ボケ情報導出工程により得られた前記画像ボケ情報に基づいて前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第2の要素領域画像選択工程を有し,該第2の要素領域画像選択工程で選択された前記要素領域の画像に対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求めてなる請求項5に記載の立体対象の距離導出方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法,及び前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法に関するものである。
【背景技術】
【0002】
昨今,例えば半導体製造における各種検査工程等の製造分野や内視鏡等の医療分野,さらには入退室管理における形状認識(人の顔の形状の認識等)等のセキュリティ分野等の広汎な分野において,3次元形状を有する立体対象について,画像ボケのない鮮明な立体画像(3次元画像)を取得する技術や,立体形状に関する情報(撮像装置(カメラ)から立体対象の各部位までの距離情報等,以下,立体情報という)を取得する技術が求められている。さらに,医療分野やセキュリティ分野等においては特に,使用環境の問題から撮像装置の小型化や近距離にある立体対象を撮像可能なことも求められている。
従来,立体画像や立体情報の取得技術としては,単一のカメラ(撮像装置)と立体対象(撮像対象)との距離を変化させながら撮像し,これにより得た複数の画像の各個所における画像ボケ等を解析して立体画像や立体情報を取得する手法や,各々異なる位置に配置された複数のカメラで立体対象を撮像し,これにより得た複数の画像の視差情報を解析して立体画像や立体情報(立体形状)を得る多眼式法等が知られている。
しかしながら,前者の手法では,カメラと立体対象との距離を変化させるアクチュエータ及びその制御装置が必要なため装置が大型化・複雑化する上,得られた複数の画像の撮像時点が各々異なるため,立体対象が動くものである場合には適用できないという問題点がある。
また,後者の多眼式法では,複数のカメラを離して配置し,これらの同期制御を行う制御手段等を設ける必要があり,装置が大型化・複雑化するという問題点がある。
【0003】
一方,前記2つの手法では,受光素子アレイと一組の光学系で構成される単眼式カメラ(単眼式の撮像装置)が用いられるのに対し,近年,小型化・薄型化が可能な撮像装置(画像入力装置)として,昆虫等に見られる複眼構造を模倣した複眼式カメラ(複眼式画像入力装置)が開発されている。
複眼式カメラは,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像(物体縮小像)を結像するものである。
図11は,単眼式カメラの光学系((a)単眼光学系)と複眼式カメラの光学系((b)複眼光学系)とを模式的に表した図である。
図11の(a),(b)を比較してわかるように,複眼式カメラでは,前記マイクロレンズ80それぞれの焦点距離(図中,f/Nで表す)が微小であるため,複眼式カメラは,同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
また,複眼式カメラにおいて,口径が微小な前記マイクロレンズ80ごとに前記受光素子81に結像されて得られる複数の縮小像それぞれは解像度の低い画像であるが,複数の縮小像をそれらのずれを補正(シフト)して1つの領域に配置する処理を行うことにより,単一の高精細な画像を構成することができる。
ここで,複数の縮小像から1つの高精細な画像を得る手法としては,例えば,非特許文献1に示される相加平均法や擬似逆行列法等による画像再構成法や,特許文献1に示されるように,複数の縮小像(物体縮小像)間の相関演算によりそれらのシフト量を算定し,そのシフト量に基づいて複数の縮小像を同一領域上に再配置して高精細な画像を得る画像再構成法等が提案されている。
【0004】
ところで,結像光学系において,画像ボケ(ここでは,いわゆるピンボケを表す)のない(或いは,画像ボケが許容される)像を得ることについての評価尺度として被写界深度がある。この被写界深度は,立体対象を撮影した際に,画像ボケのない(或いは,画像ボケが許容される)像を得ることができる立体対象の奥行き幅(カメラから見た奥行き)として表される。被写界深度については,非特許文献2等に詳しい。
この被写界深度について,図12を用いて説明する。
図12において,物体面(撮像対象の前面)をO,レンズ82の焦平面をO’とする。ここで,レンズ82を通して得られる像において,前記焦平面O’上における許容錯乱円直径ε程度の画像ボケは許容されるとする。このとき,レンズ82により集光される光が前記許容錯乱円(直径ε)の範囲内に収まるときの前記焦平面O’から最も離れた前後の結像面をO1’及びO2’とすると,O1’からO2’の範囲内に結像する物体側の位置O1からO2までの範囲にある物体の像は,焦平面O’に結像される像としてボケなしに取得できる。このとき前記O1から前記O2までの距離を被写界深度といい,さらに,前記O1から前記Oまでの距離a1を後側被写界深度,前記Oから前記O2までの距離a2を前側被写界深度という。
結像公式から。a1とa2は,それぞれ次の(1)式と(2)式とで表される。但し,s,s1及びs2は前記レンズ82から前記物体面O,O1及びO2までの各距離,f及びdは前記レンズ82の焦点距離及び口径を表し,F=f/dである。
【数1】
JP0004205533B2_000002t.gif
ここで,物体までの距離sを次の(3)式で求まるShに設定すれば,(1)式及び(2)式において,a1=∞,a2≒Sh/2となり,無限遠からSh/2までの距離の範囲内にある物体はすべて被写界深度内に入る。一般に,Shは過焦点距離と呼ばれる。
【数2】
JP0004205533B2_000003t.gif
この(3)式からわかるように,レンズの焦点距離f及び口径dが小さいほど過焦点距離が短い,即ち,より近距離にある物体について被写界深度内に入る。従って,一般に単眼式カメラよりも各レンズ(マイクロレンズ)の焦点距離f及び口径dが非常に小さい複眼式カメラを用いれば,単眼式カメラを用いる場合に比べて,非常に近距離にある物体(撮像対象)についても画像ボケのない像(前記縮小像)を得ることができる。

【特許文献1】特開平2003—141529号公報
【非特許文献1】J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N. Kondo, D. Miyazaki, and Y. Ichioka, "Thin Observation module by bound optics (TOMBO): concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001)
【非特許文献2】高橋友刀, "レンズ設計", (東海大学出版会, 1994)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら,従来,小型化・薄型化が可能な複眼式カメラを用いてどのような条件及び方法で撮影及び画像構成を行えば,立体対象(3次元の撮像対象)についてのボケのない画像や立体情報を得られるかが明らかでないという問題点があった。
例えば,複眼式カメラを用いた場合,前述したように近距離にある物体(撮像対象)についてもピンボケのない縮小像を得ることができるが,高解像度の(高精細の)立体画像を得るためには,複数の縮小像をそのずれを補正(シフト)して1つの領域に配置する処理を行う必要がある。そのシフト量は,撮像対象までの距離の設定値によって異なるため,被写界深度内に立体対象(立体の撮像対象)が入っている場合でも,カメラから立体対象までの距離の設定値を適切に設定した上でシフト量を求めて縮小像を配置しなければ,前記複数の縮小像の配置のずれ(前記シフト量の誤算出)に起因する格子状のノイズ(画像ボケの一例)が生じ,結局,高精細な画像ボケのない立体画像を構成することができない等である。
従って,本発明は上記事情に鑑みてなされたものであり,その目的とするところは,複眼式カメラを用いて画像ボケのない立体対象の画像を得るための立体画像構成方法及び複眼式カメラを用いて立体対象までの距離(立体情報)を得るための立体対象の距離導出方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために第1の発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,前記マイクロレンズアレイの正面方向における下記(X1)式を満たす前面側距離bfから下記(X2)式により求まる背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について,下記(X3)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第1のシフト量算出工程と,前記第1のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第1の縮小像配置工程と,を有してなることを特徴とする立体画像構成方法である。
【数3】
JP0004205533B2_000004t.gif
但し,Dは前記マイクロレンズアレイ側から見た前記立体対象の奥行き方向の厚み,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数を表す。
このような方法によれば,撮像対象となる前記立体対象の奥行き方向の厚みが既知であり,前記立体対象までの距離を所望の距離に設定できる場合に,1回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも,前記マイクロレンズの口径及び焦点距離はごく小さいので,単眼式カメラを用いる場合に比べ,より近距離にある立体対象について画像ボケのない画像を構成することが可能である。前記係数rを約0.1とすることは,画像ボケのない立体対象の画像が得られる条件として実験的に得られたものである。
【0007】
また,第2の発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,前記マイクロレンズアレイの正面方向における下記(X4)式及び(X5)式をそれぞれ満たす前面側距離bfから背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について,下記(X6)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第2のシフト量算出工程と,前記第2のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第2の縮小像配置工程と,を有してなることを特徴とする立体画像構成方法である。
【数4】
JP0004205533B2_000005t.gif
但し,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数,yは各式で共通の所定のパラメータを表す。
このような方法によっても,前記第1の発明と同様の作用効果を奏する。
【0008】
また,第3の発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮像し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第3のシフト量算出工程と,前記第3のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第3の縮小像配置工程と,前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第1の要素領域画像選択工程と,前記第1の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する画像組合せ工程と,を有してなることを特徴とする立体画像構成方法である。
この方法によれば,1回の撮像によって得た前記複数の縮小像に対し,前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され,その複数の構成画像から,前記要素領域ごとに画像ボケのない(或いは小さい)前記要素領域の画像が選択されて組み合わされ,全領域について画像ボケのない(或いは小さい)立体画像を得ることができる。従って,前記立体対象までの距離を任意に設定できない場合や,前記立体対象の奥行き方向の厚みが1つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても,全領域について画像ボケのない(或いは小さい)立体画像を得ることができる。
しかも,前記マイクロレンズの口径及び焦点距離はごく小さいので,単眼式カメラを用いる場合に比べ,より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
この場合,前記設定距離br(i)(i=1,2,…,n)を下記(X7)式により求まる距離又は下記(X7)式により求まる距離よりも設定間隔が狭い距離に設定することが好適である。
【数5】
JP0004205533B2_000006t.gif
但し,bf(1)は所定の初期値,rはその値が約0.1である係数とする。
この(X7)式は,前記設定距離をbr(i)としたときに画像ボケが生じない前記立体対象の最背面までの距離bb(i)と,前記設定距離をbr(i+1)としたときに画像ボケが生じない前記立体対象の最前面までの距離bf(i+1)とが一致する(bb(i)=bf(i+1))ように前記設定距離br(i)を求めるものである。
従って,(X7)式に従って前記設定距離br(i)を設定すれば,前記第3の縮小像配置工程における前記縮小像の配置処理の回数(=一定奥行き長さに対する前記設定距離の数n)を最も少ない回数にしながら,かつ前記第1の要素領域画像選択工程において確実に画像ボケのない(或いは小さい)前記要素領域ごとの画像を選択することができる。
もちろん,前記設定距離を(X7)式により求まる距離よりも設定間隔が狭い距離に設定すれば前記第1の要素領域画像選択工程において確実に画像ボケのない(或いは小さい)前記要素領域ごとの画像を選択することができる。但しこの場合,奥行き方向の一定長さに対して前記第3の縮小像配置工程における前記縮小像の配置処理の回数(=n)が増えるので,その分演算負荷が増大する。
【0009】
また,第4の発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法であって,前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第3のシフト量算出工程と,前記第3のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第3の縮小像配置工程と,前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケの有無又は画像ボケの程度に関する画像ボケ情報を求める画像ボケ情報導出工程と,前記画像ボケ情報導出工程で得られた前記画像ボケ情報及びそれに対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める距離導出工程と,を有してなることを特徴とする立体対象の距離導出方法である。
例えば,前記距離導出工程が,前記画像ボケ情報導出工程により得られた前記画像ボケ情報に基づいて前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第2の要素領域画像選択工程を有し,該第2の要素領域画像選択工程で選択された前記要素領域の画像に対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求めてなるもの等である。
この方法によれば,1回の撮像によって得た前記複数の縮小像に対し,前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され,その複数の構成画像から,前記要素領域ごとに前記画像ボケ情報を得ることができる。ここで,前記画像ボケ情報から,画像ボケがない(或いは小さい)と判別された前記要素領域に対応する前記立体対象の部位は,その要素領域の画像に対応する前記設定距離(即ち,その要素領域の画像が得られたときの前記設定距離)の前後の所定範囲内に入っていることになる。
従って,画像ボケがない(或いは小さい)若しくは画像ボケの程度が最も小さいと判別された前記要素領域の画像について,例えばその画像に対応する前記設定距離をその要素領域に対応する前記立体対象の部位の距離として求めれば,そのときの設定距離の前後の画像ボケが生じない範囲を最大誤差範囲として前記立体対象の各部位の距離を求めることができる。
その他にも,例えば前記要素領域ごとに,画像ボケがない(或いは小さい)ものとして選択された前記要素領域の画像が複数ある場合に,それらに対応する複数の前記設定距離について,最大値,最小値若しくは平均値を求める,又は最小の前記設定距離と最大の前記設定距離とを所定の重み付けでの加重平均値を求める(単純平均を含む)ことにより得られた値(距離)を前記立体対象の各部位の距離とすること等も考えられる。
【発明の効果】
【0010】
前記第1の発明によれば,撮像対象となる前記立体対象の奥行き方向の厚みが既知であり,立体対象(撮像対象)までの距離を所望の距離に設定できる場合に,複眼式カメラを用いた1回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも,単眼式カメラを用いる場合に比べ,より近距離にある立体対象について画像ボケのない画像を構成することが可能である。
また,前記第3の発明によれば,複眼式カメラを用いた1回の撮像によって得た複数の縮小像に対し,立体対象までの距離を仮定した複数の設定距離ごとに立体画像が構成され,その複数の構成画像から,前記要素領域ごとに画像ボケのない(或いは小さい)前記要素領域の画像が選択されて組み合わされ,全領域について画像ボケのない(或いは小さい)立体画像を得ることができる。従って,前記立体対象までの距離を任意に設定できない場合や,前記立体対象の奥行き方向の厚みが1つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても,全領域について画像ボケのない(或いは小さい)立体画像を得ることができる。
しかも,前記マイクロレンズの口径及び焦点距離はごく小さいので,単眼式カメラを用いる場合に比べ,より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
さらにこの場合,前記(X7)式に従って前記設定距離br(i)を設定すれば,前記第3の縮小像配置工程における前記縮小像の配置処理の回数(=一定奥行き長さに対する前記設定距離の数n)を最も少ない回数にしながら,かつ前記第1の要素領域画像選択工程において確実に画像ボケのない(或いは小さい)前記要素領域ごとの画像を選択することができる。また,前記設定距離を(X7)式により求まる距離よりも設定間隔が狭い距離に設定すれば前記第1の要素領域画像選択工程において確実に画像ボケのない(或いは小さい)前記要素領域ごとの画像を選択することができる。
また,前記第4の発明によれば,1回の撮像によって得た前記複数の縮小像に対し,前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され,その複数の構成画像から,前記要素領域ごとに前記画像ボケ情報を得ることができ,この画像ボケ情報から,前記設定距離の前後の画像ボケが生じない範囲を最大誤差範囲として前記立体対象の各部位の距離(立体情報)を求めることができる。
【発明を実施するための最良の形態】
【0011】
以下添付図面を参照しながら,本発明の実施の形態について説明し,本発明の理解に供する。尚,以下の実施の形態は,本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
ここに,図1は第1の発明に係る立体画像構成方法の手順の一例を表すフローチャート,図2は複眼式カメラでの撮影により得られる縮小像の一例,図3は立体対象の面までの距離と構成画像の生成に用いる設定距離とが異なる場合の複眼式カメラによる観察領域を模式的に表した図,図4は第1の発明に係る立体画像構成方法における設定距離と立体対象の厚みとの関係を表すグラフの一例,図5は前記複眼式カメラにおけるマイクロレンズ間の視差について模式的に表した図,図6は複数の縮小像を同一領域上に配置する様子を模式的に表した図,図7は第1の発明に係る立体画像構成方法により得られた立体画像の一例,図8は第3の発明に係る立体画像構成方法の手順の一例を表すフローチャート,図9は第3の発明に係る立体画像構成方法における構成画像の区分について模式的に表した図,図10は第4の発明に係る立体対象の距離導出方法の手順の一例を表すフローチャート,図11は単眼式カメラの光学系と複眼式カメラの光学系の模式図,図12は被写界深度を説明するための図である。
以下,本発明の実施の形態に係る立体画像構成方法及び立体対象の距離導出方法の手順について工程を追って説明するが,各工程で示される式の計算や画像の配置(画像データのメモリ領域への配置)等の処理は,所定のプログラムをコンピュータで実行し,処理結果をハードディスク等の記憶手段に記憶させながら実行するものである。
【0012】
(第1の発明)
まず,図1のフローチャートを用いて,前記第1の発明に係る立体画像構成方法の手順の一例について説明する。以下S1,S2,,は処理手順(ステップ)の番号を示す。
<S1:撮影工程>
まず,所定の撮影条件Xの下で,複数のマイクロレンズ(図11に示す前記マイクロレンズ80)が配列されたマイクロレンズアレイを通じて受光素子(図11に示す前記受光素子81)上に複数の縮小像を結像する複眼式カメラにより,撮影対象である立体対象(三次元物体)を撮影する(S1)。
前記撮影条件Xは,前記マイクロレンズアレイの正面方向における下記(X1)式を満たす前面側距離bfから下記(X2)式により求まる背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影を行う。
【数6】
JP0004205533B2_000007t.gif
但し,Dは前記マイクロレンズアレイ側から見た前記立体対象の奥行き方向の厚み,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数を表す。
これにより,前記マイクロレンズアレイを通じて前記受光素子上に結像される複数の縮小像(物体縮小像)が得られる。本撮影により得られた前記複数の縮小像のデータは,前記複眼式カメラから所定のコンピュータに転送され,該コンピュータの記憶手段に記憶される。
図2(a)は,前記マイクロレンズが11×11(縦×横)個配列されたマイクロレンズアレイを備えた前記複眼式カメラにより,平面物体である「A」という文字盤を撮影した場合に,前記受光素子上に結像され,画像情報に変換された前記複数の縮小像(121個の縮小像)の一例を表し,図2(b)は,前記縮小像単体の一例を表す。図2では,便宜上,平面物体の像を示したが,立体対象(三次元物体)を撮影した場合であっても同様である。図2(b)に示すように,前記縮小像それぞれは,解像度の低い粗い画像である。
【0013】
ここで,(X1)式及び(X2)式の導出過程について説明する。
立体対象を複眼式カメラで撮影して得られた前記複数の縮小像から,高精細の画像を得るためには,後述するように前記複数の縮小像相互間の相対位置のずれ(シフト量)を補正(シフト)しながら同一領域に配置(再配置)する必要がある。以下,このように前記複数の縮小像をシフトして同一領域に配置して得られる画像を構成画像という。ここで,各縮小像のシフト量は,後述するように前記マイクロレンズアレイから前記立体対象の面までの距離を与える(以下,この距離を設定距離という)ことによって求めることができるが,前記設定距離と前記立体対象の面までの実際の距離とに差がある場合には,前記構成画像に画像ボケが生じてしまう。
【0014】
図3は,撮像対象である立体対象の最前面(以下,物体最前面という)までの距離bfと前記構成画像の生成に用いる前記設定距離brとが異なる場合の前記複眼式カメラによる観察領域を模式的に表したものである。説明の簡単化のため,図3では1次元で説明する。
図3において,前記マイクロレンズ各々の口径をd,焦点距離をf,前記最前面までの距離をbfとすると,物体縮小光学系の焦点距離と倍率の関係により,前記物体最前面の観察領域の1次元方向の長さは,bf×d/fとなる(図のW1の領域)。物体縮小光学系では,この領域W1の画像情報として,複数の画素情報が前記受光素子上の前記dの幅内で等間隔に観察される。
また,前記マイクロレンズアレイの1次元方向のアレイ数(前記マイクロレンズの個数)をN(図3ではN=3)とおくと,各マイクロレンズの視差量から,前記複眼式カメラ(複眼光学系)による距離bfの位置における全観察領域(図中,長方形で囲まれている領域W0)の1次元方向の長さは,d×(N-1)+bf×d/fとなる。この全観察領域W0は,前記物体最前面までの距離によって異なるため,前記物体最前面までの距離bfと,前記構成画像を生成する際に用いる前記設定距離brとに差がある場合,前記構成画像と実際の前記物体面の像とに差が生じる。
例えば,図3に示すように前記設定距離brが前記物体最前面までの距離bfよりも大きい場合,前記構成画像の全領域に対応する構成面(前記設定距離brに位置する面)の全観察領域(図中,長方形で囲まれている領域Wr)の長さは,前記物体最前面での全観察領域W0よりも広い範囲となる。このため,図3における1つの前記マイクロレンズにより観察される領域の最も端の点である前記物体最前面の黒丸の点Pbは,前記構成面の全観察領域Wr上において,正しくは白抜きの一重丸の点Pw上に投影されるべきであるのにもかかわらず,二重丸の点Pg上にあるかのように構成される。この2点Pg,Pwの距離(ずれ)が大きい場合,前記構成画像に格子状のノイズ(画像ボケの一例)が発生してしまう。そして,前記構成面と実際の前記物体面とのずれ(以下,位置ずれという)は,前記マイクロレンズそれぞれにより観察される領域の最も端の点(前記点Pb,Pgに相当)に対応する画素で最も顕著となる。
【0015】
以下,前記位置ずれを前記縮小像における各画素の観察領域から解析する。
前記マイクロレンズ各々の口径及び焦点距離をd及びf,前記受光素子上における前記縮小像各々の一次元方向の画素数をν(前記受光素子における前記マイクロレンズの口径と同じ幅d当たりの画素数),前記マイクロレンズの一次元方向の配列数をN,前記構成面の全観察領域Wrの一方の端点(図3では左端)の座標を0とすると,前記構成面の全観察領域Wrの他方の端点(図3では右端)の座標は(ν+N-1)とおくことができ,前記構成面上の点Pgの座標y(即ち,前記位置ずれの最も顕著な点の座標)は,次の(4)式で表される。
【数7】
JP0004205533B2_000008t.gif
この(4)式は,次の(5)式のように変形できる。
【数8】
JP0004205533B2_000009t.gif
ここで,前記立体対象の面までの距離が,前記構成画像を生成する際に用いる前記設定距離brと異なる場合であっても,座標yの方向において1画素の大きさに対する所定比r(0<r<1,以下,rを許容係数という)の差(ずれ)以内に収まる場合は,得られる画素情報にほとんど差がなく,画像ボケが認識されない(画像ボケがない,或いは小さい)許容範囲であるとする。
このとき,前記設定距離brを用いて前記構成画像を生成する際に,画像ボケが認識されない最も前面側(最も前記マイクロレンズアレイに近い側)の距離である前面側距離bfと,同じく画像ボケが認識されない最も最背面側(最も前記マイクロレンズアレイから遠い側)の距離である背面側距離bbとは,前記(5)式のyにそれぞれ(y+r),(y-r)を代入して得られる次の(6)式及び(7)式で表される。
【数9】
JP0004205533B2_000010t.gif
従って,(6)式及び(7)式を満たす撮影条件で得られた前記複数の縮小像について,(5)式で求まる前記設定距離brを用いて前記構成画像の生成を行えば,画像ボケのない前記構成画像を得ることができる。ここで,yは(5)式~(7)式で共通のパラメータとして捉えることができる。
【0016】
前記(5)~(7)式において,bf,bb,brを変数と捉えた場合,これら変数のいずれかが与えられると(既知であると),パラメータyの値が求まるので,そのyの値を前記(5)~(7)式のいずれかに代入することによって残りの変数が求まる。
例えば,画像ボケのない画像を取得したい前記立体対象の奥行き方向(前記マイクロレンズアレイから見た奥行き方向)の厚みDが与えられ,前記前面側距離bfを任意に設定できる場合を考える。ここでの厚みDは,前記立体対象として設置する物体の実際の奥行き方向の厚みを意味するのではなく,前記複眼式カメラによって撮像可能な部分(前記複眼式カメラ側から見える部分)についての奥行き方向の厚みを意味する。
この場合,画像ボケのない前記構成画像を得るためには,D≦bb-bfである必要がある。ここで,D≦bb-bfとして前記(6)式及び(7)式を整理すると,次の(8)式を導くことができる。
【数10】
JP0004205533B2_000011t.gif
この(8)式を(5)式に代入すると,前記前面側距離bfが満たすべき条件式として前記(X1)式が得られる。
一方,前記(X1)式を満たす前記前面側距離bfが決まれば,前記(5)式及び(7)式それぞれに,前記(6)式を「y=」の形に変形して代入することにより,前記設定距離br及び前記背面側距離bbを求めることができる。
このようにして前記(6)式を前記(7)式に代入した式が前記(X2)式である。
従って,前記(X1)式を満たす前面側距離bfから前記(X2)式により求まる背面側距離bbまでの範囲内に前記立体対象が配置された前記撮影条件Xの下で前記複眼式カメラにより撮影を行い,それにより得られた前記複数の縮小像について,「y=」の形に変形した前記(6)式を前記(5)式に代入した式(後述する(X3)式)で求まる前記設定距離brを用いた前記構成画像の生成を行えば,画像ボケのない前記構成画像を得ることができる。
【0017】
図4は,奥行き方向の厚みDの前記立体対象の最前面を前記前面側距離bfのうち最も小さい距離(前記(X1)式における左辺=右辺としたときの前記前面側距離bf)に配置した場合における,その前面側距離bfと前記厚みDとの関係を表すグラフの一例である。図4では,f=1.3mm,d=0.5mm,N=5,ν=80としており,これらの値は,現状の前記複眼式カメラを構成するデバイス技術で十分構築できる値である。なお,r=0.1である。
図4より,前記前面側距離bfが400mmの位置において,画像ボケの生じない奥行き方向の厚みDが約75mmであることから,例えば,セキュリティ分野において人の顔の形状認識を行うような場合でも,凹凸のある顔の立体画像を十分に画像ボケなく構成することができることを示している。
【0018】
<S2:第1のシフト量算出工程>
次に,前記撮影条件Xの下で前記複眼式カメラを用いた撮影により得られた前記複数の縮小像について,前記(X3)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める(S2)。本工程の処理も,前記コンピュータが所定のプログラムを実行することにより行われ,処理結果(前記シフト量)が前記記憶手段に記憶される。ここで,(X3)式は,「y=」の形に変形した前記(6)式を前記(5)式に代入した式である。従って,前記撮影条件Xの下で得られた前記複数の縮小像について,(X3)式により求まる前記設定距離brを用いれば,画像ボケのない前記構成画像を得ることができる。
ところで,図5は,前記複眼式カメラにおける前記マイクロレンズ間の視差について模式的に表した図である。
図5に示すように,距離bだけ離れた物体を観察する場合,1つの前記マイクロレンズによる観察領域の幅W1は,前記マイクロレンズの倍率を考慮するとdb/fとなる。また,隣り合う前記マイクロレンズの観察領域相互間には,視差によりd(=前記マイクロレンズの口径)の相対位置のずれが生じる。この物体面での視差によるずれdは,前記縮小像においてf/b倍に縮小される。
この第1のシフト量算出工程では,前記(X3)式により求めた前記設定距離bfを前記マイクロレンズアレイから前記立体対象までの距離であるとして隣合う前記縮小像間における相対位置のずれを求める。そうすると,(df/bf)が隣合う前記縮小像間における相対位置のずれとなる。
さらに,前記相対値のずれの量に基づいて,前記複数の縮小像を所定の同一領域(2次元領域)に配置する際に,前記複数の縮小像を構成する各画素を,前記同一領域上で前記物体面上の位置に対応する位置(画素)に配置(座標変換)する補正量として前記縮小像ごとに各画素のシフト量を求める。ここでは,いずれかの前記縮小像(例えば,中央の位置の前記縮小像)を基準とし,この基準縮小像に対する他の縮小像の前記相対位置のずれを補正する前記シフト量を,各縮小像ごとに各画素の2次元方向それぞれについて求める。
【0019】
<S3:第1の縮小像配置工程>
次に,S2(前記第1のシフト量算出工程)で得られた前記シフト量に基づいて前記複数の縮小像を同一領域(所定の画像メモリ領域)上に配置して単一の前記立体対象の画像を構成する(S3)。本工程の処理も,前記コンピュータが所定のプログラムを実行することにより行われ,処理結果(前記画像メモリ領域に配置された画像データ(前記構成画像のデータ))が前記記憶手段に記憶される。
図6は,前記複数の縮小像を同一領域上に配置する様子を模式的に表したものである。図6に示すQ0,Q1,Q2は,それぞれ前記受光素子上に結像された3×3の画素を持つ前記縮小像を表し,更にM1は単一の立体対象の画像が構成される領域であって,その画素数は前記受光素子全体と同数とする。
この縮小像の配置工程では,まずS2において基準とした前記縮小像(図6ではQ0で表す)の画素を領域M1のスケールに合わせて,矢印で示すように配置する。
続いて,他の前記縮小像(図6ではQ1,Q2で表す)の画素を,S2で算出した前記シフト量に基づいて領域M1に配置する。
これにより,前記領域M1上に,前記縮小像相互間の相対位置のずれが修正(補正)されて配置された高解像度の単一の画像(前記構成画像)が構成されることになる。
この構成画像は,画像ボケが生じない範囲として実験的に確認された前記許容係数r(≒0.1)を用いて,前記(X1),(X2)式に基づく前記撮影条件Xの下で得られた前記複数の縮小像を,前記(X3)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして求めた前記シフト量に基づく前記複数の縮小像の配置により得られた構成画像であるため,該構成画像は,画像ボケのない立体画像となる。
【0020】
ここで,S3により得られた前記構成画像は,前記縮小像それぞれの画素を拡大された前記同一領域M1内に配置した画像であるため,物体と前記マイクロレンズアレイとの距離によっては欠失画素を含む場合がある。
そのような場合は,その欠失画素の周辺の画素値を用いて補間すればよい。
例えば,欠失画素では水平,或いは垂直方向に対して線形的に画素値が変化すると仮定すると,欠失画素がNdel個連続している場合,そのi番目の欠失画素に対して補間する画素値Pdel(i)は次の(9)式を適用して算出可能である。
ここで,P1,P2は欠失画素に隣接する画素の画素値である。
【数11】
JP0004205533B2_000012t.gif
そして,対象とする欠失画素に対して,水平及び垂直方向に(11)式を適用し,得られた値の平均値をその欠失画素に対する画素値とする。
これにより,S3で得られた前記構成画像に含まれる欠失画素が補間され,より精細な前記構成画像(立体画像)を得ることができる。
さらに,補間後の前記構成画像に対し,さらに鮮鋭化処理を施してもよい。
例えば,周知の高域強調フィルタ等の手法を用いて高い周波数成分を強調することにより,エッジ強調を行って前記構成画像を鮮鋭化する等である。
【0021】
図7は,前述したS1~S3の工程を経て得られた立体画像(前記構成画像)の一例である。
前記立体対象は100mm角のダイス(但し,ダイスの黒点は「5」の点のみ表示されている)であり,そのダイスの1つの頂点(「5」の面の角部を形成する4頂点のうちの1つ)を前記複眼式カメラにおける前記マイクロレンズアレイに対して最前面(最短距離)(その距離bf=350mm)となるよう斜めに傾けて配置している。また,r=0.1である。これにより,前記マイクロレンズアレイ側から視認できる前記ダイスの奥行き方向の厚み(距離)は120mmである。なお,ダイスの黒点の半径は27mmである。
図7に示すように,前記前面側距離bf=350mmという近距離において,奥行き方向の距離120mmという深い奥行き範囲に渡って,画像ボケのない鮮明な立体画像(前記構成画像)が得られている。
以上示したように,本第1の発明によれば,撮像対象である前記立体対象の奥行き方向の厚みが既知であり,前記立体対象までの距離を所望の距離に設定できる場合に,1回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも,前記マイクロレンズの口径及び焦点距離はごく小さいので,単眼式カメラを用いる場合に比べ,より近距離にある立体対象について画像ボケのない画像を構成することが可能である。なお,前記係数rを約0.1とすることは,画像ボケのない立体対象の画像が得られる条件として実験的に得られたものである。
【0022】
(第2の発明)
前記第1の発明について示した方法に限らず,前述したように,前記(6)式及び(7)式を満たす撮影条件で得られた前記複数の縮小像について,前記(5)式(前記X6式に相当)で求まる前記設定距離brを用いて前記構成画像の生成を行えば,画像ボケのない前記構成画像を得ることができる。
即ち,前記マイクロレンズアレイの正面方向における前記(6)式(前記X4式に相当)及び(7)式(前記X5式に相当)をそれぞれ満たす前面側距離bfから背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる1回の撮影で得られた前記複数の縮小像について,前記(5)式(前記(X6)式に相当)により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして,前記第1のシフト量算出工程と同じ処理により,前記複数の縮小像間の相対位置のずれに関するシフト量を求め(前記第2のシフト量算出工程の一例),該工程で得られた前記シフト量に基づいて,前記第1の縮小像配置工程と同じ処理により,前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成すれば,画像ボケのない前記構成画像(立体画像)を得ることができる。
【0023】
前述したように,前記(5)~(7)式において,変数bf,bb,brのいずれかが与えられると(既知であると),パラメータyの値が求まるので,そのyの値を前記(5)~(7)式のいずれかに代入することによって残りの変数が求まる。
前記(6)式及び(7)式を満たす撮影条件としては,例えば,前記前面側距離bfが与えられた場合が考えられる。
この場合,与えられた前記前面側距離bfを前記(6)式に代入することによってパラメータyが求まる。このyをy1とすると,前記マイクロレンズアレイの前方において,与えられた前記前面側距離bfからy1を前記(7)式に代入して求まる前記背面側距離bbまでの範囲内に前記立体対象を配置して撮影すればよい。
そして,y1を前記(5)式に代入して求まる距離を前記設定距離brとして前記構成画像を生成することにより,画像ボケのない前記構成画像を得ることができる。前記背面側距離bbが与えられた場合,或いは前記設定距離brが与えられた場合も同様である。
【0024】
(第3の発明)
前述した第1の発明に係る立体画像構成方法は,撮像対象となる前記立体対象の奥行き方向の厚みが既知であり,前記立体対象までの距離を所望の距離に設定できる場合に有効であるが,前記立体対象の最前面までの距離が不明である場合や,前記立体対象の奥行き方向の厚みが1つの前記設定距離brを用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さ(前記(5)式~(7)式を満たすときの(bb-bf))を超えている場合等には画像ボケの生じる画像領域が生じることを防げない。
そこで,そのような場合にも画像ボケの生じない立体画像を得ることができる第3の発明に係る立体画像構成方法について以下に説明する。
図8は,第3の発明に係る立体画像構成方法の手順の一例を表すフローチャートである。
<S11:撮影工程>
まず,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより,撮影対象である立体対象(三次元物体)を撮影する(S11)。撮影条件は特に問わないが,少なくとも前記複眼式カメラで撮像可能な範囲に前記立体対象を配置する。本撮影により得られた前記複数の縮小像のデータは,前記複眼式カメラから所定のコンピュータに転送され,該コンピュータの記憶手段に記憶される。
ここでは,前記マイクロレンズアレイの正面方向の任意の位置(距離)に前記立体対象が配置された状態で前記複眼式カメラによる撮影を行う。
これにより,前記マイクロレンズアレイを通じて複数の縮小像(物体縮小像)が,前記受光素子上に結像される。
【0025】
<S12:第3のシフト量算出工程>
次に,前記第2の撮影工程(S11)での撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める(S12)。本工程の処理も,前記コンピュータが所定のプログラムを実行することにより行われ,処理結果(前記シフト量)が前記記憶手段に記憶される。
ここで,前記設定距離br(i)(i=1,2,…,n)は,次の(X7)式により求まる距離に設定する。
【数12】
JP0004205533B2_000013t.gif
但し,bf(1)は所定の初期値,rは前記許容係数であり,その値は約0.1とする。
この(X7)式は,前記(5)式~(7)式に基づいて,前記設定距離をbr(i)としたときに画像ボケが生じない前記立体対象の最背面までの距離bb(i)と,前記設定距離をbr(i+1)としたときに画像ボケが生じない前記立体対象の最前面までの距離bf(i+1)とが一致する(bb(i)=bf(i+1))ように前記設定距離br(i)を求めるものである。
よって,(X7)式に従って前記設定距離br(i)を設定すれば,後述する第3の縮小像配置工程における前記縮小像の配置処理の回数(=一定奥行き長さに対する前記設定距離の数n)を最も少ない回数にしながら,かつ後述する第1の要素領域画像選択工程において確実に画像ボケのない(或いは小さい)前記要素領域ごとの画像を選択することができる。即ち,(X7)式に従えば,後述する第3の縮小像配置工程において,前記縮小像の配置処理の回数を必要最小限の回数とできる。
もちろん,前記設定距離を(X7)式により求まる距離よりも設定間隔が狭い距離に設定すれば後述する第1の要素領域画像選択工程において確実に画像ボケのない(或いは小さい)前記要素領域ごとの画像を選択することができる。但しこの場合,奥行き方向の一定長さに対して前記第3の縮小像配置工程における前記縮小像の配置処理の回数(=n)が増えるので,その分演算負荷が増大する。
前記初期値bf(1)としては,前記複眼式カメラでピンボケなく撮像可能な範囲で前記マイクロレンズアレイに最も近い距離とすることや,前記立体対象の最前面が,考えられる範囲で最も前記マイクロレンズアレイに接近するときの距離とすること等が考えられる。
前記設定距離br(i)それぞれについての前記シフト量の計算方法は,前記第1のシフト量算出工程と同様である。
【0026】
<S13:第3の縮小像配置工程>
次に,S12(前記第3のシフト量算出工程)で得られた前記シフト量に基づいて前記複数の縮小像を同一領域(所定の画像メモリの領域)上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する(S13)。本工程の処理も,前記コンピュータが所定のプログラムを実行することにより行われ,処理結果(前記画像メモリ領域に配置された画像データ(前記構成画像のデータ))が前記記憶手段に記憶される。
本工程では,複数の前記設定距離br(i)それぞれについて,前記第1の縮小像配置工程と同じ処理を行う。これにより,前記設定距離br(i)の数nだけ前記構成画像が生成される。ここで,生成された前記構成画像について,必要に応じて前述した欠失画像の補間・鮮鋭化を行う。
【0027】
<S14:第1の要素領域画像選択工程>
次に,前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する(S14)。本工程の処理も,前記コンピュータが所定のプログラムを実行することにより行われ,処理結果(例えば,前記要素領域ごとに選択した前記構成画像の番号(即ち,前記設定距離br(i)の番号)等)が前記記憶手段に記憶される。
図9は,前記構成画像の区分を模式的に表したものである。
本工程では,図9(a)に示すように,前記構成画像の全領域の画素数がJ×J(縦×横)であるとしたときに,その全領域を,例えば,図9(b)に示すようなj×j画素(1<j<J/2)の要素領域に区分する。
そして,前記第3の縮小像配置工程により得られた複数の前記構成画像それぞれの前記要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケの程度(画像ボケ情報)を求め(後述する画像ボケ情報導出工程の一例),最も画像ボケの程度が小さいものを画像ボケがない(或いは小さい)画像として選択する。
ここで,jの値が小さい程(1に近いほど),局所的な領域における画像の解析を行えるため,最終結果の画質を向上できる一方,前記要素領域の数が増える(演算回数は(J2/j2)回となる)ため,画像処理の演算負荷が高くなる。
また,前記要素領域の画像ボケの程度を求める方法としては,各種手法が考えられる。
例えば,従来のカメラにおけるオートフォーカス処理を適用し,前記要素領域の画像それぞれのコントラストを画像ボケの程度の評価指標とすることが考えられる。この場合,コントラストが最大のものを画像ボケのない(或いは小さい)画像として選択する。
また,i番目とi+1番目の前記構成画像の同一の(対応する)前記要素領域について画像データの差分を求め,その差分に基づいて画像ボケの有無を評価することも考えられる。これは,ピントがずれた画像データからピントずれのない画像データに変化したときに画像データの値の変化(差分)が大きくなるという特性を利用するものである。例えば,ある前記要素領域について,h番目の前記構成画像における画像データに画像ボケがなく,その他の画像データに画像ボケがある場合には,(h-1)番目とh番目との差分,及びh番目と(h+1)番目の差分が他の差分よりも大きくなる。
従って,例えば,前記要素領域ごとに,求めた(n-1)個の前記差分からその絶対値が最大のものから2つ選び,その2つの差分の計算に用いた画像データの番号(上記例の場合,(h-1)番目,h番目,(h+1)番目の3つ)のうちの最大番号及び最小番号以外の番号(上記例の場合,h番目)の画像を画像ボケのない(或いは小さい)画像として選択すること等が考えられる。
これら以外にも,前記設定距離br(i)と実際の物体面までの距離とが異なる場合に発生する格子状のノイズの有無を検出することや,前記コントラスト,前記差分及び前記格子状のノイズの各要因の複数を組み合わせた指標を画像ボケ評価の指標とすること等も考えられる。これらの方法はあくまで一例である。
【0028】
<S15:画像組合せ工程>
次に,前記第1の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する(S15)。本工程の処理も,前記コンピュータが所定のプログラムを実行することにより行われ,処理結果(組み合わされた単一の前記立体対象の画像のデータ)が前記記憶手段に記憶される。
これにより,画像ボケのない(或いは小さい)前記要素領域の画像が組み合わされて全領域について画像ボケのない(或いは小さい)立体画像を得ることができる。従って,前記立体対象までの距離を任意に設定できない場合や,前記立体対象の奥行き方向の厚みが1つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても,全領域について画像ボケのない(或いは小さい)立体画像を得ることができる。
しかも,前記マイクロレンズの口径及び焦点距離はごく小さいので,単眼式カメラを用いる場合に比べ,より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
【0029】
(第4の発明)
前記第1の発明及び第3の発明は,画像ボケのない立体画像を得るためのものであったが,前記第3の発明を応用して,前記マイクロレンズアレイから,撮像対象である前記立体対象の各部位までの距離を求めることが可能である。
以下,図10のフローチャートを用いて,第4の発明に係る立体対象の距離導出方法の手順の一例について説明する。
この立体対象の距離導出方法におけるS21~S24の工程は,図8に示したS11~S14の工程と同じであるのでここでは説明を省略する。ここで,図8における前記第1の要素領域画像選択工程が,図10における第2の要素領域画像選択工程に相当する。また,前記第1の要素領域画像選択工程において説明した前記要素領域の画像ボケの程度(前記画像ボケ情報の一例)を求める処理(工程)が,前記画像ボケ情報導出工程の一例である。
【0030】
<S25:距離導出工程>
S21~S24の処理(即ち,S11~S14の処理)の後,S24で前記要素領域ごとに選択された前記要素領域の画像に対応する前記設定距離br(i)を用いて(基づいて),前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める。
S24(第2の要素領域画像選択工程)で画像ボケがない(或いは小さい)と判別された前記要素領域に対応する前記立体対象の部位は,その要素領域の画像に対応する前記設定距離br(i)(即ち,その要素領域の画像が得られたときの前記設定距離br(i))の前後の所定範囲内(bf~bbの範囲内)に入っていることになる。
従って,本工程では,画像ボケがない(或いは小さい)と判別された前記要素領域の画像に対応する前記設定距離br(i)をその要素領域に対応する前記立体対象の部位の距離として求める。
これにより,その設定距離br(i)の前後の画像ボケが生じない範囲(bf~bbの範囲)を最大誤差範囲として前記立体対象の各部位の距離を求めることができる。
この他にも,例えば前記要素領域ごとに,前記画像ボケの程度が小さい画像を複数選択し,その要素領域について選択された複数の画像に対応する前記設定距離(複数)について,最大値,最小値若しくは平均値を求める,又は最小の前記設定距離と最大の前記設定距離とを所定の重み付けでの加重平均値を求める(単純平均を含む)ことにより得られた値(距離)を前記立体対象の各部位の距離とすること(前記距離導出工程の他の例)等も考えられる。
この第4の発明によれば,1回の撮像によって得た前記複数の縮小像から,前記立体対象の各部位までの距離情報を得ることができる。
【産業上の利用可能性】
【0031】
本発明は,各種画像処理装置等への利用が可能である。
【図面の簡単な説明】
【0032】
【図1】第1の発明に係る立体画像構成方法の手順の一例を表すフローチャート。
【図2】複眼式カメラでの撮影により得られる縮小像の一例。
【図3】立体対象の面までの距離と構成画像の生成に用いる設定距離とが異なる場合の複眼式カメラによる観察領域を模式的に表した図。
【図4】第1の発明に係る立体画像構成方法における前面側距離と立体対象の厚みとの関係を表すグラフの一例。
【図5】前記複眼式カメラにおけるマイクロレンズ間の視差について模式的に表した図。
【図6】複数の縮小像を同一領域上に配置する様子を模式的に表した図。
【図7】第1の発明に係る立体画像構成方法により得られた立体画像の一例。
【図8】第3の発明に係る立体画像構成方法の手順の一例を表すフローチャート。
【図9】第3の発明に係る立体画像構成方法における構成画像の区分について模式的に表した図。
【図10】第4の発明に係る立体対象の距離導出方法の手順の一例を表すフローチャート。
【図11】単眼式カメラの光学系と複眼式カメラの光学系の模式図。
【図12】被写界深度を説明するための図。
【符号の説明】
【0033】
Q0,Q1,Q2…縮小像
M1…単一の立体対象の画像が構成される領域
S1,S2,,…処理手順(ステップ)の番号
図面
【図1】
0
【図3】
1
【図4】
2
【図5】
3
【図6】
4
【図8】
5
【図9】
6
【図10】
7
【図11】
8
【図12】
9
【図2】
10
【図7】
11