TOP > 国内特許検索 > 立体画像構成方法,立体対象の距離導出方法

立体画像構成方法,立体対象の距離導出方法 コモンズ

国内特許コード P05P001819
整理番号 RX03P12
掲載日 2005年4月15日
出願番号 特願2003-301501
公開番号 特開2005-069936
登録番号 特許第4205533号
出願日 平成15年8月26日(2003.8.26)
公開日 平成17年3月17日(2005.3.17)
登録日 平成20年10月24日(2008.10.24)
発明者
  • 谷田 純
  • 仁田 功一
出願人
  • 国立研究開発法人科学技術振興機構
発明の名称 立体画像構成方法,立体対象の距離導出方法 コモンズ
発明の概要 【課題】 複眼式カメラを用いて画像ボケのない立体対象の画像を得る。
【解決手段】 複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより,マイクロレンズアレイの正面方向における(X1)式を満たす前面側距離bfから(X2)式により求まる背面側距離bbまでの範囲内に立体対象が配置された状態で,複眼式カメラによる撮影(S1)で得られた複数の縮小像について,(X3)式により求まる設定距離brをマイクロレンズアレイから立体対象までの距離であるとして複数の縮小像間の相対位置のずれに関するシフト量を求め(S2),得られたシフト量に基づいて複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する(S3)。
【選択図】図1
従来技術、競合技術の概要


昨今,例えば半導体製造における各種検査工程等の製造分野や内視鏡等の医療分野,さらには入退室管理における形状認識(人の顔の形状の認識等)等のセキュリティ分野等の広汎な分野において,3次元形状を有する立体対象について,画像ボケのない鮮明な立体画像(3次元画像)を取得する技術や,立体形状に関する情報(撮像装置(カメラ)から立体対象の各部位までの距離情報等,以下,立体情報という)を取得する技術が求められている。さらに,医療分野やセキュリティ分野等においては特に,使用環境の問題から撮像装置の小型化や近距離にある立体対象を撮像可能なことも求められている。
従来,立体画像や立体情報の取得技術としては,単一のカメラ(撮像装置)と立体対象(撮像対象)との距離を変化させながら撮像し,これにより得た複数の画像の各個所における画像ボケ等を解析して立体画像や立体情報を取得する手法や,各々異なる位置に配置された複数のカメラで立体対象を撮像し,これにより得た複数の画像の視差情報を解析して立体画像や立体情報(立体形状)を得る多眼式法等が知られている。
しかしながら,前者の手法では,カメラと立体対象との距離を変化させるアクチュエータ及びその制御装置が必要なため装置が大型化・複雑化する上,得られた複数の画像の撮像時点が各々異なるため,立体対象が動くものである場合には適用できないという問題点がある。
また,後者の多眼式法では,複数のカメラを離して配置し,これらの同期制御を行う制御手段等を設ける必要があり,装置が大型化・複雑化するという問題点がある。



一方,前記2つの手法では,受光素子アレイと一組の光学系で構成される単眼式カメラ(単眼式の撮像装置)が用いられるのに対し,近年,小型化・薄型化が可能な撮像装置(画像入力装置)として,昆虫等に見られる複眼構造を模倣した複眼式カメラ(複眼式画像入力装置)が開発されている。
複眼式カメラは,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像(物体縮小像)を結像するものである。
図11は,単眼式カメラの光学系((a)単眼光学系)と複眼式カメラの光学系((b)複眼光学系)とを模式的に表した図である。
図11の(a),(b)を比較してわかるように,複眼式カメラでは,前記マイクロレンズ80それぞれの焦点距離(図中,f/Nで表す)が微小であるため,複眼式カメラは,同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
また,複眼式カメラにおいて,口径が微小な前記マイクロレンズ80ごとに前記受光素子81に結像されて得られる複数の縮小像それぞれは解像度の低い画像であるが,複数の縮小像をそれらのずれを補正(シフト)して1つの領域に配置する処理を行うことにより,単一の高精細な画像を構成することができる。
ここで,複数の縮小像から1つの高精細な画像を得る手法としては,例えば,非特許文献1に示される相加平均法や擬似逆行列法等による画像再構成法や,特許文献1に示されるように,複数の縮小像(物体縮小像)間の相関演算によりそれらのシフト量を算定し,そのシフト量に基づいて複数の縮小像を同一領域上に再配置して高精細な画像を得る画像再構成法等が提案されている。



ところで,結像光学系において,画像ボケ(ここでは,いわゆるピンボケを表す)のない(或いは,画像ボケが許容される)像を得ることについての評価尺度として被写界深度がある。この被写界深度は,立体対象を撮影した際に,画像ボケのない(或いは,画像ボケが許容される)像を得ることができる立体対象の奥行き幅(カメラから見た奥行き)として表される。被写界深度については,非特許文献2等に詳しい。
この被写界深度について,図12を用いて説明する。
図12において,物体面(撮像対象の前面)をO,レンズ82の焦平面をO’とする。ここで,レンズ82を通して得られる像において,前記焦平面O’上における許容錯乱円直径ε程度の画像ボケは許容されるとする。このとき,レンズ82により集光される光が前記許容錯乱円(直径ε)の範囲内に収まるときの前記焦平面O’から最も離れた前後の結像面をO1’及びO2’とすると,O1’からO2’の範囲内に結像する物体側の位置O1からO2までの範囲にある物体の像は,焦平面O’に結像される像としてボケなしに取得できる。このとき前記O1から前記O2までの距離を被写界深度といい,さらに,前記O1から前記Oまでの距離a1を後側被写界深度,前記Oから前記O2までの距離a2を前側被写界深度という。
結像公式から。a1とa2は,それぞれ次の(1)式と(2)式とで表される。但し,s,s1及びs2は前記レンズ82から前記物体面O,O1及びO2までの各距離,f及びdは前記レンズ82の焦点距離及び口径を表し,F=f/dである。
【数1】


ここで,物体までの距離sを次の(3)式で求まるShに設定すれば,(1)式及び(2)式において,a1=∞,a2≒Sh/2となり,無限遠からSh/2までの距離の範囲内にある物体はすべて被写界深度内に入る。一般に,Shは過焦点距離と呼ばれる。
【数2】


この(3)式からわかるように,レンズの焦点距離f及び口径dが小さいほど過焦点距離が短い,即ち,より近距離にある物体について被写界深度内に入る。従って,一般に単眼式カメラよりも各レンズ(マイクロレンズ)の焦点距離f及び口径dが非常に小さい複眼式カメラを用いれば,単眼式カメラを用いる場合に比べて,非常に近距離にある物体(撮像対象)についても画像ボケのない像(前記縮小像)を得ることができる。
【特許文献1】
特開平2003―141529号公報
【非特許文献1】
J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N. Kondo, D. Miyazaki, and Y. Ichioka, "Thin Observation module by bound optics (TOMBO): concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001)
【非特許文献2】
高橋友刀, "レンズ設計", (東海大学出版会, 1994)

産業上の利用分野


本発明は,複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法,及び前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法に関するものである。

特許請求の範囲 【請求項1】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,
前記マイクロレンズアレイの正面方向における下記(X1)式を満たす前面側距離bfから下記(X2)式により求まる背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について,下記(X3)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第1のシフト量算出工程と,
前記第1のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第1の縮小像配置工程と,
を有してなることを特徴とする立体画像構成方法。
【数1】


但し,Dは前記マイクロレンズアレイ側から見た前記立体対象の奥行き方向の厚み,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数を表す。

【請求項2】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,
前記マイクロレンズアレイの正面方向における下記(X4)式及び(X5)式をそれぞれ満たす前面側距離bfから背面側距離bbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について,下記(X6)式により求まる設定距離brを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第2のシフト量算出工程と,
前記第2のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第2の縮小像配置工程と,
を有してなることを特徴とする立体画像構成方法。
【数2】


但し,d及びfは前記マイクロレンズ各々の口径及び焦点距離,Nは前記マイクロレンズの一次元方向の配列数,νは前記受光素子上の前記縮小像各々の一次元方向の画素数,rはその値が約0.1である係数,yは各式で共通の所定のパラメータを表す。

【請求項3】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮像し,前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において,
前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第3のシフト量算出工程と,
前記第3のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第3の縮小像配置工程と,
前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第1の要素領域画像選択工程と,
前記第1の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する画像組合せ工程と,
を有してなることを特徴とする立体画像構成方法。

【請求項4】
前記設定距離br(i)(i=1,2,…,n)を下記(X7)式により求まる距離又は下記(X7)式により求まる距離よりも設定間隔が狭い距離に設定してなる請求項2に記載の立体画像構成方法。
【数3】


但し,bf(1)は所定の初期値,rはその値が約0.1である係数とする。

【請求項5】
複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し,前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法であって,
前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について,所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第3のシフト量算出工程と,
前記第3のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第3の縮小像配置工程と,
前記第3の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から,前記各構成画像間で対応する前記要素領域ごとに画像ボケの有無又は画像ボケの程度に関する画像ボケ情報を求める画像ボケ情報導出工程と,
前記画像ボケ情報導出工程で得られた前記画像ボケ情報及びそれに対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める距離導出工程と,
を有してなることを特徴とする立体対象の距離導出方法。

【請求項6】
前記距離導出工程が,
前記画像ボケ情報導出工程により得られた前記画像ボケ情報に基づいて前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第2の要素領域画像選択工程を有し,該第2の要素領域画像選択工程で選択された前記要素領域の画像に対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求めてなる請求項5に記載の立体対象の距離導出方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2003301501thum.jpg
出願権利状態 登録
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close