TOP > 国内特許検索 > 断層画像生成システム、断層画像生成方法、および断層画像生成プログラム > 明細書

明細書 :断層画像生成システム、断層画像生成方法、および断層画像生成プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6719721号 (P6719721)
公開番号 特開2018-014650 (P2018-014650A)
登録日 令和2年6月19日(2020.6.19)
発行日 令和2年7月8日(2020.7.8)
公開日 平成30年1月25日(2018.1.25)
発明の名称または考案の名称 断層画像生成システム、断層画像生成方法、および断層画像生成プログラム
国際特許分類 H04N   5/232       (2006.01)
H04N   5/225       (2006.01)
G06T   1/00        (2006.01)
FI H04N 5/232 290
H04N 5/225
G06T 1/00 440
請求項の数または発明の数 15
全頁数 20
出願番号 特願2016-143764 (P2016-143764)
出願日 平成28年7月21日(2016.7.21)
審査請求日 令和元年5月17日(2019.5.17)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】西 諒一郎
【氏名】青砥 隆仁
【氏名】河合 紀彦
【氏名】佐藤 智和
【氏名】向川 康博
【氏名】横矢 直和
個別代理人の代理人 【識別番号】110000822、【氏名又は名称】特許業務法人グローバル知財
審査官 【審査官】高野 美帆子
参考文献・文献 特開2013-117848(JP,A)
特開2003-060916(JP,A)
特開2004-015255(JP,A)
米国特許出願公開第2011/0125029(US,A1)
特開2009-092426(JP,A)
特開2006-235509(JP,A)
調査した分野 H04N 5/222-5/257
G06T 1/00
特許請求の範囲 【請求項1】
結像光学系の焦点位置に被写体を配置して、結像光学系の光軸方向に被写体を平行移動させる移動手段を備えた撮像装置と、
前記移動手段により被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、推定する断層画像の画素値に関する上界が前記ボケ関数の算出値である制約と下界が非負値である制約とを用いて、被写体の断層画像を生成する断層画像生成手段と、
を備えたことを特徴とする断層画像生成システム。
【請求項2】
前記結像光学系は、第1放物面鏡と第2放物面鏡を正対配置させ、第1放物面鏡の焦点位置に撮像素子を配置し、第2放物面鏡の焦点位置に被写体を配置したものであることを特徴とする請求項1に記載の断層画像生成システム。
【請求項3】
前記断層画像生成手段は、
推定する断層画像に前記ボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、前記制約を満たす画像を層画像として生成することを特徴とする請求項1又は2に記載の断層画像生成システム。
【請求項4】
第1放物面鏡と第2放物面鏡は、それぞれの開口径が同じであることを特徴とする請求項に記載の断層画像生成システム。
【請求項5】
第1放物面鏡と第2放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことを特徴とする請求項に記載の断層画像生成システム。
【請求項6】
前記被写体を前記光軸方向に垂直な方向に平行移動させる第2移動手段を更に備え、
前記断層画像生成手段は、
前記光軸方向に垂直な方向に平行移動させながら前記被写体をする撮影した画像を用いて、
前記被写体の断層画像を生成することを特徴とする請求項1~の何れかに記載の断層画像生成システム。
【請求項7】
前記撮像装置において、
装置外側に光源、
第2放物面鏡の焦点位置に光入射口、
前記撮像素子と前記被写体の間に光遮蔽用マスク、
が設けられたことを特徴とする請求項に記載の断層画像生成システム。
【請求項8】
結像光学系の光軸方向に被写体を平行移動させる移動ステップと、
光軸方向に移動させて異なる位置から被写体を撮影する撮像ステップと、
被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、推定する断面画像の画素値に関する上界が前記ボケ関数の算出値である制約と下界が非負値である制約とを用いて、被写体の断層画像を生成する断層画像生成ステップ、
を備えたことを特徴とする断層画像生成方法。
【請求項9】
前記結像光学系は、第1放物面鏡と第2放物面鏡を正対配置させ、第1放物面鏡の焦点位置に撮像素子を配置し、第2放物面鏡の焦点位置に被写体を配置したものであることを
特徴とする請求項8に記載の断層画像生成方法。
【請求項10】
前記断層画像生成ステップは、推定する断層画像に前記ボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、前記制約を満たす画像を断層画像として生成することを特徴とする請求項8又は9に記載の断層画像生成方法。
【請求項11】
第1放物面鏡と第2放物面鏡は、
それぞれの開口径が同じであることを特徴とする請求項に記載の断層画像生成方法。
【請求項12】
第1放物面鏡と第2放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことを特徴とする請求項に記載の断層画像生成方法。
【請求項13】
前記被写体を前記光軸方向に垂直な方向に平行移動させる第2移動ステップを更に備え、
前記断層画像生成ステップは、前記光軸方向に垂直な方向に平行移動させながら前記被写体をする撮影した画像を用いて、前記被写体の断層画像を生成することを特徴とする請求項8~12の何れかに記載の断層画像生成方法。
【請求項14】
コンピュータを、請求項1~の何れかの断層画像生成システムにおける前記断層画像生成手段として機能させる断層画像生成プログラム。
【請求項15】
コンピュータに、請求項8~13の何れかの断層画像生成方法における前記断層画像生成ステップを実行させるための断層画像生成プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、正対する2つの放物面鏡を用いた断層画像生成システムおよび断層画像生成方法に関するものである。
【背景技術】
【0002】
従来から、被写界深度を浅くするための手法として、複数の小口径の結像系を用いて、大口径の結像系に相当する分解能を得る合成開口法が知られている(例えば、非特許文献1,2を参照。)。これは、多数の小口径の結像系を用いて多視点から撮影対象を見ることにより、仮想的に被写界深度を浅くする手法である。
また、共焦点撮像法は、顕微鏡で特定の一点のみを可視化する手法であり(例えば、非特許文献3を参照。)、顕微鏡の焦点とレーザの焦点を一致させて撮影を行うものである。共焦点撮像法において、共焦点光学系は、従来の顕微鏡と異なり、焦点の合った部分だけが際立って明るく撮像されるため(非合焦の部分は暗い)、焦点の合っていない箇所からの不要な散乱光が除去され、高コントラストになり、高解像度の撮影が可能である。
また、暗視野顕微鏡は、共焦点撮像法と同様、顕微鏡に用いられる手法であり、撮影対象に光源を対物レンズに当たらない角度で照射して、物体に当たって散乱した光のみを撮影することにより、細胞壁などの特定の位置にある物体のみを可視化するものである。
【0003】
また、断層画像の生成において、所望の被写界深度の画像や所望の視線方向から見た被写体の画像の品質を向上する撮像システムが知られている(例えば、特許文献1を参照。)。特許文献1に開示された撮像システムは、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像することにより、複数の画像を取得し、それらの画像に基づいて、任意の被写界深度の画像又は任意の視線方向から見た被写体の画像を生成するものであるが、結像光学系の中に開口絞りが存在し(特許文献1中の図2を参照)、この開口絞りを調整することで被写界深度を制御している。
【0004】
また、撮影した画像のピンボケ等を低減する技術として、被写界深度の制御技術があり、結像光学系の光軸方向に焦点位置を変えながら被写体を複数回撮像した画像と、ボケ関数をデコンボリューションさせることによって、所望の被写界深度の制御画像を生成する技術が知られている。その中で、被写体が二次元コードである場合、二次元コードの構成単位であるセル上に配置されることを制約とした幾何変形行列を用いて、二次元コードの復元画像を決定する技術が知られている(特許文献2を参照。)。
【先行技術文献】
【0005】

【特許文献1】特開2014-90401号公報
【特許文献2】再公表2012/029238号公報
【0006】

【非特許文献1】Levoy, M., Chen, B., Vaish, V., Horowitz, M., McDowall, I., and Bolas, M., syn-thetic aperture confocal imaging. Proc. SIGGRAPH, pp. 825-834, 2004.
【非特許文献2】Tagawa, S., Mukaigawa, Y., Kim, J., Raskar, R., Matsushita, Y., and Yagi, Y., Hemispherical confocal imaging. IPSJ Trans. on CVA, Vol. 3, pp 222-235, 2011.
【非特許文献3】Minsky, M., Microscopy apparatus. US Patent 3013467, 1961.
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した合成開口法では、複数の視点からの画像が必要となるため、複数台のカメラを使用して撮影を行う必要がある。このときカメラの外部および内部パラメータの幾何学的な補正や光学的な補正が必要となる。そのため、装置の作成コストが大きいといった問題がある。複数枚のミラーを利用して撮影する方法もあるが、解像度が低下するといった問題がある。
また、共焦点撮像法では、対象となる1点のみを計測する手法であるため、面を撮影するためには二次元の走査が必要である。また、共焦点撮像法や暗視野顕微鏡では、開口数の高い大きなレンズを作製することが難しいといった理由から、比較的大きな物体を計測するのには困難である。
また、特許文献1に開示された撮像システムでは、開口絞りを調整することで被写界深度を制御することから、その構成上、非常に浅い被写界深度を実現することは困難である。
【0008】
そこで、本発明者らは、被写界深度の非常に浅い撮像装置に特化した最適化を行うことにより、解像度の低下を防ぎつつ、幾何学的および光学的な補正の必要がない断層画像生成システムを開発し、本発明を完成した。
【0009】
すなわち、上記状況に鑑みて、本発明は、被写界深度の非常に浅い撮像装置を用いて撮影した画像と、その撮像装置が持つ位置依存の光学的なボケを利用して、より鮮明な断層画像を生成するシステムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明の断層画像生成システムは、下記の1)撮像装置と2)断層画像生成手段とから構成される。
1)撮像装置
結像光学系の焦点位置に被写体を配置する。そして、結像光学系の光軸方向に被写体を平行移動させる移動手段を設ける。
2)断層画像生成手段
下記a)~c)を用いて、被写体の断層画像を生成する。
a)上記の移動手段により被写体を移動させて異なる位置から撮影された複数の撮影画像
b)被写体の位置に依存するボケ関数
c)撮影画像の画素値に関する上界と下界の制約
【0011】
ここで、結像光学系は、第1放物面鏡と第2放物面鏡を正対配置させ、第1放物面鏡の焦点位置に撮像素子を配置し、第2放物面鏡の焦点位置に被写体を配置したものが好適に用いられる。すなわち、撮像装置は、正対する2つの放物面鏡(第1放物面鏡と第2放物面鏡)によって構成される。一方の放物面鏡(第2放物面鏡)の焦点位置に置いた対象物体(被写体)から出た光は、放物面鏡(第2放物面鏡)によって平行光として反射され、平行な反射光は、正対する放物面鏡(第1放物面鏡)により反射され、もう一方の焦点、すなわち、放物面鏡(第1放物面鏡)の焦点に集光する。そのため、放物面鏡の最大直径を開口とする非常に浅い被写界深度を持つ撮像系を実現できる。この撮像装置によって撮影された画像は、焦点付近に設置した撮像素子と対象物体(被写体)の位置関係に依存する独特な光学的なボケを生じる。この位置依存の光学的なボケ方を事前に計測しておいて、光学的なボケに基づく光線強度に関する制約を用いた最適化を行うことによって、鮮明な断層画像を撮影する。
【0012】
つまり、正対する2つの放物面鏡を用いて、集光する光を撮影することにより、解像度の犠牲を減らした撮影が可能となり、高い開口数を持ち、被写界深度の浅い撮影装置を実現することができる。また、被写体の位置依存の光学的なボケ、すなわち、被写体の位置によって独特に変化するボケ方を解析し、ボケ度合いを用いた最適化処理を行い、より鮮明な断層画像の撮影を行うことが可能となる。
なお、正対する2つの放物面鏡(第1放物面鏡と第2放物面鏡)の中心間距離が、それぞれの焦点距離の合計距離よりも小さい場合でも大きい場合でも、被写体から出る光の光路は同じで、一方の放物面鏡(第2放物面鏡)の焦点位置に置いた対象物体(被写体)から出た光は、放物面鏡(第2放物面鏡)によって平行光として反射され、平行な反射光は、正対する放物面鏡(第1放物面鏡)により反射され、もう一方の焦点、すなわち、放物面鏡(第1放物面鏡)の焦点に集光する。
【0013】
本発明の断層画像生成システムの断層画像生成手段において、上記c)の制約は撮影画像の画素値の上界と下界の制約であり、上界は前記ボケ関数から算出した値であり、下界は非負値である。
光線強度は負の値にならないという条件と、ボケ度合いから推定される上界を定めることにより、より鮮明な断層画像の撮影を行うことが可能となる。
【0014】
本発明の断層画像生成システムの断層画像生成手段は、推定する断層画像にボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、上記制約を満たす画像を推定断層画像として生成する。
【0015】
本発明の断層画像生成システムにおいて、第1放物面鏡と第2放物面鏡は、それぞれの開口径が同じであることが好ましい。開口径が同じ放物面鏡を正対させることにより、放物面鏡による反射光の利用率を高めることができる。
また、第1放物面鏡と第2放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことがより好ましい。この場合、正対する2つの放物面鏡を用いて、集光する光を撮影することにより、解像度を犠牲にしない撮影が可能となり、開口数でみると顕微鏡より高い開口数を持ち、撮影範囲も大きく取れるため、レンズでは実現できない被写界深度の非常に浅い撮影装置を実現できる。
【0016】
本発明の断層画像生成システムにおいて、被写体を光軸方向に垂直な方向に平行移動させる第2移動手段を更に備え、そして、断層画像生成手段は、光軸方向に垂直な方向に平行移動させながら被写体をする撮影した画像を用いて、被写体の断層画像を生成することが好ましい。
【0017】
本発明の断層画像生成システムの撮像装置において、装置外側に光源、第2放物面鏡の焦点位置に光入射口、撮像素子と被写体の間に光遮蔽用マスクが設けられる。
【0018】
次に、本発明の断層画像生成方法について説明する。
本発明の断層画像生成方法は、下記1)~3)のステップを備える。
1)結像光学系の光軸方向に被写体を平行移動させる移動ステップ
2)光軸方向に移動させて異なる位置から被写体を撮影する撮像ステップ
3)被写体を移動させて異なる位置から撮影された複数の撮影画像と、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する上界と下界の制約とを用いて、被写体の断層画像を生成する断層画像生成ステップ
【0019】
ここで、結像光学系は、第1放物面鏡と第2放物面鏡を正対配置させ、第1放物面鏡の焦点位置に撮像素子を配置し、第2放物面鏡の焦点位置に被写体を配置したものが好適に用いられる。
上記3)の断層画像生成ステップにおいて、上記制約は撮影画像の画素値の上界と下界の制約であり、上界は前記ボケ関数から算出した値であり、下界は非負値である。
【0020】
また、断層画像生成ステップは、推定する断層画像にボケ関数を掛け合わせた画像と、撮影画像との誤差が最小になるもので、上記制約を満たす画像を断層画像として生成する。
【0021】
また、第1放物面鏡と第2放物面鏡は、それぞれの開口径が同じであることが好ましい。光の利用率を高めることができる。さらに、第1放物面鏡と第2放物面鏡は、それぞれの開口径および曲率が同じであり、中心間距離が焦点距離となるように縁同士を合せて正対配置させたことがより好ましい。被写界深度の非常に浅い撮影装置を実現できる。
【0022】
また、被写体を光軸方向に垂直な方向に平行移動させる第2移動ステップを更に備え、断層画像生成ステップは、光軸方向に垂直な方向に平行移動させながら被写体をする撮影した画像を用いて、被写体の断層画像を生成することが好ましい。
【0023】
本発明の断層画像生成プログラムについて説明する。
本発明の断層画像生成プログラムは、コンピュータを、本発明の断層画像生成システムにおける断層画像生成手段として機能させるプログラムである。
他の観点によれば、本発明の断層画像生成プログラムは、コンピュータに、本発明の断層画像生成方法における断層画像生成ステップを実行させるためのプログラムである。
【発明の効果】
【0024】
本発明によれば、被写界深度の浅い撮像装置を用いて撮影した画像と、撮像装置が持つ位置依存の光学的なボケを利用して、より鮮明な断層画像を生成できるといった効果がある。
【図面の簡単な説明】
【0025】
【図1】断層画像生成方法のフロー図
【図2】正対する2つの放物面鏡の説明図
【図3】断層画像生成システムの撮像装置の構成図
【図4】放物面鏡の光学特性の説明図
【図5】撮像装置における正対する放物面鏡の説明図(1)
【図6】撮像装置における正対する放物面鏡の説明図(2)
【図7】撮像装置における正対する放物面鏡の説明図(3)
【図8】撮像装置における焦点上の被写体の撮像画像の説明図
【図9】撮像装置における水平方向のボケ度合いの説明図
【図10】撮像装置における奥行き方向のボケ度合いの説明図(1)
【図11】撮像装置における奥行き方向のボケ度合い説明図(2)
【図12】撮像装置における水平・奥行き方向のボケ度合いの説明図(1)
【図13】撮像装置における水平・奥行き方向のボケ度合いの説明図(2)
【図14】撮像装置における奥行き方向の強度分布図
【図15】撮像装置における水平方向の強度分布図
【図16】被写体の説明図
【図17】被写体1の撮像画像
【図18】被写体2の撮像画像
【図19】被写体2の撮像画像の説明図
【図20】被写体の撮像位置に関する説明図
【図21】断層画像の生成に用いるボケ関数の説明図
【図22】画素値の上界の制約に関する説明図(1)
【図23】画素値の上界の制約に関する説明図(2)
【図24】画素値の上界の制約に関する説明図(3)
【図25】画素値の上界の制約に関する説明図(4)
【図26】ボケ関数(行列)を用いた最適化の説明図

【発明を実施するための最良の形態】
【0026】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例1】
【0027】
まず、本発明の断層画像生成方法の処理フローについて説明する。
図1は、本発明の断層画像生成方法のフローを示している。本発明の断層画像生成方法は、2つの放物面鏡を正対させた撮像装置に被写体を配置する配置ステップと、被写体を平行移動させる移動ステップと、異なる位置から被写体を撮影する撮像ステップと、被写体の位置に依存するボケ関数と撮影画像の画素値の上界と下界の制約を用いて、断層画像を生成する断層画像生成ステップから成る。
2つの放物面鏡を正対させた撮像装置では、曲率とサイズが同じ第1放物面鏡と第2放物面鏡とを中心間距離が焦点距離となるように縁同士を合せて正対配置させ、第1放物面鏡の焦点位置に撮像素子を配置させる。そして、第2放物面鏡の焦点位置に被写体を配置する。
【0028】
次に、本発明の断層画像生成方法ならびに断層画像生成システムで用いる光学系、すなわち、正対する2つの放物面鏡を用いた結像光学系について、図2を参照して説明する。
本発明で用いる光学系では、第1放物面鏡3と第2放物面鏡2が正対配置され、第1放物面鏡3の焦点Fの位置に撮像素子6が配置され、第2放物面鏡2の焦点Fの位置に被写体4が配置される。そして、撮像素子6に被写体4の直接光が入らないように、撮像素子6と被写体4の間には光遮断用マスク8が設けられる。
【0029】
図2(1)に示す光学系は、曲率と開口径が同じ2つの第1放物面鏡3と第2放物面鏡2とを中心間距離が焦点距離となるように正対配置させたものである。曲率が同じ2つ放物面鏡は焦点距離も同じである。この場合、第1放物面鏡3の焦点Fの位置が第2放物面鏡2の中心部と重なり、第2放物面鏡2の焦点Fの位置が第1放物面鏡3の中心部と重なる。第2放物面鏡2の焦点Fの位置に被写体4が配置されていると、被写体4から出射した光は、第2放物面鏡2で反射すると平行光となり、第1放物面鏡3に向う。そして、この平行光は第1放物面鏡3で反射すると第1放物面鏡3の焦点Fの位置に集光する。第1放物面鏡3の焦点Fの位置に撮像素子6が配置されているので、撮像素子6によって被写体4が鮮明に撮影されることになる。図2(1)に示す光学系の場合、2つの第1放物面鏡3と第2放物面鏡2の縁は合わさっていないが、縁が合わさるまで放物面鏡の開口径を拡げてもよい。2つの第1放物面鏡3と第2放物面鏡2の縁同士が合わさった場合、開口径が最も大きくなり、また被写体4の光が外部に漏れることがなく、撮像素子6に入る光量を最大化することが可能である。
なお、2つの放物面鏡の縁同士が合わさらない場合、開口径が同じである必要はないが、被写体4から出射した光は、第2放物面鏡2で反射すると平行光となり、第1放物面鏡3に向うことから、第2放物面鏡2よりも第1放物面鏡3の開口径を大きくするべきである。
【0030】
図2(2)に示す光学系は、曲率と開口径が同じ2つの第1放物面鏡3と第2放物面鏡2とを中心間距離が焦点距離より大きく、それぞれの焦点距離の合計より小さくなるように正対配置させたものである。この場合、第1放物面鏡3の焦点Fの位置が第2放物面鏡2の中心部から離れ、また、第2放物面鏡2の焦点Fの位置が第1放物面鏡3の中心部から離れる。第2放物面鏡2の焦点Fの位置に被写体4が配置されていると、被写体4から出射した光は、第2放物面鏡2で反射すると平行光となり、第1放物面鏡3に向う。そして、この平行光は第1放物面鏡3で反射すると第1放物面鏡3の焦点Fの位置に集光する。第1放物面鏡3の焦点Fの位置に撮像素子6が配置されているので、撮像素子6によって被写体4が鮮明に撮影されることになる。図2(2)に示す光学系の場合、2つの第1放物面鏡3と第2放物面鏡2の縁は合わさっていないが、縁が合わさるまで放物面鏡の開口径を拡げてもよい。2つの第1放物面鏡3と第2放物面鏡2の縁同士が合わさった場合、開口径が最も大きくなり、また被写体4の光が外部に漏れることがなく、撮像素子6に入る光量を最大化することが可能である。
また、図2(2)に示す光学系の場合、曲率が異なる、すなわち焦点距離が異なる2つの放物面鏡を用いることも可能である。なお、一方の放物面鏡の焦点距離が中心間距離より大きい場合であっても、本発明で用いる光学系として適用することが可能である。
【0031】
図2(3)に示す光学系は、曲率と開口径が同じ2つの第1放物面鏡3と第2放物面鏡2とを中心間距離が、それぞれの焦点距離の合計より大きくなるように正対配置させたものである。この場合、第2放物面鏡2の焦点Fの位置に被写体4が配置されるのではなく、第1放物面鏡3の焦点Fの位置に被写体4が配置され、第2放物面鏡2の焦点Fの位置に撮像素子6が配置される。被写体4から出射した光は、第1放物面鏡3で反射すると平行光となり、第2放物面鏡2に向う。そして、この平行光は第2放物面鏡2で反射すると第2放物面鏡2の焦点Fの位置に集光する。第2放物面鏡2の焦点Fの位置に撮像素子6が配置されているので、撮像素子6によって被写体4が鮮明に撮影されることになる。図2(3)に示す光学系の場合も、曲率が異なる(すなわち焦点距離が異なる)2つの放物面鏡を用いることが可能である。また、開口径が異なる2つの放物面鏡を用いることも可能である。被写体4から出射した光は、第1放物面鏡3で反射すると平行光となり、第2放物面鏡2に向うことから、第1放物面鏡3よりも第2放物面鏡2の開口径を大きくするべきである。
【0032】
以下では、本発明の断層画像生成システムならびに断層画像生成方法で用いる撮像装置の一実施形態について説明する。図3は、断層画像生成システムで用いる撮像装置の構成図を示している。
撮像装置1は、曲率とサイズが同じ第1放物面鏡3と第2放物面鏡2とを中心間距離が焦点距離となるように縁同士を合せて正対配置させて構成される。つまり、撮像装置1は、頂点と焦点同士が一致する同じ形状の放物面鏡(2,3)一対で構成される。下側に配置された第1放物面鏡3の焦点位置には撮像素子6を配置する。撮像素子6にはレンズを設けていない。一方、上側に配置された第2放物面鏡2の焦点位置には被写体4を配置する。下側に配置された第1放物面鏡3の焦点位置には開口孔10が設けられ、照明光源7の光が2枚の放物面鏡の内部に入射できるようになっている。このため、被写体からの光は、下側に配置された第1放物面鏡3の開口孔10から入る光が被写体を透過したものになる。この透過光の中で、撮像素子への直接到達する光は、被写体の内部層の可視化を阻害する可能性がある。このため、薄い光遮断用マスク8を、撮像素子と被写体の間に設け、撮像素子に光が直接到達しないようにしている。光遮断用マスク8は円板状であり、透明なマスク支持部9によって正対する放物面鏡の内部で支持されている。
【0033】
ここで、同じ2つ放物面鏡を中心間距離が焦点距離となるように縁同士を合せて正対配置させた撮像装置の光学的特徴について説明する。図4(1)に示すように、放物面鏡では、放物面鏡の焦点から出た光は、鏡で反射して平行な光束となる。また、図4(2)に示すように、平行な光束は、鏡で反射した後、焦点に集まるといった特徴を有する。
【0034】
図5に示すように、上側に配置された放物面鏡の焦点にある撮影対象物からの光、すなわち、下側に配置された放物面鏡の開口孔から入る光による透過光は、上側の放物面鏡により反射され平行な光束となる。平行な光束は、下側の放物面鏡により反射され、下側に配置された放物面鏡の焦点に置かれた撮像素子に集束する。
【0035】
図6は、撮像装置の寸法パラメータと方向軸についての説明図である。放物面鏡の開口幅をwとし、2つ放物面鏡を中心間距離である焦点距離をlとする。また、被写体の移動方向であって、結像光学系の光軸方向(撮像装置の奥行き方向、垂直方向)をZ軸、光軸方向に垂直な方向(撮像装置の水平方向)をX-Y軸とする。また、撮像素子の2次元配列の方向をV軸、U軸とする。
【0036】
本撮像装置では、撮像素子の面に垂直方向(Z軸方向)に、被写体が焦点から僅かに移動しただけで、被写体からの光線は撮像素子で収束しなくなり、その結果、ぼやけた画像が生成される。つまり、本撮像装置では、焦点に存在する特定の層のみを鮮明に画像化することができるのである。
【0037】
ここで、本撮像装置のF値(F-number)について説明する。F値は、一般的に、レンズの焦点距離を有効口径で割った値であり、レンズの明るさを示す指標として用いられ、下記数式1で表される。数式1において、fは平行光線が一点に集まる焦点距離であり、φは有効開口の直径である。
【0038】
【数1】
JP0006719721B2_000002t.gif

【0039】
カメラの場合は、F値は絞りの開き具合(光の取り込む穴の大きさ)を数値化したものである。これに対して、本撮像装置の場合、図7に示すように、放物面鏡の開口幅wの2倍の開口幅の平行光線を集束できる焦点距離lのレンズと見做すことができる。したがって、数式1におけるfとφは、それぞれ焦点距離lと放物面鏡の開口幅wの2倍に対応する。図6に示すY座標系において、y=0のときの放物面鏡の表現は、下記数式2で表される。
【0040】
【数2】
JP0006719721B2_000003t.gif

【0041】
本撮像装置では、lは放物面鏡の焦点距離であり、1つの放物面鏡のZ方向の距離は焦点距離lの半分となる。また、x方向の距離は開口幅wの半分となる。したがって、x=w/2,z=l/2を上記数式2に当てはめると下記数式3が成立する。数式3から、放物面鏡の開口幅wを求めることができる。
【0042】
【数3】
JP0006719721B2_000004t.gif

【0043】
上記数式3から、wを求めると、w=2√2・lとなる。このwを用いて、本撮像装置のF値を求める。下記数式4に示すように、F値=0.177であり、既存のレンズと比べて非常に小さな値となっていることがわかる。また、放物面鏡のスケールが変化したとしても、F値は放物面鏡の焦点長さlと開口幅wに依存しないので一定である。
【0044】
【数4】
JP0006719721B2_000005t.gif

【0045】
次に、本撮像装置の特性に関し、幾何学的収差の影響について、シミュレーションを用いて確認した結果を説明する。対象点の三次元位置に応じて変化する点像分布関数(Point spread function;PSF)を測定することによって評価を行った。本撮像装置の利点を示すために、F値の小さい従来のカメラ装置によって撮像された画像と比較した。
光学系の点光源からのインパルス入力に対する応答を表す関数である点像分布関数(PSF)の形状は、本撮像装置に配置された点光源の三次元位置に応じて変化する。本撮像装置の特性を分析するために、撮像素子内の異なる光源位置についての点像分布関数(PSF)の形状をシミュレーション環境で測定した。シミュレーションの実験設定は、次のとおりである。
焦点距離pは65mmに設定され、放物面鏡の開口幅wは上記数式3から184mmとして決定された。 撮像素子は、サイズ20mm角で、画素数201×201ピクセルのものを用いた。被写体の位置、すなわち、点光源の位置を移動させながら、本撮像装置における点像分布関数(PSF)の形状を観察した。
【0046】
図8は、本撮像装置において、焦点位置に被写体、すなわち、焦点上に点光源がある場合に、撮像素子にて撮影された画像を示している。図8(2)に示すように、撮影された画像は鮮明であり、ぼやけていない画像である。焦点上に点光源がある場合には、他方の放物面鏡の焦点に集光するため、撮像素子上で集光し、鮮明に撮影される。
図9は、本撮像装置において、焦点位置に被写体を右水平方向に4mm移動させて、撮像素子にて撮影された画像を示している。図9(2)に示すように、撮影された画像はボケが生じていたが、撮像素子の面上に集光して撮影されている。
【0047】
図10は、本撮像装置において、焦点位置に被写体を奥行き方向に0.4mmだけ僅かに移動させて、本撮像素子にて撮影された画像を示している。図10(2)に示すように、撮影された画像は大きくボケが生じていた。本撮像素子は、開口数(Numerical Aperture,;NA)が大きいため、奥行き方向の少しのズレで、撮像素子の画像が大きくぼけることになる。これは、図11に示すように、上側の放物面鏡の焦点上の点光源が、奥行き方向に僅かに移動した場合には、撮像素子の面から上にズレた位置に結像するからである。
【0048】
図12に示すように、点光源を焦点位置から水平方向に移動、或は、奥行き方向に移動させた場合に、撮像素子によってどのように撮影されるかをシミュレーション環境で確認した。図13は、シミュレーション環境での確認結果を示している。図13から、水平方向に移動してもぼやけるが、奥行き方向には僅かに移動するだけで(水平方向の移動距離の1/10)、撮影画像が大きくぼやける(移動時のボケ度合いが大きい)ことが確認できた。
【0049】
図14および図15は、撮像素子のイメージセンサの平面上(U,V)で観測された点像分布関数(PSF)を示す。図6に示したZ軸とX軸に沿って点光源を移動させながら撮像素子で撮影した。本撮像装置は回転対称であるので、これら二つの軸を使用して装置の特性を知ることができる。図14から、Z軸に沿って点光源が移動した場合は、PSFの形状が急激に変化することがわかる。一方、図15から、X軸沿って点光源が移動した場合は、PSFの形状変化は比較的緩やかである。Z方向に移動する場合は、X方向の場合とは対照的に、大きくぼやけていることがわかる。
【0050】
次に、被写体として層状サンプルを用いて、本撮像装置の性能を確認した結果について説明する。層状の被写体のサンプルは、図16に示すように、メッシュ柄の画像と、蝶々の画像とが、それぞれ厚さ0.1mmの透明な膜として作製され、2層の平坦面から構成される2層構造物体である。サンプルの面の大きさは20mm×20mmであり、2層を構成する膜同士は1.2mm間隔で分離されている。この層状サンプルを被写体1とする。
【0051】
本撮像装置を用いて、2層構造物体の被写体1を撮影した画像について示す。なお、比較例として、開口数NA=0.53のレンズ(シュナイダーファストCマウントレンズ、17mmFL、F値=0.95)とカメラ(Grasshopper2)により撮影した画像を示す。
図17(1)は被写体1の上層、下層の画像を示している。図17(2)は、比較例としてNA=0.53のレンズを用いて撮影した画像を示している。図17(3)は、本撮像装置を用いて撮影した画像を示している。また、図17(2)(3)におけるZは、奥行き方向の移動距離を示し、Z=0.0mmは下層に焦点位置を合せた場合を示し、Z=-1.2mmは上層に焦点位置を合せた場合を示している。下層の位置を原点とし、上層から下層に向ってプラス、下層から上層に向ってマイナスとしている。
比較例では、レンズの絞り機構を調整して、焦点位置を変化させ、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図17(2)に計5種類の撮影画像を示す。いずれの撮影画像も上層の画像と下層の画像の両方の画像が同じ明瞭さ、もしくは同じぼやけ方で表れているのが確認できる。
一方、本撮像装置では、レンズや絞り機構を用いず、被写体を奥行き方向に移動させ、焦点位置から被写体を僅かに移動させて、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図17(3)に計5種類の撮影画像を示す。焦点位置を上層の画像に合せた撮影画像では、上層のメッシュ柄の模様が表れている。また、焦点位置を下層の画像に合せた撮影画像では、下層の蝶々の模様が表れている。
【0052】
他の例の被写体として、被写体1とは異なる層状サンプルを用いて、本撮像装置の性能を確認した結果について説明する。この層状サンプルを被写体2とする。被写体2は、蝶々の画像とABCD文字の画像とが、それぞれ厚さ0.1mmの透明な膜として作製され、2層の平坦面から構成される2層構造物体である。サンプルの面の大きさは20mm×20mmであり、2層を構成する膜同士は1.2mm間隔で分離されている。
本撮像装置を用いて、2層構造物体の被写体2を撮影した画像について示す。なお、比較例は、上述した比較例と同様で、開口数NA=0.53のレンズにより撮影した画像を示す。
図18(1)は被写体1の上層、下層の画像を示している。図18(2)は、比較例としてNA=0.53(F0.95)のレンズを用いて撮影した画像を示している。図18(3)は、本撮像装置を用いて撮影した画像を示している。図17と同様、図18(2)(3)におけるZは、奥行き方向の移動距離を示し、Z=0.0mmは下層に焦点位置を合せた場合を示し、Z=-1.2mmは上層に焦点位置を合せた場合を示している。下層の位置を原点とし、上層から下層に向ってプラス、下層から上層に向ってマイナスとしている。
比較例では、レンズの絞り機構を調整して、焦点位置を変化させ、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図18(2)に計5種類の撮影画像を示す。いずれの撮影画像も上層の蝶々の画像だけが確認でき、下層の文字画像は蝶々の画像の下に隠れてしまっている。
一方、本撮像装置では、被写体を奥行き方向に移動させ、焦点位置から被写体を僅かに移動させて、焦点位置を上層の画像に合せたものと、下層の画像に合せている。図18(3)に計5種類の撮影画像を示す。焦点位置を上層の画像に合せた撮影画像では、上層の蝶々の模様が表れており、焦点位置を下層の画像に合せた撮影画像では、下層のABCD文字画像が表れている。
【0053】
図17,図18に示す結果から、本撮像装置では、上層の画像に隠れた下層の画像が確認でき、従来のレンズベースのシステムよりも、はるかに浅い被写界深度のイメージングを達成できることがわかる。しかしながら、本撮像装置により撮影された画像は、従来のレンズベースのシステムで撮影された画像と比べ、周辺領域でボケ度合いが著しいこと、そして、光が集束しない他の層の画像が目的とする層の画像に若干残っていることの問題がある。
【0054】
図19,図20を参照して、本撮像装置による撮影画像のボケに関して説明する。
図19に示す層状の被写体は、被写体2と同様に、蝶々の画像とABCD文字の画像とが、それぞれ厚さ0.1mmの透明な膜として作製され2層構造物体であるが、被写体2と異なり更に薄く、2層を構成する膜同士は0.5mm間隔で分離されている。図19では、本撮像装置の焦点位置と被写体(2層構造物体)の相対位置が異なる5つの位置における撮影画像を示している。2層構造物体を撮像素子へ向かう方向(奥行き方向)に移動させて、5種類の相対位置で撮影する。それぞれ5種類の相対位置は、図19に示すように、a)焦点位置が2層構造物体の下層の更に下の位置、b)焦点位置が2層構造物体の下層と重なる位置、c)焦点位置が2層構造物体の上層と下層の間の位置、d)焦点位置が2層構造物体の上層と重なる位置、e)焦点位置が2層構造物体の上層の更に上の位置である。すなわち、撮影は0.25mm間隔で行う。
上記a)の位置と上記b)の位置に焦点位置がある場合、下層のABCD文字の画像が確認できる。一方、上記d)の位置と上記e)の位置に焦点位置がある場合、上層の蝶々の画像が確認できる。また、上記c)の位置に焦点位置がある場合、蝶々の画像とABCD文字の画像とが混ざった画像が確認できる。なお、ABCD文字はそれぞれ異なる色彩で描かれており、そのため文字によっては見づらくなっている。
【0055】
図20は、本撮影装置によって撮影した画像を、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する制約とを用いて、鮮明化処理を行って最適化を行った結果を示している。図20では、(1)撮影対象(上層、下層)、(2)本撮影装置による撮影画像(上層、下層)、(3)本撮影装置による撮影画像に対して鮮明化処理を行った画像(上層、下層)、(4)本撮影装置による撮影位置を図19で示した5ヶ所で撮影し鮮明化処理を行った画像(上層、下層)を示している。図20に示すように、本撮影装置による撮影画像に対して鮮明化処理を行った画像は、撮影対象に近似していることがわかる。また、本撮影装置による撮影位置を図19で示した5ヶ所で撮影し鮮明化処理を行った画像は、撮影対象に更に近似していることがわかる。
【0056】
(ボケ関数と画素値の制約について)
以下では、図21~26を参照して、被写体の位置に依存するボケ関数と、撮影画像の画素値に関する制約について説明する。
被写体の位置に依存するボケ関数に関しては、2つの放物面鏡を正対配置させた本撮像装置を用いて予め計測しておくことが必要である。すなわち、2つの放物面鏡を正対配置させ、焦点位置から被写体を動かして、例えば、図19の5ヶ所の位置に動かして、それぞれの被写体の位置に依存するボケ関数を予め計測する。
画像のボケ方を表すボケ関数として、行列で表記する。以下では、ボケ関数を表す行列を、ボケ行列と呼ぶ。撮影対象となる画像の位置(例えば、中央と周辺)によって、異なるボケ方をして撮影されることから(中央では全体に拡がるが、周辺ではある一方向に拡がるなどの違いがある)、画像の位置毎にボケ方を計測し、それらを列毎に示して行列の形で表す。
すなわち、ボケ行列を予め計測し、撮影画像を利用して鮮明な撮影対象の画像を推定する。図21に示すように、具体的には、撮影画像と、推定画像にボケ行列を掛けた画像との誤差が最小となるように、撮影対象を推定する。その際、光線強度に関する制約、すなわち、撮影画像の画素値に関する制約を用いた最適化を行う。
【0057】
本撮影画像では、照明光源によって照らされた被写体(撮影対象)の散乱光を計測するため、撮像素子には、被写体の光が必ず到達するため、撮影対象の光線強度は負にならず、撮影画像の画素値は負になることは無い。つまり、撮影画像の画素値に関する制約として、下界は非負値であるということが当てはまる。したがって、撮影画像の画素値の非負値制約を、推定画像の最適化に用いることができる。
【0058】
また、撮影対象の光線強度はとして、ボケが生じた画像とボケ行列より上界を定めることができる。すなわち、撮影画像の画素値に関する制約として、上界をボケが生じた画像とボケ行列より決定できる。
図22に示すように、撮影対象のある画素がボケて撮影されたと仮定する。予めボケ行列は計測されており、ボケ行列から、例えば5×5画素においては、中央が“4”、中央の縦一列は上から“1,2,4,2,1”、中央の横一列は左から“1,2,4,2,1”、中央から左上、右上、左下、右下はそれぞれ“1”といったように、中央に画素値が周辺に拡がりボケが生じることがわかっている。
【0059】
図23に示すように、例えば中央の最上位の画素値で、ボケ行列と撮影画像と比べると、ボケ行列では“1”であるのに対して、撮影画像では“4”である。撮影画像の各画素値は、画素に当る本来の光と、画素の周辺からぼけた光との足し合わせになる。そのため、撮影画像の画素値から撮影対象の画素値を推定することが可能であり、撮影対象はこの推定した画素値以下の光線強度であるという制約を設けることが可能になる。
中央の最上位の画素値で説明する。ボケ行列では“1”であるのに対して、撮影画像では“4”である。ボケ行列では全体の光量は、ボケ行列の各値の合計であり、ここでは“20”である。すなわち、ボケ行列における中央の最上位の値“1”は、全体の光量の1/20であることを示している。撮影画像の1画素(最上位の画素)には、注目している撮影対象からの光と、その他の周辺画素からの光がぼけて撮影されている。よって、Xを撮影対象の推定画素値とし、αを周辺からのボケの光による値とすると、下記数式5が成り立つことになる。αは周辺からのボケの光であり、0以上の値であるから、下記数式6が成立する。下記数式6から、撮影対象の1画素(最上位の画素)の推定画素値として、その上界が“80”とすることができるのである(図24を参照)。
【0060】
【数5】
JP0006719721B2_000006t.gif

【0061】
【数6】
JP0006719721B2_000007t.gif

【0062】
もう1つ他の画素を例にして説明する。例えば中央の画素値で、ボケ行列と撮影画像と比べると、ボケ行列では“4”であるのに対して、撮影画像では“9”である。先ほどと同様に、撮影画像の各画素値は、画素に当る本来の光と、画素の周辺からぼけた光との足し合わせになる。ボケ行列では全体の光量は、ボケ行列の各値の合計であり、ここでは“20”であるので、ボケ行列における中央の値“4”は、全体の光量の4/20であることを示すことになる。撮影画像の中央の画素には、注目している撮影対象からの光と、その他の周辺画素からの光がぼけて撮影されているので、Xを撮影対象の推定画素値とし、αを周辺からのボケの光による値とすると、下記数式7が成り立つことになる。αは周辺からのボケの光であり、0以上の値であるから、下記数式8が成立する。下記数式8から、撮影対象の1画素(最上位の画素)の推定画素値として、その上界が“45”とすることができるのである。
【0063】
【数7】
JP0006719721B2_000008t.gif

【0064】
【数8】
JP0006719721B2_000009t.gif

【0065】
上述の如く、例として5×5画素マトリクスにおける中央の画素と中央の最上位の画素の2つを例に挙げると、中央の画素値の上界の制約は45とでき、中央の最上位の画素値の上界の制約は80とできることがわかる。この例において、同様に他の画素値を調べると、図25のような値となることがわかる。
以上のようにして、撮影画像の画素値に関する制約として、上界と下界を制約として設けることができるのである。
【0066】
図26は、ボケ行列を用いた最適化の説明図である。例えば、図18に示す被写体2の2層構造物体の断層画像を鮮明化する場合、本撮像装置を用いて上層に焦点を合わせて画像を撮影し、また下層に焦点を合わせて画像を撮影する。予め、上層に焦点を合わせた位置におけるボケ行列を計測しておく。同様に、下層に焦点を合わせた位置におけるボケ行列を予め計測しておく。ボケ行列は、対応する撮影対象の位置から光が出た時に、撮影画像にどのように影響するかを示すもので、各点から出る光のボケ特性ベクトルの集合である。撮影画像は、放物面鏡を用いた撮影装置などによって撮影された画像ベクトルである。ボケ行列と推定する撮影対象を掛け合わしたものと、撮影画像との誤差が最小になるように最適化する。最適化の際には、撮影対象の画素値の上界と下界の制約を用いる。
ボケ行列は、被写体の位置に依存するものである。被写体の位置を色々と変え、複数個所で予めボケ行列を計測しておき、実際の撮影対象においても、被写体の位置を変えて、複数個所で撮影した画像を用いる。すなわち、鮮明化処理に用いる画像を増やすことで、より精度の高い推定を行い、鮮明で推定精度の高い断層画像を生成することが可能になる。
【産業上の利用可能性】
【0067】
本発明は、葉脈の構造解析など層構造物体の内部構造の解析や可視化、撮影対象に埃やカビなど取り除くことが困難な遮蔽物が存在する際の遮蔽物除去、半透明物体の内部構造の可視化、推定された断層画像を積み重ねることで半透明物体の内部構造を再現する3Dスキャナとして有用である。
【符号の説明】
【0068】
1 撮像装置
2 第2放物面鏡
3 第1放物面鏡
4 被写体
5 被写体支持台
6 撮像素子
7 照明光源
8 光遮断用マスク
9 マスク支持部
10 開口孔
11 移動ステージ
12 垂直方向駆動機構
13 水平方向駆動機構
14 放物面鏡の固定支持部
15 移動機構支持部
16 台座
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25