Top > Search of Japanese Patents > (In Japanese)撮影装置及び撮影方法 > Specification

Specification :(In Japanese)撮影装置及び撮影方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4660777
Date of registration Jan 14, 2011
Date of issue Mar 30, 2011
Title of the invention, or title of the device (In Japanese)撮影装置及び撮影方法
IPC (International Patent Classification) H04N   9/04        (2006.01)
FI (File Index) H04N 9/04 Z
Number of claims or invention 8
Total pages 20
Application Number P2007-557751
Date of filing Dec 6, 2006
International application number PCT/JP2006/324357
International publication number WO2007/091368
Date of international publication Aug 16, 2007
Application number of the priority 2006031187
Priority date Feb 8, 2006
Claim of priority (country) (In Japanese)日本国(JP)
Date of request for substantive examination Sep 4, 2008
Patentee, or owner of utility model right (In Japanese)【識別番号】504145364
【氏名又は名称】国立大学法人群馬大学
Inventor, or creator of device (In Japanese)【氏名】太田 直哉
Representative (In Japanese)【識別番号】100079049、【弁理士】、【氏名又は名称】中島 淳
【識別番号】100084995、【弁理士】、【氏名又は名称】加藤 和詳
【識別番号】100085279、【弁理士】、【氏名又は名称】西元 勝一
【識別番号】100099025、【弁理士】、【氏名又は名称】福田 浩志
Examiner (In Japanese)【審査官】松田 岳士
Document or reference (In Japanese)特開2003-309856(JP,A)
特開2000-258154(JP,A)
Field of search G01J 3/00 - 4/04
G01J 7/00 - 9/04
H04N 5/222- 5/257
H04N 9/04 - 9/11
Scope of claims (In Japanese)【請求項1】
スペクトル透過特性が各々異なる複数のバンドパスフィルタと、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力する第1の撮影部と、
前記複数のバンドパスフィルタに対して前記第1の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第1の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力する第2の撮影部と、
前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する画像データに変換する変換部と、
所望のバンドに対応する前記第1の画像データと前記複数の第2の画像データから変換された変換画像データとを合成した合成画像データを出力する出力部と、
を含む撮影装置。
【請求項2】
前記第1の画像データの誤差の分散の逆数に比例した値、及び前記変換画像データの誤差の分散の逆数に比例した値を重みとした前記第1の画像データと前記変換画像データとの重み付き平均値を、前記合成画像データとする請求項1記載の撮影装置。
【請求項3】
複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタと、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力する第1の撮影部と、
前記複数のバンドパスフィルタに対して前記第1の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第1の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力する第2の撮影部と、
前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第1の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第1の画像データを前記所望のバンドに対応する第1の変換画像データに変換すると共に、前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する第2の変換画像データに変換する変換部と、
所望のバンドに対応する前記第1の変換画像データと前記第2の変換画像データとを合成した合成画像データを出力する出力部と、
を含む撮影装置。
【請求項4】
前記第1の変換画像データの誤差の分散の逆数に比例した値、及び前記第2の変換画像データの誤差の分散の逆数に比例した値を重みとした前記第1の変換画像データと前記第2の変換画像データとの重み付き平均値を、前記合成画像データとする請求項3記載の撮影装置。
【請求項5】
前記係数は、スペクトル反射特性を所望のバンドのスペクトル透過特性に変換するための係数である請求項1に記載の撮影装置。
【請求項6】
前記係数は、スペクトル反射特性を所望のバンドのスペクトル透過特性に変換するための係数である請求項3に記載の撮影装置。
【請求項7】
スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第1の撮影を行い、
受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記第1の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光し、前記第1の撮影の撮影タイミングに同期して該被写体に対して第2の撮影を行い、
受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する画像データに変換し、
所望のバンドに対応する前記第1の画像データと前記複数の第2の画像データから変換された変換画像データとを合成した合成画像データを出力する
ことを含む撮影方法。
【請求項8】
複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、
前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第1の撮影を行い、
受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記第1の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第1の撮影の撮影タイミングに同期して該被写体に対して第2の撮影を行い、
受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力し、
前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第1の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第1の画像データを前記所望のバンドに対応する第1の変換画像データに変換し、
前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する第2の変換画像データに変換し、
所望のバンドに対応する前記第1の変換画像データと前記第2の変換画像データとを合成した合成画像データを出力する
ことを含む撮影方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、撮影装置及び撮像方法にかかり、特に、狭いバンドパス特性を持つ複数の光学フィルタを備えたマルチスペクトルカメラ及びその撮影方法に関する。
【背景技術】
【0002】
マルチスペクトルカメラは、通常のカラーカメラが赤(R)、緑(G)、青(B) の3つの波長領域の画像を得るのに対し、更に細かい波長領域に分解した複数のバンドの画像を得るものである(例えば、特許文献1)。典型的なマルチスペクトルカメラは、CCD等の撮像素子の入射側に異なる狭いバンドパス特性を持つ複数の光学フィルタが順次挿入される構造を持ち、それぞれのフィルタ特性に対応する画像を得るものである。バンドパスフィルタとしては通常干渉フィルタが用いられている。

【特許文献1】特開2002-185974号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、マルチスペクトルカメラは、通常のカラーカメラより高いスペクトル分解能を得るためにバンド幅の狭い光学フィルタを使用している。そのため、フィルタを通過する光量が減少し、必然的に画像が暗くなる、という問題がある。このように画像が暗くなる結果、露光時間の増加を招き、短時間の計測等の撮影を困難にすることにもなる。
【0004】
本発明は、上記問題を考慮して成されたもので、画像が暗くならないようにした撮影装置を提供する。
【課題を解決するための手段】
【0005】
本発明の第一の態様は、撮影装置であって、スペクトル透過特性が各々異なる複数のバンドパスフィルタと、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力する第1の撮影部と、前記複数のバンドパスフィルタに対して前記第1の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第1の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力する第2の撮影部と、前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル透過特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する画像データに変換する変換部と、所望のバンドに対応する前記第1の画像データと前記複数の第2の画像データから変換された変換画像データとを合成した合成画像データを出力する出力部と、を含む。
【0006】
本態様によれば、バンドパスフィルタを透過した光により得られる第1の画像データと、各バンドパスフィルタから反射された光により得られる複数の第2の画像データ及び複数の係数から得られる所望のバンドに対応する画像データとが合成される。そのため、明るい画像を得ることができ、画像が暗くなることはない。
【0007】
合成画像データは、前記第1の画像データの誤差の分散の逆数に比例した値、及び前記変換画像データの誤差の分散の逆数に比例した値を重みとした前記第1の画像データと前記変換画像データとの重み付き平均値により求めることができる。
【0008】
また、本発明の第二の態様は、撮影装置であって、複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタと、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体を撮影し、受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力する第1の撮影部と、前記複数のバンドパスフィルタに対して前記第1の撮影部と対称の位置に配置されると共に、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第1の撮影部の撮影タイミングに同期して該被写体を撮影し、受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力する第2の撮影部と、前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶した記憶部と、前記複数のバンドパスフィルタの各々に対応して得られた複数の第1の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第1の画像データを前記所望のバンドに対応する第1の変換画像データに変換すると共に、前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する第2の変換画像データに変換する変換部と、所望のバンドに対応する前記第1の変換画像データと前記第2の変換画像データとを合成した合成画像データを出力する出力部と、を含む。
【0009】
本態様は、複数のバンドを透過するスペクトル透過特性を備えた複数のバンドパスフィルタを用いる場合の撮影装置に関するものである。本態様においては、複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を用いる。これにより、上記第一の態様と同様に所望のバンドのスペクトル特性に対応する第1の変換画像データ及び第2の変換画像データが得られる。これら所望のバンドに対応する第1の変換画像データと第2の変換画像データとを合成することにより、明るい画像を表示できる合成画像データを得ることができる。
【0010】
本発明は前記第一及び第二の態様に対応する撮影方法としても実現できる。
【0011】
即ち、本発明の第三の態様は、スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第1の撮影を行い、受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力し、前記第1の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光し、前記第1の撮影の撮影タイミングに同期して該被写体に対して第2の撮影を行い、受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力し、前記複数のバンドパスフィルタの複数のスペクトル反射特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する画像データに変換し、所望のバンドに対応する前記第1の画像データと前記複数の第2の画像データから変換された変換画像データとを合成した合成画像データを出力することを含む。
【0012】
本発明の第四の態様は、複数のバンドを透過するスペクトル透過特性を備え、該スペクトル透過特性が各々異なる複数のバンドパスフィルタを用いて撮影を行う方法であって、前記複数のバンドパスフィルタの各々を通して被写体からの光を受光して該被写体に対して第1の撮影を行い、受光した光量に応じた第1の画像データを前記複数のバンドパスフィルタに対応して出力し、前記第1の撮影を行った位置の前記複数のバンドパスフィルタに対する対称の位置において、前記複数のバンドパスフィルタの各々から反射された被写体からの光を受光して前記第1の撮影の撮影タイミングに同期して該被写体に対して第2の撮影を行い、受光した光量に応じた第2の画像データを前記複数のバンドパスフィルタに対応して出力し、前記複数のバンドパスフィルタの複数のスペクトル反射特性及び複数のスペクトル透過特性を所望のバンドのスペクトル特性に変換するための複数の係数を、複数のバンドについてバンド毎に記憶し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第1の画像データと所望のバンドに対応する複数の係数とを用いて、前記複数の第1の画像データを前記所望のバンドに対応する第1の変換画像データに変換し、前記複数のバンドパスフィルタの各々に対応して得られた複数の第2の画像データと所望のバンドに対応する前記複数の係数とを用いて、前記複数の第2の画像データを前記所望のバンドに対応する第2の変換画像データに変換し、所望のバンドに対応する前記第1の変換画像データと前記第2の変換画像データとを合成した合成画像データを出力することを含む。
【発明の効果】
【0013】
以上説明したように本発明によれば、バンドパスフィルタを透過した光により得られる画像データと、各バンドパスフィルタから反射された光により得られる画像データ及び複数の係数から得られる所望のバンドに対応する画像データとが合成される。そのため、明るい画像得ることができ、画像が暗くなることはない。
【図面の簡単な説明】
【0014】
【図1】本発明の実施の形態を示す概略図である。
【図2】本発明の実施の形態のフィルタ部分を示す概略拡大図である。
【図3】スペクトル透過特性の例を示す特性図である。
【図4】図3のスペクトル透過特性に対応するスペクトル反射特性を示す特性図である。
【図5】本実施の形態のフィルタの透過特性の例を示す特性図である。
【図6】図5のスペクトル透過特性に対応するスペクトル反射特性を示す特性図である。
【図7】本実施の形態の係数を用いて等価的に実現されるスペクトル透過特性を示す特性図である。
【図8】本実施の形態の制御回路による処理ルーチンを示す流れ図である。

【発明を実施するための最良の形態】
【0015】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0016】
図1に示すように、本実施の形態のマルチスペクトルカメラは、駆動モータ10によって回転されるディスクで構成されたフィルタホルダ12の円周に沿って設けられた複数のバンドパスフィルタ(以下、単にフィルタという)141、142、・・・14Nを備えている。このフィルタは、例えば、12枚設けることが可能である。複数のフィルタ141、142、・・・14Nの各々は、ガラス、石英、またはシリコン等の光透過性の基板に、多層誘電体薄膜を蒸着して、各々異なるバンド幅の光を透過するように構成されている。1つのフィルタは、例えば、図3に示すスペクトル透過特性とすることができる。図3に示すスペクトル透過特性を持ったフィルタのスペクトル反射特性は、図4に示すようになる。従って、スペクトル透過特性及びスペクトル反射特性は、フィルタ毎に異なっている。
【0017】
フィルタホルダ12に設けられたフィルタの被写体側には、図2に示すように、ズームレンズ等の撮影レンズで構成された光学系16が、光学系16の光軸を通る光線がフィルタ面に対して入射角θでフィルタの中心を通過するように配置されている。
【0018】
また、フィルタホルダ12に設けられたフィルタの光透過側には、撮像素子18Aが配置されている。撮像素子18AはCCDで構成され、フィルタ141、142、・・・14Nの各々を透過した被写体からの光を受光して被写体を撮影し、受光した光量に応じた第1の画像データをフィルタに対応させて出力する。CCDには、光学系16の結像位置に受光部が位置するように多数の光電変換素子が2次元状に配列されている。光学系16及び撮像素子18Aの光軸は、一直線状に位置している。
【0019】
フィルタ141に対して撮像素子18Aと対称の位置には、CCDで構成された撮像素子18Bが配置されている。撮像素子18Bは、フィルタ141、142、・・・14Nの各々から反射された被写体からの光を受光して撮像素子18Aの撮影タイミングに同期して被写体を撮影し、受光した光量に応じた第2の画像データをフィルタに対応させて出力する。
【0020】
なお、撮像素子18A,18BとしてCCDに代えてCMOSを使用してもよい。
【0021】
撮像素子18Aは、アナログ信号をデジタル信号に変換するアナログ/デジタル変換器(A/D変換器)20Aに接続され、撮像素子18Bは、A/D変換器20Bに接続されている。A/D変換器20A,20Bの各々は、データ格納部22に接続されている。データ格納部22は撮像素子18A,18Bで撮影されてデジタル信号に変換された第1の画像データ及び第2の画像データをフィルタ毎に一時的に格納する。
【0022】
データ格納部22は、係数記憶部26が接続された演算部24に接続されている。係数記憶部26には、以下で説明する複数の係数aiからなる係数の組が所望のバンド毎、すなわちフィルタのバンド毎に記憶されている。演算部24は、演算部で演算した合成画像データを一時的に記憶するメモリ28を介してLCD等で構成された表示装置30に接続されている。
【0023】
また、マルチスペクトルカメラには、駆動モータ10等を制御するマイクロコンピュータで構成された制御回路32が設けられている。制御回路32は、駆動モータ10、撮像素子18A,18B、A/D変換器20A,20B、データ格納部22、演算部24、メモリ28、及び表示装置30の各々に接続されている。制御回路32は、以下で説明する制御ルーチンに従って駆動モータ10及び撮像素子18A,18B等を制御する。
【0024】
本実施の形態のマルチスペクトルカメラでは、光学系16を通った光は斜め方向からフィルタに入射する。撮像素子18Aでその透過光が画像化されて第1の画像データが出力されると共に、フィルタに対し対称の位置に配置された撮像素子18Bで反射光が画像化されて第2の画像データが出力される。
【0025】
フィルタのフォルダ12を回転させることによって、順次異なったフィルタが図2に示したように光学系16と撮像素子18Aとの間に移動する。光学系16と撮像素子18Aの間に位置するフィルタの透過光による第1の画像データと反射光による第2の画像データとがフィルタに対応して得られる。
【0026】
フォルダを1回転することにより得られた反射光による複数の第2の画像データは、演算により透過光による所望のバンドの第1の画像データと等価な画像データに変換される。その変換された画像データと所望のバンドの透過光による第1の画像データとの平均を求めることで、所望の画像を得ることができる。
【0027】
なお、図2に示したように光線をフィルタに対して入射角θで入射させた場合、スペクトル特性は、入射角0でフィルタの正面から入射した場合の透過・反射スペクトル特性とは異なった特性となる。これは入射角θで入射させた場合の特性が適当になるようにフィルタを設計することで解決することができる。また、入射角が大きい場合には特性が偏光に依存するという問題も生じる。この問題を解決するためには、これが問題にならない程度の入射角(例えば、20°以内) とするか、あるいは多少光量は減少するが、偏光フィルタによって特定の偏光のみを選択するようにする。
【0028】
バンドパスフィルタとして用いられる干渉フィルタの特徴として、通過しない波長の光は反射するという特性がある。例えば、図3に示すような通過特性を持っているフィルタの場合、反射光のスペクトルは図4に示すように、目的のスペクトルバンドの光だけが欠落した特性を持っている。従って、マルチスペクトルカメラで使用する複数のフィルタの反射光を観測した場合、その複数の反射光の画像から演算によって透過光と同じバンド特性を持った画像を合成することできる。本実施の形態では、透過光で撮影した画像に加え、このように複数の反射光から構成した画像を利用することで、よりS/N比の良い明るい画像を得るようにしている。
【0029】
複数のバンドパスフィルタとして、図5に示す12個のバンドパス特性を持った12枚のフィルタを利用する場合を例として以下説明する。これらのフィルタのスペクトル反射特性は図6に示すようになる。これらの反射特性を、波長をλとして、fi(λ) (i=1、 ・ ・ ・ 、N)で表す。本実施の形態の場合、Nは12である。所望のバンドのスペクトル反射特性を持った一つの画像IRは、各反射光で撮影した複数の画像Ii の線形結合として、次式のように計算される。
【0030】
【数1】
JP0004660777B2_000002t.gif
ここでaiは線形結合の係数である。
【0031】
次に、所望のバンドのスペクトル反射特性による画像IRを得るための係数aiの決定の仕方について説明する。
【0032】
所望の画像のスペクトル特性をg(λ)とする。例えば、図3に示した透過によるスペクトル特性の画像を得たい場合には、このスペクトル特性をg(λ)とする。
【0033】
各フィルタの反射特性fi(λ) を関数空間の基底と考えたときに、これらが張る線型空間の中に所望の特性g(λ)が存在すれば、これは以下の(2)式に示すように表現可能であり、このai がそのまま(1)式の係数aiとなる。
【0034】
【数2】
JP0004660777B2_000003t.gif
しかし、一般にはそうではないので、二乗誤差最小の意味で最適な係数を決定する。これは次式の量Dを最小化することにより達成される。
【0035】
【数3】
JP0004660777B2_000004t.gif
上記の量Dをk番目のバントに対する係数akで微分すると次式が得られる。
【0036】
【数4】
JP0004660777B2_000005t.gif
ただし、上記(7)式では関数の内積を表す記号として( ・ , ・ ) を使用した。各akに対する微分を0とおき、それらをまとめて行列で表すと次の(8)式が得られる。
【0037】
【数5】
JP0004660777B2_000006t.gif
以下に示すように(8)式を解けば係数を決定することができる。
【0038】
(8)式を解くためには、(9)式及び(10)式に示した各スペクトル特性の内積の値が必要である。これは実際の計算ではスペクトル特性を離散化し、総和として計算する。離散化の間隔をΔλとすれば、(9)式及び(10)式は次式で計算される。ただし、λ0は総和計算を始める波長、nは離散化した各波長の番号である。
【0039】
【数6】
JP0004660777B2_000007t.gif
図5に示した12個のスペクトル特性の画像の各々を得たい場合、それぞれの特性を(10)式のg(λ) として特性毎に係数aiを計算する。このようにして計算した係数aiの値を表1に示し、その係数によって等価的に実現されるスペクトル特性を図7に示す。表1のバンド番号1~12は12個のフィルタに対応している。この係数aiは、バンド番号で表された所望のバンドの各々に応じて予め係数記憶部26に記憶される。
【0040】
【表1】
JP0004660777B2_000008t.gif
以下本実施の形態の制御回路による処理ルーチンについて図8を参照して説明する。図示しないメインスイッチがオンされると、マルチスペクトルカメラが起動される。ステップ100において、最初のフィルタ141を通して撮像素子18A及び撮像素子18Bによって被写体が同時に撮影される。撮影によって得られた多数の画素値からなる第1の画像データ及び第2の画像データは、A/D変換器20A及びA/D変換器20Bで各々デジタル信号に変換された後、フィルタ141を示すバンド番号に対応させてデータ格納部22に格納される。
【0041】
次のステップ102では、駆動モータ10を所定角度回転させて次のフィルタ142を光軸上に位置させる。ステップ104において上記と同様にフィルタ142を通して撮像素子18A,18Bによって被写体が同時に撮影される。撮像素子18A,18Bによる撮影は、同期していればよく、必ずしも同時である必要はない。
【0042】
次のステップ106では、フィルタ141~フィルタ14Nの全てを使用して撮影が行なわれたか否かを判断する。フィルタの全てを使用した撮影が終了していない場合には、ステップ102に戻って駆動モータ10を所定角度回転させることにより次のフィルタを光軸上に位置させて順位撮影を継続し、全てのフィルタを使用した撮影を行う。
【0043】
上記のようにして撮影されたフィルタの各々に対応する第1画像データ及び第2画像データの各々は、A/D変換器20A,20Bによりデジタルデータに変換されてデータ格納部22にフィルタ毎の画像データとして格納される。
【0044】
次のステップ108では、図示しない操作部をユーザが操作することにより所望のバンドが指定されたか否かを判断する。バンドが指定されたと判断された場合には、ステップ110において係数記憶部26から指定されたバンドのバンド番号に対応するN個の係数aiを読み込む。ステップ112において読み込んだ係数aiを演算部24に入力して演算の指示を行なう。
【0045】
演算部24では、データ格納部に格納されている複数(本実施の形態では12)の第2の画像データと読み込んで入力された複数の係数aiとを(1)式に従って積和演算することにより指定されたバンドに対応する画像データを生成して記憶する。以上のように決定された係数aiと(1)式とを用いて反射光による画像データIR が計算される。
【0046】
演算部24では、以下の(13)式に示すように、この反射光による画像データIRと、撮像素子18Aにより撮像されると共に指定されたバンドに対応する透過光による画像データITとの重み付き平均を計算する。その結果、反射光による画像と透過光による画像とを合成することにより指定されたバンドに対応するS/N比の良い画像データIを得る。得られた画像データは、メモリ28に記憶される。
【0047】
I = αIT+ βIR (13)
ここで、α及びβは、それぞれの画像データに対する重みである。この重みは、それぞれの画像データIR,ITに見積もられる誤差の分散の逆数に比例した値とするのが適当である。撮像素子の雑音の分散をσ2とすると、画像データITの誤差の分散はσ2であるが、画像データIRの誤差の分散σR2は、(1)式より以下の(14)式のようになる。
【0048】
【数7】
JP0004660777B2_000009t.gif
したがって、(13)式の重みは次式で計算される。
【0049】
【数8】
JP0004660777B2_000010t.gif
上記表1に示したai対して、α 及びβは下記表2に示す値になる。
【0050】
【表2】
JP0004660777B2_000011t.gif
バンドの指定の仕方は任意である。赤色波長域のバンド、緑色波長域のバンド、及び青色波長域のバンドの3つのバンドを指定したり、4つ以上のバンドを指定したりすることができる。また、撮影前に予め必要なハンドを指定しておいてもよい。
【0051】
次のステップ114では、操作部を操作することによりユーザから画像を表示する指示が行なわれたか否かを判断し、画像を表示する指示なわれた場合には、指定されたバンドに対応する合成画像データを用いて画像を表示する。
【0052】
以上では、所望のスペクトル特性g(λ) としてフィルタの透過特性と同一のものを用いた例について説明した。しかし、本発明はこれに限るものではなく、g(λ) として一般のスペクトル特性を用いることも可能である。この場合にはi番目のフィルタの透過特性をfN+iとして反射特性のそれに加え、(8)、(9)、(10)式のNを改めて2Nと置いて係数aiを計算する。ただし、この場合、(8)式の行列(Fij) のランクが原理的にはN+1になるので、(8)式 の解を求めるのに(Fij) の一般逆行列を用いる。目的の画像Iは(13)式によらず、次式で計算する。
【0053】
【数9】
JP0004660777B2_000012t.gif
ただしIN+iはスペクトル通過特性がfN+iの画像である。
【0054】
次に、最もS/N比の良いフィルタ特性の実現について説明する。フィルタの特性を、例えば図5で示したような単一のバンドを透過するものに限定せず、複数のバンドを透過するように設計できる場合、結果として得られる各バンド画像のS/N比が最も良くなるように、各フィルタの透過バンドをアダマールのS行列の各行に対応するように設定することができる。アダマールのS行列については、M.Harwit,N.J.A.Sloane著,Hadamard Transform Optics,Academic Press出版(1979) に詳しい。ここでは計測すべきスペクトル領域を7バンドに分けた例を示す。大きさ7のS行列は以下の(19)式で与えられる。
【0055】
【数10】
JP0004660777B2_000013t.gif
この行列の列が各バンドに対応し、行が各フィルタの通過特性(透過特性)に対応する。要素が1の部分ではそのバンドの光を透過させるように、要素が0の部分では光を遮断するようにフィルタの特性を設定する。例えば、第1行目は(1,1,1,0,1,0,0) である。そのため、1 番目のフィルタの特性はバンド1,2,3,5 を透過させ、バンド4,6,7 を遮断させるようにする。2番目のフィルタはS行列の第2行目(1,1,0,1,0,0,1) より、バンド1,2,4,7を透過させ、バンド2,4,5を遮断するような特性とする。同様にして7番目のフィルタまで、その透過特性を設定する。このようにフィルタの特性を設定した場合、透過光による計測に関しても、次の(20)式に示す(1)式と同様な演算によって各バンドの画像ITを合成する。
【0056】
【数11】
JP0004660777B2_000014t.gif
ここでのIi はi番目のフィルタの透過光による画像、N はフィルタの個数で、この場合は7である。係数ai はS行列の逆行列の各行に対応する。上記のS行列の場合の係数を表3に示す。
【0057】
【表3】
JP0004660777B2_000015t.gif
一方、反射光による計測から各バンドの画像IRを合成するのも次の(21)式に示すように(1)式と同じ演算による。
【0058】
【数12】
JP0004660777B2_000016t.gif
ここでのIiはi番目のフィルタの反射光による画像である。各フィルタによる反射光は、(19)式の行列Sの0と1とを反転したバンド選択特性を持つことになる。それを明示すれば以下の(22)式で表される。
【0059】
【数13】
JP0004660777B2_000017t.gif
(21)式の係数aiは行列SRの逆行列で与えられる。その具体的な数値を以下の表4に示す。
【0060】
【表4】
JP0004660777B2_000018t.gif
以上のようにして計算された透過光によるバンド画像ITと、反射光によるバンド画像IRは、(13)式により重み付きで平均され、結果のバンド画像となる。このとき、重みα及びβは各画像に含まれる雑音、すなわち誤差の分散に逆比例するように次の(23)、(24)式で計算する。
【0061】
【数14】
JP0004660777B2_000019t.gif
ただし、σT2及びσR2は、それぞれ画像IT及びIRに含まれる誤差の分散である。さらにσT2及びσR2は、それぞれ次の(25)、(26)式に示す行列VT及びVRの対角成分の値として与えられる。
【0062】
【数15】
JP0004660777B2_000020t.gif
ここでσ2は撮像装置の雑音の分散である。(19) 式及び (22) 式の行列S及びSRについて計算すると、σT2及びσR2は、次の(27)式及び(28)式に示すようになる。
【0063】
【数16】
JP0004660777B2_000021t.gif
したがって、この場合、(13)式の重みは次のようになる。
【0064】
α = 0.5039 (29)
β = 0.4961 (30)
となる。
【0065】
以上ではバンド数が7の場合を示したが、それ以外のバンド数の場合、S行列は次の手順で求めればよい。まず、バンド数をNとし、サイズN+1のアダマール行列HN+1を求める。次に行列HN+1から第1行及び第1列を除いたサイズN×Nの行列を作り、その要素が-1の部分を1に、1の部分を0に変える。この結果得られた行列がサイズNのS行列である。
【0066】
この最もS/N比の良いフィルタ特性を実現する場合についても、図8の処理と同様の処理によって合成画像データを演算、表示装置に表示することができる。
【符号の説明】
【0067】
10 駆動モータ
18 CCD
24 演算部

Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7