TOP > 国内特許検索 > 撮像装置及び画像処理装置 > 明細書

明細書 :撮像装置及び画像処理装置

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和2年2月6日(2020.2.6)
発明の名称または考案の名称 撮像装置及び画像処理装置
国際特許分類 H04N   9/07        (2006.01)
G03B  17/17        (2006.01)
G03B  11/00        (2006.01)
G03B  15/00        (2006.01)
G02B   5/09        (2006.01)
FI H04N 9/07 F
G03B 17/17
G03B 11/00
G03B 15/00 T
G02B 5/09
国際予備審査の請求 未請求
全頁数 25
出願番号 特願2019-509614 (P2019-509614)
国際出願番号 PCT/JP2018/011153
国際公開番号 WO2018/180808
国際出願日 平成30年3月20日(2018.3.20)
国際公開日 平成30年10月4日(2018.10.4)
優先権出願番号 2017067131
優先日 平成29年3月30日(2017.3.30)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】高谷 剛志
【氏名】青砥 隆仁
【氏名】向川 康博
出願人 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
個別代理人の代理人 【識別番号】100114476、【弁理士】、【氏名又は名称】政木 良文
審査請求 未請求
テーマコード 2H042
2H083
2H101
5C065
Fターム 2H042DA01
2H042DA04
2H042DA10
2H042DA11
2H042DA12
2H042DB02
2H042DC02
2H042DD04
2H083AA02
2H083AA20
2H083AA26
2H101FF08
5C065AA06
5C065BB48
5C065CC10
5C065DD01
5C065EE02
5C065EE03
5C065GG21
5C065GG22
5C065GG23
要約 一度の撮像で3つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。撮像装置1は、被写体から到来する被写体光を結像する結像素子11と、結像素子11が結像した被写体像を撮像して原画像データを作成する撮像素子12と、を有する撮像部10と、被写体光を反射させて撮像部10に入射させる鏡21を複数有する反射部20と、を備える。反射部20が有する鏡21のそれぞれは、反射面211で反射する光の波長特性を変化させる光学フィルタFが当該反射面211上に設けられているとともに、結像素子11の光軸に対して反射面211が平行になるように配置されている。
特許請求の範囲 【請求項1】
被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、
前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、
前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置。
【請求項2】
前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるX枚(Xは3以上の整数)の前記鏡を有し、
当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正X角形であることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記反射部が有する前記鏡の枚数が6枚以下であることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている2枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで1回ずつ反射した前記被写体光が結像されて成る少なくとも1つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項2または3に記載の撮像装置。
【請求項5】
前記反射部が、前記反射面が平行かつ対向するように配置された2枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで1回ずつ反射した前記被写体光が結像されて成る少なくとも1つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記反射面が平行かつ対向するように配置された少なくとも1組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であることを特徴とする請求項4または5に記載の撮像装置。
【請求項7】
前記反射面が平行かつ対向するように配置された少なくとも1組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なることを特徴とする請求項4~6のいずれか1項に記載の撮像装置。
【請求項8】
前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されることを特徴とする請求項1~7のいずれか1項に記載の撮像装置。
【請求項9】
前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有することを特徴とする請求項1~8のいずれか1項に記載の撮像装置。
【請求項10】
請求項1~9のいずれか1項に記載の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、
前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、
前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置。

発明の詳細な説明 【技術分野】
【0001】
本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した原画像データを処理する画像処理装置とに関する。
【背景技術】
【0002】
近年、青果に含まれる糖の含有量の分布を測定するなどの目的で、ハイパースペクトルカメラが用いられることがある。一般的なハイパースペクトルカメラは、分光器を用いてスリットを通過した被写体の一次元の位置の光を、当該光と垂直な方向に波長分解することで二次元の光学像に変換し、当該光学像を二次元イメージセンサで撮像するものである。このハイパースペクトルカメラは、分光器やスリットなどの光学系を駆動することで撮像する位置を切り替えながら(走査しながら)繰り返し撮像することで、複数の波長帯域毎の二次元画像を得る。また、分光器の代わりに、被写体に対して光を照射する光源と、当該光源に適用する切り替え可能な複数色のカラーフィルタと、を備え、当該カラーフィルタを切り替えながら二次元画像を繰り返し撮像することで、複数の波長帯域毎の二次元画像を得るハイパースペクトルカメラもある。
【0003】
これらのような従来のハイパースペクトルカメラでは、画像が二次元であって波長が一次元である合計三次元の情報を、二次元イメージセンサで撮像して取得するという関係上、全ての情報を取得するためには複数回の撮像が必須になる。そのため、撮像時間が長くなってしまうという問題がある。また、このような従来のハイパースペクトルカメラでは、光学系の駆動やカラーフィルタを切り替える機構が必要であるため、装置の構成が複雑かつ大型になってしまうという問題もある。
【0004】
そこで、特許文献1では、鏡と光学フィルタを用いて、光学フィルタを通過する被写体光と光学フィルタを通過しない被写体光のそれぞれを、撮像素子上の異なる位置に結像することで、1回の撮像によって波長特性が異なる2つの被写体像を撮像可能にした撮像装置が提案されている。具体的に、この撮像装置は、レンズの直前に、当該レンズに向かって左右の間隔が狭くなるように(テーパをつけて)配置された2枚の鏡を備える。これにより、光軸の左側からレンズに入射する被写体光と、光軸の右側からレンズに入射する被写体光とのそれぞれが、撮像素子上の異なる位置に結像される。
【先行技術文献】
【0005】

【特許文献1】特開2010-245870号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1で提案されている撮像装置では、1回の撮像で最大でも2つの被写体像しか撮像することができないという問題があった。
【0007】
なお、特許文献1の図9では、光軸の左右の鏡で反射された被写体光が結像されて成る2つの被写体像の他に、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る1つの被写体像も撮像可能であるかのように図示されている。しかし、この撮像装置では、テーパがつけられた鏡を用いる必要があるため、光軸の左右の鏡で反射された被写体光が結像されて成る2つの被写体像が、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る1つの被写体像に対して、大きく歪んでしまう。そのため、これらの被写体像は、対比することが不可能(または著しく困難)であるから、一方の被写体像は撮像しても無意味になってしまう。したがって、この撮像装置では、1回の撮像で最大でも2つの被写体像しか撮像することができない。
【0008】
そこで、本発明は、一度の撮像で3つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明は、被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置を提供する。
【0010】
この撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない(または小さい)2つ以上の被写体像と、を一度に撮像することができる。
【0011】
また、上記特徴の撮像装置において、前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるX枚(Xは3以上の整数)の前記鏡を有し、当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正X角形であるようにしてもよい。
【0012】
この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像と、鏡で1回反射した被写体光が結像されて成るX個(3つ以上)の被写体像と、を一度に撮像することができる。したがって、X+1個以上(4つ以上)の被写体像を一度に撮像することができる。
【0013】
また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が6枚以下であるようにしてもよい。
【0014】
この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像と、鏡で1回反射した被写体光が結像されて成るX個の欠けがない正X角形の被写体像と、を撮像することができる。
【0015】
また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている2枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで1回ずつ反射した前記被写体光が結像されて成る少なくとも1つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。
【0016】
この撮像装置によれば、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像と、反射面が平行かつ対向する2枚の鏡の一方で1回反射した被写体光が結像されて成る2つの被写体像と、当該鏡のそれぞれで1回ずつ反射(多重反射)した被写体光が結像されて成る少なくとも1つの被写体像と、を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。
【0017】
また、上記特徴の撮像装置において、前記反射部が、前記反射面が平行かつ対向するように配置された2枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで1回ずつ反射した前記被写体光が結像されて成る少なくとも1つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。
【0018】
この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る1つの被写体像と、反射面が平行かつ対向する2枚の鏡の一方で1回反射した被写体光が結像されて成る2つの被写体像と、当該鏡のそれぞれで1回ずつ反射(多重反射)した被写体光が結像されて成る少なくとも1つの被写体像と、を一度に撮像することができる。したがって、4つ以上の被写体像を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。
【0019】
また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも1組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であるようにしてもよい。
【0020】
この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが1回適用された被写体光が結像されて成る被写体像と、当該光学フィルタが2回適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、光学フィルタの適用回数が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。
【0021】
また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも1組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なるようにしてもよい。
【0022】
この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが1回適用された被写体光が結像されて成る被写体像と、当該光学フィルタとは異なるフィルタ特性の光学フィルタが1回適用された被写体光が結像されて成る被写体像と、これらの2つの光学フィルタが1回ずつ適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、適用された光学フィルタの種類が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。
【0023】
また、上記特徴の撮像装置において、前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されるようにしてもよい。
【0024】
この撮像装置によれば、鏡で反射していないか反射回数が少ない被写体光が結像されて成るために鮮明である複数の被写体像を、原画像データの中心に配置することができる。そのため、原画像データにおいてこれらの被写体像が欠けることを抑制することができる。
【0025】
また、上記特徴の撮像装置において、前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有するようにしてもよい。
【0026】
この撮像装置によれば、撮像時に被写体に対して照射される光のスペクトルを統一することができる。そのため、原画像データの処理を容易にすることができる。
【0027】
また、本発明は、上記の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置を提供する。
【0028】
この画像処理装置によれば、上記の撮像装置によって作成された複数の被写体像が含まれる原画像データに基づいて、分光画像データを生成することができる。
【発明の効果】
【0029】
上記特徴の撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない(または小さい)2つ以上の被写体像と、の合計3つ以上の対比可能な被写体像を、一度に撮像することができる。
【図面の簡単な説明】
【0030】
【図1】本発明の実施形態に係る撮像装置の構成の一例について示す模式図。
【図2】反射部が有する鏡の構成の第1例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。
【図3】反射部が有する鏡の構成の第2例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。
【図4】反射部が有する鏡の構成の第3例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。
【図5】反射部が有する鏡の構成の第4例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。
【図6】反射部が有する鏡の構成の第5例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。
【図7】反射部が有する鏡の構成の第6例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。
【図8】本発明の実施形態に係る画像処理装置の構成の一例について示す模式図。
【図9】図8に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図。
【発明を実施するための形態】
【0031】
<<撮像装置>>
最初に、本発明の実施形態に係る撮像装置の構成の一例について図面を参照して説明する。図1は、本発明の実施形態に係る撮像装置の構成の一例について示す模式図である。

【0032】
図1に示すように、撮像装置1は、被写体から到来する被写体光が結像されて成る被写体像を撮像して原画像データを作成する撮像部10と、鏡21の反射を利用して被写体光を撮像部10に入射させる反射部20と、を備える。

【0033】
撮像部10は、被写体光を結像する結像素子11と、結像素子11が結像した被写体像を撮像して原画像データを生成する撮像素子12と、を有する。結像素子11は、例えば絞りやレンズ等で構成される。なお、図1では、結像素子11を1つのレンズとして省略して図示しているが、複数のレンズや絞り等を備えた構成であってもよい。撮像素子12は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(ComplementaryMetal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサで構成される。

【0034】
反射部20は、被写体光を反射させて撮像部10に入射させる複数の鏡21(図示の例では2枚)と、被写体Tに対して光を照射する光源22とを備える。鏡21のそれぞれの反射面211上には、当該反射面211で反射する光の波長特性を変化させる光学フィルタFが設けられている。また、光源22は、鏡21の撮像部10から遠い方の端部に設けられる。

【0035】
鏡21は、例えば、金属板を磨いて反射面にしたものや、ガラス板や樹脂板等に銀などの金属を蒸着して反射面にしたもの、光学フィルタFとなる色ガラスに銀などの金属を蒸着して反射面にしたものなど、どのようなものであってもよい。ただし、鏡21は、撮像部10が測定する波長の範囲内における分光反射率がフラット(概ね一定値)であると、好ましい。

【0036】
光学フィルタFは、鏡21の反射面211で反射する光の波長特性を変化させるフィルタ特性(例えば、透過率スペクトル)を有するフィルムや板などである。具体的に、光学フィルタFは、特定の波長帯域における光の強度だけ選択的に減衰させたり、特定の波長帯域以外における光の強度だけ選択的に減衰させたりするものである。

【0037】
光源22は、例えばLED(Light Emitting Diode)で構成される。なお、光源22は、撮像部10が作成する原画像データから様々な波長の情報を取得する観点から、例えば白色光などの様々な波長における強度が一定程度ある光を照射する素子で構成すると、好ましい。また、光源22を備えることなく、自然光が被写体Tに照射されている状態で撮像部10が撮像を行う構成にしてもよい。ただし、自然光は状況によってスペクトルが変わり得るため、原画像データの処理を容易にする観点からは、光源22を用いて撮像時に被写体Tに対して照射されるスペクトルを統一した方が好ましい。

【0038】
図1では、反射部20が、反射面211が対向している2枚の鏡21を備えており、当該鏡21のそれぞれの反射面211上にフィルタ特性が同じである光学フィルタFが設けられている場合について例示している。しかし、本発明の実施形態に係る撮像装置1は、以下の<鏡の構成例>において例示するような、様々な構成の鏡を適用可能である。

【0039】
ただし、本発明の実施形態に係る撮像装置1では、反射部20が複数の鏡21を備えるとともに、当該鏡21のそれぞれの反射面211が結像素子11の光軸Gと平行になるように配置する。これにより、鏡21で反射していない被写体光が結像されて成る被写体像と、反射面211が光軸Gに対して平行である複数の鏡21で反射している被写体光が結像されて成るために当該被写体像に対する歪みがない(または小さい)2つ以上の被写体像と、を一度に撮像することができる。したがって、合計3つ以上の対比可能な被写体像を、一度に撮像することができる。

【0040】
<鏡の構成例>
反射部20が有する鏡の様々な構成例と、当該鏡を用いた場合に撮像部10で撮像される被写体像とのそれぞれについて、図面を参照して説明する。図2~図7は、反射部が有する鏡の様々な構成例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図である。なお、図2(a)~図7(a)のそれぞれは、反射部20が有する鏡の構成例を示した図であり、光軸Gに垂直な断面図である。また、図2(b)~図7(b)のそれぞれは、図2(a)~図7(a)の鏡を用いた場合に撮像部10で撮像される被写体像の一例を示した図である。また、図2(b)~図7(b)のそれぞれでは、鏡で反射していない被写体光が結像されて成る被写体像の領域を太線で囲うとともに、被写体像のそれぞれの領域内に、当該被写体像が結像されるまでに被写体光が鏡で反射して光学フィルタが適用された回数(ただし、フィルタ特性が異なる複数の光学フィルタを用いている場合は光学フィルタの種類毎の適用回数)を記載している。

【0041】
[第1例]
図2(a)に示すように、第1例では、反射部20が、図1に示した例と同様の2枚の鏡21aを有している。鏡21aは、反射面211aが平行かつ対向しており、当該鏡21aのそれぞれの反射面211a上にフィルタ特性が同じである光学フィルタFa1が設けられている。

【0042】
この鏡21aを用いた場合、例えば図2(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21aで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFa1の適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21aで1回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFa1の適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21aで2回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFa1の適用回数が2である2つの被写体像)と、が撮像される。

【0043】
ただし、撮像部10で撮像される被写体像の数は、撮像部10に入射する被写体光の鏡21aでの反射の最大回数Nに応じて変動する(本例の場合は2N+1)。そして、撮像部10に入射する被写体光の鏡21aでの反射の最大回数Nは、撮像部10の画角と鏡21aの大きさ及び位置によって決まる。例えば、反射面211aが平行かつ対向している2枚の鏡21aにおいて、撮像部10が鏡21aの一方の端部に配置されるとともに被写体Tが鏡21aの他方の端部に配置され、反射面211aが光軸Gから等距離に位置しており、当該反射面211aのそれぞれの長さをZ、離間距離をD、当該反射面211aの離間方向における撮像部10の画角をθとした場合(図1参照)、反射の最大回数Nは、[(Z/d)・tan(θ/2)]以下となる最大の整数になる。なお、本例だけではなく、以下説明する他の例においても、撮像部10の画角や鏡21aの大きさ及び位置によって、撮像部10で撮像される被写体像の数は変動する。

【0044】
[第2例]
図3(a)に示すように、第2例では、反射部20が、第1例と同様である反射面211bが対向している2枚の鏡21bを有している。ただし、当該鏡21bのそれぞれの反射面211b上には、フィルタ特性が異なる2種類の光学フィルタFb1,Fb2が設けられている。

【0045】
この鏡21bを用いた場合、例えば図3(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21bで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFb1,Fb2のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21bで1回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFb1の適用回数が1である1つの被写体像、光学フィルタFb2の適用回数が1である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21aで2回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFb1,Fb2のそれぞれの適用回数が1である2つの被写体像)と、が撮像される。

【0046】
[第3例]
図4(a)に示すように、第3例では、反射部20が、反射面211cを内側に向けるとともに隣接して配置される3枚の鏡21cを有しており、当該鏡21cの光軸に垂直な断面がそれぞれの反射面211cを一辺とする正三角形になっている。さらに、当該鏡21cのそれぞれの反射面211c上には、フィルタ特性が異なる3種類の光学フィルタFc1,Fc2,Fc3が設けられている。

【0047】
この鏡21cを用いた場合、例えば図4(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21cで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFc1~Fc3のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21cで1回反射した被写体光が結像されて成る3つの被写体像(光学フィルタFc1の適用回数が1である1つの被写体像、光学フィルタFc2の適用回数が1である1つの被写体像、光学フィルタFc3の適用回数が1である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21cで2回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFc1,Fc2のそれぞれの適用回数が1である2つの被写体像、光学フィルタFc2,Fc3のそれぞれの適用回数が1である2つの被写体像、光学フィルタFc1,Fc3のそれぞれの適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21cで3回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFc1~Fc3のそれぞれの適用回数が1である6つの被写体像)と、が撮像される。また、この場合、被写体像の全体としては複数の正三角形を充填したパターンになるが、全ての被写体像が正三角形になるわけではなく、複数の小さな被写体像が組み合わさって1つの正三角形を成しているものも含まれる。

【0048】
[第4例]
図5(a)に示すように、第4例では、反射部20が、反射面211dを内側に向けるとともに隣接して配置される4枚の鏡21dを有しており、当該鏡21dの光軸に垂直な断面がそれぞれの反射面211dを一辺とする正方形(正四角形)になっている。また、反射面211dが対向するように配置されたある1組(2枚)の鏡21dのそれぞれの反射面211dにはフィルタ特性が同じである光学フィルタFd1が設けられ、反射面211dが対向するように配置された別の1組(2枚)の鏡21dのそれぞれの反射面211dにもフィルタ特性が同じである光学フィルタFd2が設けられるが、それぞれの組の鏡21dの反射面211d上に設けられる光学フィルタFd1,Fd2のフィルタ特性は異なる。したがって、4枚の鏡21dの反射面211d上には、フィルタ特性が異なる2種類の光学フィルタFd1,Fd2が設けられることになる。

【0049】
この鏡21dを用いた場合、例えば図5(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21cで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFd1,Fd2のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21dで1回反射した被写体光が結像されて成る4つの被写体像(光学フィルタFd1の適用回数が1である2つの被写体像、光学フィルタFd2の適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21dで2回反射した被写体光が結像されて成る8つの被写体像(光学フィルタFd1の適用回数が2である2つの被写体像、光学フィルタFd2の適用回数が2である2つの被写体像、光学フィルタFd1,Fd2のそれぞれの適用回数が1である4つの被写体像)と、が撮像される。また、この場合、被写体像の全体としては複数の正方形を充填したパターンになるが、全ての被写体像が正方形になるわけではなく、複数の小さな被写体像が組み合わさって1つの正方形を成しているものも含まれる。

【0050】
[第5例]
図6(a)に示すように、第5例では、反射部20が、反射面211eを内側に向けるとともに隣接して配置される5枚の鏡21eを有しており、当該鏡21eの光軸に垂直な断面がそれぞれの反射面211eを一辺とする正五角形になっている。さらに、当該鏡21eのそれぞれの反射面211e上には、フィルタ特性が異なる5種類の光学フィルタFc1~Fc5が設けられている。

【0051】
この鏡21eを用いた場合、例えば図6(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21eで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFe1~Fe5のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21eで1回反射した被写体光が結像されて成る5つの被写体像(光学フィルタFe1の適用回数が1である1つの被写体像、光学フィルタFe2の適用回数が1である1つの被写体像、光学フィルタFe3の適用回数が1である1つの被写体像、光学フィルタFe4の適用回数が1である1つの被写体像、光学フィルタFe5の適用回数が1である1つの被写体像)と、が撮像される。また、この場合、鏡21eで反射していない被写体光が結像されて成る被写体像と鏡21eで1回反射した被写体光が結像されて成る被写体像とのそれぞれは正五角形になるが、正五角形では平面が充填されないため、隙間に他の被写体像が形成される。

【0052】
[第6例]
図6(a)に示すように、第6例では、反射部20が、反射面211fを内側に向けるとともに隣接して配置される6枚の鏡21fを有しており、当該鏡21fの光軸に垂直な断面がそれぞれの反射面211fを一辺とする正六角形になっている。また、反射面211fが平行かつ対向するように配置されたある1組(2枚)の鏡21fのそれぞれの反射面211fにはフィルタ特性が同じである光学フィルタFf1が設けられ、反射面211fが平行かつ対向するように配置された別の1組(2枚)の鏡21fのそれぞれの反射面211fにもフィルタ特性が同じである光学フィルタFf2が設けられ、反射面211fが平行かつ対向するように配置されたさらに別の1組(2枚)の鏡21fのそれぞれの反射面211fにもフィルタ特性が同じである光学フィルタFf3が設けられるが、それぞれの組の鏡21fの反射面211f上に設けられる光学フィルタFf1~Ff3のフィルタ特性は異なる。したがって、6枚の鏡21fの反射面211f上には、フィルタ特性が異なる3種類の光学フィルタFf1~Ff3が設けられることになる。

【0053】
この鏡21fを用いた場合、例えば図6(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21fで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFf1~Ff3のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21fで1回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFf1の適用回数が1である2つの被写体像、光学フィルタFf2の適用回数が1である2つの被写体像、光学フィルタFf3の適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21fで2回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFf1の適用回数が2である2つの被写体像、光学フィルタFf2の適用回数が2である2つの被写体像、光学フィルタFf3の適用回数が2である2つの被写体像)と、が撮像される。また、この場合、被写体像の全体としては複数の正六角形を充填したパターンになるが、全ての被写体像が正六角形になるわけではなく、複数の小さな被写体像が組み合わさって1つの正六角形を成しているものも含まれる。

【0054】
[まとめ]
[第3例]~[第6例]は、反射面211c~211fを内側に向けるとともに隣接して配置されるX枚(Xは3以上の整数)の鏡21c~21fの光軸に垂直な断面が、当該鏡21c~21fのそれぞれの反射面211c~211fを一辺とする正X角形である点で共通する。このように構成すると、少なくとも、鏡21c~21fで反射していない被写体光が結像されて成る1つの正X角形の被写体像と、鏡21c~21fで1回反射した被写体光が結像されて成るX個(3つ以上)の被写体像と、を一度に撮像することができる。

【0055】
また、上記の例では、Xが6以下であるが、Xを7以上としてもよい。ただし、Xを7以上にすると、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像の周囲に、X個の被写体像を欠けることなく配置させることができなくなる。そのため、欠けがない正X角形の被写体像を撮像する観点から、Xは6以下にした方が好ましい。

【0056】
また、[第1例]、[第2例]、[第4例]及び[第6例]のように、反射部20が有する鏡21a,21b,21d,21fの枚数が偶数である場合、鏡21a,21b,21d,21fで反射していない被写体光が結像されて成る1つの被写体像と、反射面211a,211b,211d,211fが平行かつ対向する2枚の鏡21a,21b,21d,21fの一方で1回反射した被写体光が結像されて成る被写体像と、当該鏡21a,21b,21d,21fで多重反射した被写体光が結像されて成る被写体像が一列に整列する。そのため、[第3例]及び[第5例]のように、反射部20が有する鏡21c,21eの枚数が奇数の場合と比較して、被写体像の位置を特定し易い原画像データを得ることができる。

【0057】
また、[第1例]~[第6例]から明らかなように、撮像部10で撮像される被写体像は、鏡で反射していない被写体光が結像されて成る被写体像を中心として、反射回数が少ない被写体光が結像されて成る被写体像ほど内側、反射回数が多い被写体光が結像されて成る被写体像ほど外側になる。また、反射回数が少ない被写体光が結像されて成る被写体像ほど鮮明になるため、このような被写体像を撮像した領域ほど、後の原画像データの処理において重要になり得る。そのため、鏡で反射していない被写体光が結像されて成る被写体像が原画像データの中心になるように反射部20を構成すると、好ましい。そして、このような原画像データを得るためには、反射部20が有する鏡のそれぞれの反射面から光軸Gまでの距離が等しくなるように当該鏡を配置すると、好ましい。

【0058】
なお、[第4例]及び[第6例]では、反射面211d,211fが平行かつ対向する鏡21d,21fの組のそれぞれにおいて、フィルタ特性が同一である光学フィルタFd1,Fd2,Ff1~Ff3が設けられる場合について例示しているが、これらの一部または全部の組において、フィルタ特性が異なる光学フィルタを設けてもよい。[第1例]及び[第2例]の対比から明らかであるが、[第1例]のように反射面211aが平行かつ対向する鏡21aにフィルタ特性が同一の光学フィルタFa1を設けた場合は、光学フィルタの適用回数が異なる被写体像を撮像することができる。一方、[第2例]のように反射面211bが平行かつ対向する鏡21bにフィルタ特性が異なる光学フィルタFb1,Fb2を設けた場合は、適用された光学フィルタFb1,Fb2の種類が異なる被写体像を撮像することができる。

【0059】
また、[第3例]及び[第5例]では、鏡21c,21eのそれぞれの反射面211c,211e上に、フィルタ特性が異なる光学フィルタFc1~Fc3,Fe1~Fe5が設けられる場合について例示しているが、一部または全部の鏡21c,21eのそれぞれの反射面211c,211e上に、フィルタ特性が同一の光学フィルタを設けてもよい。また、[第4例]及び[第6例]において、反射面211d,211fが平行かつ対向する鏡21d,21fの複数の組において、フィルタ特性が同一の光学フィルタを設けてもよい。

【0060】
また、[第1例]及び[第2例]では、鏡21a,21bのそれぞれの反射面211a,211bが平行かつ対向しているが、平行にならずかつ対向していなくてもよい。この場合でも、鏡21a,21bで反射していない被写体光が結像されてなる1つの被写体像と、鏡21a,21bのそれぞれの反射面211a,211bで1回反射した被写体光が結像されてなる2つの被写体像と、を撮像することができる。

【0061】
<<画像処理装置>>
次に、上述の撮像装置1の撮像によって得られた原画像データに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する画像処理装置について説明する。最初に、画像処理装置の構成の一例について図面を参照して説明する。図8は、本発明の実施形態に係る画像処理装置の構成の一例について示す模式図である。

【0062】
図8に示すように、画像処理装置50は、データベース51と、演算部52とを備える。データベース51は、例えばハードディスクや不揮発性の半導体メモリなどのデータを記録可能な記録装置で構成される。演算部52は、例えばCPU(Central Processing Unit)などの演算装置と揮発性の半導体メモリなどの記憶装置とで構成される。

【0063】
データベース51は、上述の撮像装置1の撮像によって得られた原画像データの他に、演算部52が原画像データに基づいて分光画像データを生成するために必要なデータである撮像装置特性データ、被写体像位置データ及び反射履歴データも記録している。

【0064】
撮像装置特性データには、撮像部10及び反射部20のそれぞれの光学特性のデータが含まれる。例えば、撮像装置特性データには、光源22が照射する光のスペクトル、光学フィルタFのフィルタ特性、撮像部10の分光感度が含まれる。

【0065】
被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータが含まれる。反射履歴データには、被写体像のそれぞれが結像されるまでに被写体光が鏡21で反射された履歴のデータが含まれる。例えば、被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータの他に、当該被写体像のそれぞれの向き(反転状態)のデータが含まれる。また、反射履歴データには、例えば、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムF(鏡21)及びその適用回数(反射回数)のデータが含まれる。したがって、被写体像位置データ及び反射履歴データには、例えば図2(b)~図7(b)に示した内容のデータが含まれていると言える。なお、演算部52は、反射履歴データに含まれる、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムF(鏡21)及びその適用回数(反射回数)のデータに基づいて、当該被写体像のそれぞれの向き(反転状態)を算出することができるため、被写体像位置データに被写体像の向きのデータが含まれていなくてもよい。

【0066】
演算部52は、データベース51に記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する。具体的に、演算部52は、被写体像位置データに基づいて、被写体Tの特定部分に相当する原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、反射履歴データ及び撮像装置特性データとに基づいて、分光画像データにおける被写体Tの特定部分に相当する画素の画素値を算出する。そして、演算部52が、分光画像データを構成する複数の画素のそれぞれについてこの演算を実行して画素値を算出することで、分光画像データが生成される。

【0067】
ここで、演算部52による分光画像データの生成方法の具体例について説明する。なお、以下では、説明の具体化のために、反射部20が、図2(a)に示した反射面211aに光学フィルタFa1が設けられている平行かつ対向する2枚の鏡21aで構成されており、撮像部10が、R(赤)、G(緑)、B(青)の3チャネルの光の強度を検出する場合について例示する。また、以下では、被写体Tが均一に照明されており、分光反射率が等方的であるものとする。

【0068】
まず、鏡21aで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における、k番目のチャネルにおける画素値yは、下記式(1)のように表される。なお、下記式(1)において、λは波長、l(λ)は光源が照射する光のスペクトル、s(λ)は被写体Tの分光反射率、c(λ)はk番目のチャネルの分光感度である。また、Λは波長の範囲であり、例えば、可視光を検出する場合は400~700nm程度の範囲である。

【0069】
【数1】
JP2018180808A1_000003t.gif

【0070】
一方、鏡21aで1回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値yk,1は、下記式(2)のように表される。なお、下記式(2)において、f(λ)は光学フィルタFa1のフィルタ特性である。また、少なくともΛの波長の範囲内において、鏡21aの分光反射率はフラットであるものとする。

【0071】
【数2】
JP2018180808A1_000004t.gif

【0072】
また、鏡21aで2回反射した(反射面211aが平行かつ対向する2枚の鏡21aで1回ずつ反射した)被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値は、上記式(2)においてf(λ)を2回乗じたものになる。ここで、反射回数をiとして、これらの関係を一般化すると、鏡21aでi回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値yk,iは、下記式(3)のように表すことができる。なお、0≦i≦Nであり、Nは鏡21aを用いた場合における反射の最大回数である。また、i=0の場合(鏡21aで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値)は、上記式(1)になる。また、例えば図3に例示したようなフィルタ特性が異なる光学フィルタが適用される場合の画素値は、下記式(3)において複数のフィルタ特性を乗じたものになる。

【0073】
【数3】
JP2018180808A1_000005t.gif

【0074】
上記式(3)において、特定の波長帯域に分光した被写体Tの画像のデータである分光画像データを生成するためには、被写体Tの分光反射率s(λ)を算出すればよい。このとき、原画像データ中の画素における画素値yk,iは原画像データから得られ、光源22が照射する光のスペクトルl(λ)、光学フィルタFa1のフィルタ特性f(λ)、撮像部10におけるk番目のチャネルの分光特性c(λ)は撮像装置特性データから得られる。また、反射回数iは、反射履歴データから得られる。そのため、上記式(3)に基づいて、被写体Tの分光反射率s(λ)を算出して分光画像データを生成することができる。

【0075】
以下、上記式(3)に基づいて、被写体Tの分光反射率s(λ)を算出する方法について説明する。まず、演算の都合上、上記式(3)を離散表現に変換したものが下記式(4)である。なお、下記式(4)において、ak,i,λは、既知であるlλ-λk,λをまとめて表記したものである。また、λとλは、上記式(3)においてΛで表現していた波長の範囲の最小値及び最大値である。

【0076】
【数4】
JP2018180808A1_000006t.gif

【0077】
ここで、下記式(5)を用いると、上記式(4)は下記式(6)に書き換えられる。なお、下記式(5)におけるdλは離散表現における波長の粒度であり、波長の分解能Nλは(λ—λ)/dλになる。

【0078】
【数5】
JP2018180808A1_000007t.gif

【0079】
そして、最大でN回反射した被写体光が結像されて成る複数の被写体像が撮像部10で撮像される場合であって、当該複数の被写体像の同一部分(被写体Tの同一部分)に相当する原画像データ中の複数の画素のそれぞれにおける画素値が3つのチャネルを有している場合、下記式(7)のベクトルで表現した連立方程式が成り立つ。

【0080】
【数6】
JP2018180808A1_000008t.gif

【0081】
そして、上記式(7)において、上述の通り画素値のベクトルy及び係数行列Aは既知であるため、分光反射率sは下記式(8)を解くことで得られる。そこで、演算部52は、下記式(8)を解くことで、分光画像データの画素値である分光反射率sを算出する。なお、下記式(8)は、例えば最小二乗法で解くことができる。

【0082】
【数7】
JP2018180808A1_000009t.gif

【0083】
ところで、上記式(8)の問題を最小二乗法で解く場合における演算の安定性は、係数行列Aの階数に依存し、階数が十分な大きさであれば安定して解が得られる。階数は、下記のアルゴリズム1に対して、係数行列Aの特異値σ(1≦i≦min(3N,Nλ))を入力して計算される。

【0084】
【表1】
JP2018180808A1_000010t.gif

【0085】
数値解析の分野では、問題の条件数は、その問題を安定して解くための重要な要素であることがよく知られており、条件数が低い問題は安定して解が得られる。上記式(8)の問題における条件数は、下記式(9)によって決まる。なお、下記式(9)において、σmaxは係数行列Aの特異値の最大値であり、σminは係数行列Aの特異値の最小値である。また、ここではσmaxをσ、σminをσrank(A)とする。

【0086】
【数8】
JP2018180808A1_000011t.gif

【0087】
そして、上述のように、光源22が照射する光のスペクトルlλ、光学フィルタFa1のフィルタ特性fλ、撮像部10におけるk番目のチャネルの分光特性ck,λが既知であるため、係数行列Aは事前に評価することができる。したがって、多くのカラーフィルタを有している場合、階数を十分な大きさにするとともに、条件数を最低にする最適なカラーフィルタを、事前に選択することが可能である。

【0088】
また、上記式(8)の問題の解を求める計算をより安定させるために、凸最適化技術を利用して最適化すると、好ましい。まず、分光反射率は、物理的に負の値を取り得ず、1を超えることもない。さらに、分光反射率には平滑化制約を用いることができる。これらの制約を用いると、上記式(8)は下記式(10)に書き換えることができる。なお、下記式(10)において、αは平滑化項に関する係数である。

【0089】
【数9】
JP2018180808A1_000012t.gif

【0090】
次に、上記式(10)は、下記式(11)のように行列形式で表すことができる。なお、Dは2次差分行列である。

【0091】
【数10】
JP2018180808A1_000013t.gif

【0092】
そして、上記式(11)の方程式における目的関数は、下記式(12)のように二次計画法で表現することができる。

【0093】
【数11】
JP2018180808A1_000014t.gif

【0094】
上記式(12)の第3項のyyは定数であるため、上記式(12)は下記式(13)に等しいことになる。

【0095】
【数12】
JP2018180808A1_000015t.gif

【0096】
上記式13の方程式は、二次錐計画法(S. Boyd and L. Vandenberghe, editors, “Convex Optimization”,Cambridge University Press, 2004)を用いて解を求めることができる。そして、当該最適化計画を実施するために、pythonの最適化ライブラリcvxopt(Cvxopt:Python software for convexoptimization, http://cvxopt.org, 2016年11月12日検索)を利用することができる。

【0097】
上述の演算によって演算部52が生成した分光画像データの一例について図面を参照して説明する。図9は、図8に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図である。なお、図9(a)は演算部52が生成した分光画像データを示した図であり、図9(b)は従来のハイパースペクトルカメラの撮像の撮像によって得られた画像データを示した図である。なお、図9(a)及び図9(b)の被写体は、緑色の葉である。

【0098】
図9(a)に示す演算部52が生成した分光画像データも、図9(b)に示すハイパースペクトルカメラの撮像によって得られた画像データも、波長が550nm及びその付近であるときに、葉が撮像されている画素の画素値が大きくなるという共通の結果が得られた。そして、この550nmという波長は緑色であり、実際の被写体の色と合致する。したがって、上述した撮像装置1及び画像処理装置50を用いることで、実際に分光画像データを生成することが可能である。

【0099】
以上のように、本発明の実施形態に係る画像処理装置50では、1回の撮像によって得られた複数の被写体像が撮像されている原画像データに対する画像処理によって、分光画像データを生成することができる。

【0100】
なお、上述の実施形態に係る画像処理装置50では、撮像装置特性データに、光源22が照射する光のスペクトルl(λ)、光学フィルタFa1のフィルタ特性f(λ)、撮像部10におけるk番目のチャネルの分光特性c(λ)が含まれる場合について例示したが、これ以外の特性値を記録してもよい。

【0101】
具体的には、上記式(4)におけるak,i,λを算出して撮像装置特性データに記録することが考えられる。例えば、分光反射率が既知である様々な色が配置されたパネルを撮像装置1によって撮像する(即ち、キャリブレーションを行う)ことで原画像データを得れば、画素値yk,i及び分光反射率s(λ)が既知であることからak,i,λを算出することが可能である。

【0102】
このように、キャリブレーションによってak,i,λを算出すると、例えば、撮像装置1の反射部20が光源22を備えていない場合など、被写体Tに照射される光のスペクトルl(λ)が算出し難い場合であっても、簡単に撮像装置特性データを得ることができる。
【産業上の利用可能性】
【0103】
本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した画像のデータを処理する画像処理装置に利用可能である。
【符号の説明】
【0104】
1 : 撮像装置
10 : 撮像部
11 : 結像素子
12 : 撮像素子
20 : 反射部
21,21a~21f : 鏡
211,211a~211f : 反射面
30 : 光源
50 : 画像処理装置
51 : データベース
52 : 演算部
T : 被写体
F,Fa1,Fb1,Fb2,Fc1~Fc3,Fd1,Fd2,Fe1~Fe5,Ff1~Ff3 : 光学フィルタ

図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8