TOP > 国内特許検索 > 画像処理装置、画像処理方法及び記録媒体 > 明細書

明細書 :画像処理装置、画像処理方法及び記録媒体

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成29年3月16日(2017.3.16)
発明の名称または考案の名称 画像処理装置、画像処理方法及び記録媒体
国際特許分類 G01N  21/64        (2006.01)
G01N  21/27        (2006.01)
FI G01N 21/64 Z
G01N 21/27 A
国際予備審査の請求 未請求
全頁数 22
出願番号 特願2015-551030 (P2015-551030)
国際出願番号 PCT/JP2014/081649
国際公開番号 WO2015/080275
国際出願日 平成26年11月28日(2014.11.28)
国際公開日 平成27年6月4日(2015.6.4)
優先権出願番号 2013248300
優先日 平成25年11月29日(2013.11.29)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JP , KE , KG , KN , KP , KR , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ , UA , UG , US
発明者または考案者 【氏名】佐藤 洋一
【氏名】フー イン
【氏名】岡部 孝弘
【氏名】佐藤 いまり
【氏名】ラム アントニー
出願人 【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
個別代理人の代理人 【識別番号】110000925、【氏名又は名称】特許業務法人信友国際特許事務所
審査請求 未請求
テーマコード 2G043
2G059
Fターム 2G043AA03
2G043AA04
2G043BA16
2G043CA05
2G043CA09
2G043EA01
2G043EA14
2G043FA01
2G043FA06
2G043JA02
2G043KA02
2G043LA03
2G043MA01
2G043NA01
2G043NA06
2G059AA05
2G059BB11
2G059BB12
2G059CC12
2G059CC16
2G059EE02
2G059EE07
2G059EE11
2G059FF01
2G059GG02
2G059GG03
2G059GG07
2G059HH02
2G059JJ02
2G059KK04
2G059LL04
2G059MM01
2G059MM10
2G059NN01
要約 第1の発光強度と、第1の発光強度より弱い第2の発光強度とを、所定の波長間隔で繰り返す第1の照明光L1と、その第1の照明光L1と発光強度の波長位置が逆転した第2の照明光L2とを発生させる。そして、第1の照明光L1で照明された被測定対象物を撮影して第1の画像を得、第2の照明光L2で照明された被測定対象物を撮影して第2の画像を得る。第1の画像と第2の画像との差分を、第1の照明光L1と第2の照明光L2の輝度差で割る処理を行うことで、反射光成分の画像を得る。さらに、反射成分の画像と、第1の画像との差分に基づいて、蛍光成分の画像を得る。
特許請求の範囲 【請求項1】
第1の発光強度と、第1の発光強度より弱い第2の発光強度とを、所定の波長間隔で繰り返す波長特性を持つ第1の照明光と、前記第1の照明光と第1の発光強度と第2の発光強度の波長位置が逆転した波長特性を持つ第2の照明光とを選択的に発生させる光源と、
前記第1の照明光が照射された被測定対象物を撮影した第1の画像と、前記第2の照明光が照射された被測定対象物を撮影した第2の画像とを取込み、前記第1の画像の画素と前記第2の画像の画素との差分を、前記第1の照明光と前記第2の照明光の輝度差で割る処理を行うことで被測定対象物の反射成分の画像を得、前記第1の画像の画素と前記反射成分の画像の画素との差分を、前記第1の照明光と前記第2の照明光の輝度差で割って得た反射成分の画像から、被測定対象物の蛍光成分の画像を得る画像処理部とを備えた
画像処理装置。
【請求項2】
前記第1の照明光と前記第2の照明光は、被測定対象物でほぼ同量の光が吸収される特性が確保されるような吸光度の周波数帯域に基づいた波長間隔で第1の発光強度と第2の発光強度とが連続する周波数特性を持つようにした
請求項1記載の画像処理装置。
【請求項3】
さらに、蛍光成分の波長の分布特性と吸光度の波長の分布特性との対応を記憶するデータベースを備え、
前記画像処理部は、被測定対象物の蛍光成分の分布特性と類似した吸光度を前記データベースから検索して、前記蛍光成分の吸光度を得る
請求項1記載の画像処理装置。
【請求項4】
前記光源は、光のスペクトルを任意にコントロールできるプログラマブル光源であり、プログラマブル光源の発光特性を、前記第1の照明光と前記第2の照明光の特性とする
請求項1記載の画像処理装置。
【請求項5】
前記光源は、発光体からの光又は太陽光を前記第1の照明光とする第1の光フィルタと、発光体からの光又は太陽光を前記第2の照明光とする第2の光フィルタとを有し、
前記第1の光フィルタと前記第2の光フィルタとを選択的に使用して、前記第1の照明光と前記第2の照明光を得る
請求項1記載の画像処理装置。
【請求項6】
前記第1の画像及び第2の画像は、複数の波長帯域ごとに各画素の輝度値のデータを得る画像であり、
前記第1の画像の画素と前記第2の画像の画素との差分と、前記第1の画像の画素と前記反射成分の画像の画素との差分を得る際には、それぞれの波長帯域の画素ごとに差分を得る
請求項1記載の画像処理装置。
【請求項7】
第1の発光強度と、第1の発光強度より弱い第2の発光強度とを、所定の波長間隔で繰り返す波長特性を持つ第1の照明光と、前記第1の照明光と第1の発光強度と第2の発光強度の波長位置が逆転した波長特性を持つ第2の照明光とを選択的に発生させる照明光生成工程と、
前記照明光生成工程で得られた照明光が照射された被測定対象物を撮影する撮影工程と、
前記撮影工程で前記第1の照明光が照射された被測定対象物を撮影した第1の画像と、前記第2の照明光が照射された被測定対象物を撮影した第2の画像とを取込み、前記第1の画像の画素と前記第2の画像の画素との差分を、前記第1の照明光と前記第2の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得、前記第1の画像の画素と前記反射成分の画像の画素との差分を、前記第1の照明光と前記第2の照明光の輝度差で割って得た反射成分の画像から、被測定対象物の蛍光成分の画像を得る画像処理工程とを含む
画像処理方法。
【請求項8】
第1の発光強度と、第1の発光強度より弱い第2の発光強度とを、所定の波長間隔で繰り返す波長特性を持つ第1の照明光と、前記第1の照明光と第1の発光強度と第2の発光強度の波長位置が逆転した波長特性を持つ第2の照明光とを選択的に発生させる照明光生成手順と、
前記照明光生成手順で得られた照明光が照射された被測定対象物を撮影する撮影手順と、
前記撮影手順で前記第1の照明光が照射された被測定対象物を撮影した第1の画像と、前記第2の照明光が照射された被測定対象物を撮影した第2の画像とを取込み、前記第1の画像の画素と前記第2の画像の画素との差分を、前記第1の照明光と前記第2の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得、前記第1の画像の画素と前記反射成分の画像の画素との差分を、前記第1の照明光と前記第2の照明光の輝度差で割って得た反射成分の画像から、被測定対象物の蛍光成分の画像を得る画像処理手順とを、
コンピュータに実装させて実行するプログラムを記録した
記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、被測定物を撮影した画像から、反射成分と蛍光成分を分離する画像処理装置及び画像処理方法、並びにその画像処理方法を適用したプログラムを記録した記録媒体に関する。
【背景技術】
【0002】
物体に光を照射したとき、その物体を見ている観察者には、その物体の表面で入射光がそのまま反射して生じる反射光が見えるだけでなく、物体の性質によっては、物体(物資)そのものが発光して蛍光が見える場合がある。蛍光は、その蛍光を励起する光を物体へ入射したときに、入射した光とは異なる波長の光を物体が発光する現象である。反射光は、物体に入射した光を同じ波長で反射するのに対して、蛍光の場合には、物体に入射して吸収される光(吸光)の波長よりも長い波長になる。
【0003】
図11は、3つの物体(レタス,トマト,バター)についての、可視光の領域での反射光の特性例を示す。この図11の縦軸に示す反射率は、それぞれの物体ごとに個別に測定した相対値であり、3つの物体での反射光の大小関係を示すものではない。
例えば、レタスaは、緑色の領域で反射率が上昇する。したがって、観察者にはレタスが緑色に見える。また、トマトbは、赤色の領域で反射率が上昇する。したがって、観察者にはトマトが赤色に見える。
それぞれの色(波長)の反射光は、それぞれの物体に照射される光をそのまま反射する。つまり、緑色の波長帯の光をレタスに照射することでレタスが緑色に見え、赤色の波長帯の光をトマトに照射することでトマトが赤色に見える。
一方、上述した蛍光の場合には、それぞれの物体に入射する光とは異なった波長の光である長波長側の光を出射する。蛍光成分は、様々な物体から発することが知られているが、物体によって波長や分布特性は変化する。
【0004】
従来、反射光と蛍光を区別して正確に検出するためには、非常に複雑で精度の高い解析装置が必要であった。例えば、可視光の波長帯域を複数の狭い帯域に分割して、それぞれの帯域ごとの光を被測定対象物に照射する。そして、その被測定対象物が発する光の波長を光スペクトルアナライザなどの測定器で測定する。測定器で測定された光が、照射した光と同じ波長の成分だけのときには、反射光だけと判断される。また、測定器で測定された光が、照射した光よりも長い波長域であるとき、その長い波長域の光は蛍光と判断される。
このように、狭い帯域に分割された可視光による光の発光と測定を、可視光の全ての波長範囲で行うことで、被測定対象物の反射光と蛍光とを分離して検出することができる。
被測定対象物の反射光と蛍光を正確に検出できることで、例えば農作物などの植物の産地や種類などが判ることが知られている。例えばマンゴの蛍光成分の波長分布は、産地によって異なることが知られている。具体的には、日本の沖縄産のマンゴと、日本の宮崎産のマンゴと、台湾産のマンゴが、蛍光成分の波長分布から正確に判別できることが知られている。また、そばに含まれるそば粉の量が、蛍光成分の波長分布から判ることが知られている。
【0005】
特開2013-114233号公報には、標本が発する蛍光波長帯域を特定するために、異なる複数の波長帯域で撮影し、それらの画像から蛍光の特徴量を算出する技術についての記載がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
特開2013-114233号公報に記載されているように、波長帯域が狭い複数の帯域ごとに撮影を行って、蛍光を検出するためには、非常に多くの撮影回数が必要であり、撮影作業に手間がかかるという問題があった。特に、対象物体の1点の蛍光成分を計測するのではなく、対象物体全体や対象シーン全体を計測する場合には、さらに計測に時間がかかり、非常に困難な作業になるという問題があった。また、光スペクトルアナライザなどの測定器は非常に高価で、その取り扱いが複雑な機器であり、これを利用した解析システムも非常に高価になるという問題があった。
上述したように反射光成分や蛍光成分が正確に測定できることは、作物の選別や生物の状態の測定などで様々なメリットがあることが従来から知られているが、反射光成分や蛍光成分を簡単に測定することが困難であったため、反射光成分や蛍光成分の利用が進んでいないという問題があった。
【0007】
本発明は、被測定物の反射光や蛍光を正確に検出できる画像処理装置、画像処理方法及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、光源と、画像処理部とを備える。
光源は、所定の波長間隔で発光状態と非発光状態とを繰り返す波長特性を持つ第1の照明光と、その第1の照明光と発光状態と非発光状態の波長位置が逆転した波長特性を持つ第2の照明光とを選択的に発生させる。
画像処理部は、第1の照明光が照射された被測定対象物を撮影した第1の画像と、第2の照明光が照射された被測定対象物を撮影した第2の画像とを取込み、第1の画像の画素と第2の画像の画素との差分を、第1の照明光と第2の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得る。さらに、第1の画像の画素と反射成分の画像の画素との差分を、第1の照明光と第2の照明光の輝度差で割って得た反射成分の画像から、被測定対象物の蛍光成分の画像を得る。
【0009】
本発明の画像処理方法は、照明光生成工程として、所定の波長間隔で発光状態と非発光状態とを繰り返す波長特性を持つ第1の照明光と、第1の照明光と発光状態と非発光状態の波長位置が逆転した波長特性を持つ第2の照明光とを選択的に発生させる。
そして、撮影工程として、照明光生成工程で得られた照明光が照射された被測定対象物を撮影する。
さらに、画像処理工程として、撮影工程で第1の照明光が照射された被測定対象物を撮影した第1の画像と、第2の照明光が照射された被測定対象物を撮影した第2の画像とを取込み、第1の画像の画素と第2の画像の画素との差分を、第1の照明光と第2の照明光の輝度差で割る処理を行うことで、被測定対象物の反射成分の画像を得る。さらにまた、第1の画像の画素と反射成分の画像の画素との差分を、第1の照明光と第2の照明光の輝度差で割って得た反射成分の画像から、被測定対象物の蛍光成分の画像を得る。
【0010】
本発明の記録媒体は、上述した画像処理方法の各工程を手順としてコンピュータに実行させるプログラムを記録した記録媒体である。
【0011】
本発明によると、2種類の照明光を用意して撮影した2つの画像から、簡単に被測定対象物の反射成分の画像を得ることができる。さらに、その被測定対象物の反射成分の画像から、蛍光成分の画像を得ることも簡単にできるようになる。例えば、反射光成分の画像や蛍光成分の画像から、生物(植物,動物)の状態の判別(種類の判別,活性状態の判別など)が簡単にできるようになる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施の形態例によるシステムを示す構成図である。
【図2】本発明の一実施の形態例による照明光の特性例を示す波形図である。
【図3】本発明の一実施の形態例による画像処理部の構成を示すブロック図である。
【図4】本発明の一実施の形態例による処理の流れを示すフローチャートである。
【図5】本発明の一実施の形態例による波長成分の概要を示す図である。
【図6】本発明の一実施の形態例による反射光成分の画像の例を示す図である。
【図7】本発明の一実施の形態例による蛍光成分の画像の例を示す図である。
【図8】本発明の一実施の形態例を適用して測定した、波長間隔が短い照明光の場合の例を示す特性図である。
【図9】本発明の一実施の形態例を適用して測定した、波長間隔が長い照明光の場合の例を示す特性図である。
【図10】本発明の他の実施の形態例によるシステムを示す構成図である。
【図11】反射特性の例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施の形態例(以下、「本例」と称する。)を、図1~図10を参照して説明する。

【0014】
[1.システム構成例]
図1は、本例の画像処理装置のシステム全体を示す図である。このシステムは、被測定対象物である被写体90からの反射光と、被写体90が発する蛍光を測定するものである。また、このシステムは、蛍光から吸光率(入射した光が反射しないで吸収される割合)についても測定する。
被写体90は、プログラマブル光源30から照明光が照射された状態で、カメラ40が撮影を行う。プログラマブル光源30は、光源設定部20からの指示に基づいて、出力する光の波長や分光分布を自由にデザインできる光源である。光源設定部20での光源設定とカメラ40での撮影は、制御部10の制御下で行われる。

【0015】
プログラマブル光源30は、多波長可変光源とも称され、例えば400nm~720nmの可視光の範囲内で、各波長帯の光の分布状態を自由に調整可能な光源である。このプログラマブル光源30を使用することで、任意の色や波長の照射光を再現できる。プログラマブル光源30は、例えば、株式会社ニコンから製品名ELS-VISとして製品化されたものが適用可能である。

【0016】
光源設定部20からの指示に基づいて、プログラマブル光源30が出力する照明光としては、第1の発光強度の帯域と第2の発光強度の帯域の波長位置が相互に逆になる2種類の照明光(第1の照明光L1及び第2の照明光L2)が用意される。
図2A及び図2Bは、第1の照明光L1と第2の照明光L2の特性例を示す図である。図2A及び図2Bにおいて、縦軸は光の強度であり、横軸は波長である。第1の照明光L1と第2の照明光L2は、ほぼ可視光の帯域に相当する420nmから780nmまでの帯域の光である。第1の照明光L1と第2の照明光L2は、図2Aの例と、図2Bの例のいずれを適用してもよい。なお、光源の帯域を420nmから780nmとするのは一例であり、各照明光L1,L2を発する光源の帯域は広いものが望ましく、光源の帯域が広い程、扱うことができる反射と蛍光の帯域も広くなる。

【0017】
図2Aの例の場合、第1の照明光L1と第2の照明光L2は、その帯域内で、一定の波長間隔ごとに発光と非発光を繰り返す高周波特性を持つ。但し、第1の照明光L1と第2の照明光L2は、相互に逆の特性となるようにしてある。すなわち、第1の照明光L1が発光状態になる帯域では、第2の照明光L2は非発光状態になる。また、第1の照明光L1が非発光状態になる帯域では、第2の照明光L2は発光状態になる。2つの照明光L1,L2を加算することで、可視光の全帯域内でほぼフラットな強度の光が得られる。

【0018】
図2Bは、第1の照明光L1と第2の照明光L2のそれぞれが、輝度の低い状態でも、ある程度の輝度値で発光する例を示す。すなわち、第1の照明光L1と第2の照明光L2は、一定の波長間隔ごとに発光強度が強い発光状態と発光強度が弱い発光状態とを繰り返す。そして、第1の照明光L1と第2の照明光L2とで、発光強度が強い発光状態の帯域と発光強度が弱い発光状態の帯域とが、相互に逆になるようにする。
図2Bの例の場合にも、2つの照明光L1,L2を加算することで、可視光の全帯域内でほぼフラットな強度の光が得られる。

【0019】
光源設定部20は、第1の照明光L1を出力する期間と、第2の照明光L2を出力する期間を個別に設定することができる。
なお、図2A及び図2Bの例では、420nmから780nmまでの範囲を23の帯域に分割して、発光と非発光を繰り返す特性を図示したが、この帯域の分割数は一例であり、これよりも少ない分割数やより多い分割数でもよい。本例の場合、例えば1つの発光帯域の幅が40nm程度以下のとき、後述する各光成分の画像を得るための十分な精度が確保される。つまり、2つの照明光L1,L2に対して、被測定対象物でほぼ同量の光が吸収されることを保証するような高い周波数特性を設定することが、誤差の少ない精度の良い分布特性を得る上で重要である。この発光と非発光を繰り返す高い周波数特性は、標本化定理により決まる。

【0020】
また、図2A及び図2Bの例では、第1の照明光L1と第2の照明光L2は、正弦波状に強度が上下する例を示したが、このような正弦波状の変化は一例であり、その他の変化状態であってもよい。
例えば、図2Cに示す矩形波の第1の照明光と、図2Dに示す矩形波の第2の照明光を使用してもよい。すなわち、図2Cに示す第1の照明光は、一定の波長間隔で矩形波状の急峻な特性で、発光と非発光とが連続する特性とする。そして、図2Dに示す第2の照明光は、第1の照明光と発光区間と非発光区間との波長位置が入れ替えた上で、一定の波長間隔で矩形波状の急峻な特性で発光と非発光とが連続する特性とする。この図2C,図2Dの矩形波状の急峻な特性とする場合にも、発光と非発光とが連続するのではなく、図2Bの場合と同様に、第1の強度での発光と第2の強度での発光が連続する特性としてもよい。

【0021】
図1の説明に戻ると、プログラマブル光源30が第1の照明光L1を出力した状態で、カメラ40が被写体90の撮影を行う。また、プログラマブル光源30が第2の照明光L2を出力した状態で、カメラ40が被写体90の撮影を行う。
カメラ40としては、可視光の範囲内を所定数の帯域(例えば30帯域)に分割して、その分割した帯域ごとに各画素のデータを得る分光カメラが使用される。
カメラ40が撮影して得た画像データは、画像処理部50に送られ、画像処理部50によって反射光成分と蛍光成分を分離する処理が行われる。

【0022】
すなわち、画像処理部50は、第1の照明光L1で照明された被写体90を撮影して得た画像データと、第2の照明光L2で照明された被写体90を撮影して得た画像データとを演算処理して、反射光の画像データと蛍光の画像データとを得る。さらに、画像処理部50は、蛍光の画像データから吸光成分の波長分布を推定する。また、画像処理部50は、各画像データと吸光成分の波長分布とを使用して、任意の色の光源で被写体90を照明したときの画像データを演算で形成し、その形成した任意色の光源による画像データを得る。
画像処理部50が蛍光の画像データを得る際には、光源設定部20から、第1の照明光L1の設定状態に関するデータを取得する。反射光の画像データと蛍光の画像データと吸光成分の波長分布とを得るための具体的な処理については後述する。

【0023】
画像処理部50で得られた画像データは、画像表示部60に供給され、画像表示部60で各画像が個別に表示される。
また、画像処理部50で得られた蛍光の画像データは、特性解析部70に供給される。特性解析部70は、蛍光の画像データから、被写体90の蛍光特性の分布状態を解析する。また、特性解析部70は、反射光成分の分布状態や、吸光成分の分布状態を解析してもよい。
画像処理部50における反射光の画像データと蛍光の画像データとを得る処理と、吸光成分の波長分布を判断する処理は、制御部10の制御下で実行される。

【0024】
[2.画像処理部の構成例]
図3は、本例の画像処理部50の構成例を示す。
画像処理部50は、カメラ40から供給された画像データを記憶する第1画像メモリ51及び第2画像メモリ52を備える。第1画像メモリ51は、第1の照明光L1で照明された被写体90を撮影して得た1フレームの画像データを記憶する。第2画像メモリ52は、第2の照明光L2で照明された被写体90を撮影して得た1フレームの画像データを記憶する。第1,第2画像メモリ51,52が画像データを取り込むタイミングは、制御部10(図1)の制御により、プログラマブル光源30で第1,第2の照明光L1,L2を照射するタイミングに同期して設定される。
以下の説明では、第1画像メモリ51が記憶した第1の照明光L1で照明された画像データを第1の画像データと称し、第2画像メモリ52が記憶した第2の照明光L2で照明された画像データを第2の画像データと称する。

【0025】
そして、画像処理部50は、反射光画像生成部53と蛍光画像生成部54とを備える。
反射光画像生成部53には、第1画像メモリ51が記憶した第1の画像データと、第2画像メモリ52が記憶した第2の画像データとが供給される。反射光画像生成部53では、第1の画像データの画素と第2の画像データの画素との、同じ画素位置での差分が算出される。この例では、画像データが、分光カメラを使用して撮影した波長帯域(例えば30帯域)ごとの画素データであり、第1の画像データと第2の画像データとの差分を算出する際には、それぞれの波長帯域ごとに、同じ画素位置の画素データどうしで差分の算出を行う。
さらに、第1の画像データと第2の画像データとの差分を、照明光L1と照明光L2の輝度差で割る処理を行うことで、反射光成分の画像(反射光画像データ)が得られる。
このように2つの画像データの差分に基づいて反射光画像データが得られる原理については後述するが、誤差の少ない反射光画像データを得るためには、図2に示したように第1の照明光L1と第2の照明光L2の分光分布の周波数が所定以上に高いことが重要である。

【0026】
上述したように、第1の画像データと第2の画像データとの差分を、照明光L1と照明光L2の輝度差で割る処理を行うことで、各波長において照明光L1と照明光L2のどちらが発光しているかについて考慮する必要がないと共に、照明光L1と照明光L2の輝度の差の考慮をしなくても良いことになる。
具体的には、例えば、第1の照明光L1のもとで撮影して得た画像の画素値がP1、第2の照明光L2のもとで撮影して得た画像の画素値がP2であるとすると、反射光R(λ)は、以下の式で得る。
R(λ)=(P1(λ)-P2(λ))/(L1(λ)-L2(λ))
ここで、λは各波長を表す。L1(λ)は、波長λでの第1の照明光L1の輝度であり、L2(λ)は、波長λでの第2の照明光L2の輝度である。

【0027】
照明光が図2C,図2Dに示す矩形波の特性である場合、特定の波長位置λでの反射光R(λ)の式は、次のように示すことができる。
R(λ)=P1(λ)-P2(λ
そして、ここで、図2A,図2Bの例と同様に、このR(λ)の条件は、波長λのときに、照明光L1の方が照明光L2よりも強度が強い場合である。照明光L2の方が照明光L1よりも強度が強い波長位置では、式のP1とP2が逆になる。

【0028】
反射光画像生成部53で得られた反射光画像データは、光源分布乗算部55に供給される。光源分布乗算部55は、光源設定部20で設定した第1の照明光L1の分布特性を取得する。そして、光源分布乗算部55は、第1の照明光L1の分布特性を、反射光画像データに乗算する。この第1の照明光L1の分布特性を反射光画像データに乗算することで、反射光画像データが、第1の照明光L1による反射光成分だけになり、第2の照明光L2による反射光成分が除去される。

【0029】
蛍光画像生成部54には、光源分布乗算部55で得られた第1の照明光L1による反射光画像データと、第1画像メモリ51が記憶した第1の画像データとが供給される。蛍光画像生成部54では、第1の照明光L1による反射光画像データと第1の画像データとの差分が算出され、この算出した差分に基づいた画像データが、蛍光成分の画像(蛍光画像データ)になる。この蛍光画像生成部54で差分を算出する際にも、反射光画像生成部53で差分を算出する際と同様に、それぞれの波長帯域ごとに、同じ画素位置の画素データどうしで差分の算出を行う。
第1の照明光L1と第2の照明光L2の下で観察される蛍光の分光分布は、以下の式で示される。下記の式において、e(λ)は、蛍光発光の分光分布(波長λの光をどれだけ返すかを示す、すなわち蛍光発光の色を決定する発光分布)、Kは、蛍光物質が、第1の照明光L1または第2の照明光L2の光をどれだけ吸収するか表す係数であり、蛍光物質の吸光成分と光源の分光分布により求まる。この係数Kにより蛍光発光e(λ)の強度が決定される。
ここで、物質の吸光成分の分光分布がある程度の周波数帯域に制限される低周波な分布、すなわち分光領域で滑らかに変化するような分布を持つ場合、第1の照明光L1と第2の照明光L2の分光分布を吸光成分の分布より高周波に設定することにより、第1の照明光L1の光源下での光の吸収量Kは同じとなり、第1の照明光L1下で観察される蛍光成分と第2の照明光L2下で観察される蛍光成分は、ほぼ同一の分光分布となる。なお、この点は図5で後述する。
Ke(λ)=(P1(λ))-[(P1(λ)-P2(λ))/(L1(λ)-L2(λ))]・L1(λ)
なお、各画素でKe(λ)の値を正規化することで、蛍光発光の分光分布を表す関数e(λ)を得ることができる。
照明光が図2C,図2Dに示す矩形波の特性である場合、第1の照明光L1と第2の照明光L2の下で観察される蛍光の分光分布の式は、次のように示すことができる。
Ke(λ)=2・P2(λ

【0030】
蛍光画像生成部54で得られた蛍光画像データは、吸光成分変換部58に供給される。吸光成分変換部58は、蛍光画像データで示された蛍光成分の分布特性にほぼ一致した分布特性のデータを、データベース59の記憶データから検索する。データベース59は、蛍光成分の分布特性と吸光成分の分布特性との関係を示すデータが、複数種類(例えば1000種類程度)記憶されている。また、このデータベース59には、吸光成分の周波数特性についても記憶されている。なお、吸光成分は、蛍光を生じる物質(蛍光物質)に吸収される光の成分であり、光の各波長においてどれだけの光を吸収するかを示す吸光分布として表現される。

【0031】
データベース59の記憶データを検索した結果、完全に一致した分布特性がデータベース59に記憶されていない場合には、吸光成分変換部58は、最も類似した分布特性を一致した分布特性とする。または、複数の蛍光成分の組み合わせを考え、組み合わせとして最も近い分布を推定し、吸光成分もこれらの蛍光物質の吸光分布の組み合わせとして得る。さらに、吸光成分変換部58は、一致した分布特性を検索した後、その検索した分布特性に対応づけられた吸光成分の分布特性をデータベース59から読み出し、その分布特性を、蛍光画像データで示された蛍光成分の分布特性に対応した吸光成分の分布特性とする。吸光成分の画像データは、画像形成部56に供給される。
なお、それぞれの差分画像から反射光画像データと蛍光画像データと吸光成分の画像データとが得られる原理については後述する。

【0032】
反射光画像生成部53で得られた反射光画像データと、蛍光画像生成部54で得られた蛍光画像データは、画像形成部56に供給される。また、第1画像メモリ51が記憶した第1の画像データと、第2画像メモリ52が記憶した第2の画像データについても、画像形成部56に供給される。
画像形成部56は、そのときの出力モードに応じて、反射光画像データと蛍光画像データと第1,第2の画像データのいずれかを出力する。画像形成部56が出力する画像データは、画像表示部60に供給され、画像形成部56で選択された画像が表示される。

【0033】
また、画像形成部56は、光源条件設定部57からの指示に基づいて、反射光画像データと蛍光画像データと吸光成分の画像データとを使用して、指示された光源で再現される画像を演算で形成する。例えば、画像形成部56は、青色の光源を被写体90に照射したときに、カメラ40で撮影される画像データを演算で形成し、その形成された画像データを出力する。
さらに、画像形成部56で得られた反射光画像データと蛍光画像データと吸光成分の画像データとは、特性解析部70に供給され、分布特性の解析処理が行われる。

【0034】
[4.一実施の形態例の処理の流れ]
図4は、本例の画像処理装置で行われる反射光成分と蛍光成分を検出する処理の流れを示すフローチャートである。
まず、制御部10からの指示に基づいて光源設定部20が、プログラマブル光源30を第1の照明光L1で発光させる(ステップS11)。この第1の照明光L1により被写体90が照明された状態で、カメラ40が撮影した画像データが、画像処理部50内の第1画像メモリ51に記憶される(ステップS12)。次に、制御部10からの指示に基づいて光源設定部20が、プログラマブル光源30を第2の照明光L2で発光させる(ステップS13)。この第2の照明光L2により被写体90が照明された状態で、カメラ40が撮影した画像データが、画像処理部50内の第2画像メモリ52に記憶される(ステップS14)。

【0035】
そして、画像処理部50内の反射光画像生成部53が、第1画像メモリ51に記憶された第1画像データの各波長帯域の画素と、第2画像メモリ52に記憶された第2画像データの各波長帯域の画素との差分画像データを取得する(ステップS15)。この差分画像データが、反射光画像データになる。
さらに、画像処理部50内の蛍光画像生成部54が、光源分布乗算部55で得られた第1の照明光L1による反射光画像データの各波長帯域の画素と、第1画像メモリ51に記憶された第1画像データの各波長帯域の画素との差分画像データを取得する(ステップS16)。この差分画像データが、蛍光画像データになる。

【0036】
その後、吸光成分変換部58は、蛍光画像データで示された蛍光成分の分布特性に一致するか、又は最も類似した分布特性のデータをデータベース59から検索する(ステップS17)。そして、吸光成分変換部58が、そのデータベース59から検索した蛍光成分の分布特性に対応付けられた吸光成分の分布特性を読み出し、その読み出した吸光成分の分布特性を、被写体90の吸光成分の分布特性と判断する(ステップS18)。

【0037】
[5.各成分の画像が得られる原理]
次に、本例の画像処理装置で反射光画像と蛍光画像が得られる原理について、図5を参照して説明する。図5A~図5Fの各図において、横軸は波長であり、可視光の範囲を示す。また、縦軸は光の強度を示す。
図5Aは、第1の照明光L1で照明された被写体90を撮影した第1の画像データに含まれる反射光成分R1と蛍光成分F1の一例である。また、図5Bは、第2の照明光L2で照明された被写体90を撮影した第2の画像データに含まれる反射光成分R2と蛍光成分F2の一例である。
図5Aと図5Bを比較すると判るように、第1の画像データに含まれる反射光成分R1と、第2の画像データに含まれる反射光成分R2は、同一の被写体90を撮影した画像データであるため、可視光領域全体で見たとき、ほぼ同様の分布特性である。しかしながら、第1の照明光L1と第2の照明光L2は、図2に示したように、一定の波長間隔ごと発光と非発光を繰り返す高周波特性であり、その発光と非発光の波長位置が相互に逆である。このため、照明光L1を反射することで生成される反射光成分R1と、照明光L2を反射することで生成される反射光成分R2とでは、山と谷の位置が逆になる高周波特性を有する。

【0038】
一方、被写体90を構成する物質の蛍光特性で決まる蛍光成分F1,F2については、その物質に入射した光により励起された光が出力されるものであり、図5A及び図5Bに示すように、ある程度の帯域幅を持った分布特性である。これはこの物質の吸光成分の分光分布がある程度の帯域を持つ低周波な分布、すなわち分光領域で滑らかに変化する ような分布を持つことに起因している。したがって、光源の分光分布を吸収分布よ りも高周波に設定する事により、第1の画像データに含まれる蛍光成分F1と、第2の画像データに含まれる蛍光成分F2は、ほぼ同一の分布特性である。

【0039】
まとめると、反射光成分R1と反射光成分R2とは山と谷の位置が逆になる高周波特性を有し、蛍光成分F1と蛍光成分F2はほぼ同一である。このため、反射光画像生成部53で、図5Aに示す第1の画像データと、図5Bに示す第2の画像データとの差分を求めて、第1の照明光L1と第2の照明光L2の光源輝度で割ることにより、ほぼ同一の分布特性である2つの蛍光成分F1,F2が消え、2つの反射光成分R1と反射光成分R2を加算した反射光成分R0だけが残る。
したがって、反射光画像生成部53で第1の画像データと第2の画像データとの差分画像データを求めて、第1の照明光L1と第2の照明光L2の光源輝度で割ることにより、被写体90の反射光成分(図5Cの反射光成分R0)が抽出された反射光画像データが得られる。なお、第1の画像データと第2の画像データとの差分画像データを得る際には、既に説明したように、照明光L1と照明光L2の輝度差で反射成分の画像を割る処理を行うことが好ましい。

【0040】
さらに、図5Cに示す反射光成分R0の反射光画像データに、第1の照明光L1の分布特性を乗算することで、図5Dに示す第1の照明光L1の反射光成分R1が得られる。この図5Dに示す第1の照明光L1の反射光成分R1と、図5Aに示す第1の画像データとの差分を取ることで、図5Eに示すように、第1の画像データに含まれた蛍光成分F1だけが取り出される。したがって、蛍光画像生成部54で反射光画像データと第1の画像データの内の一部の成分との差分を取ることで、被写体90の蛍光成分F1が抽出された蛍光画像データが得られる。

【0041】
また、蛍光成分F1の分布特性に対応した吸光成分の分布特性は一義的に決まる。このため、吸光成分変換部58は、データベース59の記憶データから一致(類似)する記憶データを検索することで、図5Fに示すように、被写体90の吸光成分A1を得ることができる。

【0042】
[6.画像の例]
図6及び図7は、本例の画像処理装置で第1の画像P1と第2の画像P2から反射光画像P3と蛍光画像P4を取得した一例を示す。
ここで用意した被写体は、図7に示すように、文字「ICCV」とその周囲の模様を配置したものである。この例では、文字「ICCV」と、その文字の周囲の一部の模様(蝶の形状した模様)については、蛍光物質を塗布して蛍光特性を持たせてある。その他の模様については蛍光特性を持たない素材(物質)よりなる。なお、図6及び図7に示す各画像は、カラー画像を白黒で示したものである。

【0043】
図6は、第1の画像P1と第2の画像P2と、それらの画像P1,P2の差分から得た反射光画像P3とを示す。第1の画像P1と第2の画像P2は、見かけ上、ほぼ同一に見える画像であり、この2つの画像P1,P2は表示された状態では、ほとんど区別がつかない。
ここで、第1の画像P1と第2の画像P2との差分を取ることで、図5A~図5Cに示した原理により、蛍光成分が除去された反射光成分R0(成分R1+R2)の画像P3が得られる。画像P3は、蛍光成分が除去されているため、第1の画像P1や第2の画像P2と比べて、文字「ICCV」などの蛍光特性を有する箇所で、若干色調が変化している。

【0044】
図7は、第1の画像P1と、反射光成分R0の画像P3と、それらの画像の差分から得た蛍光画像P4とを示す。第1の画像P1と、反射光成分R0の画像P3から取り出した反射光成分R1(第1の照明光L1による反射光成分)との差分を取ることで、蛍光成分F1が抽出された画像P4が得られる。画像P4では、蛍光物質を塗布した箇所である、文字「ICCV」と、蝶の形状した模様だけが表示されている。この画像P4では、蛍光成分を有さない模様(蛍光物質を塗布していない箇所)については表示されず、蛍光成分だけが取り出されたことが判る。

【0045】
なお、この図7の例の場合には、蛍光の判りやすい例を示すために、文字などに蛍光物質を塗布した例を示すが、実際には、例えば植物などの各種物体が、その物体の状態に応じて蛍光を発することがあり、蛍光状態と相関がある物体の状態が蛍光画像から判るようになる。例えば、果物や野菜などの作物(例えばマンゴ)は、同じ種類の作物であっても、産地の相違によって、蛍光状態が異なることが知られており、本例の装置の特性解析部70は、分布特性を解析して被写体90の作物の産地が判断できるようになる。また、そばに含まれるそば粉の量などの製品の成分の分析が、反射光の分布特性や蛍光の分布特性から判断できるようになる。さらに、珊瑚などの生物の状態を反射光の分布特性や蛍光の分布特性から判断できるようになる。従来、反射光の分布特性や蛍光の分布特性を簡単に測定することは困難であったため、このような生物や農作物の状態,種類,産地などの解析に、これらの分布特性を利用することは殆ど行われていなかったが、本例の画像処理装置を利用することで簡単に行えるようになる。

【0046】
この図6及び図7から判るように、本例の画像処理装置によると、被測定対象物の反射光成分の画像と、蛍光成分の画像とが得られる。蛍光成分の画像が得られることで、蛍光成分の分布特性についても解析することができ、蛍光成分の分布から、被測定対象物の状態を測定することが可能になる。さらに、蛍光成分の分布特性を使って、その蛍光成分を生じさせる吸光成分の分布特性も得られる。
これらの画像や分布特性を得る処理は、プログラマブル光源30の発光状態を変えて、カメラ40で2回撮影した画像を演算処理するだけでよく、非常に簡単に反射光成分や蛍光成分が測定できるようになる。すなわち、従来は、被測定対象物に照射する光の波長範囲を狭くした上で、被測定対象物が発する光の波長を光スペクトルアナライザなどの精密な測定器で何回も測定する必要があったのに対して、本例の画像処理装置では非常に簡単に測定ができる。

【0047】
[7.実測した例]
次に、図8及び図9を参照して、本例の画像処理装置で反射光成分と蛍光成分を測定した例を説明する。
図8は、2つの照明光の発光帯域と非発光帯域とが比較的短い波長間隔で入れ替わる高周波特性を持った場合の例であり、図9は、2つの照明光の発光帯域と非発光帯域とが比較的広い波長間隔で入れ替わる特性を持った場合の例である。これら図8及び図9において、各図のAは、2つの照明光L1,L2又はL1′,L2′の波長位置ごとの強度を示し、各図のB及びCは、それぞれの照明光を使用して得られる反射光成分R0又はR0′と蛍光成分F1又はF1′を示す。また、図8B及び図9Bに示す反射光成分Rxと、図8C及び図9Cに破線で示す蛍光成分Fxは、本例の画像処理装置とは別の高精度な測定装置を使用して各成分を測定した特性である。

【0048】
図8の例は、図8Aに示すように、各照明光L1,L2の1周期(1つの発光期間と1つの非発光期間とよりなる期間)を約40nmに設定して、比較的短い波長間隔で2つの照明光L1,L2が発光と非発光を繰り返す高周波特性を持たせた例である。
この図8Aに示す高周波特性を持つ照明光L1,L2を被写体に照射して、2つの画像の差分から得た反射光成分R0が、図8Bに示すようになる。この図8Bに示す反射光成分R0と、破線で示した高精度な測定装置で得た反射光成分Rxとは、ほぼ一致する。
また、図8Cに示すように、照明光L1を照射して得た画像と、反射光成分R0の画像との差分に基づいて得た蛍光成分F1についても、破線で示した高精度な測定装置で得た蛍光成分Fxとほぼ一致するようになる。
したがって、本例の画像処理装置を使用することで、精度の高い反射光成分と蛍光成分の測定ができる効果を有する。

【0049】
図9は、1周期の期間を長くした2つの照明光L1′,L2′を用意して、本例の画像処理装置で測定した例である。
図9の例では、図9Aに示すように、照明光L1′,L2′の1周期を約160nmに設定したものである。
この図9Aに示す照明光L1′,L2′を被写体に照射して、2つの画像の差分から得た反射光成分R0′が、図9Bに示すようになる。この図9Bに示す反射光成分R0′と、破線で示した高精度な測定装置で得た反射光成分Rxとを比較すると判るように、ある程度の誤差がある。
また、図9Cに示すように、照明光L1′を照射して得た画像と、反射光成分R0′の画像との差分に基づいて得た蛍光成分F1′についても、破線で示した高精度な測定装置で得た蛍光成分Fxと比較して、それなりの誤差があることが判る。

【0050】
このように図8の特性と図9の特性を比較すると判るように、各照明光L1,L2の1周期が短い波長間隔である方が、誤差の少ない優れた特性の反射光画像や蛍光画像が得られる。但し、ある程度の測定誤差まで許容できる使用目的の場合には、図9Aに示すような波長間隔が広い照明光L1′,L2′で撮影した画像を使用して測定するようにしてもよい。

【0051】
[8.他の実施の形態例]
図10は、本発明の他の実施の形態の例のシステム構成である。この図10において、上述した図1に対応する部分には、図1と同一の符号を付す。
図10の例では、光源81として、可視光の波長帯域内である程度フラットな強度特性を有する白色の照明光を照射するものとする。そして、その光源81の照明光出力部81aに、第1フィルタ83と第2フィルタ84とを選択的に配置する。第1フィルタ83又は第2フィルタ84の配置状態は、制御部10の制御に基づいたフィルタ設定部82からの指令で決まる。すなわち、フィルタ設定部82からの指令により、光源81の照明光出力部81aに、第1フィルタ83が配置された状態と、第2フィルタ84が配置された状態のいずれかに設定される。

【0052】
第1フィルタ83と第2フィルタ84は、それぞれ異なる透過特性を有する。具体的には、第1フィルタ83として、光源81が出力する照明光を透過させたとき、図2に示した第1の照明光L1の特性となるようにする。また、第2フィルタ84として、光源81が出力する照明光を透過させたとき、図2に示した第2の照明光L2の特性となるようにする。つまり、第1フィルタ83と第2フィルタ84とで、光が透過する帯域と光が透過しない帯域が交互に逆となる高周波特性を持たせる。ここでの高周波特性とは、光が通過する帯域と光が通過しない帯域とが、比較的短い波長間隔で交互に設定されていることを示す。なお、このような特性を有する第1フィルタ83と第2フィルタ84は、例えばガラスなどの透明基板に所定の材質の膜を蒸着する等して形成される。
その他の構成については、図1に示した画像処理装置と同様に構成する。

【0053】
図10の例の画像処理装置で反射光成分と蛍光成分の測定を行う際には、フィルタ設定部82が第1フィルタ83を配置した状態で、カメラ40が撮影を行い第1の画像データを得る。そして、フィルタ設定部82が第2フィルタ84を配置した状態で、カメラ40が撮影を行い第2の画像データを得る。第1の画像データと第2の画像データを得た後の画像処理については、図4のフローチャートで説明した画像処理が行われる。
この図10の構成の場合にも、図5で説明した原理で画像処理が行われ、反射光成分の画像と蛍光成分の画像を得ることができる。なお、図10の例の場合には、発光体からの光を光源81として使用する代わりに、太陽光を光源81として使用してもよい。

【0054】
[9.その他の変形例]
なお、図2に示した2つの照明光L1,L2の特性は一例を示したものであり、この図2に示した特性に限定されない。例えば図2A,図2Bの例では、発光波長帯域と非発光波長帯域とが正弦波状に交差する特性とし、図2C,図2Dの例では、急峻な特性で発光波長帯域と非発光波長帯域とが交差する照明光としたが、これらの例とは異なる特性としてもよい。また、発光波長帯域と非発光波長帯域を分割する数についても、図2の例は一例であり、図2の例とは異なる分割数としてもよい。発光波長帯域と非発光波長帯域の分割数が多い方が、反射光画像や蛍光画像を得る上で好ましいが、少ない分割数の場合でも、それなりの精度で反射光画像や蛍光画像を得ることができる。

【0055】
また、図1に示したプログラマブル光源30や、図10に示した光源82とフィルタ83,84を使用して照明光を得るのは、それぞれ好適な一例であり、その他の構成の光源を使用してもよい。例えば、発光波長帯域が異なる複数の発光ダイオードを多数用意して、その複数の発光ダイオードの発光状態の選択で、2つの照明光L1,L2と同等の特性の照明光を得るようにしてもよい。

【0056】
また、上述した実施の形態例では、検出した蛍光成分の分布特性に最も類似したデータをデータベース74から検索して、その検索したデータに対応してデータベース74に記憶された吸光成分のデータを、そのまま吸光成分の分布特性に確定するようにした。これに対して、吸光成分変換部73が、検出した蛍光成分の分布特性と、データベース74から検索された蛍光成分の分布特性との類似度を判断して、類似度に応じて吸光成分の分布特性を修正するようにしてもよい。

【0057】
すなわち、類似度が所定レベル以上であるとき、吸光成分変換部73は、データベース74に記憶された吸光成分のデータで示された吸光成分の分布特性を、検出した蛍光成分の分布特性に確定する。また、類似度が所定レベル未満であるとき、吸光成分変換部73は、データベース74に記憶された吸光成分の分布特性のデータに対して、何らかの修正を施して、検出した蛍光成分の分布特性に確定する。このようにして、吸光成分変換部73が、吸光成分の分布特性をより正確に変換するようにしてもよい。

【0058】
また、図1や図10に示した画像処理装置は、画像処理部や画像解析部を専用の回路で構成してもよいが、例えば図4のフローチャートで説明した画像処理や画像解析などを順に実行する工程よりなるプログラム(ソフトウェア)を作成して、そのプログラムをコンピュータ装置に実装することで、画像処理装置を実現してもよい。この場合のプログラムは、例えば、光ディスクや半導体メモリなどの記録媒体に記録してもよい。
【符号の説明】
【0059】
10…制御部、20…光源設定部、30…プログラマブル光源、40…カメラ、50…画像処理部、51…第1画像メモリ、52…第2画像メモリ、53…反射光画像生成部、54…蛍光画像生成部、55…光源分布乗算部、56…画像形成部、57…光源条件設定部、58…吸光成分変換部、59…データベース、60…画像表示部、70…特性解析部、81…光源、81a…照明光出力部、82…フィルタ設定部、83…第1フィルタ、84…第2フィルタ、90…被写体(被測定対象物)、L1…第1の照明光、L2…第2の照明光
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図8】
5
【図9】
6
【図10】
7
【図11】
8
【図6】
9
【図7】
10