TOP > 国内特許検索 > 画像解析装置および検査システム > 明細書

明細書 :画像解析装置および検査システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-205839 (P2016-205839A)
公開日 平成28年12月8日(2016.12.8)
発明の名称または考案の名称 画像解析装置および検査システム
国際特許分類 G01N  21/85        (2006.01)
G01N  21/64        (2006.01)
G01J   3/50        (2006.01)
FI G01N 21/85 A
G01N 21/64 Z
G01J 3/50
請求項の数または発明の数 7
出願形態 OL
全頁数 18
出願番号 特願2015-083763 (P2015-083763)
出願日 平成27年4月15日(2015.4.15)
発明者または考案者 【氏名】大西 潤哉
【氏名】石原 数也
【氏名】川端 優
【氏名】粟屋 信義
【氏名】竹岡 賢二
【氏名】赤阪 信二
【氏名】中元 勝彦
出願人 【識別番号】000005049
【氏名又は名称】シャープ株式会社
【識別番号】591079487
【氏名又は名称】広島県
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
審査請求 未請求
テーマコード 2G020
2G043
2G051
Fターム 2G020AA08
2G020DA02
2G020DA03
2G020DA13
2G020DA22
2G020DA32
2G020DA34
2G020DA53
2G043AA03
2G043BA14
2G043CA05
2G043EA01
2G043FA01
2G043JA01
2G043KA03
2G043LA03
2G043NA01
2G051AA05
2G051AB02
2G051BA01
2G051BA05
2G051BB02
2G051CA04
2G051CA07
2G051CB01
2G051CB05
2G051EA17
2G051EB01
要約 【課題】農産物の変質または該変質の予兆の有無を高い確率で判定する。
【解決手段】画像解析装置(5)は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部(52)と、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する判定部(53)と、を備える。
【選択図】図1
特許請求の範囲 【請求項1】
紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部と、
上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、
上記農産物の変質または該変質の予兆の有無を判定する判定部と、を備えることを特徴とする画像解析装置。
【請求項2】
上記農産物は柑橘類果実であることを特徴とする請求項1に記載の画像解析装置。
【請求項3】
上記判定部は、色相値、彩度値および明度値の座標空間であるHSV空間における色相値に第1の値とそれより大きい第2の値を設け、彩度値に第3の値とそれより大きい第4の値を設け、
上記蛍光画像の各画素における色相値が上記第1の値と上記第2の値の間に入り、彩度値が上記第3の値と上記第4の値の間に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定することを特徴とする請求項1または2に記載の画像解析装置。
【請求項4】
上記判定部は、色相値、彩度値および明度値の座標空間であるHSV空間における色相値に第1の値とそれより大きい第2の値を設け、彩度値に第3の値とそれより大きい第4の値を設け、
上記蛍光画像の各画素における色相値の前回測定値との変化量が上記第1の値と上記第2の値に入り、彩度値の前回測定値との変化量が上記第3の値と上記第4の値に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定することを特徴とする請求項1または2に記載の画像解析装置。
【請求項5】
上記判定部は、上記農産物がレモンであり、当該レモンの軸腐病の判定を行う場合、上記蛍光画像の各画素における色相値の上記第1の値が60、上記第2の値が180であり、彩度値の上記第3の値が0、上記第4の値が50である、または、上記第1の値が240、上記第2の値が360であり、彩度値の上記第3の値が0、上記第4の値が50であることを特徴とする請求項3に記載の画像解析装置。
【請求項6】
紫外光を出射する光源と、
紫外光が照射された農産物を撮像する撮像装置と、
上記撮像装置が撮像した撮像画像を解析する画像解析装置と、を備えた検査システムであって、
上記画像解析装置は、上記撮像画像の色相値、および彩度値を算出する色相彩度値算出部と、算出した色相値、および彩度値を元に農産物の変質または該変質の予兆の有無を判定する判定部と、上記画像解析装置が備える各部として動作させることにより上記画像解析装置をコンピュータにて実現させる上記画像解析装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体と、を備え、
さらに、上記判定部による判定結果を出力する出力部を備えていることを特徴とする検査システム。
【請求項7】
上記農産物は柑橘類果実であることを特徴とする請求項6に記載の検査システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、農産物を撮像した画像に基づいて上記農産物の変質または該変質の予兆の有無を判定する画像解析装置、および該画像解析装置を備えた検査システムなどに関する。
【背景技術】
【0002】
レモンや八朔などの柑橘類果実を保管や出荷する前に、予め異常が起こりそうな、病気になりそうな果実が選別できることが望ましい。果実に傷があると保管中にそこからカビが発生して周辺の果実までカビを生やしてしまう。また見た目は健常であっても、既に病気に罹患しており、後になって病状が発現するものもある。そこで保存や出荷の前に検査を行い、傷のあるものや病気になりそうなものを選別しておく必要がある。
【0003】
このような果実の選別方法に関する従来技術の一例として、特許文献1に開示された柑橘等の油胞損傷判定装置がある。この油胞損傷判定装置では、柑橘等の表面に紫外線を照射して、油胞の損傷部分を励起発光させることで柑橘等の表皮油胞の損傷の有無等を判定するようになっている。
【0004】
また、従来技術の別の例として、特許文献2に開示された果実・そ菜の品質選別装置がある。この品質選別装置では、紫外線を照射して果実・そ菜の病障害部から発生する蛍光の強度、波長に基づいて被選別物の病障害の有無等を判別するようになっている。
【0005】
また、従来技術のさらに別の例として、特許文献3に開示された農産物検査装置がある。この農産物検査装置では、紫外線領域の光を農産物に照射することにより農産物の表皮に生傷が有るか否かを判定するようになっている。
【0006】
また、従来技術のさらに別の例として、非特許文献1に開示された技術がある。この技術では、350nmにピークを持つ315~400nmの紫外光をレモン果実に照射しながらカメラ撮影して画像を取得し、各画素のRGB(Red, Green and Blue)値からHIS(Hue, Saturation and Intensity)値を算出し、レモン果実の傷部分の蛍光と正常部分とをH値を用いて判別するようになっている。
【先行技術文献】
【0007】

【特許文献1】特開平6-129987号公報(1994年5月13日公開)
【特許文献2】特開昭60-257362号公報(1985年12月19日公開)
【特許文献3】特開2003-14650号公報(2003年1月15日公開)
【0008】

【非特許文献1】MOMIN et al, ”Identification of UV-Fluorescence Components for Detecting Peel Defects of Lemon and Yuzu using Machine Vision”, Engineering in Agriculture, Environment and Food Vol.6,No.4(2013)
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記特許文献1~3に開示された技術では、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができないという問題点がある。また、上記非特許文献1に開示された技術では、レモン果実の傷部分の蛍光と正常部分とをH値(色相値)のみを用いて判別しており、例えば、保存の際に問題となる軸腐病などの病気を早期に検出することはできないという問題点がある。蛍光光度分光計(日立ハイテク、F-2700)を用いて測定したレモンの健常部分と軸腐病の予兆がある部分、軸腐病になった部分のEEMS(Excitation-Emission Matrix)の測定結果を図10に示す。また、励起波長が365nmの場合のEEMSの測定結果を図11に示す。これらの結果からレモン果実では変質または該変質の予兆として現れる蛍光物質の他に健常な果実、果実部にも蛍光物質があるため、病変時にはこれら複数の蛍光物質の蛍光が重なってしまい、従来技術の蛍光強度(明度)だけ、色の変化(色相)だけで判定するのでは見え難いという課題がある。
【0010】
本発明は、以上の問題点に鑑みて為されたものであり、その目的は、農産物の変質または該変質の予兆の有無を高い確率で判定することができる画像解析装置などを提供することにある。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、本発明の一態様に係る画像解析装置は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部と、上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する判定部と、を備えることを特徴としている。
【0012】
また、上記の課題を解決するために、本発明の一態様に係る検査システムは、紫外光を出射する光源と、紫外光が照射された農産物を撮像する撮像装置と、上記撮像装置が撮像した撮像画像を解析する画像解析装置と、を備えた検査システムであって、上記画像解析装置は、上記撮像画像の色相値、および彩度値を算出する色相彩度値算出部と、算出した色相値、および彩度値を元に農産物の変質または該変質の予兆の有無を判定する判定部と、上記画像解析装置が備える各部として動作させることにより上記画像解析装置をコンピュータにて実現させる上記画像解析装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体と、を備え、さらに、上記判定部による判定結果を表示する出力部を備えていることを特徴としている。
【発明の効果】
【0013】
本発明の一態様によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができるという効果を奏する。
【図面の簡単な説明】
【0014】
【図1】本発明の実施の一形態に係る検査システムの構成を示すブロック図である。
【図2】上記検査システムの動作の流れの一例を示すフローチャートである。
【図3】図2に示したフローに続くフローを示すフローチャートである。
【図4】上記検査システムに関し、蛍光画像の各画素におけるH値およびS値の分布状態を示すグラフであり、(a)および(c)は、それぞれ、柑橘類果実が正常な場合の蛍光画像の各画素におけるH値およびS値の分布状態を示し、(b)および(d)は、それぞれ、柑橘類果実が病気の場合の蛍光画像の各画素におけるH値およびS値の分布状態を示す。
【図5】上記検査システムに関し、レモン果実に白色光を照射して有効画素を特定するために用いる画像を示す図面代用写真であり、(a)は、有効画素の特定例を示し、(b)は、レモン果実に白色光を照射したときの状態を示す。
【図6】軸腐病を罹患したレモン果実および正常なレモン果実のそれぞれにおける蛍光画像の各画素におけるH値およびS値の分布状態を比較した図面代用写真であり、(a)および(c)は、それぞれ、複数のレモン果実に対して紫外光を照射したときの様子を示す図面代用写真であり、(b)および(d)は、それぞれ、各レモン果実における蛍光画像の各画素におけるH値およびS値の分布状態を比較した図面代用写真である。
【図7】紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の各画素におけるHVS値またはRGB値の変化を示す図面代用写真であり、(a)は、上記蛍光画像の各画素におけるHVS値の変化を示す図面代用写真であり、(b)は、上記蛍光画像の各画素におけるRGB値の変化を示す図面代用写真であり、(c)は、紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の例を示す図面代用写真である。
【図8】(a)は、レモン果実の収穫時期が1月、4月と異なる春果のレモン果実の蛍光画像をそれぞれ4つのH値と、S値をプロットした図であり、(b)は、7月に収穫した前年の夏花由来果実と11月に収穫した春花由来果実のレモン果実の蛍光画像をそれぞれ2個と1個のH値と、S値をプロットした図である。
【図9】本発明の実施の一形態に係る検査システムの構成を示すブロック図である。
【図10】蛍光光度分光計を用いて測定したレモンの健常部分と軸腐病の予兆がある部分、軸腐病になった部分のEEMSの測定結果を示す図である。
【図11】励起波長が365nmの場合の上記EEMSの測定結果を示す図である。
【図12】蛍光光度分光計を用いて励起波長を変えた場合の蛍光測定結果を示す図である。
【発明を実施するための形態】
【0015】
本発明の実施の形態について図1~図9および図12に基づいて説明すれば、次の通りである。以下、説明の便宜上、特定の実施形態にて説明した構成と同一の機能を有する構成については、同一の符号を付記し、その説明を省略する場合がある。

【0016】
〔実施形態1〕
以下、図1に基づき、本発明の実施形態1に係る検査システム10の構成について説明する。図1は、検査システム10の構成を示すブロック図である。同図に示すように、検査システム10は、複数の白色LED(光源、白色光光源)1a、複数の紫外LED(光源、紫外光光源)1b、複数の撮像装置2、検査対象保持装置3、撮像システム制御部4、および画像解析装置5を備える。なお、図1の破線で示す四角は、外界からの光を遮断する隔壁を示す。検査システム10は、検査対象物(農産物、例えば、レモン、八朔、柚子などの柑橘類果実など)を撮像した画像データに基づいて、検査対象物の変質または変質の予兆の有無を判定するものである。なお、本実施形態では、検査対象物としてレモン、八朔、柚子などの柑橘類果実を例にとって説明するが、これに限定されない。本実施形態の判定方法を利用できる農産物であれば、どのような農産物を検査対象物としても良い。「変質または変質の予兆」としては、柑橘類果実の軸腐病による腐敗・腐敗予兆、青かび病・緑かび病、炭疽病による腐敗、水腐れによる腐敗、かいよう病の病斑、果実の表面の陥没、生傷、害虫(ホコリダニ,訪花害虫)や擦過傷による果実表面の癒合した傷痕などを例示することができる。

【0017】
(白色LED1a,紫外LED1b)
検査システム10では、365nmに発光ピーク波長を有する紫外光を放射(出射)する紫外LED1bと、白色光を放射(出射)する白色LED1aと、をそれぞれ、複数個(例えば9個くらい)を暗箱内に格子状に配置する。蛍光光度分光計を用いて励起波長を変えた場合の蛍光測定結果を図12に示す。図12の結果から、紫外光の発光波長の好適な範囲は、300nm~400nm、さらに好ましい範囲は330nm~370nmの範囲である。

【0018】
複数個のLEDを格子状に配置する目的は、光を照射する検査対象物のハレーションを防ぐためであり、1個のLEDであってもLEDの前に拡散板を使用したり、暗箱の代わりに積分球のようなものを使用したりしても良い。また、紫外LED1bの放射光の可視光成分を極力小さくするために、360nmのバンドパス光学フィルターなど可視光をカットする光学フィルターを紫外LED1bに取り付けることが望ましい。検査対象物に照射される紫外光の強さは紫外線強度計(UVA-365,SATO TECH)を用いて計測した場合に0.068~1.636mW/cm程度である。好ましい範囲は0.068~1.636mW/cm程度で、より好ましい範囲は0.354~0.537mW/cm程度である。

【0019】
(撮像装置2,検査対象保持装置3)
暗箱内には、少なくとも可視光域の光感度を有する1600万画素のCMOS(Complementary metal-oxide semiconductor)カメラまたはCCD(Charge-coupled device)カメラで構成された撮像装置2が複数設置されており、紫外光が照射された検査対象物と、白色光が照射された検査対象物とを同一の撮像位置から撮像できるようになっている。これにより、紫外光が照射された検査対象物の蛍光画像の各画素と、白色光が照射された検査対象物の白色光画像の各画素間で画素ずれが生じることを回避でき、後述する柑橘類果実の変質または変質の予兆の有無の判定精度の悪化を回避することができる。

【0020】
また、撮像装置2は、紫外光照射の撮影時と白色光照射の撮影時のそれぞれでホワイトバランス、感度、露出時間などの設定が固定されている。複数個など多量の検査対象物を一回で撮影する場合には、解像度を上げるために撮像装置2をより高画素にする必要がある。図1に示すように、暗箱内には複数の撮像装置2、または、検査対象物と撮像装置2との相対位置を変更する検査対象保持装置3(例えば、検査対象物を回転させる回転機構などを備える)が設置されており、検査対象物の様々な方向から撮影が行えるようになっている。これにより、検査対象物の全体の撮像が可能になるため、柑橘類果実の変質等の判定精度を高めることができる。

【0021】
(撮像システム制御部4)
撮像システム制御部4は、複数の白色LED1a、複数の紫外LED1b、複数の撮像装置2、および検査対象保持装置3から構成される撮像システムを統括的に制御するものである。図1に示すように、撮像システム制御部4は、光源制御部41、撮像装置制御部42、および検査対象保持装置制御部43を備える。撮像システム制御部4の各制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。

【0022】
光源制御部41は、複数の白色LED1a、および複数の紫外LED1bのそれぞれの動作を制御するものである。撮像装置制御部42は、複数の撮像装置2のそれぞれに検査対象物の画像を撮像させる制御を行うとともに、各撮像装置2が検査対象物を撮像した撮像画像(白色光画像または蛍光画像)を後述する画像解析装置5に渡す制御を行う。検査対象保持装置制御部43は、検査対象保持装置3の動作を制御するものである。

【0023】
(画像解析装置5)
図1に示すように、画像解析装置5は、白色光画像または蛍光画像を解析する装置であり、有効画素特定部51、色相彩度値算出部52、および判定部53を備える。画像解析装置5の各制御ブロックは、集積回路等に形成された論理回路によって実現してもよいし、CPUを用いてソフトウェアによって実現してもよい。また、画像解析装置5は、撮像装置制御部42から取得した白色光画像や蛍光画像、および画像解析装置5の各制御ブロックで生成される各種処理データなどを記憶する記憶部(不図示)を備えている。

【0024】
有効画素特定部51は、白色光が照射された検査対象物を撮像した白色光画像の各画素のH値(色相値)に基づいて、解析対象となる有効画素を特定するものである。より具体的には、例えば、検査対象物がレモン果実である場合、白色光画像の各画素のH値が、0<H値<60または240<H値<360を満たす画素を、解析対象となる有効画素として特定する。ここで、図5は、レモン果実に白色光を照射して有効画素を特定する様子を示す図面代用写真である。図5の(a)は、有効画素の特定例を示し、一方、図5の(b)は、レモン果実に白色光を照射したときの状態を示す。

【0025】
発明者らの実験により、レモン果実の軸・癒合部の各画素については、H値およびS値による軸腐病の罹患または軸腐病の予兆の有無の判別が困難なため、レモン果実の軸・癒合部の各画素は処理対象から事前に除外しておくことが好ましいことが判明している。そこで、図5の(a)に示すレモン果実の軸・癒合部の各画素は、上記H値の条件を満たさないことで、有効画素でないと判定されるようにしている。以上により、蛍光画像の各画素からレモン果実の軸腐病の罹患または軸腐病の予兆の有無の判定に無効な画素をより正確に取り除くことができるため、柑橘類果実の変質等の判定精度をより高めることができる。

【0026】
色相彩度値算出部52は、白色光が照射された検査対象物を撮像した白色光画像の各画素のRGB値に基づいてH値(色相値)を算出する処理を実行する。また、色相彩度値算出部52は、有効画素特定部51によって特定された有効画素について、紫外光が照射された検査対象物を撮像した蛍光画像の各画素のRGB値に基づいてH値およびS値(彩度値)を算出する処理を実行する。なお、本実施形態では、白色光画像の各画素のRGB値に基づいてH値を算出する処理と、蛍光画像の各画素のRGB値に基づいてH値およびS値を算出する処理と、を一つのブロックである色相彩度値算出部52が実行する形態について説明したが、このような形態に限定されない。例えば、白色光画像の各画素のRGB値に基づいてH値を算出する処理と、蛍光画像の各画素のRGB値に基づいてH値およびS値を算出する処理と、を2つのブロックに分けて実行する形態を採用しても良い。

【0027】
また、本実施形態では、有効画素特定部51によって特定された有効画素について、蛍光画像の各画素のH値およびS値を算出する構成を採用しているが、有効画素を特定せず、直接、蛍光画像の全画素のH値およびS値を算出する構成を採用しても良い。なお、蛍光画像の各画素のH値およびS値を算出する前に事前に有効画素特定部51によって有効画素を特定する処理を実行した方が、蛍光画像の各画素から検査対象物の変質または該変質の予兆の有無の判定に無効な画素を取り除くことができるため、柑橘類果実の変質等の判定精度を高めることができる。

【0028】
判定部53は、色相彩度値算出部52によって算出された蛍光画像の各画素におけるH値およびS値に基づいて、検査対象物の変質または該変質の予兆の有無を判定するものである。蛍光画像の各画素における色相値が第1の値と第2の値の間に入り、彩度値が第3の値と第4の値の間に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定する。より具体的には、例えば、検査対象物がレモン果実である場合、判定部53は、上記蛍光画像の各画素におけるH値およびS値が、60(第1の値)<H値<180(第2の値)かつ0(第3の値)<S値<50(第4の値)、または、240(第1の値)<H値<360(第2の値)かつ0(第3の値)<S値<50(第4の値)を満たす画素の画素数が、閾値数以上の場合、レモン果実は軸腐病に罹患している、または軸腐病の予兆があると判定する。

【0029】
なお、判定部53は、蛍光画像の各画素における色相値の前回測定値との変化量が第1の値と第2の値に入り、彩度値の前回測定値との変化量が第3の値と第4の値に入る画素の画素数が、閾値数以上の場合、測定対象物(農産物)の変質がある、または該変質の予兆があると判定しても良い。

【0030】
(検査システム10における処理の流れの一例)
次に、レモン果実の病変検知のアルゴリズムについて図2および図3のフローチャートを用いて説明する。撮影したレモン果実の画像は、紫外光照射時と白色光照射時の2種類がある。レモン果実が固定された状態で、2つの画像は短時間に連続して撮影されており、2つの画像の画素ずれはないものと考える。図2は、白色光画像を用いて、有効画素を特定する処理の流れを示すフローチャート(フローチャート1)を示す。

【0031】
S101では、光源制御部41が複数の白色LED1aを制御して、レモン果実に白色光を照射させながら、撮像装置制御部42が複数の撮像装置2を制御して、レモン果実の画像撮影を行い、撮像した白色光画像に係るデータを画像解析装置5に渡して、S102に進む。

【0032】
S102では、色相彩度値算出部52が、白色光画像の全画素について、R値、G値、B値(以下、RGB値と略記する)を取り出し、S103に進む。

【0033】
S103では、色相彩度値算出部52が、白色光画像の各画素のRGB値からH値、S値、V値(明度値)(以下、HSV値と略記する)を計算し、S104に進む。HSV値は下記の式から計算される。以下、H値、S値およびV値の座標空間をHSV空間という。

【0034】
【数1】
JP2016205839A_000003t.gif

【0035】
S104では、有効画素特定部51が、HSV値で有効画素を特定し、有効画素部分である果実の部分(周辺部)と、癒合部分や軸部分の画素とを判別する。すなわち、レモン果実の周辺部の画素を蛍光画像から診断を行う有効画素部分とする。例えば、白色光画像の各画素の色相値が、0<H値<60または240<H値<360を満たす画素を有効画素(果実の周辺部の画素)と特定する。具体的には、画素のH値が、0<H値<60または240<H値<360を満たしていれば、S105に進み、有効画素と判定する。一方、画素のH値が、0<H値<60または240<H値<360を満たしていなければ、S106に進み、無効画素と判定する。以上によれば、レモン果実の軸腐病の罹患または軸腐病の予兆の有無の判定に無効な画素をより正確に取り除くことができるため、柑橘類果実の変質等の判定精度をより高めることができる。

【0036】
次に、図3は、蛍光画像を用いて、レモン果実の軸腐病の罹患または軸腐病の予兆の有無の判定を行う処理の流れを示すフローチャート(フローチャート2)を示す。

【0037】
S201では、光源制御部41が複数の紫外LED1bを制御して、レモン果実に紫外光を照射させながら、撮像装置制御部42が複数の撮像装置2を制御して、レモン果実の画像撮影を行い、撮像した蛍光画像に係るデータを画像解析装置5に渡して、S202に進む。

【0038】
S202では、色相彩度値算出部52が、蛍光画像の各画素のうち有効画素特定部51によって特定された有効画素について、RGB値を取り出し、S203に進む。

【0039】
S203では、色相彩度値算出部52が、蛍光画像の各画素(有効画素)のRGB値からHSV値を計算し、S204に進む。

【0040】
S204では、判定部53が、蛍光画像の有効画素におけるH値およびS値が、60<H値<180かつ0<S値<50を満たす画素の画素数が、閾値数以上であるか否かを判定する。その結果、60<H値<180かつ0<S値<50を満たす画素の画素数が、閾値数以上である場合、S205に進み、軸腐病の可能性大と判定する。一方、60<H値<180かつ0<S値<50を満たす画素の画素数が、閾値数以上でない場合、S206に進む。

【0041】
S206では、判定部53が、蛍光画像の有効画素におけるH値およびS値が、240<H値<360かつ0<S値<50を満たす画素の画素数が、閾値数以上であるか否かを判定する。その結果、240<H値<360かつ0<S値<50を満たす画素の画素数が、閾値数以上である場合、S205に進み、軸腐病の可能性大と判定する。一方、240<H値<360かつ0<S値<50を満たす画素の画素数が、閾値数以上でない場合、S207に進み、軸腐病の可能性小と判定する。なお、撮像装置2のホワイトバランス、感度によって、あるいは撮像装置2の種類や使用する光源の種類などによってRGB値(HSV値)は変動するため、上記の閾値数は環境や設定に応じて変更する必要がある。

【0042】
(実験結果の一例)
次に、図4に基づき、発明者らによる実験結果について説明する。図4は、蛍光画像の各画素におけるH値およびS値の分布状態を示すグラフである。図4の(a)および図4の(c)は、それぞれ、柑橘類果実が正常な場合の蛍光画像の各画素におけるH値およびS値の分布状態を示す。一方、図4の(b)および図4の(d)は、それぞれ、柑橘類果実が病気の場合の蛍光画像の各画素におけるH値およびS値の分布状態を示す。

【0043】
レモン果実の軸腐病の検知の場合、紫外光照射時に軸腐病の部分またはその予兆部分(「B」、「C」の四角で囲んだ領域参照)は、正常な部分「A」と比べてS値が低くなり、H値が正常な橙色・黄色から緑色方向「B」か、或いは、橙色・黄色から赤色方向「C」にある。このような病気部分と思われる画素数の数がある一定以上ある場合に病気果実であると判定することができる。これにより軸腐病に罹患している可能性が高いと早期に判断することができる。なお、病変部分が白色光照射時でも見えるようになるまで進むと、紫外光照射時では予兆部分よりS値が高くなり、H値は青色から紫色の範囲になる。なお、画像のRGB値は撮像装置2のホワイトバランス、感度によって、或いは撮像装置2の種類や使用する光源の種類などによって同じ対象物を撮影しても値が変動するため、撮影条件は常に固定しておく必要がある。

【0044】
次に、図6は、軸腐病を罹患したレモン果実および正常なレモン果実のそれぞれにおける蛍光画像の各画素におけるH値およびS値の分布状態を比較した図面代用写真である。図6の(a)および図6の(c)は、それぞれ、複数のレモン果実に対して紫外光を照射したときの様子を示す図面代用写真である。一方、図6の(b)および図6の(d)は、それぞれ、各レモン果実における蛍光画像の各画素におけるH値およびS値の分布状態を比較した図面代用写真である。

【0045】
図6の(b)および図6の(d)のそれぞれに示す「a」のグラフは、図6の(a)に示す「a」のレモン果実(軸腐病に罹患)における蛍光画像の各画素におけるH値およびS値の分布状態を示している。これらの図面代用写真に示すように、病気レモンでは、H値が急激に変化(橙→緑→青)している。また、S値は、一度下がって、上がっている。

【0046】
次に、図6の(b)および図6の(d)のそれぞれに示す「b」~「f」のグラフは、それぞれ、図6の(a)に示す「b」~「f」のレモン果実(健常)における蛍光画像の各画素におけるH値およびS値の分布状態を示している。これらのグラフでは、「a」のグラフのようなH値およびS値の変化は見られない。以上の実験結果は、蛍光画像の各画素のH値およびS値の変化を利用して軸腐病の罹患または軸腐病の予兆の有無を判別できる可能性を示している。

【0047】
(八朔果実の実験例)
次に、図7は、紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の各画素におけるHVS値またはRGB値の変化を示す図面代用写真である。図7の(a)は、上記蛍光画像の各画素におけるHVS値の変化を示す図面代用写真である。また、図7の(b)は、上記蛍光画像の各画素におけるRGB値の変化を示す図面代用写真である。一方、図7の(c)は、紫外線を照射して軸腐病を罹患した八朔果実を撮像した蛍光画像の例を示す図面代用写真である。

【0048】
図7の(a)および図7の(b)に示すグラフの横軸が、図7の(c)に示す画像の白矢印で示した場所の画素の位置を示す。また、図7の(a)および図7の(b)に示すグラフの縦軸は、それぞれ、HSV値およびRGB値を示す。

【0049】
図7の(a)に示すように、健常の部分から境界の部分では急速にH値が変化(減少)して、S値が増加し、V値も増加している。一方、軸腐病の部分では再度、H値が変化して(増加して)、S値が減少、V値が減少している。以上の結果は、八朔果実においてもレモン果実と同様に、紫外線を照射して八朔果実を撮像した蛍光画像の各画素におけるH値およびS値の変化を利用して軸腐病の罹患または軸腐病の予兆の有無を判別できる可能性を示している。

【0050】
(検査システム10による効果)
上述した検査システム10では、色相彩度値算出部52は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部53は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する。このため、上記非特許文献1に開示された技術のように、色相値のみに基づいて上記柑橘類果実の変質または該変質の予兆の有無を判定する技術と比較して、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

【0051】
(レモン果実の鮮度実験例)
上記の検査システム10を用いて、レモン果実の収穫時期、鮮度を判定することもできる。図8の(a)はレモン果実の収穫時期が1月、4月と異なる春果のレモン果実の蛍光画像をそれぞれ4つのH値と、S値をプロットしたものである。収穫時期の新しい4月のレモン果実が収穫時期の古い1月のレモン果実よりS値が高くなっている。

【0052】
図8の(b)は7月に収穫した前年の夏花由来果実と11月に収穫した春花由来果実のレモン果実の蛍光画像をそれぞれ2個と1個のH値と、S値をプロットしたものである。この場合でも収穫時期の新しい11月のレモン果実が収穫時期の古い7月のレモン果実よりS値が高くなっている。以上により、H値とS値を用いてレモン果実の鮮度を判定することができる。また、夏果と春果の蛍光画像では色相が異なっていることから、夏果と春果を色相で判定できる可能性がある。

【0053】
その他、上記のレモン果実の分類は、例えば、収穫後11か月(前年の春花由来果実:1月収穫)、収穫後8か月(前年の春花由来果実:4月収穫)、収穫後5か月(前年の夏花由来果実:7月収穫)、および収穫後2週間(春花由来果実:11月収穫)のように分類しても良い。

【0054】
〔実施形態2〕
次に、図9に基づき、本発明の実施形態2に係る検査システム20について説明する。同図に示すように、検査システム20は、白色LED(白色光源)1a、紫外LED(紫外光源)1b、撮像装置2、画像解析装置5、出力部(表示部)6を備える。白色LED(白色光源)1a、紫外LED(紫外光源)1b、撮像装置2については上述した実施形態1と同様である。

【0055】
本実施形態の画像解析装置5は、有効画素特定部51を備えていない点で、実施形態1の構成と異なっているが、色相彩度値算出部52および判定部53の機能は実施形態1と同様である。すなわち、本実施形態の検査システム20は、有効画素を特定せず、直接、蛍光画像の全画素のH値およびS値を算出する構成となっている点で、実施形態1の検査システム10と異なっている。また、本実施形態の画像解析装置5は、さらに、画像解析装置5が備える各部として動作させることにより画像解析装置5をコンピュータにて実現させる画像解析装置5の制御プログラム55を記録したコンピュータ読み取り可能な記録媒体54を備えており、画像解析装置5の判定部53の判定結果を出力する出力部(表示部)6を備えている。

【0056】
(検査システム20による効果)
上述した検査システム20では、色相彩度値算出部52は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部53は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する。このため、上記非特許文献1に開示された技術のように、色相値のみに基づいて上記柑橘類果実の変質または該変質の予兆の有無を判定する技術と比較して、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

【0057】
〔実施形態3;ソフトウェアによる実現例〕
画像解析装置5の制御ブロック(特に有効画素特定部51、色相彩度値算出部52および判定部53)は、集積回路等に形成された論理回路によって実現してもよいし、CPUを用いてソフトウェアによって実現してもよい。

【0058】
後者の場合、画像解析装置5は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0059】
〔まとめ〕
本発明の態様1に係る画像解析装置は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部(52)と、上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する判定部(53)と、を備える構成である。

【0060】
上記構成によれば、色相彩度値算出部は、紫外光が照射された農産物を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記農産物の変質または該変質の予兆の有無を判定する。このため、上記非特許文献1に開示された技術のように、色相値のみに基づいて農産物の変質または該変質の予兆の有無を判定する技術と比較して、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。

【0061】
本発明の態様2に係る画像解析装置は、上記態様1において、上記農産物は柑橘類果実であることが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

【0062】
本発明の態様3に係る画像解析装置は、上記態様1または2において、上記判定部は、色相値、彩度値および明度値の座標空間であるHSV空間における色相値に第1の値とそれより大きい第2の値を設け、彩度値に第3の値とそれより大きい第4の値を設け、上記蛍光画像の各画素における色相値が上記第1の値と上記第2の値の間に入り、彩度値が上記第3の値と上記第4の値の間に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定しても良い。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。

【0063】
本発明の態様4に係る画像解析装置は、上記態様1または2において、上記判定部は、色相値、彩度値および明度値の座標空間であるHSV空間における色相値に第1の値とそれより大きい第2の値を設け、彩度値に第3の値とそれより大きい第4の値を設け、上記蛍光画像の各画素における色相値の前回測定値との変化量が上記第1の値と上記第2の値に入り、彩度値の前回測定値との変化量が上記第3の値と上記第4の値に入る画素の画素数が、閾値数以上の場合、上記農産物の変質がある、または該変質の予兆があると判定しても良い。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる。

【0064】
本発明の態様5に係る画像解析装置は、上記態様3において、上記判定部は、上記農産物がレモンであり、当該レモンの軸腐病の判定を行う場合、上記蛍光画像の各画素における色相値の上記第1の値が60、上記第2の値が180であり、彩度値の上記第3の値が0、上記第4の値が50である、または、上記第1の値が240、上記第2の値が360であり、彩度値の上記第3の値が0、上記第4の値が50であることが好ましい。上記構成によれば、レモンの軸腐病または該軸腐病の予兆の有無を高い確率で判定することができる。

【0065】
本発明の態様6に係る検査システムは、紫外光を出射する光源と、紫外光が照射された農産物を撮像する撮像装置と、上記撮像装置が撮像した撮像画像を解析する画像解析装置と、を備えた検査システムであって、上記画像解析装置は、上記撮像画像の色相値、および彩度値を算出する色相彩度値算出部と、算出した色相値、および彩度値を元に農産物の変質または該変質の予兆の有無を判定する判定部と、上記画像解析装置が備える各部として動作させることにより上記画像解析装置をコンピュータにて実現させる上記画像解析装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体と、を備え、さらに、上記判定部による判定結果を出力する出力部を備えているシステムである。上記構成によれば、農産物の変質または該変質の予兆の有無を高い確率で判定することができる検査システムを実現することができる。

【0066】
本発明の態様7に係る検査システムは、上記態様6において、上記農産物は柑橘類果実であることが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

【0067】
〔本発明の別の表現〕
また、本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像解析装置は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出する色相彩度値算出部と、上記色相彩度値算出部によって算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する判定部と、を備えていても良い。

【0068】
上記構成によれば、色相彩度値算出部は、紫外光が照射された柑橘類果実を撮像した蛍光画像の各画素における色相値および彩度値を算出し、判定部は、算出された上記蛍光画像の各画素における色相値および彩度値に基づいて、上記柑橘類果実の変質または該変質の予兆の有無を判定する。このため、上記非特許文献1に開示された技術のように、色相値のみに基づいて上記柑橘類果実の変質または該変質の予兆の有無を判定する技術と比較して、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。以上により、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる。

【0069】
また、本発明の別の態様に係る画像解析装置は、白色光が照射された上記柑橘類果実を撮像した白色光画像の各画素の色相値に基づいて、解析対象となる有効画素を特定する有効画素特定部をさらに備え、上記色相彩度値算出部は、上記有効画素特定部によって特定された有効画素について、上記蛍光画像の各画素における色相値および彩度値を算出しても良い。上記構成によれば、蛍光画像の各画素から柑橘類果実の変質または該変質の予兆の有無の判定に無効な画素を取り除くことができるため、柑橘類果実の変質等の判定精度を高めることができる。

【0070】
また、本発明のさらに別の態様に係る画像解析装置は、上記判定部は、上記蛍光画像の各画素における色相値および彩度値が、60<色相値<180かつ0<彩度値<50、または、240<色相値<360かつ0<彩度値<50を満たす画素の画素数が、閾値数以上の場合、上記柑橘類果実の変質がある、または該変質の予兆があると判定しても良い。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無をより高い確率で判定することができる。

【0071】
また、本発明のさらに別の態様に係る画像解析装置は、上記有効画素特定部は、上記白色光画像の各画素の色相値が、0<色相値<60または240<色相値<360を満たす画素を有効画素と特定しても良い。上記構成によれば、蛍光画像の各画素から柑橘類果実の変質または該変質の予兆の有無の判定に無効な画素をより正確に取り除くことができるため、柑橘類果実の変質等の判定精度をより高めることができる。

【0072】
また、本発明の一態様に係る検査システムは、上記の何れかの画像解析装置と、上記柑橘類果実に光を照射する光源と、を備えていることが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる検査システムを実現することができる。

【0073】
また、本発明の別の態様に係る検査システムは、上記光源は、上記柑橘類果実に紫外光を照射する紫外光光源を含むことが好ましい。上記構成によれば、柑橘類果実の変質または該変質の予兆の有無を高い確率で判定することができる検査システムを実現することができる。

【0074】
また、本発明のさらに別の態様に係る検査システムは、上記光源は、上記柑橘類果実に白色光を照射する白色光光源を含むことが好ましい。上記構成によれば、蛍光画像の各画素から柑橘類果実の変質または該変質の予兆の有無の判定に無効な画素を取り除くことができ、柑橘類果実の変質等の判定精度を高めることができる検査システムを実現することができる。

【0075】
また、本発明のさらに別の態様に係る検査システムは、上記紫外光が照射された柑橘類果実と、上記白色光が照射された柑橘類果実とを同一の撮像位置から撮像する撮像装置を備えていることが好ましい。上記構成によれば、蛍光画像の各画素と白色光画像の各画素間で画素ずれが生じることを回避できるため、上記画素ずれが生じることによる判定精度の悪化を回避することができる。

【0076】
また、本発明のさらに別の態様に係る検査システムは、上記柑橘類果実と上記撮像装置との相対位置を変更する検査対象保持装置を備えていても良い。上記構成によれば、柑橘類果実の全体の撮像が可能になるため、柑橘類果実の変質等の判定精度を高めることができる。

【0077】
〔付記事項〕
本発明の各態様に係る画像解析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像解析装置が備える各部(ソフトウェア要素)として動作させることにより上記画像解析装置をコンピュータにて実現させる画像解析装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【0078】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【0079】
本発明は、果実を撮像した画像に基づいて上記果実の変質または該変質の予兆の有無を判定する画像解析装置、および該画像解析装置を備えた検査システムなどに利用することができる。
【符号の説明】
【0080】
1a 白色LED(光源、白色光光源)
1b 紫外LED(光源、紫外光光源)
2 撮像装置
3 検査対象保持装置
5 画像解析装置
51 有効画素特定部
52 色相彩度値算出部
53 判定部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図8】
4
【図9】
5
【図10】
6
【図11】
7
【図12】
8
【図5】
9
【図6】
10
【図7】
11