TOP > 国内特許検索 > 果実の検出方法 > 明細書

明細書 :果実の検出方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4761177号 (P4761177)
公開番号 特開2003-000031 (P2003-000031A)
登録日 平成23年6月17日(2011.6.17)
発行日 平成23年8月31日(2011.8.31)
公開日 平成15年1月7日(2003.1.7)
発明の名称または考案の名称 果実の検出方法
国際特許分類 A01D  46/24        (2006.01)
A01D  46/30        (2006.01)
FI A01D 46/24 B
A01D 46/30
請求項の数または発明の数 3
全頁数 9
出願番号 特願2001-187576 (P2001-187576)
出願日 平成13年6月21日(2001.6.21)
審査請求日 平成20年6月6日(2008.6.6)
特許権者または実用新案権者 【識別番号】501203344
【氏名又は名称】独立行政法人農業・食品産業技術総合研究機構
発明者または考案者 【氏名】太田 智彦
【氏名】伊吹 俊彦
個別代理人の代理人 【識別番号】100063565、【弁理士】、【氏名又は名称】小橋 信淳
審査官 【審査官】小島 寛史
参考文献・文献 特開平01-218514(JP,A)
特開平08-196131(JP,A)
特開2000-137004(JP,A)
特開平05-054124(JP,A)
特開平09-044650(JP,A)
調査した分野 A01D 46/24
A01D 46/30
特許請求の範囲 【請求項1】
作物果実を画像により自動的に検出する果実の検出方法において、
作物に光を照射して画像を取り込み、光を強く反射する白く光った部分を鏡面反射部分であると決定し、該鏡面反射部分及びその周囲に隣接する設定した色範囲を持つ部分を果実と決定し、鏡面反射部分が1個存在する果実と複数個存在する果実とを、鏡面反射部分の面積に閾値を設けて判定することで個々の果実を検出することを特徴とする果実の検出方法。
【請求項2】
鏡面反射部分及び設定した色範囲を持つ部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分または設定した色範囲を持つ部分であるとすることを特徴とする請求項1記載の果実の検出方法。
【請求項3】
鏡面反射部分の座標から果実の画像重心位置を求めることを特徴とする請求項1又は2記載の果実の検出方法。
発明の詳細な説明 【0001】
【発明の属する技術分野】
本発明は、果実や果菜が着果している作物に光を照射し、その画像を取り込んで果実や果菜を自動的に検出するようにした果実の検出方法に関する。
【0002】
【従来の技術】
従来、画像を利用して作物に着果している果実や果菜を自動検出するようにした各種の方法や装置が提案されており、周知である。例えば、特開平6-261622号公報「果菜収穫ロボット等の視覚装置」には、対象物を波長の異なる複数の光で撮影するCCDカメラを備え、該カメラに撮影された画像が各画素に与える複数の波長の輝度から、画素毎に所定の演算式を用いて各波長の輝度の比を算出し、この算出した値を一定以上の部分と一定未満の部分とに2値化した画像として対象物の選定を行いながら、その形状を検出する視覚装置を前提として、この画像に欠落を生ずる対象物の鏡面反射部分を、この鏡面反射部分を特に強く検出する波長の画像の輝度が一定以上の部分と輝度が一定未満の部分とに2値化した画像で補う装置が開示されている。
【0003】
一方、画像を利用して果実を自動検出する場合、自然光の下では太陽光の影響が大きく、特に照度が高い場合には、果実が複数個隣接・重複している状態では1つの果実と他の果実との境界を認識することが難しく、個々の果実及びその重心位置を検出することが困難であった。
【0004】
【発明が解決しようとする課題】
果菜類果実の検出方法としては上記特開平6-261622号公報や特開平2000-262128号公報等に記載され、キュウリやナスのように果実同士が接近しない場合の果実の検出は、果実の光学的反射特性や色彩特徴により個々の果実のそれぞれの位置を検出することができる。しかし、トマトのように果房の状態で個々の果実が近接している場合は、果実同士が画像上で重なり合うために複数個の果実が1つの果実として認識され、果実の正確な位置、個数が検出できない、という問題があった。
【0005】
【課題を解決するための手段】
上記の課題を解決するために本発明は、以下の手段を特徴としている。
A.作物果実を画像により自動的に検出する果実の検出方法において、作物に光を照射して画像を取り込み、光を強く反射する白く光った部分を鏡面反射部分であると決定し、該鏡面反射部分及びその周囲に隣接する設定した色範囲を持つ部分を果実と決定し、鏡面反射部分が1個存在する果実と複数個存在する果実とを、鏡面反射部分の面積に閾値を設けて判定することで個々の果実を検出する。
【0006】
B.鏡面反射部分及び設定した色範囲を持つ部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分または設定した色範囲を持つ部分であるとする。
【0007】
C.鏡面反射部分の座標から果実の画像重心位置を求める。
【0008】
【作用】
上記A.~.の手段によって本発明の果実の検出方法は、次のような作用をする。
【0009】
果実に極端な凹凸がない場合には、照明によって1個の果実に1つの鏡面反射が生じる。照明器具及びカメラを果実に対して適切に配置することにより、自然光の下でも、画像果実の中央部分に鏡面反射を生じさせることができ、これを検出することで2次元の重心位置を検出できる。なお、鏡面反射は果実以外にも生じる場合があるので、鏡面反射部分に隣接する周辺部の果実色を抽出する方法を使用することによって、葉や茎を誤って果実として検出することを避ける。
【0010】
鏡面反射が1個存在する果実と複数個存在する果実の区別は、複数個存在する果実では鏡面反射が生ずる部分の表面凹凸が小さくなり、そのため鏡面反射部分の面積が狭くなることを利用して判定する。また、鏡面反射部分が複数個存在する果実では、それらの中央付近に重心が存在するので複数の鏡面反射の位置から重心を算出する。
【0011】
【発明の実施の形態】
以下、本発明の一実施の形態を添付の図面に基づいて具体的に説明する。
従来の果実の検出技術では、▲1▼自然光により影響される、▲2▼果房中の果実は複数個が近接しているので個々に検出できない、▲3▼果実が茎葉により隠れる、等の問題がある。
そこで本実施例では、▲1▼自然光の影響を少なくするために人工照明を利用する方式、▲2▼複数果実を個別に検出するために、人工照明を照射したときに果実が鏡面反射し、白色に見える部分を抽出する方式、▲3▼茎葉の影響を少なくするために果実を覆っている茎葉をブラシで上方に掻き上げる方式、としている。
【0012】
図1は、果実の検出装置1の概略正面図で、この検出装置1は、作物果実(果菜)を画像により自動的に検出するものであり、果実栽培における収穫作業の機械化・自動化のために必要な栽植状態でのトマト(作物)2の果実位置を検出できる検出システムを構築している。検出装置1には、人工照明としての高速度カメラ用ライト3、光を照射したトマト2から画像を取り込むカラーCCDカメラ4、画像処理ボード5、コンピュータ(CPU)6、ブラシからなり、果房を覆っている茎葉10を掻き上げる茎葉掻き上げ体7等が設けられている。
【0013】
図2は、重なりがある果実9の画像における鏡面反射部分11及び果実9の着色状況を示す正面図で、収穫すべき着色した果実12が示されている。トマト2には、幹茎8に果実(トマト)9が着果し、多数の茎葉10を有している。図3は、重なりがある果実9の画像における抽出された鏡面反射部分13を示す正面図である。図4は、赤色果実検出方法14のプログラム(ステップ)である。図5は、果実検出における異なる太陽光照度における検出成功割合を示すグラフである。図6は、赤色果実の検出誤差を示すグラフであり、(a)はX軸方向検出誤差、(b)はY軸方向検出誤差を示している。
【0014】
そして、本発明では、
1)作物2に光を照射して画像を取り込み、光を強く反射する白く光った鏡面反射部分11及びその周囲に隣接する適当な部分を果実9と決定することで、個々の果実9を検出する。
2)鏡面反射部分11,13及び適当な部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分11,13または適当な部分であるとする。
【0015】
3)鏡面反射部分11が1個存在する果実と複数個存在する果実との区別を、鏡面反射部分11,13の面積に閾値を設けて判定する。
4)鏡面反射部分11,13の座標から果実9の画像重心位置を求める。
5)カメラ4により画像を取り込む場合に、果実9の前側を覆ってカメラ4による検出を妨げている茎葉10などをブラシ7により持ち上げた後に画像を取り込む。
6)人工照明3を使用することで、果実9の色の測定が同じ条件で行え、収穫適期に達した果実12を検出することができる。
【0016】
果実の検出装置1の検出システムにより、栽植状態のトマト2の株を対象として果実検出試験を行った。
(試験条件)
▲1▼検出システムによる果実9の検出個数を測定し、検出成功割合を調べた。また、一部の条件では、照明による効果を確認するため、人工照明3を利用せず、赤色部分のみを検出する方法と比較した。
▲2▼検出可能であった果実9の2次元の重心位置計測を行い、その誤差を調べた。検出条件としてはカメラ4をトマト2の株から60cm離れた位置とした。光環境は夜間や晴天時昼間(照度 128~55600Lux)とした(表1参照)。果実条件として果実9がカメラ4側に着果している果房を対象とした。
【0017】
▲3▼人工照明3は高速度カメラ用ライト(60cmでの照度約6000Lux)とし、果房正面から照射することとした。
▲4▼自動で果実9を背景と識別し、果実9の重心位置を計算する画像処理のプログラム(図4)を作成した。主な処理手順は、画像の取り込み、赤色部分・鏡面反射部分それぞれの検出、周囲に赤色部分が存在する鏡面反射部分の抽出・2値化、2値化部分の重心位置の計算とした。
【0018】
図4の赤色果実検出方法14のプログラム(ステップ)について説明する。
ステップaの画像入力においては、カメラ4から取り込んだ果実9,茎葉10を含む画像を画像処理装置に入力する。
ステップbの(R-G)値・面積設定においては、果実9における収穫すべき着色した果実12を抽出するための色範囲を赤色輝度値と緑色輝度値の差(R-G)により設定し、設定した色範囲を持つ部分の面積を設定する。
ステップbの(R-G)の設定によって赤色輝度値の高く、緑色輝度値の低い果実の着色部分が抽出しやすくなり、赤色輝度値と緑色輝度値ともに高い値となる白色の部分を誤って抽出することを避ける。(R-G)値の設定により着色度の大きい果実を抽出することができる。
ステップbの面積設定により、個々の果実の赤色部分の面積が大きい果実を抽出することができる。
【0019】
ステップcの赤色部分抽出・2値化においては、ステップbで設定した(R-G)値が高く、かつ面積の大きい部分を抽出する。抽出した部分を2値化することによって穴埋め処理、膨張処理等の画像形状処理を行えるようにする。画像形状処理により重心位置の計算精度を高めることができる。
ステップdの穴埋めにおいては、ステップcで抽出した赤色部分の領域内で鏡面反射部分やノイズ等で部分的にデータが欠落している部分の穴埋めを行う。
ステップeの膨張・収縮においては、2値化部分を膨張・収縮することによって、2値化部分の突起や凹の部分を除去し、赤色部分の境界を滑らかにする。ステップd及びeの形状処理によりほぼ円形状の赤色部分が抽出できる。
【0020】
ステップfのRGB値設定においては、赤色輝度値・緑色輝度値・青色輝度値全てが高い部分を設定する。このステップによって、鏡面反射した部分は入力画像において白色であるので、赤色輝度値・緑色輝度値・青色輝度値全てが設定値より高い白色の部分を抽出することができる。
ステップgの鏡面反射抽出・2値化においては、鏡面反射部分を2値化する。2値化することによってステップhの赤色部分と鏡面反射部分の重なりの抽出を行えるようにする。
【0021】
ステップhの重なり抽出においては、ステップeで2値化・形状処理した赤色部分とステップfで2値化した白色部分の重なりを抽出することで、白く光った鏡面反射部分とその周囲に隣接する赤色の部分とを抽出することができる。
ステップiのノイズ除去においては、ノイズ等により生ずる小さい面積を持つ鏡面反射部分を除去する。果実1個に対し、鏡面反射部分が1個生ずるようにする。
ステップjの抽出部分重心位置計算においては、ステップhで抽出した部分の重心を計算し、果実の重心とする。この操作により個々の果実の重心位置を計算することができる。
【0022】
【表1】
JP0004761177B2_000002t.gif【0023】
(試験結果)
試験結果の概要は以下の通りである。
▲1▼赤色果実の64~78%が検出可能であり(表1)、検出システムの検出成功率は人工照明を利用しない方法と比べ、検出成功割合が高かった(図5)。
▲2▼ブラシ7で茎葉10を掻き上げることにより、茎葉10,果実9に損傷を与えず、ほとんどの果房の画像が入力可能であった。
▲3▼果実同士の重なりがあっても、重なりの面積がほぼ半分以下の果実は確実に検出が可能であった。
▲4▼X軸,Y軸方向共に画像上の検出誤差が±10mm以下であった割合は79%であった(図6)。
▲5▼以上総合して栽植状態のトマト2の果実9を60%以上検出できた。
【0024】
【発明の効果】
以上説明したように本発明の果実の検出方法によれば、以下の効果を奏することができる。
【0025】
▲1▼.作物に光を照射して画像を取り込み、光を強く反射する白く光った鏡面反射部分及びその周囲に隣接する適当な部分を果実と決定することで、個々の果実を検出するので、果実に極端な凹凸がない場合には、照明によって1個の果実に1つの鏡面反射が生じ、照明器具及びカメラを果実に対して適切に配置することにより、自然光の下でも、画像果実の中央部分に鏡面反射を生じさせることができ、これを検出することで2次元の重心位置を検出することができる。
【0026】
▲2▼.鏡面反射部分及び適当な部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分または適当な部分であるとするので、鏡面反射は果実以外にも生じる場合があるが、鏡面反射部分に隣接する周辺部の果実色を抽出する方法を使用することによって、葉や茎を誤って果実として検出することを避けることができる。
【0027】
▲3▼.鏡面反射部分が1個存在する果実と複数個存在する果実との区別を、鏡面反射部分の面積に閾値を設けて判定するので、鏡面反射が複数個存在する果実では表面凹凸の曲率が小さくなり、そのため鏡面反射部分の面積が狭くなることを利用して判定することができる。また、鏡面反射部分が複数個存在する果実では、それらの中央付近に重心が存在するので複数の鏡面反射の位置から重心を算出することができる。
▲4▼.鏡面反射部分の座標から果実の画像重心位置を求めるので、果実が複数個隣接・重複している状態でも個々の果実の画像重心が求まる。
【図面の簡単な説明】
【図1】本発明による果実の検出装置の概略正面図である。
【図2】重なりがある果実の画像における鏡面反射部分及び果実の着色状況を示す正面図である。
【図3】重なりがある果実の画像における抽出された鏡面反射部分を示す正面図である。
【図4】赤色果実検出方法のプログラム(ステップ)である。
【図5】果実検出における人工照明の変化を示すグラフである。
【図6】赤色果実の検出誤差を示すグラフで、(a)はX軸方向検出誤差、(b)はY軸方向検出誤差である。
【符号の説明】
1 果実の検出装置
2 トマト(作物)
3 高速度カメラ用ライト
4 カラーCCDカメラ
5 画像処理ボード
6 コンピュータ(CPU)
7 茎葉掻き上げ体
8 トマトの幹茎
9 果実(トマト)
10 茎葉
11 鏡面反射部分
12 収穫すべき着色した果実
13 抽出された収穫果樹の鏡面反射部分
14 赤色果実の検出方法
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5