TOP > 国内特許検索 > 果菜類の選択収穫方法及び装置 > 明細書

明細書 :果菜類の選択収穫方法及び装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3757279号 (P3757279)
公開番号 特開2004-180554 (P2004-180554A)
登録日 平成18年1月13日(2006.1.13)
発行日 平成18年3月22日(2006.3.22)
公開日 平成16年7月2日(2004.7.2)
発明の名称または考案の名称 果菜類の選択収穫方法及び装置
国際特許分類 A01D  46/30        (2006.01)
A01D  46/00        (2006.01)
FI A01D 46/30
A01D 46/00 A
請求項の数または発明の数 2
全頁数 11
出願番号 特願2002-349712 (P2002-349712)
出願日 平成14年12月2日(2002.12.2)
審査請求日 平成14年12月2日(2002.12.2)
特許権者または実用新案権者 【識別番号】501203344
【氏名又は名称】独立行政法人農業・生物系特定産業技術研究機構
発明者または考案者 【氏名】林 茂彦
【氏名】雁野 勝宣
【氏名】黒崎 秀仁
【氏名】河野 真人
個別代理人の代理人 【識別番号】100063565、【弁理士】、【氏名又は名称】小橋 信淳
【識別番号】100118898、【弁理士】、【氏名又は名称】小橋 立昌
審査官 【審査官】郡山 順
参考文献・文献 特開平08-056459(JP,A)
特開2001-095348(JP,A)
特許第3018581(JP,B2)
調査した分野 A01D 46/30
A01D 46/00
特許請求の範囲 【請求項1】
マニピュレータ先端に取り付けたカメラで撮影した果菜類の全体画像を解析し、画面内にある果実の方向を計算した結果から、上下左右及び前後移動、垂直及び水平旋回が可能なマニピュレータを制御し、該マニピュレータ先端を果実方向に向け接近させた後、前記カメラにより再度撮影した画像データとマニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、採果ハサミを果柄に接近させて果柄を切断するとともに、採果ハサミの下側に取り付けた果柄挟持用下刃で果柄を把持し果実部分に接触することなく採果し、この動作を走行車両の両側の果実に対して繰り返すとともに順次移動走行することにより、栽培施設内の収穫適期果実を選択的に収穫することを特徴とする果菜類の選択収穫方法。
【請求項2】
左右の畝の果実に先端が届くように走行車両の左右中央に設置され、上下左右及び前後移動と垂直及び水平旋回が可能なマニピュレータと、
該マニピュレータ先端に取り付けたカメラと、
果実までの距離を測定する距離センサと、
撮影画像を解析し果実位置と果柄位置を計算する画像装置と、
前記計算の結果を基に前記マニピュレータの移動位置を決定するコンピュータと、
該コンピュータの計算結果に基づき、前記マニピュレータを駆動するコントローラと、
前記コンピュータからのデジタル信号により開閉し果柄挟持用下刃を有する採果ハサミとを備え、
前記カメラで撮影した果菜類の全体画像を前記画像装置で解析し、画面内にある果実の方向を計算した前記コンピュータの結果から、前記コントローラによって前記マニピュレータを制御して、該マニピュレータ先端を果実方向に向け接近させ、
前記コンピュータは、
前記カメラにより再度撮影した画像データと前記マニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、前記採果ハサミを果柄に接近させて果柄を切断するともに、前記果柄挟持用下刃で果柄を把持する信号を出力することを特徴とする果菜類の選択収穫装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】
本発明は、ナス、キュウリ、ピーマン、イチゴなど収穫適期と収穫適期前の果実が混在する中から収穫適期の果実を選択し、収穫対象となる果実に接近し、果実部分に接触することなく果柄を切断して採果することにより、栽培施設において効率的に自動収穫する方法及び装置に関する。
【0002】
【従来の技術】
従来はナスやキュウリの収穫は手作業で行われ、収穫適期果実と適期前の果実が混在する中から、収穫適期の果実を選択して収穫している。
近年、キュウリ等の自動収穫に関し、その方法や装置が提案されている(例えば、特許文献1,特許文献2等参照)。この先行技術においては、果実部分を挟持し収穫を行うことを基本としているため、果実に損傷を与える可能性がある。また切断位置の決定はマニピュレータ先端が果実に接近した状態で行っているため、接近工数が掛かる。
【0003】
また、ナスの自動収穫に関する方法や装置も提案されている(例えば、特許文献3参照)。この先行技術においては、上記キュウリ等の自動収穫の場合と同様に、果実部を把持して摘み取る機構であり、エンドエフェクタが果実に接触する距離まで接近した状態で収穫適否の判定を行うことから収穫工数が掛かる。さらに、施設内の自然光下における移動機構と組み合わせた収穫方法は示されていない。そのため、収穫装置を栽培施設で効率利用するには課題が残されている。
【0004】
【特許文献1】
特許第3018581号公報
【特許文献2】
特開平8-56459号公報
【特許文献3】
特許第3054706号公報
【0005】
【発明が解決しようとする課題】
したがって、果菜類の自動収穫は実現されず、収穫作業は依然として手作業で行われ、長時間労働が強いられている。また、品質の低下を防ぐため早朝に収穫作業が行われ、果皮に傷つけないように丁寧に採果されている。
本発明は、上記のような問題点、課題を解決するためになされたもので、ナス等の果菜類が栽培されている施設内において、畝間を移動走行しながら、収穫適否の判定工程を低減し、収穫適期果実を損傷なく選択的に収穫する方法と装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
A.マニピュレータ先端に取り付けたカメラで撮影した果菜類の全体画像を解析し、画面内にある果実の方向を計算した結果から、上下左右及び前後移動、垂直及び水平旋回が可能なマニピュレータを制御し、該マニピュレータ先端を果実方向に向け接近させた後、前記カメラにより再度撮影した画像データとマニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、採果ハサミを果柄に接近させて果柄を切断するとともに、採果ハサミの下側に取り付けた果柄挟持用下刃で果柄を把持し果実部分に接触することなく採果し、この動作を走行車両の両側の果実に対して繰り返すとともに順次移動走行することにより、栽培施設内の収穫適期果実を選択的に収穫することを特徴とする果菜類の選択収穫方法である。
【0007】
B.左右の畝の果実に先端が届くように走行車両の左右中央に設置され、上下左右及び前後移動と垂直及び水平旋回が可能なマニピュレータと、該マニピュレータ先端に取り付けたカメラと、果実までの距離を測定する距離センサと、撮影画像を解析し果実位置と果柄位置を計算する画像装置と、前記計算の結果を基に前記マニピュレータの移動位置を決定するコンピュータと、該コンピュータの計算結果に基づき、前記マニピュレータを駆動するコントローラと、前記コンピュータからのデジタル信号により開閉し果柄挟持用下刃を有する採果ハサミとを備え、前記カメラで撮影した果菜類の全体画像を前記画像装置で解析し、画面内にある果実の方向を計算した前記コンピュータの結果から、前記コントローラによって前記マニピュレータを制御して、該マニピュレータ先端を果実方向に向け接近させ、前記コンピュータは、前記カメラにより再度撮影した画像データと前記マニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、前記採果ハサミを果柄に接近させて果柄を切断するともに、前記果柄挟持用下刃で果柄を把持する信号を出力することを特徴とする果菜類の選択収穫装置である。
【0008】
【作用】
上記手段、構成により、施設内に栽培された果菜類のうち収穫適期の果実のみを自動収穫するときに、マニピュレータ先端に取り付けたカメラで一定領域内の画像を撮影し、コンピュータで解析し、検出した果実の方向にマニピュレータ先端を向け接近し、前記カメラで再度撮影した画像データと距離データを融合させて果実の大きさを推定するため、マニピュレータが果実に接触する位置まで接近する前に収穫適期果実を自動で判定できる。また、このセンシングにより果柄位置、つまり採果ハサミを挿入する位置が決定されことから、収穫作業工程を低減することができる。さらに、採果ハサミが果柄を切断した後、採果ハサミの開閉に連動して動作する果柄挟持用下刃により果実を把持したまま収穫箱に搬送するため、エンドエフェクタ部は果皮に接触することなく果実への損傷を防止できる。
また、走行車両により栽培施設内の任意の位置に移動できることから、茎葉に隠れて正面位置からでは検出できない果実に対しても、走行車両の位置を変更することにより、収穫適否判定と収穫動作が可能となり、効率的な収穫作業が実現する。
【0009】
【発明の実施の形態】
以下、ナス収穫に適応したときの本発明の一実施の形態を、図面を参照にして具体的に説明する。
本発明に係る果菜類の選択収穫装置1は、図1及び図2に示すように、走行車両2、制御部3、視覚部4、マニピュレータ部5、エンドエフェクタ部6等から構成されている。
走行車両2は、制御部3からのデジタル信号によりバッテリ等からの電源で走行車両モータ2aを駆動させ、施設内に敷設された配管パイプ7上を移動する。移動距離は走行車両ロータリエンコーダ2bで検出され、任意の位置で走行車両2を停止させることが可能である。また、走行軌道内に障害物がある場合には、リミットスイッチA2cまたはリミットスイッチB2dが作動し、走行車両2は自動で停止する。
【0010】
制御部3は、コンピュータ3aと、超音波距離センサ6aの出力値を変換するAD/DA変換ボード3bと、採果ハサミ6b及び走行車両2を制御するデジタルI/Oボード3cと、走行車両2の移動距離を検出するためのエンコーダカウンタボード3dと、からなる。コンピュータ3aは走行車両2の後方に設置され、その中にAD/DA変換ボード3b、デジタルI/Oボード3c及びエンコーダカウンタボード3dが挿入されている。
【0011】
視覚部4にはCCDカラーカメラ4aを採用し、マニピュレータ5a先端に取り付けられている。また、画像処理ボード4bを設けている。
マニピュレータ部5は、コンピュータ3aとの通信を行うマニピュレータコントローラ5bと、その通信情報を基に作動し収穫動作を行うマニピュレータ6aと、からなる。マニピュレータコントローラ5bは走行車両2の後方でコンピュータ3aに隣接して設置しているが、コンピュータ3aやマニピュレータコントローラ5bをマニピュレータ5aの下部に収納させる構造としても良い。マニピュレータ5aは両側の果実を収穫できるように走行車両2の左右方向の中央に設置している。
【0012】
エンドエフェクタ部6は、図3にも示すように、コンピュータ3aからの信号により開閉する電動開閉ハンド6cと、電動開閉ハンド6cの往復動作によりナスの果柄を切断する採果ハサミ6bと、採果ハサミ6bの下側に取り付けられ、採果ハサミ6bの動作に伴い開閉し果柄を挟持する果柄挟持用下刃6dと、マニピュレータ5aが果実に接近する際に果実までの距離を測定する超音波距離センサ6aと、から構成され、マニピュレータ5a先端に取り付けられている。
【0013】
以下、上記構成の果菜類の選択収穫装置1の動作について説明する。
図4及び図5に示すように、走行車両2は、走査原点を出発して、マニピュレータ5a先端が左右両側の下段、中段、上段の位置でナス画像を走査し収穫処理を行い、両側の株の収穫が終了すると株間距離だけ移動し、次のナスの株の手前で停止する。この自動収穫動作を繰り返し、目的とする範囲の収穫が終了すると走査原点に復帰する。
【0014】
選択収穫装置1は、図6に示すように、ナスが栽培された畝間の通路中央を移動し、通路側に傾いた主茎の節から伸びる結果枝に着果した果実にマニピュレータ5a先端を到達させることができる。また、マニピュレータ5aは走行車両2の左右方向の中央に設置し、配管パイプ7を通路中央に敷設することにより、1回の走行で両側の果実の収穫が可能である。下段または中段から収穫する場合には、カメラ4aの仰角方向にある葉裏果実の検出が容易である。さらに、ナスの株の正面から果実を検出できなかった場合でも、走行機能によりカメラ4a視点を走行車両2の前後方向に移動させることができるため、果実の検出率が向上する。
【0015】
走行車両2がナスの株の正面で停止し、マニピュレータ5a先端を下段、中段または上段の初期位置に移した後の果実への接近と採果動作を図7を用いて詳しく説明する。初期位置でナス画像をCCDカラーカメラ4aにより撮影し画像処理を行う。この画像処理の方法については後述する。画像処理により図8のような検出結果を得て、画面の中心位置からの変位を基に果実方向を決定する。そして左上から右下の順で検出果実に接近し、収穫処理を行う。収穫順序はカメラ4aから近い順、つまり画面中央に近い順としても良い。マニピュレータ5a先端を最初の果実方向に旋回、前進させ、超音波距離センサ6aで果実までの距離を測定する。
【0016】
さらに後述する画像処理、マニピュレータ5a先端の旋回と前後進を繰り返すことにより果実が画面に納まる範囲でいっぱいになるまで接近する。この位置で再度画像処理を行い、果実長を基に収穫適否を判定する。イチゴなどの場合では、果実部分の赤色度合いにより収穫適否を判定する。適期果実ならば、果実基部の方向にマニピュレータ5a先端を旋回及び前進させ、図9のように採果ハサミ6bで果柄を挟む。コンピュータ3aからのデジタル信号で電動開閉ハンド6cを閉じ、採果ハサミ6bで果柄を切断する。この動作と同時に果柄挟持用下刃6dが閉じ、果柄は切断されても下刃6dにより把持させるため、果実は落下しない。ナスの果柄は強靱であるため切断のとき後方に逃げるが、図10のように採果ハサミ6bが閉じるとともに支点が前方に移動すること、マニピュレータ5a先端を前方に制御すること、により果柄の逃げを押さえ切断できる。最後に採果した果実を収穫箱8に入れる。この一連の動作を初期位置で検出した果実がなくなるまで続ける。この収穫方法では、採果から収穫箱8への搬送までの工程において果実に接触しないため果実品質の向上が見込める。特にイチゴなどでは、果実の接触による品質の低下が起こりやすいため、果柄を挟持して運搬するメリットが大きい。
【0017】
次にマニピュレータ5a先端の初期位置及び果実への接近途中での画像処理手法について図11を用いて詳しく説明する。
CCDカラーカメラ4aで撮影したカラー画像のG画像(緑成分)からB画像(青成分)を減算し、2値化することにより緑以外の部分を抽出する。G画像を2値化することにより背景以外の暗い部分を抽出し、緑以外の部分と背景以外の部分との論理積の画像を求める。得られた画像に対し、膨張、収縮及び穴埋め処理を行い、図12のような果柄を含む黒紫色の果実部分を抽出する。イチゴなどの場合、R画像(赤成分)とG画像(緑成分)の比などにより果実部分を抽出する。そして、果柄径に相当する画像上での画素数だけ水平方向に収縮、膨張処理を行うことにより、果実基部より上側の部分を除去し果実部のみを抽出する。さらに、画像上での収穫適期果実の最低果実長に相当する画素数だけ垂直方向に収縮、膨張処理を行うことにより、収穫適期前の短い果実を除去する。
【0018】
次に、マニピュレータ5a先端が初期位置の場合は、画面上に数個の収穫適期果実が存在する可能性があるので、果実数とそれぞれの面積、重心位置を計算する。一方、マニピュレータ5a先端が収穫目的果実に接近した場合は、最大面積の果実のみを対象に計算を行い、重心位置、最大長、最大幅及び果実基部位置を計算する。ナスやキュウリの場合の収穫適否の判定は、図12に示す最大長から推定した果実長を基に行うが、丸形のナス品種やピーマンなどでは果実長と果実幅を組み合わせた判定も可能である。
【0019】
本発明による果菜類の選択収穫装置1の動作試験を実施した結果について説明する。施設内の畝方向距離4.0m、高さ1.7m、両側20株の領域を対象に、画像走査試験を2回、収穫動作試験を4回行った。
初期位置で撮影した画像に対し、果実検出の画像処理を施した結果を図13に示す。自然光下の施設内においても、通路側から目視できる果実の内59.6~83.3%(全体平均69.3%)を自動で検出でき、隣接する株の果実も25.0~63.9%(全体平均40.9%)で検出することができた。ただし、正面及び左右方向から見ても果実が茎葉に隠れている場合には果実を検出できなかった。
【0020】
選択収穫装置1による試験結果を図14に示す。収穫成功割合は茎葉の剪定の仕方に影響され、12.8~46.7%(全体平均29.1%)であった。収穫適期前果実の誤収穫は0.0~8.0%(全体平均3.5%)であった。なお、収穫に成功した果実に対しては、果皮への損傷は見られなかった。切断した果柄部の径が果柄挟持用下刃6dの隙間より小さいため収穫箱8への搬送工程で落下する果実が0.0~10.6%(全体平均7.6%)あった。収穫ミスの主な原因は、果実が茎葉に隠れることから生じる画像処理による果実検出ミスであった。
【0021】
選択収穫装置1の動作時間については、設定した領域の画像走査に必要な時間は312~319秒であった。また、収穫処理時間は965~3157秒で、収穫適期の果実数と収穫処理時間の関係は図15のように、果実数の増加に伴い処理時間も比例して増加した。原点復帰を含めた収穫作業能率は4.56~14.92m/h(全体平均6.98m/h)であった。時間あたりの収穫果実数は9.1~26.2果/h(全体平均20.5果/h)であった。なお、収穫に成功した果実の収穫処理のみに必要な動作時間は全体平均で43.2秒/果であった。
【0022】
次に果実の収穫状態については、図16に示すように果実基部から25.6~28.6mm上側で切断され、切断径は5.9~6.3mmであった。果柄に挟持の際の圧痕が残るが、採果及び運搬工程で果実を把持しないため果皮への損傷は見られなかった。途中落下した果実の切断位置は図17に示すように基部から16.0~34.0mm上側とばらつき、切断面の直径は3.5~4.0mmであった。
【0023】
【発明の効果】
以上説明したように、本発明の果菜類の収穫方法及び装置によれば、請求項1及び2記載の手段・構成を有することにより、以下の作用効果を奏することができる。
日射量の変化する自然光下の施設内で栽培された果菜類の畝間を走行しながら、両側にある果実を検出し、果実の方向と収穫適否の判定と果柄の位置検出を行い、果柄を切断、挟持し収穫箱に収納することができ、自動かつ効率的な収穫技術を提供する。
また、果柄の切断と同時に果柄を挟持するため、果実に接触することなく把持し運搬することができ、果皮に傷つけず果実の品質を低下させないという効果も発揮する。
【図面の簡単な説明】
【図1】選択収穫装置の全体図である。
【図2】選択収穫装置のブロック図である。
【図3】エンドエフェクタ部の側面図(a)、正面図(b)、底面図(c)である。
【図4】畝間両側果実の収穫方法の行程図である。
【図5】畝間走行と収穫処理のフローチャートである。
【図6】畝間走行の概念図である。
【図7】果実への接近方法と採果動作のフローチャートである。
【図8】果実検出画像処理と果実方向の推定を行う説明図である。
【図9】果柄の切断と果柄の挟持動作である。
【図10】採果ハサミの開閉図で、閉じた状態(a)、開いた状態(b)である。
【図11】果実検出のための画像処理のフローチャートである。
【図12】果実基部の検出と収穫適否の判定方法を示す説明図である。
【図13】画像処理による果実の検出結果を示すグラフである。
【図14】施設内のナス果実の収穫結果を示すグラフである。
【図15】収穫適期の果実数と収穫処理時間の関係を示すグラフである。
【図16】収穫成功果実の果柄切断位置と切断部の果柄径を示すグラフである。
【図17】途中落下果実の果柄切断位置と切断部の果柄径を示すグラフである。
【符号の説明】
1 果菜類の選択収穫装置
2 走行車両 2a 走行車両モータ 2b 走行車両ロータリエンコーダ2c リミットスイッチA 2d リミットスイッチB
3 制御部 3a コンピュータ 3b AD/DA変換ボード 3c デジタルI/Oボード 3d エンコーダカウンタボード
4 視覚部 4a CCDカラーカメラ 4b 画像処理ボード
5 マニピュレータ部 5a マニピュレータ 5b マニピュレータコントローラ
6 エンドエフェクタ部 6a 超音波距離センサ 6b 採果ハサミ 6c電動開閉ハンド 6d 果柄挟持用下刃
7 配管パイプ
8 収穫箱
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16