Top > Search of Japanese Patents > POSITION SPECIFICATION METHOD AND APPARATUS FOR PLANT TARGET PART, AND WORKING ROBOT USING THE SAME APPARATUS

POSITION SPECIFICATION METHOD AND APPARATUS FOR PLANT TARGET PART, AND WORKING ROBOT USING THE SAME APPARATUS

Patent code P110005226
File No. P05-012U1
Posted date Aug 18, 2011
Application number P2006-352905
Publication number P2007-200309A
Patent number P4961555
Date of filing Dec 27, 2006
Date of publication of application Aug 9, 2007
Date of registration Apr 6, 2012
Priority data
  • P2005-380225 (Dec 28, 2005) JP
Inventor
  • (In Japanese)尾崎 功一
Applicant
  • (In Japanese)国立大学法人宇都宮大学
Title POSITION SPECIFICATION METHOD AND APPARATUS FOR PLANT TARGET PART, AND WORKING ROBOT USING THE SAME APPARATUS
Abstract PROBLEM TO BE SOLVED: To provide a method of quickly specifying a position of a fruit to be harvested, or the like even under a changing light environment.
SOLUTION: The position specification method includes: a peculiar color selection step of selecting a characteristic color from a color image of a target part of all the colors as a peculiar color; a color component binarizing step of obtaining color space data from two color components except for color components relating to light and darkness in color data of the peculiar color; a color pattern registering step of displaying the color space data on a monitor screen, further selecting characteristic colors of a small number, and storing them as color pattern data; a working area color component binarizing step of photographing with a digital camera a circumference where the working target part exists in a real operation and obtaining the color space data of two color components except for color components relating to light and darkness from the photographed digital color image of all the colors; and a target part position displaying step of comparing the color space data with the stored color pattern data and displaying the position of only the part where both the data match each other in the image of the working area.
Outline of related art and contending technology (In Japanese)

イチゴ、トマト、ナス、キュウリ等の果実や野菜等の摘み取り及び収穫作業などの各種作業をロボットなどの装置で自動的に実行さるためには、まず対象となる果実や野菜の存在する位置を認識しなければならないが、果実を茎や葉の中から機械的に認識させることは殆ど不可能である。
そこで、果実の存在は、その果実から反射される光の存在から、果実の存在、存在位置、存在位置の方向及び果実の形状が認識可能であることから、コンピュータを用いて、画像処理技術により果実部分の存在を認識する方法が考えられる。
そのため、そのような果実の位置や形状などから果実などを把握する方法として、摘み取る果実に特有の形状パターンを事前に登録して、このパターンと合致したものを選び出そうとするパターン・マッチング法の可能性が検討できる。
しかし、形状によるパターン・マッチング法では、イチゴ等に代表される農作物の実の部分は大きさや外形などの形状が様々であり、すべての形状を想定して摘み取るに適した形状の実のパターンを事前に登録することは極めて困難である。
このため、植物分野での形状によるパターン・マッチング法は採用できるものではない。

また、果実は、商品として出荷するなどの場合のように、摘み取る時期が重要であるが、「形状」の認識だけで行うコンピュータを用いた画像処理技術では、成熟の度合いが区別できず、成熟したか否かは色の識別がなされないと、摘み取るに適したものであるかが判別できない。
したがって、形状認識のみによる装置では摘み取りなどの機械による自動作業化を行うことはできない。

そこで、果実などの存在の確認は光で感知して行う方法が可能あるが、さらに果実などから反射される光の波長からは「色」の認識が可能となることに着眼し、カメラによりその光の波長を捉え、その撮影した画像を見ればその果実の存在とその色や形状までを把握することが可能となる。
このことから果実などの色を識別すべき要素として認識しようとする場合、摘み取るに適した果実の色を事前に登録しておき、その登録した色と現場作業での果実から捉えられた色とが合致したとき、その色を持つ果実が摘み取るに適した果実であるとの識別判断が可能となる。
この「色」の認識は、明度、色相、色彩の三要素を用いて識別可能であるが、それらの色の三要素からの識別をしようとすると識別すべき色のデータを3つのパラメータで考えなければならない。
現在のコンピュータを用いた画像処理技術では、色を対象として3つのパラメータで識別し判断することはデータ処理上極めて複雑となる。
また、イチゴ等の実のように色が緑から白を含んで赤に至るまでその中間色を含めて微妙な色が含まれているような農産物の色情報は正確に捉えることが困難であり、これを判断材料の基になる色のデータとして定量化させて扱うことは容易ではない。

例えば、色を扱った従来の技術である特許文献1には、「果菜収穫用ロボットシステムの手首先端に取り付けられる摘採ハンドにおいて、開閉駆動される一対のフィンガーの対向面の上部及び下部に一対の摘採刃及び調製刃をそれぞれ設け、かつ、前記一対のフィンガーの対向面に、同フィンガーを開放したときに付着する柄をフィンガー内面から除去するための圧縮空気を噴き出す空気噴出穴を形成したことを特徴とする果菜収穫用摘採ハンド」が提案され、この文献1の中に、「カメラで撮影したカラーの原画像を画像処理してL・a・b・表色系のaの濃淡画像を算出し、この濃淡画像を最適な閾値で2値化して果実の位置抽出のための図を得、該図からイチゴ果実の重心を演算して果実位置の座標値を求める方法」の記載がある。
【特許文献1】
特開2001-95348号公報

Field of industrial application (In Japanese)

本発明は、果実、野菜、花卉などの植物の実、花、葉などの対象部分の摘み取りなど各種作業を自動的に行うために、カメラで捉えた広域画像の中から対象部分の存在位置を認識するための方法と、その方法によって対象部分の存在位置を認識するための装置、及びその装置を用いて植物の実や花などの摘み取り作業などの各種作業を実行するための作業用ロボットに関する。

Scope of claims (In Japanese)
【請求項1】
 
デジタルカメラを含むデータ及び命令の入力装置と、ディスプレイ装置を含む出力装置と、CPUとメモリを有するコンピュータ本体とから成るコンピュータシステム及びそのコンピュータ本体に組み込まれたデータ処理用のコンピュータプログラムを用い、
a)準備作業において、
一種又は多種の植物の一つ又は複数の部分を対象とし、その対象部分のデジタル化された全色系のカラー画像のデータをコンピュータ本体に入力して記憶させ、それを前記ディスプレイ装置のモニタ画面に再生してその再生画像内で該対象部分に特徴的な色を固有色として選択する固有色選択工程と、
選択された前記固有色の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る色要素2元化処理工程と、
前記色要素2元化処理工程で得られた色彩空間データを前記モニタ画面に表示し、そのカラー画像から、さらに特徴的な一つ又は少数の色を選別し、これを識別用の色彩パターンデータとしてコンピュータに記憶させる色彩パターン登録工程と、
b)実作業において、
前記コンピュータプログラムを備えた前記コンピュータシステムを用いて、作業すべき前記対象部分が存在する周辺を含む区域を前記デジタルカメラで撮影し、その撮影した全色系のデジタルカラー画像から、明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る作業域色要素2元化処理工程と、
前記作業域色要素2次元化処理工程で得られた作業域の色彩空間データと記憶されている前記色彩パターンデータとを照合し、モニタ画面に表示された前記作業域の画像中に両者が合致した部分のみを区別して位置表示させる対象部分位置表示工程と、から成り、
作業環境の明暗に係らず前記モニタ画面中の周辺を含む区域から正確に対象部分の存在位置を表示できるようにしたことを特徴とする植物の対象部分の位置特定方法。

【請求項2】
 
請求項1に記載の植物の対象部分の位置特定方法において、対象部分位置表示工程の後に、モニタ画面の画像中に存在位置が表示された対象部分に対して、コンピュータで認識すべき画像内の対象部分の大きさに合わせて画面内での囲い範囲を決めておき、前記対象部分位置表示工程でモニタ画面の画像中に表示された対象部分の位置データが前記囲い範囲に存在するものについて自動的にその位置を識別し、その識別位置のデータにマーキング処理する対象部分マーキング工程を有することを特徴とする植物の対象部分の位置特定方法。

【請求項3】
 
請求項2に記載の対象部分マーキング工程において、モニタ画面の画像中に複数の表示された各対象部分に対して、コンピュータで優先条件を設定したプログラムにしたがって自動的に優先順のマーキング表示をするマーキング優先順位決定工程を有することを特徴とする植物の対象部分の位置特定方法。

【請求項4】
 
請求項1に記載の色彩パターン登録工程において、コンピュータにより、一つの対象部分に対してその対象部分の色彩パターンデータを異なった箇所から複数記憶してその複数の対象部分の色彩パターンデータをラベリングし、そのラベリングした各色彩パターンデータを、実作業におけるモニタ画面の画像中に同時に表示できるように設定し、前記対象部分位置表示工程で前記モニタ画面の画像中に存在位置が表示された植物の対象部分の異なる箇所の囲い範囲が一部分重なった部分を抽出し、その抽出された部分のみに対象部分が存在すると自動的に判断する複合選別工程を有することを特徴とする請求項1から3のうちいずれか1項に記載の植物の対象部分の位置特定方法。

【請求項5】
 
請求項1に記載の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データである二軸の座標を求めるに方法が、
CIE-XYZ表色系より算出されるxy色度図から、
【数1】
 
(省略)
の数式(a)、(b)にR、G、Bの輝度値を入力して色度座標(x)、(y)値を求めることを特徴とする請求項1から4のうちいずれか1項に記載の植物の対象部分の位置特定方法。

【請求項6】
 
請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置。

【請求項7】
 
請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置であって、CPU(1)とメモリ(2)を備えたコンピュータ本体と、カラー画像用のデジタル入力装置(3)と、画像を見るためのモニタ用のディスプレイ装置(4)とを備えたコンピュータシステム(C1)とから成り、前記コンピュータ本体には前記コンピュータシステムで請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法での処理工程に従ってデジタルカラー画像の色と位置のデータの処理を実行させるプログラム(P1)を備えたことを特徴とする植物の対象部分の位置特定装置。

【請求項8】
 
請求項6又は7に記載の植物の対象部分の位置特定装置を用いた作業用ロボット。

【請求項9】
 
請求項6又は7に記載の植物の対象部分の位置特定装置を用いた作業用ロボットであって、走行移動用の駆動手段(6)を備えた装置搭載用のボディ(5)上に、植物撮影用のデジタルカラー画像の入力装置(7)、作業実行用の作業ハンド(8)、該作業ハンド駆動用のマニュピレ-タ(9)、及びボディ位置確認用のセンサー(11)を備え、また前記ボディ(5)、マニュピレ-タ(9)、作業ハンド(8)、デジタルカラー画像の入力装置(7)及びボディ位置確認用のセンサー(11)の各部分をコンピュータの命令で操作を実行する駆動制御部を有し、さらに前記ボディ(5)上又は別の場所に、前記装置を構成する各部分の操作を命令する駆動用プログラム(P2)と前記デジタルカラー画像の入力装置(7)で入力したデジタル画像から植物の対象部分の位置特定する請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法を行うデータ処理用プログラム(P1)を備えたコンピュータ本体(C2)を有して成り、前記駆動制御部と前記コンピュータ(C2)とで命令信号及びデータ処理信号の送受信を行い、前記位置特定装置で植物の対象部分の位置を特定しつつ前記マニュピレ-タ(9)を稼動させて前記作業ハンド(8)を特定した対象部分の位置に自動的に移動させ、前記作業ハンド(8)で植物の対象部分への作業を実行できようにしたことを特徴とする作業用ロボット。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2006352905thum.jpg
State of application right Registered
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close