TOP > 国内特許検索 > 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット

植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット コモンズ

国内特許コード P110005226
整理番号 P05-012U1
掲載日 2011年8月18日
出願番号 特願2006-352905
公開番号 特開2007-200309
登録番号 特許第4961555号
出願日 平成18年12月27日(2006.12.27)
公開日 平成19年8月9日(2007.8.9)
登録日 平成24年4月6日(2012.4.6)
優先権データ
  • 特願2005-380225 (2005.12.28) JP
発明者
  • 尾崎 功一
出願人
  • 国立大学法人宇都宮大学
発明の名称 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット コモンズ
発明の概要


【課題】 変化する光環境下においても収穫すべき果実などの位置特定が素早くできる方法を提供する。
【解決手段】対象部分の全色系のカラー画像から特徴的な色を固有色として選択する固有色選択工程と、その固有色の色データを明暗に関する色要素を除いた二つの色要素から色彩空間データを得る色要素2元化処理工程と、その色彩空間データをモニタ画面に表示してさらに特徴的な少数の色を選別してこれを色彩パターンデータとして記憶させる色彩パターン登録工程と、実作業において、作業すべき対象部分が存在する周辺をデジタルカメラで撮影し、その撮影した全色系のデジタルカラー画像から、明暗に関する色要素を除いた二つの色要素の色彩空間データを得る作業域色要素2元化処理工程と、その色彩空間データと記憶されている色彩パターンデータとを照合し、作業域の画像中に両者が合致した部分のみを位置表示させる対象部分位置表示工程とで構成される。
【選択図】 図1

従来技術、競合技術の概要


イチゴ、トマト、ナス、キュウリ等の果実や野菜等の摘み取り及び収穫作業などの各種作業をロボットなどの装置で自動的に実行さるためには、まず対象となる果実や野菜の存在する位置を認識しなければならないが、果実を茎や葉の中から機械的に認識させることは殆ど不可能である。
そこで、果実の存在は、その果実から反射される光の存在から、果実の存在、存在位置、存在位置の方向及び果実の形状が認識可能であることから、コンピュータを用いて、画像処理技術により果実部分の存在を認識する方法が考えられる。
そのため、そのような果実の位置や形状などから果実などを把握する方法として、摘み取る果実に特有の形状パターンを事前に登録して、このパターンと合致したものを選び出そうとするパターン・マッチング法の可能性が検討できる。
しかし、形状によるパターン・マッチング法では、イチゴ等に代表される農作物の実の部分は大きさや外形などの形状が様々であり、すべての形状を想定して摘み取るに適した形状の実のパターンを事前に登録することは極めて困難である。
このため、植物分野での形状によるパターン・マッチング法は採用できるものではない。



また、果実は、商品として出荷するなどの場合のように、摘み取る時期が重要であるが、「形状」の認識だけで行うコンピュータを用いた画像処理技術では、成熟の度合いが区別できず、成熟したか否かは色の識別がなされないと、摘み取るに適したものであるかが判別できない。
したがって、形状認識のみによる装置では摘み取りなどの機械による自動作業化を行うことはできない。



そこで、果実などの存在の確認は光で感知して行う方法が可能あるが、さらに果実などから反射される光の波長からは「色」の認識が可能となることに着眼し、カメラによりその光の波長を捉え、その撮影した画像を見ればその果実の存在とその色や形状までを把握することが可能となる。
このことから果実などの色を識別すべき要素として認識しようとする場合、摘み取るに適した果実の色を事前に登録しておき、その登録した色と現場作業での果実から捉えられた色とが合致したとき、その色を持つ果実が摘み取るに適した果実であるとの識別判断が可能となる。
この「色」の認識は、明度、色相、色彩の三要素を用いて識別可能であるが、それらの色の三要素からの識別をしようとすると識別すべき色のデータを3つのパラメータで考えなければならない。
現在のコンピュータを用いた画像処理技術では、色を対象として3つのパラメータで識別し判断することはデータ処理上極めて複雑となる。
また、イチゴ等の実のように色が緑から白を含んで赤に至るまでその中間色を含めて微妙な色が含まれているような農産物の色情報は正確に捉えることが困難であり、これを判断材料の基になる色のデータとして定量化させて扱うことは容易ではない。



例えば、色を扱った従来の技術である特許文献1には、「果菜収穫用ロボットシステムの手首先端に取り付けられる摘採ハンドにおいて、開閉駆動される一対のフィンガーの対向面の上部及び下部に一対の摘採刃及び調製刃をそれぞれ設け、かつ、前記一対のフィンガーの対向面に、同フィンガーを開放したときに付着する柄をフィンガー内面から除去するための圧縮空気を噴き出す空気噴出穴を形成したことを特徴とする果菜収穫用摘採ハンド」が提案され、この文献1の中に、「カメラで撮影したカラーの原画像を画像処理してL・a・b・表色系のaの濃淡画像を算出し、この濃淡画像を最適な閾値で2値化して果実の位置抽出のための図を得、該図からイチゴ果実の重心を演算して果実位置の座標値を求める方法」の記載がある。

【特許文献1】特開2001-95348号公報

産業上の利用分野


本発明は、果実、野菜、花卉などの植物の実、花、葉などの対象部分の摘み取りなど各種作業を自動的に行うために、カメラで捉えた広域画像の中から対象部分の存在位置を認識するための方法と、その方法によって対象部分の存在位置を認識するための装置、及びその装置を用いて植物の実や花などの摘み取り作業などの各種作業を実行するための作業用ロボットに関する。

特許請求の範囲 【請求項1】
デジタルカメラを含むデータ及び命令の入力装置と、ディスプレイ装置を含む出力装置と、CPUとメモリを有するコンピュータ本体とから成るコンピュータシステム及びそのコンピュータ本体に組み込まれたデータ処理用のコンピュータプログラムを用い、
a)準備作業において、
一種又は多種の植物の一つ又は複数の部分を対象とし、その対象部分のデジタル化された全色系のカラー画像のデータをコンピュータ本体に入力して記憶させ、それを前記ディスプレイ装置のモニタ画面に再生してその再生画像内で該対象部分に特徴的な色を固有色として選択する固有色選択工程と、
選択された前記固有色の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る色要素2元化処理工程と、
前記色要素2元化処理工程で得られた色彩空間データを前記モニタ画面に表示し、そのカラー画像から、さらに特徴的な一つ又は少数の色を選別し、これを識別用の色彩パターンデータとしてコンピュータに記憶させる色彩パターン登録工程と、
b)実作業において、
前記コンピュータプログラムを備えた前記コンピュータシステムを用いて、作業すべき前記対象部分が存在する周辺を含む区域を前記デジタルカメラで撮影し、その撮影した全色系のデジタルカラー画像から、明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る作業域色要素2元化処理工程と、
前記作業域色要素2次元化処理工程で得られた作業域の色彩空間データと記憶されている前記色彩パターンデータとを照合し、モニタ画面に表示された前記作業域の画像中に両者が合致した部分のみを区別して位置表示させる対象部分位置表示工程と、から成り、
作業環境の明暗に係らず前記モニタ画面中の周辺を含む区域から正確に対象部分の存在位置を表示できるようにしたことを特徴とする植物の対象部分の位置特定方法。

【請求項2】
請求項1に記載の植物の対象部分の位置特定方法において、対象部分位置表示工程の後に、モニタ画面の画像中に存在位置が表示された対象部分に対して、コンピュータで認識すべき画像内の対象部分の大きさに合わせて画面内での囲い範囲を決めておき、前記対象部分位置表示工程でモニタ画面の画像中に表示された対象部分の位置データが前記囲い範囲に存在するものについて自動的にその位置を識別し、その識別位置のデータにマーキング処理する対象部分マーキング工程を有することを特徴とする植物の対象部分の位置特定方法。

【請求項3】
請求項2に記載の対象部分マーキング工程において、モニタ画面の画像中に複数の表示された各対象部分に対して、コンピュータで優先条件を設定したプログラムにしたがって自動的に優先順のマーキング表示をするマーキング優先順位決定工程を有することを特徴とする植物の対象部分の位置特定方法。

【請求項4】
請求項1に記載の色彩パターン登録工程において、コンピュータにより、一つの対象部分に対してその対象部分の色彩パターンデータを異なった箇所から複数記憶してその複数の対象部分の色彩パターンデータをラベリングし、そのラベリングした各色彩パターンデータを、実作業におけるモニタ画面の画像中に同時に表示できるように設定し、前記対象部分位置表示工程で前記モニタ画面の画像中に存在位置が表示された植物の対象部分の異なる箇所の囲い範囲が一部分重なった部分を抽出し、その抽出された部分のみに対象部分が存在すると自動的に判断する複合選別工程を有することを特徴とする請求項1から3のうちいずれか1項に記載の植物の対象部分の位置特定方法。

【請求項5】
請求項1に記載の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データである二軸の座標を求めるに方法が、
CIE-XYZ表色系より算出されるxy色度図から、
【数式1】


の数式(a)、(b)にR、G、Bの輝度値を入力して色度座標(x)、(y)値を求めることを特徴とする請求項1から4のうちいずれか1項に記載の植物の対象部分の位置特定方法。

【請求項6】
請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置。

【請求項7】
請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置であって、CPU(1)とメモリ(2)を備えたコンピュータ本体と、カラー画像用のデジタル入力装置(3)と、画像を見るためのモニタ用のディスプレイ装置(4)とを備えたコンピュータシステム(C1)とから成り、前記コンピュータ本体には前記コンピュータシステムで請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法での処理工程に従ってデジタルカラー画像の色と位置のデータの処理を実行させるプログラム(P1)を備えたことを特徴とする植物の対象部分の位置特定装置。

【請求項8】
請求項6又は7に記載の植物の対象部分の位置特定装置を用いた作業用ロボット。

【請求項9】
請求項6又は7に記載の植物の対象部分の位置特定装置を用いた作業用ロボットであって、走行移動用の駆動手段(6)を備えた装置搭載用のボディ(5)上に、植物撮影用のデジタルカラー画像の入力装置(7)、作業実行用の作業ハンド(8)、該作業ハンド駆動用のマニュピレ-タ(9)、及びボディ位置確認用のセンサー(11)を備え、また前記ボディ(5)、マニュピレ-タ(9)、作業ハンド(8)、デジタルカラー画像の入力装置(7)及びボディ位置確認用のセンサー(11)の各部分をコンピュータの命令で操作を実行する駆動制御部を有し、さらに前記ボディ(5)上又は別の場所に、前記装置を構成する各部分の操作を命令する駆動用プログラム(P2)と前記デジタルカラー画像の入力装置(7)で入力したデジタル画像から植物の対象部分の位置特定する請求項1から5のうちいずれか1項に記載の植物の対象部分の位置特定方法を行うデータ処理用プログラム(P1)を備えたコンピュータ本体(C2)を有して成り、前記駆動制御部と前記コンピュータ(C2)とで命令信号及びデータ処理信号の送受信を行い、前記位置特定装置で植物の対象部分の位置を特定しつつ前記マニュピレ-タ(9)を稼動させて前記作業ハンド(8)を特定した対象部分の位置に自動的に移動させ、前記作業ハンド(8)で植物の対象部分への作業を実行できようにしたことを特徴とする作業用ロボット。
産業区分
  • 計算機応用
  • その他運輸
  • 工業用ロボット
  • テレビ
  • 測定
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2006352905thum.jpg
出願権利状態 権利存続中
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close