Top > Search of Japanese Patents > IMAGE RECOGNITION DEVICE, ARTIFICIAL POLLINATION SYSTEM, AND PROGRAM

IMAGE RECOGNITION DEVICE, ARTIFICIAL POLLINATION SYSTEM, AND PROGRAM

Patent code P200016832
File No. 6231
Posted date May 11, 2020
Application number P2018-082878
Publication number P2019-191854A
Date of filing Apr 24, 2018
Date of publication of application Oct 31, 2019
Inventor
  • (In Japanese)清水 浩
  • (In Japanese)佐藤 泰斗
  • (In Japanese)中原 高伸
  • (In Japanese)中山 亮
Applicant
  • (In Japanese)ローム株式会社
  • (In Japanese)国立大学法人京都大学
Title IMAGE RECOGNITION DEVICE, ARTIFICIAL POLLINATION SYSTEM, AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To provide an artificial pollination system capable of easily recognizing a target object such as a flower and a fruit with high accuracy, performing sanitary and detailed pollination, and automating processing.
SOLUTION: An artificial pollination system 1 includes: a three-dimensional sensor 500; an image recognition device 600; and an ultrasonic focusing device 400. The three-dimensional sensor acquires three-dimensional information including a color image of a crop and distance information to the crop. The image recognition device includes: a learning processing unit 650 for creating and storing a recognition model of a target object such as a flower and a fruit from the three-dimensional information; and an image processing unit 630 for performing prescribed image processing of the three-dimensional information, recognizing the target object by using the recognition model created and stored by the learning processing unit, and acquiring the position of the target object. The ultrasonic focusing device vibrates the target object by irradiating an ultrasonic wave to the target object on the basis of the position and the distance information of the target object acquired by the image recognition device to perform pollination.
Outline of related art and contending technology (In Japanese)

近年、安心で安全な野菜を栽培することのできる完全人工光型植物工場が普及しつつある。人工光型植物工場とは、閉鎖された空間内で人工光や養液を用いて植物の栽培を行う方法であり、季節や環境の影響を受けることなく安定的に生産することができ、細菌や病気のない安全な植物を供給できるというメリットがある。

植物工場にてイチゴなどの作物の周年栽培が可能となれば価格の安定化が見込まれるが、室内(植物工場内)での授粉を蜂(例えばミツバチ)に頼るのは、経済面、衛生面、技術面などから難しいという問題がある。

そこで、蜂に代わる人工授粉装置として、電磁加振装置、超音波振動子、あるいは超音波集束装置などを用いた人工授粉装置が提案されている(特許文献1、2、非特許文献1参照)。例えば、超音波集束装置は、超音波を共振周波数とする超音波振動子の各々の位相を操作することで空間上の一点に音響放射圧を集束させる(非特許文献2参照)。

Field of industrial application (In Japanese)

本実施の形態は、画像認識装置、人工授粉システム、およびプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、
前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部と
を備える、画像認識装置。

【請求項2】
 
前記学習処理部は、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積する、請求項1に記載の画像認識装置。

【請求項3】
 
機械学習アルゴリズムは、サポートベクターマシンとディープラーニングとのうちの少なくとも1つを含み、各々の前記カテゴリにおける結果信頼度を組み合わせる、請求項2に記載の画像認識装置。

【請求項4】
 
前記画像処理部は、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出する、請求項1に記載の画像認識装置。

【請求項5】
 
前記画像処理部は、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す、請求項4に記載の画像認識装置。

【請求項6】
 
前記画像処理部は、前記平均化された画像上の各領域におけるRGB情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞る、請求項5に記載の画像認識装置。

【請求項7】
 
前記画像処理部は、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去する、請求項6に記載の画像認識装置。

【請求項8】
 
作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する三次元センサと、
前記三次元センサが取得した前記三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える画像認識装置と、
前記画像認識装置が取得した前記対象物体の位置および距離情報に基づいて、前記対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う超音波集束装置と
を備える、人工授粉システム。

【請求項9】
 
前記学習処理部は、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積する、請求項8に記載の人工授粉システム。

【請求項10】
 
機械学習アルゴリズムは、サポートベクターマシンとディープラーニングとのうちの少なくとも1つを含み、各々の前記カテゴリにおける結果信頼度を組み合わせる、請求項9に記載の人工授粉システム。

【請求項11】
 
前記画像処理部は、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出する、請求項8に記載の人工授粉システム。

【請求項12】
 
前記画像処理部は、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す、請求項11に記載の人工授粉システム。

【請求項13】
 
前記画像処理部は、前記平均化された画像上の各領域におけるRGB情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞る、請求項12に記載の人工授粉システム。

【請求項14】
 
前記画像処理部は、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去する、請求項13に記載の人工授粉システム。

【請求項15】
 
前記三次元センサは、前記カラー画像と前記距離情報を取得する3Dカメラである、請求項8~14のいずれか1項に記載の人工授粉システム。

【請求項16】
 
前記三次元センサは、前記距離情報を赤外線を用いて取得する、請求項15に記載の人工授粉システム。

【請求項17】
 
前記対象物体の認識モデルを作成し学習データとして蓄積する学習用サーバーをさらに備える、請求項8~16のいずれか1項に記載の人工授粉システム。

【請求項18】
 
前記学習用サーバーは、前記画像認識装置内に備えられる、請求項17に記載の人工授粉システム。

【請求項19】
 
三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理ステップと、
前記三次元情報に対して所定の画像処理を行い、前記学習処理ステップにおいて作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理ステップと
をコンピュータに実行させるプログラム。

【請求項20】
 
前記学習処理ステップは、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積するステップを含む、請求項19に記載のプログラム。

【請求項21】
 
前記画像処理ステップは、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出するステップを含む、請求項19に記載のプログラム。

【請求項22】
 
前記画像処理ステップは、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施すステップを含む、請求項21に記載のプログラム。

【請求項23】
 
前記画像処理ステップは、前記平均化された画像上の各領域におけるRGB情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞るステップを含む、請求項22に記載のプログラム。

【請求項24】
 
前記画像処理ステップは、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去するステップを含む、請求項23に記載のプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018082878thum.jpg
State of application right Published
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close