Specification :(In Japanese)画像認識装置、人工授粉システム、およびプログラム
| Country | (In Japanese)日本国特許庁(JP) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gazette | (In Japanese)公開特許公報(A) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Publication number | P2019-191854A | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Date of publication of application | Oct 31, 2019 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Title of the invention, or title of the device | (In Japanese)画像認識装置、人工授粉システム、およびプログラム | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| IPC (International Patent Classification) | G06T 7/00 (2017.01) G06T 7/90 (2017.01) A01H 1/02 (2006.01) |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FI (File Index) | G06T 7/00 350B G06T 7/90 Z A01H 1/02 A |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Number of claims or invention | 24 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Filing form | OL | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Total pages | 47 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Application Number | P2018-082878 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Date of filing | Apr 24, 2018 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Article of public order and morality | (In Japanese)1．ZIGBEE 2．Visual Studio |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Inventor, or creator of device | (In Japanese)【氏名】清水 浩 【氏名】佐藤 泰斗 【氏名】中原 高伸 【氏名】中山 亮 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Applicant | (In Japanese)【識別番号】000116024 【氏名又は名称】ローム株式会社 【識別番号】504132272 【氏名又は名称】国立大学法人京都大学 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Representative | (In Japanese)【識別番号】100083806、【弁理士】、【氏名又は名称】三好 秀和 【識別番号】100133514、【弁理士】、【氏名又は名称】寺山 啓進 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Request for examination | (In Japanese)未請求 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Theme code | 2B030 5L096 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| F-term | 2B030AA02 2B030HA05 5L096AA02 5L096AA09 5L096BA08 5L096EA37 5L096EA43 5L096FA03 5L096FA06 5L096FA24 5L096FA32 5L096FA66 5L096FA69 5L096GA34 5L096GA38 5L096GA40 5L096GA51 5L096HA11 5L096JA22 5L096KA04 5L096KA15 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Abstract | (In Japanese)【課題】花や果実などの対象物体を容易に且つ高精度に認識することができ、衛生的で繊細な授粉が可能であり、処理の自動化が可能な人工授粉システムを提供する。 【解決手段】人工授粉システム1は、三次元センサ500と画像認識装置600と超音波集束装置400とを備える。三次元センサは、作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する。画像認識装置は、三次元情報から、花や果実などの対象物体の認識モデルを作成し蓄積する学習処理部650と、三次元情報に対して所定の画像処理を行い、学習処理部が作成し蓄積した認識モデルを用いて対象物体を認識し、該対象物体の位置を取得する画像処理部630とを備える。超音波集束装置は、画像認識装置が取得した対象物体の位置および距離情報に基づいて、対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う。 【選択図】図1 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Scope of claims | (In Japanese)【請求項1】 三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、 前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部と を備える、画像認識装置。 【請求項2】 前記学習処理部は、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積する、請求項1に記載の画像認識装置。 【請求項3】 機械学習アルゴリズムは、サポートベクターマシンとディープラーニングとのうちの少なくとも1つを含み、各々の前記カテゴリにおける結果信頼度を組み合わせる、請求項2に記載の画像認識装置。 【請求項4】 前記画像処理部は、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出する、請求項1に記載の画像認識装置。 【請求項5】 前記画像処理部は、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す、請求項4に記載の画像認識装置。 【請求項6】 前記画像処理部は、前記平均化された画像上の各領域におけるRGB情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞る、請求項5に記載の画像認識装置。 【請求項7】 前記画像処理部は、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去する、請求項6に記載の画像認識装置。 【請求項8】 作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する三次元センサと、 前記三次元センサが取得した前記三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える画像認識装置と、 前記画像認識装置が取得した前記対象物体の位置および距離情報に基づいて、前記対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う超音波集束装置と を備える、人工授粉システム。 【請求項9】 前記学習処理部は、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積する、請求項8に記載の人工授粉システム。 【請求項10】 機械学習アルゴリズムは、サポートベクターマシンとディープラーニングとのうちの少なくとも1つを含み、各々の前記カテゴリにおける結果信頼度を組み合わせる、請求項9に記載の人工授粉システム。 【請求項11】 前記画像処理部は、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出する、請求項8に記載の人工授粉システム。 【請求項12】 前記画像処理部は、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す、請求項11に記載の人工授粉システム。 【請求項13】 前記画像処理部は、前記平均化された画像上の各領域におけるRGB情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞る、請求項12に記載の人工授粉システム。 【請求項14】 前記画像処理部は、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去する、請求項13に記載の人工授粉システム。 【請求項15】 前記三次元センサは、前記カラー画像と前記距離情報を取得する3Dカメラである、請求項8～14のいずれか1項に記載の人工授粉システム。 【請求項16】 前記三次元センサは、前記距離情報を赤外線を用いて取得する、請求項15に記載の人工授粉システム。 【請求項17】 前記対象物体の認識モデルを作成し学習データとして蓄積する学習用サーバーをさらに備える、請求項8～16のいずれか1項に記載の人工授粉システム。 【請求項18】 前記学習用サーバーは、前記画像認識装置内に備えられる、請求項17に記載の人工授粉システム。 【請求項19】 三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理ステップと、 前記三次元情報に対して所定の画像処理を行い、前記学習処理ステップにおいて作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理ステップと をコンピュータに実行させるプログラム。 【請求項20】 前記学習処理ステップは、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積するステップを含む、請求項19に記載のプログラム。 【請求項21】 前記画像処理ステップは、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出するステップを含む、請求項19に記載のプログラム。 【請求項22】 前記画像処理ステップは、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施すステップを含む、請求項21に記載のプログラム。 【請求項23】 前記画像処理ステップは、前記平均化された画像上の各領域におけるRGB情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞るステップを含む、請求項22に記載のプログラム。 【請求項24】 前記画像処理ステップは、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去するステップを含む、請求項23に記載のプログラム。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Detailed description of the invention | (In Japanese)【技術分野】 【0001】 本実施の形態は、画像認識装置、人工授粉システム、およびプログラムに関する。 【背景技術】 【0002】 近年、安心で安全な野菜を栽培することのできる完全人工光型植物工場が普及しつつある。人工光型植物工場とは、閉鎖された空間内で人工光や養液を用いて植物の栽培を行う方法であり、季節や環境の影響を受けることなく安定的に生産することができ、細菌や病気のない安全な植物を供給できるというメリットがある。 【0003】 植物工場にてイチゴなどの作物の周年栽培が可能となれば価格の安定化が見込まれるが、室内（植物工場内）での授粉を蜂（例えばミツバチ）に頼るのは、経済面、衛生面、技術面などから難しいという問題がある。 【0004】 そこで、蜂に代わる人工授粉装置として、電磁加振装置、超音波振動子、あるいは超音波集束装置などを用いた人工授粉装置が提案されている（特許文献1、2、非特許文献1参照）。例えば、超音波集束装置は、超音波を共振周波数とする超音波振動子の各々の位相を操作することで空間上の一点に音響放射圧を集束させる（非特許文献2参照）。 【先行技術文献】 【0005】 【特許文献1】国際公開第2013／121635号パンフレット 【特許文献2】特開2015－43741号公報 【0006】 【非特許文献1】朴宰億、外3名、「超音波によるイチゴの人工授粉装置の開発」、日本生物環境工学会 2013年高松大会 講演要旨、日本生物環境工学会、2013年、C09、p. 154-155 【非特許文献2】星貴之、「非接触作用力を発生する小型超音波集束装置の開発」、計測自動制御学会論文集、公益社団法人計測自動制御学会、2014年、第50巻、第7号、p. 543-552 【発明の概要】 【発明が解決しようとする課題】 【0007】 植物工場におけるイチゴなどの作物の授粉処理として求められている条件としては、工場の衛生面に害を及ぼさないこと、繊細な授粉が可能であること（奇形果を発生させないこと）、処理の自動化が可能であることが挙げられる。 【0008】 本実施の形態は、花や果実などの対象物体を容易に且つ高精度に認識することができ、衛生的で繊細な授粉が可能であり、処理の自動化が可能な人工授粉システム、および、該人工授粉システムに用いられる画像認識装置、並びにプログラムを提供する。 【課題を解決するための手段】 【0009】 本実施の形態の一態様によれば、三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える、画像認識装置が提供される。 【0010】 本実施の形態の他の態様によれば、作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する三次元センサと、前記三次元センサが取得した前記三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える画像認識装置と、前記画像認識装置が取得した前記対象物体の位置および距離情報に基づいて、前記対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う超音波集束装置とを備える、人工授粉システムが提供される。 【0011】 本実施の形態の他の態様によれば、三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理ステップと、前記三次元情報に対して所定の画像処理を行い、前記学習処理ステップにおいて作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理ステップとをコンピュータに実行させるプログラムが提供される。 【発明の効果】 【0012】 本実施の形態によれば、花や果実などの対象物体を容易に且つ高精度に認識することができ、衛生的で繊細な授粉が可能であり、処理の自動化が可能な人工授粉システム、および、該人工授粉システムに用いられる画像認識装置、並びにプログラムを提供することができる。 【図面の簡単な説明】 【0013】 【図1】本技術を適用した一実施の形態に係る人工授粉システムの概略構成を例示する模式的ブロック図。 【図2】本技術を適用した一実施の形態に係る人工授粉システムにおける超音波集束装置の超音波の指向性について説明するための概略説明図であって、（a）音波の波長λ＝4Dの例、（b）音波の波長λ＝2Dの例、（c）音波の波長λ＝1．5Dの例、（d）音波の波長λ＝Dの例、（e）音波の波長λ＝0．75Dの例、（f）音波の波長λ＝0．5Dの例、（g）音波の波長λ＝0．25Dの例、（h）スピーカの直径Dの例。 【図3】本技術を適用した一実施の形態に係る人工授粉システムにおける三次元センサおよび超音波集束装置の外観を例示する模式的正面図。 【図4】図3に例示した超音波集束装置の仕様の一例を示す図。 【図5】（a）図3に例示した超音波集束装置の外観を例示する模式的鳥瞰図、（b）該超音波集束装置のフェーズドアレイ機能の一例を説明するための模式図。 【図6】図3に例示した超音波集束装置における超音波の変調の一例を説明するための模式図。 【図7】図3に例示した超音波集束装置に搭載される制御基板およびスピーカアレイ基板の構成例を示す模式的ブロック図。 【図8】実施の形態に係る人工授粉システムにおける（a）三次元センサの一例（Kinect）の模式的外観図、（b）三次元センサの別の例（RealSense）の模式的外観図。 【図9】図8に例示した三次元センサ（KinectおよびRealSense）のそれぞれの仕様の一例を示す図。 【図10】実施の形態に係る人工授粉システムにおける画像認識装置（パーソナルコンピュータ（PC））が実行する学習処理プログラムの一例を示すフローチャート。 【図11】図10に例示した学習処理におけるグリッドサーチの処理結果の一例を示す図。 【図12】図10に例示した学習処理における識別モデルの認識結果の一例を示す図。 【図13】図12に例示した識別モデルを3Dグラフに表現した例を示す図。 【図14】実施の形態に係る人工授粉システムにおける画像認識装置が実行する画像処理プログラムの一例を示すフローチャート。 【図15】図14に例示した画像処理プログラムにおける画像認識処理の一例を示すフローチャート。 【図16】本技術を適用した一実施の形態に係る画像認識装置が備えるユーザインタフェース（I／F）の一例を示す模式図。 【図17】本技術を適用した一実施の形態に係る画像認識装置の画像認識結果（精度検証結果）の一例を示す図。 【図18】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った実験（第1の実験）の方法例を説明するための図。 【図19】図18に例示した第1の実験で用いた移動式栽培ベッドの一例を説明するための模式図。 【図20】図18に例示した第1の実験の結果（着果率と奇形果発生率）を説明するための図。 【図21】図18に例示した第1の実験の結果（超音波授粉区における変調周波数毎の結果）を説明するための図。 【図22】図18に例示した第1の実験の結果（周波数毎の花の振幅を計測した結果）を説明するための図。 【図23】図18に例示した第1の実験の結果（超音波授粉、筆授粉、無処理のそれぞれの比較結果）を説明するための図。 【図24】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った別の実験（第2の実験）の方法例を説明するための図。 【図25】図24に例示した第2の実験の結果（着果率と奇形果発生率）を説明するための図。 【図26】図24に例示した第2の実験の結果（超音波授粉区における変調周波数毎の結果）を説明するための図。 【図27】図24に例示した第2の実験の結果（周波数毎の花の振幅を計測した結果）を説明するための図。 【図28】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った別の実験（第3の実験）結果（花粉付着率）を説明するための図。 【図29】図28に例示した第3の実験の結果（可販果率）を説明するための図。 【図30】図28に例示した第3の実験の結果（花粉付着率と可販果率との相関関係）を説明するための図。 【図31】図28に例示した第3の実験の結果（超音波授粉と蜂授粉とにおける可販果率）を説明するための図。 【図32】図28に例示した第3の実験の結果（各実験区における可販果率）を説明するための図。 【図33】図28に例示した第3の実験の結果（加振時間毎の平均可販果率）を説明するための図。 【図34】図28に例示した第3の実験の結果（変調周波数毎の平均可販果率）を説明するための図。 【図35】本技術を適用した一実施の形態の変形例1の人工授粉システムに用いられる三次元センサ（Senz3D）および超音波集束装置の外観を例示する模式的正面図。 【図36】本技術を適用した一実施の形態の変形例2の人工授粉システムに用いられる三次元センサ（RealSense）および超音波集束装置の外観を例示する模式的正面図。 【図37】変形例1における人工授粉システムの画像認識装置による画像処理結果（花画像と葉画像のR値のヒストグラム）の一例を示す模式図。 【図38】変形例1において画像認識装置が実行する画像処理プログラムの一例を示すフローチャート。 【図39】変形例2において画像認識装置が実行する画像処理プログラムの一例を示すフローチャート。 【図40】変形例2における人工授粉システムを用いて行った花の認識精度実験の方法例を説明するための図。 【図41】変形例2における人工授粉システムを用いて行った授粉実験の方法例（実験環境）を説明するための図。 【図42】変形例2における人工授粉システムを用いて行った授粉実験の方法例（システム稼働状況）を説明するための図。 【図43】変形例2における人工授粉システムを用いて行った授粉実験の方法例（カテゴリ分け規格）を説明するための図。 【図44】変形例2における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：20cm）を説明するための図。 【図45】変形例2における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：30cm）を説明するための図。 【図46】変形例2における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：40cm）を説明するための図。 【図47】変形例2における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：50cm）を説明するための図。 【図48】変形例2における人工授粉システムを用いて行った花の認識精度実験の結果を説明するための図。 【図49】変形例2における人工授粉システムを用いて行った花の認識精度実験で撮影された画像のヒストグラムの一例を説明するための図。 【図50】変形例2における人工授粉システムを用いて行った授粉実験の結果（着果率、果実の重量）を説明するための図。 【図51】変形例2における人工授粉システムを用いて行った授粉実験の結果（カテゴリ分けの結果）を説明するための図。 【図52】変形例2における人工授粉システムを用いて行った授粉実験の結果（着果率）を説明するための図。 【図53】変形例2における人工授粉システムを用いて行った授粉実験の結果（認識率）を説明するための図。 【図54】変形例2における人工授粉システムを用いて行った授粉実験の結果（果実の平均重量）を説明するための図。 【図55】変形例2における人工授粉システムを用いて行った授粉実験の結果（果実の総重量）を説明するための図。 【図56】変形例2における人工授粉システムを用いて行った授粉実験の結果（果実の数量）を説明するための図。 【図57】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った実験結果の一例であって（a）認識結果、（b）目視による結果、（c）正答率。 【図58】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第1の態様）の模式的概念構成図。 【図59】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第2の態様）の模式的概念構成図。 【図60】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第3の態様）の模式的概念構成図。 【図61】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第4の態様）の模式的概念構成図。 【図62】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第5の態様）の模式的概念構成図。 【図63】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な農場用無線センサネットワークシステム（第1の態様）の模式的構成図。 【図64】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な農場用無線センサネットワークシステム（第2の態様）の模式的構成図。 【図65】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なワイヤレスセンサネットワークシステムの概要を示す模式的構成図。 【図66】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なワイヤレスセンサネットワークシステムの具体例を示す模式的構成図。 【図67】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な信号処理装置のハードウェア構成例を示す模式的構成図。 【図68】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な信号処理装置の別のハードウェア構成例を示す模式的構成図。 【発明を実施するための形態】 【0014】 次に、図面を参照して、実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。 【0015】 又、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の実施の形態は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の実施の形態は、特許請求の範囲において、種々の変更を加えることができる。 【0016】 [実施の形態] 現在、日本のイチゴ生産者の多くが12月～5月ごろまでしかイチゴの収穫を行っておらず、夏季のイチゴの供給はほとんどをアメリカからの輸入に頼っている。そのため、夏季のイチゴ卸売数量が減少し価格が上昇してしまっている。この問題を解決する方法として人工光型植物工場にてイチゴを栽培するという手法が考えられる。植物工場は、閉鎖空間内で光や温湿度、二酸化炭素濃度、培養液などの環境条件を人工的に制御して、季節、場所に関係なく野菜を中心とした作物を安定生産するシステムであり、その中でも人工光型植物工場は、栽培する光源に人工光を用いるシステムである。果菜類の中でもイチゴは草丈や栽培面積が小さく、トマトやキュウリに比べ光要求量が低い。そのため、植物工場にてLEDを光源とした多段式栽培が可能であり、単位面積あたりで高い生産性が期待できる。 【0017】 このように、植物工場にてイチゴの周年栽培が可能となれば価格の安定化が見込まれるが、室内でミツバチに授粉を頼るのは難しい。 【0018】 イチゴの花は外部からの授粉がなければ正常な果実が形成されず、奇形果が発生してしまう。イチゴ花は一花につき50～450本のめしべを持っており、それらすべてに花粉が付着し受精が行われなければ実が膨らまず奇形となってしまうため、繊細な授粉処理が必要とされる。 【0019】 イチゴの授粉はミツバチなどによる虫媒授粉が一般的であるが、植物工場内では様々な理由からミツバチを用いた授粉が難しい。 【0020】 まず、植物工場では植物の成長に必要な一部の波長領域を含む光源のみしか用いられていない場合が多く、紫外領域の波長が含まれていない。送粉昆虫であるセイヨウミツバチは、紫外線除去フィルムで被覆したハウス内にて採餌活動が阻害され、授粉効果がもたらされない、紫外領域の波長が存在しない植物工場であっても同様に活発な授粉活動が行われない。 【0021】 また、ミツバチの死骸やフンが室内に散乱することで植物工場の衛生面に悪影響を与える恐れがある。 【0022】 さらに、ミツバチが世界的に減少しており、ミツバチの入手が困難になってきている。 【0023】 現在、イチゴの人工授粉方法としては筆を用いた人の手による授粉が一般的である。しかし、筆による授粉では作業者によって授粉方法に差が生じやすく、均一な授粉処理が難しいといえる。さらに、イチゴ花を一つずつ処理する必要があるため多大な時間と労力が必要になる。 【0024】 植物工場にてイチゴの栽培が可能となれば価格の安定化が見込めるが、授粉方法がボトルネックになっているという背景に加え、ミツバチ以外の授粉方法がほとんど議論されていない。植物工場におけるイチゴの授粉処理として求められている条件は、工場の衛生面に害を及ぼさないこと、繊細な授粉が可能であること（奇形果を発生させないこと）、処理の自動化が可能であることが挙げられる。 【0025】 本実施の形態では、これらの条件を満たす新たな授粉方法として、超音波と三次元（3D）カメラを用いた人工授粉システムを提案する。 【0026】 （人工授粉システム） 図1は、本技術を適用した一本実施の形態に係る人工授粉システム1の概略構成を例示する模式的ブロック図である。本実施の形態に係る人工授粉システム1は、イチゴなどの作物の授粉、収穫、生育評価等を自動的に行うシステムであって、図1に例示するように、三次元センサ500と、画像認識装置（パーソナルコンピュータ（PC））600と、加振装置（超音波集束装置）400とを備える。三次元センサ500は、作物のカラー画像（XY画像）と該作物までの距離情報（Z画像）とを含む三次元情報を取得する。画像認識装置600は、三次元センサ500が取得した三次元情報から、花や果実などの対象物体の認識モデルを作成し蓄積する学習処理部650と、三次元情報に対して所定の画像処理を行い、学習処理部650が作成し蓄積した認識モデルを用いて対象物体を認識し、該対象物体の位置を取得する画像処理部（花認識処理部）630とを備える。加振装置（超音波集束装置）400は、画像認識装置600が取得した対象物体の位置および距離情報に基づいて、対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う。 【0027】 ここで、学習処理部650は、花や果実などの単一学習データのみを用いるのではなく、花や果実などの対象物体と、対象物体に類似する葉、茎、背景などの類似物体と、花の向き、開き具合、散り具合などの対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、対象物体の認識モデルを作成し学習データ650として蓄積する。機械学習アルゴリズムは、サポートベクターマシンと、ディープラーニングとのうちの少なくとも1つを含み、各々のカテゴリでの結果信頼度を組み合わせることにより、認識信頼度を向上させることができる。 【0028】 また、対象物体の認識モデルを作成し学習データ760として蓄積するための学習用サーバー700を備えても良い。学習用サーバー700は、図1に例示するように、画像認識装置600からの画像データや外部カメラ800などからの画像データを保存するアーカイブ740と、対象物体の認識モデルを作成し学習データ760として蓄積する学習処理部750とを備える。 【0029】 なお、学習用サーバー700は、画像認識装置600内に備えるようにしても良い。 【0030】 画像処理部630は、三次元センサ500により取得されたカラー画像をグレースケールに変換し、変換後のグレー画像に対してCanny関数を用いることで輪郭画像を抽出する。 【0031】 また、画像処理部630は、抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施すように構成される。 【0032】 また、画像処理部630は、平均化された画像上の各領域におけるRGB情報を、対象物体の認識モデルに入力し、その領域の色が対象物体と同様の色であるか否かを判断することでカラー画像上における対象物体の候補を絞るように構成される。 【0033】 また、画像処理部630は、対象物体の候補とされている領域のうち、対象物体ではない（「対象物体のようであるが、対象物体ではない」）とみなした領域をノイズとして除去するように構成される。 【0034】 三次元センサ500は、カラー画像と距離情報を取得する3Dカメラであっても良い。距離情報は、赤外線を用いて取得しても良い。 【0035】 三次元センサ500と画像認識装置600とは、それぞれのUSBポート510・610を介してUSB接続され、三次元センサ500から画像認識装置600には作物のカラー画像（XY画像）と該作物までの距離情報（Z画像）とが供給され、画像認識装置600から三次元センサ500の電源回路411・412にはDCジャック410を通じて電力が供給される。 【0036】 また、本実施の形態に係る人工授粉システム1は、超音波集束装置に電力を供給するバッテリ210とスイッチングレギュレータ220とを備える。 【0037】 また、画像認識装置600と超音波集束装置400とは、それぞれのUSBポート615とUSBボード430を介してUSB接続され、画像認識装置600から超音波集束装置400には画像認識装置600が取得した対象物体の位置および距離情報（振動場所、強度、周波数制御などの情報）が供給される。対象物体の位置および距離情報は、FPGA（Field-Programmable Gate Array）ボード420に供給され、複数の超音波スピーカ442をそれぞれ駆動する複数のドライバ回路441の動作を制御する。 【0038】 音波には音響放射圧があり物体に対して力を及ぼすことが可能である。また、図2に例示するように、音波は、周波数が大きくなるほど（波長λが短くなるほど）指向性が高くなるという性質を持つ。このことから、超音波の音響放射圧を利用した触覚ディスプレイとして超音波集束装置400を用いる。 【0039】 図3は、本技術を適用した一実施の形態に係る人工授粉システム1における三次元センサ500（3Dカメラ（5002））、スイッチングレギュレータ220および超音波集束装置400の外観を例示する。 【0040】 3Dカメラ（5001、5002）ではカラー画像の他に距離情報も取得するため、カメラに映った物体の3次元位置情報を得ることができる。この3Dカメラ（5001、5002）と超音波集束装置400を組み合わせることで、空間上の特定の座標に対して超音波を照射し加振するデバイスの作成が可能となる。 【0041】 本実施の形態に係る人工授粉システム1は、3Dカメラ（5001、5002）でイチゴなどの作物の花を認識し、得られた位置情報に対して超音波集束装置400から超音波を照射し花を振動させ授粉を行うように構成される。 【0042】 一般的に画像処理によって物体を認識する場合、対象となる物体の特徴を検出することで候補を絞る。このとき、特徴量として多く用いられるものは色情報と形状情報である。既往の花認識用のシステムとして、色情報として色集団、形状情報として重心輪郭間距離と輪郭のヒストグラムを利用し作成された花の画像検索システムがある。このシステムでは近似色の集合を色集団として特徴づけ、物体の重心から輪郭までの距離の平均および輪郭の角度を形状情報として特徴づけている。 【0043】 しかし、既往の花認識用のシステムは画像検索用のシステムがほとんどで、本実施の形態に係る人工授粉システム1のように画像の中から特定の花のみを検出するものではない。画像検索用のシステムでは、入力画像として正面から撮影した花のみを用いることができるが、実際に栽培している状態のイチゴ花を撮影するため、被写体の角度にばらつきが生じてしまう。この場合被写体の向きによって形状情報が大きく異なるため、形状による特徴づけが困難となる。 【0044】 そこで、本実施の形態に係る人工授粉システム1では、色情報を主要な特徴としてイチゴの花を認識する。 【0045】 本実施の形態に係る人工授粉システム1では、人工授粉のための超音波集束装置400と画像を取得するための3Dカメラ（5001、5002）を使用し、プログラミングを用いた画像認識装置600を備える。これらの使用機器とシステム環境の詳細を以降に詳細に説明する。 【0046】 （超音波集束装置） 先述した通り、本実施の形態では超音波によって花を加振させ授粉を行うため、加振装置として超音波集束装置400を用いる。図4に超音波集束装置400の仕様を示す。 【0047】 超音波集束装置400は、非接触で作用力を発生させる触覚ディスプレイである。バーチャルリアリティ（VR）技術を組み合わせることで、VR空間上の物体に触れたときに、超音波によって皮膚を刺激し触覚へのフィードバックが行われるように構成されている。 【0048】 超音波集束装置400には前面にn個（例えばn＝285）の超音波振動子（トランスデューサ（XDCR））442が搭載されており、各振動子から超音波を発生させることができる。それぞれの振動子から発生される超音波の放射圧は微力であるが、フェーズドアレイ技術によって超音波を1点（焦点（Focal Point））に集束させ、大きな放射圧を発生させることができる（図5（a）および図5（b）参照）。フェーズドアレイ技術は、各振動子の位相を制御し、空中に単一の焦点を結ぶ技術である。また位相を制御することで焦点の位置を変えることもできるため、離れた場所から空間中の任意の位置に力を発生させることができる。この技術によって、3Dカメラで検出された位置情報の点に超音波の焦点を結び、対象物体（例えば、イチゴの花）を振動させることができる。 【0049】 図5（b）において、n番目の超音波振動子（トランスデューサ）からまでの伝搬時間Tnは以下の式で表される。 【0050】 Tn＝dn／c ここで、Tnはn番目の超音波振動子（トランスデューサ）から焦点（Focal Point）までの伝搬時間、cは、超音波の速度、dnは、n番目の超音波振動子（トランスデューサ）から焦点（Focal Point）までの距離である。 【0051】 また、超音波集束装置400からは、例えば周波数40kHzの超音波が照射されるが、これをパルス照射することで疑似的に低周波数に変調することができる。図6に例示するように、例えば、40kHzの超音波を1／30秒間隔で発生させることで30Hzの音波に変調できる。これによって、超音波の高い指向性を維持しつつ、イチゴ花を振動させることができる周波数の音波を発生可能となる。 【0052】 図7は、本実施の形態の超音波集束装置400に搭載される制御基板およびスピーカアレイ基板の構成例を模式的示す。制御基板は、先に説明した、DCジャック410とFPGAボード420とUSBボード430とを備える。スピーカアレイ基板は、先に説明した、複数（例えば285個）の超音波振動子（超音波スピーカ）442と複数（例えば285個）のドライバ回路441（図示省略）とを備える。制御基板とスピーカアレイ基板とは、それぞれの接続用コネクタ454・453，451・452を介して、互いに接続される。 【0053】 （三次元センサ） 本実施の形態では、3次元空間における対象物体（例えば、イチゴの花）の位置情報を得るため、距離情報の取得が可能な3Dカメラ（5001・5002）を用いる必要がある。距離情報を取得できる代表的なカメラとしてKinect for Windows v2（Microsoft、以下、Kinect）（5002）、RealSense 3D Camera（Intel、以下、RealSense）（5001）がある（図8（a）および図8（b）参照）。 【0054】 図9に示す仕様の通り、両機ともカラー画像と距離情報とを取得することができ、それらの解像度やフレームレートには大きな差がないが、距離認識範囲において差が見られ、Kinect（5002）は中長距離の認識に適しており、RealSense（5001）は近距離の認識に適している。例えば多段式の密植栽培など、装置の稼働に省スペース化が求められ場合には、近距離の認識を行うことのできるRealSense（5001）が適している。 【0055】 （システム環境） 画像処理によるイチゴ花の認識システムを構築するために、プログラムを作成した。プログラミング言語はC＋＋を用い、Visual Studio 2013にて開発を行った。3DカメラとしてRealSense（5001）を利用するため、Intel RealSense SDKを導入した。このSDKによってRealSense（5001）から取得したカラー画像や距離画像を処理することが可能となる。また、画像処理のライブラリとしてOpenCV 3．0を導入した。OpenCV（Open Source Computer Vision Library）はIntelとWillow Garageが開発・公開しているオープンソースのコンピュータービジョン用ライブラリである。さらに、色情報を学習させるツールとしてサポートベクターマシンを採用した。このサポートベクターマシンのライブラリとしてLIBSVMを導入し開発を行った。 【0056】 （学習処理部） 本実施の形態では、イチゴ花を認識するため、サポートベクターマシンを用いてイチゴ花の特徴量を学習した。サポートベクターマシン（SVM（Support Vector Machine））は、パーセプトロン型のパターン認識手法ある。本来線形の識別機であるが、カーネル関数と組み合わせることで非線形に容易に拡張できる。本実施の形態では、サポートベクターマシンによってイチゴ花のRGB情報を学習し、画像処理システムに組み込む。 【0057】 － 学習データ － 愛媛県のイチゴ農場（品種：紅い雫）で撮影された189枚の栽培中のイチゴ画像から学習データを作成した。イチゴ花の色情報として104サンプル、背景の色情報として100サンプル、さらにハレーションが発生した葉の色情報を50サンプル抽出した。 【0058】 ハレーションは、強い入射光によって被写体が白くぼやけてしまう現象である。植物の葉はクチクラ層を持つためこの現象が起こりやすい。クチクラ層では鏡面反射が発生するため、強い入射光がそのままの強度で反射してしまう。このようにハレーションが起こってしまった葉は、白く映り、イチゴの花の色情報と近い値を示す可能性があるため背景情報とは別に学習させる。 【0059】 それぞれ抽出したサンプルのうち半分を教師用データとし、残りの半分をテスト用データとする。 【0060】 － 学習方法 － 本実施の形態では、カーネル関数としてRBF（Radial Basis Function）カーネルを用いて学習を行う。学習プログラムのコードはLIBSVMにパッケージされているサンプルコードを参考に作成する。 【0061】 サポートベクターマシンでは、線形分離不可能な入力xであっても適当な非線形変換φを使うことで高次元な特徴空間φ（x）へ写像し線形分離を可能にする。このとき、φ（x）の内積をカーネル関数Kで置き換えることで、φを具体的に求めず計算することが可能となる。これをカーネルトリックと呼ぶ。 【0062】 RBFカーネルは、ガウシアンカーネルとも呼ばれ、サポートベクターマシンの利用において最もよく用いられるカーネル関数の一つである。RBFカーネルは以下のような式で表される。 【0063】 K（x，x′）＝expγ（－γ｜｜x－x’｜｜2） RBFカーネルでは上式におけるγの値が小さいほど単純な境界となり、大きいほど複雑な境界になるという性質を持つ。また、許容誤差を決定するパラメーターとしてコストパラメーターCを用いる。これらγとCとの2値を正しく定めることにより、より適切な境界を導き出すことができる。 【0064】 これらの値を定めるための手法としてグリッドサーチがある。グリッドサーチでは、γとCとの値をそれぞれ変化させ境界を作成し、その精度を調べ格子状の表に表す。これによって適切なγとCとの組み合わせを調査することが可能になる。 【0065】 図11に例示するように、本実施の形態における学習のデータでも、グリッドサーチを行い適切な2値の組み合わせを調査した。両者の常用対数をとってグリッドサーチを行ったところlog10γ＝－3、log10C＝2のときに最大の精度となった。そこで、γ＝0．001、C＝100と設定してサポートベクターマシンを用いたイチゴ花識別モデルの作成を行った。 【0066】 － 学習モデル検証結果 － 前述した通り、「イチゴ花」、「背景」、「ハレーションした葉」の3種類のサンプルを用意し、そのうち半分を学習データとして用いてイチゴ花識別モデルの作成を行った。その後、作成されたモデルの認識精度を調査するため、残りのサンプルについてモデルによる識別を行った。ここで、認識率は、花を花とみなした割合（真陽性率）とし、誤認識率は、花以外を花とみなした割合（偽陽性率）とする。その結果、図12に例示するように、認識率は98．1％と非常に高い値となった。また、誤認識率に関しても1．3％と非常に低く、花のみを的確に識別することができていることがわかる。図13に例示するように、作成した識別モデルを3Dモデルで確認すると、イチゴ花として認識する範囲がイチゴ花のサンプル点にフィットしていることが確認できる。図13において、プロット記号□は、イチゴ花であり、プロット記号▲は、背景であり、プロット記号■は、ハレーションした葉であり、網掛け領域は、イチゴ花認識範囲である。 【0067】 以上より、今回作成されたモデルがイチゴ花認識モデルとして妥当であり、このモデルを画像認識装置600に組み込むことができる、ということがわかる。 【0068】 － 学習処理プログラム － 図10は、実施の形態に係る人工授粉システム1における画像認識装置600の学習処理部650が実行する学習処理プログラムの一例を示すフローチャートである。同様の学習処理プログラムを学習サーバー700の学習処理部750が実行することもできる。なお、学習処理プログラムは、画像認識装置600（あるいは学習サーバー700）に内蔵する不図示の記憶装置に格納しても良いし、不図示の着脱可能な記憶メディアに格納しても良いし、不図示の通信媒体を介して、画像認識装置600（あるいは学習サーバー700）にロードするようにしても良い。 【0069】 ステップS310において、基本学習用画像として、例えば100枚程度の画像データを読み込む（アーカイブ640）。 【0070】 ステップS315において、読み込んだ画像データの対象領域を切り取り（抽出し）、ステップS320において、抽出した領域画像に「花1」IDを付与し、ステップS325において、ディープラーニングによる機械学習（基本学習）を実行する。 【0071】 ステップS330において、強化学習用画像として、例えば1000枚～10000枚程度の画像データを読み込む（アーカイブ640）。 【0072】 ステップS335において、色・輪郭情報による候補領域を抽出し、ステップS340において、ディープラーニングによる「花1」IDを認識する。 【0073】 ステップS340における認識結果が花である場合（目視による確認）（ステップS345）、ステップS350において、認識領域の拡大処理（例えば2倍）を行い（線形補完法）、ステップS351において、「花＋」IDを付与するとともに、ステップS355において、認識領域の拡大処理（例えば2倍）を行い（線形補完法）、ステップS356において、「花－」IDを付与して、ステップS370において、ディープラーニングによる機械学習（強化学習）を実行する。その後、ステップS390において、学習データ660として保存する。 【0074】 それに対して、ステップS340における認識結果が花でない場合（目視による確認）（ステップS345）、認識結果に応じて、「蕾」ID（ステップS360）、「葉・茎」ID（ステップS361）、又は「背景」ID（ステップS362）を付与して、ステップS370において、ディープラーニングによる機械学習（強化学習）を実行する。その後、ステップS390において、学習データ660として保存する。 【0075】 一方で、ステップS340における認識の結果、それ以外の領域に花がある場合（目視による確認）（ステップS365）、ステップS366において、画像データの対象領域を切り取り（抽出し）、ステップS367において、抽出した領域画像に「花1」IDを付与して、ステップS370において、ディープラーニングによる機械学習（強化学習）を実行する。その後、ステップS390において、学習データ660として保存する。 【0076】 それ以外の領域に花がない場合（目視による確認）（ステップS365）、処理を完了し（ステップS365）、学習データ660として保存する（ステップS390）。 【0077】 （画像処理部（花認識処理部）） － 画像処理プログラム － 学習処理部650（あるいは学習処理部750）で得られた識別モデルを用いて作成された画像処理プログラム例は、図14に例示するフローチャートに沿って、画像認識装置600の画像処理部630により処理される。なお、画像処理プログラムは、画像認識装置600に内蔵する不図示の記憶装置に格納しても良いし、不図示の着脱可能な記憶メディアに格納しても良いし、不図示の通信媒体を介して、画像認識装置600にロードするようにしても良い。 【0078】 実施の形態に係る人工授粉システム1のうちの少なくとも超音波集束装置400は、イチゴの栽培区画を移動して、すべての花に授粉処理を行うことを想定しているため、初めにすべての区画で授粉が完了しているかの確認を行う（ステップS110）。授粉が完了している場合は処理を終了するが、完了していない場合は授粉処理に移行する。授粉処理では、まず3Dカメラ（500）から画像を取得し内部で処理を行うことでイチゴの花を認識する。その後、認識したイチゴの花に超音波を照射することで加振し、次の区画へ移動させる。 【0079】 ＜ 画像取得 ＞ 画像処理プログラムでは、初めに、3Dカメラ（500）からカラー画像と距離情報とを取得する（ステップS115）。カラー画像は、例えば640×480のサイズで取得し、各画素にはRGB情報が含まれている。距離情報は、例えば200mmから1200mmの範囲までを取得し、それ以外の範囲は認識の対象外としても良い。また、200mmから1200mmまでのデータを、例えば256等分して、グレースケールデータに当てはめることで、距離データを画像として出力できるよう変換する。これによって後述のインターフェース出力においてカラー画像と合わせて距離画像が目視で確認できるようになる。 【0080】 Real Sense 3D Camera（5001）ではカラーカメラと距離センサの位置とにずれがあるため、取得されるカラー画像と距離画像の座標系とが異なっている。そのため、カラー画像上の物体の正確な距離を計測するために、Real Sense SDKには、座標変換を行う関数としてProjectColorToCamera関数、およびProjectDepthToCamera関数がある。この関数では、カラー・距離画像を、カメラを中心とした実際の3D空間の座標に変換することが可能である。これによって、それぞれの座標を実空間座標に変換し、そのままのデータを超音波集束装置400で利用することが可能となる。ただし、実施の形態に係る人工授粉システム1では、超音波集束装置400の上部に3Dカメラ（500）を取り付けるため、その分の高さと幅の補正が必要となった（図3参照）。この距離は、計測によって求め、一例として、補正値をx軸方向に＋30mmとし、y軸方向に＋115mmとした。 【0081】 ＜ 輪郭抽出 ＞ 次に、イチゴ花の領域を明確にするため、画像の輪郭抽出を行う（ステップS120）。この輪郭抽出処理では、まず、得られたカラー画像を例えばグレースケールに変換し、このグレー画像に対して例えばCanny関数を用いることで輪郭の抽出を行う。Canny関数はOpenCVの導入によって利用可能となる関数の一つであり、Canny法を用いた輪郭の抽出を行うことができる関数である。 【0082】 Canny法は、輪郭抽出のためのアルゴリズムであり、複数ステップによって抽出が行われる。まず画像を平滑化しノイズを削減する。輪郭抽出は画像中のノイズに対して敏感なためである。次に画像の輝度勾配と方向を以下の式から求める。 【0083】 【数1】 【0084】 上式において、GxとGyはそれぞれ画像を縦方向と横方向に1次微分したときの値である。輝度勾配が大きい画素は、大きな色の変化が起きている部分であり、輪郭である可能性が高いといえる。勾配方向と強度の計算後は、輪郭と関係のない画素を取り除く。具体的には、例えば、勾配方向に沿って輝度勾配が極大値なる画素のみを輪郭の候補として残し、他を取り除くという処理である。最後に輝度勾配の閾値による処理が行われる。閾値としてはmaxVal（最大閾値）とminVal（最小閾値）が用いられる。maxVal以上の微分値をとる輪郭は正しい輪郭とみなされるが、maxVal以下の輪郭は誤りとみなされ除外される。ただし、例えば、maxVal以下であってもminVal以上で、かつmaxVal以上の輪郭とつながっていれば正しい輪郭としてみなされる。これによって最終的に画像中の強度の大きい輪郭を検出することができる。 【0085】 OpenCVのCanny関数では上記のすべての処理が実行される。この処理によって作成された輪郭画像について、さらに膨張・縮退処理を行い、ノイズを除去する。この処理では、輪郭の画素に接する画素を同様に輪郭とみなす処理（膨張）と輪郭以外の画素と接する画素を同様に輪郭以外とみなす処理（縮退）を繰り返すことで、輪郭とそれ以外をより明確に区別することが可能になる。本実施の形態では、例えば、膨張を4回、縮退を3回行うことによって、Canny関数で得られた輪郭よりも一回り太い輪郭が得られるような処理を施す。 【0086】 ＜ 色の平均化 ＞ ステップS120で得られた輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す（ステップS125）。輪郭内の色を平均化することで、各物体の色を明確にすることができ、色による識別が容易になる。また、ハレーションした葉を含む領域であっても、ハレーションしていない部分との平均をとることでイチゴ花との色の違いが明確に現れる。 【0087】 処理方法としては、例えば、まず、ステップS120で作成した輪郭画像をカラー画像に重ね合わせ、ラベリングを行う。OpenCV 3．0にはラベリング関数が用意されており、画像上の区切られた領域を一つ一つ異なるラベルの領域として認識することができる。ラベリングされた領域内のRGB情報を合計し画素数で割ることで領域におけるRGB情報の平均値を算出し、ラベル毎に色を平均化する。 【0088】 ＜ 学習モデルによるイチゴ花認識 ＞ ステップS125で平均化された画像の中から、学習処理部650（あるいは学習処理部750）で作成された学習モデルによってイチゴ花の認識を行う（ステップS130）。例えば、平均化された画像上の各領域におけるRGB情報をイチゴ花認識モデルに入力することで、その領域の色がイチゴ花と同様の色か否かを判断し、これによって画像上のイチゴ花の候補を絞ることができる。 【0089】 ＜ ノイズ領域の除去 ＞ これまでの処理でイチゴ花の候補とされている領域のうち、明らかに花ではないと考えられる領域をノイズとして除去する（ステップS135）。 【0090】 まず、領域の大きさに関する閾値を設ける。例えば、花とみなす領域の大きさを200画素以上10000画素以下とし、それ以外の領域はノイズとして除去するようにしても良い。 【0091】 次に、距離による閾値を設ける。一定以上カメラから離れた領域は背景とみなしてイチゴ花の候補から除外することができる。例えば、カメラとイチゴ花の距離がおおむね20cmから40cmである場合、カメラから40cm以上離れている領域を除去するよう設定しても良い。 【0092】 最後に、輪郭に直線を含む領域をノイズとするプログラムを組み込む。例えば、イチゴの花の輪郭は基本的に丸みを帯びており、カーブによって構成されている。そのため直線を含む領域はイチゴ花以外の葉や茎などと考えられる。直線の検出にはOpenCVに用意されているHough変換の関数を用いる。Hough変換では直線を以下のような式で表わされる。 【0093】 ρ＝x＊cosθ＋y＊sinθ ここで、x、yは輪郭上のある点の座標であり、ρは原点からの距離であり、θは原点とのなす角である。Hough変換では、この式に従って輪郭上のすべての点をρとθのグラフで表す。各点について作成されたグラフ同士が多く交差する点が、複数の点から強く予測される直線のパラメーターとされる。このような処理で直線が存在するとみなされた輪郭を持つ領域は、イチゴ花の領域ではないと考え除外するようにしても良い。 【0094】 以上の項目で除外されなかったイチゴ花の候補を、最終的なイチゴ花の領域として認識する ＜ インターフェースへの表示 ＞ 最終的にイチゴ花として認識した領域をラベリングし、図16に例示するような画像認識装置（PC）600の画面のユーザインターフェース（I／F）620上に表示する（ステップS140）。 【0095】 ユーザインターフェース620上には、例えば、カラー画像（XY画像）621、イチゴ花認識画像623、距離画像（Z画像）622の3種類の画像が映し出される。カラー画像621にはカラーカメラから取得された画像が映し出されており、イチゴ花認識プロセスによって認識された領域625が矩形で示されている。イチゴ花認識画像623にはイチゴ花の候補領域が映し出されている。ノイズとして除去される領域も除去理由によって異なる着色がされて映し出されても良い（一例としては、青：面積による除去、紫：距離による除去、赤：直線検出による除去、といったように区別して表示しても良い）。距離画像622には三次元センサ500から取得した距離情報を色調に変換して表示しており、対象がカメラに近いほど色が濃く、遠いほど色を薄くしても良い。 【0096】 ユーザインターフェース620上で授粉に関するパラメーターなどを調整することも可能である。例えば、カラー画像621下の操作部628のバーでは超音波の変調周波数を変更するように構成しても良い。距離画像622の右隣の操作部629のバーでは、例えば、イチゴ花として認識する最大・最小領域の調整や、認識する距離の調整、また超音波の照射時間の変更が可能であるに構成しても良い。 【0097】 超音波授粉の開始などもユーザインターフェース620上の操作部629で行うこともできる（STARTボタン）。また、設定と画像の保存、装置の移動に関する操作を行うこともできる（SAVEボタン、CAPTUREボタン、MOVEボタン）。授粉の繰り返し、授粉と移動の繰り返しの指定も可能であり、実際の現場ではこの操作によって全自動で授粉処理を行うことができる（Moveボタン、Repeatボタン）。 【0098】 ＜ 超音波集束装置による加振 ＞ イチゴ花の3次元空間における重心位置を超音波集束装置400に送り、超音波による授粉を実行させる（ステップS145）。Real Sense 3D Camera（5001）は、例えば、超音波集束装置400の上部に取り付けられているため、カメラの座標系から超音波集束装置400の座標系に変換する必要がある。補正値は、ステップS115の画像取得処理で説明した通り、x軸方向に＋30mm、y軸方向に＋115mmとしても良い。一画面中に含まれるすべてのイチゴの花に超音波の照射を行い、完了後次の区画へ移動し再び画像取得からループする（ステップS150→ステップS110）。 【0099】 図15は、図14に例示した画像処理プログラムにおける学習モデルによるイチゴ花認識処理の一例を示すフローチャートである。 【0100】 ステップS210において、画像を取得し（ステップS330に対応）、ステップS220において、色・輪郭情報による候補領域を抽出し（ステップS335に対応）、ステップS230において、ディープラーニングデータによるID認識を行う（ステップS340に対応）。 【0101】 ステップS230の認識結果に応じて、「花1」（ステップS231）、「花＋」（ステップS232）、「花－」（ステップS233）、「蕾」（ステップS234）、「葉・茎」（ステップS235）、「背景」（ステップS236）、「認識なし」（ステップS237）のいずれかに進む。 【0102】 ステップS240において、「花1」、「花＋」、「花－」のいずれかの信頼度スコアが高ければ、花として認識し（ステップS250）、そうでなければ、その他のもの（花以外のもの）として認識する（ステップS260）。 【0103】 （認識精度の検証） 本技術を適用した一実施の形態に係る人工授粉システム1を用いて認識精度の検証を行った。検証には愛媛県のイチゴ農場で撮影された計147花のイチゴ花を含む110枚の写真を用いた。この画像は学習に用いた画像とすべて異なる画像である。これらすべての写真を画像認識装置600に通し、写真中のイチゴ花の場所を判断させた。認識終了後画像を確認し、正しく認識した数と誤って認識した数を数えることで認識精度を測定した。 【0104】 画像認識装置600の精度を検証した結果、総イチゴ花数147花に対して、認識できた花の数は138花となり、認識率は93．9％となった（図17）。また、イチゴ花以外を誤って花と認識してしまった回数が計50回あり、この誤認識は総認識数のうち26．6％を占めた。誤認識の内訳は、葉が7回、花弁が散った後の花が36回、その他栽培ベッドのバーなどが7回であった。 【0105】 実施の形態に係る人工授粉システム1では、90％以上の認識率を達成した。サポートベクターマシンによる適切な閾値設定と輪郭抽出による誤認識削減による効果が確認できた。より複雑なモデルや処理を設定することによって誤認識をより低減させることも可能である。 【0106】 （授粉実験） － 第1の実験 － 本技術を適用した一実施の形態に係る人工授粉システム1を用いた授粉実験（第1の実験）を愛媛県のイチゴ農場（品種：紅い雫）にて行った。本実験では超音波授粉の効果を検討するだけでなく、超音波の適切な変調周波数を調査することも目的とした。適切な変調周波数を定めることでより効率的に授粉処理を行うことができ、可販果率の向上が見込まれる。 【0107】 本実験では、計198花のイチゴ花を用いた。本実験では超音波授粉の効果を検討するため超音波授粉区（10区画）と筆授粉区（2区画）、無処理区（2区画）を設けた。筆授粉区では筆を用いておしべから放出された花粉をめしべに付着させる処理を行った。さらに、適切な変調周波数を調査するため、超音波授粉区の変調周波数を10Hz～100Hzまで10Hz刻みで10区画に分けて実験を行った（図18）。また、超音波の照射回数は1花につき1回、照射時間は2秒間とした。 【0108】 本実験では栽培棚として移動式の栽培ベッド（1）～（16）が用いられた。イチゴ花を栽培している複数の栽培ベッド（1）～（16）をローテーションさせることができる（図19）。そのため、今回の実験では超音波集束装置400を1か所に固定し、超音波集束装置400が授粉可能な範囲を処理する毎に栽培ベッド（1）～（16）を移動させ、新たに処理を繰り返すという方式をとった。 【0109】 無処理区を除いた各区で授粉処理を行い、収穫後の可販果率を調査した。可販果率は授粉を行った花のうち正常果が収穫できたものの割合である。 【0110】 各実験区での可販果数と可販果率を図20に示す。超音波授粉区において可販果率は最高で91．7％となったが、低いところでは36．4％となった。筆授粉区に関してはどちらの区も約60％程度の可販果率となった。無処理区に関してはばらつきがあったものの、どちらも低い値となった。 【0111】 まず、超音波授粉区における周波数毎の結果について考える（図21）。この超音波授粉区では変調周波数が40Hzのとき可販果率91．7％となり、最も良い結果を示した。 【0112】 周波数によって着果率や奇形果発生率に変化が表れるとするならば、その原因は超音波照射時におけるイチゴ花の物理的な挙動に起因すると考えられる。この挙動の指標の一つとして振幅が挙げられる。そこで、ハイスピードカメラを用いて周波数毎の振幅の調査を行った。ハイスピードカメラで加振中のイチゴ花を撮影し、その振幅を計測した（各周波数につき10花（図22））。その結果、10Hzにて最大の振幅となったが、30Hz～100Hzでは有意差が見られなかった（ANOVA4による分散分析、有意水準p＝0．05）。この結果と授粉実験の結果の間には相関がみられないため、振幅がイチゴの授粉に与える影響は小さいと考えられる。 【0113】 次に、最も結果の良かった40Hzの超音波授粉と、筆授粉および無処理を比較した（図23）。グラフより40Hzの超音波授粉区が最も高い可販果率を示すことがわかる。超音波授粉では、指向性の高い超音波を用いることによってイチゴの花のみを的確に加振し、めしべに満遍なく授粉を行うことができる。そのため、奇形果の発生が抑えられ、可販果率が上昇したと考えられる。筆授粉区では無処理区よりも高い可販果率となったが、やはり人手によって行われるものであるため花粉を付着させられていない部分が発生し、可販果率の低下が引き起こされていた。無処理区でも風や栽培ベッドの振動によって授粉されていたものがあったが、多くは奇形果となっており、適切な授粉処理の必要性が示唆された。 【0114】 － 第2の実験 － 第1の授粉実験の再現性を確認するため、再度授粉実験（第2の実験）を行った。第2の授粉実験でも同様に超音波授粉区の変調周波数を10段階にわけ、最適な授粉方法の調査を目的とした。 【0115】 第2の実験では花数の都合上筆授粉区は設けず、無処理区に関しても1区画のみとした。超音波授粉区に関しては10Hz～100Hzの10区画を用意し花数は図24の通りに設定した。授粉回数は1花につき1回とし、授粉時間は2秒間とした。授粉処理が施されたイチゴについて、収穫後可販果率を調査し、その結果から授粉方法の評価を行った。 【0116】 各実験区での着果率と奇形果発生率は図25のようになった。超音波授粉区では50Hzのとき可販果率が最高の57％となったが、60Hz、90Hzでは0％となってしまった。一方、無処理区では可販果率が37％となった。 【0117】 周波数毎に比較すると50Hzの超音波授粉にて最も良い結果となっているが、全体的に可販果率が低く、あまり傾向が見られない（図26）。これは、比較的高い気温によって受精可能期間が短くなってしまったことに起因していると考えられる。 【0118】 そのような条件下ではあったが、最も成績の良かった50Hzの授粉区と無処理区を比較すると、やはり50Hzの方が高い可販果率となった（図27）。この結果から適切な周波数を設定することで超音波授粉の効果が発揮されることがわかる。 【0119】 第1回と第2回の授粉実験では、大きく傾向が異なったが、これは気温条件の違いによる影響が大きい。高温条件では受精可能期間が短く1度の授粉機会ではきれいに受精させることができなかったと考えられるため、第1の授粉実験の結果がより正確であると予想される。 【0120】 また、双方において特定の周波数であれば無処理や筆授粉よりも超音波授粉の方が高い可販果率を得られることがわかった。このことより、超音波の高い指向性はイチゴ花をピンポイントで加振し満遍なく授粉させ、きれいな果実を形成させることができるとわかる。 【0121】 － 第3の実験 － 第3の実験で行う授粉方法として、変調周波数を20Hz、40Hz、60Hzの3通り、加振時間を2秒、4秒、6秒、8秒の4通り用意した。実験区はこれらを組み合わせた3×4＝12通り用意し各授粉区にて10花の授粉を行った。 【0122】 第3の実験では授粉状況を定量的に評価するため、それぞれの実験区にてイチゴ花の蛍光画像を撮影した。 【0123】 蛍光画像を処理した結果、撮影された240枚（12区×10花×授粉前後）のうちイチゴ花粉の状況がはっきりと確認できたものは116枚であった。その他の画像については、授粉前後で蛍光分布に変化が見られない画像や、不鮮明で蛍光が確認しづらい画像となり、これらは花粉付着率0％の画像として扱った。 【0124】 第3の授粉実験で得られた蛍光画像についてめしべに対する花粉の付着率を以下の式によって定めた。 【0125】 めしべに対する花粉の付着率（％）＝花粉が付着しためしべの本数めしべの総本数×100 この付着率を各実験区について調べたところ、60Hz、8秒の区で最大の36．1％となり、60Hz、6秒の区で最小の10．2％となった（図28）。 また、イチゴ果実の収穫後、可販果率について各実験区で調査を行ったところ、20Hz、4秒と60Hz、8秒において最大の90％となり、60Hz、6秒にて最小の43％となった（図29）。また、蜂による授粉が行われた花についても調べたところ、可販果率は80％であった（n＝10）。 【0126】 初めに、めしべにおける花粉の付着率と可販果率の相関関係について調査を行った。12区画の花粉付着率と可販果率をそれぞれ横軸と縦軸にとり近似直線を引くと、傾きは正となり花粉付着率の向上が可販果率の向上につながっているとわかる（図30）。しかし、近似直線のR2値は0．4239となり、相関はあまり強くないことがわかった。 【0127】 これは、蛍光画像の撮影環境の不安定性に起因している。本実験では撮影した240枚の画像のうち蛍光が確認できたものは約半分の116枚であった。今回蛍光が得られなかった画像はすべて花粉付着率0％の花として扱ったが、実際には撮影環境の不安定性が原因できれいな画像が取得できないものもあったと考えられる。イチゴ花の角度は株によって大きく異なるため、各撮影にてイチゴ花に合わせたカメラと照明の角度を設定しなければならない。また、微弱な蛍光を撮影するので露光時間を長く設定しているが、その間のわずかな振動によるブレが大きく反映されてしまう。これらの外的要因によって正確な撮影画像の枚数が減少し、実験区毎の花粉付着率を正しく反映することができていなかったと考えられる。そのため、可販果率との正確な相関を得るためには、実験系を確立し撮影環境の安定性を向上させる必要がある。 【0128】 次に、授粉実験としての結果を考察する。超音波授粉を行った12区画において、可販果率は最大で90％となり平均では76．3％であった。ただし、60Hz、6秒の区では可販果率が43％と極端に低い値になった。そこで、このデータに対して外れ値検定（スミルノフ・グラブス検定）を行うと、5％の有意水準にて外れ値とみなされた。これより、外れ値を除いた可販果率の平均値を求めると79．3％となった。また、今回実験を行った植物工場にて、蜂による授粉が行われたイチゴ花10花についても調査を行ったところ、可販果率は80％であった（図31）。図31に例示するように、超音波授粉では平均でも蜂授粉と同等の可販果率となり、最大の区では蜂授粉を上回ることがわかる。これは、授粉処理において実施の形態に係る人工授粉システム1が蜂の代替手段になりうるということを示している。 【0129】 ただし、各授粉区の可販果率に着目すると、加振時間や変調周波数によってあまり大きな傾向が見られないこともわかる（図32）。このことから、少なくとも今回設定した範囲において、加振時間や変調周波数は有意性のある要素でないと推察される。各実験区についてより詳しく分析すると、加振時間毎の可販果率の平均値は4秒において最大となり（図33）、変調周波数については40Hzで最大となることがわかった（図34）。そこで、あえて超音波授粉の最適な設定を一つに定めるとするならば、4秒、40Hzの設定が妥当であると考える。 【0130】 [変形例] （変形例1） 本技術を適用した一実施の形態の変形例1で用いる3Dカメラ500は、Senz3D（5003）である。このカメラは、カラー画像の他に距離データを取得することができるため、物体の3次元座標を取得することが可能である。カラーカメラの解像度は1280×720、距離センサの解像度は320×240、距離センサの有効認識距離は15～100cmである。このカメラを超音波集束装置400に搭載した（図35）。 【0131】 図37は、変形例1における人工授粉システム1の画像認識装置600による画像処理結果（花画像と葉画像のR値のヒストグラム）の一例を模式的に示す。また、図38は、変形例1において画像認識装置600が実行する画像処理プログラムの一例を示す。 【0132】 まず、Senz3D（図35のカメラ）から、カラー画像（RGB）と深度情報（ZC）を取得する（ステップS410）。まず、画像処理によってイチゴの花を認識するため、イチゴの花とイチゴの葉の色のヒストグラムを比較する。植物工場で撮影したイチゴの画像から花と葉を抜き出し、それぞれのヒストグラムを作成したところ、赤色のヒストグラムに大きな差が見られた（図35）。 【0133】 そこで、カラー画像からRの値だけ抽出し、閾値を設け二値化し、花と葉を区別する（ステップS410～S420）。その後、二値化された画像に対してラベリングを行う（ステップS430）。ラベリングとは二値画像の連結成分毎に異なったラベルを付けることで特定の領域を検出する画像処理方法である。検出された領域の重心を計算し、各領域の重心座標を取得する（ステップS430～S440）。ラベリングされた領域の中で小面積のものはノイズとして除去し（ステップS445）、さらに、距離画像を利用して、一定距離よりも遠いものも背景として除去する（ステップS450）。これらの処理で除去されなかった領域を花とみなし、この領域の重心に対して超音波を照射して加振を行う（ステップS455）。以上が授粉試験の際に使用したプログラムにおける画像処理の方法である（図38）。 【0134】 ただ、このプログラムでは、花と葉のヒストグラムの違いのみを利用して花を認識しているので、花のヒストグラムと同じようなヒストグラムを持つ領域（例えば、ハレーションを起こして白くなってしまっている葉）があれば、その領域も花と認識してしまう。 【0135】 （変形例2） 本技術を適用した一実施の形態の変形例2で用いる3Dカメラ500は、RealSense（5001）である。こカラーカメラの解像度が1920×1080、距離センサの解像度が640×480、有効認識距離が20cm～120cmである。また、RealSense（5001）には赤外線カメラが搭載されており、解像度は640×480とである。このRealSense（5001）を超音波集束装置400に搭載した（図36）。 【0136】 図39は、変形例2において画像認識装置600が実行する画像処理プログラムの一例を示すフローチャート。 【0137】 まず、RealSense（5001）から、カラー画像（RGB）、深度情報（ZC）に加えて赤外線画像（ZIR）を取得する（ステップS510）。 【0138】 そして、カラー画像をR値によって二値化し、さらに赤外線画像に関しても二値化を行う（ステップS510～S520）。その後、二値化されたカラー画像と赤外線画像に対してラベリングを行う（ステップS525）。ラベリングされた領域の中で小面積のものはノイズとして除去し、さらに、距離画像を利用して、一定距離よりも遠いものも背景として除去する（ステップS530～S575）。これらの処理で除去されなかったもののうち、カラー画像と赤外線画像の両画像において検出された領域を花の座標とし、この座標に対して超音波集束装置400より加振を行う（ステップS580～S590）。 【0139】 赤外線カメラには可視光によるハレーションが映らず、カラーカメラには赤外線によるハレーションが映らないため、カラー画像と赤外線画像を用いることによって、可視光と赤外線によるハレーションを防ぐことができる。 【0140】 （変形例2による実験） 変形例2では、超音波集束装置400の距離精度を測定する実験、イチゴの花の認識精度を測定する実験、そして超音波集束装置400による授粉と蜂による授粉の影響を比較する授粉試験を行った。 【0141】 － 装置の精度測定実験 － 超音波集束装置400の精度の測定を、RealSense（5001）を搭載した超音波集束装置400にて行った。超音波集束装置400は一定以上の大きさの白い領域を花として認識するので、精度測定では白色の円形の的を疑似花として利用した。まず黒い板に白色の的（直径20mm）を貼り、次に板を水で満たしたトレイに沈め、波紋によって振動点が視認できるようにし、各的を加振して実際に揺れた場所と的とのずれを測定した。奥行の誤差に関しては波紋から読み取ることができないので、照射された超音波に手をかざし最も力が強くなっている点を焦点と判断した。的は40×40cm2の範囲に縦横10cm間隔で合計25か所設置した。ただし、トレイにすべての的が入りきらなかったため、的を上下にずらし2回ずつ実験を行うことで、振動可能範囲全域を測定したものとした。的は上から1列、2列、…、5列、左からa行、b行、…、e行というように番号を付けた。また、装置と対象の距離による精度の差を調べるため、この距離を20cm、30cm、40cm、50cmの4通りに変化させ実験を行った。20cm未満ではカメラが対象との距離を認識することができず、50cm以上は超音波集束装置400の加振可能範囲外なのでこのような4水準を設定した。 【0142】 － 花の認識精度実験 － 超音波集束装置400で超音波を照射する位置の距離的な誤差を調査するだけではなく、画像認識装置（PC）600による画像処理によってイチゴの花をどの程度認識できるかの測定も行う。そのために、RealSense（5001）で植物工場内のイチゴを撮影し、図39に例示した画像処理プログラムを用いて画像処理を行ったときの花の認識率を測定する。 【0143】 測定方法としては、画像処理によって認識した花の位置をマークした画像を確認し、写真に写った花の数、正しく花を認識できた数、花以外の場所誤って花と認識してしまった数を調べ、そこから認識率及び誤射率を計算する。認識率とは、（正しく認識できた数）／（写真に写った花の数）、誤射率とは、（花以外の場所を誤って花と認識してしまった数）／（総認識数）と定義した。つまり、認識率が高ければ加振できている花の割合が高くなり、誤射率が高ければ花以外を加振している無駄な時間が多いということになる。同じ花を重複して2回以上認識してしまっている場合は、2回目以降を誤って認識したものとして測定を行う（図40）。 【0144】 － 授粉試験 － 授粉試験の対象株数は32株、対象果数は160～200果とした。超音波集束装置400による授粉を行う区画を実験区、蜂によって実験を行う区を対照区とした（図41）。 【0145】 実験区では、超音波集束装置400を台車に固定し栽培棚の間を移動させ授粉を行った。超音波の周波数は20Hzに変調して照射した。イチゴの花の固有振動数は既往の研究では25～30Hzとされていたが、今回の実験で実際に超音波を照射した際20Hzに変調した場合の方がより激しい振動を確認できたため20Hzにて実験を行うことにした。授粉は1日1回、15時から17時の間に行った。加振時間は2秒と10秒の2水準設けた（図42）。 【0146】 各区画において着果率を調べ、収穫後は果実の総重量、平均重量を測定した。また、規格に基づきカテゴリ分けを行った（図43）。 【0147】 （変形例2による実験結果） － 装置の精度測定実験結果 － 精度測定を行ったところ、水面にははっきりとした波紋が確認されたので、この波紋の中心点から的の中心点までの距離を測定した。装置と的との距離が20cmの場合では、誤差は最大でも10mmに収まった（図44）。超音波の焦点径が20mmなので、目標の点を揺らすことが十分に可能な精度であるといえる。ただし、対象とカメラの距離が近いためカメラの範囲外となる的が多くなり、加振できる的が少なくなった。検出範囲が上方に偏っているのはカメラが超音波集束装置の上部に搭載されており、下方を撮影できないためである。距離30cmの場合では20cmの場合よりも誤差が大きくなったが20mm以内には収まった（図45）。20cmの場合と同様に検出範囲が狭く6か所の的しか検出できなかった。距離40cmの場合では、誤差は20mm以内に収まり、20cmや30cmの場合より的の検出範囲が広くなった（図46）。しかし、装置から距離が遠い検出領域の境界付近では、超音波の放射圧が小さくなり水面があまり揺れなかった。また、1列、5列およびa行の誤差が大きくなっていることから、装置との距離が離れるほど誤差が大きくなるということがわかる。これは、カメラの位置と超音波集束装置の位置の違いから生じる誤差が、距離を増すにつれて増幅しているからであると考えられる。これを改善するためには、カメラと超音波集束装置の角度をそろえ、カメラから超音波集束装置への座標系の補正をより正確に行う必要がある。距離50cmの場合では誤差が非常に大きくなり30mmを超す部分もあった（図47）。40cmの場合と比べて水面の揺れがさらに小さく、放射圧も弱くなっていることがわかった。 【0148】 以上の結果より、30cm程度の距離であれば誤差も少なく対象を振動させることが可能であり、40cmの距離であればある程度の検出可能範囲を確保できるということがわかる。 【0149】 なお、図44～図47において、括弧「（）」内の3つの数字は、左からそれぞれx軸，y軸，z軸方向の誤差（mm）を表している。 【0150】 － 花の認識精度実験結果 － RealSense（5001）を用いて花の認識精度実験を行ったところ、認識率が52．1％、誤射率は89．6％となった（図48）。認識精度実験では、栽培棚1列分の画像を70枚撮影した。 【0151】 花の認識率が50％程度ということは、実際に稼働した場合半分の花に対して授粉作業を行えないということになる。このように花の認識率が低くなってしまった原因として、赤外線画像とカラー画像の両方を利用することにより、花と判断する基準が高くなってしまったということが考えられる。装置がイチゴの花を花と認識するためには、赤外線画像とカラー画像の両方で花として認識されなければならず、どちらか片方でも誤って花でないと認識してしまった場合花と認められず、認識率が低下してしまうという問題がある。また、赤外線画像のヒストグラムを調べたところ、画像内の画素が一定の諧調に集中しており、カラー画像の場合よりも花を認識するための閾値を設けることが難しくなっていた（図49）。 【0152】 － 授粉試験結果 － 授粉試験の結果、超音波集束装置400と蜂によって授粉を行ったイチゴの着果率、平均重量、総重量は図50のようになった。超音波集束装置400を用いて2秒および10秒の加振を行ったイチゴの花のうち、それぞれ80花に対して着果したかどうかを調べ、その後収穫された果実の重量を測定した。蜂によって授粉を行った区では、94花の着果率を調べ、果実の重量を測定した。さらに、果実の重量を図43の規格表に従ってカテゴリ分けしたところ図51のような結果となった。商品性の有無はサイズおよび形状から判断した。図51において、4Lは37g以上、3Lは28g以上37g未満、2Lは20g以上28g未満、Lは15g以上20g未満、Mは10g以上15g未満、Sは6g以上10g未満、NSは6g未満である。 【0153】 蜂を用いて授粉を行ったイチゴの着果率は100％となったが、超音波集束装置400による授粉を行ったイチゴの着果率は、加振時間2秒において17．5％、10秒において26．3％となった（図52）。既往の研究では超音波集束装置400を用いて授粉を行った場合の着果率は59％となっており、今回の実験ではこれよりも低い値となった。既往の研究とは異なり、今回の実験では画像処理を利用して花の認識を行っていたため、この画像処理の精度の低さが着果率の低さを引き起こした一因であると考えられる。 【0154】 今回の実験で撮影した画像を確認し、花の認識精度実験と同様に図40に基づいて認識率などを調べたところ、図53のような結果となった。認識率は65．9％であるため3割以上の花に対して授粉が行えていないということがわかる。また、誤射率が75．6％となっており、花以外の場所を加振している割合が大きいということがわかる。 【0155】 ただし、超音波集束装置400による授粉を行ったイチゴの着果率は、花の認識率の3分の1程度であるため、認識率の他にも着果率を下げている要因が存在しているということがわかる。 【0156】 超音波集束装置400による授粉では、着果率だけでなく果実の平均重量においても蜂による授粉と比較して有意に小さい値となった（図54）。1．2で述べている通り、蜂による授粉で重量の大きな果実が多く収穫できるのは、花の柱頭に花粉を満遍なく授粉させることができているからだとされている。このことより、超音波授粉では満遍なく授粉させることができておらず、小さな果実および奇形果が発生し重量が小さくなったと考えられる。この着果率の低さと平均重量の小ささから、総重量に関しても小さい値となった（図55）。また、図56より、蜂による授粉ではM以上（10g以上）の果実が多く収穫されているが、超音波集束装置400による授粉ではほとんどがS以下（10g未満）であり、商品性の低いものが多くなった。 【0157】 この重量の低下に関して、イチゴの花の固有振動数の調査が不十分であったことが一因としてあげられる。2．1．1で述べた通り、既往の研究ではイチゴの花の固有振動数は25～30Hzであるとされていたのだが、今回の実験では超音波を20Hzに変調させて照射していた。これは、30Hzの場合よりも20Hzに変調させて照射した場合の方がより大きく振動していると目視で判断したためであり、実験に基づいた判断によるものではない。このイチゴの花の固有振動数については再び調査を行い正確に特定すべきである。 【0158】 加振時間に関しては、2秒の場合より10秒の場合の方が、平均重量が小さいという結果になった。この原因として考えられるのは、過剰な振動によって花柱が傷ついてしまったということである。蜂が授粉を行う場合、過剰な訪花によって花柱が痛み、奇形果が発生することがある。今回の実験の加振時間10秒の場合でも重量の小さい果実が多く発生していた（図51、図56）。この結果より、10秒では加振時間が長すぎて花柱が傷つき小さな果実となってしまったということが考えられる。 【0159】 精度測定の結果より、対象との距離が40cm以内であれば、対象に対して誤差20mm以内で超音波集束装置400より超音波を照射できるということがわかった。つまり、この装置でイチゴの花を認識することができれば十分イチゴを加振することができる。 【0160】 （人工知能（AI）を用いた認識精度効果） 図57は、実施の形態に係る人工授粉システムを用いて行った実験結果の一例であって、図57（a）は認識結果、図57（b）は、目視による結果、図57（c）は正答率を例示している。図57（c）から明らかなように、学習方法を付与するにつれて、正解率が向上するのがわかる（「A/G：23.2％」→「A/(H+B)：72.6％」→「(A+E)/(H+B)：83.4％」）。 【0161】 多様性を有する学習データを蓄積して利用するために、複数の農場や植物工場から10000枚程度の画像を集め、学習用データセット（1Mを目標）としてディープラーニング学習を行うことで、画像処理の精度を高度化することができる。 【0162】 （センサネットワークシステムへの適用例） 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なセンサネットワークシステム900（第1の態様）の模式的概念構成は、図58に示すように表される。センサネットワークシステム900（第1の態様）は、図58に示すように、センサ対象2（例えば、農場や植物工場）と、センサ対象物体2に搭載され、同等の機能を有する複数の三次元センサ500（センサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNn）とを備え、インターネット300を介してクラウドコンピューティングシステム80に接続可能である。複数のセンサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNnとインターネット300を介するクラウドコンピューティングシステム80との接続では、有線通信、無線通信のいずれかを適用可能である。 【0163】 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なセンサネットワークシステム900（第2の態様）の模式的概念構成は、図59に示すように表される。センサネットワークシステム900（第2の態様）は、図59に示すように、センサ対象2（例えば、農場や植物工場）と、センサ対象2に搭載された複数のグループネットワークシステムG1・G2・…・Gi・…・Gnを備える。 【0164】 グループネットワークシステムG1は、ホスト通信端末H1と、ホスト通信端末H1に接続され、同等の機能を有する複数の三次元センサ500（センサノード通信端末SN11・…・SN1i・…・SN1n）とを備える。ここで、複数のセンサノード通信端末SN11・…・SN1i・…・SN1nで得られるセンサデータは、ホスト通信端末H1に収集され、ホスト通信端末H1から、インターネット300を介してクラウドコンピューティングシステム80に接続可能である。複数のセンサノード通信端末SN11・…・SN1i・…・SN1nとホスト通信端末H1との通信は、有線通信、無線通信のいずれかを適用可能である。また、ホスト通信端末H1から、インターネット300を介するクラウドコンピューティングシステム80との接続も、有線通信、無線通信のいずれかを適用可能である。グループネットワークシステムG2、Gi、Gnも、グループネットワークシステムG1と同様である。 【0165】 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なセンサネットワークシステム900（第3の態様）の模式的ブロック構成は、図60に示すように表される。センサネットワークシステム900（第3の態様）は、図60に示すように、センサ対象2（例えば、農場や植物工場）と、センサ対象2に搭載され、同等の機能を有する複数の三次元センサ500（センサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNn）と、複数の三次元センサ500により得られた複数のセンサノード通信端末毎のセンサ情報を蓄積するデータサーバ90と、データサーバ90に蓄積されたセンサ情報を分析するデータ管理部120とを備える。 【0166】 また、図60に示すように、複数のセンサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNnにインターネット300Aを介して接続可能なクラウドコンピューティングシステムを備え、データ管理部120は、第1専用インターネット300Bを介してクラウドコンピューティングシステム80に接続され、データサーバ90は、第2専用インターネット300Cを介してクラウドコンピューティングシステム80に接続されていても良い。 【0167】 ここで、データ管理部120は、第1専用インターネット300B、クラウドコンピューティングシステム80および第2専用インターネット300Cを介してデータサーバ90にアクセス可能であり、複数のセンサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNnからの測定データを分析処理することができる。データ管理部120は、例えば、データ管理会社の計算機などで構成可能である。 【0168】 また、複数のセンサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNnと、インターネット300Aを介して接続可能なクラウドコンピューティングシステム80とは、有線通信若しくは無線通信のいずれかにより接続可能である。 【0169】 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なセンサネットワークシステム900（第4の態様）の模式的ブロック構成は、図61に示すように表される。センサネットワークシステム900（第4の態様）は、図61に示すように、センサ対象2（例えば、農場や植物工場）と、センサ対象2に搭載され、同等の機能を有する複数の三次元センサ500（センサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNn）と、複数の三次元センサ500により得られたセンサ情報を収集するホスト通信端末Hと、複数の三次元センサ500により得られた複数のセンサ情報を蓄積するデータサーバ90と、データサーバ90に蓄積されたセンサ情報を分析するデータ管理部120とを備える。 【0170】 複数のセンサノード通信端末SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNnとホスト通信端末Hは、有線通信若しくは無線通信のいずれかにより接続可能である。 【0171】 また、図61に示すように、ホスト通信端末Hにインターネット300Aを介して接続可能なクラウドコンピューティングシステム80を備え、データ管理部120は、第1専用インターネット300Bを介してクラウドコンピューティングシステム80に接続され、データサーバ90は、第2専用インターネット300Cを介してクラウドコンピューティングシステム80に接続されていても良い。 【0172】 データ管理部120は、第1専用インターネット300B、クラウドコンピューティングシステム80および第2専用インターネット300Cを介してデータサーバ90にアクセス可能である。 【0173】 ホスト通信端末Hとインターネット300Aを介して接続可能なクラウドコンピューティングシステムとは、有線回線130を介する有線通信若しくは無線通信のいずれかにより接続可能である。 【0174】 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なセンサネットワークシステム900（第5の態様）の模式的ブロック構成は、図62に示すように表される。センサネットワークシステム900（第4の態様）は、図62に示すように、センサ対象2（例えば、農場や植物工場）と、センサ対象2に搭載される複数のグループネットワークシステムG1・G2・…・Gi・…・Gnを備える。グループネットワークシステムG1は、図59と同様に、ホスト通信端末H1とホスト通信端末H1に接続された複数のセンサノード通信端末SN11・…・SN1i・…・SN1nを備える。グループネットワークシステムG2は、ホスト通信端末H2とホスト通信端末H2に接続された複数のセンサノード通信端末SN21・…・SN2i・…・SN2nを備える。同様に、グループネットワークシステムGiは、ホスト通信端末Hiとホスト通信端末Hiに接続された複数のセンサノード通信端末SNi1・…・SNii・…・SNinを備える。同様に、グループネットワークシステムGnは、ホスト通信端末Hnとホスト通信端末Hnに接続された複数のセンサノード通信端末SNn1・…・SNni・…・SNnnを備える。 【0175】 センサネットワークシステム900（第4の態様）は、図62に示すように、センサ対象2に搭載され、同等の機能を有する複数の三次元センサ500（センサノード通信端末）と、複数の三次元センサ500により得られた複数のセンサノード通信端末毎のセンサ情報を収集するホスト通信端末とを有する複数のグループネットワークシステムG1・G2・…・Gi・…・Gnと、複数の三次元センサ500により得られた複数のセンサノード通信端末毎のセンサ情報を蓄積するデータサーバ90と、データサーバ90に蓄積されたセンサ情報を分析するデータ管理部120とを備える。 【0176】 複数のグループネットワークシステムG1・G2・…・Gi・…・Gn内において、複数のセンサノード通信端末とホスト通信端末は、有線通信若しくは無線通信のいずれかにより接続可能である。 【0177】 また、図62に示すように、ホスト通信端末にインターネット300Aを介して接続可能なクラウドコンピューティングシステム80を備え、データ管理部120は、専用インターネット300Bを介してクラウドコンピューティングシステム80に接続され、データサーバ90は、クラウドコンピューティングシステム80内に配置されていても良い。 【0178】 データ管理部120は、専用インターネット300Bを介してデータサーバ90にアクセス可能である。 【0179】 また、ホスト通信端末と、インターネット300Aを介して接続可能なクラウドコンピューティングシステム80とは、有線回線130を介する有線通信若しくは無線通信のいずれかにより接続可能である。 【0180】 グループネットワークシステムG1・G2・…・Gi・…・Gnにおいては、グループ内の複数のセンサノード通信端末で得られるセンサデータは、ホスト通信端末H1・H2・…・Hi・…・Hnに収集され、ホスト通信端末H1・H2・…・Hi・…・Hnから、インターネット300Aを介してクラウドコンピューティングシステム80に接続可能である。 【0181】 （農場用無線センサネットワークシステム） 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を通信端末（センサノード）320として適用可能な無線センサネットワークシステムとして、農場用無線センサネットワークシステム3200の模式的鳥瞰構成は、図63に示すように表される。農場用無線センサネットワークシステム3200は、図63に示すように、複数の小規模な農場用無線センサネットワークシステム32001・32002・…・3200mから構成されていても良い。 【0182】 複数の小規模な農場用無線センサネットワークシステム32001・32002・…・3200mは、例えば、栽培される作物単位で分かれていても良い。 【0183】 農場用無線センサネットワークシステム3200は、図63に示すように、複数のセンサノード32011・32012・…・3201n、32021・32022・…・3202n、・・・、320m1・320m2・…・320mnと、複数のセンサノード32011・32012・…・3201n、32021・32022・…・3202n、・・・、320m1・320m2・…・320mnからの第1無線送信データを常時若しくは定期的に受信可能な複数のホスト3101・3102・…・310mとを備える。ここで、定期的に受信する場合、ホスト310における受信頻度は、センサノード320の送信頻度よりも頻繁である。 【0184】 複数のセンサノード32011・32012・…・3201nは、例えば、ホスト3101との間で無線送受信可能であり、同様に、複数のセンサノード32021・32022・…・3202nは、ホスト3102との間で無線送受信可能であり、・・・、複数のセンサノード320m1・320m2・…・320mnは、ホスト310mとの間で無線送受信可能である。 【0185】 複数のセンサノード32011・32012・…・3201n、32021・32022・…・3202n、・・・、320m1・320m2・…・320mnは、それぞれの作物に応じたセンサ情報を取得するためのセンサ21を備える。 【0186】 複数のセンサノード32011・32012・…・3201nは、第1無線送信データを送信終了後の所定の短い期間だけ、ホスト3101側からの第2無線送信データを受信可能である。第1無線送信データは、複数のセンサノード32011・32012・…・3201nから、所定のタイミングで、ホスト3101に対して送信される。また、第2無線送信データは、第1無線送信データを送信終了後の所定の短い期間だけ、ホスト3101側から複数のセンサノード32011・32012・…・3201nに対して送信される。以下同様である。 【0187】 ホスト3101・3102・3103・…・310mにおいて収集された情報はインターネット回線などを利用してクラウドコンピューティングシステムに供給されて、統合管理可能である。 【0188】 農場用無線センサネットワークシステム3200は、複数のセンサノード32011・32012・…・3201n、32021・32022・…・3202n、・・・、320m1・320m2・…・320mnにおいて、無線送信データを送信終了後の所定の短い期間だけ、ホスト3101・3102・…・310m側からの送信データを受信できる状態としたことによって、低消費電力化されている。すなわち、複数のセンサノード内の受信器を常時オンさせておく必要がないため、低消費電力化されている。 【0189】 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を通信端末（センサノード）として適用可能な無線センサネットワークシステム3100の模式的構成は、図64に示すように表わされる。 【0190】 無線センサネットワークシステム3100は、図64に示すように、複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnと、複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnからの第1無線送信データを常時若しくは定期的に受信可能なホスト310とを備える。ここで、複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnとホスト310との間の距離は、L1、L2、・・・、Li、Li+1、…、Lnで表わされている。ここで、定期的に受信する場合、ホストにおける受信頻度は、センサノードの送信頻度よりも頻繁である。 【0191】 複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnは、第1無線送信データを送信終了後の所定の短い期間だけ、ホスト310側からの第2無線送信データを受信可能である。ここで、第1無線送信データは、複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnから、所定のタイミングで、ホスト310に対して送信される。 【0192】 また、第2無線送信データは、第1無線送信データを送信終了後の所定の短い期間だけ、ホスト10側から複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnに対して送信される。 【0193】 無線センサネットワークシステム3100は、複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pnにおいて、無線送信データを送信終了後の所定の短い期間だけ、ホスト310側からの送信データを受信できる状態としたことによって、低消費電力化されている。すなわち、複数のセンサノードP1、P2、・・・、Pi、Pi+1、…、Pn内の受信器を常時オンさせておく必要がないため、低消費電力化されている。 【0194】 ホスト10において収集された情報はインターネット回線などを利用してクラウドコンピューティングシステムに供給されて、統合管理可能である。ホストH・クラウド380間のデータ通信は、インターネット回線を介した有線通信又は本件の無線通信とは異なる無線通信を適用可能である。 【0195】 本実施の形態においては、複数の通信速度機能を持たせた無線センサネットワークシステムを提供可能であり、橋、農場、植物工場、森林など広範囲のエリアをカバーしたい用途に好適である。 【0196】 （ワイヤレスセンサネットワークシステムの概要） 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なワイヤレスセンサネットワークシステムの概要を示す模式的構成は、図65に示すように表される。このワイヤレスセンサネットワークシステムは、図65に示すように、物理世界（Physical）にある多様なデータをセンサネットワークで収集し、仮想世界（Cyber）で大規模データ処理技術等を駆使して分析／知識化を行い、そこで創出した情報／価値によって、産業の活性化や社会問題の解決を図るサイバーフィジカルシステム（CPS：Cyber-Physical System）の一部である。具体的には、エッジ（狭義のエッジ）に配置された信号処理装置810が狭帯域通信網821と広帯域通信網822を介してクラウドなどの上位側装置840に接続されている。狭帯域通信網821と広帯域通信網822との間にはゲートウェイ820が配置され、広義のエッジにはエッジサーバ830なども配置されている。装置間を繋ぐ細い線は低速通信で接続されていることを意味し、太い線は高速通信で接続されていることを意味している。 【0197】 信号処理装置810は、周囲の物理量などを時系列的に検知するための三次元センサ500や、三次元センサ500によって検知されたデータ、測定器などによって検出されたデータやその演算結果などを送信する通信部を備える。信号処理装置810は、データを一時的に記憶するメモリなども備えるが、詳細については後述する。信号処理装置810とゲートウェイ820との間の通信には、ZigBee、EnOcean、Wi－SUN、BLE（Bluetooth Low Energy）などが使用される。 【0198】 ゲートウェイ820は、通信規約（プロトコル）が異なる二者間（例えば、ZigBeeとWi－Fi）やネットワーク間の通信を中継する機器やソフトウェア、システムであり、双方のプロトコルの違いに対応できるものである。具体的には、ゲートウェイ820は、信号処理装置810から送信されたデータを受信し、受信したデータを上位側装置480に送信する。また、ゲートウェイ820は、信号処理装置810に対する制御命令や設定情報などを上位側装置840から受信する。さらに、ゲートウェイ820は、信号処理装置810から送信されたデータを単に中継するだけでなく、受信したデータを記憶したり演算したりする機能を備えていてもよい。ゲートウェイ820と上位側装置840との間の通信には、Wi－Fi、3G／LTE、有線LAN（Local Area Network）、Bluetooth（登録商標）などが使用される。 【0199】 （ワイヤレスセンサネットワークシステムの具体例） 本技術を適用した一実施の形態に係る人工授粉システム1（三次元センサ500）を適用可能なワイヤレスセンサネットワークシステムの具体例を示す模式的構成は、図66に示すように表される。ここでは、多数の信号処理装置810が屋内の装置群（装置、ユーティリティ、インフラ等）や屋外の建造物（橋梁、道路、鉄道、ビルディング、農場、植物工場等）に設置されている場合を例示している。信号処理装置810とゲートウェイ820との間には、通信帯域の制限が大きいFANが配置されているものとする。ゲートウェイ820は、信号処理装置810から受信したデータをインターネット850を介して上位側装置840に送信する。これにより、上位側装置840は、ゲートウェイ820から受信したデータに基づいて、監視対象物である装置群や建造物の異常の有無を検知することが可能である。 【0200】 なお、各信号処理装置810は、他の信号処理装置810から送信されたデータをゲートウェイ820へ転送するための中継ルーティング機能を備えていてもよい。また、各信号処理装置810は、互いに直接通信するためのアドホック機能を備えていてもよい。さらに、センサネットワークを構成する複数の信号処理装置810は、ツリー型のネットワークを構成していてもよいし、メッシュ型のネットワークを構成していてもよい。 【0201】 （信号処理装置のハードウェア構成例1） 本実施の形態に係る信号処理装置810のハードウェア構成例は、図67に示すように表される。図67に示すように、本実施の形態に係る信号処理装置810は、照度・音・加速度・傾斜などを検知するセンサエッジ（センサノード）であって、三次元センサ（500）811と、メモリ812と、演算部813と、通信部814と、電源815とを備える。 【0202】 三次元センサ811は、監視対象物の物理量を時系列的に検知する。三次元センサ811の種類は特に限定されず、いかなる物理量を検知する三次元センサでも適用可能である。例えば、加速度センサ、ジャイロセンサ、音響センサ（マイクなど）の他、磁気センサ、電界センサ、電流センサ、電圧センサ、圧力センサ、流量センサ、温度センサ、照度センサ、湿度センサなど、様々なセンサを三次元センサ811として用いることができる。本実施の形態では、三次元センサ811を間欠動作させるのでなく常時動作させるようにしているため、物理量を常時検知しなければならない用途に好適である。図67では、信号処理装置810内に1個の三次元センサ811しか示していないが、信号処理装置810は、複数個の三次元センサ811を備えていてもよい。 【0203】 三次元センサ811によって時系列的に検知された物理量（以下、「時系列データ」という。）は、メモリ812に一時的に記憶される。三次元センサ811がアナログ信号を出力するように構成されている場合、三次元センサ811の出力信号は、アナログフィルタ（不図示）によってフィルタ処理され、A／D（Analog to Digital）コンバータ（不図示）によってデジタルデータに変換された後、メモリ812に記憶される。 【0204】 演算部813は、メモリ812に記憶された時系列データを用いて各種の演算を実施する。例えば、時系列データに対する1次側クレンジング、代表値算出、調整統計演算などを実施する。このような演算部813は、CPU（Central Processing Unit）で構成される。メモリ812やその他の周辺装置（不図示）とともに、マイクロコントローラ（MCU：Micro Control Unit）として構成されてもよい。 【0205】 通信部814は、演算部813の演算結果を狭帯域無線通信により上位側装置840に送信する通信モジュールである。この無線通信には、前述のWi－SUN等の通信方式が使用される。 【0206】 電源815は、信号処理装置810を構成する各要素811，812，813，814に駆動電圧を供給する。信号処理装置810は、外部から電源供給を受けずに、内部の電源815のみによって動作するように構成されているのが望ましい。例えば、電源815は、太陽電池と蓄電池によって構成されていてもよい。この場合、太陽電池の発電電力によって蓄電池が充電され、蓄電池の出力電圧によって信号処理装置810を構成する各要素811，812，813，814が駆動される。蓄電池の代わりにスーパーキャパシタ等も使用される。 【0207】 （信号処理装置のハードウェア構成例2） 本実施の形態に係る信号処理装置810の別のハードウェア構成例は、図68に示すように表される。図68に示すように、本実施の形態に係る信号処理装置810は、測定器81からの外部信号を受信するセンシングエッジ（センシングノード）であって、ADC816と、メモリ812と、演算部813と、通信部814と、電源815とを備える。測定器81は、監視対象物の物理量を時系列的に測定する機器である。測定器81は、図示しない三次元センサを備え、この三次元センサがアナログ信号を出力しているものとする。信号処理装置810側のADC816は、測定器81から出力されるアナログ信号をデジタル信号に変換するようになっている。その他の各要素812，813，814については図67と同様である。なお、本構成例はセンシングエッジであるが、このセンシングエッジも、本実施の形態に係る信号処理装置810の一例であり、本実施の形態に係るワイヤレスセンサネットワークシステムの構成要件に含まれるものとする。 【0208】 以上説明したように、本実施の形態によれば、衛生的で、繊細な授粉が可能であり、処理の自動化が可能な人工授粉システム1、および、該人工授粉システム1に用いられる画像認識装置600、並びにプログラムを提供することができる。 【0209】 [その他の実施の形態] 上記のように、実施の形態によって記載したが、この開示の一部をなす論述および図面は例示的なものであり、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなろう。 【0210】 例えば、本実施の形態に係る人口授粉システム1においては、イチゴ花を例として説明したが、イチゴ花に限定されるものではない。他家結実性を有するナシ、リンゴ、サクランボ、マスクメロン、マンゴーや、自家結実性を有するイネ、コムギ、ナシ（おさ二十世紀）、トマト、ナスなどにも適用可能である。 【0211】 また、単為結実性を有するトマト（多くの種類）、ミカン、カキ、ウメ、ブドウなどにも適用可能である。 【0212】 また、上記のプログラム（学習処理プログラム、画像処理プログラム）は、記録媒体に搭載されていても良い。 【0213】 このように、本実施の形態はここでは記載していない様々な実施の形態などを含む。 【産業上の利用可能性】 【0214】 本実施の形態の画像認識装置、人工授粉システム、およびプログラムは、農場や植物工場において、他家結実性、自家結実性、単為結実性を有する幅広い作物等の授粉に適用できる。 【符号の説明】 【0215】 1…人工授粉システム、 2…センサ対象、 80…クラウドコンピューティングシステム、 81…測定器、 90…データサーバ、 120…データ管理部、 210…バッテリ、 220…スイッチングレギュレータ、 400…加振装置（超音波集束装置）、 410…DCジャック、 411・412…電源回路、 420…FPGAボード、 430…USBボード、 441…ドライバ回路、 442…超音波スピーカ（トランスデューサ）、 500…三次元センサ（3Dカメラ）、 5001…RealSense、 5002…Kinect、 5003…Senz3D 510…USBポート、 600…画像認識装置（パーソナルコンピュータ（PC））、 610、615…USBポート、 620…ユーザインターフェース（I／F）、 621…カラー画像（XY画像）、 622…距離画像（Z画像）、 623…イチゴ花認識画像、 630…画像処理部（花認識処理部）、 640…アーカイブ、 650、750…学習処理部、 660、760…学習データ、 700…学習用サーバー、 740…アーカイブ、 800…外部カメラ、 300、300A、300B、300C、850…インターネット、 320…通信端末（センサノード）、 3200…農場用無線センサネットワークシステム、 32001・32002・…・3200m…農場用無線センサネットワークシステム、 32011・32012・…・3201n、32021・32022・…・3202n、・・・、320m1・320m2・…・320mn、32011・32012・…・3201n、32021・32022・…・3202n、・・・、320m1・320m2・…・320mn…センサノード、 310、3101・3102・3103・…・310m…ホスト、 380…クラウド、 810…信号処理装置、 811…三次元センサ、 812…メモリ、 813…演算部、 814…通信部、 815…電源、 816…A／D（Analog to Digital）コンバータ（ADC）、 820…ゲートウェイ、 821…狭帯域通信網、 822…広帯域通信網、 830…エッジサーバ、 840…上位側装置、 900…センサネットワークシステム、 G1・G2・…・Gi・…・Gn…グループネットワークシステム、 H、H1…ホスト通信端末、 SN1・SN2・…・SNi－1・SNi・SNi＋1・…・SNn…センサノード通信端末 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Drawing |
|