TOP > 国内特許検索 > 結球野菜の結球中心の認識方法、認識装置、および収穫機 > 明細書

明細書 :結球野菜の結球中心の認識方法、認識装置、および収穫機

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-155060 (P2020-155060A)
公開日 令和2年9月24日(2020.9.24)
発明の名称または考案の名称 結球野菜の結球中心の認識方法、認識装置、および収穫機
国際特許分類 G06T   7/70        (2017.01)
A01D  45/26        (2006.01)
FI G06T 7/70 A
A01D 45/26
請求項の数または発明の数 10
出願形態 OL
全頁数 19
出願番号 特願2019-055513 (P2019-055513)
出願日 平成31年3月22日(2019.3.22)
発明者または考案者 【氏名】千田 有一
【氏名】山崎 公俊
【氏名】宇佐美 智之
出願人 【識別番号】504180239
【氏名又は名称】国立大学法人信州大学
個別代理人の代理人 【識別番号】110001726、【氏名又は名称】特許業務法人綿貫国際特許・商標事務所
審査請求 未請求
テーマコード 2B075
5L096
Fターム 2B075AA10
2B075AB08
2B075AB10
2B075GA01
2B075GA06
2B075JF01
2B075JF02
2B075JF06
2B075JF07
2B075JF08
2B075JF10
5L096AA02
5L096AA06
5L096AA09
5L096EA02
5L096EA03
5L096EA06
5L096EA43
5L096FA06
5L096FA60
5L096FA62
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA10
5L096GA41
5L096GA51
5L096GA55
5L096KA04
要約 【課題】圃場において栽植されている結球野菜(特に、レタス)の結球中心について、従来と比較して全処理時間が短縮可能で且つ識別精度が向上可能な認識方法、認識装置、および認識装置を備える収穫機を提供する。
【解決手段】本発明に係る結球野菜の結球中心の認識方法は、結球野菜のRGB画像画素数を減少させたリサイズ画像を作成し(画像取得工程及び画像リサイズ工程)、次いでリサイズ画像からエッジマスク画像を作成し(エッジ工程、色相マスク工程、オープニング・クロージング工程及びエッジマスク工程)、次いでエッジマスク画像について法線投票処理を行い、法線の重なりによる二値化処理を行って中心候補領域を抽出し(法線描画工程及び中心候補抽出工程)、中心候補領域の輪郭重心を結球野菜の結球中心として認識する(中心認識工程)。
【選択図】図1
特許請求の範囲 【請求項1】
圃場において栽植されている結球野菜のRGB画像を取得する画像取得工程と、
前記RGB画像の画素数を減少させてリサイズ画像を作成する画像リサイズ工程と、
前記リサイズ画像に対して、エッジ検出を行ってエッジ画像を作成するエッジ工程と、
前記リサイズ画像に対して、しきい値を設けた色相によるマスク処理を行って色相マスク画像を作成する色相マスク工程と、
前記色相マスク画像に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像を作成するオープニング・クロージング工程と、
前記エッジ画像に対して、前記色相マスクフィルタ画像を用いるマスク処理を行ってエッジマスク画像を作成するエッジマスク工程と、
前記エッジマスク画像における各画素について法線投票処理を行って法線画像を作成する法線描画工程と、
前記法線画像に対して、しきい値を設けた法線の重なりによる二値化処理を行って中心候補領域を抽出する中心候補抽出工程と、
前記中心候補領域の輪郭重心を前記結球野菜の結球中心として認識する中心認識工程と、を備えること
を特徴とする結球野菜の結球中心の認識方法。
【請求項2】
前記画像リサイズ工程において、前記RGB画像は、前記結球野菜の1株の結球の直径が20[ピクセル]~35[ピクセル]の範囲内でリサイズされること
を特徴とする請求項1記載の結球野菜の結球中心の認識方法。
【請求項3】
前記画像リサイズ工程の後、前記オープニング・クロージング工程の前に、前記色相マスク工程に代えて、
前記リサイズ画像に対して、しきい値を設けた深度によるマスク処理およびしきい値を設けた色相によるマスク処理を行って深度色相マスク画像を作成する深度色相マスク工程を備え、
前記オープニング・クロージング工程において、前記色相マスク画像に代えて前記深度色相マスク画像に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像を作成すること
を特徴とする請求項1または請求項2記載の結球野菜の結球中心の認識方法。
【請求項4】
前記エッジ工程において、前記リサイズ画像に対して、グレースケール化および平滑化のいずれか一方または両方の処理を行って、次いでエッジ検出を行ってエッジ画像を作成すること
を特徴とする請求項1~3いずれか一項に記載の結球野菜の結球中心の認識方法。
【請求項5】
前記中心候補抽出工程において、前記法線画像に対して、平滑化を行って、次いでしきい値を設けた法線の重なりによる二値化処理を行って中心候補領域を抽出すること
を特徴とする請求項1~4いずれか一項に記載の結球野菜の結球中心の認識方法。
【請求項6】
前記法線描画工程において、各前記法線の太さを、しきい値を設けた輝度値により決定すること
を特徴とする請求項1~5いずれか一項に記載の結球野菜の結球中心の認識方法。
【請求項7】
前記中心候補抽出工程において、前記二値化処理を、Pタイル法を用いて行うこと
を特徴とする請求項1~6いずれか一項に記載の結球野菜の結球中心の認識方法。
【請求項8】
前記中心認識工程の後、
前記中心認識工程で前記結球野菜の結球中心として認識した前記中心候補領域の輪郭重心を対象として、機械学習による識別処理を行って最終的な前記結球野菜の結球中心を決定する中心識別工程をさらに備えること
を特徴とする請求項1~7いずれか一項に記載の結球野菜の結球中心の認識方法。
【請求項9】
RGB画像が取得可能なカメラと、
画像処理装置と、
演算装置と、
前記カメラおよび前記画像処理装置、ならびに前記演算装置の動作を制御する制御部と、を備え、
前記制御部は、
前記カメラに対して、圃場において栽植されている結球野菜のRGB画像を取得させる制御を行い、且つ
前記画像処理装置に対して、前記RGB画像の画素数を減少させてリサイズ画像を作成し、
前記リサイズ画像に対して、エッジ検出を行ってエッジ画像を作成し、
前記リサイズ画像に対して、しきい値を設けた色相によるマスク処理を行って色相マスク画像を作成し、
前記色相マスク画像に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像を作成し、
前記エッジ画像に対して、前記色相マスクフィルタ画像を用いるマスク処理を行ってエッジマスク画像を作成し、
前記エッジマスク画像における各画素について法線投票処理を行って法線画像を作成し、
前記法線画像に対して、しきい値を設けた法線の重なりによる二値化処理を行って中心候補領域を抽出させる制御を行い、且つ
前記演算装置に対して、前記中心候補領域の輪郭重心を前記結球野菜の結球中心として算出させる制御を行うこと
を特徴とする結球野菜の結球中心の認識装置。
【請求項10】
動力源を備えて走行可能な車体に、
請求項9記載の結球野菜の結球中心の認識装置と、
前記結球野菜の茎を切断する収穫刃と、
前記認識装置から前記結球野菜の結球中心の認識情報を受けて、前記収穫刃を前記結球野菜の茎に沿って位置させる経路制御を行う制御部と、が設けられていること
を特徴とする結球野菜の収穫機。
発明の詳細な説明 【技術分野】
【0001】
本発明は、結球野菜の結球中心の認識方法および認識装置、より詳しくは、圃場において栽植されているレタス、キャベツ、白菜等の結球野菜の画像を取得し、当該画像に写る結球野菜の結球中心を認識する方法および当該方法を用いた認識装置に関する。
【背景技術】
【0002】
レタス、キャベツ、白菜等の結球野菜は、わが国において広く圃場栽培されている。これら結球野菜は比較的重量があり、例えば手作業による収穫作業は腰をかがめて行うため重労働となる。したがって、収穫作業の機械化による省力化の確立が期待されている。
【0003】
結球野菜の収穫作業の機械化に当たっては、圃場において栽植されている結球野菜の位置情報をリアルタイムで高精度に取得して一株ずつカットする技術が求められる。したがって、収穫機は各株の適切な位置に収穫刃が当たるように動作されなければならない。しかしながら、栽植されている株は、必ずしも直線軸上に位置しておらず、個体によっては直線軸から外れて位置している。したがって、単に収穫刃を備える収穫機を結球野菜の株列に沿って直進させた場合、収穫刃が適切な位置に当たらずに収穫できないことや不適切な位置に当たって葉を傷めてしまうおそれがある。以上のことから、栽植されている結球野菜の位置情報がリアルタイムで高精度に取得できれば、当該情報に応じて収穫機の収穫刃を各株の適切な位置に当たるように動作させることが可能になる。
【0004】
ここで、非特許文献1(農業機械学会誌、農業食料工学会、平成8年7月、第58巻、第4号、p.35-43)には、圃場におけるレタスを、ビデオカメラを用いて二次元画像処理による認識を試みた例および三次元視覚センサを用いて三次元画像から認識を試みた例が記載されている。しかしながら、二次元画像による例では、実用化可能な程度に正確な位置や大きさを検出することには課題があり、三次元画像による例では、コストが高く、且つ装置が大型になり易いという課題がある。
【先行技術文献】
【0005】

【非特許文献1】高衛民、藤浦建史、中尾清治、土肥誠、「ロボットによる結球野菜の選択収穫の研究(第1報)-二次元認識と三次元形状計測-」、農業機械学会誌、農業食料工学会、平成8年7月、第58巻、第4号、p.35-43
【発明の概要】
【発明が解決しようとする課題】
【0006】
圃場に栽植される結球野菜のうち、特にレタスについては、キャベツと比較して結球と外葉との判別がし難く、実用化可能な程度に正確な位置や大きさを検出することは困難であると共に、装置も大型になり易い。そこで、本願発明者らは、レタスにおける結球中心を認識することによって、当該情報を基に収穫機の経路生成を可能とすることを目的とし、レタスの結球中心の認識方法について鋭意研究を行った。その結果、比較的識別率が高い方法を見出したが、結球外認識点数(結球中心でない位置を結球中心として検出してしまう点数)が多く、全体の識別精度が低いこと、および全処理時間が長いことが課題であった。
【課題を解決するための手段】
【0007】
本発明は、上記事情に鑑みてなされ、圃場において栽植されている結球野菜(特に、レタス)の結球中心について、従来と比較して全処理時間が短縮可能で且つ識別精度が向上可能な認識方法、認識装置、および認識装置を備える収穫機を提供することを目的とする。
【0008】
本発明は、一実施形態として以下に記載するような解決手段により、前記課題を解決する。
【0009】
本発明に係る結球野菜の結球中心の認識方法は、圃場において栽植されている結球野菜のRGB画像を取得する画像取得工程と、前記RGB画像の画素数を減少させてリサイズ画像を作成する画像リサイズ工程と、前記リサイズ画像に対して、エッジ検出を行ってエッジ画像を作成するエッジ工程と、前記リサイズ画像に対して、しきい値を設けた色相によるマスク処理を行って色相マスク画像を作成する色相マスク工程と、前記色相マスク画像に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像を作成するオープニング・クロージング工程と、前記エッジ画像に対して、前記色相マスクフィルタ画像を用いるマスク処理を行ってエッジマスク画像を作成するエッジマスク工程と、前記エッジマスク画像における各画素について法線投票処理を行って法線画像を作成する法線描画工程と、前記法線画像に対して、しきい値を設けた法線の重なりによる二値化処理を行って中心候補領域を抽出する中心候補抽出工程と、前記中心候補領域の輪郭重心を前記結球野菜の結球中心として認識する中心認識工程と、を備えること要件とする。
【0010】
これによれば、取得した画像の画素数を減少させたリサイズ画像を処理することによって、従来と比較して全処理時間を短縮させることができる。また、画素数を減少させることよって画像を粗くして境界領域をぼやけさせることができ、画像を平滑化することができる。そのため、エッジが丸みを帯びることによって法線投票処理において法線をより結球の中心点に向けて引くことが可能になると共に、画素数の減少により法線自体の数を減少させて法線画像の煩雑化を抑制することができる。したがって、従来と比較してより正確な中心候補領域の抽出が可能な法線画像を作成することができる。その結果、結球外認識点数を減少させることができ、識別精度を向上させることができる。
【0011】
また、本発明に係る結球野菜の結球中心の認識装置は、RGB画像が取得可能なカメラと、画像処理装置と、演算装置と、前記カメラおよび前記画像処理装置、ならびに前記演算装置の動作を制御する制御部と、を備え、前記制御部は、前記カメラに対して、圃場において栽植されている結球野菜のRGB画像を取得させる制御を行い、且つ前記画像処理装置に対して、前記RGB画像の画素数を減少させてリサイズ画像を作成し、前記リサイズ画像に対して、エッジ検出を行ってエッジ画像を作成し、前記リサイズ画像に対して、しきい値を設けた色相によるマスク処理を行って色相マスク画像を作成し、前記色相マスク画像に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像を作成し、前記エッジ画像に対して、前記色相マスクフィルタ画像を用いるマスク処理を行ってエッジマスク画像を作成し、前記エッジマスク画像における各画素について法線投票処理を行って法線画像を作成し、前記法線画像に対して、しきい値を設けた法線の重なりによる二値化処理を行って中心候補領域を抽出させる制御を行い、且つ前記演算装置に対して、前記中心候補領域の輪郭重心を前記結球野菜の結球中心として算出させる制御を行うこと要件とする。
【0012】
これによれば、圃場において栽植されている結球野菜の結球中心の位置を、比較的短時間で且つ正確に認識することが可能になる。
【0013】
また、本発明に係る結球野菜の収穫機は、動力源を備えて走行可能な車体に、本発明に係る結球野菜の結球中心の認識装置と、前記結球野菜の茎を切断する収穫刃と、前記認識装置から前記結球野菜の結球中心の認識情報を受けて、前記収穫刃を前記結球野菜の茎に沿って位置させる経路制御を行う制御部と、が設けられていることを要件とする。
【0014】
これによれば、圃場において栽植されている結球野菜の結球中心の位置情報をリアルタイムで高精度に取得し、当該情報に応じて収穫刃を結球野菜の茎を切断する最適な位置に移動させることが可能になる。
【発明の効果】
【0015】
本発明によれば、圃場において栽植されている結球野菜(特に、レタス)の結球中心について、従来と比較して全処理時間が短縮可能で且つ識別精度が向上可能な認識方法、認識装置、および認識装置を備える収穫機が実現可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る結球野菜の結球中心の認識方法の例を示すフローチャートである。
【図2】本発明の実施形態に係る結球野菜の結球中心の認識方法における画像取得工程から画像リサイズ工程までを説明する画像である。
【図3】本発明の実施形態に係る結球野菜の結球中心の認識方法におけるエッジルートおよび色相マスクルートを説明する画像である。
【図4】本発明の実施形態に係る結球野菜の結球中心の認識方法におけるエッジマスク工程から中心候補抽出工程までを説明する画像である。
【図5】本発明の実施形態に係る結球野菜の結球中心の認識方法における中心認識工程を説明する画像である。
【図6】本発明の実施形態に係る結球野菜の結球中心の認識方法の他の例1であって、深度色相マスク工程を備える例を示すフローチャートである。
【図7】本発明の実施形態に係る結球野菜の結球中心の認識方法の他の例2であって、中心識別工程を備える例を示すフローチャートである。
【図8】本発明に係る結球野菜の結球中心の認識方法の実施例1の結果を示す画像である。
【図9】本発明に係る結球野菜の結球中心の認識方法の実施例5の結果を示す画像である。
【図10】本発明に係る結球野菜の結球中心の認識方法の比較例1の結果を示す画像である。
【発明を実施するための形態】
【0017】
(結球野菜の結球中心の認識方法)
本発明は、圃場において栽植されている結球野菜(特に、レタス)の画像を取得し、当該画像に写る結球野菜の結球中心を認識する方法の発明である。以下、図面を参照して、本発明の実施形態について詳しく説明する。図1は、本実施形態に係る結球野菜の結球中心の認識方法の例を示すフローチャートである。また、図2は、本実施形態に係る認識方法における画像取得工程(S100)から画像リサイズ工程(S102)までを説明する画像である。図3は、本実施形態に係る認識方法におけるエッジルート(R1)および色相マスクルート(R2)を説明する画像である。図4は、本実施形態に係る認識方法におけるエッジマスク工程(S108)から中心候補抽出工程(S112)までを説明する画像である。図5は、本実施形態に係る認識方法における中心認識工程(S114)を説明する画像である。また、図6は、本実施形態に係る認識方法の他の例1であって、深度色相マスク工程を備える例を示すフローチャートである。また、図7は、本実施形態に係る認識方法の他の例2であって、中心識別工程を備える例を示すフローチャートである。なお、全図において表示する画像は、それぞれを見易くするため、あるいは比較し易くするために、適宜横縦寸法を拡大または縮小して表示している。また、全図において表示する画像は、説明のために出力したものであって、本発明の各工程で作成する各画像を出力(可視化)するか否かは任意である。

【0018】
また、本発明の実施形態が、特にレタス特有の課題に対して好適に適用されることから、適用対象として圃場においてマルチシートで覆った畝に栽植されているレタスを例にして説明するが、本発明の実施形態はレタスの他、キャベツ、白菜その他の結球野菜における種々の栽培形態に対しても適用可能である。また、本文中の「全処理時間」とは、本発明の実施形態に係る認識方法の全工程の総時間を表す。また、「識別率」は、識別率=[(結球数-未検出数)/結球数]×100で算出した値[%]である。ここで、結球数とは、認識対象であるレタスの数を表し、未検出数は検出できなかったレタス(結球中心)の数を表す。したがって、「識別率」は、結球中心の認識の強度を示す指標である。また、「識別精度」は、[(結球中心誤差25.5[ピクセル]以内の点数)/(結球数+結球外認識点数)]×100で算出した値[%]である。ここで、結球外認識点数とは、結球中心でない位置を結球中心として検出してしまった点数すなわち誤認識点数を表し、具体的には結球中心誤差25.5[ピクセル]を超える点数である。したがって、「識別精度」は、結球中心の認識の正確性を示す指標である。以下、[ピクセル]を、[px]と表記する。
以下、図1のフローチャートに沿って、各工程について詳しく説明する。

【0019】
本実施形態に係る認識方法として、先ず、圃場において栽植されているレタスのRGB画像(図2A)を取得する画像取得工程(S100)を実施する。これによって、本実施形態に係る認識方法の使用をする対象を取得することができる。画像の取得には、RGB画像(図2A)が取得可能な公知のカメラを使用することができる。画像に写るレタスの数は限定されないが、例えば上記カメラが結球野菜の収穫機に搭載されて前進する収穫機の経路生成に用いられる場合には、通常2乃至6程度と考えられる(本実施形態においては、3としている)。なお、本工程(S100)において取得されたRGB画像(図2A)を、以下、「無変換画像(図2A)」と称することがある。

【0020】
画像取得工程(S100)の後、上記RGB画像(図2A)すなわち無変換画像(図2A)の画素数を減少させてリサイズ画像(図2B)を作成する画像リサイズ工程(S102)を実施する。これによって、次工程以後の処理について、データ量が少ないリサイズ画像(図2B)に対して演算処理を行うことができる。したがって、無変換画像(図2A)に対して演算処理を行う方法と比較して全処理時間を大幅に短縮することができる。なお、図2では、無変換画像(図2A)とリサイズ画像(図2B)とを同程度のサイズ(横縦寸法)で表示している。

【0021】
また、リサイズ画像(図2B)は無変換画像(図2A)と比較して粗くなって境界領域がぼやけ、レタスの結球は丸みのある球体により近くなっている。すなわち、本工程(S102)によれば、画素数を減少させることより画像を平滑化することができる。

【0022】
なお、無変換画像(図2A)のリサイズ(縮小)は、本実施形態では一例としてバイリニア補間法を使用するがこれに限定されず、画素数を減少させる他の処理を用いてもよい。また、本実施形態では、一例として画像サイズ(横幅×縦幅)が720[px]×540[px]である無変換画像(図2A)に対して、画像サイズ(横幅×縦幅)を180[px]×135[px]にリサイズしているがこれに限定されない。本工程(S102)における縮小率については、後述の実施例で詳しく説明する。また、リサイズに際し、本実施形態では、一例として横縦比を一定にしているがこれに限定されず、適宜変更してもよい。

【0023】
画像リサイズ工程(S102)の後、適宜複製したリサイズ画像(図2B)から、それぞれエッジ画像(図3B)および色相マスクフィルタ画像(図3D)を作成する。ここで、リサイズ画像(図2B)からエッジ画像(図3B)を作成する一連の工程をエッジルート(R1)と称し、リサイズ画像(図2B)から色相マスクフィルタ画像(図3D)を作成する一連の工程を色相マスクルート(R2)と称する。これらエッジルート(R1)および色相マスクルート(R2)はいずれを先後に実施してもよく、または同時に実施してもよい。

【0024】
先ず、エッジルート(R1)では、エッジ工程(104a)によってリサイズ画像(図2B)からエッジ画像(図3B)を作成する。具体的に、画像リサイズ工程(S102)の後、リサイズ画像(図2B)に対して、エッジ検出を行ってエッジ画像(図3B)を作成するエッジ工程(104a)を実施する。これによって、結球周囲(結球の輪郭)をエッジとして検出することができる。エッジ検出に使用するフィルタとして本実施形態では一例としてソーベルフィルタを使用するが、これに限定されない。ソーベルフィルタでは、横方向および縦方向の勾配を計算し、エッジ強度の二乗を計算する。ここで、さらにルート計算は行わず、二乗の状態で出力すると好適である。これによって、ルート計算に費やす時間を削減して全処理時間を短縮することができる。

【0025】
ここで、本工程(104a)では、上記エッジ検出を行う前に、リサイズ画像(図2B)に対して、適宜、グレースケール化および平滑化のいずれか一方または両方の処理を行うと好適である。グレースケール化および平滑化の両方を行う場合、いずれを先後に行ってもよい。本実施形態では、一例としてリサイズ画像(図2B)に対して、グレースケール化を行い、次いで平滑化を行う。次いで「平滑化までを行ったリサイズ画像(図3A)」に対して、上記エッジ検出を行ってエッジ画像(図3B)を作成する。ただし、グレースケール化および平滑化はあくまで任意の処理である。

【0026】
グレースケール化によれば、本工程(S104a)に不要な色情報を取り除くことができる。また、平滑化によれば、画像を粗くして境界領域をぼやけさせることができ、エッジにより丸みを付けることができる。ここで、特にレタスについては外葉の葉先が鋸刃状に細かく刻まれた形状を有しているため、後述するエッジ検出において外葉の葉先が高周波エッジ(エッジ強度の強い位置)として検出され易い。その結果、後述する法線投票処理では、そのような相対的にエッジ強度の強い位置を結球周囲(結球の輪郭)として計算した値に基づいて法線を引くため、最終的に識別精度が低下してしまうことになる。したがって、平滑化によりエッジにより丸みを付けることによって外葉等の結球以外のものが高周波エッジとして検出されることを抑制することができ、最終的な識別精度の低下を防止することができる。

【0027】
なお、平滑化に使用するフィルタとして本実施形態では一例としてガウシアンフィルタを使用するが、これに限定されない。例えば平均化フィルタ等を使用してもよい。また、画像のリサイズに際して、平滑化に使用するフィルタのパラメータを画像サイズの縮小比に合わせて適宜小さく調整すると好適である。これによって、過剰な平滑化によりエッジの区別が不明確になること、またはエッジが拡大され過ぎてしまうこと等を防止することができる。具体例として、仮に無変換画像(図2A)を平滑化する場合は、フィルタサイズ11×11、標準偏差11に対して、リサイズ画像(図2B)を平滑化する場合は、フィルタサイズ3×3、標準偏差3といった具合である。

【0028】
次に、色相マスクルート(R2)では、色相マスク工程(104b)からオープニング・クロージング工程(S106b)までの工程によってリサイズ画像(図2B)から色相マスクフィルタ画像(図3D)を作成する。具体的に、画像リサイズ工程(S102)の後、しきい値を設けた色相によるマスク処理を行って色相マスク画像(図3C)を作成する色相マスク工程(104b)を実施する。具体的には、一例としてRGB画像であるリサイズ画像(図2B)をHSV変換したHSV画像(不図示)を作成し、次いで当該HSV画像に対して、色相によるマスク処理を行って色相マスク画像(図3C)を作成する。ただし、これに限定されず、例えばHSV変換に代えてHSL変換を行う方法、または色相のみを計算し、その結果に基づいてマスク処理を行って色相マスク画像(図3C)を作成する方法を用いてもよい。ここで、しきい値として結球の色である所定の色(例えば緑色)の値を設定する。これによって、リサイズ画像(図2B)から結球領域を抽出することができる。また、色相によるマスク処理を行うことによって、例えばRGB情報によるマスク処理と比較して、晴天、曇天、雨天等の天気条件の影響を抑制することができ、天気に関わらず結球領域を安定して抽出することができる。

【0029】
色相マスク工程(S104b)の後、色相マスク画像(図3C)に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像(図3D)を作成するオープニング・クロージング工程(S106b)を実施する。これによって、色相マスク画像(図3C)に対して、マスク処理で抽出することができなかった結球の一部(主として抽出した領域内に穴として形成された領域)をノイズ(結球領域)として埋めることができる。また、マスク処理で抽出してしまった結球以外のもの(例えば雑草および外葉の他、マルチシートと地面との境界領域)をノイズ(結球領域以外の領域)として消去することができる。

【0030】
本工程(S106b)におけるオープニング・クロージング処理は適宜オープニングおよびクロージングのいずれか一方または両方の処理を行えばよい。また、オープニングとは、一般に収縮処理を所定回数行い、次いで当該収縮処理と同回数だけ膨張処理を行うことを意味するが、特許請求の範囲を含め本文では、収縮処理に次いで膨張処理が収縮処理とは異なる回数(0回を含む)行われる場合を含む。また、クロージングとは、一般に膨張処理を所定回数行い、次いで当該膨張処理と同回数だけ収縮処理を行うことを意味するが、特許請求の範囲を含め本文では、膨張処理に次いで収縮処理が膨張処理とは異なる回数(0回を含む)行われる場合を含む。

【0031】
また、画像のリサイズに際して、オープニング・クロージング処理のパラメータを画像サイズの縮小比に合わせて適宜小さく調整すると好適である。これによって、過剰なオープニング・クロージング処理により結球の形状が保たれなくなってしまうこと、または結球の一部(例えば周囲部分)が消去されてしまうことを防止することができる。具体例として、仮に無変換画像(図2A)に基づく色相マスク画像(図3C)のオープニング・クロージング処理を行う場合は、クロージングとして膨張3回次いで収縮3回行い、オープニングとして収縮7回次いで膨張0回行う。これに対して、リサイズ画像(図2B)に基づく色相マスク画像(図3C)のオープニング・クロージングを行う場合は、クロージングとして膨張1回次いで収縮1回行い、オープニングとして収縮2回次いで膨張0回といった具合である。

【0032】
エッジルート(R1)および色相マスクルート(R2)の後、エッジ画像(図3B)に対して、色相マスクフィルタ画像(図3D)を用いるマスク処理を行ってエッジマスク画像(図4A)を作成するエッジマスク工程(S108)を実施する。これによって、エッジとして検出した結球周囲(結球の輪郭)を色相として抽出した結球領域でマスク処理を行うことにより、さらに選別された結球周囲(結球の輪郭)のエッジを検出することができる。

【0033】
エッジマスク工程(S108)の後、エッジマスク画像(図4A)における各画素について法線投票処理を行って法線画像(図4B)を作成する法線描画工程(S110)を実施する。本工程(S110)における法線投票処理では、法線の太さを、しきい値を設けた輝度値によって決定している。具体的には、相対的にエッジ強度の強い位置が結球周囲(結球の輪郭)の影である可能性が高いことから、エッジ強度が強い程法線の太さを太く設定している。すなわち、本実施形態では一例としてエッジ強度と相関する輝度をしきい値として、輝度値によって三種類の太さを設定し、輝度値が高い程太く設定している。また、輝度値が所定値以下の場合は法線を引かない(次の画素の処理へ移る)ように設定している。これによって、相対的にエッジ強度が強い位置に投票の影響力を大きく作用させることができる。なお、法線の太さの種類の数は限定されない。また、輝度値が所定値以下の場合(相対的に低い場合)であっても、法線の太さを相対的に細くして全ての画素について法線を引いてもよい。

【0034】
また、法線の角度については、ソーベルフィルタを用いて決定している。当該ソーベルフィルタによって横方向および縦方向の勾配を計算し、法線の角度を計算している。また、法線の方向については、結球中心は結球の周囲と比較して相対的に明るさが強いことから、法線の方向を、明るさの強い方向に設定している。また、法線の長さについては、画像サイズおよび画像に写る結球の大きさ等を考慮して、結球の周囲から結球中心まで到達し、且つ過剰にならない所定の長さで設定している。

【0035】
以上の方法によって決定した太さ、角度、方向および長さで、一の画素毎に一本の法線を、描画用の画像(何も描かれていない画像)上に描画する。このような法線投票処理を全画素で行って法線画像(図4B)を作成する。

【0036】
本実施形態では、前述の画像リサイズ工程(S102)によって画素数を減少させているため、法線投票処理を行う画素数を減少させることができる。具体的に、本実施形態における縮小率(0.25)では、一画素における法線投票処理(当該法線の各パラメータの算出から法線描画までの処理)を1ループとすると、ループ回数を16分の1に低減することが可能になる。これによって、本工程(S110)に要する時間(投票処理時間)を減縮することができる。さらに、本願発明者らによって画像のリサイズを行わない(画像リサイズ工程(S102)を実施しない)場合では、全処理時間のうち、99[%]以上(後述する中心認識工程(S116)を実施した場合でも65[%]程度)が投票処理時間であることが明らかになっている。したがって、画像のリサイズにより投票処理時間を減縮することによって、ひいては全処理時間を大幅に短縮することができる。

【0037】
また、前述の通り、画像リサイズ工程(S102)によれば画像を平滑化することができる。さらにエッジ工程(104a)において任意の処理としてリサイズ画像(図2B)を平滑化している。したがって、これらの平滑化により画像のエッジが十分に丸みを帯びているため、法線投票処理において法線をより結球の中心に向けて引くことが可能になると共に、画素数の減少により法線自体の数を減少させて法線画像の煩雑化を抑制することができる。したがって、画像のリサイズを行わない方法と比較してより正確な中心候補領域の抽出が可能な法線画像(図4B)を作成することができる。その結果、結球外認識点数を減少させることができ、識別精度を向上させることができる。

【0038】
なお、画像のリサイズに際して、法線の長さおよび太さパラメータを画像サイズの縮小比に合わせて適宜小さく調整すると好適である。これによって、法線が過剰に重なり合うこと、または画像からはみ出ること等を防止することができる。具体例として、仮に無変換画像(図2A)に基づくエッジマスク画像(図4A)の法線投票処理を行う場合は、長さ120[px]および太さ20[px]・40[px]・60[px]の三種類に対して、リサイズ画像(図2B)に基づくエッジマスク画像(図4A)の法線投票処理を行う場合は、長さ40[px]および太さ5[px]・10[px]・15[px]の三種類といった具合である。

【0039】
法線描画工程(S110)の後、法線画像(図4B)に対して、しきい値を設けた法線の重なりによる二値化処理を行って中心候補領域を抽出する中心候補抽出工程(S112)を実施する。図4Dに、本工程(S112)によって抽出した中心候補領域を出力した画像(以下、「中心候補画像」と称する)を示す。本工程(S112)では、法線の重なりが相対的に強い領域が結球中心である可能性が高いことから、しきい値を設けた法線の重なりによる二値化処理を行って、法線の重なりが相対的に大きい領域を中心候補領域として抽出する。二値化処理には、Pタイル法を使用している。Pタイル法は、二値化後の領域面積が全領域面積に対して一定となるしきい値を決定する手法である。これによって、抽出する中心候補領域の過抽出を防止することができる。本実施形態では一例として二値化後の領域面積を全領域面積に対して3[%]となるように設定しているが、これに限定されない。例えば5[%]程度に設定してもよい。

【0040】
ここで、本工程(S112)では、上記二値化処理を行う前に、法線画像(図4B)に対して、適宜平滑化を行うと好適である。本実施形態では、一例として法線画像(図4B)に対して、平滑化を行う。次いで「平滑化を行った法線画像(図4C)」に対して、上記二値化処理を行って中心候補領域を抽出する。ただし、平滑化はあくまで任意の処理である。平滑化によれば、隣接する画素の輝度の差を低下させ、次工程の二値化処理において抽出する領域に欠損が生じることを防止することができる。したがって、結球領域を丸みのある球体に近付けることができる。ここで、平滑化に使用するフィルタとして本実施形態では一例として平均化フィルタを使用するが、これに限定されない。例えばガウシアンフィルタ等を使用してもよい。また、画像のリサイズに際して、平滑化に使用するフィルタのパラメータを画像サイズの縮小比に合わせて適宜小さく調整すると好適である。これによって、過剰な平滑化により次工程の二値化処理において抽出する領域の形状を相対的に大きく変えてしまうことを防止することができる。具体例として、仮に無変換画像(図2A)に基づく法線画像(図4B)を平滑化する場合は、フィルタサイズ11×11に対して、リサイズ画像(図2B)に基づく法線画像(図4B)を平滑化する場合は、フィルタサイズ3×3、といった具合である。

【0041】
中心候補抽出工程(S112)の後、中心候補領域の輪郭重心を結球野菜の結球中心として認識する中心認識工程(S114)を実施する。本工程(S114)においては、一例として、中心候補抽出工程(S112)で抽出した中心候補領域に対して、適宜領域の大きさにしきい値(例えば10[px])を設けて相対的に小さい領域を除外すると好適である。これによって、仮に相対的に小さい領域として抽出される飛び値(外れ値)をノイズとして除去することができ、より正確に結球中心を認識することができる。このフィルタリングは、輪郭重心の算出に際して行ってもよく、また、輪郭重心の算出の前後に行ってもよい。また、画像サイズの縮小比に合わせてしきい値を適宜変更してもよい。ただし、フィルタリングはあくまで任意の処理である。

【0042】
また、本工程(S114)で認識した結球中心を出力(可視化)する場合、一例として画像取得工程(S100)で取得した結球野菜のRGB画像(図2A)(無変換画像(図2A))に打点して出力すると好適である。これによって、リサイズにより画像が粗くなっていない画像上に結球中心を打点することができ、認識結果を見易くすることができる。図5に、本工程(S114)によって認識した結球中心を無変換画像(図2A)に打点して出力した画像(以下、「中心認識画像」と称する)を示す。ただし、認識結果を打点する画像は無変換画像(図2A)に限定されず、任意に選択してもよい。また、認識結果の出力形式自体も限定されず、さらに認識結果そのものを出力するか否かも限定されない。

【0043】
以上の工程によれば、圃場において栽植されている結球野菜の画像を取得し、当該画像に写る結球野菜の結球中心を認識することができ、従来と比較して全処理時間を短縮させ、且つ識別精度を向上させることが可能になる。

【0044】
なお、他の例1として、画像リサイズ工程(S102)の後、色相マスク工程(S104b)に代えて、リサイズ画像(図2B)に対して、しきい値を設けた深度によるマスク処理およびしきい値を設けた色相によるマスク処理を行って深度色相マスク画像(不図示)を作成する深度色相マスク工程(S103b)を実施する。そして、深度色相マスク工程(S103b)の後、オープニング・クロージング工程(S106b)において、色相マスク画像(図3C)に代えて深度色相マスク画像に対して、オープニングおよびクロージングのいずれか一方または両方の処理を行って色相マスクフィルタ画像(図3D)を作成する方法としてもよい(図6参照)。本例における深度色相マスク工程(S103b)によれば、リサイズ画像(図2B)に対して色相に加えて深度によるマスク処理を行うことにより結球とは高さの異なる外葉や雑草を除外することができる。したがって、色相によるマスク処理だけを行う色相マスク工程(S104b)と比較してより選別された結球領域を抽出することができる。本例における深度情報は、画像取得工程(S100)において、RGB画像と共にこれに同期した深度画像を取得することができる公知のカメラを使用することによって簡易に取得することができる。当該カメラとして例えばIntel RealSense Depth Camera D435(インテル社製)等を使用することができる。また、深度のしきい値としては、カメラとレタスとの距離を考慮した所定の深度を設定すればよい。例えば上記カメラが結球野菜の収穫機に搭載されて前進する収穫機の経路生成に用いられる場合には、一例として取得距離を500[mm]~780[mm]程度に設定すればよい。なお、色相によるマスク処理と深度によるマスク処理とは、いずれを先後に実施してもよい。

【0045】
また、他の例2として、中心認識工程(S114)の後、中心認識工程(S114)で結球野菜の結球中心として認識した中心候補領域の輪郭重心を対象として、機械学習による識別処理を行って最終的な結球野菜の結球中心を決定する中心識別工程(S115)を実施する方法としてもよい(図7参照)。これによって、結球外認識点を除外することができる。ただし、中心識別工程(S115)の分、処理時間は長くなる。また、過学習が生じる可能性に留意する必要がある。なお、機械学習の例として、サポートベクターマシン、ディープラーニング等を採用し得る。本例(他の例2)の中心識別工程(S115)および前述(他の例1)の深度色相マスク工程(S103b)は、いずれも任意の工程である。また、これらの例(他の例1および他の例2)は、それぞれ一方だけでなく、両方を実施してもよい。

【0046】
続いて、本発明に係る認識方法を用いる認識装置、および当該認識装置を備える結球野菜の収穫機について説明する。

【0047】
(結球野菜の結球中心の認識装置)
先ず、本発明の実施形態に係る結球野菜の結球中心の認識装置について説明する。本実施形態に係る結球野菜の結球中心の認識装置は、RGB画像が取得可能なカメラと、画像処理装置と、演算装置とを備えている。さらに、これらのカメラおよび画像処理装置ならびに演算装置の動作を制御する制御部を備えている。この制御部は、カメラに対して圃場において栽植されている結球野菜のRGB画像を取得させる制御を行う。また、画像処理装置に対して、前述の認識方法と同一の方法による画像処理を行わせる制御を行って中心候補領域を抽出させる。さらに、演算装置に対して、当該中心候補領域輪の輪郭重心を結球野菜の結球中心として算出させる制御を行う。これによって、圃場において栽植されている結球野菜の結球中心の位置を、比較的短時間で且つ正確に認識することが可能になる。なお、認識結果が出力される場合、適宜、当該結果が出力されるモニタ等が設けられる。

【0048】
(結球野菜の収穫機)
次に、本発明の実施形態に係る結球野菜の収穫機について説明する。本実施形態に係る結球野菜の収穫機は、動力源を備えて走行可能な車体に、前述の認識装置と、結球野菜の茎を切断する収穫刃と、当該認識装置から結球野菜の結球中心の認識情報を受けて、収穫刃を結球野菜の茎に沿って位置させる経路制御を行う制御部と、が設けられている。これによれば、圃場において栽植されている結球野菜の結球中心の位置情報をリアルタイムで高精度に取得し、当該情報に応じて収穫刃を結球野菜の茎を切断する最適な位置に移動させることが可能になる。より具体的には、例えば認識装置による位置情報を受けた制御部によって、車体の進行方向(進行角度)が変更される構成、または収穫刃を左右方向にスライド移動される構成等とすることが可能になる。
【実施例】
【0049】
続いて、本発明に係る結球野菜の結球中心の認識方法の実施例について説明する。ただし、本発明の範囲が当該実施例に限定されるものではない。
【実施例】
【0050】
[方法]
前述の本発明の実施形態に基づいて圃場において栽植されているレタスの結球中心の認識を行った。
ここで、実施例として、画像リサイズ工程(S102)における画像サイズの縮小比をそれぞれ表1に示す値とした(実施例1~実施例9)。なお、表1には横幅のみ示すが、横縦比は常時一定としており、リサイズに際し、表1に示す縮小率に応じて縦幅も縮小している。
一方、比較例として、画像リサイズ工程(S102)を実施しない例、すなわち画像取得工程(S100)で取得した無変換画像(図10A)を、元の画像サイズのまま後工程の各処理を行った(比較例1)。無変換画像(図10A)のサイズ(横幅×縦幅)は、720[px]×540[px]である。
【実施例】
【0051】
全ての実施例および比較例において、上記画像リサイズ工程(S102)以外の工程ではいずれも同一の処理を行った。エッジ工程(S104a)においては、リサイズ画像のグレースケール化、次いで平滑化を行い、次いでエッジ検出を行った。平滑化にはガウシアンフィルタ、エッジ検出にはソーベルフィルタをそれぞれ使用した。また、色相マスク工程(S104b)においては、画像をHSV変換し、HSV画像に対してマスク処理を行った。また、法線描画工程(S110)における法線角度の決定にはソーベルフィルタを使用した。中心候補抽出工程(S112)においては、法線画像の平滑化を行い、次いで二値化処理を行った。平滑化には平均値フィルタ、二値化処理にはPタイル法をそれぞれ使用した。また、中心認識工程(S114)において、中心候補領域10[px]をしきい値として相対的に小さい領域は除外する設定とした。その他の工程および処理については、前述の実施形態に準じて行った。ただし、他の例として前述した深度色相マスク工程(S103b)および中心識別工程(S115)は実施していない。
【実施例】
【0052】
[結果]
結果を、表1および図8~図10に示す。表1は、実施例1~9および比較例1の識別率[%]、識別精度[%]および全処理時間[s]等を表示している。また、図8は、実施例1の結果の画像を示し、それぞれリサイズ画像(図8A)、法線画像(図8B)、中心候補画像(図8C)および中心認識画像(図8D)を表示している。また、図9は、実施例5の結果の画像を示し、それぞれリサイズ画像(図9A)、法線画像(図9B)、中心候補画像(図9C)および中心認識画像(図9D)を表示している。また、図10は、比較例1の結果の画像を示し、それぞれ無変換画像(図10A)、法線画像(図10B)、中心候補画像(図10C)および中心認識画像(図10D)を表示している。ここで、中心認識画像(図8D、図9Dおよび図10D)は、いずれも認識結果(認識した結球中心の位置)を無変換画像(図10A)上に打点した画像である。なお、全図において表示する画像は、それぞれを見易くするため、あるいは比較し易くするために、適宜横縦寸法を拡大または縮小して表示している。
【実施例】
【0053】
【表1】
JP2020155060A_000003t.gif
【実施例】
【0054】
表1に示すように、縮小比を大きくする程、投票処理時間および全処理時間が短縮された。また、全ての実施例においていずれも比較例1と比較して、結球外認識点数は減少した。また、実施例2~9ではいずれも比較例1と比較して、識別率は概ね同程度を維持しつつ識別精度は向上した。これらの結果から、画像のリサイズ(画像リサイズ工程(S102)の実施)を行うことによって、投票処理時間および全処理時間を短縮させることができることが示された。また、画像のリサイズ(画像リサイズ工程(S102)の実施)を行うことによって、識別率を維持しつつ、結球外認識点数を減少させることができ、これによって識別精度を向上させることができることが示された。
【実施例】
【0055】
具体的には、図9(実施例5)および図10(比較例1)を比較すると、画像のリサイズを行っていない比較例1では、画像のリサイズを行った実施例5に対して中心候補領域の抽出が不十分であって、これにより結球外認識点数が多くなっていることが示された。一方、画像のリサイズを行った実施例5では、エッジが適度に丸みを有し、中心候補領域がより正確に抽出されており、これにより結球外認識点数が少なくなっていることが示された。
【実施例】
【0056】
さらに表1を詳しくみると、実施例3~実施例7(無変換画像(図10A)の横幅を720[px]から90[px]~240[px]に縮小)では、識別率96[%]および識別精度80[%]をともに上回り好適であった。また、実施例4~実施例6(横幅を720[px]から120[px]~180[px]に縮小)では、識別率96[%]および識別精度85[%]をともに上回りさらに好適であった。特に、実施例5(横幅を720[px]から150[px]に縮小)では、識別率(100.00[%])および識別精度(86.54[%])ともに全実施例および比較例に対して最も高い値を示し、最も好適であった。
【実施例】
【0057】
一方、実施例1(横幅を720[px]から50[px]に縮小)では、比較例1と比較して識別率および識別精度がいずれも低下した。これに関し、図8に示すように、縮小比が大き過ぎると、画像が過剰に粗くなってエッジが崩壊し、中心候補領域を正確に抽出することができなくなっており、これにより未検出が生じていることが示され、また、表1に示すように、未検出球数が多くなっていることが示された。また、実施例8~実施例9(横幅を720[px]から360[px]~540[px]に縮小)では、識別精度の増加の程度が実施例2~実施例7と比較すると低かった。以上の結果から、画像のリサイズに関し、縮小比が大き過ぎると識別率および識別精度が低下し不適であり、一方縮小比が小さ過ぎると画像のリサイズの作用効果が十分に発揮されずに不適であることが示された。
【実施例】
【0058】
ここで、無変換画像(720[px]×540[px])における実寸値に基づいて1.0[mm]≒0.889[px](1.0[px]≒1.125[mm])であることを算出した。したがって、結球野菜における結球の直径を150[mm](133[px])として、本実施例の結果に基くと以下の数値範囲が示される。すなわち、画像リサイズ工程において、RGB画像は、好適には結球野菜の1株の結球の直径が15[px]~45[px]の範囲内でリサイズされることが好ましく、さらに好適には20[px]~35[px]の範囲内でリサイズされることが好ましい。
【実施例】
【0059】
以上、説明した通り、本発明に係る結球野菜の結球中心の認識方法によれば、圃場において栽植されている結球野菜の結球中心を比較的高い識別率および識別精度で認識することが可能になる。特に、取得した画像の画素数を減少させたリサイズ画像を処理することによって、従来と比較して全処理時間を短縮させることができる。また、画素数を減少させることよって画像を平滑化し、画像を粗くしてエッジを丸くすることができる。したがって、従来と比較してより正確な中心候補領域の抽出が可能となって、結球外認識点数を減少させ、識別精度を向上させることができる。
【実施例】
【0060】
また、本発明に係る結球野菜の結球中心の認識装置によれば、圃場において栽植されている結球野菜の結球中心の位置を、比較的短時間で且つ正確に認識することが可能になる。さらに、当該認識装置を備える結球野菜の収穫機によれば、圃場において栽植されている結球野菜の結球中心の位置情報をリアルタイムで高精度に取得することができる。したがって、当該情報に応じた最適な経路で前進させることが可能になる。また、当該情報に応じて収穫刃を最適な位置に移動させることが可能になる。
【実施例】
【0061】
なお、本発明は、以上説明した実施例に限定されることなく、本発明を逸脱しない範囲において種々変更可能である。特に、本発明はレタスに対して好適に適用される発明であるが、キャベツ、白菜に対して適用することも可能である。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9