Top > Search of Japanese Patents > LEARNING DATA SET PREPARING METHOD, AS WELL AS OBJECT RECOGNITION AND POSITION ATTITUDE ESTIMATION METHOD

LEARNING DATA SET PREPARING METHOD, AS WELL AS OBJECT RECOGNITION AND POSITION ATTITUDE ESTIMATION METHOD

Patent code P190015912
File No. (S2017-0923-N0)
Posted date Mar 22, 2019
Application number P2018-141910
Publication number P2019-029021A
Patent number P6474179
Date of filing Jul 27, 2018
Date of publication of application Feb 21, 2019
Date of registration Feb 8, 2019
Priority data
  • P2017-147305 (Jul 30, 2017) JP
Inventor
  • (In Japanese)友近 圭汰
  • (In Japanese)清川 拓哉
  • (In Japanese)小笠原 司
  • (In Japanese)高松 淳
  • (In Japanese)丁 明
Applicant
  • (In Japanese)国立大学法人奈良先端科学技術大学院大学
Title LEARNING DATA SET PREPARING METHOD, AS WELL AS OBJECT RECOGNITION AND POSITION ATTITUDE ESTIMATION METHOD
Abstract PROBLEM TO BE SOLVED: To provide a method and an apparatus that can efficiently prepare a learning data set used in machine learning, and a method and an apparatus that can estimate object recognition and a position attitude at the same time with a high degree of accuracy using the learning data set, for a target of a plurality of objects, for robot control used in an automated system in a factory.
SOLUTION: Object information of a target object is associated with a position attitude detection marker, and a multi-viewpoint image group of a total object including the marker is acquired in a state, in which the target object is arranged using a base part as a guide, using a learning data set generation tool being composed of the base part being the guide of a target object arrangement position and the marker fixed on an upper side of the base part. And, a bounding box of the target object is set for an image group acquired, and a learning data set for performing object recognition and position attitude estimation of the target object is generated by associating attitude information of the target object estimated from an imaged image, gravity center position information and information related to the object information and the bounding box with the imaged image.
Outline of related art and contending technology (In Japanese)

従来から、工場等での作業を自動化するものとして、人工知能(Artificial Intelligence、以下“AI”とする。)を搭載したロボットが利用されている。近年、機械学習やディープラーニング(深層学習)の発展により、工場等における生産システムにおいても、工場等の完全自動化に向けた取り組みとして、機械学習等を利用したAIの開発が急速に行われている。
ロボットによる作業の自動化は、あらゆる業界にニーズが存在するが、中でも、食品業界や物流業界は今後の成長が期待される分野であり、ロボットによる作業の自動化のニーズは高く存在する。
しかしながら、食品業界や物流業界において扱う製品は、柔軟なものが多く、取り扱いの際に複雑に形状が変化してしまうため、ロボットに備えられたロボットハンドでのハンドリングが難しいという問題がある。また、食品業界や物流業界において扱う商品は、多品種であることから、商品の認識を正確かつ迅速に行うことが難しいという問題もある。すなわち、多品種な商品を短時間で認識して、詰め合わせギフトや不良品の除去作業などのような仕分け作業を正確に行うことが求められるのである。
これらの事情から、食品業界や物流業界においては、未だにロボットによる工場の自動化が十分に進んでいないのが現実である。

例えば、ロボットを用いて工場での仕分け作業を行う場合、対象となる物体をカメラ等で撮影し、物体を認識することが必要なところ、カメラから入力された画像の認識精度を高める表示データ解析装置が知られている(特許文献1を参照)。これは、マーカを検出して物体の情報を表示するセグメント領域を決定するための技術であり、物体の情報と位置のみを推定するものである。
しかしながら、特許文献1に開示された表示データ解析装置では、マーカの位置情報と姿勢情報を表示するのみであり、物体を囲むセグメント領域の情報を取得できていないため、機械学習に用いる学習データセットとしては活用できないという問題がある。

また、3次元的に任意の位置姿勢をとりうる物体の位置姿勢を推定する装置が知られている(特許文献2を参照)。これは、同一の物体に関して、画像から物体の空間的な位置および姿勢を推定するものである。
しかしながら、特許文献2に開示された推定装置では、複数の物体を用いる場合には、それぞれの位置や姿勢を推定できない場合があるという問題がある。

また、画像から物体を検出するものとしては、顔検出のための学習画像を収集するために、取得した画像自体に変形を加えて、学習画像を生成する手法が提案されている(非特許文献1を参照)。
しかしながら、非特許文献1に開示されている学習画像の生成手法では、取得した画像を加工する必要があるところ、変形を加えるという加工により作製された学習データセットは、実際の環境で作製されたものとは異なるため、実環境での学習データセットが必要とされるという要求には適用が困難であり、また、実環境での学習データセットでは無いことから充分に学習の効果を発揮しないという問題がある。さらに、取得した画像に変形を加えるため、学習データセットの準備に時間がかかるという問題もある。

Field of industrial application (In Japanese)

本発明は、工場自動化に用いるロボット制御システムに向けた、学習データセットの作製方法と、その学習データセットを用いた物体認識と位置姿勢の同時推定方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
位置姿勢検出用マーカに対象物の物体情報を関連付けし、
対象物の配置位置のガイドとなるベース部と、該ベース部の上方に固定された前記マーカとから構成される学習データセット生成治具を用いて、前記ベース部をガイドとして対象物を配置した状態で、前記マーカを含む物体全体の多視点画像群を取得し、
取得した画像群に対して対象物のバウンディングボックスを設定し、
撮像画像から推定した対象物の姿勢情報と位置情報、前記物体情報及び前記バウンディングボックスに関する情報を、前記撮像画像に関連付けして、対象物の物体認識及び位置姿勢推定を行うための学習データセットを生成することを特徴とする学習データセット作製方法。

【請求項2】
 
前記位置情報は、前記ベース部をガイドとして配置された対象物の位置と、予め定義した基準座標系における基準姿勢の位置との差分情報であることを特徴とする請求項1に記載の学習データセット作製方法。

【請求項3】
 
前記姿勢情報は、前記マーカの撮像画像と、前記マーカと対象物との相対位置関係を用いて算出した情報であり、前記ベース部をガイドとして配置された対象物の姿勢と、予め定義した基準座標系における基準姿勢との差分情報であることを特徴とする請求項1又は2に記載の学習データセット作製方法。

【請求項4】
 
前記学習データセット生成治具において、前記ベース部は対象物を載せる台座部であり、
前記マーカは、該台座部に上に固着された支柱の上方に脱着自在に固定されたことを特徴とする請求項1~3の何れかに記載の学習データセット作製方法。

【請求項5】
 
前記マーカは、ARマーカを含む2次元パターンマーカ、又は、3次元マーカであることを特徴とする請求項1~4の何れかに記載の学習データセット作製方法。

【請求項6】
 
前記多視点画像群は、対象物を前記学習データセット生成治具に配置して搬送手段により搬送しながら撮像、対象物を前記学習データセット生成治具に配置して回転手段により回転させながら撮像、及び、対象物を前記学習データセット生成治具に配置して移動手段により移動させながら撮像の少なくとも何れかにより取得されたことを特徴とする請求項1~5の何れかに記載の学習データセット作製方法。

【請求項7】
 
請求項1~6の何れかの作製方法により作製した前記学習データセット。

【請求項8】
 
請求項1~6の何れかの作製方法に用いる前記学習データセット生成治具。

【請求項9】
 
請求項7の学習データセットを用いて機械学習を行い、学習済みモデルを取得し、
新たに撮像された撮像画像から、画像認識によって物体の名称を検出して認識用バウンディングボックスを作成し、
前記認識用バウンディングボックスを切り出した部分画像を生成し、前記学習済みモデルを用いて、生成した部分画像に基づき検出した物体の姿勢を推定し、
前記認識用バウンディングボックスの位置、幅及び高さを取得し、前記学習済みモデルを用いて、検出した物体に関する実空間の3次元座標における位置を推定することを特徴とする物体認識及び位置姿勢推定方法。

【請求項10】
 
前記学習済みモデルは、物体の姿勢もしくは位置を推定するための分類器又は回帰器の少なくとも何れかが含まれることを特徴とする請求項9に記載の物体認識及び位置姿勢推定方法。

【請求項11】
 
前記撮像画像は、複数の物体が撮像された画像であり、
検出した各物体に対して、各々認識用バウンディングボックスを作成し、
検出した全ての物体の名称、並びに、推定した姿勢及び位置を実空間の3次元座標として算出することを特徴とする請求項9又は10に記載の物体認識及び位置姿勢推定方法。

【請求項12】
 
前記撮像画像は、前記学習データセットの作製環境と同一又は近似した環境下で撮像された画像であることを特徴とする請求項9~11の何れかに記載の物体認識及び位置姿勢推定方法。

【請求項13】
 
請求項1~6の何れかの学習データセット作製方法の一部の処理をコンピュータに実行させるためのプログラムであって、
前記多視点画像群に対して対象物の前記バウンディングボックスを設定するステップ、
前記撮像画像から推定した対象物の姿勢情報と位置情報、前記物体情報及び前記バウンディングボックスに関する情報を、前記撮像画像に関連付けして、前記学習データセットを生成するステップ、
をコンピュータに実行させるための学習データセット作製プログラム。

【請求項14】
 
請求項9~12の何れかの物体認識及び位置姿勢推定方法の一部の処理をコンピュータに実行させるためのプログラムであって、
新たに撮像された撮像画像から、画像認識によって物体の名称を検出して認識用バウンディングボックスを作成するステップ、
前記認識用バウンディングボックスを切り出した部分画像を生成し、生成した部分画像に基づき前記学習済みモデルを用いて、検出した物体の姿勢を推定するステップ、
前記認識用バウンディングボックスの位置、幅及び高さを取得し、前記学習済みモデルを用いて、検出した物体に関して実空間の3次元座標における位置を推定するステップ、
をコンピュータに実行させるための物体認識及び位置姿勢推定プログラム。

【請求項15】
 
対象物の配置位置のガイドとなるベース部と、該ベース部の上方に固定され、対象物の物体情報が関連付けされる位置姿勢検出用マーカとから構成される学習データセット生成治具、
前記ベース部をガイドとして対象物を配置した状態で、前記マーカを含む物体全体の多視点画像群を取得する撮像手段、
取得した画像群に対して対象物のバウンディングボックスを設定する手段、
撮像画像から推定した対象物の姿勢情報と位置情報、前記物体情報及び前記バウンディングボックスに関する情報を、前記撮像画像に関連付けして、対象物の物体認識及び位置姿勢推定を行うための学習データセットを生成する手段、
を備えたことを特徴とする学習データセット作製装置。

【請求項16】
 
前記学習データセット生成治具において、前記ベース部は対象物を載せる台座部であり、
前記マーカは、該台座部に上に固着された支柱の上方に脱着自在に固定されたことを特徴とする請求項15に記載の学習データセット作製装置。

【請求項17】
 
請求項1~6の何れかの作製方法により作製した前記学習データセットを用いて機械学習を行った産業用ロボットによる工場の自動化システム。

【請求項18】
 
請求項9~12の何れかの物体認識及び位置姿勢推定方法を用いた産業用ロボットによる工場の自動化システム。

【請求項19】
 
請求項14に記載の物体認識及び位置姿勢推定プログラムが搭載された産業用ロボットによる工場の自動化システム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018141910thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close