Top > Search of International Patents > LEARNING DATASET CREATION METHOD AND DEVICE

LEARNING DATASET CREATION METHOD AND DEVICE NEW_EN

Foreign code F190009996
File No. (S2018-0508-N0)
Posted date Oct 30, 2019
Country WIPO
International application number 2019JP013793
International publication number WO 2019189661
Date of international filing Mar 28, 2019
Date of international publication Oct 3, 2019
Priority data
  • P2018-066282 (Mar 29, 2018) JP
Title LEARNING DATASET CREATION METHOD AND DEVICE NEW_EN
Abstract Provided are a method and a device that can efficiently create a learning dataset, which is used for machine learning and targets a plurality of objects. Object information is associated with a visual marker, a learning dataset generation jig that is configured from a base part and a marker is used, said base part being provided with an area that serves as a guide for positioning a target object and said marker being fixed on the base part, the target object is positioned using the area as a guide and in this condition an image group of the entire object including the marker is acquired, the object information that was associated with the visual marker is acquired from the acquired image group, a reconfigured image group is generated from this image group by performing a concealment process on a region corresponding to the visual marker or the learning dataset generation jig, a bounding box is set in the reconfigured image group on the basis of the acquired object information, information relating to the bounding box, the object information, and estimated target object position information and location information are associated with a captured image, and a learning dataset for performing object recognition and location/position estimation for the target object is generated.
Outline of related art and contending technology BACKGROUND ART
Conventionally, in a factory or the like as the operation is automated, artificial intelligence and the "AI" (Artificial Intelligence, or less.) Is mounted on the robot are used. In recent years, the development of deep learning or machine learning (learning deep) by, in the production system in a factory or the like, toward full automation of a factory or the like as the approach, the machine learning that utilizes AI has been rapidly developed. Automation of the work by the robot, there is a need in the art that all, even during, the growth of the distribution industry or the food industry in the future is expected and in the art, the automatic operation by a robot needs to present high. However, the product is handled in the food industry or the distribution industry, more flexible, complicated handling for a change in shape, the robot hand robot provided in the problem of difficult handling. In addition, in the distribution industry or the food industry is handled, once at a few kinds, was centered at the mass production type of the, today it is not only limited production of diversified products is obtained to produce a variable or variant of it, the recognition of the many types of goods can be accurately and quickly is also a problem that it is difficult to conduct. That is, a wide variety of goods and recognized in a short time, such as reclaiming to remove the gift or a defective operation such as sorting can be obtained based on accurately. These circumstances, in the distribution industry or the food industry, a factory automation robot still does not proceed sufficiently in reality.
According to the prior art, in order to collect the learning data on the product is, of taking an image of the object of interest, obtained from the captured image and identify the object by a human hand, the bounding box is drawn that has been carried out. The target object position and orientation of the data input has been performed by a human hand. Therefore, an object in photographing the markers, in a person's hand have been made to automate the work is considered. However, the object markers to the photographing method, the object of interest and the marker for the positional relationship between the number of markers has not been sufficient studies have been made for, the object of interest or in the bounding box of the reflection marker, or, the marker is hidden by the object of interest was a problem. That is, in the bounding box of the target object and reflection of the marker and, if the high quality learning data and the user does not, the marker is learned as a feature of the object may be a possibility. In addition, the object of interest and may be hidden by a marker, the accuracy of object recognition problem.
Object recognition techniques, object recognition techniques in the vicinity of the vehicle, the database construction system to automatically collect learning data has been known (see Patent Document 1). This is, detection result of the sensor data as the supervisor data from the output of another sensor for recognition of the object machine learning supervised learning to automatically collect data according to the present invention. However, disclosed in Patent Document 1 a database construction system, a plurality of types of sensors are used to perform object recognition in the art, can be detected is learned in a sensor is required.
Furthermore, shooting conditions for image recognition from an unknown image of the machine learning can be used to generate a training image which has been known an image generation method (see Patent Document 2). This is, for image recognition in order to generate a training image 2 from an image carried by the first 3 to produce a new training image. However, disclosed in Patent Document 2 the image generating method, an image different from the real environment is created, a high quality learning data set is a problem that cannot be manufactured.
In addition, the position and posture of the camera is performed in the RGB estimation, object model 3D using known methods (see non-patent document 1). However, the method disclosed in Non-Patent Document 1 is, the object 3D is always in advance is required and the model, the real environment is different from the learning image is generated so that, a high quality learning data set is also a problem that cannot be manufactured.
Picking up an image is a marker, the marker is learned as a feature of the object will be a problem in that, in the image marker is considered hidden. In this regard, in the moving image shooting, it is actually in the scene being photographed, the moving object in real-time to hide the hidden de-known technique (see Patent Document 3). This is because, in the moving body detects the object, moving direction and speed is calculated, the calculated moving direction and speed of the moving object when the object is moved to the background image to obtain the speculative. The background image is taken speculatively, the moving object in real time is used to de-hidden. However, disclosed in Patent Document 3 if the moving body is a problem that it cannot de-hidden.
Scope of claims (In Japanese)[請求項1]
 視覚マーカに対象物の物体情報を関連付けし、
 対象物の配置位置のガイドとなるエリアが設けられたベース部と、該ベース部の上に固定された前記視覚マーカとから構成される学習データセット生成治具を用いて、前記エリアをガイドとして対象物を配置した状態で、前記視覚マーカを含む物体全体の画像群を取得し、
 取得した前記画像群から、前記視覚マーカに関連付けされた前記物体情報を取得し、
 前記画像群から前記視覚マーカ又は前記学習データセット生成治具に該当する領域の隠蔽処理を行うことにより再構成された画像群を生成し、
 取得した前記物体情報を基に、前記再構成された画像群に対して対象物のバウンディングボックスを設定し、
 撮像画像から推定した対象物の姿勢情報と位置情報、前記物体情報及び前記バウンディングボックスに関する情報を、前記撮像画像に関連付けして、対象物の物体認識及び位置姿勢推定を行うための学習データセットを生成することを特徴とする学習データセット作製方法。

[請求項2]
 前記視覚マーカは前記対象物と予め定められた位置関係において前記ベース部に複数固定されることを特徴とする請求項1に記載の学習データセット作製方法。

[請求項3]
 前記隠蔽処理は、
 前記画像群から、前記学習データセット生成冶具に該当する領域を検出する検出ステップと、
 前記検出ステップにより抽出された対象物の写り込みが含まれる領域から物体領域を検出することにより、前記学習データセット生成冶具に該当する領域のみを抽出する抽出ステップと、
 前記抽出ステップにより抽出された領域における前記画像群に対して、背景画像又はノイズ画像として上書き処理を行う上書きステップ、
 を備えることを特徴とする請求項1又は2に記載の学習データセット作製方法。

[請求項4]
 前記抽出ステップは、事前に近似した形状情報を用いて、前記物体領域を検出することを特徴とする請求項3に記載の学習データセット作製方法。

[請求項5]
 前記抽出ステップは、事前に学習させた学習モデルを用いて、前記物体領域を検出することを特徴とする請求項3に記載の学習データセット作製方法。

[請求項6]
 前記ベース部は、円形状、楕円形状若しくは矩形状のプレートであることを特徴とする請求項1~5の何れかに記載の学習データセット作製方法。

[請求項7]
 前記ベース部が円形状である場合には、前記視覚マーカは、前記エリアを囲むように、前記エリアの中心方向を基準方向として配置されたことを特徴とする請求項1~6の何れかに記載の学習データセット作製方法。

[請求項8]
 前記ベース部は、前記プレートを、面の挟角が10~90°であるL字状に屈曲させたことを特徴とする請求項6に記載の学習データセット作製方法。

[請求項9]
 前記バウンディングボックスは、前記エリアを基準位置とする3次元バウンディングボックスであることを特徴とする請求項1~8の何れかに記載の学習データセット作製方法。

[請求項10]
 前記視覚マーカは、AR(Augmented Reality)マーカを含む2次元パターンマーカ、又は、3次元マーカであることを特徴とする請求項1~9の何れかに記載の学習データセット作製方法。

[請求項11]
 前記エリアには、前記学習データセット生成治具の識別IDが表示されたことを特徴とする請求項1~10の何れかに記載の学習データセット作製方法。

[請求項12]
 前記エリアには、対象物の向きを調整するための向き調整ガイドが設けられたことを特徴とする請求項1~11の何れかに記載の学習データセット作製方法。

[請求項13]
 前記位置情報は、前記エリアをガイドとして配置された対象物の位置と、予め定義した基準座標系における基準姿勢の位置との差分情報であることを特徴とする請求項1~12の何れかに記載の学習データセット作製方法。

[請求項14]
 前記姿勢情報は、前記視覚マーカの撮像画像と、前記視覚マーカと対象物との相対位置関係を用いて算出した情報であり、前記エリアをガイドとして配置された対象物の姿勢と、予め定義した基準座標系における基準姿勢との差分情報であることを特徴とする請求項1~13の何れかに記載の学習データセット作製方法。

[請求項15]
 前記画像群は、対象物を前記学習データセット生成治具に配置して搬送手段により搬送しながら撮像、対象物を前記学習データセット生成治具に配置して回転手段により回転させながら撮像、及び、対象物を前記学習データセット生成治具に配置して移動手段により移動させながら撮像の少なくとも何れかにより取得されたことを特徴とする請求項1~14の何れかに記載の学習データセット作製方法。

[請求項16]
 請求項1~15の何れかの作製方法により作製した前記学習データセット。

[請求項17]
 請求項1~15の何れかの作製方法に用いる前記学習データセット生成治具。

[請求項18]
 請求項16の学習データセットを用いて機械学習を行い、学習済みモデルを取得し、
 新たに撮像された撮像画像から、画像認識によって物体の名称を検出して認識用バウンディングボックスを作成し、
 前記認識用バウンディングボックスを切り出した部分画像を生成し、前記学習済みモデルを用いて、生成した部分画像に基づき検出した物体の姿勢を推定し、
 前記認識用バウンディングボックスの位置、幅及び高さを取得し、前記学習済みモデルを用いて、検出した物体に関する実空間の3次元座標における位置を推定することを特徴とする物体認識及び位置姿勢推定方法。

[請求項19]
 前記認識用バウンディングボックスは、2次元バウンディングボックス又は3次元バウンディングボックスであることを特徴とする請求項18に記載の物体認識及び位置姿勢推定方法。

[請求項20]
 前記学習済みモデルは、物体の姿勢もしくは位置を推定するための分類器又は回帰器の少なくとも何れかが含まれることを特徴とする請求項18又は19に記載の物体認識及び位置姿勢推定方法。

[請求項21]
 前記撮像画像は、複数の物体が撮像された画像であり、
 検出した各物体に対して、各々認識用バウンディングボックスを作成し、
 検出した全ての物体の名称、並びに、推定した姿勢及び位置を実空間の3次元座標として算出することを特徴とする請求項18~20の何れかに記載の物体認識及び位置姿勢推定方法。

[請求項22]
 前記撮像画像は、前記学習データセットの作製環境と同一又は近似した環境下で撮像された画像であることを特徴とする請求項18~21の何れかに記載の物体認識及び位置姿勢推定方法。

[請求項23]
 請求項1~15の何れかの学習データセット作製方法の一部の処理をコンピュータに実行させるためのプログラムであって、
 前記画像群に対して対象物の前記バウンディングボックスを設定するステップ、
 前記撮像画像から推定した対象物の姿勢情報と位置情報、前記物体情報及び前記バウンディングボックスに関する情報を、前記撮像画像に関連付けして、前記学習データセットを生成するステップ、
 をコンピュータに実行させるための学習データセット作製プログラム。

[請求項24]
 請求項18~22の何れかの物体認識及び位置姿勢推定方法の一部の処理をコンピュータに実行させるためのプログラムであって、
 新たに撮像された撮像画像から、画像認識によって物体の名称を検出して認識用バウンディングボックスを作成するステップ、
 前記認識用バウンディングボックスを切り出した部分画像を生成し、生成した部分画像に基づき前記学習済みモデルを用いて、検出した物体の姿勢を推定するステップ、
 前記認識用バウンディングボックスの位置、幅及び高さを取得し、前記学習済みモデルを用いて、検出した物体に関して実空間の3次元座標における位置を推定するステップ、
 をコンピュータに実行させるための物体認識及び位置姿勢推定プログラム。

[請求項25]
 対象物の配置位置のガイドとなるエリアが設けられたベース部と、該ベース部の上に固定され、対象物の物体情報が関連付けされる視覚マーカとから構成される学習データセット生成治具、
 前記エリアをガイドとして対象物を配置した状態で、前記視覚マーカを含む物体全体の画像群を取得する撮像手段、
 取得した前記画像群から、前記視覚マーカに関連付けされた前記物体情報を取得する手段、
 前記画像群から前記視覚マーカ又は前記学習データセット生成治具に該当する領域の隠蔽処理を行うことにより再構成された画像群を生成する手段、
 取得した画像群に対して対象物のバウンディングボックスを設定する手段、
 撮像画像から推定した対象物の姿勢情報と位置情報、前記物体情報及び前記バウンディングボックスに関する情報を、前記撮像画像に関連付けして、対象物の物体認識及び位置姿勢推定を行うための学習データセットを生成する手段、
 を備えたことを特徴とする学習データセット作製装置。

[請求項26]
 前記視覚マーカは前記対象物と予め定められた位置関係において前記ベース部に複数固定されることを特徴とする請求項25に記載の学習データセット作製装置。

[請求項27]
 請求項1~15の何れかの作製方法により作製した前記学習データセットを用いて機械学習を行った産業用ロボットによる工場の自動化システム。

[請求項28]
 請求項18~22の何れかの物体認識及び位置姿勢推定方法を用いた産業用ロボットによる工場の自動化システム。

[請求項29]
 請求項24に記載の物体認識及び位置姿勢推定プログラムが搭載された産業用ロボットによる工場の自動化システム。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • NATIONAL UNIVERSITY CORPORATION NARA INSTITUTE OF SCIENCE AND TECHNOLOGY
  • Inventor
  • TOMOCHIKA, Keita
  • KIYOKAWA, Takuya
  • OGASAWARA, Tsukasa
  • TAKAMATSU, Jun
  • DING, Ming
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JO JP KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG
Please contact us by E-mail or facsimile if you have any interests on this patent.

PAGE TOP

close
close
close
close
close
close