Top > Search of International Patents > BEHAVIOR ESTIMATION DEVICE, BEHAVIOR ESTIMATION METHOD, AND BEHAVIOR ESTIMATION PROGRAM

BEHAVIOR ESTIMATION DEVICE, BEHAVIOR ESTIMATION METHOD, AND BEHAVIOR ESTIMATION PROGRAM meetings

Foreign code F200010006
File No. (S2018-0471-N0)
Posted date Jan 29, 2020
Country WIPO
International application number 2019JP011693
International publication number WO 2019202900
Date of international filing Mar 20, 2019
Date of international publication Oct 24, 2019
Priority data
  • P2018-078057 (Apr 15, 2018) JP
Title BEHAVIOR ESTIMATION DEVICE, BEHAVIOR ESTIMATION METHOD, AND BEHAVIOR ESTIMATION PROGRAM meetings
Abstract [Problem] To realize object operation skill learning that is robust against change in a condition.
[Solution] A action estimation device 100 includes a collection unit 200 for performing bidirectional communication between a master robot and a slave robot and thereby collecting skill data from when the slave robot is operated in a plurality of different conditions using a bilateral system in which the slave robot can be operated via the master robot. The action estimation device 100 also includes an action estimator 300 for estimating a command value for causing the slave robot 520 to automatically act, on the basis of the skill data collected by the collection unit 200 and a response outputted from the slave robot 520.
Outline of related art and contending technology BACKGROUND ART
In recent years, various object manipulation operation performed by the human robot is demanded can be replaced. Object manipulation to the operation, for example, in agricultural harvest or collection, a construction work, warehouse picking, cooking, surgical, washing and the like.
Object manipulation operation in order to substitute a robot, using reinforcement learning technique to learn the operation of the robot of ordinary skill in the object is known. Reinforcement learning is, in an environment that is observed in the current state of the agent, determining the action to be taken which is a kind of machine learning. The agent, behaviors are selected from the environment it is possible to obtain a reward. Is the reinforcement learning, a series of action through the most reward learning strategies may be obtained.
However, using reinforcement learning technique to learn the operation of ordinary skill in the object, a huge number of object manipulation. Go is the operation object such as a software that can be reproduced because they do not, one such attempt cannot be performed at a high speed. Therefore, it is desirable to reduce the number of attempts.
On the other hand, the learning object using the robot to mimic the operation of ordinary skill in the known method is learned. Learning is to mimic, for example the position command of the operator when operating the robot and collecting the data, the operation object on the basis of the collected data to cause the robot to learn the skill. Mimic the use of learning can be expected to significantly reduce the number of attempts.
However, in the field of learning to mimic the time of data collection between the robot and the operator does not consider the bi-directional, a person of ordinary skill in the operation object may not be exhibited sufficiently has been a problem. As a result, the operation success rate is not high enough to improve the object there is room for improvement.
In this regard, bi-directional between the robot and the operator in consideration of bilateral system has been known. Is bilateral system, the master robot and the operator, the master robot and slave robot operating in conjunction with the two-way control is carried out. Of the master robot as a function of storing data, thereby to reproduce the operation of the operator and the slave robot can be.
Scope of claims (In Japanese)[請求項1]
 マスタ装置とスレーブ装置との間で双方向制御を行うことによって前記マスタ装置を介して前記スレーブ装置を操作可能なバイラテラルシステムを用いて複数の異なる条件において前記スレーブ装置を操作したときの技能データを収集する収集部と、
 前記収集部によって収集された前記技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する行動推定器と、
 を含み、
 前記収集部は、前記バイラテラルシステムを用いて前記スレーブ装置を操作したときの前記マスタ装置の操作に対する前記スレーブ装置の動作の追従遅れに応じて前記スレーブ装置を操作したときの技能データを収集し、
 前記行動推定器は、前記収集部によって収集された前記スレーブ装置の動作の追従遅れに応じて前記スレーブ装置を操作したときの技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する、
 行動推定装置。

[請求項2]
 前記行動推定器は、前記制御対象体を自動行動させるための指令値として位置指令値および力指令値を推定するものであり、
 前記行動推定装置は、
 前記行動推定器によって推定された前記位置指令値および前記制御対象体から出力される位置応答に基づいて前記制御対象体に入力する位置制御入力を出力する位置制御器と、
 前記行動推定器によって推定された前記力指令値および前記制御対象体から出力される力応答に基づいて前記制御対象体に入力する力制御入力を出力する力制御器と、
 をさらに含む、
 請求項1に記載の行動推定装置。

[請求項3]
 前記マスタ装置は、操作者の操作に応じて動作するマスタロボットであり、
 前記スレーブ装置は、前記マスタロボットの動作に応じて動作するスレーブロボットであり、
 前記バイラテラルシステムは、前記マスタロボットと前記スレーブロボットとの間で双方向制御を行うことによって前記操作者が前記スレーブロボットからの反作用情報を認識して適応的な操作を行うことが可能である、
 請求項1または2に記載の行動推定装置。

[請求項4]
 前記スレーブ装置は、前記スレーブ装置の周辺環境を撮影可能な画像撮影部、前記スレーブ装置の周辺の音を取得可能な音響取得部、および前記スレーブ装置の触覚情報を取得可能な触覚取得部の少なくとも一方を含む、
 請求項1から3のいずれか1項に記載の行動推定装置。

[請求項5]
 前記制御対象体から出力される位置応答および力応答、前記行動推定器から出力される位置指令値および力指令値、または前記制御対象体に入力される位置制御入力および力制御入力、の少なくともいずれか1つに対して前処理を行う前処理部をさらに含む、
 請求項1から4のいずれか1項に記載の行動推定装置。

[請求項6]
 前記前処理部は、
 前記制御対象体から出力される力応答、前記行動推定器から出力される力指令値、または前記制御対象体に入力される力制御入力、の少なくともいずれか1つについて、前記力応答、前記力指令値、または前記力制御入力の第1の範囲における変動に対する前処理後の値の変動が、前記第1の範囲より大きい第2の範囲における変動に対する前処理後の値の変動よりも大きくなるように前処理を行う、
 請求項5に記載の行動推定装置。

[請求項7]
 前記制御対象体から出力される力応答、前記行動推定器から出力される力指令値、または前記制御対象体に入力される力制御入力、の少なくともいずれか1つを前記力応答、前記力指令値、または前記力制御入力の大きさに応じて複数に分類する力分類部をさらに含み、
 前記力分類部によって分類された複数の前記力応答、前記力指令値、または前記力制御入力を異なる力応答、力指令値、または力制御入力として扱う、
 請求項5に記載の行動推定装置。

[請求項8]
 前記収集部によって収集された前記技能データを前記制御対象体の動作周波数に応じた周波数によってサンプリングして間引き技能データを生成する技能データ前処理部をさらに含み、
 前記行動推定器は、前記間引き技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する、
 請求項1から7のいずれか1項に記載の行動推定装置。

[請求項9]
 前記技能データ前処理部は、前記収集部によって収集された前記技能データを前記制御対象体の動作周波数に応じた周波数によって複数の異なるタイミングでサンプリングして複数の間引き技能データを生成し、
 前記行動推定器は、前記複数の間引き技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する、
 請求項8に記載の行動推定装置。

[請求項10]
 前記技能データ前処理部は、前記収集部によって収集された前記技能データに含まれる複数種類の情報を、前記制御対象体の動作周波数に応じた異なる周波数でサンプリングして複数の間引き技能データを生成し、
 前記行動推定器は、前記複数の間引き技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する、
 請求項8に記載の行動推定装置。

[請求項11]
 前記技能データ前処理部は、前記複数の間引き技能データ同士の相関が小さくなるように、前記収集部によって収集された前記技能データに含まれる複数種類の情報を、前記制御対象体の動作周波数に応じた異なる周波数でサンプリングして複数の間引き技能データを生成する、
 請求項10に記載の行動推定装置。

[請求項12]
 前記制御対象体の動作周波数に応じた周波数は、前記動作周波数の5倍から100倍程度の周波数である、
 請求項8から11のいずれか1項に記載の行動推定装置。

[請求項13]
 前記制御対象体の動作周波数に応じた周波数は、前記動作周波数の20倍から50倍の周波数である、
 請求項12に記載の行動推定装置。

[請求項14]
 マスタ装置とスレーブ装置との間で双方向制御を行うことによって前記マスタ装置を介して前記スレーブ装置を操作可能なバイラテラルシステムを用いて複数の異なる条件において前記スレーブ装置を操作したときの技能データを収集する収集ステップと、
 前記収集ステップによって収集された前記技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する行動推定ステップと、
 を含み、
 前記収集ステップは、前記バイラテラルシステムを用いて前記スレーブ装置を操作したときの前記マスタ装置の操作に対する前記スレーブ装置の動作の追従遅れに応じて前記スレーブ装置を操作したときの技能データを収集し、
 前記行動推定ステップは、前記収集ステップによって収集された前記スレーブ装置の動作の追従遅れに応じて前記スレーブ装置を操作したときの技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する、
 行動推定方法。

[請求項15]
 コンピュータに、
 マスタ装置とスレーブ装置との間で双方向制御を行うことによって前記マスタ装置を介して前記スレーブ装置を操作可能なバイラテラルシステムを用いて複数の異なる条件において前記スレーブ装置を操作したときの技能データを収集する収集ステップと、
 前記収集ステップによって収集された前記技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する行動推定ステップと、
 を実行させ、
 前記収集ステップは、前記バイラテラルシステムを用いて前記スレーブ装置を操作したときの前記マスタ装置の操作に対する前記スレーブ装置の動作の追従遅れに応じて前記スレーブ装置を操作したときの技能データを収集し、
 前記行動推定ステップは、前記収集ステップによって収集された前記スレーブ装置の動作の追従遅れに応じて前記スレーブ装置を操作したときの技能データおよび制御対象体から出力される応答に基づいて前記制御対象体を自動行動させるための指令値を推定する、
 行動推定プログラム。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • UNIVERSITY OF TSUKUBA
  • Inventor
  • SAKAINO Sho
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JO JP KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG
Please contact us by E-mail or facsimile if you have any interests on this patent.

PAGE TOP

close
close
close
close
close
close