Top > Search of International Patents > ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL METHOD, MACHINE CONTROL METHOD, AND RECORDING MEDIUM

ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL METHOD, MACHINE CONTROL METHOD, AND RECORDING MEDIUM

Foreign code F180009621
File No. 5447
Posted date Nov 20, 2018
Country WIPO
International application number 2017JP042155
International publication number WO 2018097223
Date of international filing Nov 24, 2017
Date of international publication May 31, 2018
Priority data
  • P2016-227546 (Nov 24, 2016) JP
Title ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL METHOD, MACHINE CONTROL METHOD, AND RECORDING MEDIUM
Abstract In the present invention, an operation computer displays, on a display such as a head-mounted display, a field-of-view image showing the state that appears in the field-of-view of an operator if the operator who is in a first space appears in a second space in which a robot is present. The robot is controlled so that the robot performs a task in accordance with operations performed by the operator.
Outline of related art and contending technology BACKGROUND ART
The operator, the robot to perform a task when performed in real-time, usually, the operation of the robot.As the technique used in operating the robot, for example the following technique has been known.
Visual device described in Patent Document 1, in accordance with the movement of the head of the operator, a robot to a slave device to the image pickup apparatus capturing an image, projected onto a head-mounted display.
Patent Document 2 to the remote operating system, before the start of the spraying operations, sprayer 1 of the left camera, the right camera to take an image of the surface of the blowing tunnel, is stored in the memory.Blowing operation is commenced and the position of the spray nozzle, and the measurement direction or the like, onto the surface of an object on the amount of spraying, the estimated thickness is blown, blown to create an image in a mortar, are written into the memory.In addition, the image of the spray nozzles to spray the left camera, and the right camera, the image combining unit in the image memory and sent from the spray nozzle onto the target surface, and the image of the blown and mortar, three-dimensional stereoscopic image display in the display.The operator, the image while viewing the remote control of a sprayer.
Is the non-patent document 1, having a structure similar to that of the human body of the robot-type humanoid has been disclosed an operation method.Is the non-patent document 2, the movement of the manipulator to the remote control system is disclosed.
Is the non-patent document 3, the virtual space of the robot reproduce the remote destination, the task model of a human hand in order to realize the method of the present tool has been disclosed.
In addition, the prior art, a robot having a structure different from the human body when the operator operates, such as a joystick or game controller input device is used.Hereinafter, such a robot 'non-humanoid robot' is described.
Scope of claims (In Japanese)請求の範囲 [請求項1]
 ディスプレイに表示された画像をオペレータに見せながら、タスクを実行するようロボットを制御するロボット制御システムであって、
 前記オペレータが前記ロボットの存在する空間に居るならば前記オペレータの視界に現われる様子を表わす視界画像を前記ディスプレイに表示させる表示手段と、
 前記オペレータの動きに応じたタスクを前記ロボットに実行させるための制御命令を生成し、前記ロボットに送信する制御手段と、
 を有するロボット制御システム。

[請求項2]
 前記ロボットは、物体を取り扱う第一の部位を有し、
 前記オペレータは、第二の部位を有し、
 前記制御手段は、前記第二の部位の動きに基づいて前記第一の部位を動かす命令を前記制御命令として生成し前記ロボットに送信する、
 請求項1に記載のロボット制御システム。

[請求項3]
 前記制御手段は、前記オペレータが前記第二の部位を動かした際に、前記オペレータが前記空間に居るならば前記第二の部位が前記空間の中で動く軌跡に合わせて前記第一の部位が動くように前記ロボットを制御する、
 請求項2に記載のロボット制御システム。

[請求項4]
 前記ディスプレイは、前記オペレータに装着するためのヘッドマウントディスプレイであり、
 前記表示手段は、前記空間を仮想的に再現した仮想空間の中に前記オペレータの動きに合わせて動くアバターを配置し、前記アバターの目から視線方向に見える様子を表わす画像を前記視界画像として前記ディスプレイに表示させる、
 請求項2または請求項3に記載のロボット制御システム。

[請求項5]
 前記表示手段は、前記オペレータを計測することによって求められた三次元形状および前記ロボットに設けられた計測装置によって得られたデータに基づいて求められた三次元形状を用いて前記アバターを前記空間に配置する、
 請求項4に記載のロボット制御システム。

[請求項6]
 前記オペレータが足踏みするのに伴って前記ロボットを移動させる第二の制御手段、を有し、
 前記表示手段は、前記ロボットが前記仮想空間において再現される位置に前記アバターを配置し、前記視界画像を前記ディスプレイに表示させる、
 請求項4または請求項5に記載のロボット制御システム。

[請求項7]
 前記表示手段は、前記ロボットを仮想した仮想ロボットを前記仮想空間の中の前記位置に配置し、前記視界画像を前記ディスプレイに表示させる、
 請求項6に記載のロボット制御システム。

[請求項8]
 前記表示手段は、特定のコマンドが入力されまたは前記ロボットに特定のイベントが生じた場合に、前記ロボットを仮想した仮想ロボットを前記仮想空間の中の前記位置に配置し、前記アバターを前記位置の近傍に配置し直し、前記視界画像を前記ディスプレイに表示させる、
 請求項6に記載のロボット制御システム。

[請求項9]
 前記アバターが配置し直された後に前記オペレータが動作を行った場合に、前記オペレータと前記ロボットとの位置関係が前記アバターと前記仮想ロボットとの位置関係と同じであるならば前記動作によって前記ロボットに生じる変化が起きるように前記ロボットを制御する、第三の制御手段、を有する、
 請求項8に記載のロボット制御システム。

[請求項10]
 前記ロボットが前記物体に触れまたは前記空間の中の障害物に干渉した場合に、前記物体に触れたことまたは前記障害物に干渉したことを、力覚、触覚、または聴覚を前記オペレータを与えることによって知らせる報知手段、を有する、
 請求項2ないし請求項9のいずれかに記載のロボット制御システム。

[請求項11]
 前記第一の部位によって前記物体を前記オペレータの所望する通りに取り扱うことができない場合に他のロボットと協同して当該物体を取り扱うための処理を行う協同手段、を有する、
 請求項2ないし請求項10のいずれかに記載のロボット制御システム。

[請求項12]
 前記表示手段は、前記オペレータの動きに応じたタスクを行うように前記アバターを動かしながら前記視界画像を前記ディスプレイに表示させる、
 請求項4ないし請求項9のいずれかに記載のロボット制御システム。

[請求項13]
 機械を制御する機械制御システムであって、
 オペレータが前記機械の存在する空間の中の前記機械の近傍の位置に居るならば前記オペレータの視界に現われる様子を表わす視界画像をディスプレイに表示させる表示手段と、
 前記オペレータが動作を行った場合に、前記オペレータが前記空間の中の前記位置に居るならば前記動作によって前記機械に生じる変化が起きるように前記機械を制御する、制御手段と、
 を有する機械制御システム。

[請求項14]
 前記ディスプレイは、前記オペレータに装着するためのヘッドマウントディスプレイであり、
 前記機械は、パワーアシストスーツである、
 請求項13に記載の機械制御システム。

[請求項15]
 ディスプレイに表示された画像をオペレータに見せながら、タスクを実行するようロボットを制御するロボット制御方法であって、
 前記オペレータが前記ロボットの存在する空間に居るならば前記オペレータの視界に現われる様子を表わす視界画像を前記ディスプレイに表示させる表示処理を行い、
 前記オペレータの動きに応じたタスクを前記ロボットに実行させるための制御命令を生成し前記ロボットに送信する制御処理を行う、
 ロボット制御方法。

[請求項16]
 前記ロボットは、物体を取り扱う第一の部位を有し、
 前記オペレータは、第二の部位を有し、
 前記制御処理は、前記第二の部位の動きに基づいて前記第一の部位を動かす命令を前記制御命令として生成し前記ロボットに送信する処理である、
 請求項15に記載のロボット制御方法。

[請求項17]
 前記制御処理は、前記オペレータが前記第二の部位を動かした際に、前記オペレータが前記空間に居るならば前記第二の部位が前記空間の中で動く軌跡に合わせて前記第一の部位が動くように前記ロボットを制御する処理である、
 請求項16に記載のロボット制御方法。

[請求項18]
 前記ディスプレイは、前記オペレータに装着するためのヘッドマウントディスプレイであり、
 前記表示処理は、前記空間を仮想的に再現した仮想空間の中に前記オペレータの動きに合わせて動くアバターを配置する配置し、前記アバターの目から視線方向に見える様子を表わす画像を前記視界画像として前記ディスプレイに表示させる処理である、
 請求項16または請求項17に記載のロボット制御方法。

[請求項19]
 前記表示処理は、前記オペレータを計測することによって求められた三次元形状および前記ロボットに設けられた計測装置によって得られたデータに基づいて求められた三次元形状を用いて前記アバターを前記空間に配置し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項18に記載のロボット制御方法。

[請求項20]
 前記オペレータが足踏みするのに伴って前記ロボットを移動させる第二の制御処理、を行い、
 前記表示処理は、前記ロボットが前記仮想空間において再現される位置に前記アバターを配置し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項18または請求項19に記載のロボット制御方法。

[請求項21]
 前記表示処理は、前記ロボットを仮想した仮想ロボットを前記仮想空間の中の前記位置に配置し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項20に記載のロボット制御方法。

[請求項22]
 前記表示処理は、特定のコマンドが入力されまたは前記ロボットに特定のイベントが生じた場合に、前記ロボットを仮想した仮想ロボットを前記仮想空間の中の前記位置に配置し、前記アバターを前記位置の近傍に配置し直し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項20に記載のロボット制御方法。

[請求項23]
 前記アバターが配置し直された後に前記オペレータが動作を行った場合に、前記オペレータと前記ロボットとの位置関係が前記アバターと前記仮想ロボットとの位置関係と同じであるならば前記動作によって前記ロボットに生じる変化が起きるように前記ロボットを制御する、第三の制御処理を行う、
 請求項22に記載のロボット制御方法。

[請求項24]
 前記ロボットが前記物体に触れまたは前記空間の中の障害物に干渉した場合に、前記物体に触れたことまたは前記障害物に干渉したことを、力覚、触覚、または聴覚を前記オペレータを与えることによって知らせる報知処理を行う、
 請求項16ないし請求項23のいずれかに記載のロボット制御方法。

[請求項25]
 前記第一の部位によって前記物体を前記オペレータの所望する通りに取り扱うことができない場合に他のロボットと協同して当該物体を取り扱うための協同処理を行う、
 請求項16ないし請求項24のいずれかに記載のロボット制御方法。

[請求項26]
 前記表示処理は、前記オペレータの動きに応じたタスクを行うように前記アバターを動かしながら前記視界画像を前記ディスプレイに表示させる処理である、
 請求項18ないし請求項23のいずれかに記載のロボット制御方法。

[請求項27]
 機械を制御する機械制御方法であって、
 オペレータが前記機械の存在する空間の中の前記機械の近傍の位置に居るならば前記オペレータの視界に現われる様子を表わす視界画像をディスプレイに表示させる表示処理を行い、
 前記オペレータが動作を行った場合に、前記オペレータが前記空間の中の前記位置に居るならば前記動作によって前記機械に生じる変化が起きるように前記機械を制御する制御処理を行う、
 機械制御方法。

[請求項28]
 前記ディスプレイは、前記オペレータに装着するためのヘッドマウントディスプレイであり、
 前記機械は、パワーアシストスーツである、
 請求項27に記載の機械制御方法。

[請求項29]
 ディスプレイに表示された画像をオペレータに見せながら、タスクを実行するようロボットを制御するコンピュータに用いられるコンピュータプログラムを格納した、前記コンピュータによるアクセスが可能な記録媒体であって、
 前記コンピュータプログラムは、
 前記オペレータが前記ロボットの存在する空間に居るならば前記オペレータの視界に現われる様子を表わす視界画像を前記ディスプレイに表示させる表示処理を前記コンピュータに実行させ、
 前記オペレータの動きに応じたタスクを前記ロボットに実行させるための制御命令を生成し前記ロボットに送信する制御処理を前記コンピュータに実行させる、
 記録媒体。

[請求項30]
 前記ロボットは、物体を取り扱う第一の部位を有し、
 前記オペレータは、第二の部位を有し、
 前記制御処理は、前記第二の部位の動きに基づいて前記第一の部位を動かす命令を前記制御命令として生成し前記ロボットに送信する処理である、
 請求項29に記載の記録媒体。

[請求項31]
 前記制御処理は、前記オペレータが前記第二の部位を動かした際に、前記オペレータが前記空間に居るならば前記第二の部位が前記空間の中で動く軌跡に合わせて前記第一の部位が動くように前記ロボットを制御する処理である、
 請求項30に記載の記録媒体。

[請求項32]
 前記ディスプレイは、前記オペレータに装着するためのヘッドマウントディスプレイであり、
 前記表示処理は、前記空間を仮想的に再現した仮想空間の中に前記オペレータの動きに合わせて動くアバターを配置する配置し、前記アバターの目から視線方向に見える様子を表わす画像を前記視界画像として前記ディスプレイに表示させる処理である、
 請求項30または請求項31に記載の記録媒体。

[請求項33]
 前記表示処理は、前記オペレータを計測することによって求められた三次元形状および前記ロボットに設けられた計測装置によって得られたデータに基づいて求められた三次元形状を用いて前記アバターを前記空間に配置し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項32に記載の記録媒体。

[請求項34]
 前記オペレータが足踏みするのに伴って前記ロボットを移動させる第二の制御処理を前記コンピュータに実行させ、
 前記表示処理は、前記ロボットが前記仮想空間において再現される位置に前記アバターを配置し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項32または請求項33に記載の記録媒体。

[請求項35]
 前記表示処理は、前記ロボットを仮想した仮想ロボットを前記仮想空間の中の前記位置に配置し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項34に記載の記録媒体。

[請求項36]
 前記表示処理は、特定のコマンドが入力されまたは前記ロボットに特定のイベントが生じた場合に、前記ロボットを仮想した仮想ロボットを前記仮想空間の中の前記位置に配置し、前記アバターを前記位置の近傍に配置し直し、前記視界画像を前記ディスプレイに表示させる処理である、
 請求項34に記載の記録媒体。

[請求項37]
 前記アバターが配置し直された後に前記オペレータが動作を行った場合に、前記オペレータと前記ロボットとの位置関係が前記アバターと前記仮想ロボットとの位置関係と同じであるならば前記動作によって前記ロボットに生じる変化が起きるように前記ロボットを制御する第三の制御処理を前記コンピュータに実行させる、
 請求項36に記載の記録媒体。

[請求項38]
 前記ロボットが前記物体に触れまたは前記空間の中の障害物に干渉した場合に、前記物体に触れたことまたは前記障害物に干渉したことを、力覚、触覚、または聴覚を前記オペレータを与えることによって知らせる報知処理を前記コンピュータに実行させる、
 請求項30ないし請求項37のいずれかに記載の記録媒体。

[請求項39]
 前記第一の部位によって前記物体を前記オペレータの所望する通りに取り扱うことができない場合に他のロボットと協同して当該物体を取り扱うための協同処理を前記コンピュータに実行させる、
 請求項30ないし請求項38のいずれかに記載の記録媒体。

[請求項40]
 前記表示処理は、前記オペレータの動きに応じたタスクを行うように前記アバターを動かしながら前記視界画像を前記ディスプレイに表示させる処理である、
 請求項32ないし請求項37のいずれかに記載の記録媒体。

[請求項41]
 機械を制御するコンピュータに用いられるコンピュータプログラムを格納した、前記コンピュータによるアクセスが可能な記録媒体であって、
 前記コンピュータプログラムは、
 オペレータが前記機械の存在する空間の中の前記機械の近傍の位置に居るならば前記オペレータの視界に現われる様子を表わす視界画像をディスプレイに表示させる表示処理を前記コンピュータに実行させ、
 前記オペレータが動作を行った場合に、前記オペレータが前記空間の中の前記位置に居るならば前記動作によって前記機械に生じる変化が起きるように前記機械を制御する制御処理を前記コンピュータに実行させる、
 記録媒体。

[請求項42]
 前記ディスプレイは、前記オペレータに装着するためのヘッドマウントディスプレイであり、
 前記機械は、パワーアシストスーツである、
 請求項41に記載の記録媒体。

  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • KYOTO UNIVERSITY
  • Inventor
  • MATSUNO, Fumitoshi
  • MURATA, Ryosuke
  • ENDO, Takahiro
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JO JP KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.

PAGE TOP

close
close
close
close
close
close