Top > Search of Japanese Patents > (In Japanese)ロボット制御装置 > Specification

Specification :(In Japanese)ロボット制御装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B1)
Patent Number P6625266
Date of registration Dec 6, 2019
Date of issue Dec 25, 2019
Title of the invention, or title of the device (In Japanese)ロボット制御装置
IPC (International Patent Classification) B25J   9/22        (2006.01)
B25J  19/02        (2006.01)
FI (File Index) B25J 9/22 Z
B25J 19/02
Number of claims or invention 6
Total pages 17
Application Number P2019-510378
Date of filing Mar 23, 2018
International application number PCT/JP2018/011704
Date of request for substantive examination Feb 19, 2019
Patentee, or owner of utility model right (In Japanese)【識別番号】000006013
【氏名又は名称】三菱電機株式会社
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
Inventor, or creator of device (In Japanese)【氏名】藤本 堅太
【氏名】奥田 晴久
【氏名】松野 文俊
【氏名】遠藤 孝浩
Accelerated examination, or accelerated appeal examination (In Japanese)早期審査対象出願
Representative (In Japanese)【識別番号】100088672、【弁理士】、【氏名又は名称】吉竹 英俊
【識別番号】100088845、【弁理士】、【氏名又は名称】有田 貴弘
Examiner (In Japanese)【審査官】稲垣 浩司
Document or reference (In Japanese)特開2011-110620(JP,A)
特開平06-039754(JP,A)
特開2014-104527(JP,A)
特許第4463120(JP,B2)
Field of search B25J 1/00 - 21/02
Abstract (In Japanese) 作業者がロボットを容易に操作することが可能な技術を提供することを目的とする。ロボット制御装置は、ロボット9を制御するロボット制御装置であって、作業者のジェスチャを認識し、当該ジェスチャに基づいて、ロボット9が動作を行うための動作指示を決定する作業支援装置2と、作業支援装置2が決定した動作指示に基づいて、ロボット9の動作を制御するロボットコントローラ4と、作業支援装置2が決定した動作指示に基づいて動く人間のアニメーションを表示する動作表示装置5とを備える。
Scope of claims (In Japanese)【請求項1】
ロボットを制御するロボット制御装置であって、
作業者の動作をセンサで検出した前記作業者の特定部位の座標に基づいて、前記特定部位と前記特定部位の移動量との組み合わせを前記作業者のジェスチャとして認識して登録するジェスチャ認識部と、前記ジェスチャと、動作可視化テーブルに記憶されている複数のアバターアニメーションのいずれかと、移動箇所とを関連付ける動作可視化機構部と、前記動作可視化機構部で特定された移動箇所に基づいて位置情報管理テーブルから当該移動箇所の位置座標を特定する作業指示変換部とを備え、前記ジェスチャに基づいて、前記位置座標を含み、前記ロボットが動作を行うための動作指示を決定する作業支援装置と、
前記作業支援装置が決定した動作指示に基づいて、前記ロボットの動作を制御するための情報を決定し、当該情報をサーボモータに出力するロボットコントローラと、
前記作業支援装置が決定した動作指示に基づいて動く人間の前記アバターアニメーションを、前記ロボットの動作として表示する動作表示装置と
を備える、ロボット制御装置。
【請求項2】
請求項1に記載のロボット制御装置であって、
前記作業支援装置は、ネットワークによって前記ロボットコントローラと接続されている、ロボット制御装置。
【請求項3】
ロボットを制御するロボット制御装置であって、
作業者の動作をセンサで検出した結果に基づいて当該作業者のジェスチャを認識し、当該ジェスチャに基づいて、前記ロボットが動作を行うための動作指示を決定する作業支援装置と、
前記作業支援装置が決定した動作指示に基づいて、前記ロボットの動作を制御するための情報を決定し、当該情報をサーボモータに出力するロボットコントローラと、
前記作業支援装置が決定した動作指示に基づいて動く人間のアニメーションを、前記ロボットの動作として表示する動作表示装置と、
特定の前記動作指示に基づく前記ロボットの動作の開始及び完了の少なくともいずれかが行われたときに、当該動作とテーブルで予め対応付けられた音及び振動の少なくともいずれかを出力させる出力デバイスと
を備える、ロボット制御装置。
【請求項4】
請求項1から請求項3のうちのいずれか1項に記載のロボット制御装置であって、
前記作業支援装置は、
前記動作指示を決定するための前記ジェスチャである特定の第1ジェスチャだけでなく、前記第1ジェスチャと異なる特定の第2ジェスチャと、作業者の動作から当該作業者の特定部位の移動を示す第3ジェスチャとを認識し、
前記作業支援装置は、
前記第2ジェスチャを認識した場合に、前記第1ジェスチャに基づく前記動作指示を決定する第1モードの代わりに、前記ロボットが前記第3ジェスチャの前記移動に基づく移動を行うための移動量を前記動作指示として決定する第2モードを行う、ロボット制御装置。
【請求項5】
請求項4に記載のロボット制御装置であって、
前記作業支援装置は、
前記第3ジェスチャが示す前記移動と、予め設定された比例ゲインとに基づいて、前記ロボットの前記移動量を求める、ロボット制御装置。
【請求項6】
請求項4に記載のロボット制御装置であって、
前記第3ジェスチャが示す前記移動と、予め設定された積分ゲインとに基づいて、前記ロボットの前記移動量求める、ロボット制御装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、ロボットを制御するロボット制御装置に関する。
【背景技術】
【0002】
近年、日本では生産人口の減少や熟練技能者の高齢化が進み、ものづくりができる人材が減少してきている。このため、ものづくりに参画できる人材の裾野を広げるために、在宅から遠隔地のものづくりに参画するためのしくみや、初心者がすぐに技能を身につけるためのしくみが必要になってきている。
【0003】
ものづくりの現場では、組立てや搬送などの作業をロボットに代替させる自動化が進められてきている。このような自動化によってロボットに所望の作業を行わせるためには、作業経路の開始、中間、及び終了等のロボットの挙動が変化する各場面での、ロボットの位置姿勢(位置、高さ及び傾き)を定義する教示が必要である。
【0004】
一般的なロボットの教示作業には、(i)装置熟知者が制御装置に接続された教示専用のティーチングボックスを用いて、ロボットハンドを所望の位置姿勢に移動させ、その位置姿勢を示す位置姿勢データをロボットプログラム上に予め記憶させること、(ii)予め記憶させた位置姿勢データに基づいて、それらの位置姿勢を繋ぐ経路(軌道)を満足する、ロボットに設けられた複数のサーボモータへの動作指示(動作指令)を制御装置に計算させること、などがある。このような教示は、作業対象の物体の形状ごとに必要となるため、ロボットが多品種少量生産のように様々な形状の物体に対して作業を行うためには、複数の教示を行う必要がある。
【0005】
教示専用のティーチングボックスを用いて、以上のように教示されたロボットに対する動作指示(作業指示)の方式として、いくつかの方式が提案されている。例えば、ジェスチャを用いてロボットへの動作指示を行う方式、または、操作対象物が変化したときに人間がジェスチャを行うことによって、教示によって得られた情報とロボットの状態をセンシングした情報とに基づいて位置情報を変更する方式などがある。これら方式によれば、作業者がロボットへ動作指示する際に、ロボット固有のインタフェースを知ることなくロボットを直接操作することができる。
【0006】
また例えば、特許文献1に開示の方式では、ロボット制御部が撮像情報から作業者のジェスチャを検出し、ジェスチャに関連付けられたロボット制御コマンドを特定し、制御コマンドに対応したロボット制御を行い、表示制御部において作業者にロボット制御コマンドを表示する。このような構成によれば、作業者は、表示されたロボット制御コマンドによって、ロボットに指示が正しく伝わったか否かを確認することが可能となっている。
【0007】
また例えば、特許文献2に開示の方式では、教示ステップの際に、教示対象のロボットから取得した感覚情報を用いて生成された3次元仮想世界映像に基づいて、ロボットに動作を行わせ、ロボットの触覚センサやカメラから運動情報と、視覚、触覚、聴覚などの感覚情報とを取得する。そして、身まねステップの際に、運動情報と感覚情報とに基づいてロボットに所望の動作を身まねさせる。これにより、作業者は、視覚、触覚、聴覚などの感覚情報を参考にして動作を行うことにより、多様な対象に対応する動作をロボットにまねさせることが可能となっている。
【先行技術文献】
【0008】

【特許文献1】特開2014-104527号公報
【特許文献2】特許第4463120号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、以上の技術では、ロボット制御コマンドを知らない初心者、または、実ロボットの可動範囲のようなロボットの身体性を知らない初心者にとっては、ロボットを操作することが困難であるという問題があった。
【0010】
そこで、本発明は、上記のような問題点を鑑みてなされたものであり、作業者がロボットを容易に操作することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明に係るロボット制御装置は、ロボットを制御するロボット制御装置であって、作業者の動作をセンサで検出した前記作業者の特定部位の座標に基づいて、前記特定部位と前記特定部位の移動量との組み合わせを前記作業者のジェスチャとして認識して登録するジェスチャ認識部と、前記ジェスチャと、動作可視化テーブルに記憶されている複数のアバターアニメーションのいずれかと、移動箇所とを関連付ける動作可視化機構部と、前記動作可視化機構部で特定された移動箇所に基づいて位置情報管理テーブルから当該移動箇所の位置座標を特定する作業指示変換部とを備え、前記ジェスチャに基づいて、前記位置座標を含み、前記ロボットが動作を行うための動作指示を決定する作業支援装置と、前記作業支援装置が決定した動作指示に基づいて、前記ロボットの動作を制御するための情報を決定し、当該情報をサーボモータに出力するロボットコントローラと、前記作業支援装置が決定した動作指示に基づいて動く人間の前記アバターアニメーションを、前記ロボットの動作として表示する動作表示装置とを備える。
【発明の効果】
【0012】
本発明によれば、作業者のジェスチャに基づいて動作指示を決定し、決定された動作指示に基づいてロボットの動作を制御し、決定された動作指示に基づいて動く人間のアニメーションを表示する。このような構成によれば、作業者が、ロボットの知識を有していなくても、アニメーションの表示を見ることによってロボットを容易に操作することができる。
【0013】
本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【0014】
【図1】実施の形態1に係るロボット制御装置の構成を示すブロック図である。
【図2】実施の形態1に係るロボットを示す斜視図である。
【図3】実施の形態1に係るロボット制御装置の構成を示すブロック図である。
【図4】実施の形態1に係るジェスチャ・動作可視化テーブルを示す図である。
【図5】実施の形態1に係る動作可視化・アニメーションテーブルを示す図である。
【図6】実施の形態1に係る初期処理の手順を示すフローチャートである。
【図7】状態遷移図の一例を示す図である。
【図8】ロボットの移動箇所と、その位置座標との関連付けの一例を示す図である。
【図9】実施の形態1に係るロボット制御装置の構成を示すブロック図である。
【図10】実施の形態2に係るロボット制御装置の構成を示すブロック図である。
【図11】実施の形態2に係る動作可視化・アニメーションテーブルを示す図である。
【図12】実施の形態3に係るロボット制御装置の構成を示すブロック図である。
【図13】実施の形態3に係るゲインテーブルを示す図である。
【図14】実施の形態3に係る動作可視化・アニメーションテーブルを示す図である。
【発明を実施するための形態】
【0015】
<実施の形態1>
図1は、本発明の実施の形態に係るロボット制御装置の構成を示すブロック図である。図1のロボット制御装置は、ジェスチャ検出センサ1と、作業支援装置2と、プログラマブルロジックコントローラ3と、ロボットコントローラ4と、動作表示装置5とを備えている。そして、ジェスチャ検出センサ1及び作業支援装置2は、ネットワークを介してプログラマブルロジックコントローラ3、ロボットコントローラ4、及び、動作表示装置5と接続されている。

【0016】
図1のロボット制御装置は、ロボット9と通信可能に接続されており、ロボット9を制御する。ロボット9は、例えば、図2に示すように、複数のサーボモータによって複数の動作を行うことが可能なアーム型のロボットであってもよいし、その他のロボットであってもよい。

【0017】
以下、ロボット制御装置の構成要素について簡単に説明する。

【0018】
図1のジェスチャ検出センサ1は、例えば非接触距離センサを含み、作業者の動作から複数の座標を検出する。

【0019】
作業支援装置2は、作業者の動作をジェスチャ検出センサ1で検出した結果(複数の座標)に基づいて当該作業者のジェスチャを認識する。そして、作業支援装置2は、認識したジェスチャに基づいて、ロボット9が動作を行うための動作指示を決定する。

【0020】
プログラマブルロジックコントローラ3は、ロボット9のデバイスの状態であるデバイス状態を、当該デバイス状態を検出するエリアセンサなどから取得し、かつ、ロボット9の動作を制御するためのプログラムの実行を管理する。

【0021】
ロボットコントローラ4は、作業支援装置2が決定した動作指示に基づいて、ロボット9の動作を制御するための情報を決定し、当該情報をロボット9のサーボモータ(図示せず)に出力する。本実施の形態1では、ロボットコントローラ4は、作業支援装置2が決定した動作指示と、プログラマブルロジックコントローラ3が取得したデバイス状態と、プログラマブルロジックコントローラ3が管理するプログラムとに基づいて、ロボット9を動作させるための動作指令(ロボット9の動作を制御するための情報)を生成する。そして、ロボットコントローラ4は、生成した動作指令をロボット9に渡すことによって、ロボット9を動作させる。

【0022】
動作表示装置5は、作業支援装置2が決定した動作指示に基づいて動く人間のアニメーションを、ロボット9の動作として表示する。アニメーションによって表示される人間は、例えばアバターのように人間を模した姿などを含む。以下、動作表示装置5が表示するアニメーションは、アバターが動くアニメーションであるものとし、このアニメーションを「アバターアニメーション」と記して説明する。

【0023】
次に、ロボット制御装置のいくつかの構成要素について詳細に説明する。

【0024】
作業支援装置2は、人間動作検出部2aと、ジェスチャ認識部2bと、動作可視化機構部2cと、作業指示変換部2dと、動作表示制御部2eとを備える。なお図示されていないが、作業支援装置2は、各種テーブルを記憶可能な記憶部なども備えている。

【0025】
ここで本実施の形態1に係るロボット制御装置には、初期処理及び作業処理という2つのフェーズが規定されている。初期処理は、作業開始前に行われる処理であり、例えば教示処理及び登録処理などに相当する処理である。作業処理は、作業者の操作に応じてロボット9を動作させることによって作業が行われる処理である。以下、初期処理に関する構成要素について説明した後に、作業処理に関する構成要素について説明する。

【0026】
<初期処理に関する構成要素>
図3は、ロボット制御装置の構成要素のうち、初期処理を行う構成要素を示すブロック図である。図3に示すように、初期処理は、図1の人間動作検出部2a、ジェスチャ認識部2b、及び、動作可視化機構部2cなどによって行われる。以下、図3などを用いて、初期処理に関する構成要素について説明する。

【0027】
ジェスチャ検出センサ1は、作業者の動作から作業者上の座標を随時(例えば定期的、周期的に)検出する。

【0028】
人間動作検出部2aは、ジェスチャ検出センサ1で随時検出された座標に基づいて、作業者の身体の特定部位(例えば手)の座標を随時検出する。

【0029】
ジェスチャ認識部2bは、人間動作検出部2aで随時検出された特定部位の座標に基づいて、作業者の特定部位の移動量を求める。初期処理の際、ジェスチャ認識部2bは、特定部位と移動量との組み合わせを、ジェスチャとして登録する。ジェスチャ認識部2bは、この登録を用いることにより、ジェスチャ検出センサ1で随時検出された座標に基づいてジェスチャを認識(特定)することが可能となっている。なお、異なるジェスチャには異なるジェスチャ番号が割り当てられる。

【0030】
初期処理の際、動作可視化機構部2cは、ジェスチャ番号と、動作可視化番号とを関連付ける。図4は、動作可視化機構部2cの関連付けの結果の一例を示すテーブルである。動作可視化番号は、ロボット9の動作を特定するための番号であり、上述した動作指示に相当する。動作可視化機構部2cは、図4のような関連付けの結果を、図3のジェスチャ・動作可視化テーブル2fに登録する。

【0031】
また初期処理の際、動作可視化機構部2cは、動作可視化番号と、動作可視化テーブル2gに記憶されている複数のアバターアニメーションのいずれかと、移動箇所とを関連付ける。例えば、通常の人間の身体的特徴を有する状態で、ロボット9の動作可視化番号の動作を通常の動作で行った場合の、アバターの挙動を示すアバターアニメーションが、当該動作可視化番号に関連付けられる。移動箇所は、例えば、ロボット9に接続されたハンドの手先の位置、ロボット9に接続されたハンドが把持するワークの位置、ロボット9の関節の位置などの、ロボット9に関する位置である。図5は、動作可視化機構部2cの関連付けの結果の一例を示すテーブルである。動作可視化機構部2cは、図5のような関連付けの結果を、図3の動作可視化・アニメーションテーブル2hに登録する。

【0032】
図6は、初期処理の手順を示すフローチャートである。

【0033】
まずステップS1にて、熟練技能者などの装置熟知者は、ロボット9の動作の順序を規定する状態遷移図を作成し、ロボット制御装置に登録する。図7は、状態遷移図の一例を示す図である。図7におけるa1~a19は動作可視化番号を示す。ロボット9の開始時の遷移状態は「初期状態」であり、ロボット9の遷移状態はジェスチャに応じて推移する。

【0034】
図6のステップS2にて、動作可視化機構部2cは、ジェスチャのジェスチャ番号と、動作可視化番号とを関連付ける。

【0035】
例えば装置熟知者が、図7のような状態遷移図に基づいて図4のテーブルを埋める入力操作を行い、動作可視化機構部2cが、当該入力操作に基づいて上記関連付けを行う。これにより、例えば、ジェスチャg1が認識された場合に、初期状態のロボット9に動作可視化番号a1の動作を行わせるための入力操作が行われると、ジェスチャg1が動作可視化番号a1と関連付けられる。また例えば、ジェスチャg2が認識された場合に、初期状態のロボット9に動作可視化番号a11の動作を行わせるための入力操作が行われると、ジェスチャg2が動作可視化番号a11と関連付けられる。このステップS2によって、図4のような関連付けの結果が図3のジェスチャ・動作可視化テーブル2fに登録される。

【0036】
図6のステップS3にて、動作可視化機構部2cは、動作可視化番号と、アバターアニメーションと、ロボット9の位置を示す移動箇所とを関連付ける。例えば装置熟知者が、図7のような状態遷移図に基づいて図5のテーブルを埋める入力操作を行い、動作可視化機構部2cが、当該入力操作に基づいて上記関連付けを行ってもよい。また例えば、動作可視化機構部2cが、図7のような状態遷移図を解析することによって上記関連付けを行ってもよい。このステップS3によって、図5のような関連付けの結果が図3の動作可視化・アニメーションテーブル2hに登録される。

【0037】
図6のステップS4にて、装置熟知者は、図5の移動箇所と、当該移動箇所の位置座標とを関連付けた位置情報管理テーブルを作成し、ロボット制御装置に登録する。

【0038】
図8は、位置情報管理テーブルの一例を示す図である。このステップでは、例えば、ロボット9が移動できる箇所がスキャンされる。具体的には、図5の移動箇所のレコード数分のマーカが、現場にセットされており、ロボット9に取り付けられた図示しないカメラがマーカの画像を検出した際に、ロボット9の位置座標が取得される。そして、取得された現場における位置座標と、図5の移動箇所とが関連付けられて図8の位置情報管理テーブルに登録される。ここでいうロボット9の位置座標は、例えば、ロボット9に接続されたハンドの手先の位置座標、ロボット9に接続されたハンドが把持するワークの位置座標、ロボット9の関節の位置座標などを含む。

【0039】
<作業処理に関する構成要素>
図9は、ロボット制御装置の構成要素のうち、作業処理を行う構成要素を示すブロック図である。図9に示すように、作業処理は、図1の全ての構成要素によって行われる。以下、図9などを用いて、作業処理に関する構成要素について説明する。

【0040】
人間動作検出部2aは、ジェスチャ検出センサ1で随時(例えば定期的、周期的に)検出された人間の座標に基づいて、人間の身体の特定部位の座標を随時(例えば定期的、周期的に)検出する。

【0041】
ジェスチャ認識部2bは、人間動作検出部2aで随時検出された特定部位の座標に基づいて、作業者の特定部位の移動量を求め、求めた特定部位の移動量に基づいてジェスチャを認識する。

【0042】
動作可視化機構部2cは、ジェスチャ認識部2bで認識されたジェスチャと、ロボット9の遷移状態とに基づいて、図7のような状態遷移図及び図4のようなテーブルから、1つの動作可視化番号を特定する。そして、動作可視化機構部2cは、特定した1つの動作可視化番号に基づいて、図5のようなテーブルから、1つのアバターアニメーションと、1つの移動箇所とを特定する。

【0043】
具体的には、ロボット9の遷移状態が図7の「初期状態」であり、かつ、ジェスチャ認識部2bがジェスチャg1を認識した場合、動作可視化機構部2cは、図4のテーブルから、ジェスチャg1に関連付けられた動作可視化番号a1を特定する。そして、動作可視化機構部2cは、図5のテーブルから、動作可視化番号a1に関連付けられたアバターアニメーションと、移動箇所「1」とを特定する。これにより、例えばアバターの手が移動箇所「0」から移動箇所「1」に移動するアニメーションが、動作可視化番号a1に関連付けられたアバターアニメーションとして特定される。

【0044】
一方、ロボット9の遷移状態が図7の「初期状態」であり、かつ、ジェスチャ認識部2bがジェスチャg5を認識した場合、動作可視化機構部2cは、図4のテーブルから、ジェスチャg5に関連付けられた動作可視化番号a11を特定する。そして、動作可視化機構部2cは、図5のテーブルから、動作可視化番号a11に関連付けられたアバターアニメーションと、移動箇所「2」とを特定する。これにより、例えばアバターの手が移動箇所「0」から移動箇所「2」に移動するアニメーションが、動作可視化番号a11に関連付けられたアバターアニメーションとして特定される。

【0045】
作業指示変換部2dは、動作可視化機構部2cで特定された1つの移動箇所に基づいて、位置情報管理テーブル2iに登録された図8のようなテーブルから、当該移動箇所の位置座標を特定する。そして、作業指示変換部2dは、特定した位置座標をプログラマブルロジックコントローラ3に渡す。

【0046】
プログラマブルロジックコントローラ3は、センサ入力部3aと、プログラム実行管理部3bとを備える。センサ入力部3aはデバイス状態を取得する。デバイス状態は、例えば、ロボット9のエンコーダなどで検出される位置情報、ロボット9のアーム位置の情報、ワークの有無の情報などである。プログラム実行管理部3bは、ロボットコントローラ4がロボット9の動作を制御するためのプログラムを管理する。

【0047】
このように構成されたプログラマブルロジックコントローラ3は、デバイス状態を取得するセンサ入力機能と、ロボットコントローラ4のプログラム実行管理機能とを有している。また、プログラマブルロジックコントローラ3は、作業指示変換部2dからの位置座標を受け取った場合に、当該位置座標と、プログラムの実行開始とをロボットコントローラ4に通知する。

【0048】
ロボットコントローラ4は、ロボット指令生成部4aと、状態取得部4bとを備える。ロボット指令生成部4aは、ロボット9の身体性を意識することなく、プログラマブルロジックコントローラ3からの位置座標(実質的には作業支援装置2からの位置座標)からロボット9への動作指令を生成する。

【0049】
例えば、ロボット指令生成部4aは、プログラマブルロジックコントローラ3からの位置座標と、ロボット指令生成部4aが管理しているロボット9の現在の位置座標とに基づいて、ロボット9の特定部分の移動量を算出する。そして、ロボット指令生成部4aは、算出した移動量に基づいて、ロボット9の各軸の移動量を算出し、当該移動量を含む動作指令をロボット9に渡す。これにより、ロボット9の特定部分が目的位置まで移動する。

【0050】
状態取得部4bは、ロボットに取り付けられたビジョンセンサ及び画像センサなどのセンサが取得したカメラ画像などをロボット状態として取得し、当該ロボット状態をロボット指令生成部4aに通知する。

【0051】
物体の把持が行われるときには、ロボット指令生成部4aは、状態取得部4bから通知されたカメラ画像などのロボット状態に基づいて、ロボット9が物体への接近及び物体の把持を行うようにロボット9を制御する。物体の解放が行われるときには、ロボット指令生成部4aは、状態取得部4bから通知されたカメラ画像などのロボット状態に基づいて、ロボット9が目的位置への移動及びハンドの解放を行うようにロボット9を制御する。

【0052】
プログラマブルロジックコントローラ3は、センサ入力部3aで取得されたデバイス状態をロボット指令生成部4aに渡し、ロボット指令生成部4aは、当該デバイス状態に基づいてロボットコントローラ4及びロボット9における各軸の移動量を補正するフィードバックを行う。また、プログラマブルロジックコントローラ3は、ロボットアームの移動完了およびワークの移動完了をデバイス状態として検出すると、プログラムの実行完了などを示すプログラム状態を作業支援装置2に通知する。

【0053】
動作可視化機構部2cは、プログラマブルロジックコントローラ3からプログラム状態としてプログラムの実行完了を受けると、特定していたアバターアニメーションを動作表示制御部2eに渡す。動作表示制御部2eは、当該アバターアニメーションを動作表示装置5に表示させる。

【0054】
<実施の形態1のまとめ>
以上のような本実施の形態1に係るロボット制御装置によれば、作業者のジェスチャに基づいて動作指示を決定し、決定された動作指示に基づいてロボット9の動作を制御し、決定された動作指示に基づいて動く人間のアニメーションを表示する。このような構成によれば、ロボット9の動作が、人間のアニメーションとして表示される。このため、作業者が、ロボット9の制御コマンド、並びに、ロボット9の可動範囲及び身体性などの、ロボット9の知識を有していなくても、人間のアニメーションの表示を見ることによってロボット9を容易に操作することができる。

【0055】
また本実施の形態1では、作業支援装置2は、ネットワークを介してプログラマブルロジックコントローラ3と接続されている。これにより、作業者は、ロボット9の遠隔操作を行うことができる。

【0056】
<実施の形態2>
図10は、本発明の実施の形態2に係るロボット制御装置の構成を示すブロック図である。以下、本実施の形態2に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0057】
図10のロボット制御装置の構成は、図9の構成に、出力デバイス6及び作業状態変換部2jを追加した構成と同様である。なお、作業状態変換部2jは、作業支援装置2に備えられる。

【0058】
本実施の形態2では、ロボットコントローラ4の状態取得部4bは、ロボット状態をロボット指令生成部4a及び作業支援装置2に通知する。作業指示変換部2dは、状態取得部4bからのロボット状態と、プログラマブルロジックコントローラ3からのプログラム状態とを含む作業状態を生成する。作業指示変換部2dは、生成した作業状態を動作可視化機構部2cに渡し、動作可視化機構部2cは、当該作業状態を作業状態変換部2jに渡す。

【0059】
図11は、実施の形態2に係る動作可視化・アニメーションテーブル2hを示す図である。図11の動作可視化・アニメーションテーブル2hでは、図5の動作可視化・アニメーションテーブル2hに、音番号、振動番号、開始音、終了音、開始振動、終了振動が追加されている。

【0060】
音番号には、音ファイルを特定するファイル名(図11では便宜上、1,2が付されている)が設定される。振動番号には、振動周波数(図11では便宜上、1,2が付されている)が設定される。音番号及び振動番号の設定は、例えば、初期処理時のジェスチャ関連付け処理の際に作業者によって行われる。

【0061】
ロボット9が動作可視化番号の動作を開始する際に作業者に音を通知する場合には、図11の当該動作可視化番号の開始音のフラグがON(図11では○はONを示す)に設定される。ロボット9が動作可視化番号の動作を終了した際に作業者に音を通知する場合には、図11の当該動作可視化番号の終了音のフラグがON(図11では○はONを示す)に設定される。ロボット9が動作可視化番号の動作を開始する際にも終了する際にも作業者に音を通知しない場合には、図11の当該動作可視化番号の開始音にも終了音にもONの設定が行われない。

【0062】
同様に、ロボット9が動作可視化番号の動作を開始する際に作業者に振動を通知する場合には、図11の当該動作可視化番号の開始振動のフラグがON(図11では○はONを示す)に設定される。ロボット9が動作可視化番号の動作を終了した際に作業者に振動を通知する場合には、図11の当該動作可視化番号の終了振動のフラグがON(図11では○はONを示す)に設定される。ロボット9が動作可視化番号の動作を開始する際にも終了する際にも作業者に振動を通知しない場合には、図11の当該動作可視化番号の開始振動にも終了振動にもONの設定が行われない。

【0063】
動作可視化機構部2cは、1つの動作可視化番号を特定した場合に、当該1つの動作可視化番号に対応する音番号にファイル名が設定されている場合には、当該ファイル名で特定される音ファイルを作業状態変換部2jに渡す。同様に、動作可視化機構部2cは、1つの動作可視化番号を特定した場合に、当該1つの動作可視化番号に対応する振動番号に振動周波数が設定されている場合には、当該振動周波数を作業状態変換部2jに渡す。

【0064】
出力デバイス6は、作業者に音を通知(出力)するスピーカ6aと、作業者に振動を通知(出力)する振動デバイス6bとを備える。作業状態変換部2jは、動作可視化機構部2cからの作業状態、音ファイル、及び、振動周波数に基づいて出力デバイス6を制御する。以下、その一例について説明する。

【0065】
プログラマブルロジックコントローラ3からのプログラム状態を含む作業状態がプログラムの実行完了を示し、かつ、これまで実行されていた動作可視化番号の終了音のフラグがONである場合、作業状態変換部2jは、動作可視化機構部2cで特定された音ファイルをスピーカ6aへ渡す。また、プログラマブルロジックコントローラ3からのプログラム状態を含む作業状態がプログラムの実行完了を示し、かつ、これまで実行されていた動作可視化番号の終了振動のフラグがONである場合、作業状態変換部2jは、動作可視化機構部2cで特定された振動周波数を振動デバイス6bへ渡す。

【0066】
以上のように構成された作業状態変換部2jは、ロボット9が、特定の動作可視化番号(動作指示)に基づく動作を完了したときに、当該動作の完了とテーブルで予め対応付けられた音をスピーカ6aに出力させる。また、作業状態変換部2jは、ロボット9が、特定の動作可視化番号(動作指示)に基づく動作を完了したときに、当該動作の完了とテーブルで予め対応付けられた振動を振動デバイス6bに出力させる。

【0067】
また本実施の形態2では、動作可視化機構部2cは、ジェスチャ認識部2bでジェスチャが認識された場合に、図7のような状態遷移図及び図4のような関連付けから、1つの動作可視化番号を特定する。

【0068】
上記1つの動作可視化番号に対応する音番号にファイル名が設定されている場合、動作可視化機構部2cは、図11のテーブルから、1つのアバターアニメーション及び1つの移動箇所を特定するとともに、当該ファイル名の音ファイルを特定して作業状態変換部2jに渡す。上記1つの動作可視化番号の開始音のフラグがONである場合、作業状態変換部2jは、動作可視化機構部2cで特定された音ファイルをスピーカ6aへ渡す。

【0069】
上記1つの動作可視化番号に対応する振動番号に振動周波数が設定されている場合、動作可視化機構部2cは、図11のテーブルから、1つのアバターアニメーション及び1つの移動箇所を特定するとともに、当該振動周波数を特定して作業状態変換部2jに渡す。上記1つの動作可視化番号の開始振動のフラグがONである場合、作業状態変換部2jは、動作可視化機構部2cで特定された振動周波数を振動デバイス6bへ渡す。

【0070】
以上のように構成された作業状態変換部2jは、ロボット9が、特定の動作可視化番号(動作指示)に基づく動作を開始するときに、当該動作の開始とテーブルで予め対応付けられた音をスピーカ6aに出力させる。また、作業状態変換部2jは、ロボット9が、特定の動作可視化番号(動作指示)に基づく動作を開始するときに、当該動作の開始とテーブルで予め対応付けられた振動を振動デバイス6bに出力させる。

【0071】
<実施の形態2のまとめ>
以上のような本実施の形態2に係るロボット制御装置によれば、ロボット9が特定の動作を完了したときに、音及び振動の少なくともいずれか1つを出力すること、及び、ロボット9が、特定の動作を開始するときに、音及び振動の少なくともいずれか1つを出力することを行う。このような構成によれば、作業者は、特定の動作の開始時及び完了時を聴覚及び触覚の少なくともいずれか1つによって知ることができる。

【0072】
<実施の形態3>
図12は、本発明の実施の形態3に係るロボット制御装置の構成を示すブロック図である。以下、本実施の形態3で説明する構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

【0073】
本実施の形態3では、ジェスチャ認識部2bは、動作可視化番号(動作指示)を決定するためのジェスチャである特定の第1ジェスチャである通常ジェスチャだけでなく、第1ジェスチャと異なる特定の第2ジェスチャである切替ジェスチャと、予め定められた座標の空間における作業者の特定部位の移動を示す第3ジェスチャである手動ジェスチャとを認識する。以下、予め定められた座標は、x軸、y軸及びz軸で規定される直交座標であり、作業者の特定部位は、人間の手であるものとして説明する。

【0074】
作業支援装置2には、第1モードである通常モードと、第2モードである手動モードとが規定されている。通常モードでは、作業支援装置2は、実施の形態1,2と同様に通常ジェスチャに基づいて動作指示を決定する。手動モードでは、作業支援装置2は、ロボット9が手動ジェスチャの手の移動に基づく移動を行うための移動量を動作指示として決定する。

【0075】
図13は、本実施の形態3に係るゲインテーブル2kを示す図である。gxa,gya,gzaは、それぞれx軸、y軸、z軸の比例ゲインである。gxb,gyb,gzbは、それぞれx軸、y軸、z軸の積分ゲインである。手動モードでは、ジェスチャ認識部2bは、手動ジェスチャが示す移動と、予め設定された比例ゲインと、予め設定された積分ゲインとに基づき、次式(1)を用いてロボット9の移動量を求める。なお、式(1)において、身体部位座標前回x座標及び身体部位座標今回x座標は、手動ジェスチャが示すx軸の移動を示す座標であり、手先座標xは、ロボット9の移動量に相当する位置座標である。y座標及びz座標もx座標と同様である。

【0076】
【数1】
JP0006625266B1_000002t.gif

【0077】
ジェスチャ認識部2bは、求めた移動量を作業指示変換部2dに通知する。作業指示変換部2dは、通知された移動量をプログラマブルロジックコントローラ3に通知する。プログラマブルロジックコントローラ3は、通知された移動量をロボットコントローラ4に通知する。ロボットコントローラ4は、作業支援装置2が手動モードを行う場合に、通知された移動量に基づいてロボット9を移動させる制御を行う。

【0078】
次に、通常モードと手動モードとの切り替えについて説明する。図14は、本実施の形態3に係る動作可視化・アニメーションテーブル2hを示す図である。図14の動作可視化・アニメーションテーブル2hでは、動作可視化番号a14の移動箇所において「手動モード」が設定され、動作可視化番号a16の移動箇所において「通常モード」が設定されている。なお、図14の例では、動作可視化番号a1~a13、a15、a17~a19に対応するジェスチャは、通常ジェスチャに相当し、動作可視化番号a14及a16に対応するジェスチャは、切替ジェスチャに相当する。

【0079】
動作可視化機構部2cは、ジェスチャ認識部2bで認識されたジェスチャと、ロボット9の遷移状態とに基づいて、動作可視化番号a14を特定した場合、ジェスチャ認識部2bに「手動モード」を通知する。一方、動作可視化機構部2cは、ジェスチャ認識部2bで認識されたジェスチャと、ロボット9の遷移状態とに基づいて、動作可視化番号a16を特定した場合、ジェスチャ認識部2bに「通常モード」を通知する。このように、作業支援装置2は、切替ジェスチャを認識した場合に、通常モードから手動モードへの切り替え、または、手動モードから通常モードへの切り替えを行う。

【0080】
<実施の形態3のまとめ>
以上のような本実施の形態3に係るロボット制御装置によれば、作業支援装置2は、切替ジェスチャを認識した場合に、通常モードの代わりに手動モードを行う。このような構成によれば、作業者は、切替ジェスチャを行うことにより、細かい作業に対応することができる手動モードに切り替えることができる。

【0081】
また本実施の形態3では、第2ジェスチャが示す移動と各種ゲインとに基づいて、ロボット9の移動量を求めるので、ロボット9の作業移動量を適切化することができる。

【0082】
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

【0083】
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【0084】
2 作業支援装置、4 ロボットコントローラ、5 動作表示装置、6a スピーカ、6b 振動デバイス、9 ロボット。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13