Top > Search of Japanese Patents > OPERATION INSTRUCTION DEVICE, OPERATION INSTRUCTION METHOD AND OPERATION PATTERN PREPARATION DEVICE

OPERATION INSTRUCTION DEVICE, OPERATION INSTRUCTION METHOD AND OPERATION PATTERN PREPARATION DEVICE

Patent code P130009613
File No. S2012-0230-N0
Posted date Jul 16, 2013
Application number P2011-281357
Publication number P2013-131117A
Patent number P5938780
Date of filing Dec 22, 2011
Date of publication of application Jul 4, 2013
Date of registration May 27, 2016
Inventor
  • (In Japanese)前田 太郎
  • (In Japanese)安藤 英由樹
  • (In Japanese)飯塚 博幸
  • (In Japanese)丹羽 真隆
  • (In Japanese)砂川 未佳
Applicant
  • (In Japanese)国立大学法人大阪大学
Title OPERATION INSTRUCTION DEVICE, OPERATION INSTRUCTION METHOD AND OPERATION PATTERN PREPARATION DEVICE
Abstract PROBLEM TO BE SOLVED: To perform an operation instruction to a control object in real time by break points of action segments along discrete action intentions of human beings by utilizing contingent negative variation of brain waves.
SOLUTION: An operation instruction device includes: a steering part 1 which generates an operation signal according to an operation of an operator; a data storage part 331 in which operation patterns by unit of action segment of the operator, prepared based on contingent negative variation acquired from brain waves of human beings, and instruction signals which are the ones corresponding to the operation patterns, and for driving a robot 2 are stored for a plurality of kinds of operation patterns; a matching processing part 371 and a determination part 372 which perform pattern matching between the operation signal from the steering part 1 and the respective operation patterns of the data storage part 331; an instruction processing part 373 and an instruction signal generator 34 which output the instruction signals corresponding to the operation patterns whose patterns are determined to match to the robot 2.
Outline of related art and contending technology (In Japanese)

近年、工場内において、あるいは人間にとって厳しい環境下において、さらには遠隔地からロボットを操縦して所要の作業を効果的に行わせることが一般に知られている。上記において、多自由度を持つロボットをレバーやボタンなどのコントローラによって随意に操縦する場合、追従特性の優れたフィードバック系を採用したり、ロボットと同等以上の自由度を持ったコントローラを利用したり、操縦のためのコマンドに対するロボットの動きの対応関係を記憶及び学習したりする必要があった。例えばi-sobot(タカラトミー社製)を操縦するためには、177個のコマンドを覚える必要があり、そのための学習は容易ではない。一方、人型ロボットを操縦する手法であるテレイグジスタンスでは、完全な身体性一致を基盤とした感覚と運動対応による臨場感と随意性を確保することで、上述したような困難な学習を不要としているが、ロボットと同一自由度で等身大の装置、かつ操縦者ごとにある程度サイズを合わせる必要性があるため実装が容易ではなかった。

そこで、人間の離散的な行動意図をロボット側に伝送することによって、この行動意図単位に沿ってロボットを操縦する手法が提案されている。ここに、非特許文献1に示すように、人間の行動意図の離散性は、熟練者の動作の映像を見た被験者が、その動作を他者に伝達する際に伝える最低限の数の姿勢を、映像を見た後に熟練者の動作の映像から選ばせる実験などにより確認されている。かかる実験によって、人間の行動意図の単位を抽出することが可能であることが判る。尤も、上記手法は、動作を見ている場合にしか利用できず、また動作を見た後に選ぶ作業を伴うため、リアルタイムで抽出することができないといった問題がある。

また、非特許文献2,3には、操縦者が入力装置を介してロボットを操縦する場合の手法が記載されている。図9は、この手法の概要を説明するための図である。図9に従って説明すると、通常のコマンドによるロボット操縦手法では、「こう動かしたい」という人間の行動分節xをロボットの動作zに反映させるために、人間側が運動生成部Fmにて、予め決められたコマンドに変換して操縦桿入力yを行う。このとき、テレイグジスタンスの場合であれは、時間的連続的に直接計測が可能な人間の操縦桿入力yをロボットの動作zと相同な構造にすることによって直接対応させることでロボットを操縦する。この場合、操縦桿入力yとロボットの動作zとをリアルタイムに一致させ続けるだけの追従特性を持ったロボット制御系と通信経路の構築が実装技術上の難題となる。一方、「つもり」制御では、このような条件を以下の設定によって緩和し得る。なお、「つもり」は、意識上にて離散化されながら言語段階のシンボル化まではされていない行動分節単位での具象的な行動意図と定義し、これが自己(操縦者)と制御対象(ロボット)との間で正しく対応付けられている状態を「つもりの伝達に成功した状態=つもりコミュニケーションの成立」とみなしている。かかる「つもり」制御と図9とにおいて、まず、ロボットに、ヒトの全ての随意運動に該当する操縦桿入力yに追従可能な高特性の制御系を持たせるのではなく、ヒトの随意運動を、ロボットの動作zの制御が容易な範疇で実行できる時間単位で離散分節化する。そして、この離散化された行動分節x’の組み合わせによって記述された行動系列のみを分節運動制御手段Grによって時間連続的に実行する半自律型の制御系を想定することができる。

さらに、非特許文献4、5には、時間方向に予測可能な刺激に対して脳波中に見られる反応として、事象関連電位ERPs(Event-Related Potentials:)の1つである随伴陰性変動CNV(Contingent Negative Variation)に関する記載がある。

Field of industrial application (In Japanese)

本発明は、ヒトの脳波から取得された随伴陰性変動を利用して予め作成した行動分節単位の動作パターンを基に、操縦者の行動意図に沿って制御対象を動作させる動作指令の技術に関する。

Scope of claims (In Japanese)
【請求項1】
 
操縦者の操作に応じた操作信号を生成する操作信号生成器と、
ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、記憶された動作パターン記部と、
前記操作信号生成器からの前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理手段と、
パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理手段とを備え
前記動作パターンは、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号が行動分節単位に区切られて抽出されたものであることを特徴とする動作指令装置。

【請求項2】
 
前記ヒトと前記操縦者とは同一人であることを特徴とする請求項1に記載の動作指令装置。

【請求項3】
 
前記制御対象は、複数の自由度を有して動く可動部と、前記可動部を動かす1又は複数の駆動源とを備え、
前記操作信号生成器は、外部から操作可能で、かつ操作に応じた信号を前記操作信号として生成する操作部を備えていることを特徴とする請求項1又は2に記載の動作指令装置。

【請求項4】
 
前記制御対象は、多関節アームを備え、各関節アームが前記可動部によって動かされるロボットであることを特徴とする請求項3に記載の動作指令装置。

【請求項5】
 
前記制御対象を撮像する撮像手段と、撮像された画像を前記操縦者に提示するべく表示する表示部とを備えたことを特徴とする請求項1~4のいずれかに記載の動作指令装置。

【請求項6】
 
ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、動作パターン記憶部に記憶する動作パターン記録工程と、
操縦者の操作に応じた操作信号を生成する操作信号生成工程と、
前記操作信号生成工程で生成された前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理工程と、
パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理工程とを備え、
動作パターン記録工程において前記動作パターン記憶部に記憶される前記動作パターンを、予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号行動分節単位に区切て抽出することで作成する動作パターン作成工程とを含むことを特徴とする動作指令方法

【請求項7】
 
操縦者の操作に応じた操作信号を生成する操作信号生成器と、ヒトの脳波から取得された随伴陰性変動に基づいて作成した、操縦者の行動分節単位の動作パターンと前記動作パターンに対応する信号であって制御対象を駆動するための指令信号とが複数種類の動作パターン分、記憶された動作パターン記憶部と、前記操作信号生成器からの前記操作信号と前記動作パターン記憶部の各動作パターンとのパターンマッチングを行うパターンマッチング判定処理手段と、パターンマッチングしたと判断された動作パターンに対応する指令信号を前記制御対象に出力する指令処理手段とを備えた動作指令装置で用いられる、前記動作パターン記憶部に記憶された前記動作パターンを作成する動作パターン作成装置であって、
予め取得した前記ヒトの前記随伴陰性変動のテンプレートと、前記制御対象が行う複数の基本動作を含む動作系列を前記操縦者に視覚入力させつつ、対応する操作を行わせて操作信号を生成し、かつ同時に脳波検出器で測定された前記操縦者の脳波信号とのテンプレートマッチングによって、前記動作系列中から前記基本動作に対応した前記操作信号を行動分節単位に区切って抽出する動作パターン作成手段を備えた動作パターン作成装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2011281357thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close