TOP > 国内特許検索 > 身まねロボットシステムとその身まね動作制御方法 > 明細書

明細書 :身まねロボットシステムとその身まね動作制御方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4463120号 (P4463120)
公開番号 特開2006-192548 (P2006-192548A)
登録日 平成22年2月26日(2010.2.26)
発行日 平成22年5月12日(2010.5.12)
公開日 平成18年7月27日(2006.7.27)
発明の名称または考案の名称 身まねロボットシステムとその身まね動作制御方法
国際特許分類 B25J   9/22        (2006.01)
FI B25J 9/22 A
請求項の数または発明の数 9
全頁数 19
出願番号 特願2005-008578 (P2005-008578)
出願日 平成17年1月17日(2005.1.17)
新規性喪失の例外の表示 特許法第30条第1項適用 2004年7月23日 社団法人電子情報通信学会発行の「画像の認識・理解シンポジウム(MIRU2004)講演論文集1」に発表
審査請求日 平成19年12月28日(2007.12.28)
特許権者または実用新案権者 【識別番号】503359821
【氏名又は名称】独立行政法人理化学研究所
発明者または考案者 【氏名】大西 正輝
【氏名】小田島 正
【氏名】羅 志偉
個別代理人の代理人 【識別番号】100097515、【弁理士】、【氏名又は名称】堀田 実
審査官 【審査官】所村 美和
参考文献・文献 特開2000-308985(JP,A)
調査した分野 B25J 1/00-21/02
特許請求の範囲 【請求項1】
教示対象のロボットからの感覚情報を用いて生成された3次元仮想世界映像を基に前記教示対象のロボットを操作し対象物に所望の動作を行、該動作中の前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を取得する教示ステップと、
教示ステップで得られた運動情報と感覚情報を基に、前記ロボットに所望の動作を身まねさせる身まねステップとからなり、
前記身まねステップにおいて、前記対象物の変化に対応して、身まね制御装置は前記対象物の位置が教示ステップで取得した感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと教示ステップにおける感覚情報の時系列データを比較し、教示ステップにおける現在の時刻に対応する教示ステップでの時刻を求め、求めた教示ステップでの時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とするロボットの身まね動作制御方法。
【請求項2】
前記教示ステップにおいて、人の運動に追従して動く仮想被験者を仮想の前記ロボットとみなし、動力学シミュレーション環境下で仮想的に設置した力センサや触覚センサから得られる値と、視覚センサから得られる画像を感覚情報として取得する、ことを特徴とする請求項1に記載のロボットの身まね動作制御方法。
【請求項3】
前記教示ステップにおいて、所望の動作が可能な実体のある前記ロボットとディスプレイ装置を用い、教示対象の前記ロボットからの感覚情報を用いて生成された3次元仮想世界映像に基づき、人が前記ロボットに動作を行わせ、該ロボットに取り付けた触覚センサ及びカメラから運動情報と共に感覚情報も同時に取得することを特徴とする請求項1に記載のロボットの身まね動作制御方法。
【請求項4】
前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較して、教示ステップで取得した感覚情報と同じ感覚情報が得られるように身まね中の運動軌跡を変更する、ことを特徴とする請求項1に記載のロボットの身まね動作制御方法。
【請求項5】
前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、評価値が一致するような時間を探索して身まね中の運動軌跡を時間的に伸縮させる、ことを特徴とする請求項1に記載のロボットの身まね動作制御方法。
【請求項6】
前記身まねステップにおいて、類似度Cを用いて身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、得られた類似度Cが最も大きい教示ステップにおける時刻の運動軌跡を身まねで使用する、ことを特徴とする請求項1に記載のロボットの身まね動作制御方法。
【請求項7】
対象物に対して所望の動作が外部からの入力信号に基づき作動可能な仮想的又は実体のあるロボットと、教示対象の前記ロボットからの感覚情報を用いて生成された3次元仮想世界映像を表示するディスプレイ装置と、前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を記憶する記憶装置を有する身まね制御装置と、を備え、
身まね制御装置により、前記対象物の変化に対応して、前記対象物の位置が記憶した前記感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと記憶した前記感覚情報の時系列データを比較し、現在の感覚情報における現在の時刻に対応する記憶した前記感覚情報の時刻を求め、記憶した前記感覚情報の時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とする身まねロボットシステム。
【請求項8】
前記ロボットは、人の運動に追従して動く仮想被験者である仮想のロボットである、ことを特徴とする請求項に記載の身まねロボットシステム。
【請求項9】
前記ディスプレイ装置は、3次元仮想空間内に位置する実在する人の位置及び動作を検出する運動情報検出手段と、該人の位置及び動作を3次元仮想空間内に仮想被験者として提示する仮想被験者提示手段とからなる、ことを特徴とする請求項に記載の身まねロボットシステム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人間の運動を身まねして動作する身まねロボットシステムとその身まね動作を制御する方法に関する。
【背景技術】
【0002】
人間の運動を見て真似ることを通常「見まね」と呼ぶ。しかし、本発明では、直接的に制御に用いることが困難な感覚情報(視覚、触覚、聴覚及びそれらを統合して認知した情報等)を含め、運動情報と感覚情報の両方をまねることを「身まね」と呼ぶ。

【0003】
従来から、「見まね学習」をキーワードとして、人間の動きを観察しこれをロボットの構造に合わせた運動に変換し、ロボットに人間に似た運動を行わせる方法が提案されている(例えば非特許文献1、2)。しかし、従来の方法は例えば人間の関節角度を測るなど運動情報の観察のみに留まっており、感覚情報と運動情報の両方を計測し、それらを統合することによって新たに運動を生成する手段は存在しなかった。
【0004】
一方、コンピュータグラフィクスにより立体的な仮想空間を体験させる技術として、CAVEシステム(非特許文献3)に代表される没入型の立体映像表示技術が知られている。この技術では、ユーザが立体視用の特殊眼鏡を装着することによって、立体的な仮想空間を体現することができる。
【0005】
CAVEシステムでは、2.5~3m四方のスクリーンを用い、これをユーザを取り囲むように、前面、左右、床面に設置する。床面のスクリーンには上方から、それ以外のスクリーンには後方から、それぞれ立体用プロジェクタにより立体映像が投影される。ユーザの頭部には6自由度の位置センサが取り付けられ、ユーザの視点位置から見た立体映像がスクリーン上に表示される。ユーザは立体視可能な眼鏡を装着してCAVEの中に立つことで、広い視野の立体映像に囲まれ、没入感の高い感覚を得ることができる。
【0006】
また、CAVEシステムの発展形として開発されたCABIN(5面スクリーン版CAVE)が非特許文献4の論文で発表されている。さらに、没入型画像提示装置として、特許文献1~3が開示されている。
【0007】
特許文献1の「没入型表示システム」は、周囲環境中の特徴及びオブジェクトに対するユーザの頭部の位置及び角度を判定することを可能にすることを目的とし、図11に示すように、光学相関器50を含む表示ユニットと、該光学相関器からのイメージ出力信号に基づいてイメージを表示する視覚的表示装置52とを備えたものである。
【0008】
特許文献2の「臨場感型仮想現実提供処理方法および装置」は、臨場感の高い仮想世界を体験者に提供することを目的とするものであり、立体視による仮想環境とフォースフィードバックを用いており、体験者の動きデータを計測し、視点を検出し、体験者のアバタの動きを決定して動き可能に表示させ、フォースフィードバック処理によって仮想物体の動きをもとに体験者が持つ操作インターフェースに力覚提示を行うものである。
【0009】
特許文献3の「没入型表示装置および方法」は、図12に示すように、コンピュータで生成された3次元仮想世界映像をユーザ61を取り囲むように立体視可能なかたちで表示するものであり、視点位置検知部62、合成情報表示部63、3次元情報表示部64、2次元情報生成部65、3次元情報生成部66、および情報合成部67を有するものである。
【0010】
さらに本発明に関連する「3次元動力学シミュレータ」は、仮想空間内の仮想対象物の運動を計算によって求めるソフトウェアライブラリであり、例えば非特許文献5に開示されている。
【0011】

【非特許文献1】中西 淳、A.J.Ijspeert,S.Schaal, and G.Cheng,"運動学習プリミティブを用いたロボットの見まね学習",日本ロボット学会誌、vol.22, No.2,pp.165-170,2004
【非特許文献2】T.Inamura, I.Toshima, H.Tanie, and Y.Nakamura,"Embodied Symbol Emergence Based on Mimesis Theory", International Journal of Robotics Research, vol.23, No.4, pp.363-377, 2004
【非特許文献3】C.Cruz-Neira,D.Sandin,T.DeFanti "Surround-Screen Projection Based Virtual Reality:The Design and Implementation of the CAVE", Proceedings of SIGGRAOH 92, pp.135-142, 1993
【非特許文献4】廣瀬通孝,小木哲郎,石綿昌平,山田俊郎,「多面型全天周ディスプレイ(CABIN)の開発とその特性評価」,電子情報通信学会論文誌 D-II,Vol.J81-D-II,No.5,pp.888-896,(1998)
【非特許文献5】3次元動力学シミュレータ、Critical Mass Labs社のVortex、インターネット<URL:http://www.cm-labs.com/>
【0012】

【特許文献1】特開2002-91696号公報、「没入型表示システム」
【特許文献2】特開2002-123840号公報、「臨場感型仮想現実提供処理方法および装置」
【特許文献3】特開2003-141573号公報、「没入型表示装置および方法」
【発明の開示】
【発明が解決しようとする課題】
【0013】
近年、ロボットの知能化を目指した研究が盛んに行われており、工場などの規格化された生産現場だけではなく、街や家庭などの一般環境におけるロボットの活躍が期待されている。実際、次々と各種のヒューマノイドロボットが発表されており、歩く・走る・踊る・ジェスチャを行うなど様々な運動が実現されている。
これらのロボットは日常生活で活躍することが期待されているが、現状ではあらかじめ与えられた目標軌道に追従するように運動していることが多く、人間などの複雑な形状をした対象物と力学的な相互作用を行うのは非常に困難である。
【0014】
一方、これまでロボットを制御するために様々な理論的なアプローチが行われており、シミュレーションでは理想的な環境を作り出すことができることから、その有効性が報告されている。
しかし、それらの制御方法を実世界に応用することを考えた場合、例えば摩擦モデル一つにしても未知なことが多いため、実環境でロボットを制御する場合にはモデル化誤差などの影響によって理論通りに動作しないことも多い。それ以外にも、形状が複雑なロボットの動力学演算を実時間で解くのは難しいなど実ロボットへ応用するためには数多くの問題を抱えている。
【0015】
これらの問題を解決するアプローチの一つとして人間の運動を模倣することで、ロボットに巧みな運動を行わせることを目的とした研究が報告されており、運動学習プリミティブを用いることで見まね学習を行う研究(非特許文献1)やミメシス理論に基づいて様々な運動生成を行う研究(非特許文献2)など数多くの研究が行われている。
これらの研究の多くは人間とロボットの身体構造やダイナミクスの違いを考慮した運動生成方法を提案しているため、常に変化する対象物(人や物)と接触するような運動を生成することは難しいという問題点がある。すなわち変化する対象物(人や物)と接触するような運動を生成するためには、単に運動軌跡を模倣するだけではなく、運動中に得られる感覚情報(視覚、触覚、聴覚等)を運動に反映させて新たな運動軌跡を作成する必要がある。
【0016】
本発明はかかる課題を解決するために創案されたものである。すなわち、本発明の目的は、単に運動情報を再現するだけではなく、人間の運動情報と感覚情報の両方を「身まね」することができ、変化する対象物(人や物)に対応してその運動を高い頻度で再現することができ、これにより変化する対象物と接するような仕事を行なわせることができる身まねロボットシステムとその身まね動作制御方法を提供することにある。
【課題を解決するための手段】
【0017】
本発明によれば、教示対象のロボットからの感覚情報を用いて生成された3次元仮想世界映像を基に前記教示対象のロボットを操作し対象物に所望の動作を行、該動作中の前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を取得する教示ステップと、
教示ステップで得られた運動情報と感覚情報を基に、前記ロボットに所望の動作を身まねさせる身まねステップとからなり、
前記身まねステップにおいて、前記対象物の変化に対応して、身まね制御装置は前記対象物の位置が教示ステップで取得した感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと教示ステップにおける感覚情報の時系列データを比較し、教示ステップにおける現在の時刻に対応する教示ステップでの時刻を求め、求めた教示ステップでの時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とするロボットの身まね動作制御方法が提供される。

【0018】
本発明の好ましい実施形態によれば、前記教示ステップにおいて、人の運動に追従して動く仮想被験者を仮想の前記ロボットとみなし、動力学シミュレーション環境下で仮想的に設置した力センサや触覚センサから得られる値と、視覚センサから得られる画像を感覚情報として取得する。

【0019】
また、前記教示ステップにおいて、所望の動作が可能な実体のある前記ロボットとディスプレイ装置を用い、教示対象の前記ロボットからの感覚情報を用いて生成された3次元仮想世界映像に基づき、人が前記ロボットに動作を行わせ、該ロボットに取り付けた触覚センサ及びカメラから運動情報と共に感覚情報も同時に取得することが好ましい。

【0020】
また、前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較して、教示ステップで取得した感覚情報と同じ感覚情報が得られるように身まね中の運動軌跡を変更する。

【0022】
また、前記身まねステップにおいて、身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、評価値が一致するような時間を探索して身まね中の運動軌跡を時間的に伸縮させる。

【0023】
また、前記身まねステップにおいて、類似度Cを用いて身まね中の感覚情報と教示ステップで取得した感覚情報を比較評価し、得られた類似度Cが最も大きい教示ステップにおける時刻の運動軌跡を身まねで使用する、ことが好ましい。

【0024】
また本発明によれば、対象物に対して所望の動作が外部からの入力信号に基づき作動可能な仮想的又は実体のあるロボットと、教示対象の前記ロボットからの感覚情報を用いて生成された3次元仮想世界映像を表示するディスプレイ装置と、前記教示対象のロボットの教示動作である運動情報と前記教示対象のロボットの状態を示す感覚情報を記憶する記憶装置を有する身まね制御装置と、を備え、
身まね制御装置により、前記対象物の変化に対応して、前記対象物の位置が記憶した前記感覚情報に含まれる前記対象物と前記教示対象のロボットの相対的位置情報に同じになるように前記教示対象のロボットの位置を変更する運動情報の空間的変更と、現在の感覚情報の時系列データと記憶した前記感覚情報の時系列データを比較し、現在の感覚情報における現在の時刻に対応する記憶した前記感覚情報の時刻を求め、記憶した前記感覚情報の時刻におけるロボットの運動情報を実行するよう制御する運動情報の時間的伸縮を行う、ことを特徴とする身まねロボットシステムが提供される。

【0025】
本発明の好ましい実施形態によれば、前記ロボットは、人の運動に追従して動く仮想被験者である仮想のロボットである

【0026】
また、前記ディスプレイ装置は、3次元仮想空間内に位置する実在する人の位置及び動作を検出する運動情報検出手段と、該人の位置及び動作を3次元仮想空間内に仮想被験者として提示する仮想被験者提示手段とからなる、ことが好ましい。


【発明の効果】
【0027】
上述したように本発明では、人がロボットに没入する形でロボットを操作することで、ロボットの運動情報とその時に得られる感覚情報を取得し記録することができる。すなわち、人がロボットに没入して動作を与えることで、関節角度などの運動情報だけではなく視覚や触覚などの感覚情報をロボットに教示することができる。
また教示された感覚情報が得られるように、教示ステップで取得した運動軌跡を身まね中の感覚情報を使って空間的に変更しかつ時間的に伸縮させることで、これまで行うのが難しかった対象物と接するような動作を、対象物の変化に対応して、ロボットに真似させることができ、人間と接するホームロボットや介護・福祉機器などの機械システムの制御への応用が可能となる。
【発明を実施するための最良の形態】
【0028】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において共通部分には同一の符号を付し、重複した説明を省略する。
【0029】
図1は本発明による身まねロボットシステムの全体構成図である。この図に示すように、本発明の身まねロボットシステムは、没入型ロボット10、没入型ディスプレイ装置20及び身まね制御装置30を備える。
【0030】
没入型ロボット10は、被験者である人2の運動に追従して動く仮想被験者であり、対象物1(人や物)に対して所望の動作が、外部からの入力信号に基づき作動可能に構成されている。
没入型ディスプレイ装置20は、3次元仮想空間内に位置する実在する被験者2の位置及び動作を検出する運動情報検出手段と、被験者2の位置及び動作を3次元仮想空間内に仮想被験者として提示する仮想被験者提示手段とからなり、没入型ロボット10の動きを人が没入する形で表示する。
【0031】
身まね制御装置30は、記憶装置32と単一又は複数のコンピュータ34からなり、没入型ロボット10の動作中の運動情報と感覚情報を記憶する。また身まね制御装置30は、人(被験者)2の操作で受動的に取得した運動情報と感覚情報を基に、没入型ロボット10に所望の動作を再現(身まね)させ、かつ同時に対象物1の変化に対応して、既に取得した運動軌跡を身まね中の感覚情報を使って空間的に変更しかつ時間的に伸縮させるようになっている。
【0032】
複数のコンピュータ34は互いにネットワークで連結されており、リアルタイムでデータを通信し、それらのデータを基にデータの更新及び演算を行うように構成されている。
【0033】
また身まね制御装置30は、仮想空間内の設計対象の運動を計算によって求めるシミュレーションソフト(3次元動力学シミュレータ)を記憶する。この3次元動力学シミュレータは、没入型ロボット10を構成する構成部品のサイズ、形状、質量特性などのデータを基に物理法則に則った運動を計算する。この計算は、毎サンプリング周期ごとに行い、各部品の位置と姿勢をリアルタイムで出力する。
【0034】
この計算では加速度を伴った運動(動力学)や、物体同士の衝突判定、物体間に働く幾何学的拘束(回転軸やスライダジョイントなど)を扱う。没入型ディスプレイ部内の被験者2からの入力もこの計算に加味される。演算部コンピュータは仮想空間内に対象物だけでなく仮想被験者10も用意する。被験者2はこの仮想被験者10を操作することで、仮想空間内の対象物1(例えば人形)と力学的に干渉することとなる。
【0035】
没入型ディスプレイ装置20は、コンピュータ34で得られた仮想空間内の対象物1の運動を被験者2に視覚的に提示する部分である。視覚情報のほかに複数のスピーカを使った立体音場生成による聴覚情報の提示も可能である。没入型ディスプレイ装置20は、被験者2に高い没入感を与え、同時に、被験者2の運動を計測し、それを身まね制御装置30に入力する機能を備えている。
【0036】
上述した没入型ディスプレイ装置20は、例えば、CAVEシステムである。
CAVEシステムは、図1に示すように、人(被験者)2(眼鏡をかけた白い人物)を取り囲むスクリーン3に4方向から映像を投影し、人2に高い臨場感を持った映像を提示する画像表示システムである。投影される画像は1フレームごとに右目用と左目用の情報が交互に投影される画像であり、それに同期して液晶シャッター眼鏡4を通した視線が片方ずつ遮断されることで、投影されたCGは被験者2に立体的な映像として観測される。さらに、液晶シャッター眼鏡4の位置と姿勢は常に計測され、その情報に従って画像が更新されることで、被験者はあたかも自分が投影された仮想空間内に存在するかのように認識できる。
【0037】
CAVE(スクリーン3で囲まれた3次元仮想空間)内の被験者2は、液晶シャッター眼鏡の他に磁気センサ5を身体に装備している。これらの磁気センサ5の位置や姿勢の情報も常時計測されており、システムのインターフェイスとして機能する。投影されるCGの運動は被験者2の運動による影響と物理法則(力学的法則)を考慮したものが、身まね制御装置30でシミュレートされることで得られる。
【0038】
以上のような没入型ディスプレイ装置20によって、CAVE内の被験者2が仮想空間内の対象物1(人や物)に力学的作用を及ぼすことができる。
【0039】
なお没入型ディスプレイ装置20は、前述の2つの機能を備えていればCAVEシステムに限定されない。例えば、図2に示すように、視野角の広いヘッドマウントディスプレイ(HMD)6に立体視映像を出力させ、HMD6に搭載したジャイロセンサなどを用いることで被験者2の位置を検出し、同時にモーションキャプチャや装具による運動計測によって被験者の運動をモニターすれば、没入型ディスプレイ装置として用いることができる。
【0040】
すなわち、図2に示すようにロボットに没入する形で没入型ロボットである実ロボット10を操作するテレ・オペレーションシステムを用い、このシステムにおいて被験者2は視覚や力覚を知覚しながら実ロボット10に教示動作を与えることができ、実ロボット10を動かすことができる。実ロボットを動かす場合には、ダイナミクスの補償を行うことで運動を修正するのがよい。
【0041】
上述したロボットシステムを用い、本発明の身まね動作制御方法は、教示ステップと身まねステップとからなる。教示ステップでは、没入型ロボット10と没入型ディスプレイ装置20を用い、人(被験者)2がロボットに没入する形でロボットを操作して対象物に対応して所望の動作を行わせ、この動作中の運動情報と感覚情報を身まね制御装置30により取得する。身まねステップでは、教示ステップで得られた運動情報と感覚情報を基に、身まね制御装置30により没入型ロボット10に所望の動作を身まねさせる。
【0042】
以下、教示ステップと身まねステップを更に詳しく説明する。
(教示ステップ)
教示ステップは、没入型ロボット10への没入と運動・感覚情報のキャプチャリングからなる。
教示ステップにおいて、没入型ロボット10に没入する形でロボットに運動情報と感覚情報を与える手段として、「シミュレータを用いる手段」と「実機を用いる手段」が適用できる。
【0043】
「シミュレータを用いる手段」は、没入型ディスプレイ(例えば非特許文献3のCAVEシステム)の中で磁気センサ(例えばAscension Technology社のFlock of Birds)を用いて人2の各リンクの位置・姿勢を計測し運動情報を得る。また、人2の運動に追従して動く仮想被験者を没入型ロボット10とみなし、動力学シミュレーションの環境下で仮想的に設置した力センサや触覚センサから得られる値や、さらには視覚センサから得られる画像などを感覚情報として利用する。
【0044】
「実機を用いる手段」は、例えばCyberForce(Immersion社)を用いて実機に没入した形で没入型ロボット10に動作を与える。この時、ロボット自身に触覚センサやカメラを取り付けることで、運動情報と共に感覚情報も同時に得る。感覚情報と運動情報のモデルは、タスクに成功した1回の動作から得られたものを用いても良いし、複数回の動作の平均や分散を考慮して作り出しても良い。
【0045】
(身まねステップ)
身まねステップは、感覚情報を用いた運動情報の調節による。
教示ステップで得られた感覚情報と運動情報のモデルを用い、最終的な運動軌跡(身まね動作)を、感覚情報を使って空間的に変更した運動軌跡を更に時間的に伸縮させることで作り出す。
空間的な運動情報の変更は、現在(身まね中)得られた感覚情報と教示ステップで得られた感覚情報を比較して、教示ステップで得られた感覚情報と同様の感覚情報が得られるように運動を変更する。教示ステップで得られた視覚情報が得られる位置に回り込むなどの動作が空間的な運動の変更に相当する。
時間的な運動軌跡の伸縮は、大きな時間ジャンプにペナルティを与えるような評価関数を用意し、現在(身まね中)得られた感覚情報と教示ステップで得られている感覚情報を比較評価し、評価値が類似するような時間を探索することで運動の時間伸縮を行う。
このように感覚情報を用いて運動情報を空間的かつ時間的に変更することでタスクに成功する運動軌跡を生成する。この生成を「身まね動作生成」と呼ぶ。
【0046】
以下、本発明の具体例を説明する。
1.本発明では、対象物と相互作用を行うようなロボットを制御する手段として、感覚と運動を統合することによって最終的な模倣動作を生成する方法を提案する。この方法はDPマッチングを用いて感覚と運動のモデル化を行い、運動の途中で順次得られる感覚情報を用いて運動軌跡を時間的・空間的に変更しながら対象物と接するタスクの成功を目指す。
対応づけるべき二つの時系列をA=a,a,・ ・ ・,a,・ ・ ・,aとB=b,b,・ ・ ・,b,・ ・ ・,bとするの時,d(i,j)をaとbの類似度とすると(例えばd(i,j)=(a-b),時系列A とB の類似度を数1の式を用いてg(I,J)/(I+J)で求めるのがDPマッチングである。
ただし,i=1かj=1の時はg(i,j)=2d(i,j)として,整合窓の範囲内でi,jを増加させてi=I,j=Jとなるまで計算を繰り返す。
【0047】
【数1】
JP0004463120B2_000002t.gif

【0048】
2.ロボットに行わせるタスク
現在、発明者等の研究チームでは介護福祉の現場で活躍するロボットの実現を視野にいれた研究を行っている。具体的なタスクとしてロボットの全身を用いて対象物(人や物)を抱きかかえるフルボディ・マニピュレーションの実現を目指しており、理論的な研究から解析的な研究、さらには必要なセンサの開発に向けた研究を行っている。
本研究では、具体的に「人間を抱き上げる」というタスクをロボットに実現させることを目標にしており、人間と同様に運動の途中で順次得られる視覚などの感覚情報を運動に反映することで最終的な模倣運動を生成する。
人間の場合は、幼い時の経験によって感覚と運動情報を獲得して行くものだと考えられる。ロボットに試行錯誤的に運動を行わせて感覚・運動情報を獲得させることも可能であるが、本研究では学習期間を短縮するために人間がロボットに感覚と運動情報を教示する。動作を教示する被験者はロボットに没入することで、感覚と運動情報を教示できることが望ましい。ここでは、没入型三次元動力学シミュレーション環境を用いて被験者は感覚と運動情報を教示する。
【0049】
図3は、磁気センサを体の各所に取り付けた被験者とそれに対応する仮想被験者を示す図である。
これまでの研究では、被験者(図3(a))の動きを磁気センサで計測し、その動きに追従する仮想被験者(図3(b))を介して仮想空間と被験者の力学的なインタラクションを実現していた。
このシミュレーション環境では、運動を行っている際の仮想被験者の視覚や力覚・トルク情報などをリアルタイムで計測できることから、従来のモーションキャプチャによる運動軌跡だけではなく、仮想被験者の視覚や触覚などの感覚情報を同時に取得することが可能である。
つまり、仮想被験者をロボットと見なすことで、被験者はロボット自身に没入する形でロボットに感覚と運動情報を教示することができる。
【0050】
図4は、車輪型ロボットが抱えているダミー人形を被験者が抱き上げることで動作を教示している例を示す図である。この図で左側はロボットに感覚と運動を教示している被験者を示し、右側は教示動作の通りに動作しているロボットの動きを示す。ロボットは、車輪で移動するロボットであり、ダミー人形は、47.5[kg]の重さの3リンクのダミー人形である。
以下、車輪型ロボットからダミー人形を抱き上げ、再び車輪型ロボットに返すまでの一連の動作を「抱き上げタスク」と呼ぶ。また本発明では人の運動に追従して動く仮想被験者をロボットと呼ぶ。
【0051】
図5は、「抱き上げタスク」における被験者の手の運動軌跡を示す。
例えば、図4のように抱き上げタスクを行い、被験者の手の運動軌跡が図5のように得られたとする。この運動軌跡だけを模倣してロボット(仮想被験者)に全く同じ運動を行わせた場合、ダミー人形などの対象物(人や物)が教示時と全く同じ場合にはタスクに成功すると考えられる。
しかし、ダミー人形の位置や角度の初期値が異なる場合や、ダミー人形を抱えている車輪型ロボットが途中で動く場合にはタスクに成功するとは限らない。ダミー人形の位置や角度に依存することなくタスクに成功させるためには、単に運動軌跡を模倣するだけではなく、動作中に起こる対象物(人や物)の変化を感覚情報で知覚しながら、模倣運動を変更していく必要がある。
本発明の実施例では、対象物と相互作用が必要なタスクの例として、「抱き上げタスク」を取り上げ、ロボットで抱き上げタスクを実現させることを目標とする。
【0052】
3.DPによる運動のモデル化と運動生成
Inamuraらによるミメシス理論に基づく見まね学習に関する一連の研究(非特許文献2)では、隠れマルコフモデル(HMM)を用いて運動の生成を行っている。しかし、HMMは基本的にシンボル系列を扱う方法であるため運動の離散化の作業が必要になり、連続値を扱いたい場合には、連続HMM(continuous HMM)を利用するなどの工夫が必要である。
本発明では連続値を扱うことができるDPマッチングを統計情報が扱えるように拡張することで同じ運動を行う複数のデータから一つの運動モデルを作成する。
【0053】
〈3・1〉DPによる運動のモデル化
1つの時系列運動を数2のベクトル列Oで表す。このうちベクトルoはロボットの出力ベクトルを表し、例えば腕や足の目標関節角度や目標位置・目標姿勢などに相当する。これらの目標値は、被験者の運動を計測することによって取得することができるが、同じ抱き上げタスクをN回行ったとしてもそれらの時間は非線形に伸縮しており、得られる記号列がいつも同じ長さであるとは限らない。
そこで、得られたN回の時系列運動に対して時間の正規化を行う。まず、N個の中から1つの基準系列(長さをTとする)を選択し、DPマッチングにより残りのN-1個の時系列運動に対して時間軸の正規化を行い、すべての時系列運動の長さがTになるように伸縮させる。次に、数2の(1)(2)式でそれらの平均と分散を求める。
そして、数2の平均と分散を抱き上げタスクの運動モデルとして保存する。
【0054】
【数2】
JP0004463120B2_000003t.gif

【0055】
図6(a)は、図4の抱き上げタスクを複数回行い、その際に得られたy軸(鉛直上向き)の手の運動軌跡であり、(b)はDPによって時間伸縮させた結果、(c)、(d)は伸縮後の平均値と分散値を示す。
ダミー人形を抱える瞬間や置く瞬間の6秒付近や11秒付近の分散値は非常に小さくなっており、分散値の小さいところに抱き上げタスクのコツがあると考えられる。
【0056】
〈3・2〉モデルからの運動生成
本発明では、運動モデルとして被験者の動きから計測した平均と分散を用いてロボットの運動を生成する。単位時間ごとに運動モデルと同じ正規分布を持つ正規乱数を発生させ、その値を目標値としてロボットを制御する。ただし、乱数による高周波成分を含むため、ローパスフィルタを適用することで高周波成分を除去する。
このように観測されたデータと同じ分布を持つ乱数を用いて運動を生成しているため、試行毎にロボットは微妙に異なる運動を行うことになり、一つのタスクを行う際には、いつも決まった目標値を与える従来のロボット制御方法に比べて、ロボットに生物らしい動きをさせることが可能でありながらも、分散値を反映させることでタスクのコツを考慮した運動が生成できる。
【0057】
4. 感覚情報を反映した運動生成
対象物(人や物)と力学的なインタラクションを伴うようなタスクを行う場合、被験者は対象物を認識しながら運動を決定している。図4のような抱き上げタスクの場合は、ダミー人形やダミー人形を抱えている車輪型ロボットの位置や姿勢によって被験者は抱き上げの運動を変えている。しかし、前節の方法で生成した運動は、認識結果を反映したものになっていないため、被験者が教示動作を与えた時の対象物と状態が少しでも異なれば、同じ結果にならないことが予想される。
対象物が変化したとしてもタスクを成功させるためには、運動の過程で得られた感覚情報を反映して、出力を変更していく必要がある。本発明の方法では、運動途中に得られた感覚情報によって運動を調整する基準が明らかな場合と明らかではない場合に大別し、運動を調整する基準が明らかな感覚情報については出力ベクトルoを空間的に変化させることで対応し、明らかでない感覚情報については出力を時間的に伸縮させることで対応する。
【0058】
〈4・1〉空間的な運動の修正
現在得られた感覚情報と教示ステップで取得した感覚情報を比較して、教示ステップで得られたものと同様な感覚情報が得られるように、運動ベクトルoを修正するのが「空間的な運動の修正」である。このような運動の修正を行うために、教示ステップで得られた感覚情報を時系列運動と同様に時間伸縮させて数3の入力情報として保存しておく。
ここでの入力情報としては、例えばダミー人形の位置・姿勢推定結果や、ロボットの腕にかかる力情報などロボット(仮想被験者)自身に付いているカメラや触覚センサから得られる感覚情報を処理して得られる認識結果等がある。
ここで考える問題は、時刻jにセンサ情報を処理することでiが得られた場合に、タスクを成功させるためには、教示動作の時刻tに得られた運動モデルOをどのように修正してoを生成するかを考えることである。
まず、次式を満たすAj,Bjを求めることで、教示動作中に得られた認識情報と現在得られている認識情報iの関係を数3の(3)式で調べる。
次に、時刻tの動作を数3の(4)式を用いて変換することで最終的な出力動作とする。
【0059】
【数3】
JP0004463120B2_000004t.gif

【0060】
このような処理を行うためには、入力情報の変化によって出力をどのように修正すればよいか(式(4)における関数fに相当する)が明示的に設計可能である必要がある。
空間的な運動の修正例として、視覚によって得られたダミー人形の位置・姿勢推定結果を用いてロボットとダミー人形の相対関係が教示動作が与えられた時と同じになるように運動を変化させることが挙げられる。
【0061】
〈4・2〉時間的な運動の修正
教示ステップのある時刻tに得られた行動Oを時刻jに得られた認識結果を基に調整する方法について述べたが、動作遅れなどによって、運動自身を時間伸縮させる必要があることもある。
こういった場合には、現在の時刻jに対応する教示動作の時刻tの付近で、得られた認識結果が類似する時刻を探索することで、時間伸縮に対応する。つまり、時刻jに対応するt'を数4の(5)式によって求めることで、動作の時間伸縮を行う。
これは(5)式の右辺を最大にするkをt'におくという意味であり、数4のCは、今得られている認識結果iと教示動作中に得られたiの類似度を表し、類似するほど大きく最大値を1とする。本発明では数4の(6)式によって類似度Cを定義する。
【0062】
【数4】
JP0004463120B2_000005t.gif

【0063】
また、式(5)はできるだけ時間を忠実に守り、大きな時間ジャンプを防止するために、時間軸の伸縮にペナルティを付けた評価になっている。上式によって教示ステップで得られた認識情報と現在得られている認識情報を比較して、教示動作中のどの時刻と類似した運動をすればよいかを時間軸の伸縮によって探索する。
時間的な運動の修正は現在得られた認識結果と教示動作中に得られた認識結果のマッチングを行うことで、時間軸の伸縮を行う操作であるため、認識結果をどのように運動に反映させれば良いかが分からないような感覚情報を扱うことも可能である。
【0064】
〈4・3〉感覚情報を考慮した運動生成アルゴリズム
図7は本発明の方法による模倣動作生成のアルゴリズムを示す。時刻jに得られた感覚情報iと類似する感覚情報が得られる教示動作中の時刻をモデルとして保存しているi を用いて式(5)によって探しだし、類似度の高い時刻の運動モデルOt'とσt'に式(4) を適用して空間的に運動を変化させることで最終的な運動oを出力する。
【実施例1】
【0065】
5. 実験
ロボットに抱き上げタスクを行わせることで本発明の方法の有効性を確認する。
〈5・1〉実験
被験者は車輪移動可能なロボットが抱える3リンクのダミー人形を抱き上げるタスクを21回行い、その入力系列から運動モデルを作成した。運動の開始点と終了点の切り出しは手動で行った。また、時間に対する伸縮を行うための基準系列は、他のすべての系列とDPマッチングを行い、それらの総和が最も小さいものを用いた。運動モデルを記述するベクトルoには、磁気センサから得られる情報として左右の前腕と胴部の位置・姿勢を並べたベクトルを採用した。
また、感覚情報iは、ダミー人形を抱えるまでは、ダミー人形の位置・姿勢とし、抱えた後は車輪移動するロボットの位置・姿勢とした。
ロボットの重心位置と姿勢は、仮想被験者から得られる図8のような視覚情報を画像処理することによって求める方法も考えられるが、その処理方法はCGの処理に特化したものとなり、実環境で役立つ処理であるとは言えない。そのため、ここではシミュレータによる動力学演算によって得られる値を用いることにした。
【0066】
実験結果を図9に示す。図9(a)は、抱き上げタスクの教示例を表し、(b)は認識情報を考慮せず運動モデルのみによって運動生成した例である。この実験では、車輪型ロボットを少し回転するように動かしているだけであるが、タスクには成功していない。
また、(c)は認識結果によって運動を時間的に伸縮させることなく空間的にのみ修正した例であり、車輪ロボットに追従して運動を変化させているもののタスクには失敗している。(d)では認識結果を用いて動作を時間的に伸縮させた後に空間的に修正しておりタスクに成功していることが分かる。
【0067】
次に、ダミー人形を抱えている車輪型ロボットを移動させ、ロボットに抱き上げタスクを行わせることで提案方法の有効性を評価した。その結果を図10に示す。この図において、(a)は調整なし、(b)は空間の調整のみ、(c)は空間と時間の調整を行った場合である。
図10(a)(b)(c)において、それぞれ横軸は左の車輪にかけたトルクを表し、縦軸が右の車輪にかけたトルクを表す。従って、座標軸の原点から離れるほど、対象物(ダミー人形)の位置変化が大きいことを意味する。
また、図中の○△×はそれぞれ車輪型ロボットの車輪にトルクをかけた状態でタスクに成功したか失敗したかを表しており、○の記号は抱き上げタスクに成功したことを示し、△は抱き上げには成功したが車輪型ロボットに返すタスクに失敗したことを、×は抱き上げ自体に失敗したことを示している。
【0068】
車輪にかけるトルクが小さい時には、車輪型ロボットはほとんど移動しないため、教示動作を与えた時と対象物が大きく変わらず、感覚情報による運動の変更なしでもロボットはタスクに成功しているが、車輪にかけるトルクが大きい場合には、タスクに成功していない。タスクの成功率を表1に示す。
この表中の「調整なし」は認識結果を考慮することなく運動を出力させた場合を表し、「空間の調整」は空間的な運動の修正のみを行って動作生成した場合を、「空間と時間の調整」は時間的な伸縮による修正をした後に空間的な修正をした場合を表す。
また、「成功」は図10の○の回数を表し、「準成功」は△の回数、「失敗」は×の回数を表す。実験はそれぞれの条件において81回ずつ行っており、空間的に動作を修正することでタスクの成功率は上昇しているが、時空間的に動作を修正することでさらに成功率が上がっていることを確認できる。
【0069】
【表1】
JP0004463120B2_000006t.gif

【0070】
〈5・2〉考察
本発明で提案した感覚運動統合による模倣動作の生成方法について以下に考察する。
(1)感覚情報を利用した模倣運動の生成
本発明では、観測された人間の運動をDPマッチングを用いてモデル化し、そのモデルから運動を生成する方法を提案した。さらに、感覚によって得られた情報を基にして生成した運動を時間的・空間的に修正することで感覚と運動を結び付け、人間が教示動作を与えた対象物と異なる対象物においてもダミー人形を抱き上げるというタスクに成功できるロボット制御方法を提案した。また、没入型三次元動力学シミュレーション環境での実験によって本方法の有効性を確認した。
本発明の方法の基本的な考え方は、行動のモデル化を行う際にDPを用いるかHMMを用いるかの違いはあるがInamuraらによるミメシスモデルに基づいた研究(非特許文献2)を感覚情報が扱えるように拡張しており、運動の認識、記憶、再生のメカニズムを実現する枠組を継承している。
【0071】
(2)没入型三次元動力学シミュレーション環境での感覚運動計測
発明者等が提案してきた没入型三次元動力学シミュレーション環境は、人間と接するロボットの開発を目的としているため、被験者は仮想ロボットを介して仮想物体との力学的なインタラクションが可能である。このため、仮想被験者をロボットと見なすことで、被験者はロボットに没入する形で教示動作を与えることができる。また、力覚や触覚など市販のセンサでは得ることが難しいような情報も動力学演算によって算出でき、市販のアクチュエータでは実現できないような強力なトルクでロボットを制御することも可能であるため、現状で製作できるロボットのシミュレーションはもちろんのこと、将来開発される技術を見越したロボットのシミュレーションも可能である。
【0072】
(3)ロボットの動きを修正するための感覚情報として、視覚によって得られると想定したダミー人形や車輪ロボットの位置・姿勢推定結果を用いた。しかし、実験で用いたシミュレータからは、視覚以外にも力覚やトルクなど様々な仮想センサを用いてセンシングすることが可能であり、今後これらの多種多様なセンサ群を統合することによって動作を生成することができる。
【0073】
本発明では、感覚情報を用いて時空間に運動を修正することで感覚と運動を結び付け、対象物と接するロボットを制御する方法を提案した。この方法では、没入型三次元動力学シミュレーション環境を用いて人間の感覚・運動を計測し、DPを用いてモデル化を行う。さらに、模倣動作を入力情報の認識結果によって時空間的に修正することで、測定した条件と異なる対象物の場合においてもタスクの実現が可能になると考えられ、実験によって提案方法の有効性を確認した。
なお本発明により、視覚情報だけではなく、力覚・触覚など様々な情報を処理することで、模倣動作を生成することや実ロボットに応用することができる。
【0074】
なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【図面の簡単な説明】
【0075】
【図1】本発明による身まねロボットシステムの全体構成図である。
【図2】実ロボットを用いたロボットシステムの全体写真である。
【図3】磁気センサを体の各所に取り付けた被験者とそれに対応する仮想被験者を示す図である。
【図4】抱き上げタスクの実行例を示す図である。
【図5】抱き上げタスクにおける被験者の手の運動軌跡を示す図である。
【図6】抱き上げタスクにおける手の運動軌跡、平均値及び分散値を示す図である。
【図7】本発明の方法による模倣動作生成のアルゴリズムを示す図である。
【図8】仮想被験者から得られる視覚情報の図である。
【図9】本発明の実施例を示す図である。
【図10】本発明の実施例の評価例を示す図である。
【図11】特許文献1の「没入型表示システム」の模式図である。
【図12】特許文献3の「没入型表示装置および方法」の模式図である。
【符号の説明】
【0076】
1 対象物(例えば人形)、2 被験者(人)、
3 スクリーン、4 液晶シャッター眼鏡、
5 磁気センサ、6 ヘッドマウントディスプレイ(HMD)、
10 没入型ロボット(実ロボット)、
20 没入型ディスプレイ装置、
30 身まね制御装置、
32 記憶装置、34 コンピュータ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11