TOP > 国内特許検索 > 隠れマルコフモデルによる運動データの認識・生成方法、それを用いた運動制御方法及びそのシステム > 明細書

明細書 :隠れマルコフモデルによる運動データの認識・生成方法、それを用いた運動制御方法及びそのシステム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4027838号 (P4027838)
公開番号 特開2004-330361 (P2004-330361A)
登録日 平成19年10月19日(2007.10.19)
発行日 平成19年12月26日(2007.12.26)
公開日 平成16年11月25日(2004.11.25)
発明の名称または考案の名称 隠れマルコフモデルによる運動データの認識・生成方法、それを用いた運動制御方法及びそのシステム
国際特許分類 B25J   5/00        (2006.01)
FI B25J 5/00 F
請求項の数または発明の数 9
全頁数 21
出願番号 特願2003-129774 (P2003-129774)
出願日 平成15年5月8日(2003.5.8)
審査請求日 平成17年1月28日(2005.1.28)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】中村 仁彦
【氏名】稲邑 哲也
【氏名】谷江 博昭
個別代理人の代理人 【識別番号】100089635、【弁理士】、【氏名又は名称】清水 守
審査官 【審査官】大山 健
参考文献・文献 小川原光一、射場総司、木村浩、池内克史,9眼ステレオとデータグローブを用いた人間行動の認識,情報処理学会研究報告 Vol.2000 No.33 IPSJ SIG Notes,日本,社団法人情報処理学会 Information Processing Society of Japan ,2000年 3月23日,第2000巻 第33号,【頁】119~126
園田展人、小川原光一、木村浩、池内克史,日常動作における把持の認識とロボットによる再現 Robotic Recognition and Generation of Everyday Grasps,情報処理学会研究報告 Vol.2003 No.36 IPSJ SIG Notes,日本,社団法人情報処理学会 Information Processing Society of Japan,2003年 3月28日,第2003巻 第36号,【頁】61~68
中村 仁彦,行動から知能への力学的設計論にむけて Dynamical Approach from Behaviours to Brain-like Intelligence,システム/制御/情報 第46巻 第1号,日本,システム制御情報学会 The Institute of Systems,Control and Information Engineers,2002年 1月15日,第46巻 第1号,【頁】3~8
中岡慎一郎、中澤篤志、横井一仁、池内克史 ,舞踊模倣ヒューマノイドロボットにおける脚動作の認識と生成 Recognition and Generation of Leg Motion for Dance Imitation by a Humanoid Robot,情報処理学会研究報告 Vol.2003 No.36 IPSJ SIG Notes,日本,社団法人情報処理学会 Information Processing Society of Japan,2003年 3月28日,第2003巻 第36号,【頁】93~100
調査した分野 B25J 1/00-21/02
特許請求の範囲 【請求項1】
(a)人間の一連の動作を提供する第1のステップと、前記人間の一連の動作を観察する第2のステップと、前記人間の一連の動作の角度データ(レベル)を取得する第3のステップと、動作エレメント(θ,Σ)を挿入する第4のステップと、動作シーケンス(レベル)を取得する第5のステップと、隠れマルコフモデルを使用する第6のステップと、原始シンボルを取得する第7のステップと、コミュニケーション概念を形成する第8のステップとを有する運動データの認識過程と、
(b)該運動データの認識過程とは逆に、形成されたコミュニケーション概念を用いる第9のステップと、前記形成されたコミュニケーション概念から原始シンポルを取得する第10のステップと、前記隠れマルコフモデルを使用する第11のステップと、前記隠れマルコフモデルを使用し、動作シーケンス(レベル)を取得する第12のステップと、動作エレメント(θ,Σ)を挿入する第13のステップと、対象の動作の角度データ(レベル)を取得する第14のステップと、前記得られた対象の動作の角度データ(レベル)を具現化する第15のステップと、前記得られた対象の運動制御を行う第16のステップとを有する運動データの生成過程と、を施すことを特徴とする隠れマルコフモデルによる運動データの認識・生成方法。
【請求項2】
以下の過程(a)~(e)を有するレフト・トォ・ライト型の隠れマルコフモデルを用いたヒューマノイド運動データの認識・生成方法において、
(a)一番左の状態ノードから開始し、次に遷移する状態ノードを状態遷移行列aを用いて確率的に決定し、遷移を繰り返して、一番右の状態ノードに到達した段階で状態遷移列qN-1 を保存して生成試行を終了し、この状態遷移列の生成をN回繰り返してサンプリングする、ここで、状態遷移列の長さは生成試行ごとに異なるため、時間軸方向に伸縮させることで状態遷移列の長さを同一にした後、平均を取って代表的な状態遷移列qN を求める、状態遷移列候補の計算過程と、
(b)上記(a)の計算で求めた状態遷移列qから出力されるベクトル列OKTを求める、つまり、状態遷移する際に出力されるベクトルOKTは、各状態ノードに割り振られている確率密度分布関数に従って確率的に決定され、このベクトル生成を一つの状態遷移列qに対してM回行い、そのM個のベクトル列を各時刻において平均することで、代表となるベクトル列Oを計算する、出力ベクトル列の計算過程と、
(c)状態遷移列qはN個の状態遷移列qから生成されているので、出力ベクトル列Oを求める計算がN回繰り返され、N個の出力ベクトルはそれぞれ異なる時間長さを持っているので、上記(a)の方法と同じ方法で時間長さを統一し、平均し、最終的な出力ベクトル列uを求める、最終的な出力ベクトル列の計算過程と、
(d)隠れマルコフモデル間の類似度をKullback-Leibler情報量を用いて評価し、この値に基づいて多次元尺度法で空間を構成し、この空間上で二つの動作を表す点の内分点を取り、この内分点に相当する隠れマルコフモデルを求め、該隠れマルコフモデルから運動を生成すると二つの動作が内分されたような運動を生成する、隠れマルコフモデルの空間への配置過程とを有し、
(e)請求項1に記載の運動データの認識過程と運動データの生成過程を前記隠れマルコフモデルのみによって統合する隠れマルコフモデルによる運動データの認識・生成方法。
【請求項3】
請求項記載の隠れマルコフモデルによる運動データの認識・生成方法であって、前記隠れマルコフモデルから最も可能性が高く観測される前記状態遷移列と出力ベクトル列を求める際に、確率的なサンプリング試行を数回行うことによって運動データを生成させることを特徴とする隠れマルコフモデルによる運動データの認識・生成方法。
【請求項4】
請求項記載の隠れマルコフモデルによる運動データの認識・生成方法であって、並列計算させることによって、一回のサンプリング試行と同じオーダーの計算時間で運動データを生成させることを特徴とする隠れマルコフモデルによる運動データの認識・生成方法。
【請求項5】
請求項記載の隠れマルコフモデルによる運動データの認識・生成方法に基づくシンボル操作を用いた運動データの認識・生成システムの運動制御方法。
【請求項6】
請求項5記載の隠れマルコフモデルによる運動データの認識・生成方法に基づくシンボル操作を用いた運動データの認識・生成システムの運動制御方法によって制御するヒューマノイドロボットシステム。
【請求項7】
請求項6記載のヒューマノイドロボットシステムであって、隠れマルコフモデルパラメータを用いてヒューマノイドにおける全身の運動情報を、少数の前記隠れマルコフモデルパラメータから復元し、自然な運動を再現するヒューマノイドロボットシステム。
【請求項8】
請求項記載の隠れマルコフモデルによる運動データの認識・生成方法に基づくシンボル操作を用いた運動データの認識・生成システムの運動制御方法を用いて制御するコンピュータ・グラフィックスキャラクターの動作生成エンジンシステム。
【請求項9】
請求項1記載の隠れマルコフモデルによる運動データの認識・生成方法において、
(a)連続分布型隠れマルコフモデルによるキーフレーム表現を行う過程と、
(b)前記連続分布型隠れマルコフモデルからの時系列データ再現を行う過程とを有することを特徴とする隠れマルコフモデルによる運動データの認識・生成方法。
発明の詳細な説明
【0001】
【発明の属する技術分野】
本発明は、隠れマルコフモデルによる運動(行動)データの認識・生成方法、それを用いた運動制御方法及びそのシステムに係り、ヒューマノイドロボットやコンピュータ・グラフィックスキャラクターの運動制御方法及びその制御システムに関する。特に、隠れマルコフモデルを用いて抽象化されたヒューマノイドにおける全身の運動情報を、少数のパラメータから復元し、自然な運動を再現する方法に関するものである。なお、ここでは、「運動」なる用語は、適宜「行動」に読み替えることができるものと定義する。
【0002】
【従来の技術】
ロボットの運動制御や実環境認識などには、時系列データの記憶と再現が必要不可欠である。この際、瞬間のデータであるキーフレーム表現を用いて記憶すると、ロボットの運動制御や環境の特徴的な要素の把握などに有効である。
【0003】
従来の関連技術としては、以下の非特許文献1及び非特許文献2に示すものがある。
【0004】
(1)非特許文献1は、音声データに対して隠れマルコフモデルを適用し、最適な状態遷移列を繰り返し計算によって探索することで音声合成を実現するようにしている。
【0005】
(2)非特許文献2は、隠れマルコフモデルによって人間の運動を抽象化し、動作の確認に応用している。
【0006】
【非特許文献1】
T.Masuko,K.Tokuda,T.Kobayashi and S.Imai:“Speech synthesis from HMMs using dynamic features,”Proceedings of International Conference on Acoustics,Speech,and Signal Processing,pp.382-392,1996.
【0007】
【非特許文献2】
K.Ogawara,J.Takamatsu,H.Kimura and K.Ikeuchi:“Modeling Manipulation Interactions by Hidden Markov Models,”Proc.of 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems,pp.1096-1101,2002.
【0008】
【非特許文献3】
山根克,中村仁彦.ヒューマンフィギュアの全身運動生成のための協応構造化インターフェース.日本ロボット学会誌,Vol.20,No.3,pp.335-343,2002.
【0009】
【非特許文献4】
松本吉央,稲葉雅幸,井上博允.ビューベーストアプローチに基づく移動ロボットナビゲーション.日本ロボット学会誌,Vol.20,No.5,pp.506-514,2002.
【0010】
【非特許文献5】
Tetsunari Inamura,Iwaki Toshima,and Yoshihiko Nakamura.Acquisition and embodiment of motion elements in closed mimesis loop.In the Proc.of IEEE Int’l Conf.on Robotics & Automation,pp.1539-1544,2002.
【0011】
【非特許文献6】
高根芳雄.多次元尺度法.東京大学出版会,1980.
【0012】
【非特許文献7】
Merlin Donald.Origins of the Modern Mind.Harvard University Press,Cambridge,1991.
【0013】
【非特許文献8】
稲邑哲也,中村仁彦.教示者と学習者の身体差を吸収するミラーニューロンモデル.第20回日本ロボット学会学術講演会予稿集,p.3H18,2002.
【0014】
【発明が解決しようとする課題】
しかしながら、上記した従来の方法では、以下のような問題がある。
【0015】
(1)上記非特許文献1の方法では、音声の特徴パラメータとして、ある時刻における特徴量とその1階微分係数および2階微分係数という3種類のパラメータの組を採用する必要があり、ヒューマノイドの運動データのように汎用なものには応用できないという問題がある。
【0016】
(2)上記非特許文献2の方法では、運動の再現には隠れマルコフモデルを用いていない。
【0017】
また、代表的な運動を組み合わせて新しい運動を生成する手法として、ヒューリスティクスに基づく手法はいくつか存在するが、パラメトリックに扱う手法は存在していない。
【0018】
本発明は、上記状況に鑑みて、隠れマルコフモデル(HMM)によって抽象化された対象の運動の時系列データを再現することができる、隠れマルコフモデルによる運動データの認識・生成方法、それを用いた運動制御方法及びその制御システムを提供することを目的とする。
【0019】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔1〕隠れマルコフモデルによる運動データの認識・生成方法において、
(a)人間の一連の動作を提供する第1のステップと、前記人間の一連の動作を観察する第2のステップと、前記人間の一連の動作の角度データ(レベル)を取得する第3のステップと、動作エレメント(θ,Σ)を挿入する第4のステップと、動作シーケンス(レベル)を取得する第5のステップと、隠れマルコフモデルを使用する第6のステップと、原始シンボルを取得する第7のステップと、コミュニケーション概念を形成する第8のステップとを有する運動データの認識過程と、
(b)この運動データの認識過程とは逆に、形成されたコミュニケーション概念を用いる第9のステップと、前記形成されたコミュニケーション概念から原始シンポルを取得する第10のステップと、前記隠れマルコフモデルを使用する第11のステップと、前記隠れマルコフモデルを使用し、動作シーケンス(レベル)を取得する第12のステップと、動作エレメント(θ,Σ)を挿入する第13のステップと、対象の動作の角度データ(レベル)を取得する第14のステップと、前記得られた対象の動作の角度データ(レベル)を具現化する第15のステップと、前記得られた対象の運動制御を行う第16のステップとを有する運動データの生成過程と、を施すことを特徴とする。
【0020】
以下の過程(a)~(e)を有するレフト・トォ・ライト型の隠れマルコフモデルを用いたヒューマノイド運動データの認識・生成方法において、
(a)一番左の状態ノードから開始し、次に遷移する状態ノードを状態遷移行列aを用いて確率的に決定し、遷移を繰り返して、一番右の状態ノードに到達した段階で状態遷移列qN-1 を保存して生成試行を終了し、この状態遷移列の生成をN回繰り返してサンプリングする、ここで、状態遷移列の長さは生成試行ごとに異なるため、時間軸方向に伸縮させることで状態遷移列の長さを同一にした後、平均を取って代表的な状態遷移列qN を求める、状態遷移列候補の計算過程と、
(b)上記(a)の計算で求めた状態遷移列qから出力されるベクトル列OKTを求める、つまり、状態遷移する際に出力されるベクトルOKTは、各状態ノードに割り振られている確率密度分布関数に従って確率的に決定され、このベクトル生成を一つの状態遷移列qに対してM回行い、そのM個のベクトル列を各時刻において平均することで、代表となるベクトル列Oを計算する、出力ベクトル列の計算過程と、
(c)状態遷移列qはN個の状態遷移列qから生成されているので、出力ベクトル列Oを求める計算がN回繰り返され、N個の出力ベクトルはそれぞれ異なる時間長さを持っているので、上記(a)の方法と同じ方法で時間長さを統一し、平均し、最終的な出力ベクトル列uを求める、最終的な出力ベクトル列の計算過程と、
(d)隠れマルコフモデル間の類似度をKullback-Leibler情報量を用いて評価し、この値に基づいて多次元尺度法で空間を構成し、この空間上で二つの動作を表す点の内分点を取り、この内分点に相当する隠れマルコフモデルを求め、該隠れマルコフモデルから運動を生成すると二つの動作が内分されたような運動を生成する、隠れマルコフモデルの空間への配置過程とを有し、
(e)上記〔1〕に記載の運動データの認識過程と運動データの生成過程を前記隠れマルコフモデルのみによって統合するようにしたものである。
【0021】
〕上記〔〕記載の隠れマルコフモデルによる運動データの認識・生成方法であって、前記隠れマルコフモデルから最も可能性が高く観測される前記状態遷移列と出力ベクトル列を求める際に、確率的なサンプリング試行を数回行うことによって運動データを生成させるようにしたものである。
【0022】
〕上記〔〕記載の隠れマルコフモデルによる運動データの認識・生成方法であって、並列計算させることによって、一回のサンプリング試行と同じオーダーの計算時間で運動データを生成させるようにしたものである。
【0023】
〔5〕運動データの認識・生成システムの運動制御方法であって、上記〔〕記載の隠れマルコフモデルによる運動データの認識・生成方法に基づくシンボル操作を用いるようにしたものである。
【0024】
〔6〕ヒューマノイドロボットシステムであって、上記〔〕記載の隠れマルコフモデルによる運動データの認識・生成方法に基づくシンボル操作を用いた運動データの認識・生成システムの運動制御方法によって制御するようにしたものである。
【0025】
〔7〕上記〔6〕記載のヒューマノイドロボットシステムであって、隠れマルコフモデルパラメータを用いてヒューマノイドにおける全身の運動情報を、少数の前記隠れマルコフモデルパラメータから復元し、自然な運動を再現するようにしたものである。
【0026】
〕コンピュータ・グラフィックスキャラクターの動作生成エンジンシステムであって、上記〔〕記載の隠れマルコフモデルによる運動データの認識・生成方法に基づくシンボル操作を用いた運動データの認識・生成システムの運動制御方法を用いて制御するようにしたものである。
【0027】
〔9〕上記〔1〕記載の隠れマルコフモデルによる運動データの認識・生成方法において、連続分布型隠れマルコフモデルによるキーフレーム表現を行う過程と、前記連続分布型隠れマルコフモデルからの時系列データ再現を行う過程とを有することを特徴とする。
【0028】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【0029】
まず、本発明の概略的な説明を行う。
【0030】
各プロセスの詳細な説明は、後述する具体例1~3で行う。
【0031】
図1は本発明にかかる隠れマルコフモデルによる運動データの認識・生成システムの概略構成図、図2はその運動データを認識するための人間の6種類の動作例を示す図、図3はその運動データに基づくデータの生成結果を示すヒューマノイドロボットの6種類の動作例を示す図である。
【0032】
まず、隠れマルコフモデルによる運動データの認識について説明する。
【0033】
図1に示すように、まず、人間の一連の動作(1)(例えば、図2参照)を観察(2)する。そこで、その人間の一連の動作(1)の角度データ(レベル)を取得(3)する。次に、動作エレメント(θ,Σ)を挿入(4)し、動作シーケンス(レベル)を取得(5)する。次に、隠れマルコフモデルを使用(6)し、原始シンボルを取得(7)する。そこで、コミュニケーション概念を形成(8)する。
【0034】
次に、隠れマルコフモデルによる運動データの生成について説明する。
【0035】
上記した運動データの認識の過程とは逆に、形成されたコミュニケーション概念(8′)から原始シンボルを取得(7′)し、隠れマルコフモデルを使用(6′)し、動作シーケンス(レベル)を取得(5′)する。次いで、動作エレメント(θ,Σ)を挿入(4′)し、対象の動作の角度データ(レベル)(3′)を取得する。次いで、その得られた対象の動作の角度データ(レベル)を具現化(2′)し、対象の運動制御(1′)(例えば、図3参照)を行う。
【0036】
ここで、人間の一連の動作の観察データ及び対象の運動制御データは、入力インタフェース13を介してコンピュータ10のメモリ12に取り込まれる。なお、図1において、11は中央処理装置(CPU)、14は出力インタフェースである。
【0037】
このようにして得られたデータを更に動作エレメント(θ,Σ)、隠れマルコフモデルとして利用することにより、対象の運動制御の円滑化、正確化の更なる発展を期することができる。
【0038】
図4は本発明にかかるレフト・トゥ・ライト型の隠れマルコフモデルを用いたヒューマノイド運動の模式図である。
【0039】
まず、一般的な計算手順について説明する。
【0040】
(1)状態遷移列候補の計算(ステップS1)
一番左の状態ノードから開始し、次に遷移する状態ノードを状態遷移行列aを用いて確率的に決定する。遷移を繰り返して、一番右の状態ノードに到達した段階で状態遷移列qN-1 を保存し、生成試行を終了する。この状態遷移列の生成をN回繰り返してサンプリングする。状態遷移列の長さは生成試行ごとに異なるため、時間軸方向に伸縮させることで状態遷移列の長さを同一にした後、平均を取って代表的な状態遷移列qN を求める。
【0041】
(2)出力ベクトル列の計算(ステップS2)
上記の計算で求めた状態遷移列qから出力されるベクトル列OKTを求める。
【0042】
状態遷移する際に出力されるベクトルOKTは、各状態ノードに割り振られている確率密度分布関数に従って確率的に決定される。このベクトル生成を一つの状態遷移列qに対してM回行い、そのM個のベクトル列を各時刻において平均することで、代表となるベクトル列Oを計算する。
【0043】
(3)最終的な出力ベクトル列の計算(ステップS3)
状態遷移列qはN個生成されているので、出力ベクトル列Oを求める計算はN回繰り返される。N個の出力ベクトルはそれぞれ異なる時間長さを持っているので、ステップS1で説明した方法と同じ方法で時間長さを統一し、平均する。これを最終的な出力ベクトル列uとする。
【0044】
(4)隠れマルコフモデルの空間への配置(ステップS4)
隠れマルコフモデル間の類似度をKullback-Leibler情報量を用いて評価し、この値に基づいて多次元尺度法で空間を構成する。この空間上で二つの動作を表す点の内分点を取り、この内分点に相当する隠れマルコフモデルを求め、その隠れマルコフモデルから運動を生成すると二つの動作が内分されたような運動が生成される。
【0045】
ステップS1~ステップS3の計算方法は、非特許文献1のように繰り返し計算を行うのではなく、サンプリングを行うことで目的のベクトル列を計算するものであるため、もし各サンプリング処理が別々のCPUまたは計算機で行われるならば、全体の計算時間は一回のベクトル列の生成にかかる時間と同じになり、計算時間の短縮が実現される。
【0046】
したがって、十分な数のCPUまたは計算機がある計算機環境の場合には、サンプリング処理を並列に行うことによって計算時間を最短化することができる。
【0047】
また、非特許文献1の計算方法は、メルケプストラム係数とその1階微分、2階微分のパラメータの組であるような音声パラメータの場合にのみ有効な計算方法であるが、本発明の隠れマルコフモデルによる運動データの認識・生成方法、それを用いた運動制御方法及びそのシステムにおいては、出力ベクトルに任意の物理パラメータを採用することが可能であるため、音声データだけではなく、汎用性のある運動データも適応可能である。
【0048】
以下、本発明の実施例について詳細に説明する。
【0049】
(具体例1)
ここで、連続分布型隠れマルコフモデルを用いた時系列キーフレームの抽出とそこからの時系列データの再現を同じ数理モデルで実現する方法について述べる。
【0050】
ヒューマノイドのように大自由度を持つロボットの運動データや動画像を扱う場合、記憶容量のコストを削減するため、少ないパラメータで圧縮された記憶表現と再現手法が求められる。しかし、単なる符号化と復号化では、容量コストに対処することはできても、時系列データの認識や生成に必要なコストを考慮したことにはならない。すなわち、記憶表現を抽象化された表現とすることなく、物理的な状態を保有したまま情報量を圧縮することがロボットにとって有利な表現形態となる。
【0051】
その運動の物理的な特徴を保有した圧縮表現であると考えられるのは、運動データをある瞬間で切り取った「キーフレーム」と呼ばれる表現である。
【0052】
これはコンピュータ・グラフィックス(CG)において動画像を実現するための基本的な手法で、時間とともに変化する対象の特徴的な瞬間をキーフレームとして捉え、これを時系列方向に重ね合わせることで全体の運動を再現する手法であり、近年はロボットの運動制御にも積極的に使われている(上記非特許文献3参照)。また、運動の認識にも親和性が高い表現形態である。
【0053】
しかしながら、キーフレームの抽出基準は明確になっておらず、CGの分野ではアニメータの技術に依存している状態である。例えば、移動ロボットにおけるナビゲーションタスクを対象にして、動画像からキーフレームを自動的に抽出する研究例(上記非特許文献4参照)も存在するが、前後するフレームとの識別可能性が基準となっており、動画像を再現することは考慮されていない。
【0054】
そこで、本発明では、キーフレームを自動的に抽出する枠組みと、そのキーフレーム表現から時系列データを再現する枠組みを同時に実現するような統一的な数理モデルを提案する。
【0055】
以下、連続分布型隠れマルコフモデルによるキーフレーム表現とその再現について説明する。
【0056】
〔1〕連続分布型隠れマルコフモデルによるキーフレーム表現
図5は本発明にかかる連続分布型隠れマルコフモデルと運動シーケンスの模式図、図6は本発明の実施例を示すヒューマノイドロボットのシステム模式図である。
【0057】
まず、実施例としてのヒューマノイドロボットシステムについて説明する。
【0058】
図6において、21は隠れマルコフモデルに基づく運動認識・生成モジュール、22はヒューマノイドロボット用ホストコンピュータ、23はモータードライバー、24はヒューマノイドロボットの関節に配置されるDCモーター、25はヒューマノイドロボット、26はDCモーター24に配置されるエンコーダである。
【0059】
この図において、本発明により得られる隠れマルコフモデルに基づく運動認識・生成データは、隠れマルコフモデルに基づく運動認識・生成モジュール21からヒューマノイドロボットの各関節角度の値が〔例えば、33(ms)の周期で〕逐次、ヒューマノイドロボット用ホストコンピュータ22へ出力される。このヒューマノイドロボット用ホストコンピュータ22から出力されるヒューマノイドロボットの各関節角度指令値(デジタル信号もしくは電圧などのアナログ信号)がモータードライバー23に設定される。このモータードライバー23からはPWM(パルス幅変調信号)がヒューマノイドロボットの関節に配置されるDCモーター24へ供給され、関節が設定された指令値(角度)になるように動作する。つまり、ヒューマノイドロボット25が運動する。そのDCモーター24の出力はエンコーダ26からの出力信号(各関節角度観測値)としてモータードライバー23に帰還する。つまり、ヒューマノイドロボットの各関節角度が設定値になるようにフィードバック制御される。
【0060】
図5に戻って説明すると、連続分布型HMMは状態の有限集合Q={q1 ,…,qN },ノードqi からqj へ状態が遷移する確率aijの集合である状態遷移確率行列A={aij},ノードqi においてベクトルxを出力する確率分布bi (x)の集合B,初期状態確率分布π={πi }、以上の4項組λ={Q,A,B,π}で表される。図5に示したように、HMMは確率的に状態遷移を繰り返しながら、ベクトルを出力し、最終的には時系列データを出力することになる。出力確率分布bi (x)は次のようにM個のガウス分布の線形結合で表される。
【0061】
【数1】
JP0004027838B2_000002t.gif ただし、cijは結合係数、μとΣはそれぞれガウス分布の平均ベクトルと分散行列である。ここで、平均μの次元は対象となる時系列データの次元と等しく、時系列データのある瞬間におけるパターンとして捉えることができる。特に、この平均μは、HMMの出力すべきベクトルの平均値であることから、時系列データにとって何らかの特徴を捉えたベクトルであることが予想される。
【0062】
そこでキーフレームu={μ,Σ}と定義する。
【0063】
ここで使用するHMMはレフト・トゥ・ライト型の隠れマルコフモデルであるため、ノードのネットワーク構造は不変である。また初期状態のノードは常にq1 であるため、HMMのパラメータ{Q,A,B,π}のうち{A,B}の中に、時系列データを出力するダイナミクスが表現されていると考えられる。この二つのパラメータA,BはEMアルゴリズム確率モデルのパラメータ推定アルゴリズムで獲得される。
【0064】
以上の方法で、隠れマルコフモデルを用いたキーフレームの抽出が可能となった。
【0065】
〔2〕連続分布型隠れマルコフモデルからの時系列データ再現
逆にキーフレーム表現から元の運動の時系列データを再現する際には、単純な補完を行うのではなく、HMMが保持しているダイナミクスを用いて正確なデータを再現する。通常、一回の確率的データ生成試行を行うと、確率的なゆらぎのため運動の周期が異なり、生成される関節角度にもノイズが大きく含まれる。この問題は、以下のような方法で複数回の生成試行の平均をとることで解消させることができる。
【0066】
(ステップS11)遷移確率に従って状態間を遷移させ状態遷移列Qを得る。
【0067】
(ステップS12)ステップS11をnq 回繰り返しQ1 ,…,Qm を得る。
【0068】
それらの平均を取って状態遷移列の平均QM を得る。
【0069】
(ステップS13)状態遷移列の平均QM に従って各状態ノードから出力ベクトルを出 力させ、出力時系列パターンOを得る。
【0070】
(ステップS14)ステップS11~ステップS13をn回繰り返して出力時系列パ ターンO1 ,…On を得る。それらの平均をとって最終的な出力時 系列パターンOM を得る。
【0071】
ただし、nq ,no の値は実験的に定める。
【0072】
〔3〕上記の〔1〕、〔2〕を用いた応用例
(1)運動の模倣モデルへの応用
ミメシス理論に基づく運動模倣のモデル(具体例2として後述)における枠組みでは、運動の最中の離散的な姿勢情報が運動要素として抽出され、その組み合わせとして元の運動を復元することで模倣運動を行う。
【0073】
図7に本発明にかかる関節角度を対象とした時系列データの再現結果を示す。グラフは全身の関節角のうち1次元分のデータを示している。この図から分かるように、一回の生成試行(一点鎖線)では正しい時系列データが生成されていないが、平均化(実線)を行うことで元のデータ(点線)とほぼ同等のデータを再現していることが分かる。
【0074】
(具体例2)
隠れマルコフモデルによって抽象化された運動間の関係を記述する原始シンボル空間の構成について説明する。
【0075】
本発明者らはこれまでに、隠れマルコフモデルを用いた運動模倣と原始シンボルの創発の統合モデルを提案してきた(上記非特許文献5参照)。しかしこの原始シンボルは時系列パターンを抽出する能力は持つが、その原始シンボルを組み合わせたり再構成することによって、より上位の複雑な運動パターンに対応するようなシンボル操作を行うことができなかった。ここでは、シンボル操作を行うための数理的手法の基礎として幾何学的シンボル操作に注目し、それを可能とする原始シンボル空間を構成する。
(1)隠れマルコフモデル間の隔たりの評価
空間を構成するには距離情報が必要となるが、ここで扱っているHMMは確率モデルであるため、距離を定義することができない。そこでKullback-Leibler情報量を用いてHMM間の「隔たり」を表現する。Kullback-Leibler情報量は、二つの確率分布関数p1 ,p2 の間に
【0076】
【数2】
JP0004027838B2_000003t.gifのように定義される量である。これをHMMに適用する場合には、二つのHMMパラメータをλ1 、λ2 として、以下のような定義となる。
【0077】
【数3】
JP0004027838B2_000004t.gif ただし、y1 はλ1 を学習する際に使用した時系列データ、nは観測された運動パターンの数、Tn は各運動パターンの長さである。しかしこの量はD(λ1 、λ2 )≠D(λ2 、λ1 )となり対称性が無いため、実際には以下の式が使用される。
【0078】
【数4】
JP0004027838B2_000005t.gif (2)多次元尺度法を用いた空間配置
上記した原始シンボル間の隔たり量をもとに、原始シンボルを空間に射影するために多次元尺度法を用いる。これは、対象間の類似度に関するデータが与えられた時に、その対象の空間上での位置関係を再現する手法である(上記非特許文献6参照)。
【0079】
データとして与えられる対象iと対象jの間の距離をfijと表し、この距離fijに基づいてn個の対象を空間に射影する。射影された対象iの空間での位置ベクトルをxとし、対象間の空間上での距離をdij(dij2 =|xi -xj 2 )とおいた時、多次元尺度法は次式のようにfijとdijの誤差をxに関して最小化する問題に帰着する。
【0080】
【数5】
JP0004027838B2_000006t.gif しかし上記式(5)は、xの多項式で表せないため最小二乗法が簡単に適用できない。そこで、
【0081】
【数6】
JP0004027838B2_000007t.gifのような式を用いる。
【0082】
(3)原始シンボル空間におけるシンボル操作
(a)原始シンボル空間での運動認識
原始シンボル空間を構成している基本的な6種類の運動以外の未知の運動データを認識するプロセスについて考える。
【0083】
観測された未知の運動パターンに対するHMMを求めることができたと仮定してそのパラメータをλS とすると、既存の原始シンボルパラメータλ1 ,…,λN とλS のKullback-Leibler情報量を計算することによって、原始シンボル空間上でのλS の状態点が求められる。原始シンボル空間上でのλS の点をxS 、各パラメータλi の空間上での点をxi として、空間における距離d(xi ,xS )とKullback-Leibler情報量Ds(λi ,λS )との誤差が最小となるように、xS を求める。
【0084】
このような原始シンボル上での幾何学的操作によって、運動の認識結果を原始シンボル空間上での状態点として表現可能となり、未知の運動を既知の基本運動の組み合わせとして認識することが可能となる。
【0085】
(b)原始シンボル空間での運動生成
次に、二つの基本運動が混合しているような運動を新しく生成するための原始シンボル操作について考える。
【0086】
この基本運動の組み合わせを原始シンボル空間上で解釈すると、二つの状態点を結ぶ線分の内分点に相当する運動を生成することと同等となる。HMMλ1 ={aij(1) ,bi (1) (y)}とλ2 ={aij(2) ,bi (2) (y)}で抽象化されている運動の状態点をα:(1-α)の比で内分する状態点に対応するHMMのパラメータλS ={aijS ,bi (x)S }を以下のように定義する。
【0087】
【数7】
JP0004027838B2_000008t.gif 最終的にλS から上記した〔1〕の連続分布型隠れマルコフモデルによるキーフレーム表現に基づいて運動データを生成する。
【0088】
(4)シンボル操作実験
(a)原始シンボル空間の形成実験
以上までに述べた原始シンボル空間の構成法の有効性を確かめるために、モーションキャプチャシステムを用いて計測した“walk”,“stretch”,“kick”,“squat”,“throw”,“stoop”の6種類の運動に対する原始シンボル空間の生成実験を行った。結果として、図8に示すような空間と原始シンボルの状態点を得た。
【0089】
原始シンボル空間の次元として10次元の空間を用意し、多次元尺度法を用いたが、4~10次元目の成分は使用されることが無く、図8に示すように、3次元目までの主成分で十分表現可能であることが分かった。
【0090】
(b)運動認識と生成実験
未知の運動を既知の運動の組み合わせとして認識する実験を行った。「蹴りながら投げる(kick+throw)」「歩きながら手を挙げる(walk+stretch)」という未知の運動を原始シンボル空間に射影したところ、図9に示したように、二つの基本運動の中間点に状態点が現れた。この結果から提案した本発明の手法の有効性が示される。
【0091】
次に、既知の基本運動を組み合わせた新しい運動の生成実験を行った。図10にwalkとkickの中間的な運動を生成させた結果を示す。図の横軸は時間、縦軸は右股関節のピッチ軸の関節角度を示している。二つの基本運動の混合率αを徐々に変化させることで生成される運動が、モーフィング効果のように変化していく様子が分かる。このように、原始シンボル空間での幾何学的シンボル操作が、運動パターンの操作に有効であることが示された。
【0092】
図11は本発明の実施例を示す原始シンボル空間における状態列からの新しい運動生成の概要を示す図である。
【0093】
ここでは、さらに原始シンボル空間において状態遷移列における運動生成を行うことができる。
【0094】
状態遷移をx〔1〕,x〔2〕,…,x〔n〕(図11(a)参照)とすると、固定された状態点が原始シンボル空間において与えられた場合の生成方法が上記されているので、状態遷移点による列生成は、これらの状態点から生成された運動の平均と同じとなる。
【0095】
図11を用いて説明すると、
図11(a)、(b)で、原始シンボル空間において、〔1〕の連続分布型隠れマルコフモデルによるキーフレーム表現で上記した方法で個々の状態点から運動パターンを生成する。
【0096】
図11(c)で、得られた運動パターンを合成するために、全ての運動パターンの時間長さを同じ値Tc にセットする。
【0097】
図11(d)、(e)で、部分的運動パターンが、個々の状態点の位相情報に基づいて選択される。つまり、個々の状態点に時間の長さをチャージする。
【0098】
最後に図11(f)で、合成された運動パターンが生成される。
【0099】
このように、本発明の原始シンボル空間を用いると、抽象化された空間での幾何学的なシンボルの操作によって、運動パターンの操作が可能である。
【0100】
本発明の実験では、二つの運動が同時に行われているという運動パターンに対する原始シンボル空間でのシンボル操作について述べた。上記した例では状態点は静止しているが、実際にはシンボル空間においても動的に認知プロセス、生成プロセスが行われるため、状態点が時間とともに遷移する場合にも対応する必要がある。この場合のシンボル操作法については、以下の具体例3で述べる。
【0101】
(具体例3)
次に、ミメシスの数学モデル:隠れマルコフモデルを用いた階層的原始シンボル空間における運動の認識と生成について説明する。
【0102】
発達心理学の分野でミメシスという理論が注目されている(上記非特許文献7参照)が、これは見まねを通じたコミュニケーションがシンボル操作などの高度な知能の根源であるとする理論である。このミメシス理論に注目し、見まねを通じてシンボルを獲得してそれらを操作することで全身運動を行うヒューマノイドの知能構築の研究が行われている(上記非特許文献8参照)。
【0103】
具体例3においては、運動を原始シンボルとして抽象化した際に、運動間が持っている類似性などの情報を保有するような原始シンボル空間を構築し、原始シンボル空間を利用したシンボル操作を提案した。ここでいうシンボル操作とは、原始シンボル空間の幾何学を利用することで複数の運動が同時に行われる運動を認識・生成する操作である。
【0104】
ここではこのシンボル操作を拡張し、時間とともに複数の運動間を移り変わる運動を認識・生成するシンボル操作のための数学モデルを提案する。
【0105】
(1)原始シンボル空間を用いた階層型ミメシスモデル
(a)システムの概要
原始シンボル空間上の状態点の遷移を利用して運動間の遷移を表現し、それらを用いてミメシスモデルを階層構造にすることでシンボル操作を実現する。
【0106】
具体例1,2のモデルにおいては、運動を隠れマルコフモデルを用いて抽象化することで原始シンボルとした。ここでは同等の数学的手法を用いて階層構造を構築する。
【0107】
本発明にかかる階層型ミメシスモデルの概要を図12に示す。観察した運動から原始シンボル空間上の状態点の遷移を得る。原始シンボル空間上の状態点の遷移は原始シンボル間の遷移、つまり運動間の遷移を表している。この運動間の遷移をHMMを用いて抽象化することで複雑な運動の記憶・認識を行う。原始シンボル空間上の状態点の遷移を抽象化する際には、運動を原始シンボルとして抽象化する数学的手法と同様の方法を用いる。この運動間の遷移を抽象化したものを、原始シンボルの上位の概念という意味でメタ原始シンボルと呼ぶ。
【0108】
逆にメタ原始シンボルから原始シンボル空間上の状態点の遷移を生成し、その遷移を関節角の時系列データに変換することで運動の生成を行う。また、原始シンボル空間上の状態点の遷移を幾何学的シンボル操作によって人工的に用意することでも原始シンボルの組み合わせによって運動を生成することができる。
【0109】
(b)原始シンボル空間を用いた運動の認識・生成
関節角度の時系列データから原始シンボル空間上の状態点の遷移を得るプロセスの概要を図13に示す。観察した関節角度oi の時系列データO={o1 ,o2 ,…,oT }から長さTspanの部分に注目する(ステップS21)。注目した部分をO1 ={o1 ,o2 ,…,oTspan+1 }と表す。O1 を上記した方法を用いて原始シンボル空間の状態点として射影する(ステップS22)。
【0110】
この注目する部分をTstepずつずらしていく。k番目に注目する部分Ok ={o1+(k-1)・Tstep ,…,o1+Tspan+(k-1)・Tstep }をk=1,2,…,{〔(T-1-Tspan)/Tstep 〕+1}と少しずつずらしながら随時射影していくことで、関節角度の時系列データから運動の遷移の様子を表す原始シンボル空間上の状態点の遷移を得ることができる(ステップS23)。
【0111】
原始シンボル空間上の状態点の遷移から運動を生成するには、この逆のプロセスをたどる。この運動生成プロセスの概要を図14に示す。原始シンボル空間上の各状態点から具体例1の方法で運動を生成する(ステップS31)。時系列データに沿って各状態点から運動を生成し(ステップS32)、少しずつずらしながら合成していくことで、原始シンボル空間上の状態点の遷移から関節角の時系列データを得ることができる(ステップS33)。
【0112】
(c)階層型ミメシスモデルを用いた運動の認識・生成の実験
これまで述べたシステムで実際の運動を観察し、運動の認識・生成を行った。実験の前提として、walk,kick,squat,stoop,stretch,throwの原始シンボルと、それらを配置した10次元の原始シンボル空間を事前に用意した。walkした後にkickするという運動を観察し、この運動を原始シンボル空間の状態点の遷移として認識した結果を図15に示す。図15の各軸はそれぞれ原始シンボル空間の主要な3次元を示している。この図から、原始シンボル空間上をwalkから徐々にkickへ遷移していくのが分かる。
【0113】
次に“walk”の状態点から“kick”の状態点へ引いた線分に対応する状態点の系列から、運動を生成した結果を図16に示す。観察した運動と同様に、walkした後にkickするという運動が滑らかに生成されているのが確認できる。
【0114】
以上の実験により、観察した運動を原始シンボル空間上の状態点の遷移に変換することで、運動間の遷移を認識することができ、また原始シンボル空間上の状態点の遷移から運動を生成することで、既知の運動を任意に組み合わせた運動を生成できることが確認された。
【0115】
この具体例3では、原始シンボル空間を用いた階層型ミメシスモデルを提案した。原始シンボル空間を用いることにより、原始シンボルを操作し、より複雑な運動の認識・生成が実現できることを確認した。原始シンボル空間上の状態点の遷移は、人間の意図の遷移を示していると考えられる。原始シンボルは関節角度のダイナミクスを抽象化したものに過ぎなかったが、本具体例のメタ原始シンボルは人間の意図のダイナミクスを抽象化したものといえる。
【0116】
今後、階層構造を重ねることでより高次なシンボル操作へと発展するものと考える。階層構造を重ねるにあたっては、メタ原始シンボルを再帰的に抽象化しつつ、階層の数が発散しないようなモデルを考えている。
【0117】
上記したように、本発明によれば、隠れマルコフモデルパラメータで抽象化された運動の時系列データを再現することが可能となり、ヒューマノイドの運動認識と運動生成を統一的に扱うことが可能となる。
【0118】
使用手順は以下の通りである。
【0119】
(1)代表的な運動についての隠れマルコフモデルを獲得し、抽象化されたシンボルを空間に配置させる。
【0120】
(2)生成させたい運動を代表的な運動の組み合わせとして表現し、その組み合わせの操作を空間上での幾何学的な操作として解釈し、組み合わせ結果となる空間上での点を求める。
【0121】
(3)空間上での点に相当する隠れマルコフモデルを求める。
【0122】
(4)求められた隠れマルコフモデルから運動データを復元する。
【0123】
(5)初期関節値、関節速度を設定する。
【0124】
(6)計算をスタートする。計算中には時々刻々の関節トルクを入力する。
【0125】
(7)1回の計算が終了すると、積分刻み幅分だけ進んだ時刻における状態が計算されるので、それらのデータを適宜取り出して運動制御などに利用する。
【0126】
隠れマルコフモデルによる時系列データの表現方法は、時系列データを少ない数のパラメータで圧縮して表現する方法であるとも解釈できる。これを延長させて考えると、本発明の方法は圧縮された時系列データをパラメータから復元するプロセスであると解釈できるため、時系列データの圧縮/復元が可能となる効果がある。
【0127】
また、この圧縮と復元の関係は、認識と想起の関係にも対応しており、記憶に基づく模倣に応用可能である。また、音声パラメータに限定されず、運動データや各種の時系列データに対して応用することが可能であり、ヒューマノイドロボット、人間やロボットのCG(コンピュータ・グラフィックス)キャラクタの動作生成エンジンなどへの適用が考えられる。
【0128】
上記したように、本発明によれば、従来技術を凌駕する以下のような特徴点を有する。
【0129】
(1)運動認識と運動生成を隠れマルコフモデルのみによって統合する。
【0130】
(2)原始シンボル表現は運動パターンのダイナミクス情報を含む。
【0131】
(3)単一の隠れマルコフモデルは、シンボル表現のような抽象化に有利であり、その点を巧みに用いている。
【0132】
(4)ダイナミクス表現にもシンボル表現にも有利な隠れマルコフモデルを、運動認識と運動生成に適合させている。
【0133】
(5)シンボル表現を操作しやすいようにしている。つまり、本発明の遷移レべルでは、それぞれのシンボル間の関係はトークン(token)コンビネーションとして発展し、それぞれの運動間の関係も作られ始める。引いては、シンボル間の論理的関係と運動パターン間の物理的関係とが結合される。
【0134】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【0135】
【発明の効果】
以上詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【0136】
(A)運動パターンの認識、生成に一般的かつ有効な方法を与えるのみならず、階層化によるシンボルの生成とその操作に関わる基本的技術を提供することができる。
【0137】
(B)キーフレームを自動的に抽出する枠組みと、そのキーフレーム表現から時系列データを再現する枠組みを同時に実現するような統一的な数理モデルを提供することができる。
【0138】
(C)運動をシンボルとして抽象化し模倣を行うモデルへ応用することが可能となる。
【0139】
(D)この隠れマルコフモデルをシンボルの原始的な表現形態と見立てて時系列パターンをシンボル空間に抽象化することができる。
【0140】
(E)そのシンボル空間におけるシンボル操作から運動を認識し生成することができる。
【図面の簡単な説明】
【図1】 本発明にかかる隠れマルコフモデルによる運動データの認識・生成システムの概略構成図である。
【図2】 運動データを認識するための人間の6種類の動作例を示す図である。
【図3】 運動データに基づくデータの生成結果を示すヒューマノイドロボットの6種類の動作例を示す図である。
【図4】 本発明にかかるレフト・トゥ・ライト型の隠れマルコフモデルを用いたヒューマノイド運動の模式図である。
【図5】 本発明にかかる連続分布型隠れマルコフモデルと運動シーケンスの模式図である。
【図6】 本発明の実施例を示すヒューマノイドロボットのシステム模式図である。
【図7】 本発明にかかる関節角度を対象とした時系列データの再現結果を示す図である。
【図8】 本発明にかかる原始シンボル空間構築の結果を示す図である。
【図9】 本発明にかかる未知の運動の認識結果を示す図である。
【図10】 本発明にかかるwalkとkickの中間的な運動を生成させた結果を示す図である。
【図11】 本発明の実施例を示す原始シンボル空間における状態列からの新しい運動生成の概要を示す図である。
【図12】 本発明にかかる階層的ミメシスモデルの概要を示す図である。
【図13】 本発明にかかる関節角度の時系列データから原始シンボル空間上の状態点の遷移を得るプロセスの概要を示す図である。
【図14】 本発明にかかる運動生成プロセスの概要を示す図である。
【図15】 本発明にかかる原始シンボル空間における運動の認識の結果を示す図である。
【図16】 本発明にかかる原始シンボル操作により運動を生成した結果を示す図である。
【符号の説明】
1 人間の一連の動作
1′ 対象の運動制御
2 人間の一連の動作の観察
2′ 人間の動作の角度データ(レベル)の具現化
3,3′ 人間の動作の角度データ(レベル)の取得
4,4′ 動作エレメント(θ,Σ)の挿入
5,5′ 動作シーケンス(レベル)の取得
6,6′ 隠れマルコフモデルの使用
7,7′ 原始シンボルの取得
8 コミュニケーション概念の形成
8′ 形成されたコミュニケーション概念
10 コンピュータ
11 中央処理装置(CPU)
12 メモリ
13 入力インタフェース
14 出力インタフェース
21 隠れマルコフモデルに基づく運動認識・生成モジュール
22 ヒューマノイドロボット用ホストコンピュータ
23 モータードライバー
24 ヒューマノイドロボットの関節に配置されるDCモーター
25 ヒューマノイドロボット
26 DCモーターに配置されるエンコーダ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15