TOP > 国内特許検索 > ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム > 明細書

明細書 :ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3816762号 (P3816762)
公開番号 特開2002-366927 (P2002-366927A)
登録日 平成18年6月16日(2006.6.16)
発行日 平成18年8月30日(2006.8.30)
公開日 平成14年12月20日(2002.12.20)
発明の名称または考案の名称 ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム
国際特許分類 G06N   3/04        (2006.01)
G06F  17/18        (2006.01)
G06N   3/00        (2006.01)
FI G06N 3/04 F
G06F 17/18 Z
G06N 3/00 560Z
請求項の数または発明の数 12
全頁数 30
出願番号 特願2001-169464 (P2001-169464)
出願日 平成13年6月5日(2001.6.5)
審査請求日 平成15年8月18日(2003.8.18)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】辻 敏夫
【氏名】福田 修
個別代理人の代理人 【識別番号】100107010、【弁理士】、【氏名又は名称】橋爪 健
審査官 【審査官】永野 志保
参考文献・文献 福田修,ニューラルネットワークによる時系列脳波パターンの識別,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1997年 7月25日,第J80-D-II巻 第7号,p.1896-p.1903
福田修,ニューラルネットによる連続動作EMGパターンの識別,電気学会論文誌C,日本,社団法人電気学会,1997年 9月20日,第117-C巻 第10号,p.1490-p.1497
調査した分野 G06N 3/04
G06F 17/18
G06N 3/00
特許請求の範囲 【請求項1】
階層型ニューラルネットワークであって、
処理部が、入力ベクトルを入力し、前記入力ベクトルをH次元のベクトルX(t) (h=1,…,H) に非線形変換して出力する前処理手段と、
処理部が、前記前処理手段からのH次元のベクトルをそれぞれ入力し、ニューラルネットワークの各層の構成を表す式に関するデータを記憶した第1テーブルを参照し、次式の入出力関係で出力する複数の第1層のユニット{h}(h=1,…,H)と、
(1)(t)=X(t) (8)
(1)(t)=(1)(t) (9)
(ここで、(1)(t)と(1)(t)はh番目のユニットの入出力を表す。)
処理部が、重み係数を記憶した第2テーブルを参照し、前記第1層のユニットからの出力を重み係数wk’,k,m,hを介して入力し((2)k’,k,m(t))、前記第1テーブルを参照し、次式の入出力関係で出力する(2)k’,k,m(t))複数の第2層のユニット{c,k,k’,m}(c=1,…,C;k,k’=1,…,K;m=1,…,Mc,k)と
【数1】
JP0003816762B2_000026t.gif
(ただし、分析の対象とする事象はC個で、それぞれの事象c(c∈{1,…,C})はK個の状態から構成されているとき、は隠れマルコフモデルの状態数に対応するパラメータ、Mc,k事象c及び状態kに対応する混合ガウス分布モデルのコンポーネント数を表す。)
処理部が、前記第2層のユニット{c,k,k’,m}(m=1,…,Mc,k)の出力入力し、前記第1テーブルを参照し、前記入力に1時刻前の第4層のユニットの出力を乗じた値を次式の入出力関係で出力する複数の第3層のユニット{c,k,k’}と、
【数2】
JP0003816762B2_000027t.gif
処理部が、前記第1テーブルを参照し、入力(4)(t)と出力(4)(t)を次式の入出力関係で出力する複数の第4層のユニット{c,k}(k=1,…,K)と
【数3】
JP0003816762B2_000028t.gif
処理部が、前記第4層のユニットのKユニットの出力を入力し前記第1テーブルを参照し、次式の入出力関係で出力する複数の第5層のユニット{c}と、
【数4】
JP0003816762B2_000029t.gif
処理部が、前記第5層のユニットの出力を出力部に出力する又は記憶部に記憶する手段と
を備えたニューラルネットワーク。
【請求項2】
前記前処理手段は、入力されたd次元ベクトルの要素をH次元(H=1+d(d+3)/2)の値に非線形演算により変換し、
前記第1の層のユニットは、各入力ベクトル毎のH個のユニットを有し、
前記第2の層のユニットは、分析の対象とする事C(c=1,2,…,C)、各事を構成する隠れマルコフモデルの状態k(k=1,2,…,K)、1時刻前の該状態k’(k’=1,2,…,K)、及び、状態の事後確率を混合して表すガウス分布のコンポーネントm(m=1,2,…,Mc,k)毎のC×Kc×Kc×Mc,kのユニットを有し、
前記第3の層のユニットは、事数c、状態数k、1時刻前の状態数k’毎のC×K×K個ユニットを有し、
前記第4の層のユニットは、事数c及び状態数k毎のC×K個ユニットを有し、
前記第5の層のユニットは、前記事数c毎のC個のユニットを有する請求項1に記載のニューラルネットワーク。
【請求項3】
前記前処理手段は、
入力ベクトルx=[x,x,・・・,x ∈Rに非線形演算による前処理を施し、次のX ∈Rに変換することを特徴とする請求項1又は2に記載のニューラルネットワーク。
【数5】
JP0003816762B2_000030t.gif

【請求項4】
ニューラルネットワークの出力についての関数である評価関数Jは、学習時の時間変化が次式の学習則が成り立ち、評価関数Jが減少する方向に重みの差分を定めることを特徴とする請求項1乃至3のいずれかに記載のニューラルネットワーク。
dJ/dt=—ηJβ
(ここで、ηは学習率、βは0<β<1を満たす定数)
【請求項5】
ニューラルネットワークの出力についての評価関数Jに関して学習の終了時刻tから学習率ηを計算し、
これを次式に記入して学習を行なうことにより収束時間を指定することを特徴とする請求項1乃至4のいずれかに記載のニューラルネットワーク。
【数6】
JP0003816762B2_000031t.gif

【請求項6】
さらに、学習中に残りの学習時間t-tと評価関数Jを表示する出力部をさらに備えた請求項5に記載のニューラルネットワーク。
【請求項7】
処理部が、状態数k(k=1,2,…,K)、コンポーネント数m(m=1,2,…,Mc,k)、事数c(c=1,2,…,C)、入力信号数d、時系列信号長L、収束時間t、学習データ数Nの設定を行う機能と、
処理部が、ターミナルラーニングに基づき学習率ηを計算する機能と、
処理部が、学習回数T及び学習データ数Nに基づき、請求項1乃至6のいずれかに記載のニューラルネットワークにより前向き演算を実行する前向き演算機能と、
処理部は、重みwk’,k,m,hを含む学習結果を記憶部に記憶する機能と
を備えたニューラルネットワークシステム。
【請求項8】
生体信号が入力され、入力された生体信号に従い識別用データを抽出する特徴抽出部と、
前記特徴抽出部が抽出した識別用データに基づき、請求項1乃至6のいずれかに記載のニューラルネットワークにより前向き演算を実行するR-LLGMN演算部と、
前記R-LLGMN演算部の出力結果の中で最も高い若しくは低い値又は予め決められた閾値より高い若しくは低い値を示した事番号cを識別結果として選択する識別部と
を備えたニューラルネットワークシステム。
【請求項9】
前記R-LLGMN演算部は、
前記記憶部から学習終了時に出力された重みwk’,k,m,hを読み込む機能と、
前記記憶部又は前記識別部から識別用データを入力する機能と、
これら重み及び識別用データに基づき、前記前向き演算処理を実行する機能と
を備えた請求項8に記載のニューラルネットワークシステム。
【請求項10】
前記前向き演算機能では、
処理部は、時系列信号長Lを記憶部から読み出し、初期値として設定する機能と、
処理部が、時系列信号長Lが0以下になるまで、前記前向き演算を実行する機能と、
処理部は、演算結果である第5層の出力を記憶部に記憶する機能と
を備えた請求項7乃至9のいずれかに記載のニューラルネットワークシステム。
【請求項11】
前記特徴抽出部は、
生体信号として、脳波信号(EEG)を入力し、
識別用データとして、特定の周波数帯域のパワースペクトルの平均値を要素とするベクトルを抽出することを特徴とする請求項7乃至10のいずれかに記載のニューラルネットワークシステム。
【請求項12】
前記特徴抽出部は、
生体信号は、筋電位信号(EMG)を入力し、
識別用データとして、整流及び平滑後の振幅値を要素とするベクトルを抽出することを特徴とする請求項7乃至10のいずれかに記載のニューラルネットワークシステム。
発明の詳細な説明 【0001】
【発明の属する技術分野】
本発明は、ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラムに係り、特に、脳波や筋電位など生体信号のパターン認識システムに利用することができるニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラムに関する。
【0002】
【従来の技術】
Rumelhartら(文献[1]参照)([ ]内は後述の参考文献の番号を表す。)によって提案された誤差逆伝搬型ニューラルネットは任意の非線形写像を獲得できる強力な学習能力を備えており、さまざまなパターン識別問題に応用されている。しかしながら、対象とする問題によってはまだ多くの課題が残されている。例えば、学習対象の写像が複雑になるにつれて、膨大な教師信号数や学習時間、大きなネットワーク構造が必要になり、ローカルミニマムなどの課題も懸念される。
【0003】
このような課題を解決するための試みの1つに、学習対象に関して既知である特性をネットワークの構造として取り込むという方法がある(文献[2][3]参照)。この方法では結合荷重とネットワーク則に制約を科すことで、ニューラルネットを与えられた問題に適したように調節することが可能である。パターン識別問題に関しても、多くの研究者がニューラルネットと確率モデルの融合(文献[4]参照)を試みており、特に混合ガウス分布モデルを利用したニューラルネットが数多く提案されている(文献[5]-[11]参照)。
【0004】
混合ガウス分布モデルとは、複数のコンポーネントと呼ばれる確率分布の線形和によって母集団の分布を近似する方法で、各コンポーネントにはガウス分布を用いる(文献[12]参照)。この混合ガウス分布モデルに基づいたニューラルネットの開発はTraven(文献[5]参照),Perlovsky and Mc-Manus(文献[6]参照),Tsuji et al. (文献[7][8]参照),Jordan and Jacobs(文献[9]参照),Lee and Shimoji(文献[10]参照),Streit and Luginbuhl(文献[11]参照)によって行われている。特に本発明者(辻)らは混合ガウス分布モデルと対数線形モデルに基づいたLog-Linerized Gaus-sian Mixture Network(LLGMN)を提案し(文献[8]参照)、混合ガウス分布モデルに基づいて学習的に事後確率を推定する方法を示した。またこのLLGMNを用いて、複数の電極対によって計測した節電位(EMG)信号から、前腕と手の6動作を識別することに成功している(文献[13]参照)。
【0005】
1. LLGMN
図18に、LLGMNの構成図を示す(文献[8]参照)。まず最初に、入力ベクトルx=[x,x,・・・,x ∈Rに非線形演算による前処理を施し、X ∈Rに変換する。
【0006】
【数7】
JP0003816762B2_000002t.gif【0007】
第1層はベクトルXの次元数H=1+d(d+3)/2にあわせてH個のユニットからなり、入出力関数には恒等関数を用いる。第1層の入出力関係は、入力を(1),出力を(1)とすると、
(1)=X (2)
(1)(1) (3)
となる。
【0008】
第2層は混合ガウス分布の総コンポーネント数と同数のユニットから構成され、第1層の出力を重み係数w(c、m)を介して受け取り、事後確率を出力する。第2層のユニット{c,m}への入力を(2)c,m出力を(2)c,mとすると、
【0009】
【数8】
JP0003816762B2_000003t.gif【0010】
となる。ただし、(c=1,・・・,C;m=1,・・・,M)で、Cは対象とするクラス数,Mはクラスcを構成する混合ガウス分布のコンポーネント数を表す。また、w(c、Mc)=0
である。
第3層は、事象数に対応するC個のユニットからなり、事象cの事後確率を出力する。ユニットcは、第2層のM個のユニット{c,m}の出力を統合したものである。入出力間の関係は、
【0011】
【数9】
JP0003816762B2_000004t.gif【0012】
となる。以上のように、このネットワークは第1層と第2層の間の重み係数w(c、m)を学習的に調節するだけで、各事象の事後確率を計算することができる。
しかしながら、これらのニューラルネットは対象とする問題の静的な特性しか学習することができず、対象が時間とともに変動するような動的なデータには適用することはできない。
【0013】
2.隠れマルコフモデル
時系列信号の識別には隠れマルコフモデル(Hidden Markov Model:HMM)(文献[14]参照)が一般的によく用いられており、特に音声認識の分野で成功を収めている(文献[17]参照)。HMMでは、状態数N,出力記号の数Mに対応して。状態遷移確率行列A ∈RN×N出力確率行列B ∈RM×N,初期状態確率行列π ∈RN×Nの3つの確率行列が必要となる。HMMをパターン識別に応用するには、それぞれの事象cに対する確率行列Ac,Bc,πcを、事象cに属する特定の出力記号列O・・・Oの出力確率の尤度が最大になるようなパラメータを推定する。ここで、観測された出力記号列O・・・Oにおいて、時刻tに事象cの状態Siにいる確率α(i)は、
α(i)=P(O・・・O,S|c) (31)
である。このα(i)は以下のように帰納的に計算可能で、観測した記号列出力の確率P(O|c)を求めることができる
【0014】
【数10】
JP0003816762B2_000005t.gif【0015】
ここで、πiは状態iの初期確率、b(O)は状態iからOが出力される確率、aijは状態iから状態jの遷移確率を表す。そして、Baum-Welthアルゴリズム(文献[14]参照)によって教師信号から遷移確率と出力確率の両方を推定することができる(文献[18]参照)。
さらにBaum and Sell(文献[19]参照)はBaum-Welthアルゴリズムに若干の制約条件を加えた連続密度HMM(Continuous Density HMM:以下CDHMM)を提案した:このCDHMMは連続信号を推定するために確率密度関数に混合ガウス分布モデルを利用しており、隠れマルコフモデルの能力を大きく向上させた。Juangら(文献[20]参照)は、このCDHMMの推定アルゴリズムを拡張して、音声認識に応用している。このようにして、HMMは高い試用能力を有しており、現実的に非常に効異的な手法である。
【0016】
【発明が解決しようとする課題】
しかしながら、HMMの構造は未知なので経験や定義を頼りにパラメータを決定しなければならない。またHMMの学習には大量の学習データが必要であり、学習データが少ないときには必要なパラメータをうまく推定できない場合もある。そこで近年、HMMとニューラルネットの融合に関する研究が盛んにおこなわれている(文献[21][22]参照)。Bridle(文献[21]参照)らはHMMをニューラルネット構造で表現する方法を示した。しかしながらこの方法はHMMの構造をネットワークで展開したにすぎず、本質的な能力は同じである。またBourlard and Wellekens(文献[22]参照)は、適切なリカレント結合を有するネットワークならば、HMMとして機能できることを明らかにした。
【0017】
リカレント型(相互結合型)ニューラルネットワークは、ユニットを相互に結合し、内部で信号をフィードバックすることによって、動的なモデルを表現できることが知られている。しかし、混合ガウス分布を用いたパターン認識ができるニューラルネットワークに、リカレント構造を組み込む方式は知られておらず、組み込んだとしてもそれが一体として学習できる構造になるかどうかは明らかでなかった。
【0018】
また、通時的誤差逆伝播学習(back propagation through time)において、学習の終了時刻を予測することは難しく、問題の難しさに依存して学習に必要な時間が大きく変化してしまう。特に生体信号のパターン認識問題のように実行前には必ず学習を行なわなければならないような場合には、学習の終了を待つユーザの負担が大きい。これはニューラルネットのエネルギー関数の収束時間が事前に分からないためである。
【0019】
本発明は、以上の点に鑑み、簡素な構造で、時系列特性の学習が可能なニューラルネットワークを提供することを目的とする。また、本発明は、対数線形化された混合正規分布モデルに基づく5層を備え、リカレント構造を有し、動的なデータにも対応可能なニューラルネットワークシステムを提供することを目的とする。また、本発明は、学習前に終了時刻を明示することによって、学習収束を待つユーザ負担が軽減できるニューラルネットを提供することを目的とする。
【0020】
【課題を解決するための手段】
本発明は、LLGMNの能力改善を目的とし、時間とともに変化する動的なデータにも適応可能な新しいリカレント型ニューラルネットR-LLGMNを提案した。このニューラルネットは、動的な確率モデルの1つである隠れマルコフモデルを内包しており、LLGMNでは不可能だった時系列特性の学習を行うことが可能であることを目的とする。また本発明は、遷移確率や出力確率密度関数などの統計パラメータをネットワークの重みとして表現しており、誤差逆伝播方式の学習則によりその重みを調節することを目的とする。提案手法の有効性・妥当性を検証するために、時間とともに激しく変動するEEG信号の識別実験を行い、十分な識別精度を実現した。さらに、本発明は、ターミナルラーニング方式を導入しているので、生体信号のパターン認識時の終了時刻を予め表示し、ユーザの精神的な負担を軽減することを目的とする。
【0021】
本発明の第1の解決手段によると、
階層型ニューラルネットワークであって、少なくとも入力を非線形変換する前処理手段と、
混合ガウス分布モデルを構成する層と、
層間にフィードバックを有するリカレント構造をなす層と
を備えたニューラルネットワークが提供される。
【0022】
本発明の第2の解決手段によると、
入力された入力ベクトルが入力され、入力ベクトルの各要素を組合わせて非線形変換して出力する前処理手段と、
前記前処理手段により非線形変換された値が入力され、入力を複数に分岐して出力する第1の層と、
前記第1の層の各ユニットの出力に、学習によって取得される重み係数を乗じた値が統合されたものが入力され、予め定められた関数で変換して出力する第2の層と、
前記第2層の各ユニットの状態kに対応する分布モデルのコンポーネントについての出力が統合されたものが入力され、同じ事象で第4の層の対応する状態の1時刻前の出力とを乗じて出力する第3の層と、
第3の層の各ユニットの状態についての出力が入力され、該入力を状態と事象・クラスについての出力が統合されたもので除算して出力する第4の層と、
第4の層の各ユニットの状態についての出力が統合されたものが入力され、入力を前記事象・クラスの分析結果として出力する第5の層と
を備えたニューラルネットワークシステムが提供される。
【0023】
本発明の第3の解決手段によると、
処理部が、状態数k(k=1,2,…,K)、コンポーネント数m(m=1,2,…,Mc,k)、事象・クラス数c(c=1,2,…,C)、入力信号数d、時系列信号長L、収束時間t、学習データ数Nの設定を行う機能と、
処理部が、ターミナルラーニングに基づき学習率ηを計算する機能と、
処理部が、学習回数T及び学習データ数Nに基づき、上述のようなニューラルネットワークにより前向き演算を実行する前向き演算機能と、
処理部は、重みwk’,k,m,hを含む学習結果を記憶部に記憶する機能と
を備えたニューラルネットワークシステムが提供される。
【0024】
本発明の第4の解決手段によると、
入力された入力ベクトルが入力され、入力ベクトルの各要素を組合わせて非線形変換して出力する前処理機能と、
第1の層により、前記前処理手段により非線形変換された値が入力され、入力を複数に分岐して出力する機能と、
第2の層により、前記第1の層の各ユニットの出力に、学習によって取得される重み係数を乗じた値が統合されたものが入力され、予め定められた関数で変換して出力する機能と、
第3の層により、前記第2層の各ユニットの状態kに対応する分布モデルのコンポーネントについての出力が統合されたものが入力され、同じ事象で第4の層の対応する状態の1時刻前の出力とを乗じて出力する機能と、
第4の層により、第3の層の各ユニットの状態についての出力が入力され、該入力を状態と事象・クラスについての出力が統合されたもので除算して出力する機能と、
第5の層により、第4の層の各ユニットの状態についての出力が統合されたものが入力され、入力を前記事象・クラスの分析結果として出力する機能と
をコンピュータに実現させるためのニューラルネットワーク処理プログラムが提供される。
【0025】
【発明の実施の形態】
1.混合ガウス分布を有するHMMの対数線形化
本発明の実施の形態のネットワークは動的な確率モデルの1つである隠れマルコフモデル(文献[14]参照)をネットワーク構造として内包しており、通時的誤差逆伝搬アルゴリズム(文献[15]参照)により学習的に重みを調節することができる。
そこで以下に、上記の構成によるリカレント型混合ガウス分布モデルと対数線形モデルに基づいたネットワーク(R-LLGMN)がHMMを構造として内包していることを明らかにする。
【0026】
図1に、混合ガウス型の連続確率密度分布を持つHMMを示す図である。
対象とする事象はC個で、それぞれの事象(c∈{1,…,C})はK個の状態から構成されている。このとき、与えられる時系列x(t)=[x(1),x(2),…,x(t)]に対する事象cの事後確率P(c|x(t))は、次式のようになる。
【0027】
【数11】
JP0003816762B2_000006t.gif【0028】
ただし、γck’,kは事象cにおいて状態k’から状態kに遷移する確率、b(x(t))はx(t)に対応した事象cの状態kからの事後確率を表している。また、事前確率πはP(c,k)|t=0に等しい。ここで、事後確率b(x(t))をコンポーネント数Mc,kから成る混合ガウス分布によって与えられるとすると(文献[8][23]参照)、(37)式のγck’,kc(x(t))は、
【0029】
【数12】
JP0003816762B2_000007t.gif【0030】
となる。ただし、γc,k,m,μ(c,k,m)∈R,Σ(c,k,m) ∈ Rd×dはそれぞれ混合度、平均ベクトル、共分散行列である。平均ベクトルμ(c,k,m)=(μ(c,k,m),…,μ(c,k,m)と共分散行列の逆行列
Σ(c,k,m)-1=[s(c,k,m)ij
を用いると、(39)式の右辺は、
【0031】
【数13】
JP0003816762B2_000008t.gif【0032】
と展開できる。ただし、δijはクロネッカーデルタで、i=jのとき1、i≠jのとき0である。ここで、(40)を対数線形化する(文献[8]参照)。
【0033】
【数14】
JP0003816762B2_000009t.gif【0034】
ここで、(42)式はR-LLGMNの非線形の前処理を表しており((1)式参照)、ξ’,k,mは係数ベクトルβ’,k,mと変換された入力X∈Rの積として表現することができる。以上より、β’,k,mを重み係数とみなすことで、ニューラルネットの構造として表現することが可能となった。
しかしながら、事後確率P(c,k|x(t))の総和である次式は1であるため、事後確率のパラメータとしてξ’, k,mは冗長である。
【0035】
【数15】
JP0003816762B2_000010t.gif【0036】
そこで、新しく変数Y,,k,m係数ベクトルWk,mを導入すると、
【0037】
【数16】
JP0003816762B2_000011t.gif【0038】
となる。ただし、定義よりWKc,kc,Mck=0である。本発明ではこのベクトルW,k,mを無制約の重み係数とみなすことにする。このとき、(37)式は、
【0039】
【数17】
JP0003816762B2_000012t.gif【0040】
となる。
一方、(38)式においてt=1のとき、同様に混合ガウス分布モデルと対数線形モデルを導入すると、
【0041】
【数18】
JP0003816762B2_000013t.gif【0042】
を得る。ここで本発明では、W’,k,m (1)=W’,k,mと考える。なぜならW’,k,m (1)とW’,k,mの両方とも統計的拘束から解放された無制約の変数で、多数の未知統計パラメータを含んでいるからである。以上より、混合度 γc,k,m、平均ベクトル μ(c,k,m)、共分散行列 Σ(c,k,m)、遷移行列γ’,のような多くのパラメータをより少ない数のパラメータに置き換えることが可能になった。つまり、R-LLGMNは係数ベクトルW’,k,mをニューラルネットの重み係数として扱い、誤差逆伝播方式の学習則によりこの重み係数を学習的に獲得することができるのである。
【0043】
LLGMNにおいて、ターミナルラーニングは、学習時の評価関数Jを次の(101)式によって設定すれば、学習率ηに合わせて重み係数を変更することによって、評価関数が平衡点に収束できることが分かっている(文献[16]参照)。R-LLGMNネットワークにおいて、同様に次の(101)式によって収束が可能なことが示されるので、指定した有限時間内で、評価関数を収束させることができる。これによって収束時間が多少長くなっても、終了を待つユーザ負担を減少させることができる。
dJ/dt=—ηJβ (101)
【0044】
2.リカレント構造の導入
図2に、本発明で提案するニューラルネットの構成図を示す。このネットワークは、第3層と第4層の間にフィードバックを有する5層構造のリカレント型ニューラルネットである。まず、入力ベクトルx(t) ∈ R(t=1,…,T)はLLGMNと同様の方法で変換し、X(t) ∈ Rを第1層の入力とする。第1層の入出力関係は、
(1)(t)=X(t) (8)
(1)(t)=(1)(t) (9)
となる。ここで、(1)(t)と(1)(t)はh番目のユニットの入出力を表す。
【0045】
第2層のユニット{c,k,k’,m}(c=1,…,C;k,k’=1,…,K;m=1,…,M,k)は、第1層のユニットからの出力を重み係数wk’,k,m,hを介して受け取る。第2層のユニットへの入力を(2)k’,k,m(t)、出力を(2)k’,k,m(t)とすると、
【0046】
【数19】
JP0003816762B2_000014t.gif【0047】
となる。ただし、Kは隠れマルコフモデルの状態数に対応するパラメータ、Mc,kはクラスc、状態kに対応する混合ガウス分布モデルのコンポーネント数を表す。(3.2)
第3層のユニット{c,k,k’}への入力は、第2層のユニット{c,k,k’,m}(m=1,…,Mc,k)の出力を統合したものである。また、その入力に1時刻前の第4層の出力を乗じた値が第3層の出力となる。入出力関係は、
【0048】
【数20】
JP0003816762B2_000015t.gif【0049】
となる。ただし、初期状態は、例えば、(4)k,(0)=1.0とする。
さらに第4層の入力 (4)(t)、と出力(4)(t)との関係は、
【0050】
【数21】
JP0003816762B2_000016t.gif【0051】
で与えられる。
最後に、第5層のユニットcは第4層のKユニット{c,k}(k=1,…,K)の出力を統合したものである。入出力関係は、
【0052】
【数22】
JP0003816762B2_000017t.gif【0053】
となる。
ここで、時系列信号の長さTが1、状態数Kが1の場合の第5層のユニットについて考えよう。常にt=1ならば、(13)式におけるフィードバックが意味をなさなくなる。このとき、第2層から第5層までの関係((10)-(17)式)はまとめて、
【0054】
【数23】
JP0003816762B2_000018t.gif【0055】
と書くことができる。これはLLGMNにおける第2層と第3層の関係と同じである((4)(5)式参照)。つまり、対象とする信号が時系列信号でない場合や、フィードバック統合が重要でない場合は、R-LLGMNはLLGMNに帰着するのである。
【0056】
3.学習則
いま、時刻Tにおいて、n番目の入力ベクトルx(t)(n)に対応する教師ベクトルT(n)=(T(n),…,T(n),…,T(n)(n=1,…,N)が与えられた場合について考える。T(n)は観測された事象がcであるときは1、それ以外は0をとり、複数のクラスが同時に1になることはない。R-LLGMNは、C個のクラスそれぞれに用意されたL個の時系列信号(N=L×C)を学習データとして学習を行う。学習用データに対するネットワークの評価関数Jは、
【0057】
【数24】
JP0003816762B2_000019t.gif【0058】
と定義し、これを最小化、すなわち対数尤度を最大化するように学習を行う。ただし、(5)(T)(n)は入力ベクトルx(t)(n)に対する時刻Tでの出力を意味している。このとき、重みのwk’,k,m,hの修正量△wk’,k,m,h
【0059】
【数25】
JP0003816762B2_000020t.gif【0060】
と定義する。ただし、η>0は学習率である。また、R-LLGMNに含まれるリカレント結合の影響を考慮するため、通時的誤差逆転播方式(BPTT)を用いる(文献[15]参照)。これは時系列中の誤差を蓄積して、重み修正量を計算するという方式である。ここで(21)式の右の項 をchain ruleを使って展開すると、(22)式を得る。
【0061】
【数26】
JP0003816762B2_000021t.gifである。
【0062】
また、Δc’k”(t)はJ(4)c’k”(T-t)による偏微分である。(24)式が成り立つので、上式は(25)~(26)式となる。
【数27】
JP0003816762B2_000022t.gif【0063】
さらに本発明では、ターミナルラーニング(文献[16]参照)(TL)の概念を学習則に取り入れ、TLを用いることにより指定した有限時間内でニューラルネットの学習を平衡点に収束させる。ここで、重みwk’,k,m,hを時間依存の連続変数として考えると、この時間微分は次式となる。
【0064】
【数28】
JP0003816762B2_000023t.gif【0065】
ここで、ηは学習率でβ(0<β<1)は定数である。このとき、評価関数Jの時間微分は以下のように計算される。
【0066】
【数29】
JP0003816762B2_000024t.gif【0067】
(29)式から、評価関数Jは単調非増加関数となり学習が安定に収束することがわかる。この収束時間を計算する時、
【0068】
【数30】
JP0003816762B2_000025t.gif【0069】
となる。ただし、Jは評価関数の初期値で、Jは平衡点におけるJの収束値である。J=0の場合、(30)式の等号が成立し、学習率ηを用いて収束時間を指定できることがわかる。一方、J≠0の場合でも収束時間は常に(30)式で与えられる上限値よりも早い時刻で平衡状態に到着することになる。
【0070】
以上より、学習の終了時刻tから学習率ηtを計算し、このηtを(30)式に代入して学習を行なえば、学習が完全に終了した場合は時刻tでJ=0となる。学習中には、ユーザには、残りの学習時間t-tとJの値を随時表示する。これにより学習終了を待つユーザの精神的負担をやわらげることができる。
【0071】
4.ニューラルネットワークの処理
図3に、ニューラルネットワークを実現するためのハードウェアの構成図を示す。
この構成は、記憶部1、入力部2、出力部3、処理部4、インターフェースI/F5を備える。
記憶部1は、各種データを記憶する。記憶部1は、例えば、初期値を記憶する第1テーブル11と、ニューラルネットワークの各層の構成を表す式に関するデータを記憶した第2テーブル、中間結果等を記憶する第3テーブル、重みなどの学習結果・最終結果を記憶する第4テーブルを有する。入力部2は、キーボード、ポインティングデバイス等の入力装置であり、初期値、評価関数、ニューラルネット等に関する各種データを入力及び設定する。出力部3は、ディスプレイ、媒体駆動装置、インターフェイス等の各種出力装置であり、初期値、中間結果、最終結果等の適宜のデータを出力する。処理部4は、記憶部1から初期値、中間結果、学習結果・最終結果等の各種データを読み取り、また、記憶部1に書きこむ。処理部4は、また、中間結果、学習結果・最終結果等についての各種計算処理、制御処理を実行する。さらに、処理部4は、中間結果、学習結果・最終結果等の各種データを出力部3に出力する。また、インターフェース(I/F)5は、例えば、後述するような節電信号や脳波信号等の各種信号の計測装置と情報の送受をするためのものである。
【0072】
図4は、ニューラルネットワークの学習処理を示すフローチャートである。
まず、処理部4は、記憶部1に初期設定を行う(S101)。初期設定では、例えば、状態数K、コンポーネント数Mc,k 、クラス数C、入力信号数d、時系列信号長L、収束時間t、学習データ数Nの設定を行う。つぎに、処理部4は、ターミナルラーニング((27)、(28)式参照)に基づき学習率ηtを計算する(S103)。処理部4は、記憶部1に記憶された学習回数Tを読み出し初期値として設定する(S105)。ここで、学習回数Tは、設定した収束時間t(「3.学習則」参照)により決まる(S105)。処理部4は、さらに記憶部1に記憶された学習データ数Nを読み出し初期値として設定する(S107)。つぎに、処理部4は、R-LLGMNの前向き演算を実行する(S109)。
【0073】
図5は、R-LLGMNの前向き演算処理を示すフローチャートである。
R-LLGMNの前向き演算処理では、まず、処理部4は、時系列信号長Lを記憶部1から読み出し、初期値として設定する(S201)。処理部4は、R-LLGMNの演算を、(8)~(19)式に基づいて実行する(S203)。処理部4は、時系列信号長Lを1減算して更新して記憶する(S205)。処理部4は、時系列信号長Lが0以下になるまでステップS203及びS205の処理を繰り返す。その後、処理部4は、(19)式で求められた演算結果(5)O(t)を記憶部1に記憶して、必要に応じて出力部3から出力する(S209)。
【0074】
以上のようにステップS109の処理が実行された後、処理部4は、学習データ数Nを1減算して更新して記憶する(S111)。処理部4は、学習データ数Nが0以下になるまでステップS109及びS111の処理を繰り返す(S113)。その後、処理部4は、(21)式に基づき重みwk’,k,m,hを修正する(S115)。処理部4は、学習回数Tを1減算して更新して記憶する(S117)。処理部4は、学習回数Tが0以下になるまでステップS107からS117の処理を繰り返す。その後、処理部4は、重みwk’,k,m,hを含む学習結果を記憶部1に記憶する(S121)。
【0075】
つぎに、図6は、本発明によるニューラルネットワークを用いた生体信号識別処理を実行するための構成図である。
この構成は、特徴抽出部11、識別部12、バッファメモリ14、R-LLGMN演算部13を備える。特徴抽出部11には、生体信号(脳波信号(EEG)、筋電位信号(EMG)など)が入力される。特徴抽出部11は、入力された生体信号に従い識別用データを抽出する。例えば、生体信号として脳波信号が入力された場合、識別用データとして、特定の周波数帯域のパワースペクトルの平均値を要素とするベクトルを抽出する。また、生体信号として筋電位信号が入力された場合、識別用データとして、整流及び平滑後の振幅値を要素とするベクトルを抽出する。つぎに、識別部12は、特徴抽出部11により抽出された識別用データを記憶部に記憶する又はR-LLGMN演算部13は出力する。R-LLGMN演算部13は、上述のニューラルネットワークによる演算を行なうものであり、図3に示した構成に相当し、信号の送受はインタフェースI/F5を介して行うことができる。R-LLGMN13は、記憶部から読み出した又は識別部12から与えられた識別用データに基づき、R-LLGMN前向き演算を実行する(後述)。識別部12は、R-LLGMN演算部13の出力結果(5)(t)の中で最も高い値(又は、予め決められた閾値より高い値)を示したクラス番号cを識別結果として選択する。バッファメモリ14は、識別部12の識別結果を保持する。識別結果は、処理部によりバッファメモリ14出力される。
【0076】
図7に、本発明によるニューラルネットワークを用いた識別処理を示すフローチャートである。
R-LLGMN演算部13は、記憶部から学習終了時に出力された重みwk’,k,m,hを読み込む(S301)。R-LLGMN演算部13は、記憶部又は識別部12から識別用データを入力する(S303)。識別用データは、例えば、脳波信号(EEG)又は筋電位信号(EMG)から特徴を抽出したデータである。R-LLGMN演算部13は、上述のようにR-LLGMNの前向き演算処理を実行する(S305)。R-LLGMN演算部13は、前向き演算処理で算出された(5)(t)の中で最も高い値(又は、予め定められた閾値より高い値)を示すクラス番号cを識別結果として出力する(S307)。
【0077】
5.EEG信号識別実験
本発明で提案したニューラルネットの有効性を検証するために、時間とともに激しく変動する脳波(EEG)信号を用いて識別実験をおこなった。
5.1 EEG信号計測装置)
【0078】
図8はEEG信号計測装置の全体図である。EEG信号の計測には、簡易小型脳波計を使用した。計測したEEGは無線でコンピュータに取り込まれる。測定されたEEG信号は、ハイパスおよびローパス(40[Hz]のアナログフィルタを通過後増幅され、A/D変換される。電極はヘツドバンドに固定されており、双極導出による脳波の差分をとることで大部分の測定ノイズを排除することができる。
EEG信号の測定は以下の2種類の条件で行った。各々120秒間の学習データを計測し、M系列により作成したランダムな時間間隔にしたがって視覚刺激を変化させて420秒間の識別用脳波を計測した。
【0079】
(1)開閉眼
被験者は通常の計算機室内の椅子に座り、安静にしておくこの状態で開閉眼時の時系列脳波パターンを計測する。
(2)開閉眼および閃光刺激
被験者は暗くした計算機室内の椅子に座り。安静にしておく。この被験者から約50[cm]離した位置に、光刺激(4[Hz]で点滅)を与えるフラッシュライト(光源:クセノン。エネルギー量:1.76[J]を設置する。この状態で開閉眼および閃光刺激時の時系列脳波パターンを計測する。
【0080】
5-2. 時系列EEG信号の特徴抽出
本発明で用いた脳波計は1対の電極しか備えていないために、脳波が発生している部位に関する空間的な情報は利用できない。そこで、一対の電極からより多くの情報を抽出するために、EEG信号の周波数成分を利用する。
前処理として計測したEEG信号を128サンプル毎に高速フーリエ変換(FFT)し、周波数スペクトルを計算する。次に、スペクトル中の識別有効帯域(0~35[Hz]に関して、臨床脳波学におけるδ、θ、α、βなどを基準に分割する。そして、それぞれの帯域毎にパワースペクトルの平均値を計算し、平均値の時系列データを作成した。このとき、帯域毎に時系列の範囲が0~1になるように正規化した。なお、本実験に使用する周波数帯域は0~8、9~35[Hz]の2つの帯域とした。
【0081】
5-3 開閉眼の識別
まず、図9は、披験者Aの開閉眼時の識別結果の一例を示す図である。この図は推定中の信号処理の様子を示しており、上から開眼・閉眼の状態を変化させたタイミング、2つの周波数帯域に対応したEEG信号、LLGMNの出力、LLGMNとニューラルフィルタを組み合わせた方式(LLGMN with NFと呼ぶ)(文献[8]、[24]参照)の出力、R-LLGMNの出力、識別結果を表している。R-LLGMNの設定は、状態数K1=K2=1、コンポーネント数M1,1=M2,1=1、学習データ長T=5,学習データ数L=3である。
【0082】
また、LLGMN with NFのLLGMN部はコンポーネント数が数M1,1=M2,1=3、学習データ数112(各56)。NF部はユニット数を8、それぞれのNFの学習データ数168とし、考慮する遡り時間ステップは5とした。このNFは中間層にリカレント結合を有しており、非線形信号のフィルタリングを行うことができる。このときのR-LLGMNの識別率は97.6%でかなり高い識別率を実現できている。またR-LLGMNはLLGMN with NFと比べて、出力波形の立ち上がりが多少遅れているものの、信号の安定性はかなり向上している。
【0083】
図10は、3人の被験者(A,B:男性,C:女性)に対して実験をおこなった結果を示す図である。ここでは比較のために、本発明で提案するR-LLGMN、LLGMN、LLGMN with NF、HMM(注1)の4つの手法を用いた。各手法ともに、0~lの様乱数を用いて10通りの異なる初期重みを作成して実験を行ったそれぞれの値は各手法の平均値と標準偏差である。HMMの設定は状態数K1=K2=1、学習データ長T=5、学習データ数40とした。
【0084】
5人のデータに共通して、LLGMNより他の3手法のほうが高い識別率を示している。これは、静的な統計モデルしか内包していないLLGMNが動的なEEG信号に対応しきれていないことを表している。それに対し、他の3手法は動的な統計モデルを内包しているためにEEG信号に適応し、高い識別率を実現している。しかしながら、LLGMN with NFはネットワークの規模が大きいためLLGMNとNFを別々に学習しなければならず、学習が非常に困難である。[b]またHMMは、学習は比較的に簡単だが、大量の学習デー夕が必要である。一方、R-LLGMNは少ない学習デー夕で動的・静的な特性を一度に学習できる。そのためLLGMN with NFとHMMの両方の欠点を補っており、非常に有効な手法であることがわかる。
【0085】
5-4 3状態の光刺激の識別
次に、図11は、被験者Aの開閉眼および閃光刺激時の識別結果の一例を示す図である。開閉眼のみの場合(図9)に比べてR-LLGMNの出力が乱れており、被験者の状態を識別することが非常に困難であることがわかる。これは、閃光刺激時の輝度変化以外の視覚刺激が少なく、EEG信号に明確な変化が観測されなかったためである。このときの識別率は87.4%であった。
【0086】
図12は、5人の被験者に対する識別結果を示す図である。開閉眼時のEEGパターン識別結果と比べると識別率が低下しているものの、平均するとR-LLGMNの識別率が一番高く、識別が可能であることがわかる。
次に、学習データ数を変化させて実験を行った時の結果を示す。この実験では比較のために、R-LLGMNとHMMを用いた。各設定は時系列の長さT=5、コンポーネント数Mc,k=1、上対数Kc=1で、学習データ数をT=5,10,…,40に変化させた。なお、HMMの量子化レベル数はQL=4とした。
図13及び図14は、そのときの教師信号数に対する識別率の変化(HMM及びR-LLGMN)を示す図である。これは、10通りの異なる初期重みで学習をおこない、未学習の210個の時系列データに少なくても、かなり高い識別率実現している。
以上の結果から、HMMの学習には大量のサンプルデータが必要であることがわかる。また、LLGMN with NFはネットワークの規模が大きいため、LLGMNとNFを別々に学習しなければならず、学習が非常に困難である[16]。一方、R-LLGMNは少ない学習データで動的・静的な特性を一度に学習することができる。そのためLLGMN with NFとHMMの両方の欠点を補うことができ、EGG識別に非常に有効な手法である。
【0087】
最後に、状態数、コンポーネントの違いによる識別率の変化について調べた。学習データ数L=3、時系列の長さをT=5として、コンポーネント数をMc,k=1,2,…,10,状態数をKc=1,2,…,10に変化させた(c=1,2,3)。
【0088】
図15は、そのときの状態数とコンポーネント数に対する識別率の変化を示す図である(被験者E)。これは、10通りの異なる初期重みで学習をおこない、未学習の210個の時系列データについて識別率の平均と標準偏差を計算した結果である。図より、コンポーネント数と状態数を増やすことでR-LLGMNの表現力が増し。識別精度が向上していることがわかる。
【0089】
6.EMG駆動型ロボットシステムへの応用
本実施の形態では、ニューラルネットを利用したEMG信号のパターン識別を目的としている。EMG情報には、振幅パターン、周波数パターン、またそれぞれに時系列特性がある。しかし従来の識別法のほとんどは、時系列特性を利用していない。また、既存のニューラルネットを利用しているためEMG信号の従う統計パターンも利用されていない。そこで、本報告ではネットワーク内にリカレント構造を導入し、EMG信号の時間的な変化にも対応可能な新しいニューラルネットを紹介する。実験では、このニューラルネットの高い識別能力を証明する。
【0090】
6-1 はじめに
近年、上肢切断者を支援するためのEMG制御型電動義手の開発が活発に行われている(文献1,2参照)。EMG信号を義手のインタフェースとして利用する場合、筋の特性が切断者や計測位置によって異なるため、解析的に動作推定を行うのは難しい。そこで従来から、学習によって動作識別を行う方法が試みられてきた。例えば、FarryらはEMGの周波数情報から、ロボットハンドを遠隔操作する手法を提案した(文献[25]参照)。また、Huang and Chen はEMGの積分筋電等から、誤差逆伝播型ニューラルネット(以下、BPNNと略記)を用いて8動作の識別を行っている(文献[26]参照)。
著者らもこれまでに人間支援を目的としたEMG制御型マニピュレータシステムの構築を行ってきた。このシステムは、混合ガウス分布モデルと対数線形モデルに基づいたLog-Linearized Gaussian Mixture Network(以下、LLGMNと略記)(文献[27]参照)を用いてEMG信号の識別をおこない、その識別結果をロボットマニピュレータの制御手段として用いている(文献[28]参照)。
【0091】
しかしながら、従来の方法はいずれも、入力信号の履歴を考慮しておらず、対象とする問題の静的な特性しか学習していない。そのため、対象が時間とともに変動するような動的な時系列信号を識別するには限界があった。
そこで本実施の形態では、パターン識別部にリカレント構造を有する新しいニューラルネットの導入を試みた。このニューラルネットは隠れマルコフモデルをネットワーク構造として内包しているため、動的な時系列信号を識別することが可能である。本実施の形態に使用した義手型ロボットシステムの概要を説明するとともに、切断者によるEMG識別実験の結果を示す。
【0092】
6-2 EMG制御型人間支援マニピュレータ
6-2.1 システム構成
図16に、EMG制御型人間支援マニピュレータシステムの構成図を示す(文献[28]参照)。本システムは、アーム制御部と義手制御部から構成される。アーム制御部には Move Master RM-501((株)三菱電機製)、義手制御部には超音波モータ駆動型動力義手(文献[29]参照)を用いた。アーム制御部では磁気を利用した3次元位置センサを入力装置として用い、腕全体の大きな動きを実現する。一方、義手制御部では操作者のEMG信号から意図する前腕動作をニューラルネットにより識別し、手先の細かな動きを実現する。この際、人間の前腕部のインピーダンスモデルを義手制御に導入することで、人間のようなしなやかな動作を実現している(文献[30]参照)。
【0093】
6-2.2 ニューラルネットによる動作識別
6-2.2.1 EMG信号処理部
まず、操作者の腕に装着したL対の電極から測定したEMG信号を各チャンネルごとに全波整流した後、2次のディジタルバタワースフィルタ(カットオフ1[Hz])に通す。そして平滑化した信号をサンプリング周波数100 [Hz]で採取する。そして、この信号の全チャンネルの和が1となるように正規化したものを、入力ベクトルx(t)=[a(t),a(t),・・,a(t)]∈R(t=1,・・,T)とする。
【0094】
6-3 実験
開発したニューラルネットの有効性を検証するために、EMG信号を用いた動作識別実験を行った。ここでは比較のために、R-LLGMN,LLGMN(文献[27]参照),BPNNの3つの手法を用いた。被験者は男性(42才)で約1年前に事故のため右手首から15cm程の部位で前腕部を切断している。R-LLGMNの設定は、電極数L=8、対象動作数C=8(掌屈、背屈、回内、回外、握り、開き、手首共収縮、手先共収縮)、状態数K=K=1、コンポーネント数M1,1=M2,1=1、学習データ長T=4、学習データ数N=5とした。なお、BPNNは試行錯誤的に、隠れ層2、ユニット数(入力層-8、第2層-10、第3層-10、出力層-8)とした。EMG信号は各動作2.5秒間採取した。ただし、各動作間に15秒間の休憩を取った。
【0095】
図17に、識別結果を示す図である。表中の値は各動作に対する識別率の平均値(Mean)と標準偏差(SD)である。表より、LLGMNよりR-LLGMNのほうが識別率が高く、過去の履歴情報を利用することにより識別精度が向上していることがわかる。また、LLGMNとR-LLGMNの両方がBPNNより標準偏差が小さく、安定して識別できていることが分かる。
【0096】
6-4 まとめ
本実施の形態では、リカレント結合を有する新しいニューラルネット、R-LLGMNの能力を比較するとともに、EMG制御型人間支援マニピュレータシステムへの導入を試みた。その結果、時系列信号の特性を有効に利用することが可能になり、識別精度が向上することを示した。今後は、連続動作間の曖昧になりやすい識別を改善するために、R-LLGMNに適した前処理法について考察する予定である。
【0097】
7.参考文献
[1] D. E. Rumelhart and J. L. McClelland, "Learning Internal Representations by Error Propagation,"
Parallel Distributed Processing, Explorations in the Microstructure of Cognition, Vol. 1, D.E. Rumel-
hart, J.L. McClelland, and the PDP Research Group, Eds. MIT Press, 1986, pp. 318-362.
[2] T. Caelli, D.M. Squire, and T.P.J. Wild, " Model-based neural networks," Neural Networks, Vol. 6,No. 5, pp. 613-625, 1993.
[3]T. Tsuji and K. Ito "Preorganized Neural Networks: Error Back-Propagation Learning of Manipu-
lator Dynamics," Journal of Artificial Neural Networks, Vol. 2, No. 1-2, pp. 81-95, 1995.
[4] M.D. Richard and R.P. Lippmann, "Neural network classifiers estimate Bayesian a posteriori probabilities," Neural Computation, Vol. 3, pp. 461-483, 1991.
[5] H. G. C. Traven, "A neural network approach to statistical pattern classification by "semiparametric" estimation of probability density functions," IEEE
Trans. Neural Networks, Vol. 2, No. 3, pp. 366-377, 1991.
[6]L.I. Perlovsky and M.M. McManus, "Maximum likelihood neural networks for sensor fusion and adaptive classification," Neural Networks, Vol. 4, No. 1, pp. 89-102, 1991.
[7] 辻敏夫,森大一郎,伊藤宏司”統計構造を組み込んだニューラルネットによるEMG動作識別法,”電気学会論文誌C,Vol. 112-C, No. 8, pp. 465-473,1992.
[8] 辻敏夫,市延弘行,金子真,"混合正規分布モデルを用いたフィードフォワード型ニューラルネット”,電子情報通信学会論文誌D-II, Vol. 77, No. 10, pp. 2093-2100,1994.
[9] M.I. Jordan and R.A. Jacobs "Hierarchical mixtures of experts and the EM algorithm," Proc. IEEE Int. Joint Conf. Neural Networks 1993, Vol. II, pp. 1339-1344.
[10]S. Lee and S. Shimoji, "Self-organization of Gaussian mixture model for learning class pdfs in pattern classification," Proc. IEEE Int. Joint Conf. Neural Networks 1993, Vol. III, pp. 2492-2495.
[11]R.L. Streit and T.E. Luginbuhl, "Maximum likelihood training of probabilistic neural networks,"
IEEE Trans. Neural Networks, Vol. 5, No. 5, pp. 764-783, 1994.
[12] B.S. Everitt and D.J. Hand, "Finite Mixture Distributions" , Chapman and Hall, 1981.
[13]O. Fukuda, T. Tsuji, A. Ohtsuka, and M. Kaneko, "EMG-based human-robot interface for rehabilitation aid," Proc IEEE Int Conf on Robotics and Automation, pp. 3492-3497, Leuven, 1998.
[14] L.E. Baum and T. Petrie, "Statistical inference for probabilistic function of finite state Markov chains," Ann. Math. Stat., Vol. 37, No. 6, pp. 1554-1563, 1966.
[15] P.J. Werbos, "Back propagation through time: what it does and how to do it," Proceedings of the IEEE, Vol. 78, No. 10, pp. 1550-1560, 1990.
[16] T. Tsuji, O. Fukuda, M. Kaneko and K. Ito "Pattern Classification of Time-series EMG Signals Using Neural Networks," International Journal of Adaptive Control and Signal Processing. (in press)
[17] L. R. Rablner, "A tutorial on hidden markov model and selected applications in speech recognition," Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286, 1989.
[18]A.P. Dempster, N. M. Larld and D.B. Rubin, "Maximum likelihood from incomplete data via the
EM algorithm," J. Roy. Stat. Soc. Sereies B, Methodological, Vol. 39, No. 1, pp. 1-38, 1977.
[19]L. E. Baum and G. R. Sell, "Growth functions for transformations on manifold," Ann. Math. Stat.,
Vol. 27, No. 2, pp. 211-2271 1968.
[20] B.H. Juang, S.E. Levinson, and M.M. Sondhi, "Maximum Likelihood estimation for multivariate
mixture observations of Markov chains," IEEETrans. Informat. Theory, Vol. IT-32, No. 2, pp. 307-309, 1986.
[2l] J.S. Bridle, "Alpha-nets : A recurrent 'neural' network architecture with a hidden Markov model interpretation," Speech Communication, Vol. 9, No .1, pp. 83-92, 1990.
[22] H Bourlard and C. J. Wellekens, "Links between Markov models and multilayer perceptrons," in Advances in Neural Information Processing Systems I, D.S. Touretzky, Eds. Morgan Kaufmann, Los Altos, CA, 1989, pp. 502-510.
[23] D.M. Titterington, A.F.M. Simth and U.E. Markov, Statistical analysis of finite mixture distributions, John Wiley & Sons, New York, 1985.
[24] 福田修,辻敏夫,金子真,"ニューラルネットによる時系列脳波パターンの識別,”電子情報通信学会論文誌,D-II,Vol.J88,No.7,pp. 1896-1903, 1997.
[25] K. A. Farry, I. D. Walker and R. G. Baraniuk, ''Myoelectric Teleoperation of a Complex Robotic Hand'', IEEE Transactions on Robotics and Automation, Vol. 12, No. 5, pp. 775-787, 1996.
[26] H.-P. Huang and C.-Y. Chen,
''Development of a Myoelectric Discrimination System for a Multi-Degree Prosthetic Hand'',
Proceedings of the 1999 IEEE International Conference on Robotics and Automation, Vol. 3, pp. 2392-2397, 1999. [27] 辻敏夫、市延弘行、金子真、
''混合正規分布モデルを用いたフィードフォワード型ニューラルネット''、電子情報通信学会論文誌、D-II,Vol. 77,No. 10,pp. 2093-2100,1994.
[28] 福田修、辻敏夫、金子真、
''EMG信号を利用した手動制御人間支援マニピュレータ''、
日本ロボット学会誌、Vol. 18,No. 3,pp. 387-394,2000.
[29] 伊藤(宏)、永岡、辻、加藤、伊藤(正)、
''超音波モータを用いた3自由度前腕筋電義手''、
計測自動制御学会論文集、Vol. 27,No. 11,pp. 1281-1289,1991.
[30] 辻敏夫、重吉宏樹、福田修、金子真、
''EMG信号に基づく前腕動力義手のバイオミメティック制御''、
日本機械学会論文集(C編)、Vol. 66,No. 648,pp. 2764-2771,2000.
【0098】
なお、本発明のニューラルネットワーク又はそのシステムは、ニューラルネットワークによる演算方法、その各手順をコンピュータに実行させるためのニューラルネットワーク処理プログラム、ニューラルネットワーク処理プログラムを記録したコンピュータ読み取り可能な記録媒体、ニューラルネットワーク処理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
【0099】
【発明の効果】
本発明では、LLGMNの能力改善を実施することができ、時間とともに変化する動的なデータにも適応可能な新しいリカレント型ニューラルネットR-LLGMNを提案した。このニューラルネットは、動的な確率モデルの1つである隠れマルコフモデルを内包しており、LLGMNでは不可能だった時系列特性の学習を行うことが可能である。また遷移確率や出力確率密度関数などの統計パラメータをネットワークの重みとして表現しており、誤差逆伝播方式の学習則によりその重みを調節することができる。提案手法の有効性・妥当性を検証するために、時間とともに激しく変動するEEG信号の識別実験を行い、十分な識別精度を実現した。さらに、ターミナルラーニング方式を導入しているので、生体信号のパターン認識時の終了時刻を予め表示することができ、ユーザの精神的な負担を軽減できる。
【図面の簡単な説明】
【図1】混合ガウス型の連続確率密度分布を持つHMMを示す図。
【図2】本発明で提案するニューラルネットの構成図。
【図3】ニューラルネットワークを実現するためのハードウェアの構成図。
【図4】ニューラルネットワークの学習処理を示すフローチャート。
【図5】 R-LLGMNの前向き演算処理を示すフローチャート。
【図6】本発明によるニューラルネットワークを用いた生体信号識別処理を実行するための構成図。
【図7】本発明によるニューラルネットワークを用いた識別処理を示すフローチャート。
【図8】EEG信号計測装置の全体図。
【図9】披験者Aの開閉眼時の識別結果の一例を示す図。
【図10】 3人の被験者(A、B:男性、C:女性)に対して実験をおこなった結果を示す図。
【図11】被験者Aの開閉眼および閃光刺激時の識別結果の一例を示す図。
【図12】 5人の被験者に対する識別結果を示す図。
【図13】教師信号数に対する識別率の変化(HMM)を示す図。
【図14】教師信号数に対する識別率の変化(R-LLGMN)を示す図。
【図15】状態数とコンポーネント数に対する識別率の変化を示す図。
【図16】EMG制御型人間支援マニピュレータシステムの構成図。
【図17】識別結果を示す図。
【図18】 LLGMNの構成図。
【符号の説明】
1 記憶部
2 入力部
3 出力部
4 処理部
5 I/F
11 特徴抽出部
12 識別部
13 バッファメモリ
14 R-LLGMN演算部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17