TOP > 国内特許検索 > ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム

ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム

国内特許コード P110002874
整理番号 Y01-P048
掲載日 2011年6月8日
出願番号 特願2001-169464
公開番号 特開2002-366927
登録番号 特許第3816762号
出願日 平成13年6月5日(2001.6.5)
公開日 平成14年12月20日(2002.12.20)
登録日 平成18年6月16日(2006.6.16)
発明者
  • 辻 敏夫
  • 福田 修
出願人
  • 独立行政法人科学技術振興機構
発明の名称 ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラム
発明の概要 簡素な構造で、時系列特性の学習が可能なニューラルネットワークを提供する。入力ベクトルが入力され、入力ベクトルの各要素を組合わせて非線形変換して出力する前処理手段と;前記前処理手段により非線形変換された値が入力され、入力を複数に分岐して出力する第1の層と、前記第1の層の各ユニットの出力に、学習によって取得される重み係数を乗じた値が統合されたものが入力され、予め定められた関数で変換して出力する第2の層と;前記第2層の各ユニットの状態kに対応する分布モデルのコンポーネントについての出力が統合されたものが入力され、同じ事象で第4の層の対応する状態の1時刻前の出力とを乗じて出力する第3の層と;第3の層の各ユニットの状態についての出力が入力され、該入力を状態と事象・クラスについての出力が統合されたもので除算して出力する第4の層と;第4の層の各ユニットの状態についての出力が統合されたものが入力され、入力を前記事象・クラスの分析結果として出力する第5の層と;を備えたニューラルネットワークシステム。
従来技術、競合技術の概要
Rumelhartら(文献[1]参照)([ ]内は後述の参考文献の番号を表す。)によって提案された誤差逆伝搬型ニューラルネットは任意の非線形写像を獲得できる強力な学習能力を備えており、さまざまなパターン識別問題に応用されている。しかしながら、対象とする問題によってはまだ多くの課題が残されている。例えば、学習対象の写像が複雑になるにつれて、膨大な教師信号数や学習時間、大きなネットワーク構造が必要になり、ローカルミニマムなどの課題も懸念される。
【0003】
このような課題を解決するための試みの1つに、学習対象に関して既知である特性をネットワークの構造として取り込むという方法がある(文献[2][3]参照)。この方法では結合荷重とネットワーク則に制約を科すことで、ニューラルネットを与えられた問題に適したように調節することが可能である。パターン識別問題に関しても、多くの研究者がニューラルネットと確率モデルの融合(文献[4]参照)を試みており、特に混合ガウス分布モデルを利用したニューラルネットが数多く提案されている(文献[5]-[11]参照)。
【0004】
混合ガウス分布モデルとは、複数のコンポーネントと呼ばれる確率分布の線形和によって母集団の分布を近似する方法で、各コンポーネントにはガウス分布を用いる(文献[12]参照)。この混合ガウス分布モデルに基づいたニューラルネットの開発はTraven(文献[5]参照),Perlovsky and Mc-Manus(文献[6]参照),Tsuji et al. (文献[7][8]参照),Jordan and Jacobs(文献[9]参照),Lee and Shimoji(文献[10]参照),Streit and Luginbuhl(文献[11]参照)によって行われている。特に本発明者(辻)らは混合ガウス分布モデルと対数線形モデルに基づいたLog-Linerized Gaus-sian Mixture Network(LLGMN)を提案し(文献[8]参照)、混合ガウス分布モデルに基づいて学習的に事後確率を推定する方法を示した。またこのLLGMNを用いて、複数の電極対によって計測した節電位(EMG)信号から、前腕と手の6動作を識別することに成功している(文献[13]参照)。
【0005】
1. LLGMN
図18に、LLGMNの構成図を示す(文献[8]参照)。まず最初に、入力ベクトルx=[x,x,・・・,x ∈Rに非線形演算による前処理を施し、X ∈Rに変換する。
【0006】
【数7】
【0007】
第1層はベクトルXの次元数H=1+d(d+3)/2にあわせてH個のユニットからなり、入出力関数には恒等関数を用いる。第1層の入出力関係は、入力を(1),出力を(1)とすると、
(1)=X (2)
(1)(1) (3)
となる。
【0008】
第2層は混合ガウス分布の総コンポーネント数と同数のユニットから構成され、第1層の出力を重み係数w(c、m)を介して受け取り、事後確率を出力する。第2層のユニット{c,m}への入力を(2)c,m出力を(2)c,mとすると、
【0009】
【数8】
【0010】
となる。ただし、(c=1,・・・,C;m=1,・・・,M)で、Cは対象とするクラス数,Mはクラスcを構成する混合ガウス分布のコンポーネント数を表す。また、w(c、Mc)=0
である。
第3層は、事象数に対応するC個のユニットからなり、事象cの事後確率を出力する。ユニットcは、第2層のM個のユニット{c,m}の出力を統合したものである。入出力間の関係は、
【0011】
【数9】
【0012】
となる。以上のように、このネットワークは第1層と第2層の間の重み係数w(c、m)を学習的に調節するだけで、各事象の事後確率を計算することができる。
しかしながら、これらのニューラルネットは対象とする問題の静的な特性しか学習することができず、対象が時間とともに変動するような動的なデータには適用することはできない。
【0013】
2.隠れマルコフモデル
時系列信号の識別には隠れマルコフモデル(Hidden Markov Model:HMM)(文献[14]参照)が一般的によく用いられており、特に音声認識の分野で成功を収めている(文献[17]参照)。HMMでは、状態数N,出力記号の数Mに対応して。状態遷移確率行列A ∈RN×N出力確率行列B ∈RM×N,初期状態確率行列π ∈RN×Nの3つの確率行列が必要となる。HMMをパターン識別に応用するには、それぞれの事象cに対する確率行列Ac,Bc,πcを、事象cに属する特定の出力記号列O・・・Oの出力確率の尤度が最大になるようなパラメータを推定する。ここで、観測された出力記号列O・・・Oにおいて、時刻tに事象cの状態Siにいる確率α(i)は、
α(i)=P(O・・・O,S|c) (31)
である。このα(i)は以下のように帰納的に計算可能で、観測した記号列出力の確率P(O|c)を求めることができる
【0014】
【数10】
【0015】
ここで、πiは状態iの初期確率、b(O)は状態iからOが出力される確率、aijは状態iから状態jの遷移確率を表す。そして、Baum-Welthアルゴリズム(文献[14]参照)によって教師信号から遷移確率と出力確率の両方を推定することができる(文献[18]参照)。
さらにBaum and Sell(文献[19]参照)はBaum-Welthアルゴリズムに若干の制約条件を加えた連続密度HMM(Continuous Density HMM:以下CDHMM)を提案した:このCDHMMは連続信号を推定するために確率密度関数に混合ガウス分布モデルを利用しており、隠れマルコフモデルの能力を大きく向上させた。Juangら(文献[20]参照)は、このCDHMMの推定アルゴリズムを拡張して、音声認識に応用している。このようにして、HMMは高い試用能力を有しており、現実的に非常に効異的な手法である。
産業上の利用分野
本発明は、ニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラムに係り、特に、脳波や筋電位など生体信号のパターン認識システムに利用することができるニューラルネットワーク、ニューラルネットワークシステム及びニューラルネットワーク処理プログラムに関する。
特許請求の範囲 【請求項1】 階層型ニューラルネットワークであって、
処理部が、入力ベクトルを入力し、前記入力ベクトルをH次元のベクトルX(t) (h=1,…,H) に非線形変換して出力する前処理手段と、
処理部が、前記前処理手段からのH次元のベクトルをそれぞれ入力し、ニューラルネットワークの各層の構成を表す式に関するデータを記憶した第1テーブルを参照し、次式の入出力関係で出力する複数の第1層のユニット{h}(h=1,…,H)と、
(1)(t)=X(t) (8)
(1)(t)=(1)(t) (9)
(ここで、(1)(t)と(1)(t)はh番目のユニットの入出力を表す。)
処理部が、重み係数を記憶した第2テーブルを参照し、前記第1層のユニットからの出力を重み係数wk’,k,m,hを介して入力し((2)k’,k,m(t))、前記第1テーブルを参照し、次式の入出力関係で出力する(2)k’,k,m(t))複数の第2層のユニット{c,k,k’,m}(c=1,…,C;k,k’=1,…,K;m=1,…,Mc,k)と
【数式1】
(ただし、分析の対象とする事象はC個で、それぞれの事象c(c∈{1,…,C})はK個の状態から構成されているとき、は隠れマルコフモデルの状態数に対応するパラメータ、Mc,k事象c及び状態kに対応する混合ガウス分布モデルのコンポーネント数を表す。)
処理部が、前記第2層のユニット{c,k,k’,m}(m=1,…,Mc,k)の出力入力し、前記第1テーブルを参照し、前記入力に1時刻前の第4層のユニットの出力を乗じた値を次式の入出力関係で出力する複数の第3層のユニット{c,k,k’}と、
【数式2】
処理部が、前記第1テーブルを参照し、入力(4)(t)と出力(4)(t)を次式の入出力関係で出力する複数の第4層のユニット{c,k}(k=1,…,K)と
【数式3】
処理部が、前記第4層のユニットのKユニットの出力を入力し前記第1テーブルを参照し、次式の入出力関係で出力する複数の第5層のユニット{c}と、
【数式4】
処理部が、前記第5層のユニットの出力を出力部に出力する又は記憶部に記憶する手段と
を備えたニューラルネットワーク。
【請求項2】 前記前処理手段は、入力されたd次元ベクトルの要素をH次元(H=1+d(d+3)/2)の値に非線形演算により変換し、
前記第1の層のユニットは、各入力ベクトル毎のH個のユニットを有し、
前記第2の層のユニットは、分析の対象とする事C(c=1,2,…,C)、各事を構成する隠れマルコフモデルの状態k(k=1,2,…,K)、1時刻前の該状態k’(k’=1,2,…,K)、及び、状態の事後確率を混合して表すガウス分布のコンポーネントm(m=1,2,…,Mc,k)毎のC×Kc×Kc×Mc,kのユニットを有し、
前記第3の層のユニットは、事数c、状態数k、1時刻前の状態数k’毎のC×K×K個ユニットを有し、
前記第4の層のユニットは、事数c及び状態数k毎のC×K個ユニットを有し、
前記第5の層のユニットは、前記事数c毎のC個のユニットを有する請求項1に記載のニューラルネットワーク。
【請求項3】 前記前処理手段は、
入力ベクトルx=[x,x,・・・,x ∈Rに非線形演算による前処理を施し、次のX ∈Rに変換することを特徴とする請求項1又は2に記載のニューラルネットワーク。
【数式5】

【請求項4】 ニューラルネットワークの出力についての関数である評価関数Jは、学習時の時間変化が次式の学習則が成り立ち、評価関数Jが減少する方向に重みの差分を定めることを特徴とする請求項1乃至3のいずれかに記載のニューラルネットワーク。
dJ/dt=―ηJβ
(ここで、ηは学習率、βは0<β<1を満たす定数)
【請求項5】 ニューラルネットワークの出力についての評価関数Jに関して学習の終了時刻tから学習率ηを計算し、
これを次式に記入して学習を行なうことにより収束時間を指定することを特徴とする請求項1乃至4のいずれかに記載のニューラルネットワーク。
【数式6】

【請求項6】 さらに、学習中に残りの学習時間t-tと評価関数Jを表示する出力部をさらに備えた請求項5に記載のニューラルネットワーク。
【請求項7】 処理部が、状態数k(k=1,2,…,K)、コンポーネント数m(m=1,2,…,Mc,k)、事数c(c=1,2,…,C)、入力信号数d、時系列信号長L、収束時間t、学習データ数Nの設定を行う機能と、
処理部が、ターミナルラーニングに基づき学習率ηを計算する機能と、
処理部が、学習回数T及び学習データ数Nに基づき、請求項1乃至6のいずれかに記載のニューラルネットワークにより前向き演算を実行する前向き演算機能と、
処理部は、重みwk’,k,m,hを含む学習結果を記憶部に記憶する機能と
を備えたニューラルネットワークシステム。
【請求項8】 生体信号が入力され、入力された生体信号に従い識別用データを抽出する特徴抽出部と、
前記特徴抽出部が抽出した識別用データに基づき、請求項1乃至6のいずれかに記載のニューラルネットワークにより前向き演算を実行するR-LLGMN演算部と、
前記R-LLGMN演算部の出力結果の中で最も高い若しくは低い値又は予め決められた閾値より高い若しくは低い値を示した事番号cを識別結果として選択する識別部と
を備えたニューラルネットワークシステム。
【請求項9】 前記R-LLGMN演算部は、
前記記憶部から学習終了時に出力された重みwk’,k,m,hを読み込む機能と、
前記記憶部又は前記識別部から識別用データを入力する機能と、
これら重み及び識別用データに基づき、前記前向き演算処理を実行する機能と
を備えた請求項8に記載のニューラルネットワークシステム。
【請求項10】 前記前向き演算機能では、
処理部は、時系列信号長Lを記憶部から読み出し、初期値として設定する機能と、
処理部が、時系列信号長Lが0以下になるまで、前記前向き演算を実行する機能と、
処理部は、演算結果である第5層の出力を記憶部に記憶する機能と
を備えた請求項7乃至9のいずれかに記載のニューラルネットワークシステム。
【請求項11】 前記特徴抽出部は、
生体信号として、脳波信号(EEG)を入力し、
識別用データとして、特定の周波数帯域のパワースペクトルの平均値を要素とするベクトルを抽出することを特徴とする請求項7乃至10のいずれかに記載のニューラルネットワークシステム。
【請求項12】 前記特徴抽出部は、
生体信号は、筋電位信号(EMG)を入力し、
識別用データとして、整流及び平滑後の振幅値を要素とするベクトルを抽出することを特徴とする請求項7乃至10のいずれかに記載のニューラルネットワークシステム。
産業区分
  • 演算制御装置
  • 計算機応用
国際特許分類(IPC)
Fターム
出願権利状態 権利存続中
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close