TOP > 国内特許検索 > データ処理装置、データ処理方法及びプログラム > 明細書

明細書 :データ処理装置、データ処理方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5011529号 (P5011529)
公開番号 特開2008-117090 (P2008-117090A)
登録日 平成24年6月15日(2012.6.15)
発行日 平成24年8月29日(2012.8.29)
公開日 平成20年5月22日(2008.5.22)
発明の名称または考案の名称 データ処理装置、データ処理方法及びプログラム
国際特許分類 G06N   3/08        (2006.01)
FI G06N 3/08 Q
請求項の数または発明の数 8
全頁数 14
出願番号 特願2006-298308 (P2006-298308)
出願日 平成18年11月1日(2006.11.1)
審査請求日 平成21年10月29日(2009.10.29)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】山川 烈
【氏名】古賀 崇了
個別代理人の代理人 【識別番号】110000154、【氏名又は名称】特許業務法人はるか国際特許事務所
審査官 【審査官】新井 寛
参考文献・文献 特開2000-122991(JP,A)
特開平07-225749(JP,A)
特開2001-331839(JP,A)
Da Deng, et al.,ESOM: An Algorithm to Evolve Self-Organizing Maps from On-line Data Streams,Neural Networks, 2000. IJCNN 2000, Proceedings of the IEEE-INNS-ENNS International Joint Conference on,2000年 7月27日,vol.6,p.3-8
末永 寛, 他1名,ユーザ定義可能な自己組織化パッケージの構築と新しい自己組織化手法の提案,電子情報通信学会技術研究報告,社団法人電子情報通信学会,1999年 3月19日,第98巻, 第674号,p.39-46
調査した分野 G06N 3/00-3/12
IEEE Xplore
特許請求の範囲 【請求項1】
1以上の参照ベクトルを記憶する参照ベクトル記憶手段と、
順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段と、
前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段と、
前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段と、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段と、
前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段と、
を含むことを特徴とするデータ処理装置。
【請求項2】
請求項1に記載のデータ処理装置において、
前記参照ベクトル追加手段は、前記距離算出手段により算出される距離の最小値が前記所定値より大きく、且つ前記学習ベクトルに対する評価が所定以上のものである場合に、前記参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる、
ことを特徴とするデータ処理装置。
【請求項3】
請求項1又は2に記載のデータ処理装置において、
前記活性度記憶更新手段は、前記参照ベクトルと前記学習ベクトルとの距離が近いほど、前記活性度を大きく変化させる、
ことを特徴とするデータ処理装置。
【請求項4】
請求項1乃至3のいずれかに記載のデータ処理装置において、
前記活性度記憶更新手段は、前記学習ベクトルに対する評価が肯定的である場合には前記活性度を増加させ、否定的である場合には前記活性度を減少させる、
ことを特徴とするデータ処理装置。
【請求項5】
請求項1乃至4のいずれかに記載のデータ処理装置において、
前記参照ベクトル記憶手段に記憶される前記参照ベクトルの各対に関連づけて、該対の結合強度を記憶するとともに、該対のそれぞれと前記学習ベクトルとの距離に応じて該結合強度を更新する結合強度記憶更新手段をさらに含む、
ことを特徴とするデータ処理装置。
【請求項6】
請求項5に記載のデータ処理装置において、
前記参照ベクトル更新手段は、前記最小値に係る前記参照ベクトルと、前記結合強度に基づいて判断される該参照ベクトルの近傍の参照ベクトルと、を前記学習ベクトルに対して近接させ又は離間させ、
前記参照ベクトル削除手段は、前記参照ベクトルを前記参照ベクトル記憶手段から削除する場合に、該参照ベクトルに係る前記結合強度を併せて削除する、
ことを特徴とするデータ処理装置。
【請求項7】
順次入力される学習ベクトルと、1以上の参照ベクトルを記憶する参照ベクトル記憶手段に記憶される前記各参照ベクトルと、の距離を算出する距離算出ステップと、
前記距離算出ステップで算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加ステップと、
前記距離算出ステップで算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新ステップと、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、該参照ベクトルの活性度を更新する活性度更新ステップと、
前記各参照ベクトルの活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除ステップと、
を含むことを特徴とするデータ処理方法。
【請求項8】
1以上の参照ベクトルを記憶する参照ベクトル記憶手段、
順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段、
前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段、
前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段、及び
前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段
としてコンピュータを機能させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明はデータ処理装置、データ処理方法及びプログラムに関し、特に学習ベクトルに従って所期のベクトル集合を構築するデータ処理装置、データ処理方法及びプログラムに関する。
【背景技術】
【0002】
下記特許文献1には自己組織化関係(Self-Organizing Relationship: SOR)ネットワークが開示されている。この自己組織化関係ネットワークは、所定数のニューロンモデルが配置された競合層を備えるもので、肯定的な評価を有する学習ベクトルが入力されると、一部又は全部のニューロンモデルの参照ベクトルが当該学習ベクトルに接近し、逆に否定的な評価を有する学習ベクトルが入力されると、一部又は全部のニューロンモデルの参照ベクトルが当該学習ベクトルから離間するものである。同技術によると、例えば入力データ及び出力データのペアからなる学習ベクトルを、そのペアに対する評価とともに自己組織化関係ネットワークに順次入力することにより、望ましい入出力データ対の集合を参照ベクトル群として構築することなどが可能となる。
【0003】
しかしながら、上記自己組織化関係ネットワークによると、競合層に配置されるニューロンモデルの数、すなわち参照ベクトルの数は固定であり、入力される学習ベクトルの集合によっては、望ましいデータ集合を参照ベクトル群として適切に構築することが困難な場合がある。
【0004】
この点、下記非特許文献1に記載されたESOM(Evolving Self-Organizing Map)によると、入力される学習ベクトルによって参照ベクトルの数を増やすことができる。すなわちESOMによると、学習ベクトルが入力されると、その学習ベクトルに近い参照ベクトルが既に存在すれば、従来と同様、該参照ベクトル及びその近傍の参照ベクトルを学習ベクトルに従って更新し、一方、そのような参照ベクトルが存在しなければ、学習ベクトルに一致する参照ベクトルをESOMに新たに追加する。こうして、参照ベクトルの数を必要に応じて増加させ、望ましいデータ集合を好適に構築できるようネットワークを変化させている。

【特許文献1】特開2000-122991号公報
【非特許文献1】「ESOMによるオンラインパターン解析(On-linepattern analysis by evolving self-organizing maps)」,ダ・デン(Da Deng)及びニコラ・カザボフ(NikolaKasabov),ニューロコンピューティング,Vol.51,87-103頁,2003年
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記非特許文献1には、参照ベクトルの数を減少させる手法について具体的開示が無く、したがって、学習ベクトルに含まれる入力データと出力データとの関係が時間経過により変化した場合など、学習ベクトルの性質が変化した場合であっても、過去の学習ベクトルに基づいて更新された参照ベクトルがそのまま残ってしまうという問題がある。このためESOMによると、参照ベクトル群が現在の学習ベクトルを踏まえた望ましいデータ集合と必ずしも一致しないという不具合を招く。
【0006】
本発明は上記背景に鑑みてなされたものであって、その目的は、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるデータ処理装置、データ処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明に係るデータ処理装置は、1以上の参照ベクトルを記憶する参照ベクトル記憶手段と、順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段と、前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段と、前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段と、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段と、前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段と、を含むことを特徴とする。
【0008】
また、本発明に係るデータ処理方法は、順次入力される学習ベクトルと、1以上の参照ベクトルを記憶する参照ベクトル記憶手段に記憶される前記各参照ベクトルと、の距離を算出する距離算出ステップと、前記距離算出ステップで算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加ステップと、前記距離算出ステップで算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新ステップと、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、該参照ベクトルの活性度を更新する活性度更新ステップと、前記各参照ベクトルの活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除ステップと、を含むことを特徴とする。
【0009】
また、本発明に係るプログラムは、1以上の参照ベクトルを記憶する参照ベクトル記憶手段、順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段、前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段、前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記1以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段、及び前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段としてコンピュータを機能させるためのプログラムである。このプログラムは、CD-ROMやDVD-ROMなどのコンピュータ読取可能な情報記憶媒体に格納されてよい。
【0010】
本発明によると、各参照ベクトルに関連づけて活性度を記憶しておく。この活性度は、順次入力される学習ベクトルとの距離及びその学習ベクトルに対する評価に基づいて更新される。例えば、活性度記憶更新手段は、前記参照ベクトルと前記学習ベクトルとの距離が近いほど、前記活性度を大きく変化させてよい。また、活性度記憶更新手段は、前記学習ベクトルに対する評価が肯定的である場合には前記活性度を増加させ、否定的である場合には前記活性度を減少させてよい。本発明では、こうして記憶・更新される活性度に応じて参照ベクトル記憶手段から参照ベクトルを削除するので、現在入力されている学習ベクトルの性質に基づくものではない参照ベクトルが参照ベクトル記憶手段に記憶され続けるという不具合を防止することができる。したがって、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるようになる。
【0011】
なお、前記参照ベクトル追加手段は、前記距離算出手段により算出される距離の最小値が前記所定値より大きく、且つ前記学習ベクトルに対する評価が所定以上のものである場合に、前記参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させるようにしてよい。
【0012】
また、前記参照ベクトル記憶手段に記憶される前記参照ベクトルの各対に関連づけて、該対の結合強度を記憶するとともに、該対のそれぞれと前記学習ベクトルとの距離に応じて該結合強度を更新する結合強度記憶更新手段をさらに含んでよい。このとき、結合強度記憶更新手段は、前記各対のそれぞれと前記学習ベクトルとの距離に加えて、さらに前記学習ベクトルに対する評価に応じて前記結合強度を更新してよい。
【0013】
この場合、前記参照ベクトル更新手段は、前記最小値に係る前記参照ベクトルと、前記結合強度に基づいて判断される該参照ベクトルの近傍の参照ベクトルと、を前記学習ベクトルに対して近接させ又は離間させてよい。また、前記参照ベクトル削除手段は、前記参照ベクトルを前記参照ベクトル記憶手段から削除する場合に、該参照ベクトルに係る前記結合強度を併せて削除してよい。
【発明を実施するための最良の形態】
【0014】
以下、本発明の一実施形態について図面に基づいて詳細に説明する。
【0015】
本実施形態に係るデータ処理装置は、公知のコンピュータシステムを中心に構成されたものであり、概念的には、改良された自己組織化関係ネットワークをコンピュータ上で実現するものである。すなわち、本データ処理装置では、1以上の任意数のユニット(ニューロンモデル)が配置される競合層を備えたニューラルネットワークに対し、学習モードにおいて、多数の学習ベクトルを順次入力して、該学習ベクトルの内容を各ユニットの参照ベクトルに反映させる学習処理を実行する。このとき、本実施形態では、学習ベクトル及び参照ベクトルが、入力データの成分及び出力データの成分を有しており、学習ベクトルは、その入力データ及び出力データのペアの評価値とともにニューラルネットワークに入力される。そして、肯定的評価の学習ベクトル、すなわち正の評価値の入力データ及び出力データのペアが入力されると、一部又は全部のユニットの参照ベクトルが該学習ベクトルに接近する。逆に、否定的評価の学習ベクトル、すなわち負の評価値の入力データ及び出力データのペアが入力されると、一部又は全部のユニットの参照ベクトルが該学習ベクトルから離間する。
【0016】
また、実行モードにおいては、ニューラルネットワークに対して入力データのみが入力され、この入力データと各参照ベクトルの入力データの成分との類似度(例えば距離(ユークリッド距離など)の減少関数)が算出され、この類似度を用いて各参照ベクトルの出力データの成分を重み付き加算することにより出力データを算出している。
【0017】
制御システムに適用する例を挙げれば、入力データは制御対象に関する制御誤差(制御量とその目標値との差)のデータであり、出力データは操作対象に関する操作量のデータであり、評価値は、当該制御誤差の場合に当該操作量を操作対象に適用した場合における制御の良好さを示す値(例えば制御量が収束したか否かを示す値)である。このようにすれば、学習モードでは、参照ベクトル群として、好ましい制御を実現するための制御誤差及び操作量のペア群が獲得されることとなる。また、実行モードでは、任意の制御誤差のデータを入力することで、好ましい制御を実現するための操作量のデータが出力されることとなる。こうして、本実施形態によると、対象システムの好ましい入出力関係を試行錯誤により獲得し、その後、入力データを与えることでそれに対応する好ましい出力データを出力することができる。
【0018】
本データ処理装置は、上記のように自己組織化関係ネットワークをベースとした情報処理を行うものであるが、次の点が特徴的である。すなわち、本データ処理装置は、好ましい入出力関係が変化し、それにより学習データの性質が変化した場合において、競合層上のユニットを追加したり、削除したりする機能を備えている。これにより、好ましい入出力関係が変化した場合であっても、適切にそれを参照ベクトル群として獲得することができる。
【0019】
さらに、ユニット間の結合の強さ、すなわち結合強度を管理しており、学習モードにおいて、所定値(例えば零)より大きな強度で結ばれるユニットをまとめて更新するようにしている。また、実行モードにおいては、所定値以上の強さで直接又は間接に結ばれるユニットの各部分集合について、入力データと該部分集合に属する各参照ベクトルの入力データの成分との類似度を算出し、この類似度を用いて各参照ベクトルの出力データの成分を重み付き加算することにより出力データを算出している。これにより、入力データに対して好ましい出力データが複数存在する場合であっても、それらを出力することができる。
【0020】
図1乃至図3は、本データ処理装置の処理を概念的に示している。これらの図には入力データuの軸及び出力データvの軸を有する参照ベクトル空間が示されており、白丸は参照ベクトルを示しており、破線は零よりも大きい値の結合強度のリンクがユニット間に存在することを示している。また、黒丸は学習ベクトルを示している。学習ベクトルxは、次式(1)に示されるように入力データp及び出力データqを成分とする2次元ベクトルであり、参照ベクトルwは、次式(2)に示されるように入力データu及び出力データvを成分とする2次元ベクトルである。ここでは、初期状態として競合層にN個のユニットが配置され、参照ベクトルwも当初N個存在するものとする。
【0021】
【数1】
JP0005011529B2_000002t.gif

【0022】
図1に示すように、既に存在する参照ベクトルwから所定距離(受容野半径)ε以内の位置に学習ベクトルxaが入力されると、当該参照ベクトルw及びそのユニットと零よりも大きい値の結合強度で直接結合しているユニットの参照ベクトルw,wが、学習ベクトルxaに近づくように更新される。また、既に存在する参照ベクトルw乃至wから所定距離εより離れた位置に学習ベクトルxbが入力されると、当該学習ベクトルxbの位置に新たに参照ベクトル(不図示)が追加される。
【0023】
すなわち、本データ処理装置では、学習ベクトルxが入力されると、次式(3)を満足する参照ベクトルwが既に存在するか否かを調べている。
【0024】
【数2】
JP0005011529B2_000003t.gif

【0025】
そして、そのような参照ベクトルwが存在する場合には、次式(4)乃至(7)に従って、参照ベクトルw及びそのユニットと零よりも大きい値の結合強度で直接結合しているユニットの参照ベクトルを更新する。なお、現在入力されている学習ベクトルに対して最も近い参照ベクトルと、次に近い参照ベクトル(第2最近傍の参照ベクトル)との間にリンクが存在しない場合には、リンクを新たに生成して後記の式(9)に従ってその結合強度を決定するとともに、当該第2最近傍の参照ベクトルを更新する。
【0026】
【数3】
JP0005011529B2_000004t.gif

【0027】
式(5)において、γaとγbはそれぞれ、肯定的評価を持つ学習ベクトルxが入力された場合、否定的評価を持つ学習ベクトルxが入力された場合の学習係数である。σγは、現在入力されている学習ベクトルxから参照ベクトルを離間させる場合に、両ベクトルの距離に応じて更新量を減少させる程度を決定するパラメータである。また、Eは、学習ベクトルに対する評価値であり、肯定的評価である場合には正値となり、否定的評価である場合には負値となる。Ω(b)は式(7)により定義されるものであり、bは学習ベクトルと最も距離(ここではユークリッド距離)が近いユニット(最近傍ユニット)の番号である。s(i,j)は、i番目のユニットとj番目のユニットとの結合強度を示している。すなわちΩ(b)は、最近傍ユニット及び零よりも大きい値の結合強度により最近傍ユニットと結合しているユニット(近傍ユニット)の番号の集合を示している。
【0028】
また、aは、式(6)に示すようにi番目のユニットの参照ベクトルwと学習ベクトルxとの距離の減少関数で定義されるものであり、i番目のユニットが学習ベクトルxから影響を受ける程度、すなわち影響度を示している。
【0029】
そして、i番目のユニットの参照ベクトルwは、式(5)に示されるように、当該i番目のユニットが最近傍ユニット又はその近傍ユニットであれば、上段の式に従って更新され、それ以外であれば更新されない。更新される場合の更新量Δwは、式(5)に示されるように、学習ベクトルxからの影響度a、及び評価値Eに比例している。このため、影響度aが大きいほど、また評価値Eの絶対値が大きいほど、参照ベクトルwが大きく学習ベクトルxに接近又は離反する。そして、正の評価値Eの学習ベクトルxが入力されると、最近傍ユニット及びその近傍ユニットの参照ベクトルwは、学習ベクトルxの位置に向かって参照ベクトル空間において移動する。一方、負の評価値Eの学習ベクトルxが入力されると、最近傍ユニット及びその近傍ユニットの参照ベクトルwは、学習ベクトルxから離れる向きに参照ベクトル空間において移動する。
【0030】
また、学習ベクトルxが入力された場合において、上式(3)を満足する参照ベクトルwが未だ存在せず、且つ入力された学習ベクトルxの評価値Eが予め定められた閾値を上回れば、次式(8)に従って、学習ベクトルと同一の参照ベクトルwN+1を有するN+1番目のユニットを競合層上に新たに発生させる。
【0031】
【数4】
JP0005011529B2_000005t.gif

【0032】
さらに、本データ処理装置では、競合層に配置されたユニットの各ペアについて結合強度s(i,j)を記憶しており、学習ベクトルxが入力され、その最近傍ユニット及びその近傍ユニットについて参照ベクトルwの更新が行われる場合には、それらのユニットについて次式(9)に従って結合強度s(i,j)を更新する。ここで、βは更新量を示すパラメータである。同式(9)に示すように、i番目のユニットとj番目のユニットとの結合強度s(i,j)は、評価値Eが正であれば増加し、負であれば減少する。このとき、学習ベクトルxからの各ユニットの影響度a,aが大きいほど大きく変化する。
【0033】
【数5】
JP0005011529B2_000006t.gif

【0034】
また、学習ベクトルxが入力された場合に、その最近傍ユニットが存在しなければ、上述のように新たにユニットを競合層上に追加するとともに、その追加したユニットとその近傍の2つのユニットとの各結合強度を、上式(9)に従って新たに算出する。
【0035】
さらに、本データ処理装置では、各ユニットについて活性度を管理しており、i番目のユニットの活性度Sa(i)は、次式(10)により更新される。なお、活性度Sa(i)の初期値は、適宜設定してよい。
【0036】
【数6】
JP0005011529B2_000007t.gif

【0037】
学習ベクトルxが入力され、その最近傍ユニット及びその近傍ユニットの参照ベクトルwが更新される場合に、それらユニットに関する活性度Sa(i)には、該学習ベクトルxからの影響度a及び評価値Eに比例する量が加算される。このため、正の評価値の学習ベクトルxが近傍に入力されると活性度Sa(i)は上昇し、逆に負の評価値の学習ベクトルxが近傍に入力されると活性度Sa(i)は下降する。本データ処理装置では、i番目のユニットの活性度Sa(i)が所定値未満となると、当該ユニットを競合層から削除する。すなわち、当該ユニットの参照ベクトルw、活性度Sa(i)、当該ユニットに関する結合強度をすべて消去するようにしている。
【0038】
以上の学習処理を繰り返すことにより、参照ベクトル群は、図2に示すように、好ましい評価の入力データu及び出力データvの関係を示すものとなる。本データ処理装置では、実行モードにおいて、入力データpが入力されると、次式(11)に従って、当該入力データpと各参照ベクトルwの入力データの成分uとの類似度zを算出し、次式(12)に従って、該類似度zを用いて、参照ベクトルwの出力データの成分vを重み付き加算することにより、入力データpに対応する好ましい出力データqを算出する。ここで、Σは、零よりも大きな値の結合強度s(i,j)により直接又は間接にされたユニットの集合についての和である。図3は、この計算の様子を模式的に示している。
【0039】
【数7】
JP0005011529B2_000008t.gif

【0040】
図4は、本発明の一実施形態に係るデータ処理装置の機能ブロック図である。本データ処理装置は、公知のコンピュータシステムを含んで構成されており、該コンピュータシステムにより、本発明を適用したプログラムを実行することにより、同図に示される機能が実現される。このプログラムは、CD-ROMやDVD-ROMなどのコンピュータ読取可能な情報記憶媒体によりコンピュータにインストールされてもよいし、インターネットなどの通信ネットワークからダウンロードされてもよい。
【0041】
同図に示すように、データ処理装置は、機能的には学習ベクトル入力部10、距離算出部12、参照ベクトル更新部14、参照ベクトル追加部16、データ出力部18、参照ベクトル・活性度記憶部20、結合強度記憶部22及び参照ベクトル・結合強度削除部24を含んでいる。
【0042】
まず、参照ベクトル・活性度記憶部20は、競合層に配置された各ユニットの参照ベクトルを記憶するとともに、それらに関連づけて各ユニットの活性度を記憶する。図5は、参照ベクトル・活性度記憶部20の記憶内容を模式的に示しており、同図に示すように、各ユニットの番号iに関連づけて、そのユニットの参照ベクトルwに含まれる入力データu及び出力データv、さらに活性度Sa(i)が記憶される。
【0043】
結合強度記憶部22は、参照ベクトル・活性度記憶部20に記憶される参照ベクトルの各ペアに関連づけて、該ペアの結合強度S(i,j)を記憶するものである。
【0044】
学習ベクトル入力部10は、入力データp及び出力データqからなる多数の学習ベクトルxを順に入力するものである。
【0045】
距離算出部12は、順次入力される学習ベクトルxと参照ベクトル・活性度記憶部20に記憶される各参照ベクトルwとの距離(例えばユークリッド距離)を算出する。そして、その距離の最小値が所定距離ε以下であるか否か、すなわち式(3)を満足するユニットが存在するか否かを判断する。そして、そのようなユニットが存在すれば参照ベクトル更新部14に、存在しなければ参照ベクトル追加部16に処理を指示する。
【0046】
参照ベクトル追加部16は、距離算出部12により算出される距離の最小値が所定距離εより大きい場合に、学習ベクトルxに基づいて式(8)により決定される参照ベクトルwN+1を参照ベクトル・活性度記憶部20に追加して記憶させる。さらに、参照ベクトルwN+1に関連づけて、N+1番目のユニットの活性度Sa(N+1)も記憶させる。活性度Sa(N+1)の値は式(10)に従って算出される。
【0047】
さらに、参照ベクトル追加部16は、追加したN+1番目のユニットと、該ユニットとの距離が最も近いユニット(参照ベクトル間の距離が最も近いユニット)、及び次に近いユニット(参照ベクトル間の距離が次に近いユニット)との結合強度を、式(9)に従って算出し、結合強度記憶部22に記憶させる。
【0048】
参照ベクトル更新部14は、距離算出部12により算出される距離の最小値が所定距離ε以下の場合に、参照ベクトル・活性度記憶部20に記憶される参照ベクトルの一部を、式(4)乃至式(7)に従って、学習ベクトルxに対し、評価値Eに応じて接近させたり離間させたりする。まず現在の学習ベクトルxの最近傍の参照ベクトルと第2最近傍の参照ベクトルとの間にリンクが存在しない場合には、リンクを生成する。その後、最近傍ユニット及び近傍ユニットの参照ベクトルを、学習ベクトルxに対して接近させたり離間させたりする。さらに、更新した参照ベクトルwに係るi番目のユニットの活性度Sa(i)を式(10)に従って更新する。このとき、更新した参照ベクトルwと学習ベクトルxとの距離が近いほど、該更新した参照ベクトルwに係るi番目のユニットの活性度sa(i)を大きく変化させる。また、正の評価値Eを有する学習ベクトルxが入力されれば、活性度Sa(i)を増加させ、負の評価値Eを有する学習ベクトルxが入力されれば、活性度Sa(i)を減少させる。
【0049】
さらに、参照ベクトル更新部14は、最近傍ユニットと、該ユニットとリンクが設定されているユニットと、のペアについて、式(9)に従って結合強度s(i,j)を更新する。
【0050】
参照ベクトル・結合強度削除部24は、参照ベクトルwに関連づけられた活性度Sa(i)が所定の閾値より低い場合に、該参照ベクトルw及びそれに関連づけられた活性度Sa(i)を参照ベクトル・活性度記憶部20から削除する。併せて、削除した参照ベクトルwに係るユニットに係る結合強度を結合強度記憶部22から削除する。
【0051】
データ出力部18は、専ら実行モードにおいて動作するものであり、入力データpを受付けて、式(11)及び式(12)に基づいて出力データqを算出し、出力するものである。
【0052】
図6は、本実施形態に係るデータ処理装置の学習処理を示すフロー図である。同図に示すように、学習ベクトルxが入力されると(S101)、競合層にユニットが配置されているか、すなわち参照ベクトル・活性度記憶部20に1以上のレコードが存在するかを判断する(S102)。そして、存在しなければ、学習ベクトルxと同一の参照ベクトルw及び式(10)により算出される活性度Sa(1)を、参照ベクトル・活性度記憶部20に記憶させる(S103)。一方、存在すれば、距離算出部12が、学習ベクトルxの最近傍ユニットを探し出す(S104)。そして、最近傍ユニットの参照ベクトルと学習ベクトルとの距離が所定距離εより大きいか否かを判断する(S105)。そして、所定距離εより大きく、且つ現在の学習ベクトルxの評価値Eが予め定められた閾値を上回れば(S106)、参照ベクトル追加部16が、学習ベクトルxと同一の参照ベクトルwN+1及び式(10)により算出される活性度Sa(N+1)を、参照ベクトル・活性度記憶部20に記憶させる(S107)。さらに、追加したN+1番目のユニットと、該ユニットに近い2つのユニットと、の間の結合強度を算出し、それを結合強度記憶部22に記憶させる(S108)。
【0053】
一方、S105で、学習ベクトルxと、その最近傍ユニットの参照ベクトルとの距離が所定距離ε以下であると判断される場合、参照ベクトル更新部14は、最近傍ユニットとその近傍ユニットについて参照ベクトルを式(4)乃至式(7)に従って更新する。さらに、最近傍ユニットに接続されているリンクの結合強度を式(9)に従って更新する。このとき、最近傍の参照ベクトルと第2最近傍の参照ベクトルとの間にリンクが存在しなければ、リンクを発生させてから、上記更新処理を実行する(S109)。
【0054】
次に、最近傍ユニットとその近傍ユニットの活性度を式(10)に従って更新する。そして、更新後の活性度がユーザ指定の閾値より低い場合には、それらのユニットに関する参照ベクトル、活性度及び結合強度を参照ベクトル・結合度記憶部20及び結合強度記憶部22から削除する(S110)。
【0055】
その後、S101乃至S110の処理をユーザ指定の回数だけ繰り返したかを判断する(S111)。そして、繰り返している場合には、結合強度記憶部22に記憶された結合強度のうち、最小のものを削除し、上記繰り返しの回数のカウントをリセットする(S112)。すなわち、学習ベクトルの入力が所定回数行われる毎に、最弱のリンクを削除する。その後、全ての学習データについて学習処理を完了したかを判断し(S113)、完了するまでS101以降の処理を繰り返して実行する。
【0056】
以上の実施形態によると、各参照ベクトルに関連づけて活性度が記憶される。この活性度は、学習ベクトルと参照ベクトルとの距離及びその学習ベクトルに対する評価に基づいて更新される。本実施形態では、こうして記憶・更新される活性度に応じて参照ベクトル・活性度記憶部20から参照ベクトル等を削除するので、現在入力されている学習ベクトルの性質に基づくものではない参照ベクトルが参照ベクトル・活性度記憶部20に記憶され続けるという不具合を防止することができる。したがって、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるようになる。
【図面の簡単な説明】
【0057】
【図1】参照ベクトルの更新を説明する図である。
【図2】学習済みの参照ベクトル群を示す図である。
【図3】実行モードにおける処理を説明する図である。
【図4】本実施形態に係るデータ処理装置の機能ブロック図である。
【図5】参照ベクトル・活性度記憶部の記憶内容を示す図である。
【図6】データ処理装置の学習処理を示すフロー図である。
【符号の説明】
【0058】
10 学習ベクトル入力部、12 距離算出部、14 参照ベクトル更新部、16 参照ベクトル追加部、18 データ出力部、20 参照ベクトル・活性度記憶部、22 結合強度記憶部、24 参照ベクトル・結合強度削除部。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5