Top > Search of Japanese Patents > REFERENCE DATA OPTIMIZATION LEARNING METHOD AND PATTERN RECOGNITION SYSTEM

REFERENCE DATA OPTIMIZATION LEARNING METHOD AND PATTERN RECOGNITION SYSTEM commons meetings foreign

Patent code P05P002907
Posted date Sep 22, 2005
Application number P2004-053433
Publication number P2005-242808A
Patent number P3861157
Date of filing Feb 27, 2004
Date of publication of application Sep 8, 2005
Date of registration Oct 6, 2006
Inventor
  • (In Japanese)マタウシュ・ハンスユルゲン
  • (In Japanese)小出 哲士
  • (In Japanese)白川 佳則
Applicant
  • (In Japanese)国立大学法人広島大学
Title REFERENCE DATA OPTIMIZATION LEARNING METHOD AND PATTERN RECOGNITION SYSTEM commons meetings foreign
Abstract PROBLEM TO BE SOLVED: To automatically learn the recognition of new reference data indispensable to pattern matching processing in a relatively short time.
SOLUTION: The optimal reference data are centroids (center) of all input data where certain reference data become recognition winner ((a) in Figure 3). However, the recognition on line to which input data are serially inputted generally cannot obtain the optimal reference data. Then, the centroids are calculated from input data of a definite number of times corresponding to the reference data regarded as the recognition winner and the reference data are optimized. In order to avoid erroneous recognition and improve the recognition rate, a recognition area is reduced and expanded. By applying optimization like these, even when the input data fluctuate by some influences, changes in distribution can be dealt with sufficiently.
Outline of related art and contending technology (In Japanese)


パターン認識システムにおいて、パターンマッチング処理は認識処理における重要な要素である。従来のシステムでは、プロセッサをベースに実現したモデルが最も一般的である。このモデルでは、入力パターンのデータをメモリ内の複数の参照データと逐次比較して、最も類似したパターンを示す参照データを検出する手法をとっている。しかしながら、このモデルの手法には、逐次比較を要することから多くの処理時間を要し、しかも比較データ数の増加に比例して、その処理に要する時間が増大してしまうという問題がある。また、参照データについては、逐次比較されるため、比較順序の入れ替え、新規な参照データの登録において学習する概念はなく、学習による処理時間の短縮効果は得られない。



パターン認識と学習は、人間の脳と同じような能力を持つ人工知能システムを構築するために必要不可欠な機能である。そのため、これらの機能を集積回路上で実現することは技術的に非常に重要である。これまでに提案されているパターン認識と学習機能の実現方法は、ニューラルネットワークを用いたものがほとんどである(例えば非特許文献1参照)。



しかし、ニューラルネットワークを用いた方法では、各ニューロンの閾値とネットワークの中の各ネットの荷重の更新が必要となり、大量の処理時間がかかってしまうという問題がある。また、効率よくパターンをネットワーク中に記憶する方法がないため、パターンの情報をネットワーク構造自体に取り入れる必要がある。更に、既にネットワークの学習が完了した後で、新たなパターンを認識できるように学習するためには、ネットワーク全体の再学習が必要となり、認識処理をしながら学習を行ってネットの荷重の更新をすることは困難である。



近年のニューラルネットワークを用いたハードウェアによる実現方法に関する進展は、当初期待されたものよりも遅れており、集積度や消費電力の観点からLSI化が困難な状況にある。このことから、メモリ要素を組み込んで効率よくパターンを記憶可能とする、より優れた新しいハードウェアでの実現方法が要望されている。



以上の諸事情を考慮し、近年では、全並列アーキテクチャによる小面積・高速連想メモリ(例えば非特許文献2-5、特許文献1-3参照)の開発が進められている。この連想メモリは、認識機能実現に重要な要素である最小距離検索機能を有しており、検索データと各参照データの比較をディジタルによる比較計算とアナログによる最小値計算により行うことにより、全てのデータ間の比較を並列に処理することが実行可能である。このことから、高速なパターンマッチング処理を実現できるものとして注目されている。



しかしながら、この連想メモリをベースとしたパターン認識システムにおいても、新たな参照データを認識するように効率よく学習させるための具体的な手法が確立されておらず、参照データの追加または入れ替えのための処理にかなりの時間を要してしまう。
【非特許文献1】
岩田穆、雨宮好仁編著、“ニューラルネットワークLSI”、電子情報通信学会、1995.
【非特許文献2】
H. J. Mattausch, N. Omori, S. Fukae, T. Koide, and T. Gyoten, "Fully-parallel pattern-matching engine with dynamic adaptability to Hamming or Manhattan distance", 2002 Symposium on VLSI Circuit Dig. of Tech. Papers, pp.252-255, 2002.
【非特許文献3】
T. Koide, Y. Yano, H. J. Mattausch, "An associative memory for real-time applications requiring fully parallel nearest Manhattan-distance-search", Proc. of the Workshop on Synthesis And System Integration of Mixed Technologies, pp.200-205, 2003.
【非特許文献4】
H.J. Mattausch, T. Gyohten, Y. Soda, T. Koide, "Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance", IEEE Journal of Solid-State Circuits, Vol.37, pp.218-227, 2002.
【非特許文献5】
Y. Yano, T. Koide, H. J. Mattausch, "Fully parallel nearest Manhattan-distance search memory with large reference-pattern number", Extend. Abst. of the International Conf. on Solid-State Devices and Materials, pp.254-255, 2002.
【特許文献1】
特願2001-011760号
【特許文献2】
特願2002-159436号
【特許文献3】
特願2002-165759号

Field of industrial application (In Japanese)


本発明は、パターンマッチング処理のための参照データを追加して認識させる参照データ最適化学習方法と、この方法を用いて参照データの認識・学習を行うパターン認識システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
パターン検索対象である入力データと複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内に存在する最小距離の参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化装置であって、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込む入力データ取り込み手段と、
前記入力データ取り込み手段で取り込まれた一定回数分の入力データについて、それぞれ対応する前記参照データとの距離分布の重心点を求める重心点演算手段と、
前記重心点演算手段で求められた重心点に位置するように前記参照データの位置を移動させる参照データ移動手段と、
前記参照データの位置の移動に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限する移動制限手段と、
を具備することを特徴とする参照データ最適化装置。

【請求項2】
 
パターン検索対象である入力データと複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内に存在する最小距離の参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化装置であって、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込む入力データ取り込み手段と、
前記入力データ取り込み手段で取り込まれた一定回数分の入力データについて、それぞれ対応する前記参照データとの距離分布の重心点を求める重心点演算手段と、
前記重心点演算手段で求められた重心点に位置するように前記参照データの位置を移動させる参照データ移動手段と、
前記参照データの位置の移動に際し、互いに隣接する参照データ間でそれぞれに設定される認識領域が重ならないように前記閾値を変更して認識領域を拡大または縮小する認識領域制御手段と、
を具備することを特徴とする参照データ最適化装置。

【請求項3】
 
パターン検索対象の入力データを複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内で最小距離にある参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化装置であって、
前記認識データとして選択されるべき参照データに対応する入力データを順次取り込む入力データ取り込み手段と、
前記認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントするカウント手段と、
前記カウント手段で前記認識領域内、外のうち先に一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う認識領域制御手段と、
を具備することを特徴とする参照データ最適化装置。

【請求項4】
 
前記認識領域制御手段は、前記閾値の変更する量を予め設定された確率分布から選択することを特徴とする請求項2または3記載の参照データ最適化装置

【請求項5】
 
前記認識領域制御手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする請求項2または3記載の参照データ最適化装置

【請求項6】
 
前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする請求項1乃至3のいずれか記載の参照データ最適化装置

【請求項7】
 
少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段、前記検索データと最小距離にある参照データを求める最小距離検索手段と、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段を備える連想メモリと、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで前記参照データを最適化する最適化手段と
前記参照データの位置の移動に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限する移動制限手段と、
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。

【請求項8】
 
少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段と、前記検索データと最小距離にある参照データを求める最小距離検索手段と前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段とを備える連想メモリと、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで参照データを最適化する最適化手段と、
前記参照データの位置の移動に際し、個々の参照データについて認識領域を決める閾値を設定し、互いに隣接する参照データ間で認識領域が重ならないように閾値を変更して認識領域を拡大または縮小する認識領域制御手段と、
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。

【請求項9】
 
少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段、前記検索データと最小距離にある参照データを求める最小距離検索手段と、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段を備える連想メモリと、
前記認識データとして選択されるべき参照データに対応する入力データを順次取り込み、前記閾値によって決まる認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、前記認識領域内、外のうち先に一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う最適化手段と
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。

【請求項10】
 
前記最適化手段は、前記閾値の変更する量を予め設定された確率分布から選択することを特徴とする請求項8または9記載のパターン認識システム。

【請求項11】
 
前記最適化手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする請求項8または9記載のパターン認識システム。

【請求項12】
 
前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする請求項7乃至9のいずれか記載のパターン認識システム。

【請求項13】
 
前記連想メモリ及び最適化手段は、1チップ集積回路に組み込まれることを特徴とする請求項7乃至9のいずれか記載のパターン認識システム。

【請求項14】
 
プログラムに従って演算処理を実行するプロセッサ、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段を備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで前記参照データを最適化する最適化手段と
前記参照データの位置の移動に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限する移動制限手段と、
前記最適化手段で最適化された参照データで前記記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。

【請求項15】
 
プログラムに従って演算処理を実行するプロセッサと、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段とを備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで前記参照データを最適化する最適化手段と、
前記参照データの位置の移動に際し、最適化手段は、個々の参照データについて認識領域を決める閾値を設定し、互いに隣接する参照データ間で認識領域が重ならないように閾値を変更して認識領域を拡大または縮小する認識領域制御手段と、
前記最適化手段で最適化された参照データで前記記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。

【請求項16】
 
プログラムに従って演算処理を実行するプロセッサ、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段を備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、
前記認識データとして選択されるべき参照データに対応する入力データを順次取り込み、前記閾値によって決まる認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、前記認識領域内、外のうち先に一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う最適化手段と
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。

【請求項17】
 
前記最適化手段は、前記閾値の変更する量を予め設定された確率分布から選択することを特徴とする請求項15または16記載のパターン認識システム。

【請求項18】
 
前記最適化手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする請求項15または16記載のパターン認識システム。

【請求項19】
 
前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする請求項14乃至16のいずれか記載のパターン認識システム。

【請求項20】
 
前記演算処理装置及び最適化手段は、1チップ集積回路に組み込まれることを特徴とする請求項14乃至16のいずれか記載のパターン認識システム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004053433thum.jpg
State of application right Registered
Reference ( R and D project ) (In Japanese)小出哲士のホームページ


PAGE TOP

close
close
close
close
close
close
close