TOP > 国内特許検索 > 参照データ最適化装置とパターン認識システム > 明細書

明細書 :参照データ最適化装置とパターン認識システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3861157号 (P3861157)
公開番号 特開2005-242808 (P2005-242808A)
登録日 平成18年10月6日(2006.10.6)
発行日 平成18年12月20日(2006.12.20)
公開日 平成17年9月8日(2005.9.8)
発明の名称または考案の名称 参照データ最適化装置とパターン認識システム
国際特許分類 G06T   7/00        (2006.01)
G06F  17/15        (2006.01)
G06N   3/00        (2006.01)
FI G06T 7/00 350B
G06F 17/15
G06N 3/00 560A
請求項の数または発明の数 20
全頁数 22
出願番号 特願2004-053433 (P2004-053433)
出願日 平成16年2月27日(2004.2.27)
審査請求日 平成16年2月27日(2004.2.27)
特許権者または実用新案権者 【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】マタウシュ・ハンスユルゲン
【氏名】小出 哲士
【氏名】白川 佳則
個別代理人の代理人 【識別番号】100058479、【弁理士】、【氏名又は名称】鈴江 武彦
【識別番号】100091351、【弁理士】、【氏名又は名称】河野 哲
【識別番号】100088683、【弁理士】、【氏名又は名称】中村 誠
【識別番号】100108855、【弁理士】、【氏名又は名称】蔵田 昌俊
【識別番号】100075672、【弁理士】、【氏名又は名称】峰 隆司
【識別番号】100109830、【弁理士】、【氏名又は名称】福原 淑弘
【識別番号】100084618、【弁理士】、【氏名又は名称】村松 貞男
【識別番号】100092196、【弁理士】、【氏名又は名称】橋本 良郎
審査官 【審査官】松尾 俊介
参考文献・文献 特開昭57-212586(JP,A)
特開昭61-261799(JP,A)
特開平09-069159(JP,A)
調査した分野 G06T 7/00
G06F 17/15
G06N 3/00
特許請求の範囲 【請求項1】
パターン検索対象である入力データと複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内に存在する最小距離の参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化装置であって、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込む入力データ取り込み手段と、
前記入力データ取り込み手段で取り込まれた一定回数分の入力データについて、それぞれ対応する前記参照データとの距離分布の重心点を求める重心点演算手段と、
前記重心点演算手段で求められた重心点に位置するように前記参照データの位置を移動させる参照データ移動手段と、
前記参照データの位置の移動に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限する移動制限手段と、
を具備することを特徴とする参照データ最適化装置。
【請求項2】
パターン検索対象である入力データと複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内に存在する最小距離の参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化装置であって、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込む入力データ取り込み手段と、
前記入力データ取り込み手段で取り込まれた一定回数分の入力データについて、それぞれ対応する前記参照データとの距離分布の重心点を求める重心点演算手段と、
前記重心点演算手段で求められた重心点に位置するように前記参照データの位置を移動させる参照データ移動手段と、
前記参照データの位置の移動に際し、互いに隣接する参照データ間でそれぞれに設定される認識領域が重ならないように前記閾値を変更して認識領域を拡大または縮小する認識領域制御手段と、
を具備することを特徴とする参照データ最適化装置。
【請求項3】
パターン検索対象の入力データを複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内で最小距離にある参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化装置であって、
前記認識データとして選択されるべき参照データに対応する入力データを順次取り込む入力データ取り込み手段と、
前記認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントするカウント手段と、
前記カウント手段で前記認識領域内、外のうち先に一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う認識領域制御手段と、
を具備することを特徴とする参照データ最適化装置。
【請求項4】
前記認識領域制御手段は、前記閾値の変更する量を予め設定された確率分布から選択することを特徴とする請求項2または3記載の参照データ最適化装置
【請求項5】
前記認識領域制御手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする請求項2または3記載の参照データ最適化装置
【請求項6】
前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする請求項1乃至3のいずれか記載の参照データ最適化装置
【請求項7】
少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段、前記検索データと最小距離にある参照データを求める最小距離検索手段と、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段を備える連想メモリと、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで前記参照データを最適化する最適化手段と
前記参照データの位置の移動に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限する移動制限手段と、
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。
【請求項8】
少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段と、前記検索データと最小距離にある参照データを求める最小距離検索手段と前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段とを備える連想メモリと、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで参照データを最適化する最適化手段と、
前記参照データの位置の移動に際し、個々の参照データについて認識領域を決める閾値を設定し、互いに隣接する参照データ間で認識領域が重ならないように閾値を変更して認識領域を拡大または縮小する認識領域制御手段と、
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。
【請求項9】
少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段、前記検索データと最小距離にある参照データを求める最小距離検索手段と、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段を備える連想メモリと、
前記認識データとして選択されるべき参照データに対応する入力データを順次取り込み、前記閾値によって決まる認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、前記認識領域内、外のうち先に一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う最適化手段と
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。
【請求項10】
前記最適化手段は、前記閾値の変更する量を予め設定された確率分布から選択することを特徴とする請求項8または9記載のパターン認識システム。
【請求項11】
前記最適化手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする請求項8または9記載のパターン認識システム。
【請求項12】
前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする請求項7乃至9のいずれか記載のパターン認識システム。
【請求項13】
前記連想メモリ及び最適化手段は、1チップ集積回路に組み込まれることを特徴とする請求項7乃至9のいずれか記載のパターン認識システム。
【請求項14】
プログラムに従って演算処理を実行するプロセッサ、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段を備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで前記参照データを最適化する最適化手段と
前記参照データの位置の移動に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限する移動制限手段と、
前記最適化手段で最適化された参照データで前記記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。
【請求項15】
プログラムに従って演算処理を実行するプロセッサと、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段とを備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、
前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を移動させることで前記参照データを最適化する最適化手段と、
前記参照データの位置の移動に際し、最適化手段は、個々の参照データについて認識領域を決める閾値を設定し、互いに隣接する参照データ間で認識領域が重ならないように閾値を変更して認識領域を拡大または縮小する認識領域制御手段と、
前記最適化手段で最適化された参照データで前記記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。
【請求項16】
プログラムに従って演算処理を実行するプロセッサ、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段を備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、
前記認識データとして選択されるべき参照データに対応する入力データを順次取り込み、前記閾値によって決まる認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、前記認識領域内、外のうち先に一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う最適化手段と
前記最適化手段で最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新する更新手段と、
を具備することを特徴とするパターン認識システム。
【請求項17】
前記最適化手段は、前記閾値の変更する量を予め設定された確率分布から選択することを特徴とする請求項15または16記載のパターン認識システム。
【請求項18】
前記最適化手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする請求項15または16記載のパターン認識システム。
【請求項19】
前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする請求項14乃至16のいずれか記載のパターン認識システム。
【請求項20】
前記演算処理装置及び最適化手段は、1チップ集積回路に組み込まれることを特徴とする請求項14乃至16のいずれか記載のパターン認識システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、パターンマッチング処理のための参照データを追加して認識させる参照データ最適化学習方法と、この方法を用いて参照データの認識・学習を行うパターン認識システムに関する。
【背景技術】
【0002】
パターン認識システムにおいて、パターンマッチング処理は認識処理における重要な要素である。従来のシステムでは、プロセッサをベースに実現したモデルが最も一般的である。このモデルでは、入力パターンのデータをメモリ内の複数の参照データと逐次比較して、最も類似したパターンを示す参照データを検出する手法をとっている。しかしながら、このモデルの手法には、逐次比較を要することから多くの処理時間を要し、しかも比較データ数の増加に比例して、その処理に要する時間が増大してしまうという問題がある。また、参照データについては、逐次比較されるため、比較順序の入れ替え、新規な参照データの登録において学習する概念はなく、学習による処理時間の短縮効果は得られない。
【0003】
パターン認識と学習は、人間の脳と同じような能力を持つ人工知能システムを構築するために必要不可欠な機能である。そのため、これらの機能を集積回路上で実現することは技術的に非常に重要である。これまでに提案されているパターン認識と学習機能の実現方法は、ニューラルネットワークを用いたものがほとんどである(例えば非特許文献1参照)。
【0004】
しかし、ニューラルネットワークを用いた方法では、各ニューロンの閾値とネットワークの中の各ネットの荷重の更新が必要となり、大量の処理時間がかかってしまうという問題がある。また、効率よくパターンをネットワーク中に記憶する方法がないため、パターンの情報をネットワーク構造自体に取り入れる必要がある。更に、既にネットワークの学習が完了した後で、新たなパターンを認識できるように学習するためには、ネットワーク全体の再学習が必要となり、認識処理をしながら学習を行ってネットの荷重の更新をすることは困難である。
【0005】
近年のニューラルネットワークを用いたハードウェアによる実現方法に関する進展は、当初期待されたものよりも遅れており、集積度や消費電力の観点からLSI化が困難な状況にある。このことから、メモリ要素を組み込んで効率よくパターンを記憶可能とする、より優れた新しいハードウェアでの実現方法が要望されている。
【0006】
以上の諸事情を考慮し、近年では、全並列アーキテクチャによる小面積・高速連想メモリ(例えば非特許文献2-5、特許文献1-3参照)の開発が進められている。この連想メモリは、認識機能実現に重要な要素である最小距離検索機能を有しており、検索データと各参照データの比較をディジタルによる比較計算とアナログによる最小値計算により行うことにより、全てのデータ間の比較を並列に処理することが実行可能である。このことから、高速なパターンマッチング処理を実現できるものとして注目されている。
【0007】
しかしながら、この連想メモリをベースとしたパターン認識システムにおいても、新たな参照データを認識するように効率よく学習させるための具体的な手法が確立されておらず、参照データの追加または入れ替えのための処理にかなりの時間を要してしまう。

【非特許文献1】岩田穆、雨宮好仁編著、“ニューラルネットワークLSI”、電子情報通信学会、1995.
【非特許文献2】H. J. Mattausch, N. Omori, S. Fukae, T. Koide, and T. Gyoten, "Fully-parallel pattern-matching engine with dynamic adaptability to Hamming or Manhattan distance", 2002 Symposium on VLSI Circuit Dig. of Tech. Papers, pp.252-255, 2002.
【非特許文献3】T. Koide, Y. Yano, H. J. Mattausch, "An associative memory for real-time applications requiring fully parallel nearest Manhattan-distance-search", Proc. of the Workshop on Synthesis And System Integration of Mixed Technologies, pp.200-205, 2003.
【非特許文献4】H.J. Mattausch, T. Gyohten, Y. Soda, T. Koide, "Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance", IEEE Journal of Solid-State Circuits, Vol.37, pp.218-227, 2002.
【非特許文献5】Y. Yano, T. Koide, H. J. Mattausch, "Fully parallel nearest Manhattan-distance search memory with large reference-pattern number", Extend. Abst. of the International Conf. on Solid-State Devices and Materials, pp.254-255, 2002.
【特許文献1】特願2001-011760号
【特許文献2】特願2002-159436号
【特許文献3】特願2002-165759号
【発明の開示】
【発明が解決しようとする課題】
【0008】
以上述べたように、人工知能システムには、入力環境の変化に対応してパターン認識を行うための機能が必要であり、学習によって幅広い認識が行えるようにすることが重要となるが、従来のシステムでは、プロセッサベースやニューラルネットワークベースの方法で学習を行っている。学習を実現するためにはプロセッサベースシステムでは、何らかの方法で参照データの更新を行う必要があり、ニューラルネットワークベースシステムでは、ネットワーク全体の各ネット荷重を更新する必要がある。そのため、パターン認識と学習を合わせて行う場合には、上述の従来システムでは、消費電力や回路規模の面で集積化が困難といった問題がある。一方、高速マッチング処理の実現を図った連想メモリベースのパターン認識システムが提案されているが、新たに追加される参照データを認識するように効率よく学習させるための具体的な手法が確立されておらず、参照データの認識・学習のための処理にかなりの時間がかかっている。
【0009】
本発明は、上記の事情に鑑みてなされたもので、パターンマッチング処理に不可欠な新規参照データの認識を比較的短時間で自動的に学習させることのできる参照データ最適化学習方法と、この方法を採用してパターン認識に要する時間を短縮可能としたパターン認識システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の目的を達成するために、本発明に係る参照データ最適化学習方法は、以下のような特徴を有する。
【0011】
(1)パターン検索対象である入力データと複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内に存在する最小距離の参照データを認識データとして選択する場合に、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化学習方法であって、前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を最適化することを特徴とする。
【0012】
(2)(1)において、前記参照データの位置の最適化に際し、当該参照データの認識領域が隣接参照データの認識領域と重ならないように移動を制限することを特徴とする。
【0013】
(3)(1)において、前記参照データの位置の最適化に際し、互いに隣接する参照データ間でそれぞれに設定される認識領域が重ならないように閾値を変更して認識領域を拡大または縮小することを特徴とする。
【0014】
(4)パターン検索対象の入力データを複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内で最小距離にある参照データを認識データとして選択するパターン認識に用いられ、前記認識データの学習によって参照データを前記パターン認識用に最適化する参照データ最適化学習方法であって、前記参照データの位置の最適化に際し、前記認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、先に前記一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行うことを特徴とする。
【0015】
(5)(3)または(4)において、前記閾値の更新量を予め設定された確率分布から選択することを特徴とする。
【0016】
(6)(3)または(4)において、前記閾値の変更は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする。
【0017】
(7)(1)において、前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする。
【0018】
また、本発明に係るパターン認識システムは、以下のような特徴を有する。
【0019】
(8)少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段、前記検索データと最小距離にある参照データを求める最小距離検索手段、及び前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段を備える連想メモリと、前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を最適化する最適化手段とを具備し、前記最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新することを特徴とする。
【0020】
(9)(8)において、前記最適化手段は、前記参照データの閾値によって決まる認識領域が隣接参照データの認識領域と重ならないように移動を制限することを特徴とする。
【0021】
(10)(8)において、前記最適化手段は、互いに隣接する参照データ間でそれぞれの閾値によって決まる認識領域が重ならないように閾値を変更して認識領域を拡大または縮小することを特徴とする。
【0022】
(11)少なくとも、入力パターンの検索データを認識するための複数の参照データを記憶する参照データ記憶手段、前記検索データと最小距離にある参照データを求める最小距離検索手段、及び前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する判断手段を備える連想メモリと、前記閾値によって決まる認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、先に前記一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う最適化手段とを具備し、前記最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新することを特徴とする。
【0023】
(12)(10)または(11)において、前記最適化手段は、前記閾値の更新量を予め設定された確率分布から選択することを特徴とする。
【0024】
(13)(10)または(11)において、前記最適化手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする。
【0025】
(14)(8)または(11)において、前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする。
【0026】
(15)(8)または(11)において、前記連想メモリ及び最適化手段は、1チップ集積回路に組み込まれることを特徴とする。
【0027】
(16)プログラムに従って演算処理を実行するプロセッサ、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段を備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、前記認識データとして選択されるべき参照データに対応する入力データを一定回数分取り込み、各入力データの前記参照データとの距離分布の重心を求め、当該重心点に位置するように前記参照データの位置を最適化する最適化手段とを具備し、前記最適化された参照データで前記記憶手段に記憶された参照データを更新することを特徴とする。
【0028】
(17)(16)において、前記最適化手段は、前記参照データの閾値によって決まる認識領域が隣接参照データの認識領域と重ならないように移動を制限することを特徴とする。
【0029】
(18)(16)において、前記最適化手段は、互いに隣接する参照データ間でそれぞれの閾値によって決まる認識領域が重ならないように閾値を変更して認識領域を拡大または縮小することを特徴とする。
【0030】
(19)プログラムに従って演算処理を実行するプロセッサ、少なくとも、入力パターンの検索データを認識するための複数の参照データ、前記プロセッサの演算処理結果、前記演算処理に用いるパラメータを記憶する記憶手段を備え、前記プロセッサが、前記プログラムによって、前記検索データと最小距離にある参照データを求め、前記最小距離が閾値以上か否かに応じて前記検索データと最小距離の参照データとの同一性を判断する演算処理装置と、前記閾値によって決まる認識領域内にある入力データ数と領域外にある入力データ数をそれぞれカウントし、先に前記一定回数に達する側に前記閾値を変更して前記認識領域の拡大または縮小を行う最適化手段とを具備し、前記最適化された参照データで前記参照データ記憶手段に記憶された参照データを更新することを特徴とする。
【0031】
(20)(18)または(19)において、前記最適化手段は、前記閾値の更新量を予め設定された確率分布から選択することを特徴とする。
【0032】
(21)(18)または(19)において、前記最適化手段は、前記入力データの集団の中心と現在の参照データとの距離を示す値を基準値と比較して、基準値を越えるときのみ前記閾値の変更を実施することを特徴とする。
【0033】
(22)(16)または(19)において、前記距離演算に供される距離の指標には、ユークリッド距離、マンハッタン距離、ハミング距離、マハラノビス距離のいずれかを用いることを特徴とする。
【0034】
(23)(16)または(19)において、前記演算処理装置及び最適化手段は、1チップ集積回路に組み込まれることを特徴とする。
【発明の効果】
【0035】
本発明によれば、パターンマッチング処理に不可欠な新規参照データの認識を比較的短時間で自動的に学習させることのできる参照データ最適化学習方法と、この方法を採用してパターン認識に要する時間を短縮可能としたパターン認識システムを提供することができる。
【発明を実施するための最良の形態】
【0036】
以下、図面を参照して、本発明を実施するための最良な形態を詳細に説明する。
【0037】
本発明に係る方法が適用される連想メモリは、図1に示すように、予めメモリ内に蓄えられた複数の参照データ(テンプレートとも呼ばれる)と入力データ(検索データとも呼ばれる)を、予め指定した距離指標に基づいて類似度で比較し、入力データと最も類似する(最も距離が小さい)参照データ(winner)を検出することでパターンマッチングを行う機能メモリである。
【0038】
図2は上記連想メモリの一例として、高速処理・小面積・低消費電力の実現に向けて開発が進められている、全並列最小距離検索を行うタイプ(全並列型連想メモリ)の構成例を示すブロック図である。図において、メモリコア部分は、メモリ領域100、ウィナー・ラインナップ増幅回路(以下、WLA回路(Winner Line-Up Amplifier))200、全ウィナー取得回路(以下、WTA回路(Winner Take All Circuit))300で構成されており、また周辺回路として行デコーダ及びR/W回路(Column Decoder and Read/Write Circuit (K x W Column))110、列デコーダ(Row Decoder (R Rows))120、検索データ保存回路(Search Data (K bit x W))130を持つ。
【0039】
メモリ領域100は、参照データをユニット(kビット)単位で保存するためのSRAMセルで形成されるW×R個のユニット保存回路(Unit Storage:US)、ユニット毎に参照データと検索データの差の絶対値(後述のマンハッタン距離)を計算するW×R個のユニット比較回路(Unit Comparison:UC)、計算した距離をアナログ電圧(あるいは電流)に変換するR個のワード重み比較回路(Word Comparison:WC)により構成されている。
【0040】
ワード重み比較回路WCで生成された信号Ci (Comparison Signal)はWLA回路200に入り、WLA回路200がこの信号Ci を回路自身のバランスにより制御し、最初の段階で各行の電圧の差を最も大きく増幅する。WLA回路200とWTA回路300は、面積増加の割合が行数Rに対して線形O(R)の小面積で実現可能であるという特徴がある。
【0041】
WTA回路300はWLA回路200により増幅された各行の電圧出力LAi の差を更に増幅する機能を持つ。WTA回路300の出力Mi においては、winner (ウィナー)行が“1”、その他のloser (ルーザ)行が“0”のディジタル信号となる。WLA回路200は、内部のフィードバック信号F(Feedback Signal)を増幅点のwinner行が最大の増幅を得られるようにするために用い、ワード重み比較回路WCに返す際に、当該WLA回路200に内蔵された電圧フォロワ(Voltage Follower)回路を用いることにより、フィードバックを高速化している。
【0042】
ここで、上記マンハッタン距離Dは、ベクトルa=(a1 ,a2 ,…,ai ,…,aN ),b=(b1 ,b2 ,…,bi ,…,bN )があるとき、次式のように表される。
【数1】
JP0003861157B2_000002t.gif

【0043】
図3は本発明に係る最適化学習アルゴリズムの概念図を示すもので、ここではパターンを色調と形状の2次元で分類する場合を例にとって表す。図3中の左上(a)において、入力データ(八角形のマーク)と予め蓄えられた4つの参照データA,B,C,Dのうち、最小のマンハッタン距離1を持つものを最も類似しているパターン(以下、winner と呼ぶ)として選択する。この場合のwinner はAの八角形のマークである。このときの最小マンハッタン距離を「winner 距離Dwi 」とする。
【0044】
winner 距離Dwi が参照データiに対して予め指定した閾値距離Dthi 以下(Dwi ≦ Dthi )であれば、winner は認識されたwinner としてみなされる。このwinner 距離Dwi を「認識winner 距離Drwi 」と呼ぶ。このように、最も類似しているパターンが予め指定していた閾値内に存在する場合に、連想メモリによってパターンが認識される。これに対してDwi がDthi より大きければ(Dwi > Dthi )、その入力データは該当する参照データと類似していないと見なされ、入力データはどの参照データにも類似していないと見なされ、認識されないことになる。但し、連想メモリでは参照データと入力データを比較することでwinner を検索し、winner距離Dwiを求めるため、予め最適な参照データを用意しておくことが効果的な認識のためには重要である。例えば、図3中の中央(b)において、入力データの分布が図のような場合には、参照データBに示した入力データ集団の中心が最適な参照データB′である方が望ましい。
【0045】
また、「認識winner 距離Drwi 」は閾値Dthi とwinner 距離Dwi とを比較することで認識されるか否かを判断するため、最適な閾値Dthi の設定も認識の向上のためには重要である。例えば、閾値Dthi について、ある参照データiに対応する(類似している)入力データを全て(100%)認識可能とする閾値をDmaxi と仮定すると、Dthi がDmaxi に比べて小さ過ぎる場合には認識率が低下してしまい、また、逆に大き過ぎて他の参照データと一致してしまうと誤認識してしまう場合がある(図3中の(c),(d))。そのため参照データに閾値Dthi の領域(認識領域)が重なり合うと、その重なり度合いから間違った認識を行ってしまう可能性があるため、認識領域の重なり合いを解消することが必要である。
【0046】
このような重なり合いの解消は、図4中の下部(c)に示すように参照データをずらしたり(C→C′,D→D′)、図5中の下部(c)のように参照データiの互いの閾値Dthi を縮小したりすることで実現することができる。このように、連想メモリベースシステムにおいて認識を正しく行うための各参照データiに対する閾値Dthi の最適化による認識領域の最適化が必要である。
【0047】
そこで本発明の最適化学習とは、参照データを最適なものに更新する「参照データ最適学習」と、各参照データの持つ閾値を最適に更新する「認識領域最適学習」の2つを意味する。以下、図6乃至図9を参照してそれぞれの学習アルゴリズムの詳細を説明する。
【0048】
尚、以下の説明において、US、SB、Gはそれぞれ参照データ、入力データ、及び参照データと入力データの差のベクトルを意味するものとする。また、図6に示すように、連想メモリ内部に保存している参照データの集合をUS={US1 ,US2 ,…,USi ,…USR }(Rは連想メモリのデータ数(行数))とする。各参照データはそれぞれkビットのWワードで構成されるものとする。よって、USi =(xi1 ,xi2 ,…,xij ,xiW )(Wは連想メモリのベクトル数(列数))と表すことができる。参照データUSi (1≦i≦R)に対して、認識winner として認識されたN個の入力データの集合をSBi ={SBi,1 ,SBi,2 ,…,SBi,k ,…,SBi,N }(1≦k≦R)と定義し、さらに入力データは、SBi,k =(yi1,k ,yi2,k ,…,yij,k ,…,yiW,k ) (1≦j≦R)と定義する。
【0049】
図7は本発明の参照データ及び認識領域の最適化学習アルゴリズムを示すフローチャートである。
【0050】
まず、参照データの最適化学習アルゴリズムについて説明する。本アルゴリズムでは最適な参照データとは、ある参照データが認識winner となるような全入力データの重心(中心)であるとする(図3中の(a))。しかし、入力データが時間とともに連続して入力されるようなオンラインの認識では、最初に全ての入力データの情報が一度にわからないため、一般に最適な参照データを得ることが難しい。そこで本発明では、認識winner とされた参照データに対応する一定回数分の入力データに基づいて、それらの重心を計算し、参照データの最適化を行う。このような処理を行うことにより、何らかの影響で入力データの分布がばらついたりした場合にも、その分布の変化に十分対応することができる。
【0051】
参照データを最適に更新する学習アルゴリズムを、図7のフローチャートに従って説明する。まず、USに入力データSBi,k を入力して(ステップS1)、winnerの検出を実行すると(ステップS2)、USi がwinner になる。次に、winner 距離Dwi,k を計算し、閾値Dthi との比較を行う(ステップS3)。比較の結果、Dwi,k ≦Dthi であるとき、Drwi=Dwi,kと認識し、入力データSBi,k と参照データUSi のベクトル差Gi,k を(1)式により計算して記憶する(ステップS4)。
【数2】
JP0003861157B2_000003t.gif

【0052】
ここで、N回認識winner となった(ステップS6,S7)参照データに対応する入力データ基づいて、参照データUSi を以下の(2)式により更新する(ステップS8)。
【数3】
JP0003861157B2_000004t.gif

【0053】
入力データが入力されるたびに認識が行われ、N回認識winnerとなった(ステップS6,ステップS7)参照データに対し、Gi,k がN回分計算されることになる。Gi,k は入力データと認識winnerとなった参照データの間の差がどの程度あるかを表すベクトルである。N回分のGi,k から式(2)の第二項が求まり、参照データと入力データの重心との差の大きさがわかる。その差が大きければ、その差を小さくするように式(2)から参照データを最適に更新する(ステップS8)。但し、差の大小の判断基準は、N回分の入力データと参照データとの差から求まる距離(例えばマンハッタン距離)と閾値(例えばマンハッタン距離)の割合である。尚、式(2)の第二項に示す大小の判断基準は後述の更新処理で用いられる式(7)と同じである。参照データ更新と閾値更新の手続は同じ処理であり、入力データの重心と参照データの差が大きい場合、参照データと閾値を更新することになる。
【0054】
次に各参照データUSi が持つ閾値Dthi を最適化する学習アルゴリズムについて説明する。
【0055】
まず、閾値を変更することは、認識領域を縮小もしくは拡大することに相当する。そのためには、入力データが認識領域内、外にどれほどの割合で入力されるかを判断する必要がある。本発明では、図8に示すように点線で表された認識領域の内側(≦Dthi )、もしくは外側(>Dthi )に存在する入力データ数をそれぞれカウントし(ステップS6,S10)、予め指定した一定回数入力データがN回存在する方へ認識領域を縮小もしくは拡大する。
【0056】
ここで、ある参照データUSi がwinner となったとき(ステップS2)、すなわちwinner 距離が閾値よりも小さい場合には、winner 距離を認識winner 距離Drwi,k(1,2,…,k,…,N)とし(ステップS3)、これらの入力データの集合をSBi ={SBi,1 ,SBi,2 ,…,SBi,k ,…,SBi,N }とする。一方、閾値よりも大きい場合、winner 距離をwinner 距離Dwi,k (1,2,…,k,…,N)とし、これらの入力データの集合をSBei ={SBei,1 ,SBei,2 ,…,SBei,k ,…SBei,N }とする。これらは閾値の更新量Dc を得るためのパラメータである。Dthi とDwi もしくはDrwi の差Dgi を以下の(3),(4)式により求める(ステップS11)。DgiはN回分の入力データが閾値からどの程度離れているかを示し、閾値更新はこの離れを小さくすることである。
【数4】
JP0003861157B2_000005t.gif

【0057】
閾値の更新量Dci は図9に示されるようにあらかじめ設定された確率分布、例えば三角分布の確率分布から選ばれる。尚、図9は閾値の更新量Dci の選択される確率分布ρ(Dci)を示しており、AがDgi =4の場合、BがDgi =3の場合を示している。
【数5】
JP0003861157B2_000006t.gif

【0058】
これより閾値は以下のように学習される。
【数6】
JP0003861157B2_000007t.gif

【0059】
参照データ及び閾値の両学習において更新処理を行う。今、
【数7】
JP0003861157B2_000008t.gif

【0060】
からGmi の各次元の平均から求まるマンハッタン距離Gti
【数8】
JP0003861157B2_000009t.gif

【0061】
が閾値と比較して小さい場合(例えば閾値の2割程度)は参照データ、閾値ともに更新しない。何故なら、Gti は入力データの集合の中心と現在の参照データそとのマンハッタン距離、すなわち新しい参照データが現在の参照データUSiからどれほど移動するかを表しており、Gti が小さいということは、更新量が少ないため、更新しても認識率の向上はあまり期待できない。そこで、このような更新量が少ない場合には更新を避けることで、更新回数をおさえることとし、効率の良い参照データの最適化を行うこととした。
【0062】
次に、上記参照データ及び認識領域の最適化学習アルゴリズムに基づく連想メモリベースシステムのアーキテクチャについて説明する。
【0063】
図10は連想メモリベース最適化学習システムのアーキテクチャを示すブロック図である。アーキテクチャは、連想メモリ装置400に対して、制御回路500、学習回路600、比較回路700、データ保存回路800、保存先選択回路900を備える。
【0064】
連想メモリ装置400は、最小距離検索を行う連想メモリ410、入力データを一時的に保存する入力バッファ420、連想メモリ410で抽出された2進数(winnerのみ”1”、他のアドレス行は”0”を出力する)を行アドレスに変換するエンコーダ(encoder)430を備える。
【0065】
制御回路500は、本システム全体の処理を制御する。学習回路600は、連想メモリ装置400の参照データ及び認識領域を決定する閾値を最適な値に学習し更新する。比較回路700は、閾値比較用、更新制御用にそれぞれ比較器710,720が用意される。データ保存回路800は、閾値記憶用、参照データ学習用、閾値縮小用、閾値拡大用にそれぞれ計算結果を保存するための第1乃至第4のメモリ810~840を備える。保存先選択回路900は、制御回路500及び学習回路600それぞれの処理過程で得られるデータの保存先を選択するための第1及び第2のカウンタ(counter)910,920を備える。
【0066】
図11は上記学習回路600の具体的な構成を示すブロック図である。この学習回路600は、減算器(Subtracter)601、加算器(Adder)602、除算器(Divider)603、乱数発生器604、確率分布格納メモリ605及び各ブロック601~605のデータ入出力に供するレジスタ(REG)611~615、入力バッファ420からの入力データ、エンコーダ430からのwinner行アドレス、データ保存回路800のメモリ810~840からのデータ(以下、メモリ1,メモリ2,メモリ3,メモリ4と記す)を選択的に取り込み、減算器601、加算器602、除算器603に導出する入力選択スイッチ621、レジスタ611~615に取り込まれたデータを連想メモリ装置400、データ保存回路800へ導出する出力選択スイッチ622を備える。
【0067】
図10及び図11に示す構成のアーキテクチャにおいて、以下に具体的な動作を説明する。
【0068】
説明を簡単にするため、W=2の参照データのi行目にUSi =(80,110)が連想メモリ410に予め蓄えられているとする。まず、閾値Dthi =10が閾値記憶用のメモリ1に蓄えられているとし、入力データSBi,1 =(75,112)が連想メモリ410に入力されると、連想メモリ410からi行がwinner となった場合には、i行目のみ「1」が出力され、他の行は「0」が出力される。連想メモリ410から(0,…,1,…,0)T (Tは転置を意味する)がエンコーダ430に入力され、このエンコーダ430から行アドレスiが出力される。
【0069】
学習回路600にi行が入力されると、参照データi行目USi =(80,110)と入力データSBi,1 =(75,112)の距離を距離指標に基づいて(例えば、マンハッタン距離)計算する。減算器601で各次元の引き算を行う。式(1)より
【数9】
JP0003861157B2_000010t.gif

【0070】
が求まる。この計算結果から補数の変換を行った後、加算器602を用いてwinner距離(例えば、マンハッタン距離)Dwi,1 =7を計算する。閾値比較用の第1の比較器710で閾値とwinner 距離を比較するとDthi >Dwi,1 であるので、このwinner は認識winner であり、参照データ学習用のメモリ2にGi,1 を記憶する。また、Dwi,1 =Drwi,1 =7となり、閾値縮小用のメモリ3にDrwi,1 を記憶する。
【0071】
{SBi,2 ,SBi,3 ,SBi,4 }={(86,112),(81,114),(77,105)}と認識winner となる入力データが予め決められた一定回数(N=4)回入力されると、{Gi,2 ,Gi,3 ,Gi,4 }={(6,2),(1,4),(-3,5)}と{Drwi,2 ,Drwi,3 ,Drwi,4 }={8,5,8}が得られる。参照データ学習用のメモリ2にGmi ={-1,13}が、閾値縮小用のメモリ2に
【数10】
JP0003861157B2_000011t.gif

【0072】
が記憶される。N=4回分入力されたので、減算器601、加算器602、除算器603を用い、式(10)からGti =3を求める。Gti =3が更新量として小さいと判断された場合には学習されない。更新前の閾値の2割以下の場合には更新量は小さいと仮定すると、Gti =3はその値より大きいため、参照データの最適化及び閾値領域の最適化が行われる。式(2)より、参照データはUSi =(0,3)+(80,110)=(80,113)と更新され、閾値は式(3)よりDgi =3となる。
【0073】
Dci を式(5)で発生させる方法を以下に説明する。図9において、Dgi =3の場合、確率分布格納メモリ605は、Dgi =3に対して0.00~0.45,0.46~0.71,0.72~0.91,0.92~1.00を予め格納している。このとき、乱数発生器604によって0.00~1.00の一様乱数を発生させ、図12に示すように、乱数が0.00~0.45の場合はDc =0、0.46~0.71の場合はDci =1、0.72~0.91の場合はDci =2、0.92~1.00の場合はDci =3が得られる。今、Dci =1が得られたとすると、式(6)からDthi =10-1=9と更新される。
【0074】
参照データ更新学習アルゴリズムと、各参照データの持つ閾値更新学習アルゴリズム(認識領域最適化アルゴリズム)をC言語を用いて計算機上に実現し、その有効性を検証するための計算機によるシミュレーションを行った。その結果をそれぞれ図13、図14に示す。ここで学習回数とは、実際に参照データや閾値を更新した回数である。
【0075】
図13のシミュレーション条件は、R=1,W=5,N=4とし、入力データのばらつきは正規分布を用いた。正規分布は、図15(a)に示される確率分布であり、中心からのばらつきsは、
【数11】
JP0003861157B2_000012t.gif

【0076】
の確率で得られる。このシミュレーションではσ=3とした。また参照データの最適化が行われていることを確認するため、入力データの中心が変化した場合、その変化に追従し参照データが変化するかを確認した。その方法として、一定回数入力データが入力されると、入力データの中心の値を各次元で「1増やし」少しずつ変化させた。つまり、入力データの中心が初め(10,15)であった場合には、1回目の変化後は(11,16)とした。
【0077】
図14のシミュレーション条件は、R=1,W=5,N=4とし、入力データのばらつきは正規分布と一様分布を用いた。一様分布は図15(a)に示される確率分布であり、中心からのばらつきsは、
【数12】
JP0003861157B2_000013t.gif

【0078】
の確率で得られる。このシミュレーションではσ=3とした。またこのシミュレーションでは入力データの変化はさせていない。
【0079】
最適化が行われている度合いを示す指標として、図13では誤差率を、図14では距離誤差率を用いた。ここで誤差率αi は、
【数13】
JP0003861157B2_000014t.gif

【0080】
と表される。MSEi は、i行の参照データに対する入力データの平均二乗誤差である(一定回数ごと計算される)。MSE0i は、理想的な参照データに対する全入力データから得られる推定の平均二乗誤差であり、無限に入力データが入力されると得られる平均二乗誤差MSEiとなり,生じうる誤差である。つまり、誤差率αi は現在の平均二乗誤差MSEi が、生じうる誤差MSE0i とどの程度離れているかを示す割合である。この誤差率αi は「0」に近いほど参照データが最適になっていることを表す。
【0081】
距離誤差率は、
【数14】
JP0003861157B2_000015t.gif

【0082】
と表される。Dmaxi は認識率が100%となる閾値である。したがって、この距離誤差率は「0」に近いほど認識領域が最適になっていることを表す。図13の結果から、学習回数が増えることで参照データの最適化が行われていることがわかる。また、入力データの分布の変化に対応しても参照データが追従し、入力データの変化に応じた最適な参照データになっていることがわかる。図14では、入力データの入力分布を正規分布と一様分布の2種類を用いており、両分布とも、学習後は認識率が75%以上の閾値となった。ここで図14において正規分布の入力データでの距離誤差率が大きくなっている。その理由は、正規分布の入力では最適な参照データを中心に入力データが偏っているため、閾値は大きくなりづらく、結果として距離誤差率は大きくなったと考えられる。
【0083】
尚、上記実施形態において、距離指標の例としてマンハッタン距離をあげたが、これ以外にユークリッド距離、ハミング距離、マハラノビス距離なども利用可能である。
【0084】
また、上記実施形態では、連想メモリ装置をベースとしたパターン認識システムについて説明したが、本発明はこれに限定されるものではなく、例えばプロセッサベースのパターン認識システムにも適用可能である。以下、このプロセッサベースの場合の実施形態に
ついて、図16を参照して説明する。
【0085】
図16は本発明の最適化学習方法を採用するプロセッサベースパターン認識システムの構成を示すブロック図である。図16において、1000はCPU(Central Processing Unit)、1100はメモリ、1300はCPU1000とメモリ1100との間で書き込みデータ、読み出しデータの転送を行うデータバスである。
【0086】
CPU1000は、ALU(Arithmetic Logic Unit)1010、レジスタ1011~1013、1020…コントローラを備える。コントローラ1020は、予め登録されたプログラムに基づいてALU1010に加減算、比較、除算等を選択的に命令する一方、メモリ1100の読み出し・書き込みを制御する。ALU1010の入出力部にはそれぞれレジスタ1011~1013がバッファとして配置される。
【0087】
メモリ1100は、入力データSB1 ~SBR を一時的に格納する領域1110、参照データUS11~USRWを格納し更新可能とする領域1120、閾値データDth1 ~DthRを格納する領域1130、CPU1000の距離計算結果D1 ~DR を格納する領域1140、Winner距離Dw1,1 ~DwR,N を格納する領域1150、Winner距離と閾値との差Dg1 ~DgR を格納する領域1160、検索データと参照データとの差G1,1 ~GR,N を格納する領域1170、閾値の内側に入力された回数の値(第1カウンタ値)1~Nを格納する領域1180、閾値の外側に入力された回数の値(第2カウンタ値)1~Nを格納する領域1190、確率的な閾値更新量データDc を格納する領域1200を備え、CPU1000側のコントローラ1020により読み出し・書き込みの制御がなされる。
【0088】
上記構成において、コントローラ1020の実行プログラムには、先に述べた連想メモリの場合と同様な処理がソフトウェアによって実行される。すなわち、CPU1000において、メモリ1100に対するデータのやりとりにより、パターン検索対象の入力データを複数の参照データそれぞれとの間で類似度に相当する距離演算を行い、閾値によって決まる認識領域内で最小距離にある参照データを認識データとして選択する。
【0089】
ここで、上記コントローラ1020の実行プログラムに、図7に示したフローチャートに基づく参照データの最適化学習処理が組み込んでおく。これにより、メモリ1100内の参照データは、常に最適状態に更新され、パターン認識に要する時間の短縮が図れる。先に述べたように、従来のプロセッサベースシステムでは、参照データの最適化学習による更新処理が組み込まれていなかったため、パターン認識に要する時間の短縮、認識率の向上が困難であったが、本発明の最適化処理を組み込むことによって上記の問題を解決し、パターン認識に要する時間の短縮、認識率の向上を実現することができる。
【0090】
尚、上記プロセッサベースシステムにおいても、距離指標の例としてマンハッタン距離以外にユークリッド距離、ハミング距離、マハラノビス距離などを利用できる。
【産業上の利用可能性】
【0091】
本発明は、人工知能システム、自律ロボット、認証システム、IDS(不正侵入検知システム)、データバンクシステム、インターネットルータ、対象認識、電動義手、家事手伝いロボットなどに適用可能である。
【図面の簡単な説明】
【0092】
【図1】本発明に係る方法が適用される連想メモリの概念図。
【図2】図1の連想メモリの一例とする全並列型連想メモリの構成例を示すブロック図。
【図3】本発明に係る最適化学習方法の概念図。
【図4】本発明に係る最適化学習方法の概念図。
【図5】本発明に係る最適化学習方法の概念図。
【図6】本発明が適用される連想メモリの参照データと入力データの対応関係を示す図。
【図7】本発明に係る参照データ及び認識領域の最適化学習アルゴリズムを示すフローチャート。
【図8】図7の閾値最適化学習アルゴリズムを説明するための認識領域の縮小及び拡大の様子を示す概念図。
【図9】本発明に係る閾値の更新量の選択される確率分布を示す特性図。
【図10】本発明に係る学習機能を付加した連想メモリのアーキテクチャを示すブロック図。
【図11】図10に示す学習回路の具体的な構成を示すブロック図。
【図12】図11に示す確率分布格納メモリがDgi =3の場合に発生させる乱数選択の一例を示す概念図。
【図13】本発明に係る参照データ最適学習に対するシミュレーション結果を示すグラフ。
【図14】本発明に係る閾値の最適化学習(認識領域最適化)に対するシミュレーション結果を示すグラフ。
【図15】図13、図14のシミュレーションに用いた入力データのばらつきの様子を示す波形図。
【図16】本発明の最適化学習方法を採用するプロセッサベースパターン認識システムの構成を示すブロック図。
【符号の説明】
【0093】
100…メモリ領域、200…WLA(Winner Line-Up Amplifier)回路、300…WTA(Winner-Take All-Circuit)回路、110…行デコーダ及びR/W回路(Column Decoder and Read/Write Circuit (K x W Column))、120…列デコーダ(Row Decoder (R Rows))、130…検索データ保存回路(Search Data (K bit x W))、
400…連想メモリ装置、410…連想メモリ、420…入力バッファ、430…エンコーダ(encoder)、500…制御回路、600…学習回路、700…比較回路、710…閾値比較用比較器、720…更新制御用比較器、800…データ保存回路、810~840…第1乃至第4のメモリ、900…保存先選択回路、910,920…カウンタ(counter)、
601…減算器(Subtracter)、602…加算器(Adder)、603…除算器(Divider)、604…乱数発生器、605…確率分布格納メモリ、611~615…レジスタ(REG)、621…入力選択スイッチ、622…出力選択スイッチ、
1000…CPU、1010…ALU、1011~1013…レジスタ、1020…コントローラ、1100…メモリ、1110…入力データ格納領域、1120…参照データ格納領域、1130…閾値データ格納領域、1140…距離計算結果格納領域、1150…Winner距離格納領域、1160…差分データ格納領域、1170…距離差データ格納領域、1180…第1カウンタ格納領域、1190…第2カウンタ格納領域、1200…閾値更新量データ格納領域、1300…データバス。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15