Top > Search of Japanese Patents > DATA PROCESSING DEVICE AND METHOD > Specification

Specification :(In Japanese)データ処理装置及び方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5130516
Publication number P2008-065477A
Date of registration Nov 16, 2012
Date of issue Jan 30, 2013
Date of publication of application Mar 21, 2008
Title of the invention, or title of the device (In Japanese)データ処理装置及び方法
IPC (International Patent Classification) G06N   3/00        (2006.01)
FI (File Index) G06N 3/00 560A
Number of claims or invention 4
Total pages 12
Application Number P2006-240739
Date of filing Sep 5, 2006
Date of request for substantive examination Apr 6, 2009
Patentee, or owner of utility model right (In Japanese)【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
Inventor, or creator of device (In Japanese)【氏名】山川 烈
【氏名】堀尾 恵一
【氏名】田中 隆博
Representative (In Japanese)【識別番号】110000154、【氏名又は名称】特許業務法人はるか国際特許事務所
Examiner (In Japanese)【審査官】赤穂 州一郎
Document or reference (In Japanese)特開2000-122991(JP,A)
特開平04-051384(JP,A)
特開平06-259585(JP,A)
特開2004-287782(JP,A)
F.Shen, O.Hasegawa,An incremental network for on-line unsupervised classification and topology learning,Neural Networks,2006年 1月,Vol.19 No.1,pp.90-106
Field of search G06N 3/00
Scope of claims (In Japanese)【請求項1】
それぞれ入力データ及び出力データを含んで構成される複数の参照データを記憶する参照データ記憶手段と、
前記参照データの各組み合わせの結合強度を記憶する結合強度記憶手段と、
前記複数の参照データの少なくとも一部を、入力データ及び出力データを含んで構成される所与の学習データに対し、該学習データに対する評価に応じて接近させ又は離間させる参照データ更新手段と、
前記学習データとの類似度に応じて、少なくとも一つの前記参照データの組み合わせを選出する組み合わせ選出手段と、
前記組み合わせ選出手段により選出される前記参照データの組み合わせの結合強度を、前記学習データに対する評価に応じて更新する結合強度更新手段と、
前記参照データの各組み合わせの結合強度に基づいて、前記複数の参照データを分類する参照データ分類手段と、
前記参照データ分類手段による分類ごとに、該分類に属する前記各参照データに含まれる入力データと所与の入力データとの類似度と、該分類に属する前記各参照データに含まれる出力データと、に基づいて、出力データを生成・出力するデータ出力手段と、
を含むことを特徴とするデータ処理装置。
【請求項2】
請求項1に記載のデータ処理装置において、
前記組み合わせ選出手段は、前記参照データの各組み合わせの補間データと前記学習データとに基づいて前記類似度を算出する、
ことを特徴とするデータ処理装置。
【請求項3】
請求項1又は2のいずれかに記載のデータ処理装置において、
前記結合強度更新手段は、前記組み合わせ選出手段により選出される前記参照データの組み合わせの結合強度を、該組み合わせと前記学習データとの類似度に応じた量だけ更新する、
ことを特徴とするデータ処理装置。
【請求項4】
入力データ及び出力データを含んで構成される学習データ及び該学習データに対する評価の入力を受け付けるステップと、
それぞれ入力データ及び出力データを含んで構成される複数の参照データの少なくとも一部を、入力される前記学習データに対し、該学習データに対する評価に応じて接近させ又は離間させるステップと、
入力される前記学習データとの類似度に応じて、少なくとも一つの前記参照データの組み合わせを選出するステップと、
選出される前記参照データの組み合わせの結合強度を、入力される学習データに対する評価に応じて更新するステップと、
前記参照データの各組み合わせの結合強度に基づいて、前記複数の参照データを分類するステップと、
前記分類するステップによる分類ごとに、該分類に属する前記各参照データに含まれる入力データと所与の入力データとの類似度と、該分類に属する前記各参照データに含まれる出力データと、に基づいて、出力データを生成・出力するステップと、
を含むことを特徴とするデータ処理方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明はデータ処理装置及び方法に関し、特に学習データを用いて所期のデータ集合を構築するデータ処理装置及び方法に関する。
【背景技術】
【0002】
下記特許文献1には、入力データ及び出力データのペアからなる学習データを、その学習データに対する評価とともに自己組織化関係(Self-Organizing Relationship: SOR)ネットワークに入力することにより、望ましい入出力データ対の集合を構築する手法が開示されている。
【0003】
また、下記非特許文献1には、ネットワークの位相構造を学習により自己組織的に構築し、入力データ集合の位相構造をグラフで表現する手法、いわゆる位相表現回路網(Topology Representing Network: TRN)が開示されている。

【特許文献1】特開2000-122991号公報
【非特許文献1】「位相表現回路網(Topology RepresentingNetwork)」,T.マルチネス(Martinetz)及びK.シュルテン(Schulten),ニューラルネットワークス,Vol.7,No.3,507-522頁,1994年
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載された手法によると、望ましい入出力データ対の集合の各要素は独立しており、それら入出力データ対の相互の関係に関する情報、例えば位相構造等は獲得できない。このため、例えば入出力データの望ましい関係が複数存在しても(つまり入出力データ間の写像関係が多価関数の関係にあっても)、そのことを把握することができないという問題があった。
【0005】
また、上記非特許文献1に記載された手法は、評価値を持たないデータの入力を前提としており、学習データに対する評価を用いて所定評価のデータ群を構築することができないという問題があった。
【0006】
本発明は上記課題に鑑みてなされたものであって、その目的は、学習データ及びその評価から、所定評価のデータ群及びそれらデータ相互の関係を獲得できるデータ処理装置及び方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明に係るデータ処理装置は、複数の参照データを記憶する参照データ記憶手段と、前記参照データの各組み合わせの結合強度を記憶する結合強度記憶手段と、前記複数の参照データの少なくとも一部を、所与の学習データに対し、該学習データに対する評価に応じて接近させ又は離間させる参照データ更新手段と、前記学習データとの類似度に応じて、少なくとも一つの前記参照データの組み合わせを選出する組み合わせ選出手段と、前記組み合わせ選出手段により選出される前記参照データの組み合わせの結合強度を、前記学習データに対する評価に応じて更新する結合強度更新手段と、を含むことを特徴とする。
【0008】
また、本発明に係るデータ処理方法は、学習データ及び該学習データに対する評価の入力を受け付けるステップと、複数の参照データの少なくとも一部を、入力される前記学習データに対し、該学習データに対する評価に応じて接近させ又は離間させるステップと、入力される前記学習データとの類似度に応じて、少なくとも一つの前記参照データの組み合わせを選出するステップと、選出される前記参照データの組み合わせの結合強度を、入力される学習データに対する評価に応じて更新するステップと、を含むことを特徴とする。
【0009】
本発明では、参照データの少なくとも一部が学習データに対して、その評価に応じて接近し、又は離間する。また、学習データとの類似度に応じて、少なくとも一つの参照データの組み合わせが選出され、選出される参照データの組み合わせの結合強度が、学習データに対する評価に応じて更新される。本発明によると、参照データ群は所定評価を有するものとなり、また結合強度により参照データ相互の関係を判断できるようになる。
【0010】
また、本発明の一態様では、前記参照データの各組み合わせの結合強度に基づいて、前記複数の参照データを分類する参照データ分類手段をさらに含む。こうすれば、所定評価のデータ群がどのような分類を有するかを把握できる。
【0011】
この態様では、前記学習データ及び前記参照データは、いずれも入力データ及び出力データを含んで構成されてよい。このとき、前記データ処理装置は、前記参照データ分類手段による分類ごとに、該分類に属する前記各参照データに含まれる入力データと所与の入力データとの類似度と、該分類に属する前記各参照データに含まれる出力データと、に基づいて、出力データを生成・出力するデータ出力手段をさらに含んでよい。こうすれば、入力データ及び出力データの望ましい関係を複数獲得し、入力データが与えられた場合に、各関係に応じて、望ましい出力データを複数出力できるようになる。
【0012】
また、本発明の一態様では、前記結合強度更新手段は、前記組み合わせ選出手段により選出される前記参照データの組み合わせの結合強度を、該組み合わせと前記学習データとの類似度に応じた量だけ更新する。こうすれば、結合強度を適切に更新できるようになる。
【0013】
また、本発明の一態様では、前記組み合わせ選出手段は、前記参照データの各組み合わせの補間データと前記学習データとに基づいて前記類似度を算出する。補間データは、例えば2つの参照データの平均データである。こうすれば、学習データと補間データとが近似している場合に、結合強度を強めたり、弱めたりできるようになる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態について図面に基づき説明する。
【0015】
本実施形態では、多数の参照データが配置されたデータ空間に対して多数の学習データがそれぞれの評価値とともに提示され、評価値に応じて一部又は全部の参照データがその学習データに接近するよう、或いは離間するように更新される。
【0016】
すなわち、図1(a)に示すように、例えばx成分及びy成分を有する参照データ(ベクトル)νをデータ空間に多数配置しておき、図中二重丸で示される肯定的な評価値E(>0)を有する学習データ(ベクトル)10gが提示された場合には、各参照データ12を該学習データ10gに接近させる。このとき、学習データ10gとの距離(例えばユークリッド距離)が短い参照データ12ほど、大きく学習データ10gに接近させる。また、評価値Eが大きいほど、大きく学習データ10gに接近させる。
【0017】
また、同図(b)に示すように、図中バツ印が中に描かれた丸印で示される、否定的な評価値E(<0)を有する学習データ10bが提示された場合には、各参照データ12を該学習データ10gから離間させる。このときも、学習データ10bとの距離(例えばユークリッド距離)が短い参照データ12ほど、大きく学習データ10bから離間させる。また、評価値Eが小さいほど、大きく学習データ10bから離間させる。
【0018】
このようにして多数の学習データ10g,10bを提示すると、図2(a)に示すように、参照データ12はデータ空間の特定箇所に集まるようになり、いずれも肯定的な評価を有するものとなる。ただし、この状態では、参照データ12相互の関係が不明である。そこで、本実施形態では、参照データ12の各組み合わせのリンクの強さ、すなわち結合強度を計算する。同図(b)には、正の結合強度を有する参照データ12のリンクが実線で示されており、また、正の結合強度を有するリンクにより直接的又は間接的に接続された参照データ12により2つの部分集合13A,13Bが形成されることが示されている。
【0019】
本実施形態では、参照データ12のリンクの結合強度を算出するために、上記の学習データ及びその評価値Eを用いている。すなわち、図3(a)に示すように、肯定的な評価値E(>0)を有する学習データ10gを提示した場合には、その学習データ10gとの類似度(たとえばユークリッド距離等のデータ間の距離の減少関数により算出できる。)が最も大きい参照データ12-1と、その次に類似度が大きい参照データ12-2とのリンク(以下、「関連リンク」という。)14の結合強度を増加(強化)させる。また、同図(b)に示すように、否定的な評価値E(<0)を有する学習データ10bを提示した場合には、その関連リンクとして、正の結合強度を有する参照データ12のリンクのうち、その両端の参照データ12の補間データ18(ここでは平均データ(データ空間における両端の参照データ12の中点に相当するデータ)とする。)と学習データ10bとの類似度が最も大きいリンク16を選出し、その結合強度を減少(弱化)させる。これにより、肯定的な評価値Eを有する学習データ10gの関連リンクの結合強度は正となり、また否定的な評価値Eを有する学習データ10bの関連リンクの結合強度は負の値を有することとなる。
【0020】
本実施形態では、このようにして参照データ12の更新及びそれらの各組み合わせのリンクについて結合強度を計算した後、任意の入力データに対して、参照データ12の部分集合13ごとに、望ましい出力データを生成・出力するようにしている。
【0021】
すなわち、各学習データ及び参照データは、図1乃至図3において、x及びyの文字でそれぞれ示される入力データ成分及び出力データ成分を含んでおり、各部分集合13に属する参照データ12群は、肯定的な評価を有する入力データ及び出力データの関係を示している。本実施形態では、任意の入力データが与えられると、この入力データと各部分集合13に属する参照データ12に含まれる入力データとの類似度を計算するとともに、それら類似度に従って各部分集合13に属する参照データ12に含まれる出力データを重み付け加算(重心演算)して、望ましい出力データを生成・出力している。このように、本実施形態によると、学習データ及びその評価値から多価関数を獲得して、所与の入力データに対して複数の出力データを生成・出力できる。
【0022】
図4は、本実施形態に係るデータ処理装置の構成図である。同図に示されるデータ処理装置20は、上述した処理を実行する装置であり、例えばコンピュータ及びそこで実行されるプログラムにより構成されている。ここで、データ処理装置20は、同図に示されるように参照データ更新部21、結合強度更新部22、参照データ記憶部23、結合強度記憶部24、データ出力部25及び参照データ分類部26を含んで構成されており、結合強度更新部22は、リンク強化部22a及びリンク弱化部22bを含んで構成されている。このデータ処理装置20は、学習データとして入出力データ対が入力されており、参照データとして好ましい入出力関係を示す入出力データ対が学習により獲得される。また、好ましい入出力関係が複数存在する場合、すなわち入出力データの写像関係が多価関数となる場合であっても、それを適切に扱い、任意の入力データに対して好ましい出力データを生成し、出力することができる。
【0023】
このデータ処理装置20は、例えば各種の制御装置に用いることができる。この場合、入力データは制御対象に関する制御誤差(動作信号)、出力データは制御対象に関する操作量である。このデータ処理装置20を制御装置として用いることにより、障害物がある作業空間において冗長マニュピュレータが障害物を回避する経路を自己組織的に獲得させたり、マニュピュレータの目標手先位置が与えられたとき、各関節の角度を決定したり、マニュピュレータの目標姿勢(各関節の目標角度)が与えられたときに、各関節が目標姿勢に到達するために必要なアクチュエータの回転トルクを決定する等、動作信号に対して好ましい操作量が複数存在するシステムの制御を好適に行うことができる。
【0024】
まず、参照データ記憶部23は、参照データνi(i=1~N)を記憶するものである。各参照データνiは、入力データwi及び出力データuiを含んで構成されている。結合強度記憶部24は、参照データνiの全リンクの結合強度Ci,j(i=1~N;j=1~N)を記憶するものである。
【0025】
参照データ更新部21は、学習データIl(l=1~M)が入力された場合に、参照データ記憶部23に記憶された参照データνiの少なくとも一部を、該学習データIlに対し、その評価値Elに応じて接近させ又は離間させるものである。すなわち、評価値Elが正であり、肯定的な評価を示す場合には学習データIlに接近させ、評価値Elが負であり、否定的な評価である場合には学習データIlから離間させるものである。ここで、各学習データIlは、入力データxl及び出力データylを含んで構成されている。
【0026】
結合強度更新部22は、学習データIlとの類似度に応じて、少なくとも一つの関連リンクを選出するとともに、選出される関連リンクの結合強度Ci,jを、評価値Elに応じて更新する。特に、結合強度更新部22は、零より大きい評価値El(以下、「E」と記す。)を有する学習データIl(以下、「I」と記す。)の関連リンクの結合強度Ci,jを更新するためのリンク強化部22aと、負の評価値El(以下、「E」と記す。)を有する学習Il(以下、「I」と記す。)の関連リンクの結合強度Ci,jを更新するためのリンク弱化部22bと、を含んでいる。
【0027】
本実施形態では、結合強度更新部22は、学習データIlと、各リンクに係る参照データνiの補間データと、の距離(例えばユークリッド距離)に基づいて、各リンクと学習データIlとの類似度を算出し、最も類似度の高いリンクを関連リンクとして選出する。補間データは、上述のように、例えば各リンクに係る2つの参照データの平均データである。また、選出される関連リンクの結合強度Ci,jを更新する場合、該関連リンクと学習データIlとの類似度(例えばユークリッド距離等の距離の減少関数により算出すればよい。)に比例する量だけ更新する。これにより、関連リンクと学習データIlとが類似すればするほど、結合強度Ci,jの更新量が大きくできる。
【0028】
参照データ分類部26は、参照データνiの各組み合わせの結合強度Ci,jに基づいて、参照データνiを分類する。具体的には、所定値(ここでは零)よりも大きい結合強度Ci,jのリンクにより直接的又は間接的に接続された参照データνiの部分集合13を作成する。
【0029】
データ出力部25は、各部分集合13に属する参照データνiに含まれる入力データwiと所与の入力データxとの類似度と、該部分集合13に属する参照データνiに含まれる出力データuiと、に基づいて、入力データxに対応する出力データyを生成・出力する。
【0030】
図5乃至図9は、データ処理装置20の動作フロー図である。図5は、参照データ記憶部23及び結合強度記憶部24に参照データνi及び結合強度Ci,jを構築する学習処理の全体を示しており、この処理では、まず参照データ更新部21が学習データIlに基づいて参照データ記憶部23の記憶内容を更新する(S100)。次に、結合強度更新部22のリンク強化部22aが肯定的な評価を有する学習データIに基づいて、その関連リンクの結合強度Ci,jを増加させる(S200)。その後、結合強度更新部22のリンク弱化部22bが否定的な評価を有する学習データIに基づいて、その関連リンクの結合強度Ci,jを減少させる(S300)。最後に、参照データ分類部26が結合強度記憶部24の記憶内容に基づいて参照データ記憶部23に記憶された参照データνiを1又は複数の部分集合13に分類する(S400)。具体的には、0よりも大きい結合強度Ci,jを有するリンクにより直接的又は間接的に接続されている参照データνi同士を同じ部分集合13に分類する。
【0031】
図6は、図5のS100の処理を詳細に示すものである。この処理では、まず参照データ記憶部23に記憶された全ての参照データνiを乱数により初期化する(S101)。次に、全ての学習データIl及びその評価値Elを取得する(S102)。そして、各学習データIlについて、参照データνiのそれぞれからのユークリッド距離を算出して、近接順位(学習データIlに近い順位)を決定する(S103)。その後、各参照データνiを、それぞれの学習データIlに対する近接順位及び評価値Elに応じて更新する(S104)。具体的には、学習データIlに対する近接順位が上であるほど該学習データIlに近づける量を大きくし、また評価値Elが大きいほど学習データIlに近づける量を大きくする。その後、順位が低い場合における学習データIlに近づける量を徐々に小さくしながら、所定回数S102乃至S104の処理を繰り返す。
【0032】
次に、図7は、図5のS200の処理を詳細に示すものである。この処理では、まず全ての参照データ間のリンクの結合強度Ci,jを零に初期化する(S201)。次に、正の評価値Eを有する学習データI及びその評価値Eを取得し、次式に従って、各参照データνiの学習ベクトルIへのユークリッド距離diを算出するとともに、学習ベクトルIに近接する順位を決定する(S202)。ここで、i0は学習ベクトルIに最も近い(近接順位1位)参照データの識別番号であり、次に近い(近接順位2位)参照データの識別番号である、iN-1は学習ベクトルIから最も遠い参照データの識別番号である。
【0033】
【数1】
JP0005130516B2_000002t.gif

【0034】
次に、近接順位が1位及び2位の参照データνi0,νi1を選出し、それら参照データの平均データmi(=(νi0+νi1)/2)を算出する。これは、データ空間におけるそれら参照データνi0,νi1の中点に相当するデータである。参照データνi0及び参照データνi1は、学習データIの関連リンクの両端に係る参照データである。そして、平均データmiと学習ベクトルIとのユークリッド距離を用いて、次式よりリンク強化への影響度flを算出する(S203)。
【0035】
【数2】
JP0005130516B2_000003t.gif

【0036】
さらに、参照データνi0と参照データνi1と間のリンク(関連リンク)の結合強度Ci0,i1を次式に従って更新する(S204)。
【0037】
【数3】
JP0005130516B2_000004t.gif

【0038】
そして、上記のS202乃至S204の処理を、正の評価値Eを有する全ての学習データIについて繰り返す。
【0039】
次に、図8は、図5のS300の処理を詳細に示すものである。この処理では、まず負の評価値Eを有する学習データI及びその評価値Eを取得し、結合強度Ci,jが零より大きいリンクの中から、そのリンクの代表点のデータ(リンクの両端に係る参照データの平均データ)が最も学習データIに近いもの(関連リンク)を選出する(S301)。この関連リンクの両端に係る参照データの識別番号をiA及びiBとする。次に、選出されたリンクの代表点のデータmiと学習データIとの距離を用いて、次式よりリンク弱化への影響度flを算出する(S302)。
【0040】
【数4】
JP0005130516B2_000005t.gif

【0041】
さらに、参照データνiA及び参照データνiB間のリンクの結合強度CiA,iBを次式に従って更新する(S303)。
【0042】
【数5】
JP0005130516B2_000006t.gif

【0043】
そして、上記のS301乃至S303の処理を、負の評価値Eを有する全ての学習データIについて繰り返す。
【0044】
最後に、図9は、データ出力部25によるデータ出力処理を詳細に示すものである。この処理では、まず外部から入力される任意の入力データxが取得され(S501)、この入力データxと参照データ記憶部23に記憶された各参照データνiの入力データ成分であるwiとの類似度Ziが次式に従って計算される。
【0045】
【数6】
JP0005130516B2_000007t.gif

【0046】
次に、データ出力部25は、次式に従って、参照データ分類部26により判断される参照データνiの部分集合13ごとに、その部分集合13に属する参照データνiに係る類似度Ziにより重み付けしつつ、該参照データνiの出力データ成分であるuiを加算することにより、出力データykを生成する。ここでCkはk番目の部分集合13を示す。
【0047】
【数7】
JP0005130516B2_000008t.gif

【0048】
以上のデータ処理装置20によると、学習データIl及びその評価値Elから、肯定的な評価の参照データνi及びそれら参照データνi相互の関係を各リンクの結合強度Ci,jとして獲得できる。特に、学習データIl及び参照データνiとして入出力データ対を用いる場合には、入出力関係が複数存在する場合であっても、任意の入力データに対応して、望ましい出力データを同数だけ適切に生成・出力することができる。
【図面の簡単な説明】
【0049】
【図1】肯定的又は否定的評価を有する学習データにより参照データが更新される様子を示す図である。
【図2】学習後のデータ空間を示す図である。
【図3】肯定的又は否定的評価を有する学習データにより参照データ間のリンクの結合強度が更新される様子を示す図である。
【図4】本発明の実施形態に係るデータ処理装置の構成図である。
【図5】学習処理の全体フローである。
【図6】参照データの更新処理フローである。
【図7】リンク強化の処理フローである。
【図8】リンク弱化の処理フローである。
【図9】データ出力の処理フローである。
【符号の説明】
【0050】
10g 肯定的評価の学習データ、10b 否定的評価の学習データ、12 参照データ、14,16 関連リンク、18 正の結合強度を有するリンク、20 データ処理装置、21 参照データ更新部、22 結合強度更新部、22a リンク強化部、22b リンク弱化部、23 参照データ記憶部、24 結合強度記憶部、25 データ出力部、26 参照データ分類部。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8