TOP > 国内特許検索 > 重み符号固定学習装置 > 明細書

明細書 :重み符号固定学習装置

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和2年5月14日(2020.5.14)
発明の名称または考案の名称 重み符号固定学習装置
国際特許分類 G06N   3/063       (2006.01)
G06G   7/16        (2006.01)
G06G   7/14        (2006.01)
FI G06N 3/063
G06G 7/16 510
G06G 7/14
国際予備審査の請求
全頁数 22
出願番号 特願2019-505784 (P2019-505784)
国際出願番号 PCT/JP2018/004786
国際公開番号 WO2018/168293
国際出願日 平成30年2月13日(2018.2.13)
国際公開日 平成30年9月20日(2018.9.20)
優先権出願番号 2017048421
優先日 平成29年3月14日(2017.3.14)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】浅井 哲也
出願人 【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
個別代理人の代理人 【識別番号】110000958、【氏名又は名称】特許業務法人 インテクト国際特許事務所
【識別番号】100120189、【弁理士】、【氏名又は名称】奥 和幸
【識別番号】100173510、【弁理士】、【氏名又は名称】美川 公司
審査請求 未請求
要約 FC型ニューラルネットワーク回路における接続部の占有面積を大幅に低減することが可能なニューラルネットワーク回路を提供する。
自己学習機能を有する学習装置を構成し且つ脳機能に対応したアナログ型のニューラルネットワーク回路SSにおいて、複数(n個)の入力側のニューロンNRと、複数(m個且つn=mの場合を含む)の出力側のニューロンNRと、一の入力側ニューロンNRと一の出力側ニューロンNRとをそれぞれ接続する(n×m)個の接続部CNと、自己学習制御部Cと、を備え、(n×m)個の接続部CNは、脳機能としての正の重み付け機能のみに対応した接続部CNと、当該脳機能としての負の重み付け機能のみに対応した接続部CNと、により構成されている。
特許請求の範囲 【請求項1】
脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、
前記ニューラルネットワーク回路は、
入力データに相当する入力信号がそれぞれ入力される複数(n個)の入力部と、
出力データに相当する出力信号がそれぞれ出力される複数(m個且つn=mの場合を含む)の出力部と、
一の前記入力部と一の前記出力部とをそれぞれ接続する(n×m)個の接続部と、
により構成されており、
前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように当該重み符号固定学習装置を制御して、前記自己学習の機能を実行させる制御手段を備え、
(n×m)個の前記接続部は、前記脳機能としての正の重み付け機能のみに対応した前記接続部である正専用接続部と、当該脳機能としての負の重み付け機能のみに対応した前記接続部である負専用接続部と、により構成されていることを特徴とする重み符号固定学習装置。
【請求項2】
請求項1に記載の重み符号固定学習装置において、
前記正専用接続部と前記負専用接続部とが同数であることを特徴とする重み符号固定学習装置。
【請求項3】
請求項1又は請求項2に記載の重み符号固定学習装置において、
前記正専用接続部及び前記負専用接続部が、(n×m)個の前記接続部において一様乱数的に分布していることを特徴とする重み符号固定学習装置。
【請求項4】
請求項1又は請求項2に記載の重み符号固定学習装置において、
前記正専用接続部及び前記負専用接続部が、(n×m)個の前記接続部において規則的に分布していることを特徴とする重み符号固定学習装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、ニューラルネットワーク回路を備えた重み符号固定学習装置の技術分野に属し、より詳細には、脳機能に対応するアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置の技術分野に属する。
【背景技術】
【0002】
近年、人の脳機能に対応したニューラルネットワーク回路を用いた深層学習機能(いわゆるディープラーニング機能)に関連する研究開発が盛んに行われている。このとき、ニューラルネットワーク回路を具体的に実現する場合には、デジタル回路が用いられる場合とアナログ回路が用いられる場合とがある。ここで、前者は処理能力としては高いが大規模なハードウェア構成が必要となると共に消費電力が大きくなるため、例えばデータセンタ等において用いられる。これに対して後者は、処理能力はデジタル回路が用いられる場合より劣るものの、ハードウェア構成としての最小化及び消費電力の低減が期待できるため、例えば上記データセンタ等に接続される端末装置用として利用されることが多い。そして、後者に関する先行技術としては、例えば下記特許文献1に開示されている技術が挙げられる。
【0003】
この特許文献1には、アナログ回路により構成された(即ちアナログ型の)ニューラルネットワーク回路であって、入力側のニューロンの全てと出力側のニューロンの全てとを、それぞれの重み付けに対応した抵抗値を有する接続部により一対一に接続する、深層学習用のいわゆる全結合(FC(Full Connection))型ニューラルネットワーク回路が開示されている。この場合の重み付けとは、当該ニューラルネットワーク回路が対応すべき脳機能に対応した重み付けであり、特許文献1に開示されているニューラルネットワーク回路では、各接続部の抵抗値を可変抵抗素子により構成することで当該重み付けに対応させている。このようなFC型ニューラルネットワーク回路は、例えば近傍結合型等の他の形式のニューラルネットワーク回路や、より大規模なニューラルネットワーク回路の一部として活用できるため、それ自体の更なる処理能力の向上と共に、回路規模(占有面積)の縮小化が望まれる。
【先行技術文献】
【0004】

【特許文献1】特開2009-282782号公報(第1図、第3図等)
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記ニューラルネットワーク回路の機能を脳機能により近付けるためには、一般に、上記重み付けとして、正の重み付けに加えて負の重み付けを用いることが必要となる。一方、上記接続部としての抵抗値は、各接続部において一定(即ち抵抗値固定式)である。よって、このような接続部により上記正の重み付けと負の重み付けとを共に実現しようとすると、入力側の一ニューロンに対応する入力データに相当する入力信号を、絶対値が等しい正の入力信号と負の入力信号とに分け、同じ抵抗値を有する二つの抵抗にこれら二つの入力信号を選択的に入力する構成とする必要がある。このとき、上記「選択的に入力する」とは、正の重み付けを実現する場合には正の入力信号のみを入力し、負の重み付けを実現する場合には負の入力信号のみを入力することを意味する。なお、正の重み付けを実現する場合には、結果的に負の入力信号用の抵抗は使用されないことになり、また負の重み付けを実現する場合には、結果的に正の入力信号用の提供は使用されないことになるが、正の重み付けを実現するか負の重み付けを実現するかは、対応させる脳機能によりニューラルネットワーク回路ごとに異なるため、回路としての汎用性を実現するためには、入力側の一のニューロンと出力側の一のニューロンとを接続する一の接続部ごとに上記二つの抵抗を予め造っておく必要がある。そしてこの場合には、当該二つの抵抗により一つの接続部が構成されることから、接続部としての回路規模(占有面積)が結果として二倍となってしまい、当該占有面積の縮小化が図れないという問題点があった。
【0006】
そしてこの問題点は、入力側のニューロンの数と出力側のニューロンの数とを乗じた数だけ接続部が必要となるFC型ニューラルネットワーク回路では、接続部の多数化に伴い、占有面積の増大がより深刻化するという問題点に繋がる。
【0007】
そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、FC型ニューラルネットワーク回路における接続部の占有面積を大幅に低減することが可能な自己学習型の重み符号固定学習装置を提供することにある。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、請求項1に記載の発明は、脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、前記ニューラルネットワーク回路は、入力データに相当する入力信号がそれぞれ入力される複数(n個)の入力部と、出力データに相当する出力信号がそれぞれ出力される複数(m個且つn=mの場合を含む)の出力部と、一の前記入力部と一の前記出力部とをそれぞれ接続する(n×m)個の接続部と、により構成されており、前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように当該重み符号固定学習装置を制御して、前記自己学習の機能を実行させる自己学習制御部等の制御手段を備え、(n×m)個の前記接続部は、前記脳機能としての正の重み付け機能のみに対応した前記接続部である正専用接続部と、当該脳機能としての負の重み付け機能のみに対応した前記接続部である負専用接続部と、により構成されている。
【0009】
請求項1に記載の発明は、n個の入力部と、m個の出力部と、(n×m)個の接続部と、自己学習の機能を実行させる制御手段と、を備え、(n×m)個の接続部が正専用接続部及び負専用接続部により構成されている。よって、正専用接続部及び負専用接続部から各接続部が構成されているので、ニューラルネットワーク回路における接続部の占有面積を大幅に低減することができる。
【0010】
上記の課題を解決するために、請求項2に記載の発明は、請求項1に記載の重み符号固定学習装置において、前記正専用接続部と前記負専用接続部とが同数であるように構成される。
【0011】
請求項2に記載の発明によれば、請求項1に記載の発明の作用に加えて、正専用接続部と負専用接続部とが同数であるので、重み符号固定学習装置としての学習能力を向上させつつ、接続部の占有面積を大幅に低減することができる。
【0012】
上記の課題を解決するために、請求項3に記載の発明は、請求項1又は請求項2に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、(n×m)個の前記接続部において一様乱数的に分布しているように構成される。
【0013】
請求項3に記載の発明によれば、請求項1又は請求項2に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、(n×m)個の接続部において一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部の占有面積を大幅に低減することができる。
【0014】
上記の課題を解決するために、請求項4に記載の発明は、請求項1又は請求項2に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、(n×m)個の前記接続部において規則的に分布しているように構成される。
【0015】
請求項4に記載の発明によれば、請求項1又は請求項2に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、(n×m)個の接続部において規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部の占有面積を大幅に低減することができる。
【発明の効果】
【0016】
本発明によれば、n個の入力部と、m個の出力部と、(n×m)個の接続部と、自己学習機能を実行させる制御手段と、を備え、(n×m)個の接続部が正専用接続部及び負専用接続部により構成されている。
【0017】
従って、正専用接続部及び負専用接続部から各接続部が構成されているので、アナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置における接続部の占有面積を大幅に低減することができる。
【図面の簡単な説明】
【0018】
【図1】一つのニューロンをモデル化したユニットを示す図である。
【図2】第1実施形態に係るニューラルネットワーク回路を示す図である。
【図3】第1実施形態に係るニューラルネットワーク回路の一部等を示す図であり、(a)は当該一部を示す図であり、(b)は当該一部をアナログ回路により構成した場合のニューラルネットワーク回路を示す図である。
【図4】第2実施形態に係るニューラルネットワーク回路を示す図である。
【発明を実施するための形態】
【0019】
次に、本発明に係る実施形態について、図面に基づいてそれぞれ説明する。なお以下に説明する各実施形態は、人の脳機能をアナログ型のニューラルネットワーク回路によりモデル化する場合について本発明を適用した場合の実施形態等である。

【0020】
(I)第1実施形態
初めに、本発明に係る第1実施形態について、図1乃至図3を用いて説明する。なお、図1は一つのニューロンをモデル化したユニットを示す図であり、図2は第1実施形態に係るニューラルネットワーク回路を示す図であり、図3は当該ニューラルネットワーク回路の一部等を示す図である。

【0021】
(A)ニューラルネットワークについて
先ず、上記脳機能をモデル化したニューラルネットワークについて、図1を用いて一般的に説明する。

【0022】
一般に人の脳の中には、多数のニューロン(神経細胞)が存在しているとされている。脳の中で各ニューロンは、多数の他のニューロンからの電気信号を受信し、また更に他の多数のニューロンへ電気信号を送信している。そして脳は、各ニューロン間のこれら電気信号の流れによって、様々な情報処理を行っているとされている。このとき、各ニューロン間における電気信号の送受信は、シナプスと呼ばれる細胞を介して行われる。そして、脳における上記ニューロン間の電気信号の送受信をモデル化してコンピュータ内に脳機能を実現しようとしたものが、ニューラルネットワークである。

【0023】
より具体的にニューラルネットワークでは図1に例示するように、外部から入力される複数の入力データI1、入力データI2、…、入力データIn(nは自然数。以下同様。)のそれぞれに対する乗算処理、加算処理及び活性化関数の適用処理が、一つのユニットとしてのニューロンNRを中心として実行され、その結果をそのニューロンNRからの出力データOとすることで、脳機能における一つのニューロンに対する上記電気信号の送受信をモデル化する。なお以下の説明において、上記活性化関数の適用処理を、単に「活性化処理」と称する。このとき一つのニューロンNRについて、複数の入力データI1、入力データI2、…、入力データInそれぞれに対応して予め設定された(つまり既定の)重み付け係数W1、重み付け係数W2、…、重み付け係数Wnを当該入力データI1、入力データI2、…、入力データInに対してそれぞれ乗算することで上記乗算処理が実行される。その後、各入力データI1、入力データI2、…、入力データInに対する上記乗算処理の結果のそれぞれを加算する上記加算処理が当該ニューロンNRについて実行される。そして次に、上記加算処理の結果に既定の活性化関数Fを適用する上記活性化処理が実行され、その結果を上記出力データΟとして他の一又は複数のニューロンにNRに出力する。上述した一連の乗算処理、加算処理及び活性化処理を数式で表すと、図1に示す式(1)となる。このとき、重み付け係数W1、重み付け係数W2、…、重み付け係数Wnを入力データI1、入力データI2、…、入力データInにそれぞれ乗算する乗算処理が、ニューロンNR間の上記電気信号のやり取りにおける上記シナプスの作用に相当する。

【0024】
(B)第1実施形態に係るニューラルネットワーク回路について
次に、図1に例示するニューロンNRを複数備えた第1実施形態に係るニューラルネットワーク回路SSについて、図2を用いて説明する。このニューラルネットワーク回路SSが本発明に係る「学習装置」の一例に相当する。

【0025】
図2に示すように、図1に例示する一つのニューロンNR(一ユニット)が多数集まってシナプスにより互いに接続されることにより、脳全体がニューラルネットワークNWとしてモデル化される。なお以下の説明において、入力データI1乃至入力データInに共通の事項を説明する場合、単に「入力データI」と称する。また同様に、出力データO1乃至出力データOnに共通の事項を説明する場合、単に「出力データO」と称する。更に同様に、重み付け係数W1乃至重み付け係数Wnに共通の事項を説明する場合、単に「重み付け係数W」と称する。

【0026】
一方第1実施形態に係るニューラルネットワーク回路SSは、上記ニューラルネットワークNWに加えて、当該ニューラルネットワークNWにおける自己学習機能を制御する自己学習制御部Cを備える。第1実施形態に係る自己学習制御部Cは、ニューラルネットワークNW全体としての出力データOをその出力側からニューラルネットワークNWに再入力した結果としてその入力側から出力されるデータが元の入力データIと一致するようにニューラルネットワークNWを制御して、ニューラルネットワーク回路SSとしての自己学習機能を実行させる。この自己学習制御部Cが本発明に係る「制御手段」の一例に相当する。

【0027】
次に、第1実施形態に係るニューラルネットワーク回路SSの一部の構成を、アナログ型のニューラルネットワーク回路を用いて具体化した構成について、図3を用いて説明する。なお以下の説明では、図3(a)に示す七つのニューロンNRにより構成されるニューラルネットワーク回路SSの一部を用いて、第1実施形態に係るアナログ型のニューラルネットワーク回路SSの構成を説明する。また図3では、図2に示した自己学習制御部Cの記載を省略している。

【0028】
このとき図3(a)においては、入力データI1乃至入力データI4がそれぞれ入力される入力側のニューロンNRi1乃至ニューロンNRi4と、出力データO1乃至出力データO3がそれぞれ出力される出力側のニューロンNRo1乃至ニューロンNRo3と、が、それぞれ相互に接続されている。即ち、入力側のニューロンNRi1は出力側のニューロンNRo1乃至ニューロンNRo3の全てに接続されており、入力側のニューロンNRi2も当該ニューロンNRo1乃至ニューロンNRo3の全てに接続されており、入力側のニューロンNRi3も当該ニューロンNRo1乃至ニューロンNRo3の全てに接続されており、入力側のニューロンNRi4も当該ニューロンNRo1乃至ニューロンNRo3の全てに接続されている。なお以下の説明において、ニューロンNRi1乃至ニューロンNRi4及びニューロンNRo1乃至ニューロンNRo3について共通の事項を説明する場合、単に「ニューロンNR」と称する。そして、図3(a)においてニューロンNRi1乃至ニューロンNRi4とニューロンNRo1乃至ニューロンNRo3との間に示されている矢印が、各ニューロンNR間の上記重み付け係数Wに対応している。また、ニューロンNRi1乃至ニューロンNRi4が本発明に係る「入力部」の一例に相当し、ニューロンNRo1乃至ニューロンNRo3が本発明に係る「出力部」の一例に相当する。

【0029】
そして図3(b)に示すように、第1実施形態に係るニューラルネットワーク回路SSは、ニューロンNRi1乃至ニューロンNRi4にそれぞれ接続され且つ入力データI1乃至入力データI4に対応した正電圧が印加される四本の正電圧線Li1+乃至正電圧線Li4+と、ニューロンNRi1乃至ニューロンNRi4にそれぞれ接続されて入力データI1乃至入力データI4のそれぞれに対応した負電圧が印加される四本の負電圧線Li1-乃至負電圧線Li4-と、ニューロンNRo1乃至ニューロンNRo3にそれぞれ接続された三本の正電圧線Lo1+乃至正電圧線Lo3+と、ニューロンNRo1乃至ニューロンNRo3にそれぞれ接続された三本の負電圧線Lo1-乃至負電圧線Lo3-と、を備えている。このとき、正電圧線Li1+乃至正電圧線Li4+と、負電圧線Li1-乃至負電圧線Li4-と、正電圧線Lo1+乃至正電圧線Lo3+と、負電圧線Lo1-乃至負電圧線Lo3-と、は、例えばフォトリソグラフィ技術により各々別個の層内に形成されている。

【0030】
そして図3(b)においては、ニューロンNRi1とニューロンNRo1とを接続する接続部CN11が正電圧線Li1+、負電圧線Li1-、正電圧線Lo1+及び負電圧線Lo1-により形成され、ニューロンNRi1とニューロンNRo2とを接続する接続部CN12が正電圧線Li1+、負電圧線Li1-、正電圧線Lo2+及び負電圧線Lo2-により形成され、ニューロンNRi1とニューロンNRo3とを接続する接続部CN13が正電圧線Li1+、負電圧線Li1-、正電圧線Lo3+及び負電圧線Lo3-により形成される。また、ニューロンNRi2とニューロンNRo1とを接続する接続部CN21が正電圧線Li2+、負電圧線Li2-、正電圧線Lo1+及び負電圧線Lo1-により形成され、ニューロンNRi2とニューロンNRo2とを接続する接続部CN22が正電圧線Li2+、負電圧線Li2-、正電圧線Lo2+及び負電圧線Lo2-により形成され、ニューロンNRi2とニューロンNRo3とを接続する接続部CN23が正電圧線Li2+、負電圧線Li2-、正電圧線Lo3+及び負電圧線Lo3-により形成される。また、ニューロンNRi3とニューロンNRo1とを接続する接続部CN31が正電圧線Li3+、負電圧線Li3-、正電圧線Lo1+及び負電圧線Lo1-により形成され、ニューロンNRi3とニューロンNRo2とを接続する接続部CN32が正電圧線Li3+、負電圧線Li3-、正電圧線Lo2+及び負電圧線Lo2-により形成され、ニューロンNRi3とニューロンNRo3とを接続する接続部CN33が正電圧線Li3+、負電圧線Li3-、正電圧線Lo3+及び負電圧線Lo3-により形成される。更に、ニューロンNRi4とニューロンNRo1とを接続する接続部CN41が正電圧線Li4+、負電圧線Li4-、正電圧線Lo1+及び負電圧線Lo1-により形成され、ニューロンNRi4とニューロンNRo2とを接続する接続部CN42が正電圧線Li4+、負電圧線Li4-、正電圧線Lo2+及び負電圧線Lo2-により形成され、ニューロンNRi4とニューロンNRo3とを接続する接続部CN43が正電圧線Li4+、負電圧線Li4-、正電圧線Lo3+及び負電圧線Lo3-により形成される。なお以下の説明において、上記接続部CN11乃至上記接続部CN13、上記接続部CN21乃至上記接続部CN23、上記接続部CN31乃至上記接続部CN33、及び上記接続部CN41乃至上記接続部CN43に共通する事項を説明する場合、単に「接続部CN」と称する。そして、各接続部CNのそれぞれにおいては、正電圧線同士(例えば正電圧線Li1+と正電圧線Lo1+。以下、同様。)又は負電圧線同士(例えば負電圧線Li1-と負電圧線Lo1-。以下、同様)のいずれか一方のみが、それが対応する上記重み付け係数Wにそれぞれ対応する抵抗値の抵抗素子により接続される。

【0031】
そして図3(b)に示す第1実施形態に係るニューラルネットワーク回路SSでは、各接続部CNに含まれる各電圧線のいずれが上記抵抗素子により接続されるかは、正電圧線同士が接続されている接続部CN11等の数と負電圧線同士が接続されている接続部CN13等の数とが当該ニューラルネットワーク回路SS全体について同数となり、更に、正電圧線同士が接続された接続部CN11等と、負電圧線同士が接続された接続部CN13等が、当該ニューラルネットワーク回路SS全体について一様乱数的に(即ちランダムに)分布するように、予め決定される。これは、本願の発明者らの研究により、各接続部CN11等において正電圧線同士又は負電圧線同士のいずれか一方のみを抵抗素子により接続する場合であっても、正電圧線同士が接続されている接続部CN11等の数と負電圧線同士が接続されている接続部CN11等の数とがニューラルネットワーク回路SS全体について同数となり、更に、それらがニューラルネットワーク回路SS全体について一様乱数的に分布していれば、ニューラルネットワーク回路SS全体の学習機能及び汎化機能において従来と同様の性能が担保されることが発見されたことによる。ここで上記汎化機能とは、未学習の入力データIを正しく分類する機能をいう。また、正電圧線同士のみが接続されている接続部CN11等が本発明に係る「正専用接続部」の一例に相当し、負電圧線同士のみが接続されている接続部CN13等が本発明に係る「負専用接続部」の一例に相当する。

【0032】
ここで、図3(b)に例示する第1実施形態に係るニューラルネットワーク回路SSでは、接続部CN11においては正電圧線Li1+と正電圧線Lo1+のみが抵抗素子R1により接続されており、当該抵抗素子R1の抵抗値がニューロンNRi1とニューロンNRo1とを接続する際の上記正の重み付け係数Wに対応している。なお、正電圧線Li1+と正電圧線Lo1+との抵抗素子R1による接続の態様は、具体的には、例えば上記特許文献1の第1図又は第3図に記載されている可変抵抗素子を用いた電圧線の接続態様と基本的に同一である(以下の各接続部CNにおいて同様)。また接続部CN12においては正電圧線Li1+と正電圧線Lo2+のみが抵抗素子R5により接続されており、当該抵抗素子R5の抵抗値がニューロンNRi1とニューロンNRo2とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN13においては負電圧線Li1-と負電圧線Lo3-のみが抵抗素子R9により接続されており、当該抵抗素子R9の抵抗値がニューロンNRi1とニューロンNRo3とを接続する際の上記負の重み付け係数Wに対応している。更に、接続部CN21においては負電圧線Li2-と負電圧線Lo1-のみが抵抗素子R2により接続されており、当該抵抗素子R2の抵抗値がニューロンNRi2とニューロンNRo1とを接続する際の上記負の重み付け係数Wに対応している。また接続部CN22においては正電圧線Li2+と正電圧線Lo2+のみが抵抗素子R6により接続されており、当該抵抗素子R6の抵抗値がニューロンNRi2とニューロンNRo2とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN23においては正電圧線Li2+と正電圧線Lo3+のみが抵抗素子R10により接続されており、当該抵抗素子R10の抵抗値がニューロンNRi2とニューロンNRo3とを接続する際の上記正の重み付け係数Wに対応している。

【0033】
更にまた、接続部CN31においては正電圧線Li3+と正電圧線Lo1+のみが抵抗素子R3により接続されており、当該抵抗素子R3の抵抗値がニューロンNRi3とニューロンNRo1とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN32においては負電圧線Li3-と負電圧線Lo2-のみが抵抗素子R7により接続されており、当該抵抗素子R7の抵抗値がニューロンNRi3とニューロンNRo2とを接続する際の上記負の重み付け係数Wに対応している。また接続部CN33においては正電圧線Li3+と正電圧線Lo3+のみが抵抗素子R11により接続されており、当該抵抗素子R11の抵抗値がニューロンNRi3とニューロンNRo3とを接続する際の上記正の重み付け係数Wに対応している。更に接続部CN41においては負電圧線Li4-と負電圧線Lo1-のみが抵抗素子R4により接続されており、当該抵抗素子R4の抵抗値がニューロンNRi4とニューロンNRo1とを接続する際の上記負の重み付け係数Wに対応している。また接続部CN42においては負電圧線Li4-と負電圧線Lo2-のみが抵抗素子R8により接続されており、当該抵抗素子R8の抵抗値がニューロンNRi4とニューロンNRo2とを接続する際の上記負の重み付け係数Wに対応している。最後に接続部CN43においては負電圧線Li4-と負電圧線Lo3-のみが抵抗素子R12により接続されており、当該抵抗素子R12の抵抗値がニューロンNRi4とニューロンNRo3とを接続する際の上記負の重み付け係数Wに対応している。

【0034】
以上説明したように、第1実施形態に係るニューラルネットワーク回路SSの構成によれば、入力側のニューロンNRi1乃至ニューロンNRi4と、出力側のニューロンNRo1乃至ニューロンNRo3と、接続部CNと、自己学習制御部Cと、を備え、各制御部CNが、正電圧線同士のみが接続されている接続部CN11等と負電圧線同士のみが接続されている接続部CN13等により構成されている。よって、ニューラルネットワーク回路SSにおける接続部CNの占有面積を大幅に低減することができる。

【0035】
また、正電圧線同士のみが接続されている接続部CN11等の数と負電圧線同士のみが接続されている接続部CN13等の数とが同数であるので、ニューラルネットワーク回路SSとしての学習能力を向上させつつ、接続部CNの占有面積を大幅に低減することができる。

【0036】
更に、正電圧線同士のみが接続されている接続部CN11等及び負電圧線同士のみが接続されている接続部CN13等が一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部CNの占有面積を大幅に低減することができる。

【0037】
(C)第1実施形態に係るニューラルネットワーク回路の構成による学習効果等について
次に、本願の発明者ら研究による、第1実施形態に係るニューラルネットワーク回路SSの構成による学習効果等について、以下に(a)乃至(c)として説明する。
(a)本願の発明者らは、第1実施形態に係るニューラルネットワーク回路SSの構成を用いて、入力側のニューロンNRを784個とし、出力側のニューロンNRを293個としたニューラルネットワーク回路SSを含む一層のオードエンコーダを製作し、手書き数字の認識に関する実験を行った。この結果、パターンオーバーラップ(即ち、上記オードエンコーダに学習させた数字パターンの復元率)が約91%(より具体的には91.4%(入力側のニューロンNRを784個とし、出力側のニューロンNRを293個とし、更に30パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値))となり、例えば上記特許文献1に記載されている技術を用いた従来法(91.1%)と変わらない復元率が得られた。
(b)また本願の発明者らは、第1実施形態に係るニューラルネットワーク回路SSの構成を用いて二次元畳み込みオードエンコーダを製作し、同様の実験を行った。この結果、パターンオーバーラップが約97%(より具体的には97.0%(入力側のニューロンNR及び出力側のニューロンNRを共に784個とし、畳み込みストライドを1とし、更に30パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値))となり、従来法(91.4%)を上回る復元率が得られた。
(c)本願の発明者らは更なる多層化の実験を行い、最終的に三層のバックプロパゲーションアルゴリズムを付加して同様の実験を行ったところ、いずれの総数でもパターンオーバーラップが約91%以上となり、十分な時間をかけて学習を行えば高機能化が期待できることを確認した。

【0038】
(II)第2実施形態
次に、本発明に係る他の実施形態である第2実施形態について、図4を用いて説明する。なお、図4は第2実施形態に係るニューラルネットワーク回路を示す図である。また図4において、第1実施形態に係るニューラルネットワーク回路SSと同一の構成部材については、同一の部材番号を付して細部の説明を省略する。

【0039】
図4に示すように、第2実施形態に係るニューラルネットワーク回路SS1は、入力側のニューロンNRi1及びニューロンNRi3にそれぞれ接続されて入力データI1及び入力データI3に対応した正電圧がそれぞれ印加される正電圧線Li1+及び正電圧線Li3+と、入力側のニューロンNRi2及びニューロンNRi4にそれぞれ接続されて入力データI2及び入力データI4のそれぞれに対応した負電圧が印加される負電圧線Li2-及び負電圧線Li4-と、出力側のニューロンNRo1乃至ニューロンNRo3にそれぞれ接続された電圧線Lo1乃至電圧線Lo3と、を備えている。このとき、正電圧線Li1+及び正電圧線Li3+と、負電圧線Li2-及び負電圧線Li4-と、電圧線Lo1乃至電圧線Lo3と、は、例えば上記フォトリソグラフィ技術により各々別個の層内に形成される。

【0040】
そして、ニューロンNRi1とニューロンNRo1とを接続する接続部CN11が正電圧線Li1+と電圧線Lo1とにより形成され、ニューロンNRi1とニューロンNRo2とを接続する接続部CN12が正電圧線Li1+と電圧線Lo2とにより形成され、ニューロンNRi1とニューロンNRo3とを接続する接続部CN13が正電圧線Li1+と電圧線Lo3とにより形成される。また、ニューロンNRi2とニューロンNRo1とを接続する接続部CN21が負電圧線Li2-と電圧線Lo1により形成され、ニューロンNRi2とニューロンNRo2とを接続する接続部CN22が負電圧線Li2-と電圧線Lo2により形成され、ニューロンNRi2とニューロンNRo3とを接続する接続部CN23が負電圧線Li2-と電圧線Lo3により形成される。また、ニューロンNRi3とニューロンNRo1とを接続する接続部CN31が正電圧線Li3+と電圧線Lo1により形成され、ニューロンNRi3とニューロンNRo2とを接続する接続部CN32が正電圧線Li3+と電圧線Lo2により形成され、ニューロンNRi3とニューロンNRo3とを接続する接続部CN33が正電圧線Li3+と電圧線Lo3により形成される。更に、ニューロンNRi4とニューロンNRo1とを接続する接続部CN41が負電圧線Li4-と電圧線Lo1により形成され、ニューロンNRi4とニューロンNRo2とを接続する接続部CN42が負電圧線Li4-と電圧線Lo2により形成され、ニューロンNRi4とニューロンNRo3とを接続する接続部CN43が負電圧線Li4-と電圧線Lo3により形成される。そして、各接続部CNのそれぞれにおいては、それぞれを構成する電圧線同士が、各接続部CNとしての上記重み付け係数Wにそれぞれ対応した抵抗値の抵抗素子により接続される。

【0041】
そして図4に示す第2実施形態に係るニューラルネットワーク回路SS1では、正電圧線Li1+及び正電圧線Li3+と電圧線Lo1乃至電圧線Lo3とが接続されている接続部CNの数と、負電圧線Li2-及び負電圧線Li4-と電圧線Lo1乃至電圧線Lo3とが接続されている接続部CNの数と、が当該ニューラルネットワーク回路SS1全体について同数となり、更に、正電圧線Li1+及び正電圧線Li3+と電圧線Lo1乃至電圧線Lo3とが接続されている接続部CNと、負電圧線Li2-及び負電圧線Li4-と電圧線Lo1乃至電圧線Lo3とが接続されている接続部CNと、が、当該ニューラルネットワーク回路SS1全体について規則的に分布するように、予め決定される。これは、本願の発明者らの研究により、各接続部CNにおいて正電圧線と電圧線Lo1等同士、又は負電圧線と電圧線Lo1等同士のいずれか一方を抵抗素子により接続する場合であっても、正電圧線等と電圧線Lo1等同士が接続されている接続部CN11等の数と、負電圧線と電圧線Lo1等同士が接続されている接続部CN21等の数とがニューラルネットワーク回路SS1全体について同数となり、更に、それらがニューラルネットワーク回路SS1全体について規則的に分布していれば、ニューラルネットワーク回路SS1全体の学習機能においては従来と同様の性能が担保されることが発見されたことによる。

【0042】
ここで、図4に例示する第2実施形態に係るニューラルネットワーク回路SS1では、接続部CN11においては正電圧線Li1+と電圧線Lo1が抵抗素子R20により接続されており、当該抵抗素子R20の抵抗値がニューロンNRi1とニューロンNRo1とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN12においては正電圧線Li1+と電圧線Lo2が抵抗素子R24により接続されており、当該抵抗素子R24の抵抗値がニューロンNRi1とニューロンNRo2とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN13においては正電圧線Li1+と電圧線Lo3が抵抗素子R28により接続されており、当該抵抗素子R28の抵抗値がニューロンNRi1とニューロンNRo3とを接続する際の上記正の重み付け係数Wに対応している。更に、接続部CN21においては負電圧線Li2-と電圧線Lo1が抵抗素子R21により接続されており、当該抵抗素子R21の抵抗値がニューロンNRi2とニューロンNRo1とを接続する際の上記負の重み付け係数Wに対応している。また接続部CN22においては負電圧線Li2-と電圧線Lo2が抵抗素子R25により接続されており、当該抵抗素子R25の抵抗値がニューロンNRi2とニューロンNRo2とを接続する際の上記負の重み付け係数Wに対応している。また接続部CN23においては負電圧線Li2-と電圧線Lo3が抵抗素子R29により接続されており、当該抵抗素子R29の抵抗値がニューロンNRi2とニューロンNRo3とを接続する際の上記負の重み付け係数Wに対応している。

【0043】
更にまた、接続部CN31においては正電圧線Li3+と電圧線Lo1が抵抗素子R22により接続されており、当該抵抗素子R22の抵抗値がニューロンNRi3とニューロンNRo1とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN32においては正電圧線Li3+と電圧線Lo2が抵抗素子R26により接続されており、当該抵抗素子R26の抵抗値がニューロンNRi3とニューロンNRo2とを接続する際の上記正の重み付け係数Wに対応している。また接続部CN33においては正電圧線Li3+と電圧線Lo3が抵抗素子R30により接続されており、当該抵抗素子R30の抵抗値がニューロンNRi3とニューロンNRo3とを接続する際の上記正の重み付け係数Wに対応している。更に接続部CN41においては負電圧線Li4-と電圧線Lo1が抵抗素子R23により接続されており、当該抵抗素子R23の抵抗値がニューロンNRi4とニューロンNRo1とを接続する際の上記負の重み付け係数Wに対応している。また接続部CN42においては負電圧線Li4-と電圧線Lo2が抵抗素子R27により接続されており、当該抵抗素子R27の抵抗値がニューロンNRi4とニューロンNRo2とを接続する際の上記負の重み付け係数Wに対応している。最後に接続部CN43においては負電圧線Li4-と電圧線Lo3が抵抗素子R31により接続されており、当該抵抗素子R31の抵抗値がニューロンNRi4とニューロンNRo3とを接続する際の上記負の重み付け係数Wに対応している。

【0044】
以上説明したように、第2実施形態に係るニューラルネットワーク回路SS1の構成によれば、入力側のニューロンNRi1乃至ニューロンNRi4と、出力側のニューロンNRo1乃至ニューロンNRo3と、接続部CNと、自己学習制御部Cと、を備え、各制御部CNが、正電圧線が接続されている接続部CN11等と負電圧線が接続されている接続部CN21等により構成されている。よって、ニューラルネットワーク回路SS1における接続部CNの占有面積を大幅に低減することができる。

【0045】
また、正電圧線が接続されている接続部CN11等の数と負電圧線が接続されている接続部CN21等の数とが同数であるので、ニューラルネットワーク回路SS1としての学習能力を向上させつつ、接続部CNの占有面積を大幅に低減することができる。

【0046】
更に、正電圧線が接続されている接続部CN11等及び負電圧線が接続されている接続部CN21等が規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部CNの占有面積を大幅に低減することができる。
【産業上の利用可能性】
【0047】
以上それぞれ説明したように、本発明はニューラルネットワーク回路の分野に利用することが可能であり、特に当該ニューラルネットワーク回路を含む学習装置の分野に適用すれば特に顕著な効果が得られる。
【符号の説明】
【0048】
C 自己学習制御部
SS、SS1 ニューラルネットワーク回路
1、I2、In 入力データ
NR、NRi1、NRi2、NRi3、NRi4、NRo1、NRo2、NRo3 ニューロン
1、W2、Wn 重み付け係数
O、O1、O2、O3 出力データ
NW ニューラルネットワーク
Li1+、Li2+、Li3+、Li4+、Lo1+、Lo2+、Lo3+ 正電圧線
Li1-、Li2-、Li3-、Li4-、Lo1-、Lo2-、Lo3- 負電圧線
Lo1、Lo2、Lo3 電圧線
CN11、CN12、CN13、CN21、CN22、CN23、CN31、CN32、CN33、CN41、CN42、CN43 接続部
R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、R12、R20、R21、R22、R23、R24、R25、R26、R27、R28、R29、R30、R31 抵抗素子
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3