Top > Search of Japanese Patents > NEURAL NETWORK CIRCUIT DEVICE, NEURAL NETWORK, NEURAL NETWORK PROCESSING METHOD AND NEURAL NETWORK EXECUTING PROGRAM

NEURAL NETWORK CIRCUIT DEVICE, NEURAL NETWORK, NEURAL NETWORK PROCESSING METHOD AND NEURAL NETWORK EXECUTING PROGRAM

Patent code P170014044
File No. S2016-1040-N0
Posted date Apr 18, 2017
Application number P2016-235383
Publication number P2018-092377A
Patent number P6183980
Date of filing Dec 2, 2016
Date of publication of application Jun 14, 2018
Date of registration Aug 4, 2017
Inventor
  • (In Japanese)中原 啓貴
  • (In Japanese)米川 晴義
Applicant
  • (In Japanese)国立大学法人東京工業大学
Title NEURAL NETWORK CIRCUIT DEVICE, NEURAL NETWORK, NEURAL NETWORK PROCESSING METHOD AND NEURAL NETWORK EXECUTING PROGRAM
Abstract PROBLEM TO BE SOLVED: To provide a neural network circuit device, a neural network, a neural network processing method and a neural network executing program that do not need a batch normalizing circuit.
SOLUTION: A binarizing neural network circuit 100 includes: an input unit 101 which accepts input of an input node for inputting input values x1 to xn (xi) (binary value) and weights w1 to wn (wi); an XNOR gate circuit 102 which receives the input values x1 to xn and the weights w1 to wn, and which takes an XNOR logic; a multi-bit bias W' input unit 110 which accepts input of a multi-bit bias W'; a summing circuit 103 that acquires a sum of each XNOR logic value and the multi-bit bias W'; and an activating circuit 120 that outputs only a sign bit to a signal Y that has the sum.
Outline of related art and contending technology (In Japanese)

古典的な順伝搬型ニューラルネットワーク(FFNN:Feedforward Neural Network)、RBF(Radial Basis Function)ネットワーク、正規化したRBFネットワーク、自己組織化マップなどがある。RBFNは、誤差逆伝搬法に用いる活性化関数に放射基底関数を用いる。しかし、中間層が多く取れず高精度認識判定が難しかったり、HW規模が大きく処理時間がかかる、などの問題があり手書き文字認識など応用分野が限定されていた。
近年、ADAS(advanced driver assistance system)用の画像認識や自動翻訳などで注目を集める新方式として畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)(層間が全結合でないNN)や再帰型ニューラルネットワーク(双方向伝搬)が登場している。CNNは、ディープニューラルネットワーク(DNN:Deep Neural Network)に畳込み演算を付加したものである。

特許文献1には、誤り訂正符号の検査行列に基づいて、階層型ニューラルネットワークにおける疎結合のノード間で学習された重みの値と入力信号とを用いて、問題を解く処理部を備える処理装置が記載されている。

既存のCNNは、短精度(多ビット)による積和演算回路で構成されており、多数の乗算回路が必要である。このため、面積・消費電力が多大になる欠点があった。そこで、2値化した精度、すなわち+1と-1のみ用いてCNNを構成する回路が提案されている(例えば、非特許文献1~4参照)。

Field of industrial application (In Japanese)

本発明は、ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
入力層、1以上の中間層、および、出力層を少なくとも含むニューラルネットワーク回路装置であって、
前記中間層の中で、入力値xiおよび重みwiを受け取り、論理演算を行う論理回路部と、
多ビットバイアスW’を受け取り、前記論理回路部の出力と前記多ビットバイアスW’との総和を取る総和回路部と、
総和を取った多ビット信号Yに対して符号ビットのみを出力する活性化回路部と、を備え
前記多ビット信号Yおよび前記多ビットバイアスW’は、下記式で示される
【数3】
 
(省略)
ことを特徴とする記載のニューラルネットワーク回路装置。

【請求項2】
 
前記入力値xiおよび前記重みwiを入力する入力部と、
前記多ビットバイアスW’を入力する多ビットバイアス入力部と、を備える
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項3】
 
前記入力値xiおよび前記重みwiは、2値信号である
ことを特徴とする請求項1または請求項2に記載のニューラルネットワーク回路装置。

【請求項4】
 
前記多ビットバイアスW’は、学習後の多ビットバイアス値である
ことを特徴とする請求項1または請求項2に記載のニューラルネットワーク回路装置。

【請求項5】
 
前記論理回路部は、否定排他的論理和または排他的論理和を含む
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項6】
 
前記論理回路部は、LUT(Look-Up Table)である
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項7】
 
前記符号ビットは、総和を取った前記多ビット信号Yを活性化するかしないかで示す2値信号である
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項8】
 
前記多ビット信号Yを、正規化範囲を広げ中心をシフトさせるバッチ正規化処理を行い出力される信号Y’が、式(1)で示される場合、
【数1】
 
(省略)
前記多ビットバイアスW’は、
前記バッチ正規化処理による前記信号Y’を含まない式(3)で示される前記多ビット信号Yで与えられる
【数3】
 
(省略)
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項9】
 
請求項1乃至8のいずれか1項に記載のニューラルネットワーク回路装置を備えるニューラルネットワーク。

【請求項10】
 
入力層、1以上の中間層、および、出力層を少なくとも含むニューラルネットワーク処理方法であって、
前記中間層の中で、入力値xiおよび重みwiを受け取り、論理演算を行うステップと、
多ビットバイアスW’を受け取り、前記論理演算ステップの出力と前記多ビットバイアスW’との総和を取るステップと、
総和を取った多ビット信号Yに対して符号ビットのみを出力するステップと、を有し、
前記多ビット信号Yおよび前記多ビットバイアスW’は、下記式で示される
【数3】
 
(省略)
ことを特徴とするニューラルネットワーク処理方法。

【請求項11】
 
入力層、1以上の中間層、および、出力層を少なくとも含むニューラルネットワーク回路装置としてのコンピュータを、
前記中間層の中で、入力値xiおよび重みwiを受け取り、論理演算を行う論理回路手段、
多ビットバイアスW’を受け取り、前記論理手段の出力と前記多ビットバイアスW’との総和を取る総和回路手段、
総和を取った多ビット信号Yに対して符号ビットのみを出力する活性化回路手段、
ただし、前記多ビット信号Yおよび前記多ビットバイアスW’は、下記式で示される、
【数3】
 
(省略)
として機能させるためのニューラルネットワークの実行プログラム。
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

JP2016235383thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close