TOP > 国内特許検索 > ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム

ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム

国内特許コード P170014044
整理番号 S2016-1040-N0
掲載日 2017年4月18日
出願番号 特願2016-235383
登録番号 特許第6183980号
出願日 平成28年12月2日(2016.12.2)
登録日 平成29年8月4日(2017.8.4)
発明者
  • 中原 啓貴
  • 米川 晴義
出願人
  • 国立大学法人東京工業大学
発明の名称 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム
発明の概要 【課題】バッチ正規化回路が不要なニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラムを提供する。
【解決手段】2値化ニューラルネットワーク回路100は、入力値x1~xn(xi)(2値)を入力する入力ノードおよび重みw1~wn(wi)を入力する入力部101と、入力値x1~xnおよび重みw1~wnを受け取り、XNOR論理を取るXNORゲート回路102と、多ビットバイアスW’を入力する多ビットバイアスW’入力部110と、各XNOR論理値と多ビットバイアスW’との総和を取る総和回路103と、総和を取った信号Yに対して符号ビットのみを出力する活性化回路120と、を備える。
【選択図】図9
従来技術、競合技術の概要


古典的な順伝搬型ニューラルネットワーク(FFNN:Feedforward Neural Network)、RBF(Radial Basis Function)ネットワーク、正規化したRBFネットワーク、自己組織化マップなどがある。RBFNは、誤差逆伝搬法に用いる活性化関数に放射基底関数を用いる。しかし、中間層が多く取れず高精度認識判定が難しかったり、HW規模が大きく処理時間がかかる、などの問題があり手書き文字認識など応用分野が限定されていた。
近年、ADAS(advanced driver assistance system)用の画像認識や自動翻訳などで注目を集める新方式として畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)(層間が全結合でないNN)や再帰型ニューラルネットワーク(双方向伝搬)が登場している。CNNは、ディープニューラルネットワーク(DNN:Deep Neural Network)に畳込み演算を付加したものである。



特許文献1には、誤り訂正符号の検査行列に基づいて、階層型ニューラルネットワークにおける疎結合のノード間で学習された重みの値と入力信号とを用いて、問題を解く処理部を備える処理装置が記載されている。



既存のCNNは、短精度(多ビット)による積和演算回路で構成されており、多数の乗算回路が必要である。このため、面積・消費電力が多大になる欠点があった。そこで、2値化した精度、すなわち+1と-1のみ用いてCNNを構成する回路が提案されている(例えば、非特許文献1~4参照)。

産業上の利用分野


本発明は、ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラムに関する。

特許請求の範囲 【請求項1】
入力層、1以上の中間層、および、出力層を少なくとも含むニューラルネットワーク回路装置であって、
前記中間層の中で、入力値xiおよび重みwiを受け取り、論理演算を行う論理回路部と、
多ビットバイアスW’を受け取り、前記論理回路部の出力と前記多ビットバイアスW’との総和を取る総和回路部と、
総和を取った多ビット信号Yに対して符号ビットのみを出力する活性化回路部と、を備え
前記多ビット信号Yおよび前記多ビットバイアスW’は、下記式で示される
【数3】


ことを特徴とする記載のニューラルネットワーク回路装置。

【請求項2】
前記入力値xiおよび前記重みwiを入力する入力部と、
前記多ビットバイアスW’を入力する多ビットバイアス入力部と、を備える
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項3】
前記入力値xiおよび前記重みwiは、2値信号である
ことを特徴とする請求項1または請求項2に記載のニューラルネットワーク回路装置。

【請求項4】
前記多ビットバイアスW’は、学習後の多ビットバイアス値である
ことを特徴とする請求項1または請求項2に記載のニューラルネットワーク回路装置。

【請求項5】
前記論理回路部は、否定排他的論理和または排他的論理和を含む
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項6】
前記論理回路部は、LUT(Look-Up Table)である
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項7】
前記符号ビットは、総和を取った前記多ビット信号Yを活性化するかしないかで示す2値信号である
ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項8】
前記多ビット信号Yを、正規化範囲を広げ中心をシフトさせるバッチ正規化処理を行い出力される信号Y’が、式(1)で示される場合、
【数1】


前記多ビットバイアスW’は、
前記バッチ正規化処理による前記信号Y’を含まない式(3)で示される前記多ビット信号Yで与えられる
【数3】


ことを特徴とする請求項1に記載のニューラルネットワーク回路装置。

【請求項9】
請求項1乃至8のいずれか1項に記載のニューラルネットワーク回路装置を備えるニューラルネットワーク。

【請求項10】
入力層、1以上の中間層、および、出力層を少なくとも含むニューラルネットワーク処理方法であって、
前記中間層の中で、入力値xiおよび重みwiを受け取り、論理演算を行うステップと、
多ビットバイアスW’を受け取り、前記論理演算ステップの出力と前記多ビットバイアスW’との総和を取るステップと、
総和を取った多ビット信号Yに対して符号ビットのみを出力するステップと、を有し、
前記多ビット信号Yおよび前記多ビットバイアスW’は、下記式で示される
【数3】


ことを特徴とするニューラルネットワーク処理方法。

【請求項11】
入力層、1以上の中間層、および、出力層を少なくとも含むニューラルネットワーク回路装置としてのコンピュータを、
前記中間層の中で、入力値xiおよび重みwiを受け取り、論理演算を行う論理回路手段、
多ビットバイアスW’を受け取り、前記論理手段の出力と前記多ビットバイアスW’との総和を取る総和回路手段、
総和を取った多ビット信号Yに対して符号ビットのみを出力する活性化回路手段、
ただし、前記多ビット信号Yおよび前記多ビットバイアスW’は、下記式で示される、
【数3】


として機能させるためのニューラルネットワークの実行プログラム。
国際特許分類(IPC)
出願権利状態 登録
詳しくお知りになりたい方は下記「問合せ先」まで直接お問合わせください


PAGE TOP

close
close
close
close
close
close
close