Top > Search of International Patents > NEURAL NETWORK PROCESSING DEVICE, COMPUTER PROGRAM, NEURAL NETWORK MANUFACTURING METHOD, NEURAL NETWORK DATA MANUFACTURING METHOD, NEURAL NETWORK USE DEVICE, AND NEURAL NETWORK DOWNSCALING METHOD

NEURAL NETWORK PROCESSING DEVICE, COMPUTER PROGRAM, NEURAL NETWORK MANUFACTURING METHOD, NEURAL NETWORK DATA MANUFACTURING METHOD, NEURAL NETWORK USE DEVICE, AND NEURAL NETWORK DOWNSCALING METHOD

Foreign code F200010230
File No. (S2018-0979-N0)
Posted date Oct 29, 2020
Country WIPO
International application number 2019JP033594
International publication number WO2020054402
Date of international filing Aug 28, 2019
Date of international publication Mar 19, 2020
Priority data
  • P2018-169412 (Sep 11, 2018) JP
  • P2019-059091 (Mar 26, 2019) JP
Title NEURAL NETWORK PROCESSING DEVICE, COMPUTER PROGRAM, NEURAL NETWORK MANUFACTURING METHOD, NEURAL NETWORK DATA MANUFACTURING METHOD, NEURAL NETWORK USE DEVICE, AND NEURAL NETWORK DOWNSCALING METHOD
Abstract An objective of the present invention is to alleviate a degradation in neural network performance at the time of downscaling. A neural network processing device 10 according to the present disclosure is configured to execute: a process 22 of providing a plurality of instances of input data 40 to a neural network N1 in which a plurality of artificial neurons are connected and deriving vectors formed from a plurality of outputs outputted from the artificial neurons for each of the artificial neurons; and an integration process 23 of, on the basis of the vectors, selecting a plurality of artificial neurons which demonstrate identical or similar behavior, and integrating the selected artificial neurons.
Outline of related art and contending technology BACKGROUND ART
Such as deep neural networks the neural network, a plurality of artificial neurons (hereinafter, referred to as' neuron ') is combined with a computing mechanism. Provide a large amount of data to the neural network, neurons each of which is connected to the optimization calculations of the weight coefficient of the deep layer can be referred to as learning.
Scope of claims (In Japanese)[請求項1]
 複数の人工ニューロンが結合したニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求める処理と、
 前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理と、
を実行するように構成されているニューラルネットワーク処理装置。

[請求項2]
 同一又は類似の振舞いをする複数の人工ニューロンは、前記ベクトルの類似度を示す指標に基づいて、選択される
 請求項1に記載のニューラルネットワーク処理装置。

[請求項3]
 前記指標は、複数の前記ベクトルに含まれる第1ベクトルと、複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差である
 請求項2に記載のニューラルネットワーク処理装置。

[請求項4]
 前記統合処理は、選択された複数の人工ニューロンの中から、前記残差に基づいて、統合先となる統合先ニューロンを決定する決定処理を含む
 請求項3に記載のニューラルネットワーク処理装置。

[請求項5]
 前記ニューラルネットワークは、それぞれが人工ニューロンを有する複数の層を有し、
 前記統合処理では、同一又は類似の振舞いをする複数の人工ニューロンとして、異なる層に含まれる人工ニューロンを選択可能である
 請求項1~4のいずれか1項に記載のニューラルネットワーク処理装置。

[請求項6]
 前記指標は、統合された人工ニューロンの出力が与えられる他層人工ニューロンにおいて、前記ベクトルから計算される前記他層人工ニューロンの内部活性度の誤差に基づく
 請求項2に記載のニューラルネットワーク処理装置。

[請求項7]
 前記指標は、統合により削除される前記ニューラルネットワークのパラメータの数に更に基づく
 請求項1から6のいずれか1項に記載のニューラルネットワーク処理装置。

[請求項8]
 前記指標は、統合により生じる前記誤差を、統合により削除されるパラメータの数によって除した値である
 請求項6に記載のニューラルネットワーク処理装置。

[請求項9]
 前記統合処理は、統合に伴い消去される人工ニューロンのためのウエイトを用いて、統合先ニューロンのためのウエイトを更新することを含む
 請求項1から8のいずれか1項に記載のニューラルネットワーク処理装置。

[請求項10]
 前記統合処理では、統合に伴い消去される人工ニューロンの振舞いが、統合先ニューロンによって模擬される
 請求項1から9のいずれか1項に記載のニューラルネットワーク処理装置。

[請求項11]
 前記統合処理では、統合に伴い消去される人工ニューロンの振舞いが、統合先ニューロンを含む二以上の人工ニューロンによって模擬される
 請求項1から9のいずれか1項に記載のニューラルネットワーク処理装置。

[請求項12]
 前記統合処理では、統合に伴い消去される人工ニューロンのためのウエイトを用いて、前記統合先ニューロンを含む前記二以上の人工ニューロンのためのウエイトが更新される
 請求項11に記載のニューラルネットワーク処理装置。

[請求項13]
 複数の人工ニューロンが結合したニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求める処理と、
 前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理と、
をコンピュータに実行させるためのコンピュータプログラム。

[請求項14]
 複数の人工ニューロンが結合した原ニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求め、
 前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、
 選択された複数の人工ニューロンを統合する
 ことを含むニューラルネットワークの製造方法。

[請求項15]
 複数の人工ニューロンが結合した原ニューラルネットワークに対して、複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求め、
 前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、
 選択された複数の人工ニューロンを統合することで、前記原ニューラルネットワークよりも人工ニューロンの数が少ない統合ニューラルネットワークを生成し、
 ニューラルネットワークエンジンを前記統合ニューラルネットワークとして機能させるためのニューラルネットワークデータを生成する
 ことを含むニューラルネットワークデータの製造方法。

[請求項16]
 ニューラルネットワークとして機能するニューラルネットワーク利用装置であって、
 前記ニューラルネットワークは、前記ニューラルネットワークよりも人工ニューロンの数が多い原ニューラルネットワークに入力が与えられたときに同一又は類似の出力をする人工ニューロン同士が統合されて構成されている
 ニューラルネットワーク利用装置。

[請求項17]
 複数の人工ニューロンが結合したニューラルネットワークの小規模化のための指標を求めることを含むニューラルネットワーク小規模化方法であって、
 前記指標は、前記ニューラルネットワークに対して複数の入力データが与えられたときに各人工ニューロンから出力される複数の出力に基づいて求められる
 ニューラルネットワーク小規模化方法。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • WAKAYAMA UNIVERSITY
  • Inventor
  • WADA Toshikazu
  • KAMMA Koji
  • ISODA Yuuki
IPC(International Patent Classification)
Specified countries National States: AE AG AL AM AO AT AU AZ BA BB BG BH BN BR BW BY BZ CA CH CL CN CO CR CU CZ DE DJ DK DM DO DZ EC EE EG ES FI GB GD GE GH GM GT HN HR HU ID IL IN IR IS JO JP KE KG KH KN KP KR KW KZ LA LC LK LR LS LU LY MA MD ME MG MK MN MW MX MY MZ NA NG NI NO NZ OM PA PE PG PH PL PT QA RO RS RU RW SA SC SD SE SG SK SL SM ST SV SY TH TJ TM TN TR TT TZ UA UG US UZ VC VN ZA ZM ZW
ARIPO: BW GH GM KE LR LS MW MZ NA RW SD SL SZ TZ UG ZM ZW
EAPO: AM AZ BY KG KZ RU TJ TM
EPO: AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
OAPI: BF BJ CF CG CI CM GA GN GQ GW KM ML MR NE SN ST TD TG

PAGE TOP

close
close
close
close
close
close