TOP > クイック検索 > 国内特許検索 > ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法

ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法

国内特許コード P210017894
整理番号 (S2018-0979-N0)
掲載日 2021年9月27日
出願番号 特願2020-546831
出願日 令和元年8月28日(2019.8.28)
国際出願番号 JP2019033594
国際公開番号 WO2020054402
国際出願日 令和元年8月28日(2019.8.28)
国際公開日 令和2年3月19日(2020.3.19)
優先権データ
  • 特願2018-169412 (2018.9.11) JP
  • 特願2019-059091 (2019.3.26) JP
発明者
  • 和田 俊和
  • 菅間 幸司
  • 磯田 雄基
出願人
  • 国立大学法人和歌山大学
発明の名称 ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法
発明の概要 小規模化の際におけるニューラルネットワークの性能の低下を抑制する。本開示のニューラルネットワーク処理装置10は、複数の人工ニューロンが結合したニューラルネットワークN1に対して複数の入力データ40を与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求める処理22と、前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理23と、を実行するように構成されている。
従来技術、競合技術の概要

ディープニューラルネットワークのようなニューラルネットワークは、複数の人工ニューロン(以下、「ニューロン」ということがある)が結合した計算機構である。ニューラルネットワークへ大量のデータを与えて、ニューロンの各結合の重み係数等の最適化計算をすることを深層学習とよぶ。

産業上の利用分野

本開示は、ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法に関する。

特許請求の範囲 【請求項1】
複数の人工ニューロンが結合したニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求める処理と、
前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理と、
を実行するように構成されているニューラルネットワーク処理装置。

【請求項2】
同一又は類似の振舞いをする複数の人工ニューロンは、前記ベクトルの類似度を示す指標に基づいて、選択される
請求項1に記載のニューラルネットワーク処理装置。

【請求項3】
前記指標は、複数の前記ベクトルに含まれる第1ベクトルと、複数の前記ベクトルに含まれる第2ベクトルへの前記第1ベクトルの射影と、の残差である
請求項2に記載のニューラルネットワーク処理装置。

【請求項4】
前記統合処理は、選択された複数の人工ニューロンの中から、前記残差に基づいて、統合先となる統合先ニューロンを決定する決定処理を含む
請求項3に記載のニューラルネットワーク処理装置。

【請求項5】
前記ニューラルネットワークは、それぞれが人工ニューロンを有する複数の層を有し、
前記統合処理では、同一又は類似の振舞いをする複数の人工ニューロンとして、異なる層に含まれる人工ニューロンを選択可能である
請求項1~4のいずれか1項に記載のニューラルネットワーク処理装置。

【請求項6】
前記指標は、統合された人工ニューロンの出力が与えられる他層人工ニューロンにおいて、前記ベクトルから計算される前記他層人工ニューロンの内部活性度の誤差に基づく
請求項2に記載のニューラルネットワーク処理装置。

【請求項7】
前記指標は、統合により削除される前記ニューラルネットワークのパラメータの数に更に基づく
請求項1から6のいずれか1項に記載のニューラルネットワーク処理装置。

【請求項8】
前記指標は、統合により生じる前記誤差を、統合により削除されるパラメータの数によって除した値である
請求項6に記載のニューラルネットワーク処理装置。

【請求項9】
前記統合処理は、統合に伴い消去される人工ニューロンのためのウエイトを用いて、統合先ニューロンのためのウエイトを更新することを含む
請求項1から8のいずれか1項に記載のニューラルネットワーク処理装置。

【請求項10】
前記統合処理では、統合に伴い消去される人工ニューロンの振舞いが、統合先ニューロンによって模擬される
請求項1から9のいずれか1項に記載のニューラルネットワーク処理装置。

【請求項11】
前記統合処理では、統合に伴い消去される人工ニューロンの振舞いが、統合先ニューロンを含む二以上の人工ニューロンによって模擬される
請求項1から9のいずれか1項に記載のニューラルネットワーク処理装置。

【請求項12】
前記統合処理では、統合に伴い消去される人工ニューロンのためのウエイトを用いて、前記統合先ニューロンを含む前記二以上の人工ニューロンのためのウエイトが更新される
請求項11に記載のニューラルネットワーク処理装置。

【請求項13】
複数の人工ニューロンが結合したニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求める処理と、
前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、選択された複数の人工ニューロンを統合する統合処理と、
をコンピュータに実行させるためのコンピュータプログラム。

【請求項14】
複数の人工ニューロンが結合した原ニューラルネットワークに対して複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求め、
前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、
選択された複数の人工ニューロンを統合する
ことを含むニューラルネットワークの製造方法。

【請求項15】
複数の人工ニューロンが結合した原ニューラルネットワークに対して、複数の入力データを与えて、前記人工ニューロンから出力される複数の出力からなるベクトルを、複数の前記人工ニューロンそれぞれについて求め、
前記ベクトルに基づいて、同一又は類似の振舞いをする複数の人工ニューロンを選択し、
選択された複数の人工ニューロンを統合することで、前記原ニューラルネットワークよりも人工ニューロンの数が少ない統合ニューラルネットワークを生成し、
ニューラルネットワークエンジンを前記統合ニューラルネットワークとして機能させるためのニューラルネットワークデータを生成する
ことを含むニューラルネットワークデータの製造方法。

【請求項16】
ニューラルネットワークとして機能するニューラルネットワーク利用装置であって、
前記ニューラルネットワークは、前記ニューラルネットワークよりも人工ニューロンの数が多い原ニューラルネットワークに入力が与えられたときに同一又は類似の出力をする人工ニューロン同士が統合されて構成されている
ニューラルネットワーク利用装置。

【請求項17】
複数の人工ニューロンが結合したニューラルネットワークの小規模化のための指標を求めることを含むニューラルネットワーク小規模化方法であって、
前記指標は、前記ニューラルネットワークに対して複数の入力データが与えられたときに各人工ニューロンから出力される複数の出力に基づいて求められる
ニューラルネットワーク小規模化方法。
国際特許分類(IPC)
画像

※ 画像をクリックすると拡大します。

JP2020546831thum.jpg
出願権利状態 公開
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close