Top > Search of Japanese Patents > (In Japanese)ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法

(In Japanese)ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法

Patent code P210017461
File No. S2019-0587-N0
Posted date Mar 12, 2021
Application number P2019-137019
Publication number P2021-022050A
Date of filing Jul 25, 2019
Date of publication of application Feb 18, 2021
Inventor
  • (In Japanese)和田 俊和
  • (In Japanese)菅間 幸司
Applicant
  • (In Japanese)国立大学法人和歌山大学
Title (In Japanese)ニューラルネットワークの圧縮方法、ニューラルネットワーク圧縮装置、コンピュータプログラム、及び圧縮されたニューラルネットワークデータの製造方法
Abstract (In Japanese)
【課題】
 再構成誤差が最小になるようにプルーニングが行われるようにする。
【解決手段】
 開示のニューラルネットワークの圧縮方法は、選択されたプルーニング対象に対するプルーニングと、プルーニングされたニューラルネットワークの再構成と、が行われる工程を備える。前記プルーニング対象は、プルーニング及び再構成によって生じる再構成誤差が最小になるように選択される。
【選択図】
 図4
Outline of related art and contending technology (In Japanese)

ディープニューラルネットワーク(DNN)のようなニューラルネットワークの圧縮手法として、プルーニング(Pruning;枝刈り)と、再構成(Reconstruction)と、を行う手法がある。

プルーニングは、全結合型ニューラルネットワーク(FCN)においては、ニューロン(とそのニューロンに接続された重み)の削除として行われ、畳み込み型ニューラルネットワーク(CNN)においては、チャネルの削除として行われる(非特許文献1参照)。チャネルの削除は、削除されるチャネルに属する重み全体の削除として行われる。

再構成はプルーニング後に行われる。再構成では、プルーニング前の出力に近づくように、ニューラルネットワークの重みパラメータの調整が行われる。例えば、FCNにおいては、再構成として、ニューロン間の結合の重みパラメータの調整が行われ、CNNにおいては、再構成として、フィルタ(カーネル)における重みパラメータの調整が行われる。

Field of industrial application (In Japanese)

本開示は、ニューラルネットワークの圧縮に関する。

Scope of claims (In Japanese)
【請求項1】
 
選択されたプルーニング対象に対するプルーニングと、プルーニングされたニューラルネットワークの再構成と、が行われる工程を備え、
前記プルーニング対象は、プルーニング及び再構成によって生じる再構成誤差が最小になるように選択される
ニューラルネットワークの圧縮方法。

【請求項2】
 
前記プルーニングは、全結合層におけるニューロンのプルーニングである
請求項1に記載のニューラルネットワークの圧縮方法。

【請求項3】
 
前記プルーニングは、畳み込み層におけるチャネルのプルーニングである
請求項1に記載のニューラルネットワークの圧縮方法。

【請求項4】
 
前記再構成誤差は、プルーニング対象の挙動ベクトルを、前記プルーニング対象以外の他のプルーニング単位の挙動ベクトルが張る部分空間に射影したときの射影残差に基づいて計算される
請求項1から3のいずれか1項に記載のニューラルネットワークの圧縮方法。

【請求項5】
 
前記射影残差は、プルーニング対象の挙動ベクトルの双直交基底に基づいて計算される
請求項4に記載のニューラルネットワークの圧縮方法。

【請求項6】
 
前記射影残差は、グラン・シュミットの直交化計算の反復適用により計算される
請求項4に記載のニューラルネットワークの圧縮方法。

【請求項7】
 
前記再構成誤差は、並列計算される
請求項1から6のいずれか1項に記載のニューラルネットワークの圧縮方法。

【請求項8】
 
選択されたプルーニング対象に対するプルーニングと、プルーニングされたニューラルネットワークの再構成と、を行うニューラルネットワーク圧縮装置であって、
前記プルーニング対象は、プルーニング及び再構成によって生じる再構成誤差が最小になるように選択されるよう構成されている
ニューラルネットワーク圧縮装置。

【請求項9】
 
コンピュータを、ニューラルネットワーク圧縮装置として機能させるためのコンピュータプログラムであって、
前記ニューラルネットワーク圧縮装置は、選択されたプルーニング対象に対するプルーニングと、プルーニングされたニューラルネットワークの再構成と、を行うよう構成され、
前記ニューラルネットワーク圧縮装置において、前記プルーニング対象は、プルーニング及び再構成によって生じる再構成誤差が最小になるように選択される
コンピュータプログラム。

【請求項10】
 
選択されたプルーニング対象に対するプルーニングと、プルーニングされたニューラルネットワークの再構成と、が行われる圧縮工程と、
前記圧縮工程により圧縮されたニューラルネットワークのデータを出力する工程と、
を有し、
前記圧縮工程において、前記プルーニング対象は、プルーニング及び再構成によって生じる再構成誤差が最小になるように選択される
圧縮されたニューラルネットワークデータの製造方法。
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

JP2019137019thum.jpg
State of application right Published
(In Japanese)ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください


PAGE TOP

close
close
close
close
close
close
close