Top > Search of Japanese Patents > LEARNING SYSTEM AND LEARNING METHOD

LEARNING SYSTEM AND LEARNING METHOD UPDATE_EN commons meetings

Patent code P190016110
File No. 17-041
Posted date Jun 13, 2019
Application number P2018-001656
Publication number P2019-121256A
Date of filing Jan 10, 2018
Date of publication of application Jul 22, 2019
Inventor
  • (In Japanese)レ チュウ フォン
Applicant
  • NATIONAL INSTITUTE OF INFORMATION AND COMMUNICATIONS TECHNOLOGY
Title LEARNING SYSTEM AND LEARNING METHOD UPDATE_EN commons meetings
Abstract PROBLEM TO BE SOLVED: To provide a learning system and a learning method capable of improving learning efficiency.
SOLUTION: A learning system 100 for optimizing reproducibility in deep learning between a plurality of user terminals 20 via a server 10 comprises: first calculation means S110 for calculating a first weighting variable W1 by referring to first reference data owned by a first user terminal 20a included in the plurality of user terminals 20 and a preliminarily obtained weighting variable W; transmission/reception means S120 for transmitting the first weighting variable W1 from the first user terminal 20a via the server 10 to a second user terminal 20b included in the plurality of user terminals 20; and second calculation means S130 for calculating a second weighting variable W2 by referring to second reference data owned by the second user terminal 20b and the first weighting variable W1.
Outline of related art and contending technology (In Japanese)

近年、深層学習(deep learning)と呼ばれる機械学習の手法は、学術界及び産業界を含む幅広い分野で期待されている。深層学習に関する技術のうち、複数のユーザ端末が保有する参照データに基づき、深層学習を分散させて実行する方法が注目を集めており、分散協調学習や分散深層学習等と呼ばれている。この場合、例えば確率的勾配降下法(SGD: Stochastic gradient descent)等を用いることで、再現性の最適化が行われている。

上述した技術として、例えば非特許文献1では、各ユーザ端末に接続された中央サーバが、ニューラルネットワークの有するノード間の重み変数を更新する技術が開示されている。非特許文献1では、各ユーザは、各ユーザ端末の有する参照データを参照して勾配情報を導出し、導出した勾配を中央サーバに送信する。中央サーバは、各ユーザ端末において導出された勾配情報に基づいて重み変数を算出し、算出した重み変数を各ユーザ端末に送信する。

また、特許文献1では、量子化勾配の情報を用いる分散深層学習装置が提案されている。特許文献1では、複数の学習装置との間で量子化勾配を交換して分散して深層学習を行うための分散深層学習装置であって、他の学習装置との間で通信によって量子化勾配を交換する通信部と、現在のパラメータの勾配を計算する勾配計算部と、勾配計算部で求めた勾配に対して、前回勾配を量子化した時の剰余分に所定倍率を乗算したものを加算する量子化剰余加算部と、量子化剰余加算部によって所定倍後の剰余分が加算された勾配を量子化する勾配量子化部と、通信部で受信した量子化勾配を本来の精度の勾配に復元する勾配復元部と、勾配量子化部において勾配を量子化した時の剰余分を記憶する量子化剰余記憶部と、通信部で集められた勾配を集約して集約された勾配を計算する勾配集約部と、勾配集約部で集約された勾配に基づいてパラメータを更新するパラメータ更新部とを備える分散深層学習装置について開示されている。

Field of industrial application (In Japanese)

本発明は、サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習システム及び学習方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習システムであって、
複数の前記ユーザ端末に含まれる第1ユーザ端末の有する第1参照データと、予め取得された重み変数とを参照し、第1重み変数を算出する第1算出手段と、
前記サーバを介して前記第1重み変数を、前記第1ユーザ端末から複数の前記ユーザ端末に含まれる第2ユーザ端末に送信する送受信手段と、
前記第2ユーザ端末の有する第2参照データと、前記第1重み変数とを参照し、第2重み変数を算出する第2算出手段と、
を備えることを特徴とする学習システム。

【請求項2】
 
前記送受信手段は、前記第1重み変数を、複数の前記ユーザ端末のうち、前記第2ユーザ端末のみに送信すること
を特徴とする請求項1記載の学習システム。

【請求項3】
 
複数の前記ユーザ端末に取得される共通鍵暗号を生成する生成手段をさらに備え、
前記第1算出手段は、前記第1ユーザ端末において、前記共通鍵暗号を用いて、前記第1重み変数を暗号化する暗号化手段を有し、
前記送受信手段は、
前記第2ユーザ端末において、前記共通鍵暗号を用いて、暗号化された前記第1重み変数を復号する復号手段を有し、
前記暗号化された前記第1重み変数を、前記第1ユーザ端末から前記サーバに送信し、
前記暗号化された前記第1重み変数を、前記サーバから前記第2ユーザ端末に送信すること
を特徴とする請求項1又は2記載の学習システム。

【請求項4】
 
前記第1重み変数及び前記第2重み変数は、確率的勾配降下法を用いて算出され、
前記第1算出手段は、
前記第1参照データと、前記重み変数とを参照して第1勾配情報を導出し、
前記第1勾配情報及び前記重み変数に基づく前記第1重み変数を算出し、
前記第2算出手段は、
前記第2参照データと、前記第1重み変数とを参照して第2勾配情報を導出し、
前記第2勾配情報及び前記第1重み変数に基づく前記第2重み変数を算出すること
を特徴とする請求項1~3の何れか1項記載の学習システム。

【請求項5】
 
前記送受信手段は、複数の前記ユーザ端末のうち、1つのユーザ端末を前記第2ユーザ端末として、前記サーバ内において設定すること
を特徴とする請求項1~4の何れか1項記載の学習システム。

【請求項6】
 
サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習方法であって、
複数の前記ユーザ端末に含まれる第1ユーザ端末の有する第1参照データと、予め取得された重み変数とを参照し、第1重み変数を算出する第1算出ステップと、
前記サーバを介して前記第1重み変数を、前記第1ユーザ端末から複数の前記ユーザ端末に含まれる第2ユーザ端末に送信する送受信ステップと、
前記第2ユーザ端末の有する第2参照データと、前記第1重み変数とを参照し、第2重み変数を算出する第2算出ステップと、
を備えることを特徴とする学習方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018001656thum.jpg
State of application right Published
Please contact us by E-mail if you have any interests on this patent


PAGE TOP

close
close
close
close
close
close
close