TOP > 国内特許検索 > 学習システム及び学習方法

学習システム及び学習方法

国内特許コード P190016110
整理番号 17-041
掲載日 2019年6月13日
出願番号 特願2018-001656
公開番号 特開2019-121256
出願日 平成30年1月10日(2018.1.10)
公開日 令和元年7月22日(2019.7.22)
発明者
  • レ チュウ フォン
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 学習システム及び学習方法
発明の概要 【課題】学習効率の向上を図ることができる学習システム及び学習方法を提供する。
【解決手段】サーバ10を介した複数のユーザ端末20の間で、深層学習における再現性の最適化を行う学習システム100であって、複数の前記ユーザ端末20に含まれる第1ユーザ端末20aの有する第1参照データと、予め取得された重み変数Wとを参照し、第1重み変数W1を算出する第1算出手段S110と、前記サーバ10を介して前記第1重み変数W1を、前記第1ユーザ端末20aから複数の前記ユーザ端末20に含まれる第2ユーザ端末20bに送信する送受信手段S120と、前記第2ユーザ端末20bの有する第2参照データと、前記第1重み変数W1とを参照し、第2重み変数W2を算出する第2算出手段S130と、を備えることを特徴とする。
【選択図】図1
従来技術、競合技術の概要

近年、深層学習(deep learning)と呼ばれる機械学習の手法は、学術界及び産業界を含む幅広い分野で期待されている。深層学習に関する技術のうち、複数のユーザ端末が保有する参照データに基づき、深層学習を分散させて実行する方法が注目を集めており、分散協調学習や分散深層学習等と呼ばれている。この場合、例えば確率的勾配降下法(SGD: Stochastic gradient descent)等を用いることで、再現性の最適化が行われている。

上述した技術として、例えば非特許文献1では、各ユーザ端末に接続された中央サーバが、ニューラルネットワークの有するノード間の重み変数を更新する技術が開示されている。非特許文献1では、各ユーザは、各ユーザ端末の有する参照データを参照して勾配情報を導出し、導出した勾配を中央サーバに送信する。中央サーバは、各ユーザ端末において導出された勾配情報に基づいて重み変数を算出し、算出した重み変数を各ユーザ端末に送信する。

また、特許文献1では、量子化勾配の情報を用いる分散深層学習装置が提案されている。特許文献1では、複数の学習装置との間で量子化勾配を交換して分散して深層学習を行うための分散深層学習装置であって、他の学習装置との間で通信によって量子化勾配を交換する通信部と、現在のパラメータの勾配を計算する勾配計算部と、勾配計算部で求めた勾配に対して、前回勾配を量子化した時の剰余分に所定倍率を乗算したものを加算する量子化剰余加算部と、量子化剰余加算部によって所定倍後の剰余分が加算された勾配を量子化する勾配量子化部と、通信部で受信した量子化勾配を本来の精度の勾配に復元する勾配復元部と、勾配量子化部において勾配を量子化した時の剰余分を記憶する量子化剰余記憶部と、通信部で集められた勾配を集約して集約された勾配を計算する勾配集約部と、勾配集約部で集約された勾配に基づいてパラメータを更新するパラメータ更新部とを備える分散深層学習装置について開示されている。

産業上の利用分野

本発明は、サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習システム及び学習方法に関するものである。

特許請求の範囲 【請求項1】
サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習システムであって、
複数の前記ユーザ端末に含まれる第1ユーザ端末の有する第1参照データと、予め取得された重み変数とを参照し、第1重み変数を算出する第1算出手段と、
前記サーバを介して前記第1重み変数を、前記第1ユーザ端末から複数の前記ユーザ端末に含まれる第2ユーザ端末に送信する送受信手段と、
前記第2ユーザ端末の有する第2参照データと、前記第1重み変数とを参照し、第2重み変数を算出する第2算出手段と、
を備えることを特徴とする学習システム。

【請求項2】
前記送受信手段は、前記第1重み変数を、複数の前記ユーザ端末のうち、前記第2ユーザ端末のみに送信すること
を特徴とする請求項1記載の学習システム。

【請求項3】
複数の前記ユーザ端末に取得される共通鍵暗号を生成する生成手段をさらに備え、
前記第1算出手段は、前記第1ユーザ端末において、前記共通鍵暗号を用いて、前記第1重み変数を暗号化する暗号化手段を有し、
前記送受信手段は、
前記第2ユーザ端末において、前記共通鍵暗号を用いて、暗号化された前記第1重み変数を復号する復号手段を有し、
前記暗号化された前記第1重み変数を、前記第1ユーザ端末から前記サーバに送信し、
前記暗号化された前記第1重み変数を、前記サーバから前記第2ユーザ端末に送信すること
を特徴とする請求項1又は2記載の学習システム。

【請求項4】
前記第1重み変数及び前記第2重み変数は、確率的勾配降下法を用いて算出され、
前記第1算出手段は、
前記第1参照データと、前記重み変数とを参照して第1勾配情報を導出し、
前記第1勾配情報及び前記重み変数に基づく前記第1重み変数を算出し、
前記第2算出手段は、
前記第2参照データと、前記第1重み変数とを参照して第2勾配情報を導出し、
前記第2勾配情報及び前記第1重み変数に基づく前記第2重み変数を算出すること
を特徴とする請求項1~3の何れか1項記載の学習システム。

【請求項5】
前記送受信手段は、複数の前記ユーザ端末のうち、1つのユーザ端末を前記第2ユーザ端末として、前記サーバ内において設定すること
を特徴とする請求項1~4の何れか1項記載の学習システム。

【請求項6】
サーバを介した複数のユーザ端末の間で、深層学習における再現性の最適化を行う学習方法であって、
複数の前記ユーザ端末に含まれる第1ユーザ端末の有する第1参照データと、予め取得された重み変数とを参照し、第1重み変数を算出する第1算出ステップと、
前記サーバを介して前記第1重み変数を、前記第1ユーザ端末から複数の前記ユーザ端末に含まれる第2ユーザ端末に送信する送受信ステップと、
前記第2ユーザ端末の有する第2参照データと、前記第1重み変数とを参照し、第2重み変数を算出する第2算出ステップと、
を備えることを特徴とする学習方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2018001656thum.jpg
出願権利状態 公開
※ ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記「問合せ先」までお問い合わせください。


PAGE TOP

close
close
close
close
close
close
close