Top > Search of Japanese Patents > HETEROGENEOUS DATA DEEP LEARNING DEVICE, HETEROGENEOUS DATA DEEP LEARNING METHOD, AND HETEROGENEOUS DATA DEEP LEARNING PROGRAM

HETEROGENEOUS DATA DEEP LEARNING DEVICE, HETEROGENEOUS DATA DEEP LEARNING METHOD, AND HETEROGENEOUS DATA DEEP LEARNING PROGRAM meetings

Patent code P180015125
Posted date Jun 28, 2018
Application number P2017-200830
Publication number P2019-074946A
Date of filing Oct 17, 2017
Date of publication of application May 16, 2019
Inventor
  • (In Japanese)市 村 匠
  • (In Japanese)鎌 田 真
Applicant
  • (In Japanese)公立大学法人県立広島大学
Title HETEROGENEOUS DATA DEEP LEARNING DEVICE, HETEROGENEOUS DATA DEEP LEARNING METHOD, AND HETEROGENEOUS DATA DEEP LEARNING PROGRAM meetings
Abstract PROBLEM TO BE SOLVED: To reduce learning time of heterogeneous data by deep learning.
SOLUTION: A heterogeneous data deep learning device 1 comprises a stable feature neuron extraction unit 17 extracting stable feature neurons from hidden neurons in a hidden layer, a visible neuron value calculation unit 18 obtaining an output value of a visible neuron by the CD method from one of the stable feature neurons, a candidate block extraction unit 19 extracting first type candidate blocks from a plurality of first type blocks and extracting second type candidate blocks from a plurality of second type blocks, and a candidate block position change unit 20 changing, if the block with the highest vibration during learning of bias b among the second type candidate blocks a position of which has not been changed yet is not within a first range from a predetermined first type candidate block, the position of the block to a position within a second range shorter than the first range.
Outline of related art and contending technology (In Japanese)

従来、深層学習が取り扱う主なデータは画像データであったが、数値、テキスト、シンタックスなどの異なる種類のデータを同時に一つの情報として処理することが求められている。すなわち、異なる種類のデータを含むデータを学習データとして深層学習を行うことが求められている。異種データとして、例えば医療検診データが挙げられる。医療検診データは、X線撮影の画像データと血液検査データのように、異なる種類のデータを含む。

一般に、ビッグデータの深層学習(Deep learning)には長時間の計算が必要である。リアルタイム性が求められる分野(IOT機器の制御、リアルタイム予測システム等)への応用などに向けて、より短時間で学習を終了することが望まれている。

なお、深層学習については、下記の非特許文献の技術が知られている。

非特許文献1には、制限付きボルツマンマシン(Restricted Boltzmann Machine:RBM)(以下、単に「RBM」ともいう。)について記載されている。RBMは、可視層と隠れ層の2層から構成されるネットワーク構造を持っており、確率分布に基づいて入力データに含まれる特徴を隠れニューロン上で学習可能な学習モデルである。RBMでは、同じ層のニューロン間の結合が無いため、計算量を削減できるとともに、隠れ層のニューロンごとに独立した確率分布を学習することが可能である。

非特許文献2には、コントラスティブダイバージェンス(Contrastive Divergence:CD)法について記載されている。このCD法により、RBMのパラメタを比較的少ない計算量で更新することが可能になる。

非特許文献3には、ディープビリーフネットワーク(Deep Brief Network:DBN)について記載されている。DBNは、深層学習の一つの手法であり、学習済みのRBMを複数積み重ねて層数を増やすことで、入力データの特徴を階層的に学習することが可能である。

非特許文献4および5には、RBMにおけるニューロン生成・消滅アルゴリズムが記載されている。RBMのパラメタ(具体的には、重みとバイアスc)の変化をモニタリングすることによって、隠れニューロンの生成や消滅が行われる。

非特許文献6には、重みの変分ベクトルを用いて隠れニューロンの数を適応的に変更する手法が記載されている。また、学習中における重みの変分ベクトルの変化量をWalking Distance(WD)と定義することが記載されている。

非特許文献7には、DBNにおける階層化条件などが記載されている。非特許文献8および9には、Recurrent Temporal RBM(RTRBM)について記載されている。非特許文献10には、RTRBMを改良したRNN-RBMが記載されている。

Field of industrial application (In Japanese)

本発明は、異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラムに関し、より詳しくは、異種データの深層学習を比較的短時間で実行することが可能な異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行う異種データ深層学習装置であって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成する初期データ生成部と、
前記制限付きボルツマンマシンのパラメタを初期化するパラメタ初期化部と、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるRBM学習実行部と、
前記誤差を用いて前記パラメタを更新するパラメタ更新部と、
前記更新されたパラメタに基づいて、少なくとも、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するWD算出部と、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出する安定特徴ニューロン抽出部と、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求める可視ニューロン値算出部と、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出する候補ブロック抽出部と、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更する候補ブロック位置変更部と、
を備えることを特徴とする異種データ深層学習装置。

【請求項2】
 
前記第1種類のデータは、複数の画像ブロックからなる画像データであり、前記第2種類のデータは、複数のCSVブロックからなるCSVデータであることを特徴とする請求項1に記載の異種データ深層学習装置。

【請求項3】
 
前記各CSVブロックは、複数の検査項目を含む検査の各項目にそれぞれ対応していることを特徴とする請求項2に記載の異種データ深層学習装置。

【請求項4】
 
前記画像データは、複数の前記画像ブロックを含む複数のイメージラインから構成されており、
前記初期データ生成部は、前記各イメージラインの前または後に前記CSVブロックを配置することにより前記初期データを生成することを特徴とする請求項2または3に記載の異種データ深層学習装置。

【請求項5】
 
前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が最も高い第2種類候補ブロックの位置を、当該所定の第1種類候補ブロックの隣の位置に変更することを特徴とする請求項1~4のいずれかに記載の異種データ深層学習装置。

【請求項6】
 
前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が二番目に高い第2種類候補ブロックの位置を、前記第2の距離範囲内の位置に変更することを特徴とする請求項1~5のいずれかに記載の異種データ深層学習装置。

【請求項7】
 
前記候補ブロック位置変更部は、前記バイアスbに関する学習中振動が二番目に高い第2種類候補ブロックの位置を、前記バイアスbに関する学習中振動が最も高い第2種類候補ブロックの隣の位置に変更することを特徴とする請求項6に記載の異種データ深層学習装置。

【請求項8】
 
前記WD算出部は、前記制限付きボルツマンマシンの重みWに関する学習中振動およびバイアスcに関する学習中振動を算出し、
前記隠れニューロンが前記重みWに関する学習中振動および前記バイアスcに関する学習中振動に基づく生成条件を満たす場合、前記制限付きボルツマンマシンの隠れニューロンを生成し、前記隠れニューロンが所定の消滅条件を満たす場合、当該隠れニューロンを消滅させるニューロン生成消滅部をさらに備えることを特徴とする請求項1~7のいずれかに記載の異種データ深層学習装置。

【請求項9】
 
前記候補ブロック位置変更部による前記第2種類候補ブロックの位置変更結果に基づいて、前記第2種類ブロックの位置を変更するための位置変更情報を格納したルックアップテーブルを更新するルックアップテーブル更新部をさらに備えることを特徴とする請求項1~8のいずれかに記載の異種データ深層学習装置。

【請求項10】
 
前記ルックアップテーブルに基づいて学習用の入力データの配置を変更し、前記変更された入力データを学習済みのニューラルネットワークに与え、推論を行う推論部をさらに備えることを特徴とする請求項9に記載の異種データ深層学習装置。

【請求項11】
 
可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行う異種データ深層学習方法であって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成するステップと、
前記制限付きボルツマンマシンのパラメタを初期化するステップと、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるステップと、
前記誤差を用いて前記パラメタを更新するステップと、
前記更新されたパラメタに基づいて、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するステップと、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出するステップと、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求めるステップと、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出するステップと、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更するステップと、
を備えることを特徴とする異種データ深層学習方法。

【請求項12】
 
可視層と隠れ層から構成される制限付きボルツマンマシンを用いて、異種データの深層学習を行うための異種データ深層学習プログラムであって、
第1種類のデータを構成する複数の第1種類ブロックと、第2種類のデータを構成する複数の第2種類ブロックとを所定の配置ルールに従って配置することにより初期データを生成するステップと、
前記制限付きボルツマンマシンのパラメタを初期化するステップと、
前記可視層に前記初期データをセットし学習を行うことによって前記隠れ層を構成する隠れニューロンの出力値を求め、前記出力値に基づいてCD法による学習を行うことによって前記初期データに対する誤差を求めるステップと、
前記誤差を用いて前記パラメタを更新するステップと、
前記更新されたパラメタに基づいて、少なくとも、前記制限付きボルツマンマシンのバイアスbに関する学習中振動および前記隠れニューロンの状態変数hに関する学習中振動を算出するステップと、
前記隠れ層の隠れニューロンから、発火しており且つ前記状態変数hに関する学習中振動が所定の閾値以下である安定特徴ニューロンを抽出するステップと、
前記抽出された安定特徴ニューロンの一つからCD法により、前記可視層を構成する可視ニューロンの出力値を求めるステップと、
前記複数の第1種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第1種類ブロックを第1種類候補ブロックとして抽出し、前記複数の第2種類ブロックから、発火した可視ニューロンが所定の比率以上を占める第2種類ブロックを第2種類候補ブロックとして抽出するステップと、
まだ位置変更されていない前記第2種類候補ブロックの中でバイアスbに関する学習中振動が最も高い第2種類候補ブロックが所定の第1種類候補ブロックから第1の距離範囲内にない場合、当該第2種類候補ブロックの位置を前記第1の距離範囲よりも短い第2の距離範囲内の位置に変更するステップと、
をコンピュータに実行させる異種データ深層学習プログラム。
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

JP2017200830thum.jpg
State of application right Published
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close