TOP > 国内特許検索 > データ処理装置、及びこれにおけるデータ処理方法

データ処理装置、及びこれにおけるデータ処理方法 UPDATE 新技術説明会

国内特許コード P180014778
掲載日 2018年1月15日
出願番号 特願2017-117686
公開番号 特開2019-003414
出願日 平成29年6月15日(2017.6.15)
公開日 平成31年1月10日(2019.1.10)
発明者
  • 富岡 洋一
  • スタニスラフ セドゥーキン
出願人
  • 公立大学法人会津大学
発明の名称 データ処理装置、及びこれにおけるデータ処理方法 UPDATE 新技術説明会
発明の概要 【課題】演算素子プロセッシングエレメントを三次元的に多数配置し、並列性を保ったまま省力で高速の計算を行えるデータ処理方法及びデータ処理装置を提供する。
【構成】乗算及び加算機能を有する複数のプロセッシングエレメントを3次元方向に有するデータ処理装置であって、それぞれ複数の前記プロセッシングエレメントが2次元方向に配置され、Z軸方向に積層された複数の2次元面を有し、前記複数の2次元面のそれぞれに対応して特徴重みが配置されるフィルタメモリを有し、入力データがZ軸方向の上位面の2次元面から配置され、一の面に配置されたプロセッシングエレメントで前記乗算機能により前記入力データと前記特徴重みの積を順次演算して2次元畳み込みデータを演算し、更に下面から転送されるデータと自身のデータを加算する演算を行い、当該演算結果を隣接する上面のプロセッシングエレメントに転送することを特徴とする。
【選択図】図4
従来技術、競合技術の概要


ニューラルネットワークに畳み込み(圧縮処理:Convolution))を追加した畳み込みニューラルネットワーク(Convolutional Neural Network:以下適宜CNNと表記)が、特に画像認識に有効な機械学習として広く認識されている。



図1は、CNNのシステム構成の概略を示す図である。入力データに対して、複数の層(レイヤーL1-L5))構造で処理を行う。



図1では、レイヤーL1、L2のそれぞれは、畳み込み層(Convolutional Layer)、プーリング層(Pooling Layer)を含みこれを繰り返す。



畳み込み層は、入力データに対して フィルタ(kernel)特徴を乗算する(特徴量を畳み込む)層である。入力データが画像データである場合、入力データ(画像)に対して、それぞれ異なるフィルタ特徴を乗算してフィルタの数に対応する画像を得ている。複数のフィルタを使うことにより入力画像のさまざまな特徴が捉えられ、特徴量の畳み込みによって画像内のパターンが検出出来る。



プーリング層は、畳み込み層の直後に置かれ、レイヤーを縮小して扱い易くし、抽出された特徴の位置感度を低下させる。



CNNは、次いで、レイヤーL3-L5により全結合した多層パーセプトロンを配置して入力データ(画像)を認識する。



ここで、序盤のレイヤーで行う畳み込み演算には膨大な計算回数が必要である。このためかかる部分の省電力化が非常に重要な課題となっている。



しかし、複数の演算素子(PE:プロセッシングエレメント)を、アレイ状に配置するアレイ型の並列演算処理素子とすると、周辺機能ブロックとの類似度計算をするために多くの配線資源や転送時間が必要となる。



かかる点に鑑みて、本発明者等は、先にPE間の通信でのデータ衝突を回避し、かつPEを特定の方向に偏ることなく増加させることが可能な拡張性の高いデータ処理装置を提案している(特許文献1)。



かかる先の発明技術では、n次元のネットワークを構成するn次元の方向に配置された全てのPEが、転送クロックに同期してデータを入出力する。そして、データを入出力する方向であるシフト方向に隣接する第1の隣接PEから第1のデータを受け取るとともに、反対側に隣接する第2の隣接PEに第2のデータを出力し、隣接するPE間のデータ転送レートがシフト方向によらず等しいという特徴を有する演算装置である。

産業上の利用分野


本発明は、データ処理装置、及びこれにおけるデータ処理方法に関し、特に、畳み込みニューラルネットワークにおける畳み込み演算に適したデータ処理装置、及びこれにおけるデータ処理方法に関する。

特許請求の範囲 【請求項1】
乗算及び加算機能を有する複数のプロセッシングエレメントを3次元方向に有するデータ処理装置であって、
それぞれ複数の前記プロセッシングエレメントが2次元方向に配置され、Z軸方向に積層された複数の2次元面を有し、
前記複数の2次元面のそれぞれに対応して特徴重みが配置されるフィルタメモリを有し、
入力データがZ軸方向の上位面の2次元面から配置され、
一の面に配置されたプロセッシングエレメントで前記乗算機能により前記入力データと前記特徴重みの積を順次演算して2次元畳み込みデータを演算し、更に下面から転送されるデータと自身のデータを加算する演算を行い、当該演算結果を隣接する上面のプロセッシングエレメントに転送する、
ことを特徴とするデータ処理装置。

【請求項2】
請求項1において、
前記2次元方向に配置されたプロセッシングエレメントはトーラスネットワークに接続され、Z軸方向には、上下面に隣接するプロセッシングエレメントが、ネットワークで双方向に接続される、
ことを特徴とするデータ処理装置。

【請求項3】
請求項1において、
前記2次元畳み込みデータは、隣接するプロセッシングエレメントからの転送データと自身のデータを加算演算し、更にシフト方向に隣接するプロセッシングエレメントに前記加算演算結果を転送する、
ことを特徴とするデータ処理装置。

【請求項4】
請求項1において、
前記Z軸方向の最上位面にあるプロセッシングエレメントは、下面の複数のプロセッシングエレメントから転送される2次元畳み込みデータと自身のデータを加算して2.5次元畳み込みデータを演算する、
ことを特徴とするデータ処理装置。

【請求項5】
請求項4において、
前記2.5次元畳み込みデータは、順次下面のプロセッシングエレメントにシフトされる、
ことを特徴とするデータ処理装置。

【請求項6】
請求項1乃至4の何れか1項において、
前記特徴重みは、前記入力データの配置された2次元面の数で分割され、前記入力データの配置された面毎に対応するフィルタメモリに配置し、前記畳み込みの演算の際、前記フィルタメモリに配置された特徴重みを、対応する面の全てのプロセッシングエレメントにブロードキャストする、
ことを特徴とするデータ処理装置。

【請求項7】
乗算及び加算機能を有する複数のプロセッシングエレメントを3次元方向に有するデータ処理装置におけるデータ処理方法であって、
前記データ処理装置は、それぞれ複数の前記プロセッシングエレメントが2次元方向に配置され、Z軸方向に積層された複数の2次元面を有し、前記複数の2次元面のそれぞれに対応して特徴重みが配置されるフィルタメモリを有し、
入力データを前記Z軸方向の上位面の2次元面から配置する工程と、
一の面に配置されたプロセッシングエレメントで前記乗算機能により前記入力データと前記特徴重みの積を順次演算して2次元畳み込みデータを演算する工程と、
更に下面から転送されるデータと自身のデータを加算する演算を行い、当該演算結果を隣接する上面のプロセッシングエレメントに転送する工程を、
有することを特徴とするデータ処理方法。

【請求項8】
請求項7において、
さらに、前記2次元畳み込みデータは、隣接するプロセッシングエレメントからの転送データと自身のデータを加算演算し、更にシフト方向に隣接するプロセッシングエレメントに前記加算演算結果を転送する工程を、
有することを特徴とするデータ処理方法。

【請求項9】
請求項7において、
前記Z軸方向の最上位面にあるプロセッシングエレメントは、下面の複数のプロセッシングエレメントから転送される2次元畳み込みデータと自身のデータを加算して2.5次元畳み込みデータを演算する工程を、
有することを特徴とするデータ処理方法。

【請求項10】
請求項9において、
前記2.5次元畳み込みデータを、順次下面のプロセッシングエレメントにシフトする工程を、
有することを特徴とするデータ処理方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2017117686thum.jpg
出願権利状態 公開
本技術について、ライセンスや共同研究等をご希望の方は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close