Top > Search of Japanese Patents > IMAGE PROCESSING DEVICE AND METHOD

IMAGE PROCESSING DEVICE AND METHOD

Patent code P200016613
File No. (S2018-0723-N0)
Posted date Feb 25, 2020
Application number P2019-110453
Publication number P2019-220176A
Date of filing Jun 13, 2019
Date of publication of application Dec 26, 2019
Priority data
  • P2018-114188 (Jun 15, 2018) JP
Inventor
  • (In Japanese)ニエ・シジェ
  • (In Japanese)グー・リン
  • (In Japanese)鄭 銀強
  • (In Japanese)佐藤 いまり
  • (In Japanese)アントニー・ラム
  • (In Japanese)小野 順貴
Applicant
  • (In Japanese)大学共同利用機関法人情報・システム研究機構
Title IMAGE PROCESSING DEVICE AND METHOD
Abstract PROBLEM TO BE SOLVED: To optimize a spectral transmission characteristic for spectrum restoration or clustering.
SOLUTION: An image processing device includes: a plurality of first neural networks which respectively have a convolution layer for converting multi-dimensional hyperspectral image data into lower multi-dimensional color spatial image data by using a response function corresponding to a spectral transmission characteristic of a filter to output the color spatial image data; a second neural network for converting the image data from the plurality of first neural networks so as to reconstruct multi-dimensional hyperspectral image data to output the multi-dimensional hyperspectral image data; and control means for calculating a response function which corresponds to the spectral transmission characteristic of each filter of the plurality of first neural networks to form an optical filter by learning the first and second neural networks so as to minimize a difference between learning image data and the reconstructed image data by using the learning image data being the multi-dimensional hyperspectral image data.
Outline of related art and contending technology (In Japanese)

ハイパースペクトルイメージング(画像化)は、波長軸に沿った詳細な光分布を捕捉し、リモートセンシング、医療診断、産業用検出などに有益であることが示されている。例えば、外科医の目に見えない腫瘍マージンは、ハイパースペクトル画像でよりよく視覚化することができる。また、漏洩した目に見えないガスの場合は、スペクトル信号を使用しても明らかである。ハイパースペクトル画像をキャプチャする既存のデバイスのほとんどは、一空間次元に沿ってラインスリットを駆動する(プッシュブローブスキャン)か、グレースケールカメラの前で狭帯域フィルタを連続的に変化させる(フィルタスキャン)のいずれかのスキャンベースである。

Field of industrial application (In Japanese)

本発明は、例えば撮像カメラなどの画像センサに用いられる、分光フィルタ等の光学フィルタの分光透過特性の設計を支援する画像処理装置及び方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備えたことを特徴とする画像処理装置。

【請求項2】
 
前記変換データは、複数次元のハイパースペクトル画像データであり、
前記学習データは、所定の複数次元のハイパースペクトル画像データであることを特徴とする請求項1記載の画像処理装置。

【請求項3】
 
前記変換データは、前記複数の第1のニューラルネットワークからの画像データをクラスタリングしたクラスタリング結果データであり、
前記学習データは、前記クラスタリング結果データに対応し、前記クラスタリングを学習するための学習データであることを特徴とする請求項1記載の画像処理装置。

【請求項4】
 
前記クラスタリングは、物体識別、産地識別、本人識別、個人認証、又は領域分割を含むことを特徴とする請求項3記載の画像処理装置。

【請求項5】
 
前記第2のニューラルネットワークは、複数の畳み込み層と、複数の逆畳み込み層とを縦続接続して構成されたことを特徴とする請求項1~4のうちのいずれか1つに記載の画像処理装置。

【請求項6】
 
前記制御手段は、前記光学フィルタの分光透過特性に対応する応答関数の関数値が0以上であって、かつ、L2ノルムのスムーズ正規化器を用いて前記光学フィルタの分光透過特性に対応する応答関数の変化が所定のスムーズ値以上のスムーズであるという制約条件にもとで、前記複数の第1のニューラルネットワークを学習することを特徴とする請求項1~5のうちのいずれか1つに記載の画像処理装置。

【請求項7】
 
前記画像処理装置は複数の光学フィルタを備え、
前記画像処理装置は、前記計算された複数の光学フィルタの分光透過特性に対応する応答関数を有するように構成した複数の光学フィルタをそれぞれ前段に設けた複数の画像センサをさらに備え、
前記複数の画像センサは、撮像する画像光を前記各光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1~6のうちのいずれか1つに記載の画像処理装置。

【請求項8】
 
前記画像処理装置は複数の光学フィルタを備え、
前記画像処理装置は、前記計算された複数の光学フィルタの分光透過特性に対応する応答関数を有するように構成した複数の光学フィルタを前段に設けた単一の画像センサをさらに備え、
前記単一の画像センサは、撮像する画像光を前記複数の光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1~6のうちのいずれか1つに記載の画像処理装置。

【請求項9】
 
前記画像処理装置は、前記計算された単一の光学フィルタの分光透過特性に対応する応答関数を有するように構成した単一の光学フィルタを前段に設けた複数の画像センサをさらに備え、
前記複数の画像センサは、撮像する画像光を前記単一の光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1~6のうちのいずれか1つに記載の画像処理装置。

【請求項10】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークとを備えた画像処理装置のための画像処理方法であって、
制御手段が、所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算するステップを含むことを特徴とする画像処理方法。

【請求項11】
 
前記変換データは、複数次元のハイパースペクトル画像データであり、
前記学習データは、所定の複数次元のハイパースペクトル画像データであることを特徴とする請求項10記載の画像処理方法。

【請求項12】
 
前記変換データは、前記複数の第1のニューラルネットワークからの画像データをクラスタリングしたクラスタリング結果データであり、
前記学習データは、前記クラスタリング結果データに対応し、前記クラスタリングを学習するための学習データであることを特徴とする請求項10記載の画像処理方法。

【請求項13】
 
前記クラスタリングは、物体識別、産地識別、本人識別、個人認証、又は領域分割を含むことを特徴とする請求項12記載の画像処理方法。

【請求項14】
 
前記制御手段が、前記光学フィルタの分光透過特性に対応する応答関数の関数値が0以上であって、かつ、L2ノルムのスムーズ正規化器を用いて前記光学フィルタの分光透過特性に対応する応答関数の変化が所定のスムーズ値以上のスムーズであるという制約条件にもとで、前記複数の第1のニューラルネットワークを学習するステップをさらに含むことを特徴とする請求項10~13のうちのいずれか1つに記載の画像処理方法。

【請求項15】
 
前記画像処理装置は、前記計算された少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を有するように構成した光学フィルタを前段に設けた少なくとも1つの画像センサをさらに備え、
前記少なくとも1つの画像センサが、撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力するステップと、
前記制御手段が、前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力するステップとを含むことを特徴とする請求項10~14のうちのいずれか1つに記載の画像処理方法。

【請求項16】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備える画像処理装置のための画像センサ装置であって、
前記計算された少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を有するように構成した光学フィルタが前段に設けられた少なくとも1つの画像センサを備え、
前記画像センサは、撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする画像センサ装置。

【請求項17】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備える画像処理装置のための光学フィルタ装置であって、
撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力する少なくとも1つの画像センサの前段に設けられた光学フィルタであって、前記計算された光学フィルタの分光透過特性に対応する応答関数を有するように構成した少なくとも1つの光学フィルタを備えたことを特徴とする光学フィルタ装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2019110453thum.jpg
State of application right Published
(In Japanese)情報・システム研究機構 国立情報学研究所(NII)は、我が国唯一の情報系に特化した研究所です。NIIでは、外部資金による研究成果の社会還元を中心に、技術移転活動に積極的に取り組んでいます。上記の発明にライセンス対象や共同開発対象として関心をお持ちいただいた方は、国立情報学研究所 社会連携推進室までお気軽にお問合せください。


PAGE TOP

close
close
close
close
close
close
close