Top > Search of Japanese Patents > (In Japanese)画像処理装置及び方法

(In Japanese)画像処理装置及び方法

Patent code P200016613
File No. (S2018-0723-N0)
Posted date Feb 25, 2020
Application number P2019-110453
Publication number P2019-220176A
Date of filing Jun 13, 2019
Date of publication of application Dec 26, 2019
Priority data
  • P2018-114188 (Jun 15, 2018) JP
Inventor
  • (In Japanese)ニエ・シジェ
  • (In Japanese)グー・リン
  • (In Japanese)鄭 銀強
  • (In Japanese)佐藤 いまり
  • (In Japanese)アントニー・ラム
  • (In Japanese)小野 順貴
Applicant
  • (In Japanese)大学共同利用機関法人情報・システム研究機構
Title (In Japanese)画像処理装置及び方法
Abstract (In Japanese)
【課題】
 スペクトル復元又はクラスタリングのための分光透過特性の最適化を行う。
【解決手段】
 画像処理装置は、複数次元のハイパースペクトル画像データを、フィルタの分光透過特性に対応する応答関数を用いて、より低い複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、複数の第1のニューラルネットワークからの画像データを複数次元のハイパースペクトル画像データに再構成するように変換して出力する第2のニューラルネットワークと、複数次元のハイパースペクトル画像データである学習画像データを用いて、第1及び第2のニューラルネットワークを、学習画像データと再構成された画像データとの誤差が最小になるように学習することで複数の第1のニューラルネットワークの各フィルタの分光透過特性に対応しかつ光学フィルタを形成するための応答関数を計算する制御手段とを備える。
【選択図】
 図1
Outline of related art and contending technology (In Japanese)

ハイパースペクトルイメージング(画像化)は、波長軸に沿った詳細な光分布を捕捉し、リモートセンシング、医療診断、産業用検出などに有益であることが示されている。例えば、外科医の目に見えない腫瘍マージンは、ハイパースペクトル画像でよりよく視覚化することができる。また、漏洩した目に見えないガスの場合は、スペクトル信号を使用しても明らかである。ハイパースペクトル画像をキャプチャする既存のデバイスのほとんどは、一空間次元に沿ってラインスリットを駆動する(プッシュブローブスキャン)か、グレースケールカメラの前で狭帯域フィルタを連続的に変化させる(フィルタスキャン)のいずれかのスキャンベースである。

Field of industrial application (In Japanese)

本発明は、例えば撮像カメラなどの画像センサに用いられる、分光フィルタ等の光学フィルタの分光透過特性の設計を支援する画像処理装置及び方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備えたことを特徴とする画像処理装置。

【請求項2】
 
前記変換データは、複数次元のハイパースペクトル画像データであり、
前記学習データは、所定の複数次元のハイパースペクトル画像データであることを特徴とする請求項1記載の画像処理装置。

【請求項3】
 
前記変換データは、前記複数の第1のニューラルネットワークからの画像データをクラスタリングしたクラスタリング結果データであり、
前記学習データは、前記クラスタリング結果データに対応し、前記クラスタリングを学習するための学習データであることを特徴とする請求項1記載の画像処理装置。

【請求項4】
 
前記クラスタリングは、物体識別、産地識別、本人識別、個人認証、又は領域分割を含むことを特徴とする請求項3記載の画像処理装置。

【請求項5】
 
前記第2のニューラルネットワークは、複数の畳み込み層と、複数の逆畳み込み層とを縦続接続して構成されたことを特徴とする請求項1~4のうちのいずれか1つに記載の画像処理装置。

【請求項6】
 
前記制御手段は、前記光学フィルタの分光透過特性に対応する応答関数の関数値が0以上であって、かつ、L2ノルムのスムーズ正規化器を用いて前記光学フィルタの分光透過特性に対応する応答関数の変化が所定のスムーズ値以上のスムーズであるという制約条件にもとで、前記複数の第1のニューラルネットワークを学習することを特徴とする請求項1~5のうちのいずれか1つに記載の画像処理装置。

【請求項7】
 
前記画像処理装置は複数の光学フィルタを備え、
前記画像処理装置は、前記計算された複数の光学フィルタの分光透過特性に対応する応答関数を有するように構成した複数の光学フィルタをそれぞれ前段に設けた複数の画像センサをさらに備え、
前記複数の画像センサは、撮像する画像光を前記各光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1~6のうちのいずれか1つに記載の画像処理装置。

【請求項8】
 
前記画像処理装置は複数の光学フィルタを備え、
前記画像処理装置は、前記計算された複数の光学フィルタの分光透過特性に対応する応答関数を有するように構成した複数の光学フィルタを前段に設けた単一の画像センサをさらに備え、
前記単一の画像センサは、撮像する画像光を前記複数の光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1~6のうちのいずれか1つに記載の画像処理装置。

【請求項9】
 
前記画像処理装置は、前記計算された単一の光学フィルタの分光透過特性に対応する応答関数を有するように構成した単一の光学フィルタを前段に設けた複数の画像センサをさらに備え、
前記複数の画像センサは、撮像する画像光を前記単一の光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする請求項1~6のうちのいずれか1つに記載の画像処理装置。

【請求項10】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークとを備えた画像処理装置のための画像処理方法であって、
制御手段が、所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算するステップを含むことを特徴とする画像処理方法。

【請求項11】
 
前記変換データは、複数次元のハイパースペクトル画像データであり、
前記学習データは、所定の複数次元のハイパースペクトル画像データであることを特徴とする請求項10記載の画像処理方法。

【請求項12】
 
前記変換データは、前記複数の第1のニューラルネットワークからの画像データをクラスタリングしたクラスタリング結果データであり、
前記学習データは、前記クラスタリング結果データに対応し、前記クラスタリングを学習するための学習データであることを特徴とする請求項10記載の画像処理方法。

【請求項13】
 
前記クラスタリングは、物体識別、産地識別、本人識別、個人認証、又は領域分割を含むことを特徴とする請求項12記載の画像処理方法。

【請求項14】
 
前記制御手段が、前記光学フィルタの分光透過特性に対応する応答関数の関数値が0以上であって、かつ、L2ノルムのスムーズ正規化器を用いて前記光学フィルタの分光透過特性に対応する応答関数の変化が所定のスムーズ値以上のスムーズであるという制約条件にもとで、前記複数の第1のニューラルネットワークを学習するステップをさらに含むことを特徴とする請求項10~13のうちのいずれか1つに記載の画像処理方法。

【請求項15】
 
前記画像処理装置は、前記計算された少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を有するように構成した光学フィルタを前段に設けた少なくとも1つの画像センサをさらに備え、
前記少なくとも1つの画像センサが、撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力するステップと、
前記制御手段が、前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力するステップとを含むことを特徴とする請求項10~14のうちのいずれか1つに記載の画像処理方法。

【請求項16】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備える画像処理装置のための画像センサ装置であって、
前記計算された少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を有するように構成した光学フィルタが前段に設けられた少なくとも1つの画像センサを備え、
前記画像センサは、撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力し、
前記第2のニューラルネットワークから出力されるハイパースペクトル画像データを、前記撮像する画像光のハイパースペクトル画像データとして出力することを特徴とする画像センサ装置。

【請求項17】
 
複数次元のハイパースペクトル画像データを、少なくとも1つの光学フィルタの分光透過特性に対応する応答関数を用いて、前記ハイパースペクトル画像データの次元数よりも少ない複数次元のカラー空間の画像データに変換して出力する畳み込み層をそれぞれ有する複数の第1のニューラルネットワークと、
前記複数の第1のニューラルネットワークからの画像データを、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応する応答関数を学習するための変換データに変換して出力する第2のニューラルネットワークと、
所定の学習データを用いて、前記第1及び第2のニューラルネットワークを、前記学習データと前記変換データとの誤差が最小になるように学習することにより、前記複数の第1のニューラルネットワークの前記光学フィルタの分光透過特性に対応しかつ前記光学フィルタを形成するための応答関数を計算する制御手段とを備える画像処理装置のための光学フィルタ装置であって、
撮像する画像光を前記光学フィルタを介して受光して出力する画像データを、前記学習された第2のニューラルネットワークに入力する少なくとも1つの画像センサの前段に設けられた光学フィルタであって、前記計算された光学フィルタの分光透過特性に対応する応答関数を有するように構成した少なくとも1つの光学フィルタを備えたことを特徴とする光学フィルタ装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2019110453thum.jpg
State of application right Published
(In Japanese)情報・システム研究機構 国立情報学研究所(NII)は、我が国唯一の情報系に特化した研究所です。NIIでは、外部資金による研究成果の社会還元を中心に、技術移転活動に積極的に取り組んでいます。上記の発明にライセンス対象や共同開発対象として関心をお持ちいただいた方は、国立情報学研究所 社会連携推進室までお気軽にお問合せください。


PAGE TOP

close
close
close
close
close
close
close