TOP > 国内特許検索 > 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法 > 明細書

明細書 :物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-053699 (P2017-053699A)
公開日 平成29年3月16日(2017.3.16)
発明の名称または考案の名称 物質判別に用いる近赤外画像撮像用の波長決定方法および近赤外画像を用いた物質判別方法
国際特許分類 G01N  21/359       (2014.01)
G06T   7/00        (2017.01)
G06T   1/00        (2006.01)
H04N   7/18        (2006.01)
G01N  21/27        (2006.01)
FI G01N 21/359
G06T 7/00 350B
G06T 1/00 410
H04N 7/18 N
H04N 7/18 K
G01N 21/27 A
請求項の数または発明の数 6
出願形態 OL
全頁数 20
出願番号 特願2015-177230 (P2015-177230)
出願日 平成27年9月9日(2015.9.9)
発明者または考案者 【氏名】加藤 邦人
【氏名】服部 哲也
出願人 【識別番号】304019399
【氏名又は名称】国立大学法人岐阜大学
個別代理人の代理人 【識別番号】110000659、【氏名又は名称】特許業務法人広江アソシエイツ特許事務所
審査請求 未請求
テーマコード 2G059
5B047
5C054
5L096
Fターム 2G059AA05
2G059EE02
2G059FF01
2G059HH01
2G059MM01
2G059MM02
2G059MM12
5B047AA30
5B047AB04
5B047BC11
5B047CA19
5B047CB22
5C054CA05
5C054CC02
5C054EA05
5C054FC12
5C054FC15
5C054HA05
5L096CA02
5L096DA01
5L096FA15
5L096FA35
5L096GA32
5L096GA34
5L096GA38
5L096JA18
5L096MA07
要約 【課題】検出対象物質と検出対象以外の物質とを正確に判別するための撮像用の近赤外線の波長を決定する方法を提供する。また、複数の種類の検出対象物を含む画像から、各検出対象物質が撮像されている領域と検出対象物質以外が撮像されている領域とを正確に判別する方法を提供する。
【解決手段】検出対象物質と検出対象以外の物質にそれぞれラベル値とを決定し、複数の近赤外線画像から検出対象物に属する画素と検出対象以外の物質に属する一群の画素を抽出してそれぞれのラベル付けを行い、検出対象物質の画素値と検出対象以外の物質の画素値とを説明変数とし、それぞれに設定したラベル値を目的変数として回帰分析を行い、回帰分析の結果から識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする。複数の検出対象物質のそれぞれについて識別器で2クラス分類を行い、得られた結果を組み合わせて多クラス分類を行い、画像に含まれる検出対象物質を判別する。
【選択図】図2
特許請求の範囲 【請求項1】
近赤外線に対応して撮像された近赤外画像の中の検出対象物質と検出対象以外の物質とを判別するために、検出対象物質に対応した撮像用の光の波長を決定する方法であって、
近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数の画像を撮像する工程と、
検出対象物質に用いる第一のラベル値と、検出対象以外の物質に用いる第二のラベル値とを決定する工程と、
複数の前記画像から、検出対象物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第一のラベル値と関連づけを行う工程と、
複数の前記画像から、検出対象以外の物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第二のラベル値と関連づけを行う工程と、
前記検出対象物質に属する一群の画素の画素値及び前記検出対象以外の物質に属する一群の画素の画素値を説明変数とし、第一のラベル値及び第二のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から検出対象物質の二クラス分類を行うための識別器を生成する工程と、
前記回帰分析の結果から、前記識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程と、
を備えていることを特徴とする近赤外画像の撮像用の波長決定方法。
【請求項2】
前記回帰分析がPLS回帰分析であり、
前記PLS回帰分析の結果から、前記識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程が、次式、すなわち、
【数1】
JP2017053699A_000009t.gif

Kは全次元数であり、iは1~K次元を表し、W,u,tは計算パラメータである式によって表されるVIPの値を波長ごとに計算し、当該VIPの値に基づいて、前記識別器の識別性能への寄与度が高い波長を特定することを特徴とする請求項1記載の近赤外画像撮像用の波長決定方法。
【請求項3】
前記回帰分析がPLS回帰分析であり、
当該PLS回帰分析によって求められた回帰係数の値を用いて、前記識別器の識別性能への寄与度が高い波長を特定することを特徴とする請求項1または2記載の近赤外画像撮像用の波長決定方法。
【請求項4】
近赤外線に対応して撮像された近赤外画像の中に含まれる複数の検出対象物質と検出対象以外の物質とを判別する方法であって、
近赤外領域の複数の波長を用いて、複数の前記検出対象物質と検出対象以外の物質とが撮像された複数のサンプル画像を得る撮像工程と、
複数の前記検出対象物質および検出対象以外の物質のそれぞれについてラベル値を設定するラベル値設定工程と、
複数の前記サンプル画像から、複数の前記検出対象物質の中の一つの検出対象物質について、前記検出対象物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定した前記ラベル値との関連づけを行う第一の画素値抽出工程と、
複数の前記サンプル画像から、検出対象以外の物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う第二の画素値抽出工程と、
前記検出対象物質に属する一群の画素の画素値及び前記検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から前記検出対象物質を識別する識別器を生成する第一の識別器生成工程と、
各々の前記検出対象物質ごとに、前記第一の画素値抽出工程、前記第二の画素値抽出工程、前記第一の識別器生成工程を繰り返して行い、個々の前記検出対象物質に対応する識別器をそれぞれ生成する工程と、
を備えており、
複数の近赤外線画像から画素を抽出し、当該画素の画素値を各々の前記検出対象物質に対応する前記識別器の説明変数に入力して各々の前記識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、前記画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする、複数の検出対象物質と検出対象以外の物質とを判別する方法。
【請求項5】
各々の前記検出対象物質について、前記回帰分析の結果から、前記検出対象物質ごとの前記識別器の識別性能への寄与度の高い波長を複数選択して識別に適した光の波長を選択する波長選択工程と、
前記波長選択工程で選択された波長の近赤外画像のみを用いて、前記検出対象物質に属する一群の画素の画素値及び前記検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から前記検出対象物質を識別するための物質検出用識別器を生成する第二の識別器生成工程と、
前記検出対象物質の全てに対して、前記第一の画素値抽出工程、前記第二の画素値抽出工程、および前記第一の識別器生成工程に加えて、前記波長選択工程、および前記第二の識別器生成工程を各々の検出対象物質に対して繰り返して行い、各々の前記検出対象物質の識別に適した光の波長を複数決定して各々の前記検出対象物質に対応する物質検出用識別器をそれぞれ生成する工程と、
を備えており、
各々の検出対象物質の識別に適した前記波長で撮像した複数の近赤外線画像から画素を抽出し、当該画素の画素値を各々の前記検出対象物質に対応する物質検出用識別器の説明変数に入力して各々の物質検出用識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、前記画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする、請求項4記載の複数の検出対象物質と検出対象以外の物質とを判別する方法。
【請求項6】
前記多クラス分類が、前記推定値の符号の組み合わせから判別する方法、前記推定値に閾値を設定して組み合わせる方法、前記推定値を特徴量としてNN法もしくはk-NN法を適用する方法、および識別関数に対する推定値の値で判別する方法のいずれかで行われることを特徴とする請求項4又は5記載の複数の検出対象物質と検出対象以外の物質とを判別する方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像に撮像されている検出対象物質を判別するための方法に関する。特に、近赤外線を用いて検出対象物を含む画像を撮像して画像中の検出対象物を高い精度で判別するための、撮像に使用する近赤外線の波長を決定する方法と、近赤外光を用いた画像から複数の検出対象物質を判別する物質判別方法に関するものである。
【背景技術】
【0002】
従来から、可視光または赤外線を用いて撮像された画像に含まれる検出対象物を判別するための画像処理技術が知られている。たとえば、特許文献1が開示する人的障害物検出装置は、赤外画像に撮像された人を検出するために、人体の露出部の温度をしきい値として二値化処理し、処理後の画像から検出を行う技術を開示している。しかしながら、赤外線装置によって撮像される画像の中には、自動車のヘッドライトや排気管など、人体の露出部と温度がほぼ同じ物体が存在する可能性があり、誤検出が発生する可能性が排除できない。またたとえば、特許文献2に開示される顔面内部位認識方法は、遠赤外光画像と可視光画像とを一組として、遠赤外画像から特定の温度の領域を抽出し、可視光画像から肌色の領域を抽出して人の顔を精度高く認識しようとしている。しかしながら可視光の利用は、光を検出対象の人に照射することで相手に不快感をあたえる可能性があり、また撮影時の時刻や天候の影響を受けて光のスペクトル分布が変動しやすく、対象物の色を正確に検出して抽出することが困難となる場合がある。
【0003】
そこで近年、近赤外線(波長800nm~2500nm)の反射量に対応して輝度を定義した近赤外画像を使用して、物質を判別しようとする試みがなされている。一般的な物質は、近赤外領域の複数の波長で反射率が低下する固有のパターンを持つ。近赤外線に対応する画像では、反射率の低下を画素値の低下として数値化することができる。
【0004】
特許文献3の物体識別装置は、近赤外光及び可視光の複数の波長帯の光の各々の受光強度で示される画像データを取得して、得られた画像を複数の領域に分割し、各々の領域毎に各波長帯毎の情報を示し、波長数に応じた次元数の情報で示される領域情報を抽出し、抽出された領域情報の次元を圧縮して、予め用意しておいたサンプルデータに基づき、物体を識別している。特許文献3の物体識別装置では、使用する近赤外光の具体的な波長の選択方法は記載されておらず、また撮像を行う具体的な波長は記載されていない。特許文献4は、物体識別装置及びプログラムを開示している。特許文献4の物体識別装置は、近赤外光波長領域の異なる3つの波長帯の3枚の撮影画像を取得し、取得した画像の各々について、識別対象領域内の画素値を平均し、抽出する。そして、抽出された画素値をHSV色空間の特徴量H、S、Vに変換し、予め学習しておいた分布状況と照合することで、物質を識別している。特許文献4の物体識別装置は、撮像に使用する近赤外線の第一波長帯、第二波長帯、第三波長帯の波長は具体的に記載されておらず、また波長を選択する具体的な方法は開示されていない。特許文献5の機器は、生体内の血管を1100~1350nmの波長の近赤外線で走査し、血管壁の病変の分析を行う機器を開示している。
【先行技術文献】
【0005】

【特許文献1】特開平09-326096号公報
【特許文献2】特開平08-287216号公報
【特許文献3】特開2009-076012号公報
【特許文献4】特開2009-076012号公報
【特許文献5】特表2005-534428号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
任意の検出対象物質を撮像した画像に含まれる検出対象物質と検出対象物以外とを正確に判別するための、撮像に用いる近赤外線の波長を決定する技術が必要とされている。また、複数の種類の検出対象物を含む画像から、各検出対象物質が撮像されている領域と検出対象物質以外が撮像されている領域とを正確に判別する技術が必要とされている。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の近赤外画像の撮像用の波長決定方法は、以下の工程を備えていることを特徴とする。すなわち、近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数の画像を撮像する工程と、検出対象物質に用いる第一のラベル値と、検出対象以外の物質に用いる第二のラベル値とを決定する工程と、撮像した複数の画像から、検出対象物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第一のラベル値と関連づけを行う工程と、同じ複数の画像から、検出対象以外の物質に属する一群の画素を抽出し、各々の画素値を撮像に用いた光の波長および第二のラベル値と関連づけを行う工程と、を備えている。さらに本発明の方法は、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、第一のラベル値及び第二のラベル値を目的変数として回帰分析を行い、この回帰分析の結果から検出対象物質の二クラス分類を行うための識別器を生成する工程と、回帰分析の結果から、識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程と、を備えていることを特徴とする。
【0008】
本発明の近赤外画像の撮像用の波長決定方法は、回帰分析としてPLS回帰分析(部分的最小二乗法)を行うことが好ましい。そして、PLS回帰分析の結果から、識別器の識別性能への寄与度の高い波長を複数選択して撮像用の光の波長とする工程が、次式、すなわち、
【数1】
JP2017053699A_000003t.gif


Kは全次元数であり、iは1~K次元であり、W,u,tは計算パラメータである式によって表されるVIPの値を波長ごとに計算し、得られたVIPの値に基づいて、識別器の識別性能への寄与度が高い波長を特定することが好ましい。
【0009】
また、本発明の近赤外画像の撮像用の波長決定方法は、回帰分析としてPLS回帰分析を行い、PLS回帰分析によって求められた回帰係数の値を用いて、識別器の識別性能への寄与度が高い波長を特定することが好ましい。
【0010】
本発明は、また、近赤外線に対応して撮像された近赤外画像の中に含まれる複数の検出対象物質と検出対象以外の物質とを判別する方法を提供する。本発明の近赤外画像を用いた物質判別方法は、近赤外領域の複数の波長を用いて、複数の検出対象物質と検出対象以外の物質とが撮像された複数のサンプル画像を得る撮像工程と、複数の検出対象物質および検出対象以外の物質のそれぞれについてラベル値を設定するラベル値設定工程と、複数のサンプル画像から、複数の検出対象物質の中の一つの検出対象物質について、検出対象物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う第一の画素値抽出工程と、複数のサンプル画像から、検出対象以外の物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う第二の画素値抽出工程と、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、この回帰分析の結果から検出対象物質を識別する識別器を生成する第一の識別器生成工程と、各々の検出対象物質ごとに、第一の画素値抽出工程、第二の画素値抽出工程、第一の識別器生成工程を繰り返して行い、個々の検出対象物質に対応する識別器をそれぞれ生成する工程と、を備えている。さらに本発明の物質判別方法は、複数の近赤外線画像から画素を抽出し、この抽出した画素の画素値を各々の検出対象物質に対応する識別器の説明変数に入力して各々の識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする。
【0011】
本発明の複数の検出対象物質と検出対象以外の物質とを判別する物質判別方法は、各々の検出対象物質について、回帰分析の結果から、検出対象物質ごとの識別器の識別性能への寄与度の高い波長を複数選択して識別に適した光の波長を選択する波長選択工程と、波長選択工程で選択された波長の近赤外画像のみを用いて、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として回帰分析を行い、当該回帰分析の結果から検出対象物質を識別するための物質検出用識別器を生成する第二の識別器生成工程と、検出対象物質の全てに対して、第一の画素値抽出工程、第二の画素値抽出工程、第一の識別器生成工程に加えて、波長選択工程および第二の識別器生成工程を各々の検出対象物質に対して繰り返して行い、各々の検出対象物質の識別に適した光の波長を複数決定して各々の検出対象物質に対応する物質検出用識別器をそれぞれ生成する工程と、を備えていることが好ましい。そして、複数の検出対象物質を判別するために、各々の検出対象物質の識別に適した波長で撮像した複数の近赤外線画像から画素を抽出し、抽出した画素の画素値を各々の検出対象物質に対応する物質検出用識別器の説明変数に入力して各々の物質検出用識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことを特徴とする。
【0012】
本発明の物質判別方法は、多クラス分類が、推定値の符号の組み合わせから判別する方法、推定値に閾値を設定して組み合わせる方法、推定値を特徴量としてNN法もしくはk-NN法を適用する方法、および識別関数に対する推定値の値で判別する方法のいずれかで行われることが好ましい。
【発明の効果】
【0013】
本発明にかかる波長決定方法によって決定した波長の光を用いて、検出対象物質を含む近赤外画像を撮像することで、得られた画像の中から検出対象物質が撮像されている領域のみを正確に抽出することが可能となる。
【0014】
本発明にかかる複数の検出対象物質と検出対象以外の物質とを判別する方法によって、複数の種類の検出対象物を含む近赤外画像から、それぞれの検出対象物質と検出対象以外の物質とを正確に判別することが可能となる。
【図面の簡単な説明】
【0015】
【図1】図1は、本発明に係る波長決定方法のフローチャートである。(実施例1)
【図2】図2は、本発明に係る物質検出方法のフローチャートである。(実施例2)
【図3】図3は、本発明に係る物質検出方法の代替例のフローチャートである。(実施例4)
【図4】図4は、実施例2の画像の画素値から物質を判別する工程を模式的に示す図である。
【図5】図5は、実施例2の推定値から物質を判別する条件の例を模式的に示す図である。
【図6】図6は、実施例3の推定値から物質を判別する条件の例を模式的に示す図である。
【図7】図7は、実施例5の画像の画素値から物質を判別する工程を模式的に示す図である。
【図8】図8は、実施例5の選択した波長で撮像した画像から物質を判別する工程を模式的に示す図である。
【図9】図9は、検出対象物質が3個撮像されているサンプル画像を示す図面代用写真である。
【図10】図10は、実施例2の方法で第一の物質Aを判別した結果を示す図面代用写真である。
【図11】図11は、実施例2の方法で第二の物質Bを判別した結果を示す図面代用写真である。
【図12】図12は、実施例2の方法で第三の物質Cを判別した結果を示す図面代用写真である。
【図13】図13は、実施例2の方法で複数の物質を判別した結果を示す図面代用写真である。
【図14】図14は、実施例3の方法で複数の物質を判別した結果を示す図面代用写真である。
【図15】図15は、実施例4の方法で物質を判別した結果を示す図面代用写真である。
【図16】図16は、検出対象物質が4個撮像されているサンプル画像を示す図面代用写真である。
【図17】図17は、実施例2の方法で4個の物質を判別した結果を示す図面代用写真である。
【図18】図18は、実施例3の方法で4個の物質を判別した結果を示す図面代用写真である。
【図19】図19は、実施例4の方法で物質を判別した結果を示す図面代用写真である。
【図20】図20は、検出対象物質の近赤外線の波長に対するVIP値を示すグラフである。
【図21】図21は、検出対象物質の近赤外線の波長に対するVIP値の平準化処理後の値を示すグラフである。
【図22】図22は、検出対象物質の近赤外線の波長に対するVIP値の極大点の抽出結果を示すグラフである。
【発明を実施するための形態】
【0016】
以下、検出対象物質の判別に適した画像撮像用の近赤外線の波長を決定する方法を実施例1で、図面を参照しつつ詳細に述べる。また、近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法を、実施例2から実施例5で、図面を参照しつつ詳細に述べる。なお、以下の実施例で撮像に用いた近赤外線は、波長650nm~1100nmの範囲の近赤外線である。
【実施例1】
【0017】
図1は、本発明の実施例1の、画像撮像用の近赤外線の波長を決定する方法のフローチャートである。実施例1は、一または複数の検出対象物質を含む画像に適用することができる。以下、フローチャートに従って、説明する。本実施例の近赤外画像の撮像用の波長決定方法は、まず準備段階として、近赤外領域の複数の波長を用いて、複数の検出対象物質と検出対象以外の物質を含む複数の画像を撮像してデータを保存する。一例として、検出対象物質を含む領域の近赤外線の反射率を、650nmから1100nmまでの範囲で2nmごとに226枚撮像し、それぞれの画像の中の各画素値を16ビットのデータとして保存する。
【実施例1】
【0018】
次に、検出対象物質に用いる第一のラベル値と、検出対象以外の物質に用いる第二のラベル値とを決定する(工程S1)。ラベル値の例としては、例えば、検出対象物質に値「+1」を付し、検出対象物質以外に値「-1」を付すことができる。本実施例では、1枚の画像から複数の検出対象物質を判別する場合であっても、判別に適した波長を選択する工程は物質ごとに独立して行うため、異なる検出対象物質に同一の値のラベル値を決定することが可能である。また、検出対象物質ごとに異なるラベル値を決定することも可能である。
【実施例1】
【0019】
次に、撮像されている全ての近赤外画像を読み込み(工程S2)、これらの画像から、検出対象物質に属する一群の画素の抽出を行う(工程S3)。検出対象物質に属する画素であるかか否かは、作業者が目視にて判定する。そして、抽出した各々の画素の画素値を、近赤外画像の撮像に用いた光の波長および第一のラベル値と関連づけを行って、保存する。同様に、工程S4で、近赤外画像から、検出対象物質以外の範囲の一群の画素を抽出する。検出対象物質以外の画素であるかか否かは、作業者が目視にて判定する。そして、抽出した各々の画素の画素値を、近赤外画像の撮像に用いた光の波長および第二のラベル値と関連づけを行って、保存する。本実施例では、波長nで撮像した画像について、検出対象物質と判定した画素の画素値データの配列をfとし、検出対象物質以外と判定した画素の画素値データの配列をgとし、それぞれの画素の画像内の座標を(x、y)として、それぞれのデータ配列を保存している。
【実施例1】
【0020】
工程S5で、検出対象物質に属する一群の画素値のデータ配列fと、検出対象以外の物質に属する一群の画素の画素値のデータ配列gを説明変数とし、第一のラベル値「+1」及び第二のラベル値「-1」を目的変数として回帰分析を行う。得られた回帰係数をBとすると、ラベル値と画素値のデータ配列と、回帰係数Bとの関係は、以下のようになる。
【数2】
JP2017053699A_000004t.gif



【実施例1】
【0021】
本実施形態では、回帰分析としてPLS回帰分析を行っている。PLS回帰分析によって得られた回帰係数から、検出対象物質と検出対象物質以外を分類する識別器を生成することができる。複数の検出対象物質がある場合には、全ての検出対象物質について、2クラス分類を行うための識別器を作成するために、工程S3から工程S5を繰り返す。全ての検出対象物質についての識別器の作成が完了すると工程S6がyesとなり、検出対象物質の判別に適した画像撮像用の近赤外線の波長の決定を開始することができる。PLS回帰分析を用いることの利点は主に三つ挙げられる。一つ目は多重共線性を含むデータや従属変数が非常に膨大なデータ、ノイズを含むデータなど複雑な解析に対しても有効な結果が得られること。二つ目は回帰式が低次元に収束すること。三つ目は説明変数だけでなく、目的変数にも考慮した計算を行うことから、主成分回帰分析等よりも従属変数と目的変数の相関が高い回帰式が得られることである。
【実施例1】
【0022】
工程S7で、識別性能への寄与度の高い波長を複数選択して、特定の検出対象物質に対応する撮像用の光の波長を決定する。全波長を用いたPLS回帰分析のパラメータによって、波長ごとのVIP値(variable importance in the projection)を計算することができる。VIP値の計算式を以下に示す。識別性能への寄与度が高く重要度の高い特徴量(波長)は、VIP値も高くなる。
【数3】
JP2017053699A_000005t.gif

Kは全特徴次元数であり、iは1~K次元を表し、、W は PLS回帰分析により求められたWaの行列であり、u は PLS回帰分析により求められたXのスコアであり、tはPLS回帰分析により求められたyのスコアである。

【実施例1】
【0023】
VIP値を波長ごとに計算し、得られたVIP値に基づいて、2クラス分類を行う識別器の識別性能への寄与度が高い波長を特定することができる。図20に、波長ごとに計算した実際のVIP値の一例を示す。本実施例では、VIP値の平準化処理を行い、さらに、極大点の抽出を行って、識別性能への寄与度の高い波長を特定し、選択する。図21に、前後4波長のVIP値の移動平均を用いて、VIP値を平準化した結果を示す。さらに図22に、極大点を抽出した結果を示す。本実施例では、図22に示した5つの極大点を、特定の検出対象物質に対応する波長として選択した。
【実施例1】
【0024】
検出対象物質が複数ある場合には、全ての検出対象物質についてのPLS回帰分析の結果からVIP値の値を計算することにより、複数の物質の全てを判別に適した画像撮像用の近赤外線の波長を決定できる(工程S8)。たとえば、第一の物質の判定に適した撮像用の波長が650nmと680nmの2つの波長であり、第二の物質の判定に適した撮像用の波長が650nm、684nm、1080nmの3つの波長であり、第三の物質の判定に適した撮像用の波長が650nm、718nmであった場合、第一の物質の判定に適した波長680nmと第二の物質の判定に適した画像684nmは近接した波長であるために、よりVIP値の高い一方に統合して、650nm、680nm、718nm、1080nmの近赤外線画像を用いることにより、3つの物質をいずれも精度高く判別することが可能であった。
【実施例1】
【0025】
本実施例では、検出対象物質の判別に適した画像撮像用の近赤外線の波長を決定する方法を説明した。検出対象物を撮像した画素の画素値と、検出対象物以外の画像の画素値とを抽出してクラス分けのためのPLS回帰分析を行い、VIP値から画像撮像用の波長を決定することで、検出対象物質の判別に適した波長を決定することができる。なお、VIP値に基づいて波長を選択する方法の他、回帰係数の値が大きい波長を選択する方法と、回帰係数の値とVIP値の値の両方を用いて、検出対象物質の判別に適した波長を選択する方法もまた、同様に有効である。
【実施例2】
【0026】
以下に、本発明を、画像の中に複数の検出対象物質が含まれる場合の判別に適用した例を説明する。図2は、本発明の実施例2の、近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法のフローチャートである。図4は、本実施例の画像の画素値から物質を判別する工程を模式的に示す図である。図5は、本実施例の推定値から物質を判別する条件を模式的に示す図である。以下、フローチャートに従って、説明する。
【実施例2】
【0027】
本実施例の検出対象物質の判別方法は、最初に判別を行う検出対象物質を決定し、それぞれの検出対象物質について対応付けを行うラベル値を設定し、さらに検出対象物質以外のものが撮像されている領域のそれぞれに対応付けるラベル値を設定する(工程S11)。本実施例では、ラベル値として、検出対象物質に値「+1」を付し、検出対象物質以外に値「-1」を付している。本実施例では、1枚の画像から複数の検出対象物質を判別するために、検出対象物質ごとに異なる判別器を作成して、物質ごとに判別処理を独立して行うため、異なる検出対象物質に同一の値のラベル値を決定することが可能である。
【実施例2】
【0028】
次に、近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数のサンプル画像を撮像し、この画像を読み込む(工程S12)。たとえば、実施例1と同様に、検出対象物質を含む領域の近赤外線の反射率を、650nmから1100nmまでの範囲で2nmごとに226枚撮像し、それぞれの画像の中の各画素値を16ビットのデータとして保存する。
【実施例2】
【0029】
引き続き、全てのサンプル画像から、検出対象物質に属する一群の画素の抽出を行う(工程S13)複数の検出対象物質の中から、任意の一つの検出対象物質を対象として選択し、全ての画像について選択した検出対象物質に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定した前記ラベル値との関連づけを行う。検出対象物質に属する画素であるか否かは、作業者が目視にて判定する(工程S13)。同様に、全てのサンプル画像から、選択した検出対象物質以外の領域に属する一群の画素を抽出し、画素値と、撮像した光の波長と、設定したラベル値との関連づけを行う。このとき抽出する検出対象物質以外の領域には、検出を予定している物質であって、工程S13では選択していない検出対象物質を含める必要がある(工程S14)。そして、検出対象物質に属する一群の画素の画素値と、検出対象以外の物質に属する一群の画素の画素値とを説明変数とし、各々のラベル値を目的変数として回帰分析を行い、回帰分析の結果から検出対象物質を識別する識別器を生成する(工程S15)。回帰分析によって得られた波長毎の回帰係数の一例を、以下の表1に示す。この回帰係数の値は、識別器に用いることができる。すなわち、識別の際、画素ごとに全波長の画素値を抽出して、この回帰係数と掛け合わせることで一つの画素の推定値が得られる。
【実施例2】
【0030】
【表1】
JP2017053699A_000006t.gif

【実施例2】
【0031】
複数の前記検出対象物質ごとに、工程S13から工程S15までを繰り返して行い、個々の検出対象物質に対応する識別器をそれぞれ生成する(工程S16)。図4では、3つの検出対象物質A,B,Cを選択し、それぞれに対応する3つの識別器B,B,Bを作成したことを例として示している。
【実施例2】
【0032】
個々の検出対象物質に対応する識別器が全て完成したことで、判別処理を進めることができる。解析用の複数の近赤外線画像を撮像し読み込んで(工程S17)、画素を抽出し(工程S18)、抽出した画素の画素値を各々の検出対象物質に対応する識別器の説明変数に入力して各々の識別器から推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、画素がいずれかの検出対象物質に属しているか否かを判別する多クラス分類を行うことができる(工程S19)。結果を画像として出力することで(工程S20)、複数の検出対象物質と検出対象以外の物質とを精度高く判別することができる。
【実施例2】
【0033】
本実施例では、ラベル値として検出対象物質に値「+1」を付し、検出対象物質以外であれば値「-1」を付しているので、解析用の画像から抽出した画素の画素値を識別器に入力した時、その画素が検出対象物質に近ければ+1に近い推定値yが出力され、検出対象物質以外であれば-1 に近い推定値yが出力される。ここで、画素値を、検出対象物質Aを識別する識別器Bに説明変数として入力すれば、画素が検出対象物質Aを撮像しているか否かの推定に用いる推定値yを出力することができ、推定値を用いて2クラス分類ができる。同じ画素の画素値を検出対象物質Bを識別する識別器Bに入力すれば推定値yを出力することができ、検出対象物質Cを識別する識別器Bに入力すれば推定値yを出力することができる。本実施例では、このようにラベル値として+1と-1の二種類の値を用いたことにより、推定値の符号の組み合わせから、検出対象物質の種類を判別することができる。すなわち、図5に挙げるように、yの値が正で、yとyが負の数となった画素は、検出対象物質Aを撮像していると判別できる。同様に、yの値が正でyとyが負の数となった画素は検出対象物質Bを撮像していると判別し、yの値が正でyとyが負の数となった画素は検出対象物質Cを撮像していると判別することができる。y,y,yの全ての値が負の数となったときは、いずれの検出対象物質も撮像されていない領域の画素であると判別することができる。
【実施例2】
【0034】
図9から図13に、本実施例の物質の判別方法を、画像の中に3種類の検出対象物質が含まれる場合の判別に適用した結果を示す。図9は、手11と、アスファルト12と、植物の葉13からなる3種類の検出対象物が撮像されているサンプル画像の一例を示す図面代用写真である。ここでは、手11を検出対象物Aとし、アスファルト12を検出対象物Bとし、植物の葉13を検出対象物Cとして、判別処理を進めた。図10に、識別器yを用いて、第一の検出対象物質Aである手11を判別した結果を示す。図11に、識別器yを用いて、第二の検出対象物質Bであるアスファルト12を判別した結果を示す。図12に、識別器yを用いて、第三の検出対象物質Cである植物の葉13を判別した結果を示す。図10から図12では、推定値の値が高いときに赤色、低いときに青色となるように、グラデーションで色分けを行った。いずれの判別結果にも、十分な精度が得られていることが示されている。さらに、これらの判別結果を組み合わせて多クラス分類を行うことで、図13に示すように、3種類の検出対象物質が含まれている画像から、それぞれの検出対象物質が確実に判別できた。図13では、判別結果が手11であれば赤色、アスファルト12であれば水色、植物の葉13であれば青色となるように表示している。
【実施例3】
【0035】
以下に、実施例2の代替例である近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法を説明する。本実施例の判別方法は、ラベル値の設定が実施例2の判別方法と異なっており、推定値から検出対象物質を判別するための判別基準が異なっている。その他の、実施例2と同一である処理の内容については、重複説明を割愛する。
【実施例3】
【0036】
本実施例では、ラベル値としてそれぞれの検出対象物質毎に任意の数値を設定し、検出対象物質以外に対して、検出対象物質よりも小のラベル値を設定している。そして、サンプル画像の画素値を説明変数とし、これらの設定したラベル値を目的変数として回帰分析を行い、検出対象物質毎の判別器を作成する。本実施例でもまた、1枚の画像から複数の検出対象物質を判別するために、検出対象物質ごとに異なる判別器を作成して物質ごとに判別処理を独立して行うため、異なる検出対象物質に同一の値のラベル値を決定することが可能である。
【実施例3】
【0037】
本実施例では、完成した識別器によって得られた推定値に対して、検出対象物質ごとに異なる閾値を設定して判別を行う。実施例2と同一の3つの検出対象物質A,B,Cを選択し、実施例2とは異なるレベル値を設定し、それぞれに対応する3つの識別器B,B,Bを作成した例について説明する。最初に、検出対象物質Aについて、所定の下限値以上であり、且つ所定の上限値以下であった場合は物質Aであると分類するような上限値と下限値からなる閾値の初期値を設定する。その閾値を順に変動させ、その都度物質Aの分類精度を求める。そして、一番精度よく物質Aを分類できる上限と下限の閾値Ta1,Ta2を求める。検出対象物質B,Cについても同様に閾値Tb1,Tb2,Tc1,Tc2を求める。この結果、閾値Ta1,Ta2,Tb1,Tb2,Tc1,Tc2は、それぞれ検出対象物質A、B、C を一番精度良く分類できるように設定した閾値となる。全ての推定値を、閾値Ta1,Ta2,Tb1,Tb2,Tc1,Tc2を用いて2クラス分類し、この分類の結果を組み合わせて、図6に示した基準で分類することにより、検出対象物質A,B,Cおよび検出対象物質以外の多クラスに分類することができる。図14に多クラス分類を行った結果を示す。実施例2の判別方法と同等以上に、検出対象物質が確実に判別できている。
【実施例4】
【0038】
以下に、実施例2の更なる代替例である、近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する方法を説明する。本実施例では、2クラス分類にk-NN法(k Nearest Neighbor Algorithm、k近傍法)を用いることを特徴とする。その他の実施例2および実施例3と同一である処理の内容については、重複説明を割愛する。
【実施例4】
【0039】
k-NN法を適用して近赤外画像の中の検出対象物質と検出対象物質以外とを判別した方法の概要は、以下のとおりである。サンプル画像の画素値を用いて検出対象物質ごとの推定値を求めておき、これを学習データとして用いる。解析対象画像の中の画素の画素値について、それぞれの検出対象物質に対応した識別器で推定値を求める。そして、全ての学習データとの間の距離を求め、距離が最も近いデータからk番目に近い学習データまでを参照し、学習データが属している検出対象物質の種類について多数決を取ることにより、クラス分類を行う。このとき、考慮するデータの数であるkの値は任意に設定することができる。また、学習データまでの距離は一般的にはユークリッド距離を用いるが、別の方法で求めることも可能である。本実施例では、k-NN法を用いて判別を行ったが、同様にNN法による判別も可能である。図15に本実施例のk-NN法を用いた多クラス分類の結果を示す。実施例2および実施例3の判別方法と同等以上に、検出対象物質が確実に判別できている。
【実施例4】
【0040】
実施例2から4までの判別方法の比較
実施例2の推定値の符号の組み合わせから検出対象物質を判別する方法のF値(Precision(適合率)とRecall(再現率)の総合的な評価の際に利用される指標)は、0.597であった。実施例3の推定値に閾値を設定して組み合わせることで検出対象物質を判別する方法のF値は、0.949であった。実施例4のk-NN法を適用した検出対象物質の判別方法のF値は、0.918であった。いずれの実施例も、判別方法として有効であることが検証できた。さらに、図16に示すように、検出対象物質を、手11,アスファルト12、植物の葉13,およびコンクリート14の4個として、実施例2から実施例4の方法で判別を行った結果を以下に示す。図17は、実施例2の方法で4個の物質を判別した結果であり、このときのF値は0.733であった。図18は、実施例3の方法で4個の物質を判別した結果であり、このときのF値は0.970であった。図19は、実施例4の方法で4個の物質を判別した結果であり、このときのF値は0.975であった。判別の結果、手と判別された画素を赤色、植物の葉と判別された画素を青色、アスファルトと判別された画素を水色、コンクリートと判別された画素を緑色で示している。いずれの判別方法も、検出対象物質が確実に判別できている。
【実施例4】
【0041】
実施例2から実施例4の判別方法の精度を評価した結果を、以下の表2と表3に示す。表の中のTPで示した値は、各検出対象物質を撮像した領域を検出対象物質であると正しく判別した画素数である。FNで示した値は、各検出対象物質を撮像した領域を検出対象以外の物質であると誤って判別した画素数である。FPで示した値は、各検出対象以外の物質を撮像した領域を検出対象物質であると誤って判別した画素数である。TNで示した値は、各検出対象以外の物質を撮像した領域を検出対象以外の物質であると正しく判別した画素数である。
【実施例4】
【0042】
3種類の検出対象物を判別した例
【表2】
JP2017053699A_000007t.gif


【実施例4】
【0043】
4種類の検出対象物を判別した例
【表3】
JP2017053699A_000008t.gif


【実施例5】
【0044】
以下に、本発明の実施例1で説明した波長を選択する方法を適用して近赤外画像に含まれる複数の検出対象物質と検出対象物質以外とを判別する場合に、撮像に用いる波長を選択してより少ない画像から高精度に検出対象物質を検出する方法を示す。図3は、本実施例の方法を示すフローチャートである。図7は、本実施例の画像の画素値から物質を判別する工程を模式的に示す図である。図8は、本実施例の画像を撮像する波長の選択内容を模式的に示す図である。以下、フローチャートに従って、説明する。
【実施例5】
【0045】
本実施例の検出対象物質の判別方法は、最初に判別を行う検出対象物質を決定し、この検出対象物質に付すラベル値を決定する(工程S21)。次に、近赤外領域の複数の波長を用いて、検出対象物質と検出対象以外の物質とを含む複数のサンプル画像を撮像し、この画像を読み込む(工程S22)。全てのサンプル画像から、検出対象物質に属する一群の画素の抽出を抽出し、画素値と設定したラベル値と撮像の波長との関連づけを行う(工程S23)。同様に、全てのサンプル画像から選択した検出対象物質以外の領域に属する一群の画素を抽出し、画素値と撮像した光の波長と設定したラベル値との関連づけを行う。(工程S24)。検出対象物質に属する一群の画素の画素値と、検出対象以外の物質に属する一群の画素の画素値とを説明変数とし、各々のラベル値を目的変数として回帰分析を行い、回帰分析の結果から検出対象物質を識別する識別器を生成する(工程S25)。
【実施例5】
【0046】
回帰分析の結果から、たとえばVIP値を計算してこのVIP値の高い波長を選択することで、検出対象物質ごとに識別器の識別性能への寄与度の高い波長を選択する(工程S26、以下、波長選択工程とも言う)。波長選択工程の実質的な処理は、実施例1の工程S8と同一であってよい。さらに、波長選択工程で選択した波長の近赤外画像を用いて、検出対象物質に属する一群の画素の画素値及び検出対象以外の物質に属する一群の画素の画素値を説明変数とし、各々のラベル値を目的変数として再度回帰分析を行い、回帰分析の結果から検出対象物質を識別するための物質検出用識別器を生成する(工程S27)。検出対象物質の全てに対して、工程S23から工程S27を行うことによって、全ての検出対象物質の識別に適した光の波長を複数決定して各々の検出対象物質に対応する物質検出用識別器をそれぞれ生成する(工程S28)。図7に示すように、工程S21で3つの検出対象物質A,B,Cを選択し、工程S25でそれぞれに対応する3つの識別器B,B,Bを作成した場合、工程S27で作成する物質検出用識別器は、説明変数が異なってくることから、最初の工程S25で得られた識別器とは異なる識別器B’,B’,B’となる。
【実施例5】
【0047】
次に、波長選択工程で選択した近赤外線の波長を用いて、検出対象物質を判別するための解析用画像を撮像する(工程S29)。得られた近赤外線画像から画素を抽出し(工程S30)、画素の画素値を各々の物質検出用識別器に説明変数として入力して推定値を出力し、得られた複数の推定値の結果を組み合わせることによって、抽出した画素が検出対象物質のいずれかに属しているか否かを判別する多クラス分類を行う(工程S30)。
【実施例5】
【0048】
本実施例においては、たとえば、図8に示すように、検出対象物質Aの判定に適した撮像用の波長が700nm、830nm、1040nmの3つの波長であり、検出対象物質Bの判定に適した撮像用の波長が650nm、710nm、850nmの3つの波長であり、検出対象物質Cの判定に適した撮像用の波長が830nm、920nm、1020nmであった場合、近接した700nmと710nm、830nmと850nm、1020nmと1040nmの3組の波長をよりVIP値の大きい方に統合し、650nm、710nm、850nm、920nm、1020nmの合計5枚の近赤外線画像を用いることにより、3つの物質をいずれも精度高く判別することが可能であった。
【実施例5】
【0049】
本実施例で説明した検出対象物質に対応した撮像用の光の波長を決定する方法および検出対象物質を判別する方法の構成は、適宜変更が可能である。例えば、検出対象物質を判別する方法において、クラス分類の方法として、識別関数を用いたり、SVM法を用いたりすることができる。また、撮像用の光を決定する方法において、波長選択工程で選択された波長が近接しているとき、一方の波長を選択するためには、より多くの検出対象物質で識別性能の寄与度が高いとされた波長を選択することが可能である。
【産業上の利用可能性】
【0050】
本発明に係る方法は、自動車運転技術、運転者支援システム、セキュリティシステム、異物混入検査等に適用が可能である。
【符号の説明】
【0051】
11 手
12 アスファルト
13 植物の葉
14 コンクリート
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図20】
8
【図21】
9
【図22】
10
【図9】
11
【図10】
12
【図11】
13
【図12】
14
【図13】
15
【図14】
16
【図15】
17
【図16】
18
【図17】
19
【図18】
20
【図19】
21