TOP > 国内特許検索 > 異常品判定方法 > 明細書

明細書 :異常品判定方法

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和2年10月22日(2020.10.22)
発明の名称または考案の名称 異常品判定方法
国際特許分類 G06N   3/08        (2006.01)
FI G06N 3/08
国際予備審査の請求 未請求
全頁数 19
出願番号 特願2019-548177 (P2019-548177)
国際出願番号 PCT/JP2018/037352
国際公開番号 WO2019/073923
国際出願日 平成30年10月5日(2018.10.5)
国際公開日 平成31年4月18日(2019.4.18)
優先権出願番号 2017196758
優先日 平成29年10月10日(2017.10.10)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】加藤 邦人
【氏名】中塚 俊介
【氏名】相澤 宏旭
出願人 【識別番号】304019399
【氏名又は名称】国立大学法人岐阜大学
個別代理人の代理人 【識別番号】110000659、【氏名又は名称】特許業務法人広江アソシエイツ特許事務所
審査請求 未請求
要約 大量の正常データと少数の異常データを用いて機械学習を行い、異常品の判定を精度高く行うことのできる異常品判定方法を提供する。
複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して判定対象物の特徴を抽出し、ディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定し、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返して、特徴の抽出の誤差を最小化する。エンコーダが、更新により得た特徴を用いて、判定対象物の異常度を算出し、異常度のしきい値処理を行って、判定対象物が正常品であるか異常品であるかを判定する。判定対象物の特徴の分布が正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、このデータとエンコーダ、デコーダ構造ネットワークが抽出した判定対象物の特徴との間の誤差を算出する工程である。ディスクリミネータの判定結果を用いることで、エンコーダが異常度の算出に用いる判定対象物の特徴が正規分布に従って分布するように収束する。
特許請求の範囲 【請求項1】
エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する判定方法であって、
複数の判定対象物のデータを前記エンコーダ、デコーダ構造ネットワークに入力して、前記判定対象物の特徴を抽出する工程と、
前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程と、
前記エンコーダ、デコーダ構造ネットワークの更新と、前記ディスクリミネータの更新と、前記エンコーダの更新と、をそれぞれ繰り返し、前記特徴の抽出の誤差を最小化する工程と、
前記エンコーダが、更新によって得られた前記特徴を用いて、判定対象物の異常度を算出する工程と、
算出した前記異常度のしきい値処理を行うことによって、前記判定対象物が正常品であるか異常品であるかを判定する工程と、
を備えており、
前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、前記データと前記エンコーダ、デコーダ構造ネットワークが抽出した前記判定対象物の前記特徴との間の誤差を算出する工程であり、
前記ディスクリミネータの判定結果を用いていることで、前記エンコーダが異常度の算出に用いる前記判定対象物の前記特徴が正規分布に従って分布するように収束させられていることを特徴とする異常品の判定方法。
【請求項2】
前記特徴を抽出するために前記エンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることを特徴とする請求項1に記載の異常品の判定方法。
【請求項3】
前記ディスクリミネータに入力する正規分布に従った前記データは、多変量の標準正規分布に従ったランダムベクターであることを特徴とする請求項1または2に記載の異常品の判定方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。特に、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行うことにより、判定対象物が正常品であるときの特徴を数値化し、この特徴に基づいて判定対象物が正常品であるか異常品であるかをコンピュータが判定する異常品の判定方法に関する。
【背景技術】
【0002】
コンピュータにデータを繰り返し学習させることで、データに含まれる特徴を数値または数式としてコンピュータが統計的に抽出し、さらに、抽出した特徴を用いて、識別を行う手法として機械学習がある。
【0003】
機械学習の一つの方法として、オートエンコーダ(自己符号化器)と呼ばれるエンコーダ、デコーダ構造ネットワークを用いた特徴量の抽出方法が知られている。オートエンコーダとは、入力と出力とが同じになるように学習させるニューラルネットワークである。エンコーダで入力を少ない次元の特徴に一旦落とし込み、デコーダで入力を再現するように出力することを繰り返すなかで、入力をよく表す特徴量が抽出される。
【0004】
オートエンコーダを用いて正常品の特徴を抽出することができれば、この特徴を用いて、正常品と異常品とが混在する判定対象物の集合体から、異常品を精度高く判定して抽出することが可能となる。
【0005】
非特許文献1は、ニューラルネットワークの一種である「Convolutional Neural Network(以下、畳み込みニューラルネットワークとも言う)」に関する技術を開示している。CNNは、主に画像認識の分野で用いられるニューラルネットワークで、画像の局所的な特徴抽出を担う畳み込み層と、局所ごとの特徴をまとめるプーリング層とを繰り返した構造が特徴である。一般に、CNNを含めたニューラルネットワークの学習のためには、大量の訓練サンプルを用いた教師あり学習が必要となる。しかし、異常品のサンプル数を学習に十分な数だけ確保することが難しい場合には、学習をうまく行うことができないという問題がある。
【0006】
非特許文献2は、ニューラルネットワークの一種である「Autoencoder(以下、オートエンコーダ、自己符号化器とも言う)」に関する技術を開示している。非特許文献2が開示するニューラルネットワークは、多階層のニューラルネットワークのパラメータを教師なし学習で初期化した後に、教師あり学習により再学習している。非特許文献2のオートエンコーダは、入力を次元圧縮し、入力の抽象的な特徴をベクトル量である特徴ベクトルに変換し、その特徴ベクトルから入力を再現する。しかし、オートエンコーダで得られる特徴がどのような分布となるかは、これまで操作することができなかった。
【0007】
非特許文献3は、ニューラルネットワークの一種である「Adversarial Autoencoder(以下、敵対的自己符号化器とも言う)」に関する技術を開示している。敵対的自己符号化器は、オートエンコーダに敵対的学習を取り入れることで、入力をよく表す特徴を抽出しつつ、その特徴を任意の分布に従わせる技術である。
【0008】
非特許文献4は、ホテリングのT法を開示した文献である。T法は、大量の正常データのみ、もしくは大量の正常データと少量の異常データを用いた特徴ベクトルから正常モデルを作成し、未知データの個々の異常度を算出することにより、異常データを検出する統計的手法である。しかし、データの特徴量の分布が正規分布に従っていることを仮定しているため、データが正規分布に従っていない場合、十分な検出を行うことはできない。ホテリングのT法を画像認識分野に適用する場合には、正規分布に従う特徴を選択する必要がある。
【先行技術文献】
【0009】

【非特許文献1】「ImageNet Classification with Deep Convolutional Neural Networks」Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton著、Advances in neural information processing system,1097-1105頁(2012年).
【非特許文献2】「Reducing the dimensinality of data with neural networks」Geoffrey Hinton、Ruslan Salakhutdinov著、Science,313号、504-507頁(2006年).
【非特許文献3】「Adversarial autoencoders」Alireza Makhzani、Jonathon Shlens、Navdeep Jaitly,Ian Goodfellow、Brendan Frey著、ArXiv preprint,arXiv:1511.05644(2015年)
【非特許文献4】「The generalization of Student’s ratio」Harold Hotelling著、Annals of Mathematical Statistics,2:360-378頁(1931年).
【発明の概要】
【発明が解決しようとする課題】
【0010】
正常品と異常品が混在する判定対象物の集合のデータをニューラルネットワークに入力し、学習によって正常品の特徴ベクトルを得ようとする場合、異常品の数が正常品よりも極めて少ない場合には学習を効果的に行うことができず、結果として異常品の判定精度が低くなる場合があった。
【0011】
本発明は、上記課題を解決するためになされたものであって、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことのできる異常品判定方法を提供するものである。
【課題を解決するための手段】
【0012】
本発明は、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。本発明の異常品判定方法は、複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して、判定対象物の特徴を抽出する工程と、ディスクリミネータが、判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程と、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返し、特徴の抽出の誤差を最小化する工程と、エンコーダが、更新によって得られた特徴を用いて、判定対象物の異常度を算出する工程と、算出した異常度のしきい値処理を行うことによって、判定対象物が正常品であるか異常品であるかを判定する工程と、を備えている。本発明の異常品判定方法のディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、このデータとエンコーダ、デコーダ構造ネットワークが抽出した判定対象物の特徴との間の誤差を算出する工程である。ディスクリミネータの判定結果を用いていることで、エンコーダが異常度の算出に用いる判定対象物の特徴が正規分布に従って分布するように収束させられる。
【0013】
本発明の異常品判定方法は、特徴を抽出するためにエンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることが好ましい。
【0014】
本発明の異常品判定方法は、ディスクリミネータに入力するデータが、多変量の標準正規分布に従ったランダムベクターであることが好ましい。なお、ディスクリミネータに入力する正規分布に従ったデータは、標準正規分布から得た乱数を成分とするベクトルであることが最も好ましい。しかしながら、そのデータの全体としてのヒストグラムが平均値0、標準偏差1の正規分布とほぼ同様になるのであれば、データは疑似乱数であっても良く、データの発生方法は特に限定されない。
【発明の効果】
【0015】
本発明の異常品判定方法は、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことができる。
【図面の簡単な説明】
【0016】
【図1】図1は、本発明の異常品判定方法を実行するニューラルネットワークの概念的な構成を示すブロック図である。
【図2】図2は、本発明の異常品判定方法のフローチャートである。
【図3】図3は、本発明の敵対的学習工程のフローチャートである。
【図4】図4は、実施例1で白米の異常品の判定のために、エンコーダ、デコーダ構造のネットワークに入力した画像データ群の一例を示す図である。
【図5】図5は、実施例1で用いたニューラルネットワークのモデル図である。
【図6】図6は、実施例1の潜在次元数Zmin=2の場合の白米の異常度の分布を示す図である。
【図7】図7は、実施例1の潜在次元数Zmin=4の場合の白米の異常度の分布を示す図である。
【図8】図8は、実施例1の潜在次元数Zmin=8の場合の白米の異常度の分布を示す図である。
【図9a】図9aは、実施例1の潜在次元数Zmin=16の場合の白米の異常度の分布を示す図である。
【図9b】図9bは、実施例1の潜在次元数Zmin=16の場合の白米の異常度の分布を示す図である。
【図10】図10は、実施例1の異常品判定方法によって、正常品と判定された一群の白米の画像データである。
【図11】図11は、実施例1の異常品判定方法によって、異常品と判定された一群の白米の画像データである。
【図12】図12は、比較例の潜在次元数Zmin=2の場合の白米の異常度の分布を示す図である。
【図13】図13は、比較例の潜在次元数Zmin=4の場合の白米の異常度の分布を示す図である。
【図14】図14は、比較例の潜在次元数Zmin=8の場合の白米の異常度の分布を示す図である。
【図15】図15は、比較例の潜在次元数Zmin=16の場合の白米の異常度の分布を示す図である。
【図16】図16は、実施例と比較例との異常品判定の精度の比較結果を示すROC曲線である。
【図17】図17は、実施例2で打撃音の異常の判定のために、エンコーダ、デコーダ構造のネットワークに入力した信号データ群の一例を示す図である。
【図18】図18は、実施例2で用いたニューラルネットワークのモデル図である。
【図19】図19は、実施例2と比較例との異常品判定の精度の比較結果を示すROC曲線である。
【発明を実施するための形態】
【0017】
以下、本発明の異常品判定方法の実施形態を、図面を参照しつつ詳細に述べる。

【0018】
図1に、本発明の異常品判定方法を実行するニューラルネットワーク1の構成を概念的に表したブロック図を示す。本発明のニューラルネットワーク1は、エンコーダ、デコーダ構造のネットワークであるオートエンコーダ2のネットワークと、ディスクリミネータ3のネットワークとを備えている。

【0019】
オートエンコーダ2は、エンコーダ(encoder、符号化器)11とデコーダ(decorder、復号器)12とを備えている。エンコーダ11は、入力されたデータの次元圧縮を行い、入力データの特徴を表す特徴ベクトルを抽出する。デコーダ12は、エンコーダ11が抽出した特徴ベクトルを用いて、入力データを復元する。ディスクリミネータ(discriminator、識別器)3には、エンコーダが抽出した特徴と正規分布からサンプリングされたベクトルが入力され、入力された各ベクトルが、エンコーダが抽出した特徴か正規分布からサンプリングされたベクトルかを判定し、判定の結果を用いて、うまくその判定が行えるようにディスクリミネータを更新する。再度エンコーダが抽出した特徴をディスクリミネータに入力し、正規分布からサンプリングされたベクトルであるかを判定し、その判定の結果を用いてエンコーダ2が正規分布に従う特徴抽出を行えるように、エンコーダ2を更新する。このようなオートエンコーダ2とディスクリミネータ3の処理を、敵対的学習という。

【0020】
ニューラルネットワーク1上で実行する本発明の異常品判定方法のフローチャートを図2に示す。本発明の異常品判定方法は、複数の判定対象物のデータを入力する工程(ステップS1)と、ニューラルネットワーク1のオートエンコーダ2とディスクリミネータ3との間で敵対的学習を行わせる工程(ステップS2)と、敵対的学習によって得られた特徴を用いて未知のデータから特徴を抽出する工程(ステップS3)と、エンコーダ11によって個々の判定対象物の異常度を算出する工程(ステップS4)と、しきい値処理によって判定対象物が正常品であるか異常品であるかを判定する工程(ステップS5)と、結果を出力する工程(ステップS6)と、を備えている。

【0021】
本発明の異常品判定方法は、ステップS1で、エンコーダ、デコーダ構造のネットワークすなわちオートエンコーダ2に、複数の判定対象物のデータを入力する。この複数の判定対象物のデータは、異常品よりも正常品を多く含むデータである。好ましい実施形態として、正常品に対する異常品の割合は5~20%である。

【0022】
異常品よりも正常品を多く含む判定対象物のデータを用いて、ステップS2の敵対的学習を実行する。敵対的学習によって、異常度の算出に用いる判定対象物の特徴を、修正し最適化して抽出することができる。本発明の異常品判定方法は、抽出した判定対象物の特徴が、正規分布に従って分布していることを特徴とする。なお、敵対的学習の内容については、図3を参照しつつ以下に詳細に説明する。

【0023】
敵対的学習によって抽出される判定対象物の特徴は、通常、多変量となる。従って、抽出した特徴は、以下の多変量正規分布の式に従って分布する。
【数1】
JP2019073923A1_000003t.gif
ここで、xは確率変数であり、Σは分散共分散であり、μは平均であり、Mはxの次元数である。

【0024】
予め敵対的学習を行ったニューラルネットワーク1を用いて、正常品か異常品かが未知である判定対象物の判定を行うことができる。ステップS3で、本発明の異常品判定方法は、正常品か異常品かが未知であるデータから、エンコーダ11により特徴x’を抽出する。

【0025】
異常度の算出には、マハラノビス距離a(x’)の公式を用いることができる。
【数2】
JP2019073923A1_000004t.gif
ここで、pは確率密度関数であり、Dはデータ群である。

【0026】
非特許文献4に開示されているホテリングのT理論を適用すると、異常度a(x’)の分布は、データの数が十分多い場合、自由度Mのカイ二乗分布に従う。そこで、ステップS5で異常品のしきい値を決定し、未知データx’の異常度がしきい値よりも小さい場合には正常品と判定し、しきい値よりも大きい場合にはこれを異常品と判定することで、未知データが正常品であるか異常品であるかを正確に判定することができる。

【0027】
本発明の異常品判定方法において、正規分布に従う判定対象物の特徴を抽出するための、敵対的学習の内容を図3のフローチャートに示す。図3において、NB_EPOCHとはデータセットを学習させる規定の回数であり、STEPS_PER_EPOCHとは1回の学習の中で何回ネットワークのパラメータを更新するかを決定する規定の回数である。また、ベクターバッチとは1回の更新で入力されるベクターの集まりであり、イメージバッチとは1回の更新で入力される画像の集まりである。

【0028】
本発明における敵対的学習では、オートエンコーダ2とディスクリミネータ3内のデータの更新が、別々に行われる。オートエンコーダ2のエンコーダ11は、複数の判定対象物のデータを入力して、判定対象物の特徴を抽出する。デコーダ12は、エンコーダ11の抽出した特徴を用いて、入力データを復元する。この復元の程度を定量的に確認するために、以下の二乗誤差の式を用いる。
【数3】
JP2019073923A1_000005t.gif
ここで、yは復元画像の集まり(バッチ)であり、tは教師画像(入力画像)の集まり(バッチ)であり、BSはバッチの枚数である。

【0029】
また、ディスクリミネータ3の判定が教師信号に対してどれほど正確かを以下の交差エントロピーを用いて評価する。
【数4】
JP2019073923A1_000006t.gif
ここで、yはディスクリミネータ3の出力信号の集まり(バッチ)であり、tは教師信号の集まり(バッチ)であり、BSはバッチの枚数である。

【0030】
オートエンコーダ2は、以下の損失関数LossAEを用いて、エンコーダ11が入力をよく表す特徴を抽出するための最適化とデコーダ12がその特徴から入力をうまく復元するための最適化を同時に行う。
【数5】
JP2019073923A1_000007t.gif
ここで、MSEとは二乗誤差であり、Enとは画像を入力し、入力画像を符号化する演算であり、DeとはEn演算で符号化され得られたベクターを復号化し画像を得る演算であり、xはイメージバッチである。

【0031】
エンコーダ11により抽出された特徴の集まりと、正規分布からサンプリングしたベクターの集まりを連結させ、ディスクリミネータ3に入力するためのベクターバッチを作成する。ここで、ディスクリミネータ3に入力するベクターは、多変量標準正規分布に従ったランダムベクターであることが好ましい。多変量標準正規分布とは、多変量の確率変数の平均ベクトルがゼロベクトルで、分散共分散行列が単位行列の多変量正規分布である。多変量標準正規分布に従ったランダムベクターの各成分は平均がゼロで分散が1の正規分布、つまり標準正規分布に従った乱数となる。ディスクリミネータ3は、入力された判定対象ベクターが正規分布に従っているのか否かを判定して、0から1の間の値を判定結果として出力する。以下の損失関数LossDisを用いて、オートエンコーダが抽出した特徴ベクトルと正規分布からサンプリングされたベクターとを判定できるようディスクリミネータを更新する。
【数6】
JP2019073923A1_000008t.gif
ここで、Lossdisはディスクリミネータの判別の程度を表す指標であり、BCEは交差エントロピーであり、Disはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Enは画像を入力して符号化する演算であり、xは入力画像の集まり(バッチ)であり、zは正規分布からサンプリングされたベクターの集まり(バッチ)であり、Oは要素がすべて0のベクターであり、Iは要素がすべて1のベクターである。

【0032】
エンコーダ11は、ディスクリミネータ3に抽出した特徴を出力する。ディスクリミネータ3は、入力された判定対象物の特徴の分布が正規分布に従っているのか否かを判定して、0から1の間の値を判定結果として出力する。

【0033】
更に、以下の損失関数LossEnを用いて、エンコーダ11を更新する。
【数7】
JP2019073923A1_000009t.gif
ここで、BCEは交差エントロピーであり、Disはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Enは画像を入力して符号化する演算であり、xは入力画像の集まり(バッチ)であり、Iは要素がすべて1のベクターである。

【0034】
以上の学習により、オートエンコーダ2が抽出する特徴は正規分布に従った特徴となる。エンコーダにより抽出された、正規分布に従った特徴を利用して異常度の算出を行うこととなるため、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの学習を行った場合であっても、異常品の判定を精度高く行うことができる。
【実施例】
【0035】
(実施例1)
本発明の異常品判定方法を、白米の異常品の判定に適用した実施例を示す。図4は、異常品の判定のために、ニューラルネットワーク1に入力した白米の画像データ群の一例を示す図である。画像データは、二次元配列されている画素の輝度値、色度値を含む画素値として表される。図5は、実施例で用いたニューラルネットワーク1のそれぞれの階層構造と次元を示したモデル図である。エンコーダは、画像データから特徴量を抽出するために、二次元の畳み込み処理を行っている。二次元の畳み込み処理をすることによって、対象の画素とその周囲の画素を考慮した、二次元の空間的な広がりを持つ特徴を抽出する。
【実施例】
【0036】
本実施例では、敵対的学習に、29194点の白米の画像データを用いた。そして、8679点の正常品か異常品かが未知である白米のデータに対して、判定を行った。
【実施例】
【0037】
図6に、潜在次元数Zmin=2とした場合の白米の特徴量と異常度の分布を示す。潜在次元数とはエンコーダ11により抽出された特徴ベクターの次元数である。 図7に、潜在次元数Zmin=4とした場合の、白米の特徴量の分布を示す。図8に、潜在次元数Zmin=8とした場合の白米の特徴量の分布を示す。図9aに、潜在次元数Zmin=16の場合の白米の特徴量の分布を示し、図9bには、その一部の散布図と度数分布表を拡大表示している。それぞれの散布図の縦軸はある次元の成分を示し、横軸は別の次元の成分を示している。度数分布表の縦軸はサンプル数を示し、横軸は特徴量を示している。図において、薄い色の点で示したデータは、正常品と判定された白米であり、濃い色の点で示したデータは、異常品と判定された白米である。これらのグラフによって、抽出されたいずれの特徴量の分布も、正規分布に従っていることが示されている。
【実施例】
【0038】
図10は、実施例の異常品判定方法によって、正常品と判定された一群の白米の画像データである。図11は、実施例の異常品判定方法によって、異常品と判定された一群の白米の画像データである。異常品と判定された白米は白濁りや割れがみられるのに対し、正常品と判定された白米は、白濁がなく通常の透明に近い色調を有し、割れや欠けが認められなかった。このことから、ニューラルネットワークは、白米の異常品を正しく判定していることが明らかとなった。
【実施例】
【0039】
(比較例)
比較例として、従来のオートエンコーダによって、同一の白米の画像データを判定した結果を示す。従来のオートエンコーダは、本発明のディスクリミネータによる敵対的学習をおこなわず、従って特徴の分布が正規分布に従うことが保証されない。図12は、オートエンコーダの潜在次元数Zmin=2とした場合の白米の特徴量と異常度の分布を示す。 図13に、潜在次元数Zmin=4とした場合の、白米の特徴量の分布を示す。図14に、潜在次元数Zmin=8とした場合の白米の特徴量の分布を示す。図15に、潜在次元数Zmin=16の場合の白米の特徴量の分布を示す。
【実施例】
【0040】
図16に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度の比較結果を示す。図16は、実施例と比較例のそれぞれの過検出率(False Positive Rate,偽陽性率とも言う。ここでは、正常品を異常品と判定する確率)と検出率(True Poaitive Rate,感度とも言う。ここでは、異常品を正しく異常品と判定する確率)の関係を示したROC曲線(受信者動作特性曲線)である。ROC曲線は、点(0, 1)に近いほど分離性能が高い。ROC曲線の下側の面積であるAUC(Area Under the Curve)の対比により、分離性能を定量的に評価することができる。比較例の判定方法のAUCが0.508であったのに対し、実施例のAUCは0.920であった。このことからも、本発明の異常品判定方法が精度高く異常品を判定できることは明らかである。
【実施例】
【0041】
(実施例2)
本発明の異常品判定方法を、音声データに適用した実施例を示す。音声データは、締付け固定した「ねじ」を打撃したときの打撃音である。本実施例では、70Nと80Nの締付け力で締めたときに正しい強度で固定されるねじを用いている。
【実施例】
【0042】
図17に、異常品の判定のために、ニューラルネットワーク1に入力した一群の音声信号のデータを示す。本実施例では、ねじに40N、50N、60N、70N、80Nの5水準の締付け力を与えて締め付けた後に打撃を加え、打撃後の一定期間に亘る音声信号のデータを記録した。図17は、ねじの打撃音をサンプリングレート22.05kHzで記録したデータの、記録時間と信号強度の関係を示している。敵対的学習に用いたサンプル数は、40Nから60Nの締付け力のサンプル数が120、70Nの締付け力のサンプル数が1042、80Nの締付け力のサンプル数が1036である。このうち、40Nから60Nの締付け力のサンプルが異常品であり、70Nと80Nの締付け力のサンプルが正常品である。
【実施例】
【0043】
図18に、本実施例で用いたニューラルネットワークのモデル図を示す。画像データを扱った実施例1と異なる点は、入力するデータが音声信号のデータであるため、一次元の畳み込み処理を行っている点である。本実施例の判定によって得られた特徴量の分布は、正規分布に従っていることが確認された。さらにねじの打撃音を2186回測定して得られたデータに対して、正常品か異常品かの判定を行った結果、実施例の異常品判定方法は、締付け力が付属しているねじの音声データを正しく判定していることが確認された。
【実施例】
【0044】
比較例として、従来のオートエンコーダによって、同一の音声データを判定した。図19に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度をROC曲線で示した比較結果を示す。図19は、実施例の過検出率(False Positive Rate)と検出率(True Poaitive Rate)の関係を実線で示し、比較例の過検出率と検出率との関係を破線で示している。ROC曲線の下側の面積であるAUC(Area Under the Curve)を比較すると、比較例の判定方法のAUCが0.1211であったのに対し、実施例のAUCは0.9571であった。このことから、本発明の異常品判定方法が精度高く異常品を判定できることが検証された。
【産業上の利用可能性】
【0045】
本発明の異常品判定方法の利用可能性は、画像データおよび音声データに限定されない。正常品と異常品とが混在する集合体から異常品を精度高く識別して抽出する全ての物品やデータに適用することができる。特に、異常品の数が正常品の数と比較して非常に少ない工業製品や農産物の外観検査、画像データの中の異常な場面の検出、異常な状態が音声に反映させる可能性のある工程等に好適に利用することができる。
【符号の説明】
【0046】
1 ニューラルネットワーク
2 オートエンコーダ
3 ディスクリミネータ
11 エンコーダ
12 デコーダ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9a】
8
【図9b】
9
【図10】
10
【図11】
11
【図12】
12
【図13】
13
【図14】
14
【図15】
15
【図16】
16
【図17】
17
【図18】
18
【図19】
19