TOP > 国内特許検索 > 学習用データ生成方法およびこれを用いた対象空間状態認識方法 > 明細書

明細書 :学習用データ生成方法およびこれを用いた対象空間状態認識方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6737502号 (P6737502)
公開番号 特開2018-041178 (P2018-041178A)
登録日 令和2年7月20日(2020.7.20)
発行日 令和2年8月12日(2020.8.12)
公開日 平成30年3月15日(2018.3.15)
発明の名称または考案の名称 学習用データ生成方法およびこれを用いた対象空間状態認識方法
国際特許分類 G06N  20/00        (2019.01)
G06N   3/08        (2006.01)
FI G06N 20/00 130
G06N 3/08 180
請求項の数または発明の数 4
全頁数 9
出願番号 特願2016-173205 (P2016-173205)
出願日 平成28年9月5日(2016.9.5)
審査請求日 令和元年7月8日(2019.7.8)
特許権者または実用新案権者 【識別番号】504237050
【氏名又は名称】独立行政法人国立高等専門学校機構
発明者または考案者 【氏名】園田 潤
【氏名】木本 智幸
個別代理人の代理人 【識別番号】110000800、【氏名又は名称】特許業務法人創成国際特許事務所
審査官 【審査官】今城 朋彬
参考文献・文献 特開2006-170739(JP,A)
宮田大輔ら,高効率ランダム射影とスパース再構成による高次元非線形写像と逆散乱問題への応用,電気学会研究会資料 知覚情報研究会 PI-16-001~003・005・007~009,日本,一般社団法人電気学会,2016年 1月 8日,pp.17~21
調査した分野 G06N 20/00
G06N 3/08
特許請求の範囲 【請求項1】
対象系の状態を認識するための学習用データを生成する方法であって、
前記対象系における一または複数の物体およびこれを取り囲む媒質のそれぞれの空間占有態様および縦波、横波、または縦波および横波の組み合わせであるプローブ波に対する応答特性を少なくとも含む複数の因子により定義される解析モデルにおいて、前記対象系の複数の状態のそれぞれを表わす前記複数の因子の異なる組み合わせを定義し、
前記解析モデルにおいて、一または複数の出力点から前記対象系に対して前記プローブ波を仮想的に入射した際に、複数の入力点のそれぞれにおいて仮想的に受信される反射波に基づき、前記複数の因子の異なる組み合わせのそれぞれについて前記学習用データを生成することを特徴とする学習用データ生成方法。
【請求項2】
請求項1記載の学習用データ生成方法において、
前記媒質が、前記プローブ波に対して基準応答特性を有するマトリックス領域、または、前記マトリックス領域およびそれにより囲まれている前記基準応答特性とは異なる応答特性を有するフィラー領域により定義されていることを特徴とする学習用データ生成方法。
【請求項3】
請求項2記載の学習用データ生成方法において、
複数の前記フィラー領域のそれぞれの前記プローブ波に対する応答特性が乱数を用いて定義されていることを特徴とする学習用データ生成方法。
【請求項4】
請求項1~3のうちいずれか1つに記載の学習用データ生成方法により学習用データを生成し、
前記対象系の複数の状態のそれぞれについて前記学習用データをニューラルネットワークに対して入力し、前記ニューラルネットワークからの出力が、前記対象系が前記学習用データのそれぞれに対応する状態であることを表わす出力となるように前記ニューラルネットワークのパラメータの値を調節し、
前記一または複数の出力点から前記対象系に対して前記プローブ波を入射したうえで、前記複数の入力点のそれぞれにおいて反射波を受信し、前記反射波に基づいて実測データを生成し、
前記実測データを前記パラメータの値が調節された前記ニューラルネットワークに対して入力し、前記ニューラルネットワークの出力に基づいて前記実測データに対応する前記対象系の状態を認識することを特徴とする状態認識方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、電磁波等のプローブ波を対象系に入射することにより、当該対象系における媒質の空間占有態様により定義されるさまざまな状態を認識するための技術、および、当該状態認識のために用いられる学習用データを生成する技術に関する。
【背景技術】
【0002】
現在、トンネルおよび橋脚などのインフラの劣化が社会問題化しており、異常個所の早期発見が必要とされている。異常箇所検出には、非破壊検査が可能な数百MHz帯の電磁波による地中レーダが用いられている(非特許文献1~3参照)。しかし、地中の不均質性が増すと、電磁波が多重散乱してレーダ画像が複雑になるため、異常個所の判定が困難になる問題があり、客観的かつ高精度な判定が求められている。
【0003】
地中レーダの画像認識においてもニューラルネットワークによる機械判定が研究されている(非特許文献4~6参照)。近年、ニューラルネットワークを多層化したディープラーニングが注目されており、自ら特徴を抽出し、多層のネットワーク構造で学習することで高精度の認識が可能になるという利点がある。その一方、大量の学習用データが必要であり、かつ、多層構造のため学習に膨大な時間を要するという問題がある。
【0004】
地中レーダにおいてもディープラーニングを適用することで物体抽出等の自動化および高精度化が期待されるが、大量のデータを用意する必要があるという問題がある。地中レーダでは、パラメータを変更した数多くの実験は現実には困難であるため、電磁場解析手法の1つであるFDTD法によるシミュレーションが有効である。しかし、FDTD法は計算時間が多くかかるという問題がある(非特許文献7参照)。
【0005】
FDTD法の高速化のため、スーパーコンピュータ、クラスタ計算機、FPGAなどによる専用計算機、CellまたはGPUなどのアクセラレータなどの適用が研究されている。GPUを複数台用いるGPUクラスタによるデータ並列により1モデルを高速で計算できることが示されている(非特許文献8参照)。
【先行技術文献】
【0006】

【非特許文献1】佐藤、信学論(C), vol.J85C, 2002
【非特許文献2】K.Belli, et al., IEEE Geo. Remote Sens., 2009
【非特許文献3】P.Sgangguan, et al., IEEE Geo. Remote Sens., 2015
【非特許文献4】P.Gamba, et al., IEEE Geo. Remote Sens., 2000
【非特許文献5】T.Hara and A.Hirose, Newral Networks, 2004
【非特許文献6】I.Giannakis, et al., IEEE Geo. Remote Sens., 2016
【非特許文献7】小関、園田、昆、佐藤、信学技報, EMCJ2011-50, 2011
【非特許文献8】園田、小関、佐藤、信学論(C), 2015
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、ディープラーニングを用いた地中物体のサイズ、材質および埋設位置などの識別のためには、数万個程度の学習用データが必要である。例えば、送受信アンテナを地上で走査しながら、電波を地中に入射して誘電率の相違により生じる反射波を観測する地中レーダを用いて、数万個の画像データを取得することは経済的ではない。
【0008】
そこで、本発明は、対象系の状態認識用の大量の学習用データを高速で生成しうる方法および当該学習用データを用いて対象系の状態を高精度で認識しうる方法を提供することを課題とする。
【課題を解決するための手段】
【0009】
本発明の学習用データ生成方法は、対象系の状態を認識するための学習用データを生成する方法であって、前記対象系における一または複数の物体およびこれを取り囲む媒質のそれぞれの空間占有態様および縦波、横波、または縦波および横波の組み合わせであるプローブ波に対する応答特性を少なくとも含む複数の因子により定義される解析モデルにおいて、前記対象系の複数の状態のそれぞれを表わす前記複数の因子の異なる組み合わせを定義し、前記解析モデルにおいて、一または複数の出力点から前記対象系に対して前記プローブ波を仮想的に入射した際に、複数の入力点のそれぞれにおいて仮想的に受信される反射波に基づき、前記複数の因子の異なる組み合わせのそれぞれについて前記学習用データを生成することを特徴とする。
【0010】
本発明の学習用データ生成方法において、前記媒質が、前記プローブ波に対して基準応答特性を有するマトリックス領域、または、前記マトリックス領域およびそれにより囲まれている前記基準応答特性とは異なる応答特性を有するフィラー領域により定義されていることが好ましい。
【0011】
本発明の学習用データ生成方法において、複数の前記フィラー領域のそれぞれの前記プローブ波に対する応答特性が乱数を用いて定義されていることが好ましい。
【0012】
本発明の状態認識方法は、前記対象系の複数の状態のそれぞれについて前記学習用データをニューラルネットワークに対して入力し、前記ニューラルネットワークからの出力が、前記対象系が前記学習用データのそれぞれに対応する状態であることを表わす出力となるように前記ニューラルネットワークのパラメータの値を調節し、前記一または複数の出力点から前記対象系に対して前記プローブ波を入射したうえで、前記複数の入力点のそれぞれにおいて反射波を受信し、前記反射波に基づいて実測データを生成し、前記実測データを前記パラメータの値が調節された前記ニューラルネットワークに対して入力し、前記ニューラルネットワークの出力に基づいて前記実測データに対応する前記対象系の状態を認識することを特徴とする。
【発明の効果】
【0013】
本発明の学習用データ生成方法によれば、解析モデルが用いられて指定周波数のプローブ波の対象系への入射および対象系からの反射波の受信がシミュレーションされる。「プローブ波」は、縦波(例えば音波)、横波(例えば電磁波)または縦波および横波の組み合わせ(例えば弾性波)である。このシミュレーションが高速の演算処理要素によって実行されることにより、対象系における物体および媒質のそれぞれの空間占有態様(位置、形状およびサイズにより定義される。)およびプローブ波に対する応答特性を認識するための大量の学習用データが高速で生成される。
【0014】
本発明の状態認識方法によれば、当該学習用データがニューラルネットワークに入力された際の出力結果に応じて、ニューラルネットワークのパラメータの値が調節される。そして、当該パラメータの値が調節されたニューラルネットワークに対して実測データが入力された際の出力結果に応じて、当該実測データに対応する対象系の状態が高精度で認識される。すなわち、対象系においてプローブ波に対してどのような応答特性を有する媒質が存在し、その媒質のどこに、どのような形状およびサイズを有し、かつ、プローブ波に対してどのような応答特性を有する物体が存在しているのかが高精度で認識される。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態としての学習用データの生成方法に用いられる解析モデルに関する説明図。
【図2A】地中が均質媒質である場合に生成されたレーダ画像の例示図。
【図2B】地中が第1不均質媒質である場合に生成されたレーダ画像の例示図。
【図2C】地中が第2不均質媒質である場合に生成されたレーダ画像の例示図。
【図3】本発明の実施例および比較例の計算時間の対比説明図。
【図4】本発明の一実施形態としての学習モデルに関する説明図。
【発明を実施するための形態】
【0016】
(学習用データの生成)
本発明の一実施形態としての学習用データの生成方法によれば、対象系である地中における物体の空間占有態様(位置、サイズおよび形状により定義される。)およびプローブ波としての電磁波に対する応答特性を表わす比誘電率εtagを認識するための学習用データが生成される。

【0017】
学習用データの生成に際して、図1に示されている解析モデルが用いられる。この解析モデルによれば、サイズがw(幅)×h(高さ)×l(長さ)で比誘電率εtagの直方体状の物体(例えばその中心)が位置(x、y)の深さdの位置に存在する。

【0018】
図1には、解析モデルで用いられるパラメータについても併記されている。幅w、高さhおよび長さlのそれぞれが50~200[mm]の範囲で50[mm]刻みで変更され、地中深さdが200~500[mm]の範囲で100[mm]刻みで変更され、かつ、位置xおよびyのそれぞれが-200~200[mm]の範囲で100[mm]刻みで変更された。地中(マトリックス媒質)の比誘電率εgndが「4.0」に設定された。物体のサイズ(幅w,高さh,長さl)およびそれらの変化幅、地中深さdおよびその(x、y)ならびにその変化幅、さらにはマトリックス媒質の比誘電率εgndなどのパラメータの値はその他の様々な形態で変更されてもよい。

【0019】
物体の材質として、(A1)完全導体よりなる第1材質、(A2)εtag=1.0~2.0の範囲に含まれる第2材質、(A3)εtag=3.0~3.5の範囲に含まれる第3材質、(A4)εtag=4.5~5.0の範囲に含まれる第4材質、および(A5)εtag=9.0~10.0の範囲に含まれる第5材質という5種類の異なる材質が採用された。第2~第5材質のそれぞれの比誘電率εtagを0.5ごとに変化させた。物体を構成する材質の種類の数、比誘電率εtagの範囲および比誘電率εtagの変化幅のそれぞれが、任意に変更されてもよい。

【0020】
地中を構成する媒質として、(B1)均質媒質、(B2)第1不均質媒質および(B3)第2不均質媒質のそれぞれが採用された。第1不均質媒質は、平均値が20[mm]で標準偏差が0.25の正規分布によりサイズの分布態様が表わされ、かつ、比誘電率が1.0~8.0の範囲の一様乱数として与えられるフィラー媒質が、密度10[個/m3]でマトリックス媒質に配置されていることにより定義されている。第2不均質媒質は、平均値が20[mm]で標準偏差が0.25の正規分布によりサイズの分布態様が表わされ、かつ、比誘電率が1.0~8.0の範囲の一様乱数として与えられるフィラー媒質が、密度25[個/m3]でマトリックス媒質に配置されていることにより定義されている。媒質の種類の数、フィラー媒質のサイズの分布態様(平均値、偏差、分散など)、フィラー媒質の比誘電率のばらつきを定義する乱数、マトリックス媒質における密度などが任意の形態で変更されてもよい。

【0021】
物体(A1)~(A5)のそれぞれと、当該物体を取り囲んでいる媒質(B1)~(B3)のそれぞれとの15の組み合わせのそれぞれについて70400個の画像データが学習用データとして生成された。学習用データとして生成される画像データの数は任意に変更されてもよい。

【0022】
解析領域は256×128×128セルであり、各セルについて比誘電率、透磁率および導電率などの電磁波応答特性を表わす物性値のうち少なくとも1つが定義される。当該解析領域の吸収境界条件を定義するために16層のPML(Perfectly Matched Layer)が適用される。これは、シミュレーションは、無限に広がっている領域をモデル化することはできないので、有限の領域にしておいて、その境界では反射が生じないという境界条件を設ける必要があるためである。解析領域のセルの定義の仕方は任意の形態に変更されてもよい。PMLは16層のほか任意の複数層であってもよい。PML以外にも、Mur、Higdon、Liaoなどが提案している吸収境界条件が適用されてもよい。

【0023】
解析モデルにおいて、地上(対象系の境界面)でx方向(およびy方向)に10[mm]間隔で波源を複数の出力点のそれぞれにとどまるように走査し、当該波源から地中に対して中心周波数f0が800[MHz]のウェーブレット型パルス波Iyがプローブ波として仮想的に入射された。出力点の個数および配置態様、プローブ波の周波数(指定周波数)および波形などは任意の形態で変更されてもよい。

【0024】
そして、地上における複数(例えば128)の入力点で仮想的に受信された反射波(波形信号)に基づき、画像データ(地中レーダ画像)が生成された。FDTD法のセルサイズが0.01[m](波長に対して1/20の以下程度であれば他での値でもよい)に設定され、時間ステップが1.5×10-11[s](セルサイズから安定条件を満たせば他の値でもよい)に設定された。GPUとしてNVIDIA Tesla K20mを用い、1ノードにGPU4台(他の値でもよい)が搭載された16ノード計64台のGPUクラスタが用いられた。GPUおよびGPUクラスタの構成は任意の形態で変更されてもよい。

【0025】
図2A~図2Cには、GPUクラスタのタスク並列によるFDTD法で生成された70000個程度の画像データの一例が例示されている。図2Aには、(1)w=h=l=50[mm]、d=100[mm]の場合、(2)w=h=l=50[mm]、d=200[mm]の場合および(3)w=h=l=100[mm]、d=200[mm]の場合のそれぞれにおける均質媒質(εgnd=1)の画像データが左から順に示されている。図2Bには、上記(1)~(3)の場合のそれぞれにおける第1不均質媒質(εgnd=10)の画像データが左から順に示されている。図2Cには、上記(1)~(3)の場合のそれぞれにおける第2不均質媒質(εgnd=5)の画像データが左から順に示されている。なお、GPUクラスタに代えて、演算処理が同等に高速なCPUなどの演算処理要素が用いられてもよい。FDTD法に代えて、有限要素法または境界要素法などの他の数値解析手法にしたがってレーダ画像が生成されてもよい。

【0026】
図2Aおよび図2Bから、媒質が均質または比較的均質であって比誘電率の比εtag/εgndが比較的大きい場合、地中の物体からの反射波が大きいことがわかる。図2Cから、媒質が比較的不均質であって比誘電率の比εtag/εgndが比較的小さい場合、地中の物体からの反射波が小さく、物体の存在を検出することが困難であることがわかる。図2A~図2Cから、複数の因子である物体の比誘電率εtag、サイズw×h×lおよび地中深さdの組み合わせ態様の相違に応じて、特徴が異なる画像データが生成されていることがわかる。したがって、図2A~図2Cの画像データをディープラーニングの学習用データとして用いることにより、地中(対象系)にある物体の存在、材質およびサイズなどを高精度で検出できる。

【0027】
図3には、図2で示したレーダ画像を数万個程度生成するのに要する時間を示しており、CPU Intel Xeon E5-2630の64台512コア1024スレッドのCPUクラスタを用いた場合と、GPU Tesla K20m x64 を用いた場合を比較した結果が示されている。CPU1コアではモデル1個を計算するのに96時間を要するが、GPU1台では17分程度で計算できる。CPUの台数およびGPUの台数が同じである場合のモデル1個当たりに要する計算時間は、CPUでは335秒、GPUでは16秒程度であり、GPUの場合はCPUの場合よりも20倍程度高速に計算でき、GPUクラスタにより大量の画像データが学習用データとして高速に生成可能である。複数の因子の組み合わせごとに、学習用データとしての32pixel×32pixel×3色(RGB)の約1万の画像データが準備された。画像データのピクセル数、画素値(RGBではなく明度のみなど)および枚数などは任意の形態に変更されてもよい。

【0028】
(学習用データを用いた学習)
図4に示されている学習モデルに対して、任意の画像データが入力画像として入力され、畳み込みフィルタ1において画面全体を対象として畳み込みが実行される。畳み込みの結果は2次元画像となり、これが畳み込み層1において示されている。畳み込み層1の各ピクセル値はランプ関数f(x)を通して出力される。その出力は、プーリング層1でぼかされて出力1の画像が得られる。さらに、この出力1を入力として、前述と同じ処理が3回繰り返されて出力3が得られる。続いて出力3が、古典的な3層(層の数は3以外であってもよい。)の全結合型階層型ニューラルネットワークの入力とし、出力層を識別対象であるカテゴリ(地中の状態または地中に存在する物体の種類)の種類と同じ数に設定することで、状態認識結果が出力される。全結合層の素子数64は他の値でもよい。また素子数5は、カテゴリの数に応じて、素子数は「5」ではなく、任意の数に変更されてもよい。

【0029】
状態認識精度の向上のためには、フィルタおよび全結合型階層型ニューラルネットワークの結合荷重が適切に設定される必要がある。そこで、画像データ(レーダ反射画像)の中から任意に入力画像が選択されてニューラルネットワークに対して入力される。そして、最終出力の状態認識結果が正しくなるように、確率的勾配法でフィルタおよび全結合型階層型ニューラルネットワークの結合荷重のそれぞれ(パラメータ)が修正される。これを、すべての画像データについて複数回繰り返されることで、状態認識結果の正答率が向上するように当該パラメータの値が繰り返して調節される。

【0030】
実世界において、シミュレーションと同様に地上(対象系の境界面)でx方向(およびy方向)に10[mm]間隔で波源を複数の出力点のそれぞれにとどまるように走査し、当該波源から地中に対して中心周波数f0が800[MHz]のウェーブレット型パルス波Iyが入射された。そして、地上における複数(例えば128)の入力点で受信された反射波(波形信号)に基づき、画像データが実測データとして生成された。

【0031】
そして、パラメータの値が調節されたニューラルネットワークに対して、実測データが入力される。これにより、当該実測データに対応する地中の状態が高精度で認識される。

【0032】
(本発明の他の実施形態)
前記実施形態では、対象系として地中が採用されたが、他の実施形態として対象系として水中、地上空間(界空間)、チャンバ等により閉塞された空間(閉空間)が採用されてもよい。例えば反射波測定装置の周辺における地上空間が対象系である場合、当該地上空間における歩行者、動物、自動車、建造物などの物体の空間占有態様により定義される複数の状態が認識されてもよい。

【0033】
前記実施形態では、物体および媒質のそれぞれの電磁波応答特性を表わす因子として比誘電率が定義されたが、他の実施形態として当該因子として比透磁率、電気伝導率などの物性値が採用されてもよい。前記実施形態では、一の周波数を基準とした電磁波に対する物体および媒質のそれぞれの応答特性が当該因子として採用されたが、他の実施形態として、複数の異なる周波数を基準とした電磁波に対する物体および媒質のそれぞれの応答特性が当該因子として採用されてもよい。例えば、周波数が異なる第1電磁波および第2電磁波のそれぞれの入射に応じて得られた画像データ(学習用データ)のそれぞれが用いられてニューラルネットワークのパラメータの値が調整され、第1電磁波および第2電磁波のそれぞれの入射に応じて得られた実画像データ(実測データ)に対応する対象系の状態が認識または識別されてもよい。

【0034】
前記実施形態では、物体および媒質のそれぞれの横波である電磁波への応答特性を表わす因子により対象系の状態が定義されたが、他の実施形態として、物体および媒質のそれぞれの縦波である音波または縦波および横波の組み合わせである弾性波への応答特性を表わす因子により対象系の状態が定義されていてもよい。
図面
【図1】
0
【図2A】
1
【図2B】
2
【図2C】
3
【図3】
4
【図4】
5