TOP > 国内特許検索 > 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム > 明細書

明細書 :学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和3年1月28日(2021.1.28)
発明の名称または考案の名称 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム
国際特許分類 G06N   3/08        (2006.01)
FI G06N 3/08
国際予備審査の請求
全頁数 26
出願番号 特願2019-569559 (P2019-569559)
国際出願番号 PCT/JP2019/003420
国際公開番号 WO2019/151411
国際出願日 平成31年1月31日(2019.1.31)
国際公開日 令和元年8月8日(2019.8.8)
優先権出願番号 2018017044
優先日 平成30年2月2日(2018.2.2)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】長谷山 美紀
【氏名】小川 貴弘
出願人 【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
個別代理人の代理人 【識別番号】110000958、【氏名又は名称】特許業務法人 インテクト国際特許事務所
【識別番号】100120189、【弁理士】、【氏名又は名称】奥 和幸
【識別番号】100173510、【弁理士】、【氏名又は名称】美川 公司
審査請求 未請求
要約 入力情報に対応した学習パターンの生成のために必要な学習用データの量を低減しつつ、入力情報に対応した有意な出力情報を精度よく出力させるための学習パターン情報を生成することが可能な学習装置を提供する。
画像データGDに対応した有意な出力を得るための学習パターンデータPDであって、画像データGDを用いた深層学習処理の結果に対応する学習パターンデータPDを生成する場合に、画像データGDに対応する外部データBDを外部から取得し、画像データGDの特徴を示す画像特徴データGCと、外部データBDの特徴を示す外部特徴データBCと、の間の相関に基づいて画像特徴データGCを変換し、変換画像特徴データMCを生成する。その後、生成された変換画像特徴データMCを用いて深層学習処理を実行し、学習パターンデータPDを生成する。
特許請求の範囲 【請求項1】
入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、
前記入力情報に対応する外部情報を外部から取得する外部情報取得手段と、
前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段と、
前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段と、
を備えることを特徴とする学習装置。
【請求項2】
請求項1に記載の学習装置において、
前記外部情報は、前記生成された学習パターン情報を用いた前記出力情報の生成に関わる人の当該生成に関わる活動に起因して電気的に生成される外部情報であることを特徴とする学習装置。
【請求項3】
請求項2に記載の学習装置において、
前記外部情報は、前記活動により生じた前記人の脳活動に対応した脳活動情報、又は、前記活動に含まれる前記人の視認行動に対応した視認情報の少なくともいずれか一方を含むことを特徴とする学習装置。
【請求項4】
請求項1から請求項3のいずれか一項に記載の学習装置において、
前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、
前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成することを特徴とする学習装置。
【請求項5】
請求項1から請求項4のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、
前記生成された学習パターン情報を記憶する記憶手段と、
前記入力情報を取得する取得手段と、
前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段と、
を備えることを特徴とする情報出力装置。
【請求項6】
入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、外部情報取得手段と、変換手段と、深層学習手段と、を備える学習装置において実行される学習方法であって、
前記入力情報に対応する外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、
前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、
前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、
を含むことを特徴とする学習方法。
【請求項7】
入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、
前記入力情報に対応する外部情報を外部から取得する外部情報取得手段、
前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、
前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、
として機能させることを特徴とする学習装置用プログラム。
【請求項8】
請求項1から請求項4のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶手段と、取得手段と、出力手段と、を備える情報出力装置において実行される情報出力方法であって、
前記入力情報を前記取得手段により取得する取得工程と、
前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、
を含むことを特徴とする情報出力方法。
【請求項9】
請求項1から請求項4のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、
前記生成された学習パターン情報を記憶する記憶手段、
前記入力情報を取得する取得手段、及び、
前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、
として機能させることを特徴とする情報出力用プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、学習装置、学習方法及び当該学習装置用のプログラム、並びに、情報出力装置、情報出力方法及び当該情報出力装置用のプログラムの技術分野に属する。より詳細には、画像情報等の入力情報に対応した有意な出力情報を出力するための学習パターン情報を生成する学習装置、学習方法及び当該学習装置用のプログラム、並びに、当該生成された学習パターン情報を用いて出力情報を出力する情報出力装置、情報出力方法及び情報出力用プログラムの技術分野に属する。
【背景技術】
【0002】
近年、機械学習、特に深層学習に関する研究が活発に行われている。このような研究を開示した先行技術文献としては、例えば下記非特許文献1及び下記非特許文献2が挙げられる。これらの研究では、極めて高精度な認識や分類が可能である。
【先行技術文献】
【0003】

【非特許文献1】Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning", Nature, vol. 521, pp. 436-444, 2015
【非特許文献2】J. Schmidhuber, "Deep learning in neural networks: An overview", Neural Networks, vol. 61, pp. 85-117, 2015
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記二つの非特許文献に記載されている技術に対しては、上記認識や分類の高精度化のためには、例えば十万単位の大量の学習用データを必要とすること、及び、認識・分類結果に対する過程が人間と大きく異なること、が問題点として挙げられている。そして現状では、これらを同時に解決可能とする技術の実現には至っていない。またこれらの問題は、個人の嗜好や専門知識に関連する課題において顕著となり、深層学習の実利用を検討する際の障壁ともなっている。
【0005】
なお、少ない学習用データからの学習を可能とするための方法として、学習済みの識別器から学習をし直す、いわゆる「Fine-tuning」なる手法等が知られているが、これらについても、学習用データの量の低減にも限界があり、学習の精度の向上との両立は困難である。
【0006】
そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記深層学習における層数、及び当該深層学習の結果としての学習パターンのパターン数を削減することで上記学習用データの低減が可能な学習装置、学習方法及び当該学習装置用のプログラム、並びに、生成された学習パターン情報を用いて上記出力情報を出力することが可能な情報出力装置、情報出力方法及び情報出力用プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、請求項1に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、前記入力情報に対応する外部情報を外部から取得する入力インターフェース等の外部情報取得手段と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換部等の変換手段と、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する学習パラメータ決定部等の深層学習手段と、を備える。
【0008】
上記の課題を解決するために、請求項6に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、入力インターフェース等の外部情報取得手段と、変換部等の変換手段と、学習パラメータ決定部等の深層学習手段と、を備える学習装置において実行される学習方法であって、前記入力情報に対応する外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、を含む。
【0009】
上記の課題を解決するために、請求項7に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、前記入力情報に対応する外部情報を外部から取得する外部情報取得手段、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、として機能させる。
【0010】
請求項1、請求項6又は請求項7のいずれか一項に記載の発明によれば、入力情報に対応した外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。よって学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を出力させることができる。
【0011】
上記の課題を解決するために、請求項2に記載の発明は、請求項1に記載の学習装置において、前記外部情報は、前記生成された学習パターン情報を用いた前記出力情報の生成に関わる人の当該生成に関わる活動に起因して電気的に生成される外部情報であるように構成される。
【0012】
請求項2に記載の発明によれば、請求項1に記載の発明の作用に加えて、外部情報が、学習パターン情報を用いた出力情報の生成に関わる人の活動に起因して電気的に生成される外部情報であるので、当該人の専門性や嗜好と当該入力情報の双方に対応した学習パターン情報を生成することができる。
【0013】
上記の課題を解決するために、請求項3に記載の発明は、請求項2に記載の学習装置において、前記外部情報は、前記活動により生じた前記人の脳活動に対応した脳活動情報、又は、前記活動に含まれる前記人の視認行動に対応した視認情報の少なくともいずれか一方を含むように構成される。
【0014】
請求項3に記載の発明によれば、請求項2に記載の発明の作用に加えて、外部情報が、学習パターン情報を用いた出力情報の生成に関わる人の活動により生じた当該人の脳活動に対応した脳活動情報、又は、当該活動に含まれる当該人の視認行動に対応した視認情報の少なくともいずれか一方を含むので、当該人の専門性や嗜好により対応した学習パターン情報を生成することができる。
【0015】
上記の課題を解決するために、請求項4に記載の発明は、請求項1から請求項3のいずれか一項に記載の学習装置において、前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成するように構成される。
【0016】
請求項4に記載の発明によれば、請求項1から請求項3のいずれか一項に記載の発明の作用に加えて、入力特徴情報と、外部特徴情報と、の間の正準相関分析処理の結果に基づいて入力特徴情報を変換して変換入力特徴情報を生成するので、より外部情報に相関した変換入力特徴情報を生成して学習パターン情報の生成に供させることができる。
【0017】
上記の課題を解決するために、請求項5に記載の発明は、請求項1から請求項4のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、前記入力情報を取得する入力インターフェース等の取得手段と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する分類部等の情報出力手段と、を備える。
【0018】
上記の課題を解決するために、請求項8に記載の発明は、請求項1から請求項4のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、入力インターフェース等の取得手段と、分類部等の出力手段と、を備える情報出力装置において実行される情報出力方法であって、前記入力情報を前記取得手段により取得する取得工程と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、を含む。
【0019】
上記の課題を解決するために、請求項9に記載の発明は、請求項1から請求項4のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、前記生成された学習パターン情報を記憶する記憶手段、前記入力情報を取得する取得手段、及び、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、として機能させる。
【0020】
請求項5、請求項8又は請求項9のいずれか一項に記載の発明によれば、請求項1から請求項4のいずれか一項に記載の発明の作用に加えて、入力情報と、記憶されている学習パターン情報と、に基づいて、入力情報に対応した出力情報を出力するので、入力情報により対応した出力情報を出力することができる。
【発明の効果】
【0021】
本発明によれば、入力情報に対応した外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。
【0022】
従って、学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を精度よく出力させることができる。
【図面の簡単な説明】
【0023】
【図1】実施形態に係る劣化判定システムの概要構成を示すブロック図である。
【図2】実施形態に係る劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。
【図3】実施形態に係る学習処理における正準相関分析処理を示す概念図である。
【図4】実施形態に係る学習処理の全体を示す概念図である。
【図5】実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図である。
【図6】実施形態に係る劣化判定処理をそれぞれ示すフローチャートであり、(a)は実施形態に係る学習処理を示すフローチャートであり、(b)は実施形態に係る検査処理を示すフローチャートである。
【発明を実施するための形態】
【0024】
次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、例えば橋脚等の建築物や構造物の劣化の状態を、それらの外観を撮影して得られる画像データを用いて判定する劣化判定システムに対して本発明を適用した場合の実施の形態である。このとき以下の説明においては、上記建築物又は構造物を、単に「構造物」と称する。

【0025】
また、図1は実施形態に係る劣化判定システムの概要構成を示すブロック図であり、図2は当該劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。更に、図3は実施形態に係る学習処理における正準相関分析処理を示す概念図であり、図4は当該学習処理の全体を示す概念図である。更にまた、図5は実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図であり、図6は実施形態に係る劣化判定処理をそれぞれ示すフローチャートである。

【0026】
(I)判定システムの全体構成及び動作
はじめに、実施形態に係る判定システムの全体構成及び動作について、図1を用いて説明する。

【0027】
図1に示すように、実施形態に係る判定システムSは、学習装置Lと、検査装置Cと、により構成されている。このとき、学習装置Lが本発明に係る「学習装置」の一例に相当し、検査装置Cが本発明に係る「情報出力装置」の一例に相当する。

【0028】
この構成において、学習装置Lは、劣化判定の対象たる構造物を過去に撮影して得られた画像データGDと、当該画像データGDを用いた劣化判定に対応する外部データBDと、に基づき、新たな劣化判定の対象である画像データGDを用いて自動的に上記劣化判定を行うための学習パターンデータPDを深層学習処理により生成する。そして、当該生成された学習パターンデータPDは、実際の劣化判定に用いられる検査装置Cの記憶部に記憶される。

【0029】
一方、上記学習パターンデータPDを用いた構造物の実際の劣化判定時において検査装置Cは、上記記憶部に記憶されている学習パターンデータPDと、劣化判定の対象たる構造物を新たに撮影して得られた画像データGDと、を用いて、上記深層学習処理の結果を用いた劣化判定を行う。このとき、実際の劣化判定の対象たる構造物は、学習装置Lにおける深層学習処理に用いられた画像データGDが撮影された構造物と異なっていてもよいし、同一の構造物であってもよい。

【0030】
(II)学習装置の細部構成及び動作
次に、上記学習装置Lの構成及び動作について、図2乃至図4を用いて説明する。

【0031】
図2に示すように、実施形態に係る学習装置Lは、基本的にはパーソナルコンピュータ等により構成されるものであり、機能的には、入力インターフェース1及び入力インターフェース10と、特徴量抽出部2、特徴量抽出部5及び特徴量抽出部11と、正準相関分析部3と、変換部4と、学習パラメータ決定部6と、記憶部7と、特徴量選択部8と、により構成されている。なお、特徴量抽出部2、特徴量抽出部5及び特徴量抽出部11、正準相関分析部3、変換部4、学習パラメータ決定部6、記憶部7並びに特徴量選択部8については、学習装置Lを構成する例えばCPU等を含むハードウェアロジック回路として構成してもよいし、後述する実施形態に係る学習処理(図6(a)参照)に相当するプログラムを学習装置Lの上記CPU等が読み込んで実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記入力インターフェース10が本発明に係る「外部情報取得手段」の一例に相当し、特徴量抽出部2及び変換部4が本発明に係る「変換手段」の一例に相当し、特徴量抽出部5及び学習パラメータ決定部6が本発明に係る「深層学習手段」の一例に相当する。

【0032】
以上の構成において、過去の劣化判定の対象となった構造物を撮影した、学習用データとしての画像データGDは、入力インターフェース1を介して特徴量抽出部2に出力される。そして特徴量抽出部2は、画像データGDにおける特徴量を既存の特徴量抽出方法により抽出し、画像特徴データGCを生成して正準相関分析部3及び変換部4に出力する。

【0033】
一方、本発明に係る「外部情報」の一例である外部データBDは、入力インターフェース10を介して特徴量抽出部11に出力される。ここで当該外部データBDに含まれるデータとしては、例えば、上記画像データGDに対応する構造物の劣化判定を行った人(例えば、劣化判定についてある程度以上の練度を有する判定員)の、当該劣化判定時の脳活動の状態を示す脳活動データや、当該劣化判定の際の当該人の視線の動きを示す視線データや、当該劣化判定の対象であった構造物についての構造種別名称、構造細目名称及び変状部位名称等を示すテキストデータ等が挙げられる。このとき、上記脳活動データとしては、いわゆる機能的近赤外分光分析法(fNIRS(functional Near-Infrared Spectroscopy))を用いて計測された脳活動データをその一例として用いることができる。また、上記テキストデータは、後述するラベルデータLDとしての内容を含まないテキストデータであって正準相関分析部3による正準相関分析処理に用いることが可能な種々のテキストデータである。そして特徴量抽出部11は、外部データBDにおける特徴量を既存の特徴量抽出方法により抽出し、外部特徴データBCを生成して正準相関分析部3に出力する。一方、上記構造物の劣化の状態の分類(分類クラス)を示し、且つ学習パラメータ決定部6による後述の深層学習処理の結果における分類のためのラベルデータLDが、正準相関分析部3及び学習パラメータ決定部6に入力されている。これらにより正準相関分析部3は、ラベルデータLD、外部特徴データBC及び画像特徴データGCに基づき、当該外部特徴データBCと画像特徴データGCとの間における正準相関分析処理を実行し、その結果(即ち、外部特徴データBCと画像特徴データGCとの間の正準相関)を、分析結果データRTとして変換部4に出力する。そして変換部4は、分析結果データRTを用いて画像特徴データGCを変換し、変換画像特徴データMCとして特徴量抽出部5に出力する。

【0034】
ここで、正準相関分析部3による上記正準相関分析処理、及びその結果としての分析結果データRTを用いた変換部4における変換処理について、図3を用いてその概要をそれぞれ説明する。

【0035】
一般に正準相関分析処理は、例えば二つの変量(ベクトル等の変量)間の相関を最大とする変換を求める処理である。即ち図3において、二つのベクトルxiとベクトルyi(i=1、2、…、N(Nはデータのサンプル数))があったと仮定すると、正準相関分析処理では、図3に示す転置行列A’及び転置行列B’による線形変換を用いて、これら「二つのベクトルxi及びベクトルyi間の相関を最大とするような変換」を求める。このとき当該相関を上記「正準相関」と称する。この正準相関分析処理により、元のベクトルxiとベクトルyiとの間に内在する関連性を求めることができる。なお図3では、転置行列A’及び転置行列B’を用いて線形変換する場合について示すが、非線形変換であっても構わない。そして、実施形態に係る学習処理では、外部特徴データBCと画像特徴データGCとの間の正準相関を示すように、上記分析結果データRT(図3に示す新たなベクトルA’Xiに対応)を用いて変換部4により画像特徴データGCを変換する。なお、この場合の変換部4による変換は、上記線形変換を含む正準相関に対応したものの他に、上記非線形変換を含む正準相関に対応したものであってもよい。これにより、外部データBDとの相関を最大とする変換を、元の画像データGDに対する深層学習処理内に取り込む。このとき、外部データBDとして上記脳活動データを用いる場合は、当該脳活動データには、その取得元たる人の専門知識や嗜好を表す情報が含まれている。よって、当該専門知識や嗜好を表現(具現化)することが可能な画像としての特徴量が、変換部4による変換結果たる変換画像特徴データMCとして出力される。このとき特徴量選択部8は、正準相関分析部3における正準相関分析処理において、それに用いられる正準相関係数に基づいて外部特徴データBDを切り換えて正準相関分析処理に供させる。

【0036】
次に、特徴量抽出部5は、変換画像特徴データMCにおける特徴量を既存の特徴量抽出方法により改めて抽出し、学習用特徴データMCCを生成して学習パラメータ決定部6に出力する。これにより学習パラメータ決定部6は、上記ラベルデータLDに基づき、学習用特徴データMCCを学習用データとして用いた深層学習処理を行い、その結果としての学習パターンデータPDを生成して記憶部7に出力する。そして記憶部7は、当該学習パターンデータPDを図示しない記憶媒体(例えば、USB(Universal Serial Bus)メモリや光ディスク等の記憶媒体)に記憶させる。

【0037】
ここで、上述して来た学習装置Lにおける実施形態に係る学習処理の全体を概念的に示すと、図4のようになる。なお図4は、実施形態に係る深層学習処理(図4に示す中間層、隠れ層及び出力層からなる深層学習処理)を、例えば全接続型のニューラルネットワークを用いて示す図である。即ち、実施形態に係る学習処理では、劣化判定の対象たる構造物を過去に撮影して得られた画像データGDが学習装置Lに入力されると、特徴量抽出部2によりその特徴量が抽出され、画像特徴データGCが生成される。この処理は、図4における符号αで示した部分の処理に相当する。次に当該画像特徴データGCに対して、外部データBDとしての脳活動データ、視線データ及び/又はテキストデータ並びに上記ラベルデータLDを用いた上記正準相関処理を含む変換処理が正準相関分析部3及び変換部4により実行され、上記変換画像特徴データMCが生成される。この処理は、図4における符号βで示した部分の処理(正準相関分析処理)、及び符号γで示したノード部分の処理に相当する。そして、生成された変換画像特徴データMCからの特徴量抽出部5による特徴量の抽出処理、及びその結果たる学習用特徴データMCCを用いた学習パラメータ決定部6による学習パターンデータPDの生成処理が実行される。これらの処理は、図4における符号δで示した部分の処理に相当する。このとき、生成された学習パターンデータPDには、図4に示す中間層に対応する学習パラメータデータと、図4に示す隠れ層に対応する学習パラメータデータと、が含まれている。その後、生成された学習パターンデータPDは、記憶部7により上記図示しない記憶媒体に記憶される。以上のような実施形態に係る学習処理によれば、過去に同様の劣化判定を行った人の脳活動の状態を示す脳活動データ等を外部データBDとして用いることで、例えば当該人の脳活動に相当する深層学習処理の部分を省略しつつ、その人の専門性を反映させた劣化判定を検査装置Cにおいて行うことができ、学習用データとしての画像データGDの量を大幅に低減することができる。

【0038】
(III)検査装置の細部構成及び動作
次に、上記検査装置Cの構成及び動作について、図5を用いて説明する。

【0039】
図5に示すように、実施形態に係る検査装置Cは、基本的には例えば携帯可能な又は移動可能なパーソナルコンピュータ等により構成されるものであり、機能的には、入力インターフェース20と、特徴量抽出部21及び特徴量抽出部23と、変換部22と、分類部24と、液晶ディスプレイ等からなる出力部25と、記憶部26と、により構成されている。なお、特徴量抽出部21及び特徴量抽出部23、変換部22、分類部24及び記憶部26については、検査装置Cを構成する例えばCPU等を含むハードウェアロジック回路として構成してもよいし、後述する実施形態に係る検査処理(図6(b)参照)に相当するプログラムを検査装置Cの上記CPU等が読み込んで実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記入力インターフェース20が本発明に係る「取得手段」の一例に相当し、分類部24及び出力部25が本発明に係る「出力手段」の一例に相当し、記憶部26が本発明に係る「記憶手段」の一例に相当する。

【0040】
以上の構成において、記憶部26には、学習装置Lにより上記記憶媒体に記憶された学習パターンデータPDが、当該記憶媒体から読み出されて記憶されている。そして、新たに検査装置Cによる劣化判定の対象となった構造物を撮影した画像データGDであって本発明に係る「入力情報」の一例としての画像データGDは、例えば図示しないカメラ等及び入力インターフェース20を介して特徴量抽出部21に出力される。これにより特徴量抽出部21は、画像データGDにおける特徴量を、例えば学習装置Lの特徴量抽出部2と同様の既存の特徴量抽出方法により抽出し、画像特徴データGCを生成して変換部4に出力する。その後変換部22は、例えば学習装置Lの変換部4と同様の、上記転置行列A’及び転置行列B’を用いた正準相関分析処理を含む変換処理を画像特徴データGCに施し、変換画像特徴データMCとして特徴量抽出部23に出力する。なお、当該転置行列A’及び転置行列B’を示すデータを含む当該正閏相関分析処理に必要な情報は、予め検査装置Cの図示しないメモリ内に記憶されている。

【0041】
次に特徴量抽出部23は、変換画像特徴データMCにおける特徴量を、例えば学習装置Lの特徴量抽出部5と同様の既存の特徴量抽出方法により改めて抽出し、特徴データCMCを生成して分類部24に出力する。そして分類部24は、学習パターンデータPDを記憶部26から読み出し、それを用いて特徴データCMCにより示されている構造物の劣化の状態を判定して分類し、分類データCTとして出力部25に出力する。この学習パターンデータPDを用いた分類部24における分類処理により、学習装置Lにおける深層学習処理の結果を用いた構造物の劣化判定が行えることになる。そして出力部25は、当該分類データCTを例えば表示することで、新たに劣化判定の対象となった構造物の当該劣化の状態等を使用者に認識させる。

【0042】
(IV)実施形態の劣化判定処理
最後に、実施形態に係る判定システムS全体において実行される、実施形態に係る劣化判定処理について、纏めて図6を用いて説明する。

【0043】
はじめに、実施形態に係る劣化判定処理のうち学習装置Lにより実行される実施形態に係る学習処理について、図6(a)を用いて説明する。

【0044】
上述した細部構成及び動作を備える学習装置Lにより実行される実施形態に係る学習処理は、例えば学習装置Lの電源スイッチがオンとされ、更に上記学習用データとしての画像データGDが学習装置Lに入力されることで開始される(ステップS1)。そして、当該画像データGDと並行して外部データBDが学習装置Lに入力されると(ステップS2)、特徴量抽出部2及び特徴量抽出部11により上記画像特徴データGC及び上記外部特徴データBCがそれぞれ生成される(ステップS3)。その後、当該画像特徴データGC及び当該外部特徴データBC並びにラベルデータLDを用いた正準相関分析処理が正準相関分析部3により実行され(ステップS4)、その結果としての分析結果データRTを用いて画像特徴データGCが変換部4により変換されて変換画像特徴データMCが生成される(ステップS5)。その後、特徴量抽出部5により変換画像特徴データMCにおける特徴量が抽出され、学習用特徴データMCCとして学習パラメータ決定部6に出力される(ステップS6)。そして、学習パラメータ決定部6の深層学習処理により上記学習パターンデータPDが生成され(ステップS7)、更に当該学習パターンデータPDが記憶部7により上記記憶媒体に記憶される(ステップS8)。その後、例えば学習装置Lの上記電源スイッチがオフとされたか否かが判定されることにより、実施形態に係る学習処理を終了するか否かが判定される(ステップS9)。ステップS9の判定において、実施形態に係る学習処理を終了すると判定された場合(ステップS9:YES)、学習装置Lは当該学習処理を終了する。一方、ステップS9の判定において、当該学習処理を継続する場合(ステップS9:NO)、その後は上述してきたステップS1以降の処理が繰り返される。

【0045】
次に、実施形態に係る劣化判定処理のうち検査装置Cにより実行される実施形態に係る検査処理について、図6(b)を用いて説明する。

【0046】
上述した細部構成及び動作を備える検査装置Cにより実行される実施形態に係る検査処理は、例えば検査装置Cの電源スイッチがオンとされ、更に上記劣化判定の対象たる新たな画像データGDが検査装置Cに入力されることで開始される(ステップS10)。そして、特徴量抽出部21により上記画像特徴データGCが生成される(ステップS11)。その後、当該画像特徴データGCが変換部22により変換されて変換画像特徴データMCが生成される(ステップS12)。次に、特徴量抽出部23により変換画像特徴データMCにおける特徴量が抽出され、特徴データCMCとして分類部24に出力される(ステップS13)。そして、記憶部26から上記学習パターンデータPDが読み出され(ステップS14)、それを用いた構造物の劣化の判定及び分類が分類部24により実行される(ステップS15)。その後、当該分類結果が出力部25を介して使用者に提示される(ステップS16)。その後、例えば検査装置Cの上記電源スイッチがオフとされたか否かが判定されることにより、実施形態に係る検査処理を終了するか否かが判定される(ステップS17)。ステップS17の判定において、実施形態に係る検査処理を終了すると判定された場合(ステップS17:YES)、検査装置Cは当該検査処理を終了する。一方、ステップS17の判定において、当該検査処理を継続する場合(ステップS17:NO)、その後は上述してきたステップS10以降の処理が繰り返される。

【0047】
以上それぞれ説明したように、実施形態に係る劣化判定処理によれば、学習装置Lにおいて、学習用データとしての画像データGDに対応した外部データBDとの相関を用いて学習パターンデータPDを生成することで、画像データGDに対応した学習パターンデータPDを生成するための深層学習処理における層数、及び学習パターンデータPDとしてのパターン数を削減することができる。よって、学習パターンデータPDの生成のために必要な学習用データとしての画像データGD(外部データBDと共に学習装置Lに入力される画像データGD)の量を低減しつつ、当該画像データGD(検査装置Cに入力される画像データGD)に対応した有意な劣化判定結果を得ることができる。

【0048】
また、外部データBDが、学習パターンデータPDを用いた劣化判定に関わる人の活動に起因して電気的に生成される外部データBDであるので、当該人の専門性と当該画像データGDの双方に対応した学習パターンデータPDを生成することができる。

【0049】
更に、外部データBDが、学習パターンデータPDを劣化判定に関わる人の活動により生じた当該人の脳活動に対応した脳活動データ、又は、当該活動に含まれる当該人の視認行動に対応した視認データの少なくともいずれか一方を含む場合は、当該人の専門性により対応した学習パターンデータPDを生成することができる。

【0050】
更にまた、画像特徴データGCと、外部特徴データBCと、の間の正準相関分析処理の結果に基づいて画像特徴データGCを変換して変換画像特徴データMCを生成するので、外部データBDによりより相関した変換画像特徴データMCを生成して学習パターンデータPDの生成に供させることができる。

【0051】
また検査装置Cにおいて、劣化判定の対象たる新たな画像データGDと、記憶されている学習パターンデータPDと、に基づいて、画像データGDに対応した劣化判定結果を出力(提示)するので、画像データGDにより対応した劣化判定結果を出力することができる。

【0052】
なお上述した実施形態では、画像データGDに対応する構造物の劣化判定を行った人の脳活動データとして、機能的近赤外分光分析法を用いて計測された脳活動データを用いたが、これ以外に、その人のいわゆるEEG(Electroencephalogram)脳波データや簡易脳波計データ、或いはfMRI(functional Magnetic Resonance Imaging)データを当該脳活動データとして用いてもよい。この他に外部データBDとしては、一般に、人の専門性や嗜好を示す当該外部データBDとして、その人の瞬目データ、音声データ、バイタルデータ(血圧データ、サチュレーションデータ、心拍数データ、脈拍数データ、皮膚温データ等)、又は体動のデータ等を用いることができる。

【0053】
更に上述した実施形態では、画像データGDを用いて構造物の劣化判定を行う場合に本発明を適用したが、これ以外に、音響データ(いわゆる打鍵音)により当該劣化判定を行う場合に本発明を提供してもよい。この場合には、当該打鍵音による劣化判定を行った人(つまり、打鍵音を聞いて劣化判定を行った判定員)の脳活動データを外部データBDとして、実施形態に係る学習処理が実行されることになる。

【0054】
更にまた、上述した実施形態等では、構造物の劣化判定を画像データGD又は音響データを用いて行う場合に本発明を適用したが、これ以外に、様々な物体の状態判定を、それに対応した画像データ又は音響データを用いて行う場合に本発明を適用することもできる。

【0055】
また、実施形態等のような構造物の劣化判定処理だけでなく、医師や歯科医師或いは看護士等の経験を反映させた深層学習処理を行った結果得られた学習パターンデータを用いて医療診断支援や医療診断技術の伝承を行う場合や、災害リスクの専門家の経験等を反映させた深層学習処理を行った結果得られた学習パターンデータを用いて安全対策決定支援や災害リスクの判定支援を行う場合に、本発明を適用することもできる。

【0056】
更に、人の嗜好の学習に本発明を適用する場合には、実施形態に係る外部データBDとしては、同様の嗜好を有する人の嗜好結果(判定結果)に相当する外部データBDを用いることができる。

【0057】
更にまた、上述した実施形態では、学習装置L及び検査装置C共に、いわゆるスタンドアローン型のものである場合について説明したが、これらに限らず、実施形態に係る学習装置L及び検査装置Cそれぞれの機能を、サーバ装置と端末装置とを含むシステム上で実現するように構成してもよい。即ち、実施形態に係る学習装置Lの場合には、当該学習装置Lにおける入力インターフェース1及び入力インターフェース10、特徴量抽出部2、特徴量抽出部5及び特徴量抽出部11、正準相関分析部3、変換部4並びに学習パラメータ決定部6それぞれの機能を、例えばインターネット等のネットワークに接続されたサーバ装置に備えさせるように構成してもよい。この場合は、当該サーバ装置への画像データGD及び外部データBD並びにラベルデータLDの送信(図2参照)を当該ネットワークに接続された端末装置から行い、更に、上記サーバ装置の学習パラメータ決定部6により決定された学習パターンデータPDを当該サーバ装置から端末装置に送信して記憶させるように構成するのが好適である。一方、実施形態に係る検査装置Cの場合には、当該検査装置Cにおける入力インターフェース20、特徴量抽出部21及び特徴量抽出部23、変換部22、分類部24並びに記憶部26それぞれの機能を上記サーバ装置に備えさせるように構成してもよい。この場合は、当該サーバ装置への判定対象たる画像データGDの送信(図5参照)を当該ネットワークに接続された端末装置から行い、更に、上記サーバ装置の分類部24から出力される分類データCTを当該サーバ装置から端末装置に送信して出力(表示)させるように構成するのが好適である。
【実施例】
【0058】
次に、実施形態に係る劣化判定処理の効果を示すものとして本発明の発明者らが行った実験結果を、実施例として以下に示す。
【実施例】
【0059】
上述したように、従来の深層学習処理により学習パターンデータPDを生成する際に必要となる学習用データの量は万単位となる。このとき、学習の精度(判定精度)を下げてもよい場合であっても数千の学習用データが必要となる。但しこの場合、「精度が下がる」というよりも、学習パターンデータPDを生成するに当たっての学習が正しく行われる保証が限りなく少なくなることになる。
【実施例】
【0060】
これに対し、他の学習用データ(例えば万単位の画像データGD)で学習済みの学習パターンデータPDを、再度、適用対象のデータで学習し直す上記Fine-tuningの手法が従来から知られているが、この手法を用いても、数千単位(但し最低でも千枚以上)の画像データがないと学習をすることは難しくなる。
【実施例】
【0061】
これらに対して、実施形態に係る学習処理に対応した本発明者らによる実験では、評価用の画像データGDとして、構造物の変状が撮影された専門性の存在する画像の画像データGDを用い、その変状(劣化)のレベルを三つのレベルに分類して認識させた。このとき当該各レベルのそれぞれに対し、30枚の画像データGDを用意し、よって合計90枚の画像データGDで評価を行った。なお、具体的な精度評価の方法としては、いわゆる十分割交差検証(9割(81枚)の画像データGD)で学習装置Lにより学習させ、残りの1割(9枚)の画像データGDで検査装置Cとしての劣化判定処理を十回繰り返す検証)を採用した。以上のような実験の結果は表1に示すものとなった。
【実施例】
【0062】
【表1】
JP2019151411A1_000003t.gif
【実施例】
【0063】
このとき表1では、外部データBDとしての脳活動データの取得元として被験者A乃至被験者Dに協力を仰ぎ、上記81枚の画像データGDを用いたそれらの人の劣化判定結果と、実施形態に劣化判定処理の結果と、上記Fine-tuning法による劣化判定結果と、を記載している。即ち、先ず上記Fine-tuning法は、外部データBDを用いないため被験者によらず全て同じ判定精度(表1では、正解率のパーセント表記として表示されている)ではあるが、従来のFine-tuning法よりも画像データGDの数が圧倒的に少ないので、判定精度も50パーセント未満でしかない。これに対し、実施形態に係る劣化判定結果は、精度限界としての人(被験者A乃至被験者D)による判定結果に迫る精度を有している。更に被験者Cとの関係では、当該被験者Cよりも高い精度を有している。なお、被験者A乃至被験者Dのいずれでも上記精度が100パーセントにはなっていないが、これは、画像データGDを用いた劣化判定を行う企業等の中で、「最も熟練した技術者達が、(画像データGDだけでなく)構造物に関連するデータを全て突き合わせて出した最終判定結果」が精度限界とならざるを得ないため、たとえ人たる被験者であっても、その劣化判定の精度は100パーセントとなることはない。
【産業上の利用可能性】
【0064】
以上それぞれ説明したように、本発明は構造物等の状態の判定を行う判定システムの分野に利用することが可能であり、特に当該構造物等の劣化判定を行う判定システムの分野に適用すれば特に顕著な効果が得られる。
【符号の説明】
【0065】
1、10、20 入力インターフェース
2、5、11、21、23 特徴量抽出部
3 正準相関分析部
4、22 変換部
6 学習パラメータ決定部
7、26 記憶部
8 特徴量選択部
24 分類部
25 出力部
S 判定システム
L 学習装置
C 検査装置
GD 画像データ
BD 外部データ
PD 学習パターンデータ
GC 画像特徴データ
BC 外部特徴データ
LD ラベルデータ
RT 分析結果データ
MC 変換画像特徴データ
CT 分類データ
MCC 学習用特徴データ
CMC 特徴データ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5