TOP > 国内特許検索 > 画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体 > 明細書

明細書 :画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4581090号 (P4581090)
公開番号 特開2007-102458 (P2007-102458A)
登録日 平成22年9月10日(2010.9.10)
発行日 平成22年11月17日(2010.11.17)
公開日 平成19年4月19日(2007.4.19)
発明の名称または考案の名称 画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体
国際特許分類 G06T   7/00        (2006.01)
G06N   3/00        (2006.01)
G06T   1/00        (2006.01)
FI G06T 7/00 350D
G06N 3/00 550G
G06T 1/00 200A
G06T 1/00 300
請求項の数または発明の数 7
全頁数 18
出願番号 特願2005-291071 (P2005-291071)
出願日 平成17年10月4日(2005.10.4)
審査請求日 平成20年6月18日(2008.6.18)
特許権者または実用新案権者 【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
発明者または考案者 【氏名】河村 圭
審査官 【審査官】松永 稔
参考文献・文献 特開2002-366929(JP,A)
特開2004-78330(JP,A)
特開平7-92651(JP,A)
調査した分野 G06T 7/00
G06T 1/00
特許請求の範囲 【請求項1】
各々が画像処理フローを表す複数の個体を初期設定することと、
該複数の個体に対して各個体の表す画像処理フローにより与えられた画像の画像処理をした際の優劣性を示す適応度をあらかじめ設定した評価関数を用いて求めることと、
前記複数の個体に対し前記評価関数に基づいて適応度がより高くなるように新たな複数の個体を生成する過程を反復して適応度が最も高くなる複数の個体を得るように最適化処理を行うことと、
からなる遺伝的アルゴリズムを適用して得られた複数の個体を用いた画像処理フローにより画像中の注目部分以外の画像要素を削除し注目部分を自動描出する方法であって、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して遺伝的アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の個体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の個体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行いデータベースを形成することと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択することと、
該選択された原画像についての最適化された個体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得ることと、
からなることを特徴とする注目部分を自動描出する方法。
【請求項2】
各々が画像処理フローを表す複数の抗体を初期設定することと、
該複数の抗体に対して各個体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す親和度をあらかじめ設定した評価関数を用いて求めることと、
前記複数の抗体に対し前記評価関数に基づいて親和度がより高くなるように新たな複数の抗体を生成する過程を反復して親和度が最も高くなる複数の抗体を得るように最適化処理を行うことと、
からなる免疫アルゴリズムを適用して得られた複数の抗体を用いた画像処理フローにより画像中の注目部分以外の画像要素を削除し注目部分を自動描出する方法であって、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して免疫アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の抗体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の抗体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行いデータベースを形成することと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択することと、
該選択された原画像についての最適化された抗体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得ることと、
からなることを特徴とする注目部分を自動描出する方法。
【請求項3】
前記画像中の注目部分がコンクリート構造物の変状としてのひび割れであることを特徴とする請求項1または2のいずれかに記載の変状を自動描出する方法。
【請求項4】
請求項1または2のいずれかに記載の注目部分を自動描出する方法をコンピュータ上で実行するためのプログラムを記録した記録媒体。
【請求項5】
画像を取り込み画像特徴データを抽出する手段と、
各々が画像処理フローを表す複数の個体に対して各個体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す適応度をあらかじめ設定した評価関数を用いて求め、前記複数の個体に対し前記評価関数に基づいて適応度がより高くなるように新たな複数の個体を生成する過程を反復して適応度が最も高くなる複数の個体を得るように最適化処理を行う遺伝的アルゴリズムを実行する手段と、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して遺伝的アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の個体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の個体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行うことにより形成されたデータベースと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択する手段と、
該選択された原画像についての最適化された個体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得る手段と、
からなることを特徴とする注目部分を自動描出する装置。
【請求項6】
画像を取り込み画像特徴データを抽出する手段と、
各々が画像処理フローを表す複数の抗体に対して各抗体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す親和度をあらかじめ設定した評価関数を用いて求め、前記複数の個体に対し前記評価関数に基づいて親和度がより高くなるように新たな複数の抗体を生成する過程を反復して親和度が最も高くなる複数の抗体を得るように最適化処理を行う免疫アルゴリズムを実行する手段と、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して免疫アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の抗体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の抗体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行うことにより形成されたデータベースと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択する手段と、
該選択された原画像についての最適化された抗体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得る手段と、
からなることを特徴とする注目部分を自動描出する装置。
【請求項7】
前記画像中の注目部分がコンクリート構造物の変状としてのひび割れであることを特徴とする請求項5または6のいずれかに記載の注目部分を自動描出する装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理による画像中の注目部分を自動的に描出する方法及び装置に関し、より詳細には、進化的アルゴリズム(遺伝的アルゴリズム、免疫アルゴリズム)を適用したデジタル画像処理の手法による注目部分の描出、検出の方法及び装置に関する。
【背景技術】
【0002】
画像中の注目部分を描出する手法を適用する実際的な例として、例えばコンクリート構造物におけるひび割れ等の変状を検出することがあげられる。コンクリート構造物は建造物、交通・輸送の設備等、社会的、経済的発展の基幹となるものであり、耐腐食性があり、耐久性に優れていると言えるが、経年劣化、地震や衝突等による損傷によりその性能が失われることもある。そのため、コンクリート構造物は定期的な検査、詳細調査が行われ、その結果に基づいて劣化診断、対策が行われる。点検に際して、目視と打診により変状を確認、記録するという方法が用いられているが、このような目視、打診による点検作業は専門的知識、熟練を要するものであり、そのような専門技術者の確保が次第に困難になり、対象とされる構造物の増加、大規模化とともに、点検作業の量、処理データ量も膨大になるという問題が生じている。
【0003】
このような目視、打診による点検作業に対して、画像処理の手法によりコンクリート構造物のひび割れを検出することについての提案がなされている。
【0004】
画像処理によりひび割れの検査を行うために、画像データを処理し、コンクリートのひび割れのような変状と汚れや傷とを識別し、変状を抽出するという手法が用いられ、その例としてオペレータが画像上にひび割れをトレースする機能を用いるものがある。これはオペレータが変状部分を強調し、画像中に顕在する変状部分をトレーススケッチすることによってトレースした部分の長さや面積等を計測できるようにすることにより、目視点検、スケッチによる手法に比較して省力化を行うものである。オペレータが画像中に変状を顕在化させるためのトレースの作業、変状の長さや面積の測定における作業等が依然として残る。また、パターン認識の手法を用いる例があるが、パターン認識を行うまでの作業がやはり残存し、十分な省力化がなされるとは言えない。このような背景技術については、次のような文献に開示されている。

【非特許文献1】「PC架橋施工法2002年版」Vol.47,No.1,Jan.2005(社団法人プレストレスコンクリート技術協会発行、第81~85頁)
【特許文献1】特開2000-155011号公報
【特許文献2】特開2004-239870号公報 非特許文献1には、デジタルカメラによるコンクリート構造物の画像に対し、エッジ強調処理等を用いて、ひび割れ等の損傷部の特徴を描出し、ひび割れ幅を計測することの可能性について一般的に示されているが、実際にどのように実施し得るか、どの程度の成果が得られるかについては特に示されていない。
【0005】
特許文献1には、位置決めのためにプリント板に設けられたアライメントマークのような対象となるマーキングの位置計測に際し、設定されたテンプレートと探索領域を用いて、フィルタ処理の種類と順番、間引き率のパラメータをサンプル画像に適応し、遺伝的アルゴリズムを用いてパラメータの最適化することが示されているが、コンクリート構造物の検査におけるひび割れ等の不規則な形状を示す変状を描出する際の画像処理に適用することは意図されていない。
【0006】
特許文献2には、液晶表示画面のシミのような画面欠陥の検査において、画面欠陥の状態に合わせてフィルタ構成数値を遺伝的アルゴリズムを用いて自動計算させることにより空間フィルタを作成して用いることが示されている。この場合画面欠陥を含む画像の画像処理を行う空間フィルタを遺伝的アルゴリズムを用いて作成するのであるが、散在する画像欠陥の位置、大きさ、個数等を評価することを意図しており、このような手法をコンクリート構造物の検査におけるひび割れ等の不規則な形状を示す変状を描出する際の画像処理に適用することはできない。
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来の技術において、コンクリート構造物のひび割れのような変状を検査するような場合に、撮影された画像に対して、目視により変状を確認するという作業が不可避であり、コンクリート構造物における変状以外の汚れ等のノイズ要素を含む多数の画像についてこのような作業を行うのには十分な経験と多くの労力、時間が必要であった。そのため、このように画像中に注目部分以外のノイズ要素が含まれる場合に、注目部分以外の画像要素を除去して注目部分を描出することが望まれていた。
【課題を解決するための手段】
【0008】
本発明は、前述した課題を解決すべくなしたものであり、各々が画像処理フローを表す複数の個体を初期設定することと、
該複数の個体に対して各個体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す適応度をあらかじめ設定した評価関数を用いて求めることと、
前記複数の個体に対し前記評価関数に基づいて適応度がより高くなるように新たな複数の個体を生成する過程を反復して適応度が最も高くなる複数の個体を得るように最適化処理を行うことと、
とからなる遺伝的アルゴリズムを適用して得られた複数の個体を用いた画像処理フローにより画像中の注目部分以外の画像要素を削除し注目部分を自動描出する方法であって、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して遺伝的アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の個体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の個体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行いデータベースを形成することと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択することと、
該選択された原画像についての最適化された個体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得ることと、
からなるようにしたものである。
【0009】
また、本発明は、各々が画像処理フローを表す複数の抗体を初期設定することと、
該複数の抗体に対して各個体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す親和度をあらかじめ設定した評価関数を用いて求めることと、
前記複数の抗体に対し前記評価関数に基づいて親和度がより高くなるように新たな複数の抗体を生成する過程を反復して親和度が最も高くなる複数の抗体を得るように最適化処理を行うことと、
とからなる免疫アルゴリズムを適用して得られた複数の抗体を用いた画像処理フローにより画像中の注目部分以外の画像要素を削除し注目部分を自動描出する方法であって、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して免疫アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の抗体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の抗体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行いデータベースを形成することと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択することと、
該選択された原画像についての最適化された抗体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得ることと、
からなるようにしてもよい。
【0010】
本発明は、このような注目部分を自動描出することをコンピュータ上で実行するためのプログラムを記録した記録媒体としてもよい。
【0011】
また、本発明は、画像を取り込み画像特徴データを抽出する手段と、
各々が画像処理フローを表す複数の個体に対して各個体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す適応度をあらかじめ設定した評価関数を用いて求め、前記複数の個体に対し前記評価関数に基づいて適応度がより高くなるように新たな複数の個体を生成する過程を反復して適応度が最も高くなる複数の個体を得るように最適化処理を行う遺伝的アルゴリズムを実行する手段と、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して遺伝的アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の個体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の個体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行うことにより形成されたデータベースと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択する手段と、
該選択された原画像についての最適化された個体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得る手段と、
からなる注目部分を自動描出する装置としてもよい。
【0012】
また、本発明は、画像を取り込み画像特徴データを抽出する手段と、
各々が画像処理フローを表す複数の抗体に対して各抗体の表す画像処理フローにより与えられた画像の画像処理した際の優劣性を示す親和度をあらかじめ設定した評価関数を用いて求め、前記複数の個体に対し前記評価関数に基づいて親和度がより高くなるように新たな複数の抗体を生成する過程を反復して親和度が最も高くなる複数の抗体を得るように最適化処理を行う免疫アルゴリズムを実行する手段と、
既知の原画像に対して注目部分以外の画像要素を削除した目的画像を作成しておき、該原画像に対して免疫アルゴリズムを適用して得られた目的画像に最も近似した画像を与える最適化された画像処理フローを表す複数の抗体を生成するとともに、該既知の原画像の特徴を示す画像特徴データを生成し、該複数の抗体のデータ及び該画像特徴データを前記複数の既知の画像に対応するデータとして蓄積することを複数の原画像について行うことにより形成されたデータベースと、
注目部分を描出すべき未知の原画像に対してその画像特徴データを前記データベースに蓄積された複数の原画像の特徴データと比較して前記データベースにおける最も近似した原画像を選択する手段と、
該選択された原画像についての最適化された抗体の表す画像処理フローにより前記未知の画像に対する画像処理を行って注目部分を描出した画像を得る手段と、
からなる注目部分を自動描出する装置としてもよい。
【0013】
本発明の方法および装置において、画像中の注目部分は、コンクリート構造物の変状としてのひび割れとしてもよい。
【発明の効果】
【0014】
本発明により、複数のあらかじめ選択された原画像に対して遺伝的アルゴリズムまたは免疫アルゴリズムのような進化的アルゴリズムを適用して得られた画像処理フローをデータベースとして蓄積しておき、未知の画像に対して、複数の原画像から最も類似した原画像を選択しその原画像に対する画像処理フローにより未知の画像の画像処理を行って対象物の変状のような画像中の注目部分が自動的に描出された画像を得ることができ、コンクリート構造物のひび割れのような変状を目視により確認とするというよう経験、労力、時間を要する作業を省くことができて、作業能率が格段に向上する。
【発明を実施するための最良の形態】
【0015】
本発明は、例えばコンクリート構造物を撮影したデジタル画像に対し画像処理を行って、ひび割れでない要素を除去し、注目部分としてのひび割れ自体が描出された画像を形成するための最適な画像処理のフローを遺伝的アルゴリズムを用いて形成するものとして具体化されるものであり、これを実現するために不可欠な進化的アルゴリズムのうち、遺伝的アルゴリズムについて概略説明する。
【0016】
〔遺伝的アルゴリズム〕 遺伝的アルゴリズム(GA)は、自然界の生物システムの遺伝と自然選択による適応過程、進化のメカニズムに倣ったアルゴリズムであり、自然淘汰、交叉、突然変異などの特徴的操作を用いて新たな個体を生成し、実用解ないし最適解を高速に見出す手法である。
【0017】
GAでは、生物学的、遺伝学的な概念を例えば次のように対応させて用いる。
個体:個々の探索点
環境:与えられた問題
世代:ある時刻における個体集団を構成する個体群
染色体:個体のもつ遺伝情報を記述したもの
遺伝子:染色体の基本構成要素であり、染色体がビット列であれば0または1
生殖:子孫(後世代)の個体の生成
淘汰:劣った個体を選択して淘汰する過程
適応度:環境への適合性の高さを示す個体の評価度
交叉:生殖における子孫の染色体の生成方法
突然変異:生殖の際に遺伝子に生じるランダムな変更
GAによる処理手順として、図1に示される単純GA(SGA)の処理手順について説明する。
(1)初期個体の生成
N個の個体I(1≦i≦N)から生成される初期個体集団を生成する。初期母集団とも呼ばれる。対象とする探索空間の最適解の存在範囲などについての予備知識がない通常の場合、個体の染色体をランダムに設定する。
(2)適応度の計算
N個の個体I(1≦i≦N)に対して適応度f(I)を求める。適応度はどれだけその個体が優れているかを示したもので、値が大きいほど優れた個体となる。一般に、あらかじめ定めておいた評価関数を用いて各個体ごとに求める。
(3)選択
SGAでは適応度に基づいて劣った個体を淘汰して新しい個体を補う自然淘汰の操作をこの処理で表現する。N個の個体I(1≦i≦N)から重複を許して新たにN個の個体を選択する。この際個体を選択する1回の試行で適応度f(I)の個体Iが選ばれる確率P(I)は次式で表される。
【0018】
【数1】
JP0004581090B2_000002t.gif
このようにその個体の適応度が高いほど、個体が選択される確率は適応度が高く、適応度に基づく自然淘汰であると言える。
(4)交叉
適応度が高い個体を次世代に残すとともに、それらをもとにして新しい個体(探索点)を発生させる必要がある。これはGAの本質的部分であり、生物が進化するように最適解を表す個体の一部分を持った個体同士が交叉すれば、より最適解に近い個体が得られるという考えに基づいている。SGAでは選択後のN個の個体をランダムに2つずつ選んでペアを作る。そして交叉率(生起確率)に基づいて、そのペアを交叉させるか否かを決定する。交叉させることが決まったペアについては、それらの染色体を交叉させて新しい染色体を作り、それらによってもとの染色体を置き換える処理を行う。交叉法としては、2つの個体の遺伝子型のランダムに選んだ位置に交差点が設定され、その点で遺伝子型を2つに切り後半部分を入れ換えることによって子孫の遺伝子型が生成される1点交叉が典型的であるが、ほかにも交叉位置を2点にした2点交叉、交叉位置を3点以上にした多点交叉、遺伝子ごとにいずれかの親の対応遺伝子をそれぞれ確率p,1-pで選択する一様交叉などがある。図2に、(a)1点交叉、(b)2点交叉、(c)一様交叉の例を示す。
(5)突然変異
染色体の交叉の後、全個体の染色体の全遺伝子に対して非常に低い生起確率(突然変異率)に基づいて、その遺伝子をランダムに対立遺伝子に置き換える処理が突然変異であり、その例を図2(d)に示す。例えば、ビット列で表現される染色体の場合、そのビットを反転させる。突然変異の目的は
a.探索空間内の探索範囲を限定してしまうことの回避
b.局所解からの脱出
初期個体の生成方法によっては、交叉だけでは絶対に生じない遺伝子型が生じることがある。例えば、初期個体群のある遺伝子座の遺伝子が全て0であった場合、通常の交叉ではその遺伝子座の遺伝子を1にすることは不可能である。また、進化過程の早い時期において個体集団が局所解に収束してしまうような場合に、突然変異によって生成された染色体がもとになって局所解から抜け出し、再び最適解を目指すようにすることが可能になる。
(6)終了判定
選択、交叉、突然変異といった操作によって、次世代のN個の個体が確定された。これらの適応度を求め、個体集団があらかじめ定められた終了基準を満たしていれば全ての処理を終了し、満たしていなければ選択の処理に戻る。終了のための評価基準としては
a.世代数>しきい値
b.適応度の上昇率<しきい値
c.個体集団中の最大適応度>しきい値
d.個体集団の平均適応度>しきい値
などがある。
〔画像処理の手法〕 本発明では画像処理によりコンクリート構造物のひび割れのような変状の描出を行うのであるが、その場合の画像処理フローについて説明する。なお、コンクリート構造物のひび割れを画像中の注目部分の例として説明するが、本発明による手法は、他に遊離石灰、コンクリートの剥離、コンクリートの剥落、錆汁、鉄筋の露出のような、種々の変状を注目部分としても同様に適用されるものである。
【0019】
画像処理のなされる画像はコンクリート構造物等の対象物をデジタルカメラ等により撮影し、コンピュータに取り込まれる。取り込まれた画像に対し、デジタルカメラの光学的特性や撮影状況に対する補正(レンズの収差の補正、あおり補正等)を行い、分割して撮影した場合には画像を合成するというような幾何学的補正を行う。
【0020】
幾何学的補正のなされた画像に対して、ひび割れ等の変状を描出するための画像処理を行う。ひび割れ描出のための画像処理の手順は、前処理→2値化→2値画像処理という段階で行うのがよいと考えられる。前処理は画像中の注目部分であるひび割れを鮮明化する処理であり、フィルタ処理、明るさやコントラストの調整等を行う。フィルタ処理には、画像をぼかすことにより画像に含まれるノイズを除去する平滑化フィルタ(加重平均フィルタ、メディアンフィルタ、エッジ保存フィルタ等)、画像中のある領域と他の領域との境界としてのエッジを検出し画像の特徴を表すための特徴描出フィルタ(微分フィルタ、先鋭化フィルタ、移動差分フィルタ、シェーディング補正等)があり、これらを選択的に組み合わせて用いる。
【0021】
前処理の行われた画像においてひび割れのような注目部分とそれ以外の部分とを分離するために2値化処理を行う。2値化は輝度等の特定のパラメータについての閾値処理により行う。2値画像処理は、2値化処理のされた画像に対し、2値化によってひび割れ等の注目部分とそれ以外の画像要素とが完全には分離されないことに対する改善処理として行うものであり、画像をいくつかの連結した部分に分けてそれぞれにラベルを割り当てるラベリング、孤立点の除去、細線化、彩度によるノイズ除去、継ぎ目の除去等がある。
【0022】
〔遺伝的アルゴリズムを用いた画像処理フローの作成〕
画像処理フローの作成にGAを適用することを考える。この画像処理は、コンクリート構造物を撮影したデジタル画像に対し画像処理を行って、ひび割れでない要素を除去し、ひび割れ自体が描出された画像を形成するために行うものであり、当初の撮影したデジタル画像からひび割れが描出できている目的画像を得るための画像処理手順とパラメータをGAの適用により最適なものとすることが必要になる。そこで、画像処理手順及びパラメータを遺伝子として表現し、GAによって各個体(画像処理フロー)を発生させ、各個体の画像処理フローに従って画像処理を行い、それにより得られた画像においてひび割れが描出できていれば適応度をより高く、ひび割れが描出できていなければ適応度を低くなるように設定する。適応度の高い処理フローが次世代に生き残り、適応度の低いフローは環境に適応できていないため淘汰されていく。生き残った適応度の高い処理フロー同士を交叉させてやることによって、よりひび割れが描出できる個体が生成される。これを繰り返し行うことによって最終的に最もひび割れが描出できる個体(画像処理フロー)が得られると考えられる。このように画像処理フローの作成にGAを適用するには、どのように染色体をコーディングするか、作成された画像処理フローをどのように評価するか、について決定する必要があり、これらについて説明する。
【0023】
A.染色体のコーディング
コンクリート構造物の画像からひび割れを描出するための画像処理の手順として、「前処理」→「2値化処理」→「2値画像処理」という形が広く用いられており、本発明においてこの手順を広義の処理フローとして用い、広義の処理フローの形を崩さないように処理手法を選択する。GAを用いた画像処理フローの作成において、染色体は「前処理」→「2値化処理」→「2値画像処理」の形の画像処理フローについての遺伝子情報(0、1のビット列)として規定される。図3において、(a)は画像処理フローの例であり、(b)はその画像処理フローについてのコーディングの例を示すものであるが、染色体を示すビット列の形は、どのような画像処理フローの形を設定するかに応じたものとなる。図3(a)に示す画像処理フローでは、前処理としてメディアンフィルタ、鮮鋭化フィルタ、明るさ調整、コントラスト調整の各処理を行い、2値化処理として直接閾値指定法により閾値指定を行い、2値画像処理としてラベリング処理を行うものとなっている。2値化を行うときの閾値設定に関して、通常の2進数(バイナリーコード)を用いてもよいが、値が1異なる数値を遺伝子型に変換したときハミング距離が1となるグレイコードを用いれば局所探索能力の点では有利であると考えられる。これらの各処理に対して染色体を表すビット列において、1ないし数ビットが割り当てられている。染色体のコーディングに際して、ひび割れを描出するのにどのような処理が有効かを考慮して処理の組み合わせを選択することが重要である。また、遺伝子長(ビット長)が長くなると、最適化に要する時間が増大するので、実用上有効な処理の数、組み合わせを設定することも必要である。
【0024】
B.作成された画像処理フローの評価
GAにより画像中のひび割れ等の注目部分を描出する画像処理フローを最適化するプロセスは、図1に示される単純GA(SGA)で考えると、染色体(画像処理フローを表すビット列)をもつN個の個体をランダムに設定し、与えられた画像に対し各個体の画像処理フローに従って画像処理された画像がひび割れ等の注目部分をどの程度良好に描出し得たかを適応度として規定し、適応度が高くなるようにGAに従って個体を取捨選択することを反復し、最適化された画像処理フローを得ることになる。
【0025】
GAでは、初期世代(0世代)の個体をランダムに作り、この初期世代の個体へ遺伝子操作(交叉や突然変異)を行い次世代を作る、さらに1世代の個体へ遺伝子操作を行う、というように繰り返し(世代交代)により、最適な個体(最適な画像処理フロー)を探索する。ここで、
a)GAでは、どの世代も同じ数の個体が作られる。すなわち、計算が終了するまで、各世代において、同じ数の個体が存在する。
b)GAでは、エリート保存という手法があり、適応度(評価値)が高いものは必ず次世代に残される。
c)GAでの計算は、決められた世代数の世代交代(最大世代数)を繰り返すと終了する。最終世代の個体はほぼ1つの個体(最も適応度の高かった個体)へ収束し、エリート個体(探索の中で最も適応度が高かったもの)が常に保存されている。
【0026】
このようにして最適解が得られるが、与えられた条件において、必ずしも結果として最適解に到っていないことは生じ得る。その場合、そのような条件下で得られた最も適応度の高いものを準最適解とする。
【0027】
個体(画像処理フロー)を最適化しひび割れ画像を良好に描出するために、画像処理フローないしそれによる画像処理で生成された画像の評価手法が重要性を持つ。そこで、画像中の注目部分としてひび割れ画像の場合に、この画像処理フローの評価について考えると、図4(a)はコンクリート構造物を撮影した画像に対して最適な画像処理フローにより画像処理して得られた良好にひび割れを描出している画像である。これに対して図4(b)は同じ画像に他の何らかの画像処理を行って得られた画像であり、現実的にはこの画像は目標画像におけるひび割れ以外のノイズを含むものであり、あるいは目標画像に対して欠損が生じていることがあるが、このようなノイズ、欠損がより少なくなる画像処理フローがより好適なものであると言える。このことから、目標画像との一致の度合いを定量化するために、画像中のノイズ率(Noise/Back)と欠損率(Loss/Crack)を採り、評価関数を
【0028】
【数2】
JP0004581090B2_000003t.gif
として、画像処理フローの評価に用いる。好適な画像処理フローの場合、ノイズ率、欠損率がともに0に近く、評価関数は1に近い値となる。
(1)対話型GAによる手法
ここでひび割れ等の注目部分がどの程度良好に描出し得たかについての判断は、人が目視により行い、それ以外の処理をコンピュータ上で行うという最適化処理の形が対話型GAの手法である。どの程度良好に注目部分が描出されているかについての評価、判断は高度な識別力を要することであるのことからすれば、対話型GAは便宜的なものであるが、コンクリート構造物のような多量の画像を処理する場合には、多大の時間を要することになる。
(2)画像中の注目部分の自動抽出
画像中のひび割れ等の注目部分がどの程度良好に描出されているかについての人の判断自体をコンピュータ上で行うことは困難であるが、このような人の判断結果を累計的にデータベースとして蓄積しておき、これを利用して描出の評価、判断をコンピュータ上で行うことにより、注目部分の自動描出がなされる。
【0029】
図5は、このような画像中の注目部分の自動描出を行うシステムの構成要素として画像処理フローをデータベースとして蓄積するフローを示すものである。画像処理フローを蓄積するための機材としては、画像を取り込む機能、取り込まれた画像の特徴を表す画像特徴データを生成する機能、図1に示されるSGAないしGAの処理を行い最適化された個体のデータを得る機能、画像特徴データおよび個体のデータを蓄積する記憶手段を備えたコンピュータシステムを用いる。画像特徴データは、複数の画像の近似性を判断するための指標となるデータであり、統計的なテクスチャ特徴の計算手法用いて各画像の特徴量を求める。この計算手法としては、濃度ヒストグラム法、同時正規行列法、差分統計量法等として知られる手法があり、これら複数の手法により各画像に対して算定される特徴量を画像の類似度判定のための画像特徴データとし、このデータの比較により画像の類似度を判定する。
【0030】
このような機能を有するコンピュータシステムを用いて、あらかじめひび割れを完全に描出している目標画像が得られている既知の原画像に対しGAを適用し、原画像に個体(画像処理フロー)を適用して得られる画像が目標画像に最も近似するように最適化する。その結果として得られた個体についての解を、その特定の原画像についての最適解としてデータベースに格納する。それとともに原画像が持つ画像特徴量をその原画像についての特定するためのデータとして原画像に対応して格納する。すなわち、ある特定の既知の原画像に対応して画像特徴量のデータと、最適解の個体(画像処理フロー)のデータとが格納される。この操作を複数の目標画像の得られている原画像に対して繰り返して行い、データベースを充実させていく。ここで、データベースの充実は重要であり、データを多く蓄積するほど自動描出に際して多様な特徴を持つ画像に対応できるようになる。
【0031】
図6は、図5に示されたフローにより形成された画像処理フローのデータベースを用いて未知の画像についてひび割れを自動描出するフローを示すものである。このための機材はデータベース形成時にものと同様の機能のものを用いればよい。蓄積されている既知の画像についての画像処理フローの最適解はその画像についての特徴量データをキーとして取り出せるようになっている。未知の画像についてひび割れを自動描出するためには、まずその未知の画像を読み取って、画像データを取り込み、その画像の特徴量データを取得する。この特徴量データをデータベースに蓄積されている既知の画像の特徴量データと比較しそれらの類似度から、最も近似したものを特徴量データを選択し、それに対応する個体(画像処理フロー)を未知の画像のひび割れを描出するための最適な画像処理フローとして画像処理を行い、ひび割れを描出する。このひび割れの自動描出は、ひび割れ画像からひび割れを描出するのに最適な画像処理フローが類似したひび割れ画像に対しても有効であることに基づいており、データベースに蓄積されていない未知のひび割れ画像に対しても、データベース内の最も画像特徴量が近似した画像についての画像処理フローを適用することによって良好にひび割れ画像が描出されることになる。データベースの作成の際には目標画像の設定、目標画像との類似性の判定を人が行う必要があるが、データベースが形成された後は、コンピュータの機能により自動的にひび割れが描出できる。
【0032】
〔免疫アルゴリズムを用いた画像処理フローの作成〕
画像処理フローの最適化においてGAを適用した場合、解探索の初期段階で個体集団の多様性が失われる初期収束のような難点が起こり得るが、これに対する改善策として生体内のインテリジェントシステムである免疫システムに基づいた最適化手法としての免疫アルゴリズムを適用することが考えられる。そこで、免疫システムと免疫アゴリズムについて概略説明する。
【0033】
A.免疫システム
免疫システムは、生体内に浸入する未知の抗原に対応するため、抗体の再構築により抗原に対応する抗体を産生し、抗原を排除する生体関し防衛機構である。この抗原に対する一連の処理は免疫応答と呼ばれ、次のようなステップにより実現していると考えられる。
ステップ1:抗原の認識
生体内に浸入した抗原をリンパ系が認識し、免疫応答を開始する。
ステップ2:抗体の再構築
抗体産生細胞により、その抗原を排除し得る抗体を構築するために、選択・交叉・突然変異・増殖などによって再構築を行い、適切な抗体を産生する。
ステップ3:抗体による抗原の排除
浸入した抗原を分解・中和することで生体防御を行う。
ステップ4:排除に利用された抗体の記憶
一度排除した抗原に対しては、記憶細胞に記憶された抗体の記憶を用いることで素早い抗原排除を行う。
ステップ5:抗体の抑制
抗原排除のため、抗体が大量に産生された結果、生体内の抗体集団の多様性が失われたため、自己に対する免疫性を示し、大量に発生した抗体の産生を抑えることで多様性を維持する。
【0034】
免疫システムは、大別して次の3つの機構に分類される。
1)一次免疫応答
未知の抗原に対して行う抗原排除である。抗原排除に使用された有効な抗体は記憶細胞に格納される。
2)二次免疫応答
一度排除した抗原に対して行う抗原排除、一次免疫応答時に獲得した記憶細胞の活用により、より素早い抗原排除を実現する。
3)抑制機構
増えすぎた抗体の産生を抑制することで多様性を保持し、未知の膨大な抗原の浸入に備える。
【0035】
免疫システムは図7に表されるような形態である。免疫システムをひび割れの自動描出に当てはめて考えると、一次免疫応答は原画像(抗原)から目標画像に最も類似した画像を得るための画像処理手順(抗体)を求めることに相当し、二次免疫応答は画像特徴量の類似性(抗原の類似性)からデータベース(記憶細胞)に検索をかけることによって、過去に処理した画像処理手順(過去に処理した有効な個体)を用いて迅速に抗原を排除することに相当する。
【0036】
B.免疫アルゴリズム
免疫アルゴリズム(IA)は免疫システムのもつ多様性のある抗体の産生機構と、その自己調節機構に基づいた探索アルゴリズムである。GAとIAとでは、対応する概念に関して表1に示すような用語の違いがある。
【0037】
【表1】
JP0004581090B2_000004t.gif
IAは、免疫システムの持つ多様性のある抗体の産生機構と、その自己調節機構を模した探索アルゴリズムであり、複数の最適解を探索することが可能である。IAの基本的なフローを図8に示す。それぞれの内容は次のようになる。
(1)初期抗体群の生成
抗原を入力情報として認識させた後、GAと同様に抗体を生成する。このとき、過去に有効な抗体を記憶細胞(データベース)から読み込み、初期抗体群を生成する。記憶細胞が存在しない、もしくは記憶細胞が抗体群の総数に満たないときには、抗体の各遺伝子をランダムに発生することによって初期抗体群を生成する。
(2)抗体間の親和度の計算
全ての抗体について他の全ての抗体との親和度を計算する。抗体間の親和度ayi,y
【0038】
【数3】
JP0004581090B2_000005t.gif
で与えられる。ここで、Hi,jは抗体iと抗体jとの距離を表す。抗体間の距離はハミング距離を用いている。
(3)抗体と抗原との親和度の計算
全ての抗体について抗原との親和度(解の評価値)を計算する。
(4)終了判定
GAと同様に、あらかじめ設定した終了条件を満たせば計算を終了する。
(5)記憶細胞、サプレッサー細胞への分化
探索過程で得られた有効な抗体を記憶細胞とサプレッサー細胞に分化させる。この分化された記憶細胞が最適解の候補となる。まず、抗体iの濃度c
【0039】
【数4】
JP0004581090B2_000006t.gif

【0040】
【数5】
JP0004581090B2_000007t.gif
によって計算する。ここで、Tac1は抗体間の類似度の閾値であり、Nは抗体の総数である。つまり、抗体iと抗体jがTac1以上であれば、同一種類の抗体とみなす。そして、抗体の濃度cが閾値Tac2を超えた抗体を記憶細胞に分化させる。ただし、同世代に分化する記憶細胞の数は1つ以下とする。なお、記憶細胞の数には上限があり、記憶細胞の総数が上限に達した場合、それまでに保存してきた記憶細胞と分化した記憶細胞との親和度を計算し、その中で最も親和度の高い記憶細胞と入れ換えを行う。ただし、入れ換えは抗原との親和度が選択された記憶細胞よりも新たに分化した記憶細胞の方が高い場合にのみ行う。また、新たに分化した記憶細胞と同じ遺伝子をもつ抗体をサプレッサー細胞にも分化させる。
(6)抗体産生の促進と抑制
抗体産生の促進と抑制は以下の手順によって行われる。
1)抗体の中で抗原との親和度が低いものN/2個を自然消滅させる。
2)1)の操作で生き残った各抗体についてサプレッサー細胞との親和度を比較し、親和度の閾値を超えた抗体を消滅させる。
3)2)の操作で生き残った各抗体について次世代に残る期待値を
【0041】
【数6】
JP0004581090B2_000008t.gif

【0042】
【数7】
JP0004581090B2_000009t.gif
で与える。ここで、Tac3はサプレッサー細胞との類似度の閾値であり、N′は生き残っている抗体数、Sはサプレッサー細胞の総数、kは産生抑制力である。式(6)によって期待値を与えることにより、各抗体において抗原との親和度が高いほど次世代に残る確率が高く、サプレッサー細胞との親和度が高いほど次世代に残る確率が低くなるように設定される。サプレッサー細胞に反応する抗体の産生を抑制することによって同種類の記憶細胞の産生を防ぎ、複数解の探索効率を向上させる。
(7)抗体の産生
(6)における2)のステップによって消滅した抗体に代わる新しい抗体をランダムに発生させた遺伝子によって産生する。次に、現段階で生存しているN/2個の抗体から重複を許してN/4個のペアを作り、交叉させることによって新たにN/2個の抗体を産生する。なお、ペアを作るための抗体の選択は、期待値が高い抗体ほど高確率で選択されたものとする。また、産生したN/2個の抗体に対して突然変異を行う。ここで交叉と突然変異はGAと同様に行う。
【0043】
以上のようなIAのフローを、GAを用いた場合と同様にひび割れ画像に適用して、画像処理フローの最適化を行い、ひび割れの自動描出を行う。IAでも、GAの場合同様に、初期世代(0世代)の個体をランダムに作り、この初期世代の個体へ遺伝子操作(交叉や突然変異)を行い次世代を作る、さらに1世代の個体へ遺伝子操作を行う、というように繰り返し(世代交代)により、最適な個体(最適な画像処理フロー)を探索する。ここで、
a)IAでも、どの世代も同じ数の個体が作られる。すなわち、計算が終了するまで、各世代において、同じ数の個体が存在する。
b)IAでは、記憶細胞に探索された解の中で最も適応度(評価値)が高いものが常に保存されている(詳しく言うと、上位個数の解が保存されている)。
c)IAでの計算は、決められた世代数の世代交代(最大世代数)を繰り返すと終了する。最終世代の個体が1つの個体(最も適応度の高かった個体)に収束することはないが、記憶細胞に最も適応度が高い個体が保存されていることから、これが最適な解(画像処理フロー)となる。
【0044】
このようにして最適解が得られるが、与えられた条件において、必ずしも結果として最適解に到っていないことは生じ得る。その場合、そのような条件下で得られた最も適応度の高いものを準最適解とする。
【0045】
IAは、GAの課題である局所解からの脱出を実現し、類似画像検索による自動画像処理において、複数の代替案を用意しておくことで実行する解を選択する余地を残しておくことができる。
【0046】
以上では、描出すべき画像中の注目部分として、コンクリート構造物のひび割れの例について説明したが、本発明によりGAまたはIAのアルゴリズムを適用するに際しては、注目部分がコンクリート構造物のひび割れに限られるという制約はないものであり、本発明によるGAまたはIAのアルゴリズムを用いた手法は、例えば、遊離石灰、コンクリートの剥離、コンクリートの剥落、錆汁、鉄筋の露出等、他の注目部分の描出にも同様に適用できるものである。
【図面の簡単な説明】
【0047】
【図1】単純遺伝的アルゴリズムを示す図である。
【図2】(a)一点交叉の例を示す図である。(b)2点交叉の例を示す図である。(c)一様交叉の例を示す図である。(d)突然変異の例を示す図である。
【図3】(a)個体の表す画像処理フローの例を示す図である。(b)画像処理フローのコーディングの例を示す図である。
【図4】(a)ひび割れを良好に描出している画像の例である。(b)ひび割れ以外の要素を含む画像の例である。
【図5】既知の画像についてのデータベースを作成するフローを示す図である。
【図6】未知の画像についてひび割れを自動描出するフローを示す図である。
【図7】免疫システムの形態を示す図である。
【図8】免疫アルゴリズムの基本的フローを示す図である。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7