Top > Search of Japanese Patents > IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM > Specification

Specification :(In Japanese)画像処理装置、画像処理方法、画像処理プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B1)
Patent Number P5164127
Date of registration Dec 28, 2012
Date of issue Mar 13, 2013
Title of the invention, or title of the device (In Japanese)画像処理装置、画像処理方法、画像処理プログラム
IPC (International Patent Classification) A61B   1/00        (2006.01)
A61B   5/00        (2006.01)
FI (File Index) A61B 1/00 320B
A61B 5/00 G
Number of claims or invention 17
Total pages 28
Application Number P2012-193185
Date of filing Sep 3, 2012
Date of request for substantive examination Nov 1, 2012
Patentee, or owner of utility model right (In Japanese)【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
Inventor, or creator of device (In Japanese)【氏名】浜本 義彦
【氏名】藤田 悠介
【氏名】橋本 真一
【氏名】寺井 崇二
【氏名】坂井田 功
Accelerated examination, or accelerated appeal examination (In Japanese)早期審査対象出願
Representative (In Japanese)【識別番号】100141173、【弁理士】、【氏名又は名称】西村 啓一
【識別番号】100088856、【弁理士】、【氏名又は名称】石橋 佳之夫
Examiner (In Japanese)【審査官】門田 宏
Document or reference (In Japanese)国際公開第2009/041587(WO,A1)
特開2012-143368(JP,A)
特開2011-24727(JP,A)
特開2010-115413(JP,A)
Field of search A61B 1/00
A61B 5/00
A61B 6/00
A61B 8/00
JSTPlus/JMEDPlus/JST7580(JDreamII)
Abstract (In Japanese)【課題】 画像の複数の領域を識別した結果を検証し評価する。
【解決手段】 学習用画像20の画像情報を取得する学習用画像読取部111と、学習用画像20の画像情報と登録学習用画像種別40に基づき識別器情報を決定する識別器情報決定部112と、識別器情報に基づき学習用画像20の画素の種別を識別する学習用画像種別識別部113と、学習用画像20の画素の種別と登録学習用画像種別40の第1の差分量に基づき目標値を設定する目標値設定部114と、テスト用画像30の画像情報を取得するテスト用画像読取部115と、テスト用画像30の画像情報と識別器情報に基づきテスト用画像30の画素の種別を識別するテスト用画像種別識別部116と、テスト用画像30の画素の種別と登録テスト用画像種別50の第2の差分量が、目標値に基づく許容範囲内であるか否かを評価する評価部117と、を有してなる。
【選択図】図2
Scope of claims (In Japanese)【請求項1】
学習用画像と、上記学習用画像を構成する画素ごとの種別を示す登録学習用画像種別と、テスト用画像と、上記テスト用画像を構成する画素ごとの種別を示す登録テスト用画像種別と、が記憶されている記憶部と、
上記学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取部と、
上記学習用画像を構成する画素ごとの画像情報と上記登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定部と、
上記識別器情報に基づいて、上記学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別部と、
識別された上記学習用画像を構成する画素ごとの種別と上記登録学習用画像種別との差分量である第1の差分量を算出し、上記第1の差分量に基づいて目標値を設定する目標値設定部と、
上記テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取部と、
上記テスト用画像を構成する画素ごとの画像情報と上記識別器情報とに基づいて、上記テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別部と、
識別された上記テスト用画像を構成する画素ごとの種別と上記登録テスト用画像種別との差分量である第2の差分量を算出し、上記第2の差分量が、上記目標値に基づいて決定される許容範囲内であるか否かを評価する評価部と、
を有してなることを特徴とする画像処理装置。
【請求項2】
読影者が操作可能な登録操作部と、
上記記憶部に記憶されている上記学習用画像を表示する学習用表示部と、
上記記憶部に記憶される上記登録学習用画像種別を特定する登録学習用画像種別特定部と、
を備え、
上記登録学習用画像種別特定部は、上記学習用表示部が上記学習用画像を表示している状態で上記登録操作部が操作されたときに、上記登録操作部の操作内容に基づいて上記登録学習用画像種別を特定して上記記憶部に記憶する、
請求項1記載の画像処理装置。
【請求項3】
読影者が操作可能な登録操作部と、
上記記憶部に記憶されている上記テスト用画像を表示するテスト用表示部と、
上記記憶部に記憶される上記登録テスト用画像種別を特定する登録テスト用画像種別特定部と、
を備え、
上記登録テスト用画像種別特定部は、上記テスト用表示部が上記テスト用画像を表示している状態で上記登録操作部が操作されたときに、上記登録操作部の操作内容に基づいて上記登録テスト用画像種別を特定して上記記憶部に記憶する、
請求項1または2記載の画像処理装置。
【請求項4】
画素の種別には特定種別を含む複数の種別があり、
上記目標値設定部は、識別された上記学習用画像を構成する画素ごとの種別を構成する上記特定種別と、上記登録学習用画像種別を構成する上記特定種別と、に基づいて上記第1の差分量を算出する、
請求項1乃至3のいずれかに記載の画像処理装置。
【請求項5】
上記記憶部には複数の学習用画像が記憶されていて、
上記目標値設定部は、上記複数の学習用画像それぞれについて上記第1の差分量を算出し、算出された上記複数の学習用画像それぞれの上記第1の差分量の平均値である第1の平均値を算出し、上記第1の平均値に基づいて上記目標値を設定する、
請求項1乃至4のいずれかに記載の画像処理装置。
【請求項6】
画素の種別には特定種別を含む複数の種別があり、
上記評価部は、識別された上記テスト用画像を構成する画素ごとの種別を構成する上記特定種別と、上記登録テスト用画像種別を構成する上記特定種別と、に基づいて上記第2の差分量を算出する、
請求項1乃至5のいずれかに記載の画像処理装置。
【請求項7】
上記特定種別は、上記画素が注目領域に対応する画素であるか否かを示す情報であり、
上記識別器情報は、上記学習用画像または上記テスト用画像を構成する画素ごとに上記特定種別であるか否かを検出するための情報である、
請求項4乃至6のいずれかに記載の画像処理装置。
【請求項8】
上記記憶部には複数のテスト用画像が記憶されていて、
上記評価部は、上記複数のテスト用画像それぞれについて上記第2の差分量を算出し、算出された上記複数のテスト用画像それぞれの上記第2の差分量の平均値である第2の平均値を算出し、上記第2の平均値と上記目標値とに基づいて決定される上記許容範囲内であるか否かを評価する、
請求項1乃至7のいずれかに記載の画像処理装置。
【請求項9】
上記記憶部には基準値が記憶されていて、
上記評価部は、上記第2の平均値と上記目標値との差と、上記基準値とを比較して上記許容範囲内であるか否かを評価する、
請求項8記載の画像処理装置。
【請求項10】
上記学習用表示部は、識別された上記学習用画像を構成する画素ごとの種別と、上記登録学習用画像種別との差異を視認可能に表示する、
請求項2乃至9のいずれかに記載の画像処理装置。
【請求項11】
読影者が操作可能な設定操作部を備え、
上記目標値設定部は、上記学習用表示部が表示した後に上記設定操作部が操作されたときにのみ、上記目標値を設定する、
請求項10記載の画像処理装置。
【請求項12】
識別された上記テスト用画像を構成する画素ごとの種別を上記テスト用画像に重畳して表示するテスト用表示部、
を備える請求項1乃至11のいずれかに記載の画像処理装置。
【請求項13】
識別された上記テスト用画像を構成する画素ごとの種別と、上記登録テスト用画像種別との差異を視認可能に表示するテスト用表示部、
を備える請求項1乃至11のいずれかに記載の画像処理装置。
【請求項14】
読影者が操作可能な表示操作部と、
上記テスト用表示部が表示した後に上記表示操作部が操作されたときにのみ、上記識別結果の評価結果を表示する評価結果表示部と、
を備える、
請求項12または13記載の画像処理装置。
【請求項15】
少なくとも上記第1の差分量または上記第2の差分量のいずれかに基づいて上記識別器情報を修正する修正部、
を備える請求項1乃至14のいずれかに記載の画像処理装置。
【請求項16】
学習用画像と、上記学習用画像を構成する画素ごとの種別を示す登録学習用画像種別と、テスト用画像と、上記テスト用画像を構成する画素ごとの種別を示す登録テスト用画像種別と、が記憶されている記憶部を備えるコンピュータが実行する画像処理方法であって、
上記コンピュータが、
上記学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取ステップと、
上記学習用画像を構成する画素ごとの画像情報と上記登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定ステップと、
上記識別器情報に基づいて、上記学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別ステップと、
識別された上記学習用画像を構成する画素ごとの種別と上記登録学習用画像種別との差分量である第1の差分量を算出し、上記第1の差分量に基づいて目標値を設定する目標値設定ステップと、
上記テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取ステップと、
上記テスト用画像を構成する画素ごとの画像情報と上記識別器情報とに基づいて、上記テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別ステップと、
識別された上記テスト用画像を構成する画素ごとの種別と上記登録テスト用画像種別との差分量である第2の差分量を算出し、上記第2の差分量が、上記目標値に基づいて決定される許容範囲内であるか否かを評価する評価ステップと、
を実行することを特徴とする画像処理方法。
【請求項17】
学習用画像と、上記学習用画像を構成する画素ごとの種別を示す登録学習用画像種別と、テスト用画像と、上記テスト用画像を構成する画素ごとの種別を示す登録テスト用画像種別と、が記憶されている記憶部を備えるコンピュータに実行させる画像処理プログラムであって、
上記コンピュータに、
上記学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取ステップと、
上記学習用画像を構成する画素ごとの画像情報と上記登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定ステップと、
上記識別器情報に基づいて、上記学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別ステップと、
識別された上記学習用画像を構成する画素ごとの種別と上記登録学習用画像種別との差分量である第1の差分量を算出し、上記第1の差分量に基づいて目標値を設定する目標値設定ステップと、
上記テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取ステップと、
上記テスト用画像を構成する画素ごとの画像情報と上記識別器情報とに基づいて、上記テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別ステップと、
識別された上記テスト用画像を構成する画素ごとの種別と上記登録テスト用画像種別との差分量である第2の差分量を算出し、上記第2の差分量が、上記目標値に基づいて決定される許容範囲内であるか否かを評価する評価ステップと、
を実行させることを特徴とする画像処理プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、画像を構成する複数の領域を識別する機能を有する画像処理装置と、画像処理方法と、画像処理プログラムに関するものである。
【背景技術】
【0002】
従来、例えば小腸などの消化器の内壁を画像診断するために消化器内の画像を撮像する内視鏡カプセルのように、撮影対象である画像を読影する者(以下「読影者」ともいう。)が判断するために多数の画像を撮像する技術が知られている。ここで、読影者は、例えば内視鏡カプセルを用いた画像診断の場合には医師である。
【0003】
内視鏡カプセルを用いた画像診断では、通常1回の検査で5万枚から10万枚の画像が撮影される。また、内視鏡カプセルを用いた画像診断は、短時間の間隔で連続して多数の画像が撮影されるため、撮影された画像ごとの変化量は少ない。
【0004】
ここで、撮影された画像には、診断対象の被写体である消化器の内壁が読影可能な可視領域と、読影不可能な不可視領域との2種類の領域に大別できる。
【0005】
消化器の内壁を診断する医師は、撮影された多数の画像の中から画像診断に使用可能な画像のみを選別する。ここで、画像の選別方法としては、例えば、読影者が、画像を構成する可視領域と不可視領域とを識別して、可視領域を一定比率以上含む画像を画像診断に使用可能な画像として選別する。読影者は、選別した画像診断に使用可能な画像を用いて診断を行う。
【0006】
このように、内視鏡カプセルを用いた画像診断では、画像ごとの変化量の少ない膨大な数の画像の中から、読影者が画像診断に使用可能な画像を選別して読影しなければならず、読影者の負担が極めて大きい。そのため、内視鏡カプセルを用いた画像診断では、読影者の負担軽減を目的としたコンピュータ支援システムが導入されている。
【0007】
これまでにも、撮影された多数の画像を観察する読影者の負荷を軽減するための技術として、画像を構成する複数の領域のうち特定の領域を識別して表示する技術が知られている(例えば、特許文献1参照)。
【0008】
また、撮影された多数の画像を観察する読影者の負荷を軽減する他の技術として、複数の画像の中から画像から算出される特徴量などに基づいて代表の画像を表示する技術が知られている(例えば、特許文献2参照)。
【先行技術文献】
【0009】

【特許文献1】特開2010-115413号公報
【特許文献2】特開2011-24727号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上述した特許文献1や2の技術によれば、読影者に代わりコンピュータが画像を構成する複数の領域のうち特定の領域(読影可能な領域)を識別して識別結果を表示するものの、表示された識別結果が読影者の識別基準(読影基準)と同等、つまり、読影者が読影可能であると識別した場合の識別結果と同程度(同等)となるか否かを検証しその結果を評価することは考慮されていない。
【0011】
ここで、例えば医療の分野では、コンピュータは読影者である医師の作業を支援するだけであり、画像を用いて診断することができるのは医師のみである。つまり、コンピュータが読影者に代わって読影可能と識別された識別結果が、読影者が識別した場合の結果と同等であることが保証されることで、初めてコンピュータによる識別結果を用いた読影者の作業支援が達成され得る。
【0012】
本発明は上記の課題に鑑みてなされたものであって、画像を構成する複数の領域のコンピュータによる識別結果が、その画像を読影する読影者が識別した識別結果と同等であるか否かを評価することができる画像処理装置と画像処理方法と画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明は、学習用画像と、学習用画像を構成する画素ごとの種別を示す登録学習用画像種別と、テスト用画像と、テスト用画像を構成する画素ごとの種別を示す登録テスト用画像種別と、が記憶されている記憶部と、学習用画像を構成する画素ごとの画像情報を取得する学習用画像読取部と、学習用画像を構成する画素ごとの画像情報と登録学習用画像種別とに基づいて、画素ごとの種別を識別するための識別器情報を決定する識別器情報決定部と、識別器情報に基づいて、学習用画像を構成する画素ごとの種別を識別する学習用画像種別識別部と、識別された学習用画像を構成する画素ごとの種別と登録学習用画像種別との差分量である第1の差分量を算出し、第1の差分量に基づいて目標値を設定する目標値設定部と、テスト用画像を構成する画素ごとの画像情報を取得するテスト用画像読取部と、テスト用画像を構成する画素ごとの画像情報と識別器情報とに基づいて、テスト用画像を構成する画素ごとの種別を識別するテスト用画像種別識別部と、識別されたテスト用画像を構成する画素ごとの種別と登録テスト用画像種別との差分量である第2の差分量を算出し、第2の差分量が、目標値に基づいて決定される許容範囲内であるか否かを評価する評価部と、を有してなることを特徴とする。
【発明の効果】
【0014】
本発明によれば、画像を構成する複数の領域のコンピュータによる識別結果が、その画像を読影する読影者が識別した場合の識別結果と同等であるか否かを評価することができる。
【図面の簡単な説明】
【0015】
【図1】本発明に係る画像処理装置が処理する画像データの一例としての、内視鏡カプセルによる撮影画像の一例である。
【図2】上記画像処理装置の実施の形態を示すブロック図である。
【図3】上記画像処理装置による画像処理を示すフローチャートである。
【図4】上記画像処理装置による目標値算出処理を示すフローチャートである。
【図5】目標値算出処理で用いる学習用画像のうち、読影者による正解を表示した学習用画像の一例である。
【図6】記憶部内の学習用画像を格納するデータベースの模式図である。
【図7】上記学習用画像のうち、読影者による正解を表示していない画像の一例である。
【図8】学習用画像の可視領域と不可視領域とを画素ごとに種別を与え、それを1と0とで表示した様子を示す模式図である。
【図9】読影者が定義した可視領域R1(i)と識別器が識別した可視領域R2(i)との関係を示す模式図である。
【図10】R1(i)とR2(i)の差分量Siの関係を示す図である。
【図11】確率変数の実現値に対する信頼度の信頼区間を示す図である。
【図12】評価対象の識別器の目標値と危険率とを示す表である。
【図13】上記画像処理装置による評価処理を示すフローチャートである。
【図14】上記評価処理で用いるテスト用画像の一例である。
【図15】識別器による識別結果を表示したテスト用画像の一例である。
【図16】読影者が識別した結果を正解として付したテスト用画像の一例である。
【図17】上記識別結果を含むテスト用画像30と読影者による正解との照合を行った画像の一例である。
【図18】評価処理による識別器の評価結果を示す表である。
【発明を実施するための形態】
【0016】
以下、本発明に係る画像処理装置と画像処理方法と画像処理プログラムの実施の形態について、図面を参照しながら説明する。

【0017】
なお、以下に説明する画像処理装置は、処理対象画像の一例である内視鏡カプセルにより撮影された膨大な数の画像について、画像内の注目領域と非注目領域とを識別器(画像処理プログラム)により識別する。そして、画像処理装置は、その識別結果が読影者の一例である医師が読影した場合の識別結果と同等であるか否かを評価する。

【0018】
つまり、本発明に係る画像処理装置は、所定の識別器による処理対象画像の識別結果が所定の読影者が同じ処理対象画像を読影した場合の識別結果と同等であると評価を行うことで、これから処理される処理対象画像に対して、その識別器が読影者による識別の代行として識別処理を行うことができることを保証することができる。

【0019】
ここで、処理対象画像とは、画像処理装置による識別処理の対象となる画像であって、複数の画素から構成される。処理対象画像を構成する各画素は、注目領域と非注目領域のいずれかに属する。注目領域とは、例えば腸壁を視認することができる可視領域など、処理対象画像における注目すべき領域である。また、非注目領域とは、処理対象画像における注目領域以外の領域である。なお、以下の説明における、画素の種別とは、処理対象画像を構成する各画素が複数の領域(例:注目領域や非注目領域)のいずれに属する画素であるかを示す情報である。

【0020】
図1は、画像処理装置が処理する画像データ(処理対象画像)の一例としての、内視鏡カプセルによる撮影画像の一例である。

【0021】
撮影画像10には、注目領域が読影可能(可視領域)な腸壁11、腸壁が読影できない不可視領域12や気泡13などの非注目領域が含まれる。また、撮影画像には、撮影開始からの経過時間を表示する撮影時間表示14が含まれる。

【0022】
●画像処理装置の構成●
図2は、本発明に係る画像処理装置の実施の形態を示すブロック図である。画像処理装置100は、記憶部110、学習用画像読取部111、識別器情報決定部112、学習用画像種別識別部113、目標値設定部114を有する。

【0023】
また、画像処理装置100は、テスト用画像読取部115、テスト用画像種別識別部116、評価部117を有する。

【0024】
さらに、画像処理装置100は、表示部118、操作部119、修正部120、登録学習用画像種別特定部121、登録テスト用画像種別特定部122を有する。

【0025】
ここで、画像処理装置100は、各種コンピュータに本発明に係る画像処理プログラムを実行させることにより実現される。つまり、各種コンピュータにおいて、不図示のROM(Read Only Memory)に格納される画像処理プログラムを不図示のプロセッサに実行させることで、後述する本発明に係る画像処理方法を実行する画像処理装置100が実現される。

【0026】
図3は、画像処理装置による画像処理を示すフローチャートである。画像処理装置100は、本発明の画像処理方法における、目標値算出処理(S100)と評価処理(S200)とを実行する。

【0027】
目標値算出処理は、学習用画像読取部111と識別器情報決定部112と学習用画像種別識別部113と目標値設定部114により行われる、識別結果の評価を行うための目標値を算出する処理である。

【0028】
また、評価処理は、テスト用画像読取部115とテスト用画像種別識別部116と評価部117により行われる、算出した目標値によって識別結果の評価を行う処理である。

【0029】
記憶部110には、学習用画像20と、テスト用画像30と、登録学習用画像種別40と、登録テスト用画像種別50と、が記憶されている。

【0030】
ここで、学習用画像20とは、識別結果の評価を行うための目標値の設定に用いられる処理対象画像である。また、登録学習用画像種別40とは、学習用画像20を構成する画素のうち、学習用画像20を読影者が読影して注目領域であると特定した領域を構成する画素ごとの種別である。また、テスト用画像30とは、上述のように設定された目標値に基づいて、識別結果の評価処理に用いられる処理対象画像である。さらに、登録テスト用画像種別50とは、テスト用画像30を構成する画素のうち、テスト用画像30を読影者が読影して注目領域であると特定した領域を構成する画素ごとの種別である。

【0031】
なお、登録学習用画像種別40と登録テスト用画像種別50には、それぞれ特定種別を含む複数の種別がある。特定種別とは、学習用画像20とテスト用画像30を構成する画素が注目領域に対応する画素であるか否かを示す情報である。

【0032】
学習用画像読取部111は、記憶部110に記憶されている学習用画像20を構成する画素ごとの画像情報を取得する。ここで、画像情報とは、処理対象画像を構成する画素の特性を特定する情報であって、例えば画素値である。

【0033】
識別器情報決定部112は、学習用画像20を構成する画素ごとの画像情報と登録学習用画像種別40とに基づいて、画素ごとに注目領域であるか否かの種別を識別するための識別器情報を決定する。

【0034】
ここで、識別器情報とは、識別器を構築するために必要な情報である。つまり、識別器情報とは、識別器を定めるパラメータであり、学習用画像20を用いて推定される情報である。識別器情報としては、例えば画素値から推定される平均ベクトルと共分散行列が挙げられる。

【0035】
また、識別器とは、所定の画像を構成する画素を、識別器情報に基づいてその画素が属する画素の種別(クラス)に対応付ける機能を有するソフトウェアである。本発明において、学習用画像種別識別部113とテスト用画像種別識別部116が、識別器に相当する。

【0036】
なお、識別器としてはBayes二次識別器あるいはFisher線形識別器など、様々な種類のものを用いることができる。また、画像から抽出される特徴についても、本実施の形態ではRGB(Red Green Blue)の値を用いているが、HSV(Hue Saturation Value)など、適宜適切な特徴を用いることができる。

【0037】
学習用画像種別識別部113は、決定された識別器情報に基づいて所定枚数の学習用画像20を構成する画素についてその画素が属する種別に対応付けて識別処理を行う。

【0038】
目標値設定部114は、学習用画像種別識別部113により識別された学習用画像20を構成する画素ごとの種別と登録学習用画像種別40との差分量である第1の差分量を算出する。そして、目標値設定部114は、算出した第1の差分量に基づいて目標値を設定する。

【0039】
テスト用画像読取部115は、テスト用画像30を構成する画素ごとの画像情報を取得する。取得された画像情報は、テスト用画像種別識別部116に送られる。

【0040】
テスト用画像種別識別部116は、テスト用画像30を構成する画素ごとの画像情報と識別器情報決定部112で決定された識別器情報とに基づいて、テスト用画像30を構成する画素ごとの種別を識別する。

【0041】
評価部117は、テスト用画像種別識別部116により識別されたテスト用画像30を構成する画素ごとの種別と、登録テスト用画像種別50との差分量である第2の差分量を算出する。そして、評価部117は、第2の差分量が、目標値に基づいて決定される許容範囲内であるか否かを評価する。

【0042】
表示部118は、記憶部110に記憶されている学習用画像20やテスト用画像30を表示する。表示部118の一例としては、一般に用いられる液晶ディスプレイなどの各種表示装置が挙げられる。

【0043】
ここで、表示部118は、学習用画像20やテスト用画像30を構成する画素ごとの種別を学習用画像20やテスト用画像30に重畳して表示することができる。また、表示部118は、学習用画像20やテスト用画像30を構成する画素ごとの種別と、登録学習用画像種別40や登録テスト用画像種別50との差異を読影者が視認可能に表示することもできる。

【0044】
操作部119は、読影者が画像処理装置100を操作するためのものである。操作部119の一例としては、マウス、タッチパネル、タッチペン、ジョイスティック、あるいはトラックボールなどのポインティングデバイス、あるいはキーボードなどの各種入力装置が挙げられる。読影者は、例えば、表示部118に表示された学習用画像20を確認しつつ操作部119を操作して、目標値設定部114が目標値を設定するために必要な情報を入力する。

【0045】
修正部120は、第1の差分量や第2の差分量に基づいて、識別器情報決定部112で用いる識別器情報の修正を行う。ここで、識別器情報の修正とは、識別結果と差分量が所定の範囲内の値にない場合などに、識別器を定めるパラメータを修正することをいう。

【0046】
登録学習用画像種別特定部121は、記憶部110に記憶される登録学習用画像種別40を特定する。登録学習用画像種別特定部121は、表示部118が学習用画像20を表示している状態で操作部119が操作されたときに、操作部119の操作内容に基づいて登録学習用画像種別40を特定する。特定された登録学習用画像種別40は、記憶部110に記憶される。

【0047】
登録テスト用画像種別特定部122は、記憶部110に記憶される登録テスト用画像種別50を特定する。登録テスト用画像種別特定部122は、表示部118がテスト用画像30を表示している状態で操作部119が操作されたときに、操作部119の操作内容に基づいて登録テスト用画像種別50を特定する。特定された登録テスト用画像種別50は、記憶部110に記憶される。

【0048】
●目標値算出処理●
次に、画像処理装置100による目標値算出処理について説明する。

【0049】
図4は、画像処理装置100による目標値算出処理を示すフローチャートである。

【0050】
学習用画像読取部111は、識別器情報に相当する可視領域あるいは不可視領域の平均ベクトルと共分散行列を推定するために、記憶部110に記憶されている全ての学習用画像の画像情報を取得する(S101)。

【0051】
図5は、目標値算出処理で用いる学習用画像のうち、読影者による正解を表示した学習用画像の一例である。正解を表示した学習用画像(以下「正解表示学習用画像」という。)21には、注目領域に対応する可視領域201と非注目領域に対応する不可視領域202との境界に、読影者である医師により境界線203が引かれている。境界線203は、医師が操作部119を操作して表示部118に表示された学習用画像20を確認しながら可視領域201と不可視領域202との境界に引かれたものである。このとき、登録学習用画像種別特定部121は、操作部119の操作内容に基づいて例えば可視領域201を構成する画素(つまり可視領域内の画素)の種別を登録学習用画像種別40として記憶部110に記憶する。

【0052】
なお、学習用画像読取部111は、不可視領域を構成する画素についても、画素値を取得して記憶部110に記憶させてもよい。

【0053】
学習用画像読取部111は、記憶部110に記憶されている全ての学習用画像の画像情報として、登録学習用画像種別40の画素値を取得する。

【0054】
図6は、記憶部110内の学習用画像20を格納するデータベースの模式図である。学習用画像20を格納するデータベースには、複数の学習用画像20について、それぞれの学習用画像20ごとに境界線203内の可視領域201(可視領域R1)が格納されている。

【0055】
識別器情報決定部112は、取得された全学習用画像の画像情報から識別器情報を決定する(S102)。具体的には、識別器情報決定部112は、取得された学習用画像の画素を3次元ベクトルで表現して、可視領域の平均ベクトルと共分散行列を推定する。同様に、識別器情報決定部112は、不可視領域の平均ベクトルと共分散行列についても推定してもよい。

【0056】
そして、識別器情報決定部112は、推定されたこれらの平均ベクトルと共分散行列とをあらかじめ選択した所定の識別器の式に代入する。

【0057】
図7は、学習用画像のうち、読影者による正解を表示していない学習用画像20の一例である。学習用画像20には、正解表示学習用画像21と同様に注目領域に対応する可視領域211と非注目領域に対応する不可視領域212が含まれる。識別器情報の決定後、学習用画像読取部111は、学習用画像20の画像情報として、画素値を取得する(S103)。

【0058】
学習用画像種別識別部113は、識別器情報決定部112により決定した識別器情報(平均ベクトルと共分散行列)に基づいて、識別器を用いて学習用画像20を構成する画素ごとの種別を識別する(S104)。

【0059】
図8は、学習用画像20の可視領域211と不可視領域212とを構成する画素ごとに種別を与え、それを1と0とで表示した様子を示す模式図である。多数の画素により構成される学習用画像20の領域210には、可視領域211を構成する特定種別画素210aと不可視領域212を構成する非特定種別画素210bとが含まれる。ここで、特定種別画素210aには特定種別であることを示す「1」の値が、非特定種別画素210bには特定種別ではない(非特定種別である)ことを示す「0」の値が付される。

【0060】
表示部118は、以上のように識別された学習用画像20を構成する画素ごとの種別と、登録学習用画像種別40との差異を視認可能に表示する。

【0061】
学習用画像20を構成する画素ごとの種別が識別された後、目標値設定部114は、学習用画像20を構成する画素ごとの種別と登録学習用画像種別40との差分量である第1の差分量S1を算出する(S105)。

【0062】
図9は、読影者である医師が定義した可視領域R1と学習用画像種別識別部113が識別した可視領域R2との関係を示す模式図である。ここで、可視領域R1は、図5に示す学習用画像20において境界線203により境界が設けられた可視領域201の領域である。また、可視領域R2は、図8に示す学習用画像20において可視領域211とされた領域である。

【0063】
本発明において、一例として差分量S=S(R1,R2)は、図9に示す領域AとBを用いて以下の式(1)から算出される。

【0064】

JP0005164127B1_000002t.gif

【0065】
式(1)において、差分量Sは、R1とR2の不一致率を示す。つまり、式(1)によれば、Sの値が小さいほどR1とR2は重なっていると評価できる。そのため、本発明において、Sの値が小さくなることが望ましい。

【0066】
なお、本実施の形態では、式(1)の差分量を用いているが、適宜適切な差分量を用いることもできる。

【0067】
図10は、複数の学習用画像20ごとのR1(i)とR2(i)と差分量Siの関係を示す図である。記憶部110には、記憶される学習用画像20に対応付けて、R1(i)、R2(i)、Siが記憶されている。

【0068】
ここで、差分量S1,S2,・・・,Snの平均値S1aは、以下の式(2)から算出される。

【0069】

JP0005164127B1_000003t.gif

【0070】
目標値設定部114は、平均値S1aの算出に必要な全ての学習用画像20の識別処理が完了したか否かを確認する(S106)。全ての学習用画像20の識別が完了していない場合には(S106:No)、S103~S105までの処理を繰り返す。

【0071】
一方、全ての学習用画像20の識別処理が完了している場合には(S106:Yes)、目標値設定部114は、S107以降の処理を行う。

【0072】
全ての学習用画像20の識別処理が完了した後、目標値設定部114は、識別処理を行った学習用画像20を構成する画素ごとの種別と登録学習用画像種別40との差分量である第1の差分量S1の平均値S1aに基づいて目標値μ0を設定する。本発明において、読影者(医師)が画像レベルで目視により読影者自身とコンピュータの識別結果が一致していると判断したとき、学習用画像20に対するS1の平均値S1aを目標値μ0として表す。このとき、目標値設定部114は、表示部118に表示された後に操作部119が操作されたときに目標値μ0を設定してもよい。また、識別した学習用画像20が複数ではない場合には、第1の差分量S1に基づいて目標値μ0を設定してもよい。

【0073】
第1の差分量S1の平均値S1aの算出後、目標値設定部114は、平均値S1aに基づいて目標値μ0の設定を行う(S108)。目標値μ0の設定処理後、画像処理装置100は、目標値算出処理を終了する。

【0074】
なお、識別処理を行った学習用画像20により算出された第1の差分量S1の結果が所望の結果に至っていないと読影者が判断したときには、修正部120により識別器情報を修正することができる。

【0075】
●評価方法●
次に、テスト用画像を用いて、本発明における読影者とコンピュータとの同等性の考え方について説明する。

【0076】
平均値μ,分散σ2の任意の母集団からS1,S2,…,Snが抽出されたと仮定する。このとき、nの値が十分に大きければ、たとえS1,S2,…,Snが任意の母集団から抽出されても、中心極限定理により一般論としてSの平均値は正規分布N(μ,σ2/n)に従う。本発明ではテスト用画像に対するS2の平均値としてS2aを考え、S2aは、S1aと同様に式(2)から算出される。

【0077】
さらに平均値S2aに対して式(3)の規準化を行う。

【0078】
JP0005164127B1_000004t.gif

【0079】
このZは、μ=μ0とすれば平均ゼロ、分散1の正規分布、すなわち標準正規分布に従う。以下、このZを用いて検定、つまり、評価を行う。

【0080】
式(3)の分散σ2は一般に未知数であるが、中心極限定理が成立するほどnの値が十分に大きいときには、未知のσ2を以下の式(4)で推定する標本分散で代用することができる。

【0081】
JP0005164127B1_000005t.gif

【0082】
なお、nの値が小さい場合には、t検定を用いることができる。

【0083】
図11は、確率変数Zの実現値zに対する危険率αに対する信頼度1-αの信頼区間を示す図である。

【0084】
確率変数Zの実現値zに対して、図11に示すように標準正規分布は左右対称であり、しきい値lαにより帰無仮説の採択領域と棄却領域を設定する。学習用画像に対する不一致率の平均値S1aは一般に未学習のテスト用画像に対する不一致率の平均値S2aよりも小さいため、z<0となることは考慮しなくてよい。つまり片側検定を考えればよい。棄却領域に入る確率として以下の式(5)が成り立つ。

【0085】
JP0005164127B1_000006t.gif

【0086】
ここで、lα≦zは確率変数Zの実現値zに対する危険率αの棄却領域であり、lαは正規分布表により与えられる値である。例えば、危険率αが5%の場合、lαの値は1.64となる。このとき、余事象の確率1-αを信頼度といい、式(5)より式(6)が得られる。

【0087】
JP0005164127B1_000007t.gif

【0088】
すなわち、式(6)は、実現値zが区間(0,lα)に入る確率が1-αであることを示す。この区間を確率変数Zの実現値zに対する信頼度1-αの信頼区間という。

【0089】
以上の式に基づいて、テスト用画像を用いて、本発明における読影者とコンピュータとの同等性を示す。

【0090】
まず、テスト用画像に対するS2の平均値をμとおき、μ=μ0という帰無仮説を考える。次に、帰無仮説が成立するとき、医師とコンピュータの識別結果が同等であるとする。そして、帰無仮説H:μ=μ0としたとき、zとlαとから以下の関係を示すことができる。

【0091】
(1) z<lαのとき、確率変数Zの実現値zが信頼区間内にあるため、帰無仮説が採択され、μ=μ0を否定することができない。

【0092】
(2) z≧lαのとき、確率変数Zの実現値zが棄却域内にあるため、帰無仮説が棄却され、μ=μ0を否定する。

【0093】
本発明において、医師とコンピュータの識別結果が同等であることを示すために、帰無仮説によりμ=μ0であることを示す必要がある。

【0094】
そこで、帰無仮説H:μ=μ0において、実現値zが信頼区間内にあることを示せば、医師とコンピュータの識別結果に差があるとはいえない、と結論付けることができる。

【0095】
以上より、評価部117は、テスト用画像を用いて読影者とコンピュータと識別結果の同等性を評価することができる。

【0096】
図12は、評価対象の識別器の目標値と危険率とを示す表である。図12において、本実施の形態で用いる識別器の種類は、2クラスFisher線形識別器であり、3次元ベクトルの3つの成分はRGBである。このとき、目標値μ0は0.24であり、危険率αは0.05(z≦1.64)である。

【0097】
●評価処理●
次に、画像処理装置100による評価処理について説明する。

【0098】
図13は、画像処理装置100による評価処理を示すフローチャートである。

【0099】
図14は、評価処理で用いるテスト用画像30の一例である。テスト用画像30には、学習用画像20と同様に注目領域301と非注目領域302とが含まれている。テスト用画像読取部115は、テスト用画像30に対する識別処理を行うために、テスト用画像30の画像情報として画素値を取得する(S201)。

【0100】
テスト用画像種別識別部116は、識別器情報決定部112により決定された識別器情報(平均ベクトルと共分散行列)に基づいて、識別器を用いてテスト用画像30を構成する画素ごとの種別を識別する(S202)。

【0101】
テスト用画像種別識別部116は、テスト用画像30の注目領域と非注目領域とを構成する画素ごとに種別を与える。多数の画素により構成されるテスト用画像30には、注目領域301を構成する特定種別画素と非注目領域302を構成する非特定種別画素とがある。

【0102】
ここで、テスト用画像種別識別部116は、図8を用いて説明した学習用画像20の識別処理と同様に、テスト用画像30についても特定種別画素には特定種別であることを示す値が付され、非特定種別画素には特定種別ではない(非特定種別である)ことを示す値が付される。

【0103】
図15は、識別器による識別結果を表示したテスト用画像30の一例である。識別結果を含むテスト用画像30には、注目領域301に加え、テスト用画像種別識別部116により識別されたコンピュータによる非注目領域303が表示される。表示部118は、コンピュータによる非注目領域303をテスト用画像30に重畳して表示する。

【0104】
図16は、読影者が識別した結果を正解として付したテスト用画像(正解表示テスト用画像31)の一例である。正解表示テスト用画像31は、コンピュータによる識別結果を表示したテスト用画像30との第2の差分量S2を求めるための登録テスト用画像種別50として用いられる。

【0105】
読影者による識別結果は、登録テスト用画像種別50として記憶部110に格納されている。また、読影者による識別結果は、注目領域301と非注目領域320との境界線に医師による境界線304としてテスト用画像30に表示される。

【0106】
図17は、識別結果を含むテスト用画像30と読影者による正解との照合を行った画像の一例である。図17には、注目領域301と非注目領域302を表示したテスト用画像30に、コンピュータによる非注目領域303と読影者による正解である境界線304とが重畳して表示されることで、コンピュータによる識別結果と読影者の正解との差異を視認可能にしている。

【0107】
評価部117は、識別されたテスト用画像30を構成する画素ごとの種別と登録テスト用画像種別50との第2の差分量S2を算出する(S203)。

【0108】
評価部117は、第2の差分量S2の平均値S2aと分散の算出に必要な全てのテスト用画像30の識別処理が完了したか否かを確認する(S204)。全てのテスト用画像30の識別が完了していない場合には(S204:No)、S201~S203までの処理を繰り返す。

【0109】
一方、全てのテスト用画像30の識別処理が完了している場合には(S204:Yes)、評価部117は、S205以降の処理を行う。

【0110】
評価部117は、算出された全てのテスト用画像30の第2の差分量S2の平均値S2aと分散σ2とを算出する(S205)。第2の差分量S2の平均値S2aと分散σ2の算出方法は、目標値算出処理のS107と同様である。表示部118には、テスト用画像30が表示された後に操作部119が操作されたときのみ、評価部117が算出した評価結果が表示される。

【0111】
そして、評価部117は、第2の差分量S2の平均値S2aが、目標値μ0に基づいて決定される許容範囲内であるか否かを評価する(S206)。

【0112】
なお、識別処理を行った学習用画像20により第2の差分量S2が所望の差分量の範囲内の値にないときには、修正部120により識別器情報を修正することができる。

【0113】
図18は、評価処理による識別器の評価結果を示す表である。図18によれば、目標値:μ0=0.24から求められるZの実現値zはz=1.61となり、これはz≦1.64(危険率:α=0.05)を満たすため、画像処理装置100による識別結果が許容範囲内であることを示している。

【0114】
したがって、帰無仮説H:μ=μ0において、実現値zが信頼区間内にあることを示すことができるため、読影者である医師とコンピュータの識別結果に差があるとはいえない、と結論付けることができる。

【0115】
以上説明した目標値設定処理と評価処理とにより、画像処理装置100は、処理対象画像に対する識別器による識別結果が、読影者である医師により読影された場合の識別結果と同等であるか否かを評価し、同等であると評価される場合には識別器による識別結果を保証することができる。すなわち、学習用画像やテスト用画像以外の、これから処理される画像に対して、識別器が読影者による識別の代行として識別処理を行うことができることを保証することができる。

【0116】
以上説明した目標値設定処理と評価処理は、内視鏡カプセルにより撮影された画像の識別処理に対する読影者支援の評価を例としたが、本発明はこの例に限らず、人間が行うには支障がある読影や点検において、様々な画像に対する識別結果の評価に用いることができる。例えば、膨大な数の画像を確認する必要がある防犯カメラ画像の解析支援処理や、人間の立ち入りが困難な場所での遠隔作業における画像解析支援処理などにおける、識別結果の評価に用いることもできる。

【0117】
●実施の形態の作用・効果
以上説明した実施の形態によれば、画像処理装置100は、識別された学習用画像20を構成する画素ごとの種別と登録学習用画像種別40との差分量である第1の差分量S1を算出し、第1の差分量S1に基づいて目標値を設定し、識別されたテスト用画像30を構成する画素ごとの種別と登録テスト用画像種別50との差分量である第2の差分量S2を算出し、第2の差分量S2が、目標値に基づいて決定される許容範囲内であるか否かを評価する。したがって、画像処理装置100は、テスト用画像種別識別部116による画像の識別結果が、読影者が識別した結果と同等であることを示すことができる。つまり、画像処理装置100は、処理対象画像を構成する複数の領域を識別して、その識別結果が、所定の読影者が読影した場合の識別結果と同等であるか否かを検証し評価することができる。そして、画像処理装置100は、所定の識別器による処理対象画像の識別結果が所定の読影者が読影した場合の識別結果と同等であると評価を行うことで、これから処理される画像に対して、その識別器が読影者による識別の代行として識別処理を行うことができることを保証することができる。

【0118】
また、以上説明した実施の形態によれば、画像処理装置100は、表示部118が学習用画像20を表示している状態で操作部119が操作されたときに、操作部119の操作内容に基づいて登録学習用画像種別40を特定して記憶部110に記憶するため、読影者による識別結果を学習用画像種別識別部113による識別結果に反映することができる。

【0119】
また、以上説明した実施の形態によれば、画像処理装置100は、表示部118がテスト用画像30を表示している状態で操作部119が操作されたときに、操作部119の操作内容に基づいて登録テスト用画像種別50を特定して記憶部110に記憶するため、読影者による識別結果をテスト用画像種別識別部116による識別結果に反映することができる。

【0120】
また、以上説明した実施の形態によれば、画像処理装置100は、識別された学習用画像20を構成する画素ごとの種別に含まれる特定種別と、登録学習用画像種別40を構成する特定種別と、に基づいて第1の差分量S1を算出するため、学習用画像20から識別結果の評価に用いる目標値を算出することができる。

【0121】
また、以上説明した実施の形態によれば、画像処理装置100は、算出された複数の学習用画像20それぞれの第1の差分量S1の平均値である第1の平均値S1aを算出し、第1の平均値S1aに基づいて目標値μ0を設定するため、複数の学習用画像20の識別結果を反映した目標値を設定することができる。

【0122】
また、以上説明した実施の形態によれば、画像処理装置100は、識別されたテスト用画像を構成する画素ごとの種別に含まれる特定種別と登録テスト用画像種別を構成する特定種別とに基づいて第2の差分量S2を算出するため、テスト用画像30から識別結果の評価に用いる値を算出することができる。

【0123】
また、以上説明した実施の形態によれば、画像処理装置100は、特定種別が、画素が注目領域に対応する画素であるか否かを示す情報であり、識別器情報が、識別器を構築するために必要な情報であるため、学習用画像20またはテスト用画像30に含まれる注目領域を識別することができる。

【0124】
また、以上説明した実施の形態によれば、画像処理装置100は、複数のテスト用画像30それぞれについて第2の差分量S2を算出し、算出された複数のテスト用画像30それぞれの第2の差分量S2の平均値である第2の平均値S2aを算出し、第2の平均値S2aと目標値μ0の差と、基準値とに基づいて決定される許容範囲内であるか否かを評価するため、複数のテスト用画像30に対する識別結果を評価することができる。

【0125】
また、以上説明した実施の形態によれば、画像処理装置100は、第2の平均値S2aと目標値μ0との差と、基準値とを比較して許容範囲内であるか否かを評価するため、識別結果を検証し評価することができる。

【0126】
また、以上説明した実施の形態によれば、画像処理装置100は、識別された学習用画像20を構成する画素ごとの種別と、登録学習用画像種別40との差異を視認可能に表示するため、学習用画像20に対する識別結果を読影者に容易に視認させることができる。

【0127】
また、以上説明した実施の形態によれば、画像処理装置100は、表示部118が表示した後に操作部119が操作されたときにのみ、目標値μ0を設定するため、読影者が学習用画像20に対する識別結果を画像レベルで確認して目標値μ0を設定することができる。

【0128】
また、以上説明した実施の形態によれば、画像処理装置100は、識別されたテスト用画像30を構成する画素ごとの種別をテスト用画像30に重畳して表示するため、テスト用画像30に対する識別結果を読影者に容易に視認させることができる。

【0129】
また、以上説明した実施の形態によれば、画像処理装置100は、識別されたテスト用画像30を構成する画素ごとの種別と、登録テスト用画像種別50との差異を視認可能に表示するため、テスト用画像種別識別部116による識別結果と読影者による識別結果とを読影者が容易に判断できる。

【0130】
また、以上説明した実施の形態によれば、画像処理装置100は、表示部118が表示した後に操作部119が操作されたときにのみ、識別結果の評価結果を表示させることができる。

【0131】
さらに、以上説明した実施の形態によれば、画像処理装置100は、少なくとも第1の差分量または第2の差分量のいずれかに基づいて識別器情報を修正するため、識別結果に応じて識別器情報を更新することができる。
【符号の説明】
【0132】
20 :学習用画像
21 :正解付学習用画像
30 :テスト用画像
31 :正解表示テスト用画像
40 :登録学習用画像種別
50 :登録テスト用画像種別
100 :画像処理装置
110 :記憶部
111 :学習用画像読取部
112 :識別器情報決定部
113 :学習用画像種別識別部
114 :目標値設定部
115 :テスト用画像読取部
116 :テスト用画像種別識別部
117 :評価部
118 :表示部
119 :操作部
120 :修正部
121 :登録学習用画像種別特定部
122 :登録テスト用画像種別特定部
201 :可視領域
202 :不可視領域
203 :境界線
210 :領域
210a :特定種別画素
210b :非特定種別画素
211 :可視領域
212 :不可視領域
301 :注目領域
302 :非注目領域
303 :非注目領域
304 :境界線
320 :非注目領域
Drawing
(In Japanese)【図2】
0
(In Japanese)【図3】
1
(In Japanese)【図4】
2
(In Japanese)【図6】
3
(In Japanese)【図8】
4
(In Japanese)【図9】
5
(In Japanese)【図10】
6
(In Japanese)【図11】
7
(In Japanese)【図12】
8
(In Japanese)【図13】
9
(In Japanese)【図1】
10
(In Japanese)【図5】
11
(In Japanese)【図7】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16
(In Japanese)【図18】
17