TOP > 国内特許検索 > 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム > 明細書

明細書 :内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-029549 (P2017-029549A)
公開日 平成29年2月9日(2017.2.9)
発明の名称または考案の名称 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
国際特許分類 A61B   1/00        (2006.01)
A61B   1/04        (2006.01)
G06T   1/00        (2006.01)
G06T   5/00        (2006.01)
FI A61B 1/00 300D
A61B 1/04 370
G06T 1/00 290Z
G06T 5/00
請求項の数または発明の数 6
出願形態 OL
全頁数 25
出願番号 特願2015-154569 (P2015-154569)
出願日 平成27年8月4日(2015.8.4)
新規性喪失の例外の表示 特許法第30条第2項適用申請有り 1.情報処理学会第77回全国大会 2.12th The International Conference on Information Technology:New Generations(ITNG 2015)
発明者または考案者 【氏名】皆本 晃弥
出願人 【識別番号】504209655
【氏名又は名称】国立大学法人佐賀大学
個別代理人の代理人 【識別番号】100099634、【弁理士】、【氏名又は名称】平井 安雄
審査請求 未請求
テーマコード 4C161
5B057
Fターム 4C161AA02
4C161CC06
4C161HH51
4C161NN05
4C161WW07
4C161WW08
5B057AA07
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB08
5B057CB12
5B057CE03
要約 【課題】カラーの内視鏡画像に対して画像処理を行うことで、内視鏡で確認が可能な病変部位を強調して表示し、専門医の負担を軽減することができる内視鏡画像処理装置等を提供する。
【解決手段】カラーの内視鏡画像を任意の色空間に変換する色空間変換部22と、変換後の画像情報に対して周波数分解の処理を行う周波数変換部23、前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調部24とを備える。また、周波数逆変換部25で得られた画像を低値化又はビットプレーン分解する低値化処理部26と、画像の複雑性を求める複雑性演算部51と、求められた複雑性が高い箇所を病変箇所として特定する病変特定部52とを備える。
【選択図】図5
特許請求の範囲 【請求項1】
カラーの内視鏡画像を任意の色空間に変換する色空間変換手段と、
変換後の画像情報に対して周波数分解の処理を行う周波数変換処理手段と、
前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理手段とを備えることを特徴とする内視鏡画像処理装置。
【請求項2】
請求項1に記載の内視鏡画像処理装置において、
コントラストが強調された前記画像情報を低値化又はビットプレーン分解する低値化処理手段を備えることを特徴とする内視鏡画像処理装置。
【請求項3】
請求項2に記載の内視鏡画像処理装置において、
低値化された前記画像情報における複雑性が高い箇所を抽出する複雑性抽出手段を備えることを特徴とする内視鏡画像処理装置。
【請求項4】
請求項3に記載の内視鏡画像処理装置において、
前記画像情報における複雑性が高い箇所を癌の病変箇所として出力することを特徴とする病変出力手段を備えることを特徴とする内視鏡画像処理装置。
【請求項5】
コンピュータが、
カラーの内視鏡画像を任意の色空間に変換する色空間変換ステップと、
変換後の画像情報に対して周波数分解の処理を行う周波数変換処理ステップと、
前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理ステップとを実行することを特徴とする内視鏡画像処理方法。
【請求項6】
カラーの内視鏡画像を任意の色空間に変換する色空間変換手段、
変換後の画像情報に対して周波数分解の処理を行う周波数変換処理手段、
前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理手段としてコンピュータを機能させることを特徴とする内視鏡画像処理プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、カラーの内視鏡画像を画像処理することで病変部位を強調する内視鏡画像処理装置等に関する。
【背景技術】
【0002】
現在、内視鏡画像を用いた早期癌の診断は、専門医の主観的な判断によるものであり、その経験や知識に大きく左右される。また、専門医は癌の有無を調べる過程で、数多くの正常な部位の画像も確認しなければならない。このことは、専門医の負担を非常に大きくする要因となっている。
【0003】
早期癌の診断に用いる内視鏡画像システムには、白色光照明を用いたものと、レーザ光源を用いたものが広く知られている。特にレーザ光源を用いたものは、白色光照明の撮像では表現し難かった血管や表面構造を強調することが可能となっており、癌の早期発見に大きく寄与している。例えば、非特許文献1では、内視鏡画像に基づいて、早期食道癌の検出を行う技術が提案されている。この手法では、Gabor特徴量を用いて、RGB色空間、HSI色空間、YCbCr色空間での検出性能を評価し、サポートベクタマシン(SVM)を用いて、血管を基に早期癌の部位と正常部位の画像分類を行っている。
【0004】
しかしながら、非特許文献1で扱っている画像は、専門的な知識がなくても明らかに異常とわかるものが多く、専門医の負担軽減という観点からは十分な技術ではない。すなわち、異常部位を明らかに判断することができるような内視鏡画像ではなく、正常部位と異常部位との区別が専門医でないと判断できないような内視鏡画像について、異常部位を強調できる技術が望まれている。
【0005】
また、画像処理の技術を医療診断等に利用する技術として、例えば、特許文献1、2に示す技術が開示されている。特許文献1に示す技術は、少なくとも1つの医療映像を変換することにより、少なくとも1つの医療映像を、マルチスケールの複数方向を有する映像情報に分解する段階と、マルチスケールの映像情報において、各スケールの映像情報の係数分散を推定する段階と、推定された分散と、各スケールを含む複数個のスケールの映像情報の係数と、を利用し、各スケールの映像情報の係数値を調整する段階と、調整されたマルチスケールの複数方向を有する映像情報を逆変換することにより、少なくとも1つの医療映像の復元映像を生成する段階と、を含む医療映像処理方法である。
【0006】
特許文献2に示す技術は、皮膚ゾーンにおける皮膚症状を検出して数量化する方法であって、予め決められた複数の肌の色の濃淡度の分類と複数のタイプの皮膚症状とに対して、選択された複数の波長を識別することにより、皮膚症状のタイプと肌の色の濃淡度の分類との各組み合わせに対して、上記波長の1つによって、この分類に属する肌の色の濃淡度を有する人の肌の皮膚におけるこのようなタイプの症状を、コントラストによって検出でき、白色光による画像を撮影し、この画像から肌の色の濃淡度と、対応する分類とを自動的に識別し、この肌の色の濃淡度の分類に応じて、この肌の色の濃淡度の分類と、検出しようとしているタイプの皮膚症状との組み合わせに対応する波長の画像を自動的に捕捉し、次いで、このように捕捉された画像を少なくとも処理して、前記検出しようとする上記タイプの皮膚症状を検出する方法である。
【先行技術文献】
【0007】

【特許文献1】特開2013-119040号公報
【特許文献2】特表2015-500722号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1、2に示す技術は、いずれも画像処理技術を医療分野に応用するものであるが、内視鏡のカラー画像を対象にしたものではないため、内視鏡のカラー画像に対して特許文献1、2に開示されるような処理を行ったとしても、病変部位を強調することができない。
【0009】
本発明は、カラーの内視鏡画像に対して画像処理を行うことで、内視鏡で確認が可能な病変部位を強調して表示し、専門医の負担を軽減することができる内視鏡画像処理装置等を提供する。
【課題を解決するための手段】
【0010】
本発明に係る内視鏡画像処理装置は、カラーの内視鏡画像を任意の色空間に変換する色空間変換手段と、変換後の画像情報に対して周波数分解の処理を行う周波数変換処理手段と、前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するコントラスト強調処理手段とを備えるものである。
【0011】
このように、本発明に係る内視鏡画像処理装置においては、カラーの内視鏡画像を任意の色空間に変換し、変換後の画像情報に対して周波数分解の処理を行い、前記周波数分解の処理における係数に前記画像情報のエッジを強調するコントラスト強調処理を適用するため、専門医の判断に依らなければ判断が難しいような内視鏡画像における病変を強調することができ、専門医の負担を軽減することができるという効果を奏する。
【0012】
本発明に係る内視鏡画像処理装置は、コントラストが強調された前記画像情報を低値化又はビットプレーン分解する低値化処理手段を備えるものである。
【0013】
このように、本発明に係る内視鏡画像処理装置においては、コントラストが強調された前記画像情報を低値化又はビットプレーン分解するため、内視鏡画像における病変をより明確に表示することが可能になるという効果を奏する。
【0014】
本発明に係る内視鏡画像処理装置は、低値化された前記画像情報における複雑性が高い箇所を抽出する複雑性抽出手段を備えるものである。
【0015】
このように、本発明に係る内視鏡画像処理装置においては、低値化された前記画像情報における複雑性が高い箇所を抽出するため、特に、複雑な直線や曲線が多く観察される傾向にある病変を容易に見極めることができるという効果を奏する。
【0016】
本発明に係る内視鏡画像処理装置は、前記画像情報における複雑性が高い箇所を癌の病変箇所として出力することを特徴とする病変出力手段を備えるものである。
【0017】
このように、本発明に係る内視鏡画像処理装置においては、画像情報における複雑性が高い箇所を癌の病変箇所として出力するため、特に、複雑な直線や曲線が多く観察される傾向にある早期癌を容易に発見することができるという効果を奏する。
【図面の簡単な説明】
【0018】
【図1】第1の実施形態に係る内視鏡画像処理装置のハードウェア構成図である。
【図2】第1の実施形態に係る内視鏡画像処理装置の機能ブロック図である。
【図3】第1の実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。
【図4】CIE L色空間のイメージ図である。
【図5】第2の実施形態に係る内視鏡画像処理装置の機能ブロック図である。
【図6】ボックスカウント法の処理過程を示す図である。
【図7】動的閾値法と静的閾値法による2値化の結果を示す図である。
【図8】第2の実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。
【図9】第3の実施形態に係る内視鏡画像処理装置の機能ブロック図である。
【図10】第3の実施形態に係る内視鏡画像処理装置の動作を示すフローチャートである。
【図11】実施例における第1の実験結果を示す第1の図である。
【図12】実施例における第1の実験結果を示す第2の図である。
【図13】実施例における第2の実験結果を示す図である。
【図14】実施例における第3の実験結果を示す図である。
【図15】実施例における第4の実験結果を示す図である。
【図16】実施例における第5の実験結果を示す図である。
【図17】実施例における第6の実験結果を示す図である。
【図18】低値化処理後の画像を示す図である。
【図19】低値化処理後のフラクタル次元の計算結果を示す図である。
【図20】実施例における第7の実験結果を示す第1の図である。
【図21】実施例における第7の実験結果を示す第2の図である。
【図22】実施例における第7の実験結果を示す第3の図である。
【図23】実施例における第7の実験結果を示す第4の図である。
【図24】ビットプレーン処理後の画像を示す図である。
【図25】ビットプレーン処理後のフラクタル次元の計算結果を示す図である。
【図26】実施例における第8の実験結果を示す第1の図である。
【図27】実施例における第8の実験結果を示す第2の図である。
【図28】実施例における第8の実験結果を示す第3の図である。
【図29】実施例における第8の実験結果を示す第4の図である。

【発明を実施するための最良の形態】
【0019】
以下、本発明の実施の形態を説明する。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【0020】
(本発明の第1の実施形態)
本実施形態に係る内視鏡画像処理装置について、図1ないし図4を用いて説明する。本実施形態に係る内視鏡画像処理装置は、白色光照明を用いて撮像されたカラーの内視鏡画像やレーザ光源を用いて撮像されたカラーの内視鏡画像の色空間を、撮像元の光源に応じた所定の色空間に変換し、Curvelet変換やWavelet変換を用いてコントラストが強調された画像を作成するものである。
【0021】
本実施形態に係る内視鏡画像処理装置は、内視鏡システムに組み込んで一体的な装置としてもよいし、一旦内視鏡システムで撮像された画像を取り込んで画像処理を行う別体の装置としてもよい。
【0022】
図1は、本実施形態に係る内視鏡画像処理装置のハードウェア構成図である。内視鏡画像処理装置10は、少なくとも、CPU11、RAM12、ROM13、ハードディスク(HDとする)14、通信I/F15、及び入出力I/F16を備える。ROM13やHD14には、オペレーティングシステム、プログラム、内視鏡画像等が格納されており、必要に応じてプログラムがRAM12に読み出され、CPU11により実行される。
【0023】
通信I/F15は、装置間の通信を行うためのインタフェースである。入出力I/F16は、タッチパネル、キーボード、マウス、カメラ等の入力機器からの入力を受け付けたり、プリンタやモニタ等にデータを出力するためのインタフェースである。この入出力I/F16は、必要に応じて光磁気ディスク、フロッピー(登録商標)ディスク、CD-R、DVD-R等のリムーバブルディスク等に対応したドライブを接続することができる。各処理部はバスを介して接続され、情報のやり取りを行う。なお、上記ハードウェアの構成はあくまで一例であり、必要に応じて変更可能である。
【0024】
内視鏡画像にはいくつかのタイプがあり、ここでは、白色光照明を光源として撮像された白色光画像、並びに、レーザ光を光源として撮像されたFICE画像(富士フイルム株式会社製の内視鏡システム)、BLI画像(富士フイルム株式会社製の内視鏡システム)、NBI画像(オリンパス株式会社製の内視鏡システム)に対して、有効な画像処理技術を説明する。
【0025】
図2は、本実施形態に係る内視鏡画像処理装置の機能ブロック図である。内視鏡画像処理装置10は、内視鏡システム20で撮像されたカラーの内視鏡画像を入力する画像入力部21と、入力された内視鏡画像の色空間を当該入力された内視鏡画像のタイプに応じて他の色空間に変換する色空間変換部22と、色空間が変換された変換画像に対して内視鏡画像のタイプ及び/又は変換後の色空間に応じて、例えばCurvelet変換やWavelet変換等の周波数変換を行う周波数変換部23と、周波数変換により得られるエッジ情報を適正な係数を求めることで強調するコントラスト強調部24と、コントラスト強調された画像に対して、周波数変換部23の変換と逆の変換を行う周波数逆変換部25と、逆変換により得られた画像を閾値処理して低値化又はビットプレーン分解する低値化処理部26と、低値化された結果をディスプレイ28に表示する表示制御部27とを備える。
【0026】
なお、図2において、低値化処理部26を備えないようにしてもよい。すなわち、周波数逆変換部25の逆変換により得られた画像を表示制御部27がそのままディスプレイ28に表示する構成であってもよい。また、周波数逆変換部25についても、周波数変換部23で行われる周波数変換の種類によっては、必ずしも必須の構成ではない。具体的には、以下に説明するCurvelet変換の場合は、周波数逆変換部25の処理を行うが、下記の第3の実施形態において示す離散ウェーブレット変換(DWT)による周波数変換を行う場合は、周波数逆変換部25は必要ない。
【0027】
各処理部の詳細を以下に説明する。ここでは、FICE画像をCIE L色空間に変換し、周波数変換にCurvelet変換を利用した場合の処理について説明する。図3は、本実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。まず、色空間変換部22が、画像入力部21で入力されたFICE画像をRGB色空間からCIE L色空間に変換する(S1)。
【0028】
ここで、FICE画像とは、レーザ光源を用いた内視鏡画像システムで用いられるものであり、粘膜や血管のコントラストが強調されているため、通常の白色光光源の場合に比べて血管や表面構造の観察に適している。FICE画像を撮像するモードは、RGB色空間で表現された画像から被写体の分光反射率を推定し特定の波長情報を利用することで、白色光ではわかりにくい病変の特徴を際立たせる特殊光観察法である。
【0029】
CIE L色空間は、マンセルシステムをモデルとして改良されてきたものである。このマンセル表色系は,色差が均等にできている等色差性という性質をもっている。そして、CIE L色空間には、RGB色空間やCMYK色空間などに比べて、人間の視覚に近い設計がされているという利点がある。これは、CIE L色空間が均等色空間(USC:Uniform Color Space)として考案されたためである。UCSとは、色空間内での距離が色の変化量に類似するよう設計されている空間のことである。つまり、色の値が変化したときの差分と人間の心理的な色の差分が等しいということである。例えば、UCSの変化量が大きくなれば、人間の視覚的にも色の変化が大きくなる。
【0030】
の各成分の値は、XYZ色空間の各成分の値を視覚の特性を考慮した簡単な変換式で変換することによって計算される。図4は、CIE L色空間のイメージ図である。図4(A)において、L軸は明度を表しており、0を黒、100を白とした無彩色の軸である。また、a,bの値によって色相が変化し、原点から遠ざかるほど彩度が高くなる。図4(B)は、図4(A)からa,bの座標を取り出したものである。図4において、aは赤紫(+)と青緑(-)の成分であり、bは黄(+)と青(-)の成分である。ここで、線分OCの長さは彩度、角度θは色相を示している。明度、色相、彩度に関するものは心理メトリック量と呼ばれている。Lはメトリック明度、線分OCの長さはメトリック彩度、θはメトリック色相角と呼ばれている。
【0031】
RGB色空間からCIE L色空間への変換は以下の手順で行われる。まず、RGB色空間をXYZ色空間に変換する。
【0032】
【数1】
JP2017029549A_000003t.gif

【0033】
ここで、変換行列は3原色のX,Y,Z座標と白色点の座標Xn,Yn,Znから求められる。上記の変換行列は、(Xn,Yn,Zn)=(0.9642,1,0.8249)として計算している。Xn,Yn,Znに関しての詳細は、参考文献1(JISC 日本工業標準調査会:“色の表示方法-XYZ表色系及びX10Y10Z10表色系”)に記載されている通りである。次に、Lの各成分の値を求めるための関数f定義する。
【0034】
【数2】
JP2017029549A_000004t.gif

【0035】
(1)より、Lの各成分の値は次のように計算される。
【0036】
【数3】
JP2017029549A_000005t.gif

【0037】
また、(1)の表記は一般的なものであるが、以下のように書き直すこともできる。
【0038】
【数4】
JP2017029549A_000006t.gif

【0039】
(2)の場合、Lの各成分の値は次の通りに計算される。
【0040】
【数5】
JP2017029549A_000007t.gif

【0041】
図3に戻って、得られたa成分に対して、周波数変換部23がCurvelet変換を適用する(S2)。ここでは、CIE L色空間のa成分を利用する。これは、FICE画像にa成分が多く見られるためである。a成分は色相と彩度に関する成分である。コントラスト強調部24が、S2のCurvelet係数にコントラスト強調と適用する(S3)。
【0042】
離散Curvelet変換に基づいたコントラスト強調は以下の手法で行う。離散Curvelet変換は、連続Curvelet変換の離散化により構成され、Curvelet係数は以下の式より得られる。
【0043】
【数6】
JP2017029549A_000008t.gif

【0044】
ここで、b=k/L1,j+k/L2,j、0≦n≦L、0≦n≦L2,j、n=(n,n)∈Z、k=(k,k)∈Zである。U~j,lはradial window W(r)とangular window V(t)によって得られるfrequency window関数で、そのサポートが長さL1,j、幅L2,jの矩形である。また、f^はfのフーリエ変換を表す。W(r)、V(t)の定義は以下の通りである。
【0045】
【数7】
JP2017029549A_000009t.gif

【0046】
ここで、Wのサポートは開区間(1/2,2)に、Vのサポートは閉区間[-1,1]に含まれる。式(3)によって得られたCurvelet係数を用いてコントラスト強調を行う(参考文献2(Starck, J.-L., Murtagh, F., Candes,E.J. and Donoho, D.L.: Gray and Color Image Contrast Enhancement by the Curvelet Transform, IEEE Transactions on Image Processing, Vol.12, issue6,pp.706-717, June, 2003))。そこで、
【0047】
【数8】
JP2017029549A_000010t.gif

【0048】
とし、変数m=ρcD,maxj,lとして以下の式を計算する。
【0049】
【数9】
JP2017029549A_000011t.gif

【0050】
ここで、(p,s,ρ,c)=(0.5,0,0.5,3)とする。σは画像に入ったノイズの標準偏差である。
【0051】
【数10】
JP2017029549A_000012t.gif

【0052】
式(4)、(5)より、コントラスト強調されたCurvelet係数c~j,l,kを得る。
【0053】
周波数逆変換部25が、コントラスト強調されたCurvelet係数にCurvelet逆変換を適用する(S4)。低値化処理部26が、得られた成分に対して閾値処理により低値化する(S5)。閾値の決定方法として、ここでは取得していた事前データに基づいて、予め決定しておく。具体的には、a~を専門医が病変であると判断した異常部位とそれ以外の正常部位ブロックに分割し、各ブロックの中央値をヒストグラム化し、それぞれの分布の度数が等しい値を閾値Tとして決定する。なお、低値化する際には、2値化でもよいし、実験結果に示すように8階調や16階調で低値化したり、ビットプレーン分解するようにしてもよい。表示制御部27が、低値化された画像をディスプレイ28に表示して(S6)、処理を終了する。
【0054】
なお、内視鏡画像はFICE画像以外にも、白色光画像、BLI画像、NBI画像等に対して、上記処理を適用することが可能である。また、上記各内視鏡画像のタイプに応じて、色空間変換部22による変換対象となる色空間及び変換後の色空間をRGB(赤:Red、緑:Green、青:Blue)、HSV(色相:Hue、彩度:Saturation、明度(強度):Value)、HSB(色相:Hue、彩度:Saturation、明度(強度):Brightness)、HLS(色相:Hue、輝度:Liminance、彩度:Saturation)、CMY(シアン:Cyan、マゼンタ:Magenta、イエロー:Yellow)、YUV(輝度:Y、色差(輝度-青):U、色差(輝度-赤):V)、YCbCr(輝度:Y、色差:Cb、色差:Cr)、YIQ(輝度:Y、色差(オレンジ-シアン):I、色差(緑-マゼンタ):Q)、又は、CIEL*a*b*(L*:明度、a*:色度(赤紫)、b*:色度(青緑)のいずれかとしてもよい。
【0055】
さらに、上記各内視鏡画像のタイプや、変換後の色空間に応じて、周波数変換部23及び周波数逆変換部24による周波数変換の処理を、連続ウェーブレット変換、整数型離散ウェーブレット変換、実数型離散ウェーブレット変換、多重解像度解析(又は多重解像度近似)、連続カーブレット変換、離散カーブレット変換、マルチウェーブレット変換、複素数(連続)ウェーブレット変換、複素数離散ウェーブレット変換、ダイアディック(2進)ウェーブレット変換、ウェーブレットパケット変換、リフティングウェーブレット変換、又は、スティショナリー(定常)ウェーブレット変換のいずれかを用いるようにしてもよい。
【0056】
このように、本実施形態に係る内視鏡画像処理装置においては、カラーの内視鏡画像を任意の色空間に変換し、変換後の画像情報に対して周波数分解の処理を行い、周波数分解の処理における係数に画像情報のエッジを強調するコントラスト強調処理を適用し、コントラスト強調処理がなされた画像情報に対して周波数分解の逆変換処理を行い、コントラストが強調された前記画像情報を低値化又はビットプレーン分解して可視化するため、専門医の判断に依らなければ判断が難しいような内視鏡画像における病変を強調することができ、専門医の負担を軽減することができる。また、コントラストが強調された画像情報を低値化又はビットプレーン分解して可視化することで、内視鏡画像における病変をより明確に表示することが可能になる。
【0057】
(本発明の第2の実施形態)
本実施形態に係る内視鏡画像処理装置について、図5ないし図8を用いて説明する。本実施形態に係る内視鏡画像処理装置は、上記第1の実施形態において低値化された画像情報における複雑性を視覚化し、その複雑性が高い箇所の癌の病変箇所として出力するものである。なお、本実施形態において前記第1の実施形態と重複する説明は省略する。
【0058】
図5は、本実施形態に係る内視鏡画像処理装置の機能ブロック図である。図5において、前記第1の実施形態における図2と異なるのは、低値化処理部26で低値化又はビットプレーン分解された画像の複雑性をボックスカウント法を用いて小ブロックごとにフラクタル次元を求める複雑性演算部51と、複雑性が演算された結果、複雑性が高いと判断された箇所を癌の病変であると特定する病変特定部52とを備えることである。
【0059】
なお、図5において、前記第1の実施形態の場合と同様に、周波数逆変換部25については、周波数変換部23で行われる周波数変換の種類によって、必ずしも必須の構成ではない。
【0060】
フラクタル次元とは、ある図形や集合がそれより小さく相似な図形によって構成されているようなフラクタル図形に対して特徴付けを行う指標である。フラクタル次元は、図形を構成する小図形がどのような尺度にしたがって変化するかを測ることができる。
【0061】
Sを入力図形、N(s)をSを覆うために必要な直径sの開球の最小数とする。このときのフラクタル次元は以下の式で定義される。
【0062】
【数11】
JP2017029549A_000013t.gif

【0063】
このフラクタル次元はユークリット次元とは異なり非整数値をとる。フラクタル次元は、図形の複雑度を表す指標となり、簡単な例として、コッホ曲線やカントール集合などがある。ある長さの線分を折り曲げて一辺が元の図形の1/3になるように変形し、これを無限回繰り返したものがコッホ曲線である。このコッホ曲線のフラクタル次元は、初めの直線の長さを1とすると、n回変形したときの図形のフラクタル次元は、式(6)を使えば、
【0064】
【数12】
JP2017029549A_000014t.gif

【0065】
となるので、この変形を無限回繰り返した図形のフラクタル次元も1.26となる。より詳細は、参考文献3(Kenneth,F.: Fractal geometry mathematical foundations and applications second edition, Wiley, 2003)に記述されている。デジタル画像に対して適用することができるフラクタル次元の計算法として、以降に説明するボックスカウント法を利用する。
【0066】
ボックスカウント法は、フラクタル次元を求める場合に用いられる手法の一つである。式(6)では、フラクタル次元を計算するために極限操作を考慮する必要があるため、コンピュータにおける計算には適していない。ボックスカウント法では、与えられた図形を覆う開球を、図形を格子に区切ってできたブロックに置き換えて定義する。図6に示すように、格子を次第に細かくしながら反復し、各反復ごとにフラクタル次元を計算して、その平均値をフラクタル次元とする。対象を格子状に区切ることにより、画素単位で処理でき、デジタル画像に対して一意にフラクタル次元を計算することが可能となる。以上より、ボックスカウント法は式(6)の近似と考えることができる。動的閾値を用いた場合のボックスカウント法のアルゴリズムを以下に示す。
【0067】
まず、(1)動的閾値を用いて、入力画像を0と1で表現される2値画像に変換する。入力画像Iに対する動的閾値Tは、以下の式から求める。
【0068】
【数13】
JP2017029549A_000015t.gif

【0069】
この式は、画素I(i,j)の閾値を、I(i,j)を中心とする(2R+1)×(2R+1)ピクセルの正方形の平均画素値とする。ここでは、仮にRの値を入力画像のサイズの1/4とする。動的閾値Tを以下の式のように用いて、入力画像を2値化したIbinを得る。
【0070】
【数14】
JP2017029549A_000016t.gif

【0071】
(2)2値化画像Ibinをδ×δ(1≦i≦m)ピクセルの重なりのないブロックに分割する。ここで、δはブロックの一辺の長さの初期値である。
【0072】
(3)ブロック内に画素値が1の画素を含むブロックの数を数えて、それをnとする。
【0073】
(4)以下の式からフラクタル次元Dを求める。
【0074】
【数15】
JP2017029549A_000017t.gif

【0075】
(5)ブロックサイズをδi+1=δ/2のように更新して、アルゴリズム(2)~(4)をδ=1となるまで繰り返す。
【0076】
(6)ここでは、病変箇所をより特定し易くするために、入力画像のフラクタル次元Dを各ループにおけるフラクタル次元の平均値とする処理を行う。それは以下の式で表される。
【0077】
【数16】
JP2017029549A_000018t.gif

【0078】
なお、上記(1)は動的閾値法のアルゴリズム、(2)~(6)はボックスカウント法のアルゴリズムを示している。すなわち、ここでは、上記ボックスカウント法のアルゴリズムの中で、2値化のために動的閾値法を用いている。これは、上記第1の実施形態のような静的閾値法では閾値を手動で設定する必要があり、最適な閾値を決定するために試行錯誤が必要となるためである。図7は動的閾値法と静的閾値法による2値化の結果を示す図である。図7(A)の動的閾値法による2値画像の方が、図7(B)の静的閾値法に比べて部位の様子が明らかに明確になっていることがわかる。また、特に、病変箇所を特定し易くするために、本実施形態においては(6)のようにフラクタル次元を平均化する処理を行っている。
【0079】
図8は、本実施形態に係る内視鏡画像処理装置の処理を示すフローチャートである。ステップS1からステップS5までの処理は前記第1の実施形態における処理と同じである。ステップS5で低値化処理部26により低値化処理又はビットプレーン分解が行われると、複雑性演算部51がフラクタル次元を用いて画像を数値化して可視化する(S6)。画像が数値化された結果、病変特定部52が、複雑性が高いと判断された箇所を癌の病変であると特定する(S7)。表示制御部27が、病変として特定された箇所の画像及びその旨を示す情報をディスプレイ28に表示して(S8)、処理を終了する。
【0080】
このように、本実施形態に係る内視鏡画像処理装置においては、低値化された前記画像情報における複雑性が高い箇所を抽出するため、特に、複雑な直線や曲線が多く観察される傾向にある病変を容易に見極めることができる。また、画像情報における複雑性が高い箇所を癌の病変箇所として出力するため、特に、複雑な直線や曲線が多く観察される傾向にある早期癌を容易に発見することができる。
【0081】
(本発明の第3の実施形態)
本実施形態に係る内視鏡画像処理装置について、図9及び図10を用いて説明する。本実施形態に係る内視鏡画像処理装置は、上記各実施形態において、色空間変換処理にYCbCr色空間を用い、周波数変換処理に離散ウェーブレット変換(以下、DWTという)を用い、演算時間を短縮するための前処理を加えたものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。
【0082】
図9は、本実施形態に係る内視鏡画像処理装置の機能ブロック図である。図9において、前記各実施形態における図2又は図5と異なるのは、色空間変換部22で変換された色空間の成分に対して、後段処理の演算時間を短縮するために前処理を行う前処理部91を備え、前処理がなされた画像に対して周波数変換等の後続の処理が実施されることである。また、上述したように、本実施形態においては周波数変換処理にDWTを用いることから、周波数逆変換部25は構成として必要ない。
【0083】
前処理部91は、入力された内視鏡画像の臓器以外の領域を除去し、処理対象を臓器のみが写っている画像にする。また、DWTを用いる場合には画像サイズを2のべき乗にする必要があるため、例えば、1024×1024ピクセルとなるようにミラーリングして拡張する。その他、成分の値が平均値より小さい部分(暗い部分)には病変が写っていないとものとして、その部分を後段処理の対象から除去することで、後段処理の演算時間を短縮する。
【0084】
図10は、本実施形態に係る内視鏡画像処理装置の動作を示すフローチャートである。まず、色空間変換部22が、画像入力部21で入力された白色光照明で撮像された内視鏡画像をRGB色空間からYCbCr色空間に変換すると共に、R(赤)、G(緑)、B(青)及びY(輝度)の4成分を取り出す(S1)。なお、Cb(青系統の色相と彩度)及びCr(赤系統の色相と彩度)成分については、特徴量が非常に少ないので、以降の処理では利用しないものとする。前処理部91が、臓器が写っている領域のみが残るように画像を切り取る(S2)。また、DWT処理のために、各成分の画像サイズを所定サイズ(例えば1024×1024(2のべき乗))のピクセルとなるように、ミラーリングして拡張する(S3)。さらに、各成分に対して、重なりのない所定サイズ(例えば、128×128ピクセル)のブロックに分割し、当該ブロックの平均値が成分の平均値の所定の割合(例えば、70%)より低い場合は、当該ブロックの画素値を全て0とし、後段の処理対象から除外する(S4)。
【0085】
S4で値が0以外のブロックに対して、周波数変換部23がDWTを複数回(画像サイズに応じて2回以上)適用する(S5)。ここでは、DWTを2回行うことで、各成分の画像サイズは、256×256ピクセルとなる。なお、本実施形態においては、以降の処理で低周波成分のみを使用する。すなわち、低周波成分を使用することで、コントラストが強調された主要成分に対して以降の処理を行う。なお、上述したように、ここでは周波数逆変換部25による周波数逆変換の処理は必要ない。低値化処理部26及び複雑性演算部51が、各ブロックを所定サイズ(例えば、16×16ピクセル)で重なりのない小ブロックに分割し、ボックスカウント法を用いて、小ブロックごとにフラクタル次元を計算する(S6)。このとき、第2の実施形態のように低値化処理又はビットプレーン分解処理において動的閾値法を用いる。R成分、G成分、B成分及びY成分に対してそれぞれフラクタル次元を計算し、それぞれのフラクタル次元の要素ごとの積を以下のようにして計算する(S7)。
【0086】
【数17】
JP2017029549A_000019t.gif

【0087】
ここで、Dred、Dgreen、Dblue及びDluminanceは、それぞれR成分、G成分、B成分及びY成分において計算されたフラクタル次元を示す。病変特定部52が各画素の明暗によって病変部位を特定すると共に、表示制御部27が、Dallをグレースケールでディスプレイ28に表示して(S8)、処理を終了する。
【0088】
このように、本実施形態に係る内視鏡画像処理装置においては、前処理として明らかに病変ではないと判断できる箇所を処理対象から除外することで、計算時間を短縮することができる。
【実施例】
【0089】
本発明に係る内視鏡画像処理装置について、以下の実験を行った。
(1)FICE画像、CIE L色空間、離散Cuevelet変換
上記第1の実施形態で説明した手法に基づいて実験を行った。実験にはMATLABのツールボックスで、2,3次元での高速離散Curvelet変換できるCurveLabを用いた。CurveletLabを使用して、離散Curvelet変換及び離散Curvelet逆変換を適用した。内視鏡画像は早期食道癌患者のものを使用した。
【0090】
図11は、本実施例における第1の実験結果を示す第1の図である。図11(A)は、色空間変換後のa成分、図11(B)は、コントラスト強調されたCurvelet逆変換適用後の内視鏡画像、図11(C)は、閾値処理により2値化された内視鏡画像である。図からわかる通り、処理を行うごとに食道の表面の状態の視認性が高くなっており、専門医が病変を見つけやすくなっている。
【0091】
図12は、本実施例における第1の実験結果を示す第2の図である。左側の図はFICE画像を見て専門医が癌であると診断した結果の画像を示し、右側の図は上記手法を用いた場合の結果の画像を示している。左側の図は、一般の人が見た場合に一見すると癌であると気づきにくい。これに対して、右側の図は、一般の人が見た場合でも何かしらの病変があると気づくことができる画像となっており、且つ、専門医が癌であると判断した箇所が確実に表示されている。なお、図12の左側のFICE画像は白黒画像となっているが、実際のFICE画像はカラー画像である。
【0092】
以上のように、本発明の内視鏡画像処理装置の処理により、専門医でなくても病変を認識できるレベルの内視鏡画像を出力することが可能である。
【0093】
(2)白色光画像、RGB色空間+YCbCr色空間、DWT2回
上記第3の実施形態で説明した手法に基づいて、以下の環境で実験を行った。
【0094】
【表1】
JP2017029549A_000020t.gif

【0095】
図13は、本実施例における第2の実験結果を示す図である。左の画像が、専門医によりマーキング付き内視鏡画像であり、中央の画像が、実数型DWTを使用した場合のフラクタル次元の画像であり、右の画像が整数型DWTを使用した場合のフラクタル次元の画像である。フラクタル次元の画像中の1つのブロックは、左の内視鏡画像の64×64ピクセルに相当し、内視鏡画像とフラクタル次元の画像との位置関係は一致している。フラクタル次元が周囲に比べて低く計算された部分、すなわち図面中で黒く表示されている部分を早期食道癌の疑いがある部位として特定している。そして、点線で示す領域が処理対象から除外された部分である。
【0096】
図からわかる通り、実数型DWTと整数型DWTを使用した場合で抽出結果に大きな差はなかった。特徴量の抽出時間については、R、G、B及びYの4成分について抽出処理を行ったが、各成分につき約7秒で全体でも約30秒の処理時間だった。これは、前処理を行わなかった場合の処理時間に比べて約170秒以上の削減となり、大きな効果が得られた。時間短縮の理由は、DWTを適用する際のブロック処理を最適化したためである。
【0097】
(3)白色光画像(富士フイルム株式会社製)、HSV色空間、ダイアディックウェーブレット変換
白色光で撮像された画像をHSV色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図14は、本実施例における第3の実験結果を示す図である。図14(A)は原画像、図14(B)は専門医によるマーキング画像、図14(C)はダイアディックウェーブレット変換でコントラスト強調した画像、図14(D)は閾値処理により2値化した画像、図14(E)はフラクタル次元を求めて可視化した画像である。
【0098】
図からわかる通り、コントラスト強調や2値化処理により早期食道癌の部位が鮮明に表示され、最終的にフラクタル次元が高い箇所を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。すなわち、本発明の内視鏡画像処理により、白色光の内視鏡画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。
【0099】
(4)FICE画像(富士フイルム株式会社製)、HSV色空間、ダイアディックウェーブレット変換
FICE画像をHSV色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図15は、本実施例における第4の実験結果を示す図である。図15(A)は原画像、図15(B)は専門医によるマーキング画像、図15(C)はダイアディックウェーブレット変換でコントラスト強調した画像、図15(D)は閾値処理により2値化した画像、図15(E)はフラクタル次元を求めて可視化した画像である。
【0100】
上記(3)第3の実験の場合と同様に、コントラスト強調や2値化処理により早期食道癌の部位が鮮明に表示され、最終的にフラクタル次元が高い箇所を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。すなわち、本発明の内視鏡画像処理により、内視鏡システムのFICE画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。
【0101】
(5)白色光画像(オリンパス株式会社製)、HSV色空間、ダイアディックウェーブレット変換
白色光画像をHSV色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図16は、本実施例における第5の実験結果を示す図である。図16(A)は原画像、図16(B)は専門医によるマーキング画像、図16(C)はダイアディックウェーブレット変換でコントラスト強調した画像、図16(D)は閾値処理により2値化した画像、図16(E)はフラクタル次元を求めて可視化した画像である。
【0102】
上記(3)、(4)の実験の場合と同様に、コントラスト強調や2値化処理により早期食道癌の部位が鮮明に表示され、ここでは最終的にフラクタル次元が低い箇所、すなわち画像中の黒い部分を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。したがって、本発明の内視鏡画像処理により、内視鏡システムの白色光画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。
【0103】
(6)NBI画像(オリンパス株式会社製)、HSV色空間、ダイアディックウェーブレット変換
NBI画像をHSV色空間に変換し、ダイアディックウェーブレット変換で周波数変換を行った。図17は、本実施例における第6の実験結果を示す図である。図17(A)は原画像、図17(B)は専門医によるマーキング画像、図17(C)はダイアディックウェーブレット変換でコントラスト強調した画像、図17(D)は閾値処理により2値化した画像、図17(E)はフラクタル次元を求めて可視化した画像である。
【0104】
上記(3)~(5)の実験の場合と同様に、コントラスト強調や2値化処理により早期食道癌の部位が鮮明に表示され、ここでは最終的にフラクタル次元が低い箇所、すなわち画像中の黒い部分を早期食道癌として特定し、その位置は専門医によるマーキングと一致している。すなわち、本発明の内視鏡画像処理により、内視鏡システムのNBI画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能であることが明確である。
【0105】
(7)低値化処理
低値化処理について、以下の実験を行った。ここでは、256階調の画像を所定の階調をもつ閾値画像に変換する。この変換処理について、図18の例で説明する。例えば、256階調の画像を8階調の閾値画像に変換する場合、図18(A)の画像は[0,31]→1とし、それ以外の[32,255]→0とする。図18(B)の画像も同様の手法で[32,63]→1とし、それ以外の[0,31]及び[64,255]→0とする。図18(C)~(H)も同様の手法で順次8階調の閾値画像に変換する。これらの各画像のフラクタル次元を計算すると、図19に示すような画像(A)~(H)(図18の(A)~(H)に対応)が得られる。計算されたフラクタル次元から下位25%(図19の場合は、(A)と(B)の画像であり、異常部位にあたる部分が集中している)を足し合わせることで、間引きされたフラクタル次元を計算することができる。
【0106】
このような手法を用いて、様々な画像(白色光画像、FICE画像、NBI画像)に対して16階調の閾値画像を生成し、フラクタル次元を計算した。その結果を図20~図23に示す。図20は白色光画像(富士フイルム株式会社製)の処理結果、図21はFICE画像(富士フイルム株式会社製)の処理結果、図22は白色光画像(オリンパス株式会社製)の処理結果、図23はNBI(オリンパス株式会社製)の処理結果である。なお、各図における(A)は原画像、(B)は専門医による診断結果、(C)はコントラスト強調画像、(D)は低値化してフラクタル次元を可視化した画像である。
【0107】
図20~図23に示すように、食道の中心部分がどうしても影になるため黒く表示されているものの、それ以外の専門医が癌と特定した部分も黒く表示されており、癌の部位が特定可能であることがわかる。
【0108】
このように、低値化処理により早期食道癌の部位を区別して表示することが可能となり、内視鏡システムの画像から、一般的には識別が困難となるような早期食道癌を専門医に限らず特定することが可能となる。
【0109】
(8)ビットプレーン分解
ビットプレーン分解処理について、以下の実験を行った。ここでは、256階調の画像をビットプレーン分解する。この分解処理について、図24の例で説明する。例えば、180という値を持つピクセルは、180=10110100となり、図24(A:第8ビットプレーン)における当該ピクセルは0、図24(B:第7ビットプレーン)における当該ピクセルは0、図24(C:第6ビットプレーン)における当該ピクセルは1、図24(D:第5ビットプレーン)における当該ピクセルは0、図24(E:第4ビットプレーン)における当該ピクセルは1、図24(F:第3ビットプレーン)における当該ピクセルは1、図24(G:第2ビットプレーン)における当該ピクセルは0、図24(H:第1ビットプレーン)における当該ピクセルは1となる。このような手法で図24(A)~(G)のようなビットプレーン分解画像(最上位ビットが第1ビットプレーン、最下位ビットが第8ビットプレーン)を作成する。
【0110】
作成された各ビットプレーン分解画像のフラクタル次元を計算すると、図25に示すような分解画像(A)~(H)(図24の(A)~(H)に対応)が得られる。フラクタル次元が計算された各分解画像のうち、(A)、(B)及び(F)~(H)の5枚を足し合わせて、一つのビットプレーン画像を作成する。なお、(C)~(E)のフラクタル次元は、加算してもほとんど影響がないため、上記5枚の分解画像(第4ビットプレーン~第6ビットプレーンを除いた間引き画像)でビットプレーン画像を作成する。
【0111】
このような手法を用いて、様々な画像(白色光画像、FICE画像、NBI画像)に対してビットプレーン画像を生成した。その結果を図26~図29に示す。図26は、白色光画像(富士フイルム株式会社製)の処理結果、図27はFICE画像(富士フイルム株式会社製)の処理結果、図28は白色光画像(オリンパス株式会社製)の処理結果、図29はNBI(オリンパス株式会社製)の処理結果である。なお、各図における(A)は原画像、(B)は専門医による診断結果、(C)はコントラスト強調画像、(D)は低値化してフラクタル次元を可視化した画像である。
【0112】
図26~図29に示すように、専門医が癌と特定した部分も黒く表示されており、癌の部位が特定可能であることがわかる。
【符号の説明】
【0113】
10 内視鏡画像処理装置
11 CPU
12 RAM
13 ROM
14 HD
15 通信I/F
16 入出力I/F
20 内視鏡システム
21 画像入力部
22 色空間変換部
23 周波数変換部
24 コントラスト強調部
25 周波数逆変換部
26 低値化処理部
27 表示制御部
28 ディスプレイ
51 複雑性演算部
52 病変特定部
91 前処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28