TOP > 国内特許検索 > 画像処理方法および装置 > 明細書

明細書 :画像処理方法および装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第3905388号 (P3905388)
公開番号 特開2003-208626 (P2003-208626A)
登録日 平成19年1月19日(2007.1.19)
発行日 平成19年4月18日(2007.4.18)
公開日 平成15年7月25日(2003.7.25)
発明の名称または考案の名称 画像処理方法および装置
国際特許分類 G06T   7/60        (2006.01)
FI G06T 7/60 250C
G06T 7/60 300A
請求項の数または発明の数 4
全頁数 14
出願番号 特願2002-004782 (P2002-004782)
出願日 平成14年1月11日(2002.1.11)
審査請求日 平成16年1月19日(2004.1.19)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】土井 章男
個別代理人の代理人 【識別番号】100087147、【弁理士】、【氏名又は名称】長谷川 文廣
審査官 【審査官】飯田 清司
参考文献・文献 松坂匡芳,動的輪郭モデルによる胸部X線像からの肺輪郭線抽出,電子情報通信学会技術研究報告,日本,社団法人 電子情報通信学会,1995年11月17日,第95巻 第365号,25-30頁
高梨郁子、村木茂、土井章男、カウフマン アーリー ,3D Active Net-3次元ボリュームの抽出-,映像情報メディア学会誌,日本,社団法人映像情報メディア学会,1997年12月20日,第51巻 第12号,2097-2106頁
松田 喜貴,新たなネット構造を持つ Active Net の領域検出に関する一考察,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2000年 3月16日,第99巻 第707号,1-8頁
調査した分野 G06T 7/00-7/60
特許請求の範囲 【請求項1】
入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理方法において、
入力画像の特徴領域からエッジ画像を作成し、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成し、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させることを特徴とする画像処理方法。
【請求項2】
Active Net、3DActive Net、3DActive Grid のいずれかにより特徴領域を抽出することを特徴とする請求項1に記載の画像処理方法。
【請求項3】
入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理装置において、
入力画像の特徴領域からエッジ画像を作成する手段と、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成する手段と、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させる特徴抽出処理手段とを備えていることを特徴とする画像処理装置。
【請求項4】
Active Net、3DActive Net、3DActive Grid のいずれかにより特徴領域を抽出するものであることを特徴とする請求項3に記載の画像処理装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】
本発明は、医療画像処理において、MRIやCTなどの画像から特定臓器の画像領域を抽出する場合などに有用な、画像中の特徴領域を自動抽出するための画像処理方法および画像処理装置に関する。
【0002】
画像処理の分野では、画像認識や動画像処理等のために、幾何情報を保持する網(ネット)あるいは格子(グリッド)状の形状(以下、網のことをネット、格子のことをグリッドと呼ぶ)を、エネルギー最小化原理により特徴領域に収縮させて貼り付け、その領域を抽出することが行なわれる。その際の収縮処理で特徴領域を特定するために、画像に対応したエネルギー画像が作成されるが、本発明は、特徴領域を正確かつ安定に抽出可能にする新規なエネルギー画像を提供するものである。
【0003】
【従来の技術】
MRIなどの画像データから特徴ある領域を抽出する際に、その特徴領域にネットあるいはグリッドを被わせることで、範囲を限定する方法( 例えば、Snakes,Balloon,Active Net ,3D Active Net ,3D Active Gridなど)が、これまでに開発されている。これらは、エネルギー最小化原理を用いてネットあるいはグリッドを特徴領域に収縮させて行くものである。Snakesは、曖昧な輪郭を抽出する手法として開発された輪郭モデルであり、内部歪みによる力と、画像の力と、外力により、線やエッジなどの画像中の特徴ある領域に整合する。Active Net は、Snakesを面モデルへ拡張し、2 次元画像から様々な領域を抽出することを可能にしたもので、坂上らにより開発された(参考文献1参照)。3D Active Net および3D Active Gridは、Active Net を3次元へ拡張し、さらには、格子構造をもつグリッドへの拡張したもので、本発明者らにより開発された(参考文献2,3,4参照)。
【0004】
ここでは、基本的な Active Net について簡単に説明する。任意の特徴領域にネットを貼り付けるためには、あらかじめ、特徴領域に対して十分な大きさを持つ初期状態のネットを用意し、特徴となる領域へ徐々にネットを収縮させながら、所定の領域に貼り付ける。このため、特徴領域に依存してネットを特徴領域へ収縮させようと作用するエネルギーと、ネットに依存してネットの形状を保持するように作用するエネルギーとを生成させ、それらのエネルギーが釣り合う位置では、エネルギーの和が最小になるというエネルギー最小化原理を適用して釣り合い位置を求め、ネットの収縮が所定の位置で止まるようにしている。
【0005】
ネットを特徴領域へ収縮させるエネルギーを生成するには、エネルギー画像が用いられる。エネルギー画像は、対象となる領域に対して、あらかじめエネルギーの値を小さく設定しておいて、ネットがそのエネルギーの小さい領域部分に収束されるようにするものである。例えば、MRI画像中の特定の臓器の領域をネットに付着させる場合には、まず臓器の表面のエッジを抽出し、そのエッジ領域でエネルギ-が最小となるようにエッジ画像を作成する。図8は、脳のMRI画像の例であり、図9は、抽出されたエッジ画像の例である。エッジ画像は原画像を空間一次微分して濃度変化の大きい部分を強調して取り出したものであり、画像の輪郭などのエッジ部分を効率的に抽出することができる。しかし、このようなエッジ部分に直接最小のエネルギー値を設定してネットの収縮処理を行なうと、エッジ部分は細い線状や点状をなしていて面積が小さいため、ネットがエッジ部分を通り越してしまい、処理が不安定になりやすい。
【0006】
そのため、従来は、エッジ画像にGaussianフィルタ等をかけてエッジ付近をぼかし、エッジ付近の領域面積を大きくしてネットの収縮を安定させる方法がとられていた。しかしながら、Gaussianフィルタ等をかけてエッジ付近をぼかすと、逆に画像境界があいまいになってしまうことから、ネットの正確な貼り合わせが困難になるという問題があった。
【0007】
【発明が解決しようとする課題】
従来のネットやグリッドを用いて特徴領域の抽出を行なう画像処理では、原画像からエッジを検出した後、そのエッジ画像に対して Gaussian フィルタをかけ, エッジ画像境界をぼかしてエネルギー画像を作成していた。そのため、正確かつ安定したネットやグリッドの収縮を困難にしていた。
【0008】
本発明の課題は、エッジ画像の境界をぼかすことなく、ネットやグリッドの収縮を正確かつ安定に行なわせることにある。
【0009】
【課題を解決するための手段】
本発明は、エッジ画像を作成したあと、Gaussianフィルタを適用してぼかす代わりに、エッジからの距離画像を作成し、この距離画像をエネルギー画像として用いることにより、課題の解決を図るものである。これにより、本発明では、エッジから離れるほど距離つまりエネルギーが増加するようになるため、ネットの収縮計算が安定化され、かつ、エッジ付近でネットの位置があいまいになることがないので、正確なネットの貼り合わせが可能となる。
【0010】
本発明は、以下のように構成される。
(1) 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理方法において、
入力画像の特徴領域からエッジ画像を作成し、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成し、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させることを特徴とする画像処理方法の構成。
(2) Active Net、3DActive Net、3DActive Grid のいずれかにより特徴領域を抽出することを特徴とする前項1に記載の画像処理方法の構成。
(3) 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理装置において、
入力画像の特徴領域からエッジ画像を作成する手段と、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成する手段と、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させる特徴抽出処理手段とを備えていることを特徴とする画像処理装置の構成。
(4) Active Net、3DActive Net、3DActive Grid のいずれかにより特徴領域を抽出するものであることを特徴とする前項3に記載の画像処理装置の構成。
【0011】
【発明の実施の形態】
図1は、本発明の1実施の形態による画像処理システムの構成図であり、便宜上、Active Netによる特徴抽出処理の例を用いて示してある。
図1において、
1は、MRI画像などの原画像データファイルである。
2は、画像処理システムであり、任意のコンピュータ上にソフトウエアによって構築される。
3は、原画像から特徴抽出を行ないたい領域部分を切り出す領域切り出し処理部である。原画像中にマニュアル操作により切り出し空間や閾値などを設定して必要領域を切り出す。
4は、エッジ画像作成処理部である。領域切り出し処理部3で切り出された領域を対象に、所定の画素間で空間1次微分を行ない、エッジ画像を作成する。
5は、距離画像作成処理部であり、作成されたエッジ画像に基づいて画素間の距離計算を行ない、距離画像を作成する。
6は、エネルギー画像設定部であり、作成された距離画像を、特徴抽出処理用のエネルギー画像として設定する。
7は、ネット画像初期化部であり、特徴抽出処理用ネットの初期サイズと形状などを指定する。
8は、ネット画像設定部であり、特徴抽出処理用のネット画像を設定する。
9は、特徴抽出処理部であり、設定されているエネルギー画像、ネット画像のデータにしたがって、エネルギー最小化原理の手法に基づく演算を反復実行し、ネット画像の収縮を進める。
10は、ディスプレイである。
11は、キーボードである。
12は、マウスである。
【0012】
次に、図1のシステム中の主要な処理について詳述する。
【0013】
エッジ画像作成処理部4は、微分オペレータを用いて、エッジ領域を強調する。エッジは、元の画像から濃度が急激に変化する部分であるため、画像平面上で施せば、エッジ部分が高い値を持つように変換される。ディジタル画像上では、x,yの各座標軸方向ごとに差分を取る。
【0014】
x方向の微分:Δfx(i,j) =f(i,j)-f(i-1,j)
y方向の微分:Δfy(i,j) =f(i,j)-f(i,j-1)
エッジの強度eは、両方向の差分の自乗和の平方根(sqrt)をとる。
【0015】
e=sqrt( Δfx(i,j)2 +Δfy(i,j)2)
エッジの強調には、主として1次微分オペレータが用いられるが、2次微分オペレータが用いられることもある。
【0016】
図2は、原画像から切り出された特徴抽出対象画像の例であり、図3は、図2の画像に対して、1 次微分オペレータを用いてエッジを抽出し、エッジ領域の値を1、それ以外の領域の値を0に2値化したエッジ画像の例である。
【0017】
距離画像作成処理部5は、任意の画素間の距離を、計算が容易な4近傍距離(4-neighbor distance) を用いて求める。2次元画像の場合、2つの画素f(i,j)とf(m,n)間の4近傍距離d4(f(i,j),f(m,n)) は、以下の式で計算できる。
【0018】
d4(f(i,j),f(m,n)) =|i-m|+|j-n |
また3次元画像の場合は、画素の位置を表す係数(i,j,k) と(m,n,l) を用いて以下の式で計算できる。
【0019】
d4(f(i,j,k)),f(m,n,l))=|i-m|+|j-n |+|k-l|
図4は、図3のエッジ画像を用いて、距離画像を作成した例である。エッジから離れるにつれて、値が大きくなる。ただし、図4では、画像の表示技術上、エッジ領域を白値の1とし、エッジから離れるほどその値が黒値に近づく(小さくなる)ように画素値を逆転させている。
4近傍の距離画像の場合、中心の画素からの距離値は、以下のような数値になる。
【0020】
JP0003905388B2_000002t.gifこのような距離画像を求める処理は、図形の幅の計測や形状の特徴抽出(骨格(スケルトン)の形成など)に応用されている。特に骨格はその距離値から逆距離変換という操作を施すことにより画像の復元ができるため、データ圧縮の手法としても利用されている。
【0021】
図5の(a)、(b)、(c)は、従来のガウシアンフィルタを適用したエネルギー画像と本発明による距離画像とのヒストグラム比較を示す。それぞれ横軸は距離、縦軸はエッジの画素数を示す。図5の(a)は、元のエッジ画像のヒストグラムであり、狭いエッジ幅にエッジ部分の画素が集中している様子を示す。図5の(b)は、(a)のエッジにガウシアンフィルタを適用した結果のヒストグラムであり、エッジ幅がぼやけて広がっている様子を示す。図5の(c)は、(a)のエッジについて求めた距離画像のヒストグラムであり、エッジ幅の中心部が先鋭に保存される様子を示す。
【0022】
特徴抽出処理部9は、距離画像をエネルギー画像として用いて、エネルギー最小化原理によりネットの収束計算を反復して行ない、ネットを特徴領域に逐次的に収縮させる。距離画像をエネルギー画像とした場合、特徴領域のエッジ部分の位置でエネルギーが最小になるから、エネルギーが最小となるようにネットを収縮させたとき、ネットは特徴領域のエッジ部分に整合しており、特徴領域は、ネットにより抽出されたことになる。
【0023】
図6は、図4の距離画像をエネルギー画像として収束計算を300回行なった結果のネット収縮画像を示す。そして図7は、収束計算を1500回行なった結果のネット収縮画像である。
【0024】
図8~図12はMRI画像における特徴領域抽出例を示す。図8は、脳のMRI画像の例である。図9は図8の画像から抽出したエッジ画像を示す。図10は、図9のエッジ画像から作成された距離画像である。図11(a)は、特徴抽出に用いる円形ネットの初期画像、図11(b)は、図9の距離画像をエネルギー画像として用い収束計算を200回反復した結果のネット収縮画像である。同様にして、図12(a)は,収束計算を400回反復した結果のネット収縮画像、図12(b)は,収束計算を600回反復した結果のネット収縮画像を示す。収束計算の回数が増加するにつれ、ネット収縮が進むことがわかる。
【0025】
本発明による、距離画像をエネルギー画像として用いる特徴抽出処理手法は、Active Netのほか、3DActive Net、3DActive Gridの手法にも適用することができる。以下、各手法におけるエネルギー最小化原理への本発明の適用について説明する。
D Active Net による特徴抽出
3D Active Net は、本発明者らが、先に、ボリュームデータから閉領域を抽出するため、2 次元平面の網モデルである Active Net を3次元空間に拡張したものである(参考文献2)。Snakesを3 次元空間に拡張する試みは、Cohen らが Balloons という曲面モデルを提案し、MRI ボリュームデータから顔の皮膚の一部を抽出しているが、それには特定の領域に整合するための境界条件を必要とする。しかし3D Active Net は、閉じた面モデルであるため、Balloonsのような境界条件を必要とせず、閉領域を包み込むようにして抽出する。また、本モデルはBalloonsのような有限要素法を用いたノード数の削減は行っていない。これは、格子構造を維持することでプログラムが簡単になり、並列計算による高速化が可能になるためである。
【0026】
3D Active Net は曲面モデルであり、3 次元空間における曲面上の点を2つのパラメータp,q によって次の(1)式のように定義する。
【0027】
【数1】
JP0003905388B2_000003t.gif
【0028】
このモデルに対して、2 種類のエネルギー、Εint,Εdistを定義する。
【0029】
Εint は、ネット曲面を保存しようと働く内部エネルギーを表し、面を滑らかに収縮させる力を生じる。
【0030】
Εdistは、特徴領域のエッジ画像から作成された距離画像に依存する画像エネルギーであり、ネットをボリュームデータの特徴ある部分、つまりエッジ部分に動かす力を生じる。したがって、面全体のエネルギーは、2つのパラメータ p,qで積分して、次の(2)式のように定義される。
【0031】
【数2】
JP0003905388B2_000004t.gif
【0032】
Εint は、具体的には次の(3)式のように定義される。
【0033】
【数3】
JP0003905388B2_000005t.gif
【0034】
ここで(3)式の右辺の第1項は、面の1階微分の2乗和で、膜スプラインと呼ばれ、ちょうどゴムの膜のように面を縮ませる力を生じる。第2項は2階微分の2乗和で、薄板スプラインと呼ばれ、面の曲率を小さくし、形を滑らかにする。αとβは、1次偏微分の項と2次偏微分の項とを考慮する割合を決め、これら2つの力を制御するパラメータである。つまりαは網を縮める項のウェイト、βは網を滑らかにする項のウェイトである。
D Active Grid による特徴抽出
3D Active Netの手法により抽出される領域は表面のみのモデルであるため,有限要素法で解析するためには,非構造メッシュに変換する必要がある。しかし、対象となる領域が複雑に変形している場合,矛盾のない内部ノードの連結は困難である。また,非構造メッシュを生成せずに,ボクセルを6面体格子に変換して有限要素法を用いる方法を Zhuらが提案しているが,境界部分はボクセル近似となるため,表面の精度が悪くなる欠点を有し,使用するメモリ量および計算量も多い。そのため,本発明者らは、先に、ボリュームデータから領域を抽出し,直接,境界適合格子や有限要素法の6面体要素からなる非構造メッシュを生成する手法として,3D Active Gridを開発した(参考文献4)。
【0035】
3D Active Gridのモデルは,図13に示す6面体要素からなる格子構造からなり,各格子点は,3次元空間における位置を表すパラメータp.q,rを用いて,次の(4)式のように表現される。
【0036】
【数4】
JP0003905388B2_000006t.gif
【0037】
次に、(4)式で表現されるモデルに対して、グリッドのエネルギーEgrid
を、次の(5)式のように定義する。
【0038】
【数5】
JP0003905388B2_000007t.gif
【0039】
ここで,E int はグリッドを保存させるように働く内部歪みのエネルギー,E distは、グリッドを画像に適合させるように働く画像エネルギー,E consはグリッドの制約を規定する外力のエネルギーを表わす。即ち、E int は、グリッドを滑らかに縮小させ,かつ,その形状を保とうとする力であり,E distは、グリッドをボリュームデータの特徴的な領域,つまり距離が0のエッジ部分に移動させる力である。また,外力によるエネルギーE consは、ユーザによる外部からの強制的な制約を表す力である。たとえば,3次元モーフィング等で制約が必要な場合,E consはグリッドの一部を固定するといった場合に用いられる。
【0040】
具体的には,E int を以下の(6)~(15)式で定義する。
【0041】
JP0003905388B2_000008t.gif
【0042】
ここで、(6)式の右辺第1項は、グリッドを収縮させる力を生じ、第2項は、グリッドの平行性および直進性を保持する力を生じる。またαおよびβは、第1項と第2項のそれぞれの力を制御するパラメータである。
【0043】
3D Active Gridは,3D Active Net と同様,Active Netを3次元に拡張したモデルであるが,内部ノードを考慮している点で,3D Active Net とは異なる。3D Active Net では,ボリュームデータの輪郭(表面)情報のみを使用していたが,3D Active Gridは輪郭情報と内部情報を利用するため,精度面で3D Active Net より有利である。
<参考文献>
1.K.Sakaue and K.Yamamoto,“動的な網のモデルActive Netとその領域抽出への応用”,テレビジョン学会誌,45,10, pp.1155-1163(1991).
2. 高梨郁子,村木茂,土井章男,Ari E Kaufman ," 3D Active Net-3次元ボリュームの抽出" 映画情報メディア学会,Vol.51,No.12 ,pp.1-9,1997.
3. 土井章男,三浦泰弘,千葉則茂," ボリュームデータから有限要素メッシュを構築する一手法”,電子情報通信学会論文誌,Vol.82-D-II ,No.1,pp.1-4,1999.
4.土井章男,小向順,小山田耕二,“3D Active Gridを用いた3次元ボリュームの抽出”,情報処理学会論文誌,Vol.41,No.3,pp.570-576,2000.
【0044】
【発明の効果】
本発明によれば、エネルギー最小化原理に基づく特徴抽出処理において、特徴領域に依存する画像エネルギーとして、エッジ部分からの距離を用いているため、エッジから離れるほど距離、つまりエネルギーの値が増加するため、ネットやグリッドの収束計算を安定に行なわせることができ、しかも従来のガウシアンフィルタのようにエッジ領域をあいまいにすることがないので、正確にネットを貼り付けることができ、精度のよい特徴領域の抽出が可能となる。
【図面の簡単な説明】
【図1】発明の1実施の形態による画像処理システムの構成図である。
【図2】特徴抽出対象画像の例である。
【図3】特徴抽出対象画像から検出されたエッジ画像である。
【図4】エッジ画像から作成した距離画像である。
【図5】距離画像の特性の説明図である。
【図6】収束計算300回でのネット収縮例の説明図である。
【図7】 収束計算1500回でのネット収縮例の説明図である。
【図8】脳のMRI画像の例である。
【図9】脳のMRI画像から抽出したエッジ画像である。
【図10】脳のMRI画像の距離画像である。
【図11】円形ネットを用いた収縮過程の説明図(その1)である。
【図12】円形ネットを用いた収縮過程の説明図(その2)である。
【図13】3D Active Gridの格子構造の説明図である。
【符号の説明】
1: MRI画像などの原画像データファイル
2: 画像処理システム
3: 領域切り出し処理部
4: エッジ画像作成処理部
5: 距離画像作成処理部
6: エネルギー画像設定部
7: ネット画像初期化部
8: ネット画像設定部
9: 特徴抽出処理部
10: ディスプレイ
11: キーボード
12: マウス
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12