TOP > 国内特許検索 > 医用画像処理方法及びその装置、プログラム > 明細書

明細書 :医用画像処理方法及びその装置、プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4887491号 (P4887491)
公開番号 特開2007-282906 (P2007-282906A)
登録日 平成23年12月22日(2011.12.22)
発行日 平成24年2月29日(2012.2.29)
公開日 平成19年11月1日(2007.11.1)
発明の名称または考案の名称 医用画像処理方法及びその装置、プログラム
国際特許分類 A61B   6/03        (2006.01)
G06N   3/00        (2006.01)
G06T   1/00        (2006.01)
FI A61B 6/03 370E
A61B 6/03 360G
G06N 3/00 550C
G06T 1/00 290B
請求項の数または発明の数 6
全頁数 36
出願番号 特願2006-114631 (P2006-114631)
出願日 平成18年4月18日(2006.4.18)
審査請求日 平成21年3月6日(2009.3.6)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】金 亨燮
【氏名】板井 善則
個別代理人の代理人 【識別番号】100099634、【弁理士】、【氏名又は名称】平井 安雄
審査官 【審査官】遠藤 孝徳
参考文献・文献 特開2005-12248(JP,A)
特許第3642059(JP,B2)
特開平7-37074(JP,A)
特開2002-32764(JP,A)
特表2002-530133(JP,A)
特開2004-13474(JP,A)
特開2004-8707(JP,A)
小松昌史,板井善則,金亨燮,石川聖二,桂川茂彦,奥田康司,山本晃義,“経時差分を用いた腹部CT画像上の領域抽出と3次元表示”,北九州医工学術者協会誌,日本,北九州医工学術者協会事務局,2005年 6月24日,第16巻,p.71-74
桂川茂彦,石田隆行,川下郁生,金亨燮,板井善則,粟井和夫,土井邦雄,“胸部CT画像における経時的サブトラクション”,文部科学省科学研究費補助金特定領域研究「多次元医用画像の知的診断支援」シンポジウム論文集,日本,特定領域研究「多次元医用画像の知的診断支援」総括班,2006年 1月13日,第3回,p.123-130
調査した分野 A61B 6/00 - 6/14
G06N 3/00 - 3/12
G06T 1/00
JSTPlus/JMEDPlus/JST7580(JDreamII)
特許請求の範囲 【請求項1】
第1の時期に被写体の断層をCTにより連続して撮影して立体表示可能な第1時期画像群と、第2の時期に被写体の断層をCTにより連続して撮影して立体表示可能な第2時期画像群とを対比するためのコンピュータを用いた医用画像処理方法であって、
CT画像に撮影された前記被写体の注目部位画像の相互相関を基準として、前記第1時期画像群を構成する第1時期CT画像と前記第2時期画像群を構成する第2時期CT画像との対応する組み合わせを求める組合せ演算工程と、
前記組合せ演算工程で求めた前記第1時期CT画像と前記第2時期CT画像対応する組み合わせにおいて、注目部位を基準とした画像上のズレをグローバルマッチングの第1シフトベクトルとして求める第1シフトベクトル演算工程と、
前記第1時期画像群が形成する前記被写体の立体空間内で、所定の大きさの複数の空間領域をテンプレート空間領域として設定するテンプレート空間設定工程と、
前記第2時期画像群が形成する前記被写体の立体空間内前記第1時期画像群における前記テンプレート空間領域と対応し、当該対応するテンプレート空間領域の中心座標と前記第1シフトベクトルから求まる、前記テンプレート空間領域より大きい探索空間領域を設定する探索空間設定工程と、
前記探索空間領域内で対応する前記テンプレート空間領域を移動及び回転させながら、対応する前記テンプレート空間領域における前記第1時期画像群と第2時期画像群のそれぞれのCT値の相互相関を求め、当該相互相関値がも高前記テンプレート空間領域の位置からローカルマッチングの第2シフトベクトルを求める第2シフトベクトル演算工程と、
前記第1時期画像群内の第2シフトベクトルを求めていない座標を所定間隔で取り、当該座標の第2シフトベクトルを既に求めた第2シフトベクトルを用いて線形補間により求める線形補間工程と、
前記第2シフトベクトルが演算された各位置において、前記第1時期画像群と前記第2時期画像群との相互相関値の負値を外部エネルギーとし、前記各位置において隣接する前記第2シフトベクトル間の滑らかさの度合いを内部エネルギーとし、前記各位置におけるエネルギーの総量が最小となるように、前記第2シフトベクトルを更新するシフトベクトル更新工程と、
前記第1シフトベクトル及び前記第2シフトベクトルから前記第2時期画像群をワーピング処理するワーピング工程とを含み、
前記第2シフトベクトル演算工程が、前記テンプレート空間領域におけるX軸、Y軸及びZ軸のそれぞれの方向の移動量及び回転角度を遺伝子とし、対応する前記第1時期画像群と第2時期画像群とのそれぞれのCT値における相互相関値を適合度とする遺伝アルゴリズムを用いて第2シフトベクトルを演算することを特徴とする医用画像処理方法。
【請求項2】
前記探索空間領域が使用者の要求に応じて変更可能である
前記請求項1に記載の医用画像処理方法。
【請求項3】
前記第1時期画像群とワーピング処理後の前記第2時期画像群同時に出力する工程を含む
前記請求項1または2に記載の医用画像処理方法。
【請求項4】
前記第1時期画像群とワーピング処理後の前記第2時期画像群の差分画像を求めて出力する工程を含む
前記請求項1または2に記載の医用画像処理方法。
【請求項5】
第1の時期に被写体の断層を連続して撮影して立体表示可能な第1時期画像群と、第2の時期に被写体の断層を連続して撮影して立体表示可能な第2時期画像群とを対比するための医用画像処理装置であって、
CT画像に撮影された前記被写体の注目部位画像の相互相関値を基準として、前記第1時期画像群を構成する第1時期CT画像と前記第2時期画像群を構成する第2時期CT画像との対応する組み合わせを求める組合せ演算手段と、
前記組合せ演算手段で求めた前記第1時期CT画像と前記第2時期CT画像との対応する組み合わせにおいて、注目部位を基準とした画像上のズレをグローバルマッチングの第1シフトベクトルとして求める第1シフトベクトル演算手段と、
前記第1時期画像群が形成する前記被写体の立体空間内で、所定の大きさの複数の空間領域をテンプレート空間領域として設定するテンプレート空間設定手段と、
前記第2時期画像群が形成する前記被写体の立体空間内で、前記第1時期画像群における前記テンプレート空間領域と対応し、当該対応するテンプレート空間領域の中心座標と前記第1シフトベクトルから求まる、前記テンプレート空間領域より大きい探索空間領域を設定する探索空間設定手段と、
前記探索空間領域内で対応する前記テンプレート空間領域を移動及び回転させながら、対応する前記テンプレート空間領域における前記第1時期画像群と第2時期画像群とのそれぞれのCT値の相互相関値を求め、当該相互相関値が最も高い前記テンプレート空間領域の位置からローカルマッチングの第2シフトベクトルを求める第2シフトベクトル演算手段と、
前記第1時期画像群内の第2シフトベクトルを求めていない座標を所定間隔で取り、当該座標の第2シフトベクトルを既に求めた第2シフトベクトルを用いて線形補間により求める線形補間手段と、
前記第2シフトベクトルが演算された各位置において、前記第1時期画像群と前記第2時期画像群との相互相関値の負値を外部エネルギーとし、前記各位置において隣接する前記第2シフトベクトル間の滑らかさの度合いを内部エネルギーとし、前記各位置におけるエネルギーの総量が最小となるように、前記第2シフトベクトルを更新するシフトベクトル更新手段と、
前記第1シフトベクトル及び前記第2シフトベクトルから前記第2時期画像群をワーピング処理するワーピング手段とを備え、
前記第2シフトベクトル演算手段が、前記テンプレート空間領域におけるX軸、Y軸及びZ軸のそれぞれの方向の移動量及び回転角度を遺伝子とし、対応する前記第1時期画像群と第2時期画像群とのそれぞれのCT値における相互相関値を適合度とする遺伝アルゴリズムを用いて第2シフトベクトルを演算することを特徴とする医用画像処理装置
【請求項6】
第1の時期に被写体の断層を連続して撮影して立体表示可能な第1時期画像群と、第2の時期に被写体の断層を連続して撮影して立体表示可能な第2時期画像群とを対比するための医用画像処理プログラムであって、
コンピュータを、
CT画像に撮影された前記被写体の注目部位画像の相互相関値を基準として、前記第1時期画像群を構成する第1時期CT画像と前記第2時期画像群を構成する第2時期CT画像との対応する組み合わせを求める組合せ演算手段と、
前記組合せ演算手段で求めた前記第1時期CT画像と前記第2時期CT画像との対応する組み合わせにおいて、注目部位を基準とした画像上のズレをグローバルマッチングの第1シフトベクトルとして求める第1シフトベクトル演算手段と、
前記第1時期画像群が形成する前記被写体の立体空間内で、所定の大きさの複数の空間領域をテンプレート空間領域として設定するテンプレート空間設定手段と、
前記第2時期画像群が形成する前記被写体の立体空間内で、前記第1時期画像群における前記テンプレート空間領域と対応し、当該対応するテンプレート空間領域の中心座標と前記第1シフトベクトルから求まる、前記テンプレート空間領域より大きい探索空間領域を設定する探索空間設定手段と、
前記探索空間領域内で対応する前記テンプレート空間領域を移動及び回転させながら、対応する前記テンプレート空間領域における前記第1時期画像群と第2時期画像群とのそれぞれのCT値の相互相関値を求め、当該相互相関値が最も高い前記テンプレート空間領域の位置からローカルマッチングの第2シフトベクトルを求める第2シフトベクトル演算手段と、
前記第1時期画像群内の第2シフトベクトルを求めていない座標を所定間隔で取り、当該座標の第2シフトベクトルを既に求めた第2シフトベクトルを用いて線形補間により求める線形補間手段と、
前記第2シフトベクトルが演算された各位置において、前記第1時期画像群と前記第2時期画像群との相互相関値の負値を外部エネルギーとし、前記各位置において隣接する前記第2シフトベクトル間の滑らかさの度合いを内部エネルギーとし、前記各位置におけるエネルギーの総量が最小となるように、前記第2シフトベクトルを更新するシフトベクトル更新手段と、
前記第1シフトベクトル及び前記第2シフトベクトルから前記第2時期画像群をワーピング処理するワーピング手段として機能させ、
前記第2シフトベクトル演算手段が、前記テンプレート空間領域におけるX軸、Y軸及びZ軸のそれぞれの方向の移動量及び回転角度を遺伝子とし、対応する前記第1時期画像群と第2時期画像群とのそれぞれのCT値における相互相関値を適合度とする遺伝アルゴリズムを用いて第2シフトベクトルを演算することを特徴とする医用画像処理プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、被写体を輪切状に連続して撮影して得られる3次元表示可能な画像群を画像処理する画像処理方法に関し、特に、異なる時期の同一被写体の画像群を比較可能にする画像処理方法に関する。
【背景技術】
【0002】
2次元のみで利用される異なる時期の同一被写体の画像を比較可能にする技術が、特開2005-12248号公報に画像読影支援方法として開示されている。
この背景技術の画像読影支援方法は、互いに異なる撮影条件の下で同時期に同一の被写体を撮影して取得した2以上の画像からなる第1の画像群の各々の画像(第1の画像とする)について、互いに異なる撮影条件の下で第1の画像群の撮影とは異なる時期にその被写体を撮影して取得した1以上の画像からなる第2の画像群の各々の画像(第2の画像とする)との一致性を表す指標値を算出し、算出した指標値が所定の基準を満たす第1の画像と第2の画像との組合せを1つ抽出し、この組合せを構成する両画像に含まれる被写体の位置を合わせる位置合わせ処理を行い、さらに、位置合わせ処理後の第1の画像と第2の画像との差分による差分画像を生成する構成である。
【0003】
この背景技術の画像読影支援方法によれば、第1の画像群及び第2の画像群の各画像は互いに異なる撮影条件の下で撮影され取得されたものであるから、被写体の姿勢や状態の異なる複数の画像を含んでいるため、撮影時に被写体の姿勢や状態が変化していたとしても、その変化による各々の状態で撮影された第1の画像群の各画像と第2の画像群の各画像との中からより適切な第1の画像と第2の画像との組合せを抽出することが可能になり、位置合わせ処理後の第1の画像と第2の画像とは、高い精度で位置合わせがなされたものとなり、診断者は、効率的に第1の画像と第2の画像との比較読影を行うことが可能になる。

【特許文献1】特開2005-12248号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
取り扱う画像は画像群であるものの、その画像群全体で被写体を立体的に表示することはできないものである。したがって、現在主流となりつつある立体表示可能な画像群に対して処理を実施することができないという課題を有する。
【0005】
また、背景技術を用いてもっとも近似する画像同士で2次元空間上においてローカルマッチングを実施したとしても、被写体の姿勢の変化及び被写体の変形(被写体の臓器の変形を含む)がある場合には、経時差分画像上におけるアーチファクトが大きく生じるという課題を有する。
【0006】
本発明は前記課題を解決するためになされたものであり、異なる時期の同一被写体の立体表示可能な画像群を比較可能にする画像処理装置を提供することを目的とする。また、アーチファクトの低減した経時差分画像を生成する画像処理装置を提供することも目的である。
【課題を解決するための手段】
【0007】
発明に係る医用画像処理方法は、第1の時期に被写体の断層をCTにより連続して撮影して立体表示可能な第1時期画像群と、第2の時期に被写体の断層をCTにより連続して撮影して立体表示可能な第2時期画像群とを対比するためのコンピュータを用いた医用画像処理方法であって、CT画像に撮影された前記被写体の注目部位画像の相互相関を基準として、前記第1時期画像群を構成する第1時期CT画像と前記第2時期画像群を構成する第2時期CT画像との対応する組み合わせを求める組合せ演算工程と、前記組合せ演算工程で求めた前記第1時期CT画像と前記第2時期CT画像対応する組み合わせにおいて、注目部位を基準とした画像上のズレをグローバルマッチングの第1シフトベクトルとして求める第1シフトベクトル演算工程と、前記第1時期画像群が形成する前記被写体の立体空間内で、所定の大きさの複数の空間領域をテンプレート空間領域として設定するテンプレート空間設定工程と、前記第2時期画像群が形成する前記被写体の立体空間内前記第1時期画像群における前記テンプレート空間領域と対応し、当該対応するテンプレート空間領域の中心座標と前記第1シフトベクトルから求まる、前記テンプレート空間領域より大きい探索空間領域を設定する探索空間設定工程と、前記探索空間領域内で対応する前記テンプレート空間領域を移動及び回転させながら、対応する前記テンプレート空間領域における前記第1時期画像群と第2時期画像群のそれぞれのCT値の相互相関を求め、当該相互相関値がも高前記テンプレート空間領域の位置からローカルマッチングの第2シフトベクトルを求める第2シフトベクトル演算工程と、前記第1時期画像群内の第2シフトベクトルを求めていない座標を所定間隔で取り、当該座標の第2シフトベクトルを既に求めた第2シフトベクトルを用いて線形補間により求める線形補間工程と、前記第2シフトベクトルが演算された各位置において、前記第1時期画像群と前記第2時期画像群との相互相関値の負値を外部エネルギーとし、前記各位置において隣接する前記第2シフトベクトル間の滑らかさの度合いを内部エネルギーとし、前記各位置におけるエネルギーの総量が最小となるように、前記第2シフトベクトルを更新するシフトベクトル更新工程と、前記第1シフトベクトル及び前記第2シフトベクトルから前記第2時期画像群をワーピング処理するワーピング工程とを含み、前記第2シフトベクトル演算工程が、前記テンプレート空間領域におけるX軸、Y軸及びZ軸のそれぞれの方向の移動量及び回転角度を遺伝子とし、対応する前記第1時期画像群と第2時期画像群とのそれぞれのCT値における相互相関値を適合度とする遺伝アルゴリズムを用いて第2シフトベクトルを演算するものである。

【0008】
このように本発明によれば、立体表示可能な撮影時期の異なる画像群同士において被写体の注目部位画像の立体的構造を加味したローカルマッチングのシフトベクトルを求めることができ、被写体の姿勢の変化及び被写体の変形が立体的に生じたとしても第1時期画像群と第2時期画像群を使用者が適切に対比することができるという効果を奏する。
また、ローカルマッチングを求める場合にテンプレート空間の相互相関値だけでなく既に求められた近傍のシフトベクトルとの調和を加味するので、対比時のアーチファクトの低減を実現することができるという効果を奏する。
さらに、テンプレート領域又は仮想テンプレート領域の単純な平行移動だけではなく、テンプレート領域又は仮想テンプレート領域自体の回転をさせながら相関値を求めるので、より相関値の高いローカルマッチングのシフトベクトルを求めることができるという効果を有する。つまり、第1時期画像群と第2時期画像群をより合致させた条件で対比可能となり、不一致により生じるアーチファクトを低減することができるという効果を有する。平行移動の場合には対応する画素が常に存在する一方、回転を加えると回転角度により対応する画素が存在しない場合もあるが、この場合に近傍の画素の平均値を求め、その平均値を対応する画素の階調値として用いることで対応することができる。
さらにまた、移動パラメータ(前後、左右、上下)の他に回転パラメータ(ロール、ピッチ、ヨー)も加わり、ローカルマッチングのシフトベクトルの算出時に増加した計算量を、遺伝アルゴリズムを利用して大幅に低減することができるという効果を有する。遺伝子として回転パラメータだけでなく、移動パラメータも加えることができる。
対象テンプレート空間の中心座標を除く画素の全てについて、ローカルマッチングを求める場合に対象仮想テンプレート空間の相関値だけでなく既に求められた近傍のシフトベクトルとの調和を加味することもできるし、その一部の画素について適用することもできる。その一部の画素の典型例として、対象テンプレート空間の中心座標、すなわち、テンプレートVOIの1次補間座標、2次補間座標、・・・、n次補間座標を挙げることができる。ここで、対象テンプレート空間の中心座標においても適用することも可能である。
第1の時期が第2の時期よりも後でもよいし前であってもよい。後記する実施形態では第1の時期が第2の時期よりも後で説明している。

【0013】
発明に係る医用画像処理方法は必要に応じて、前記探索空間領域が使用者の要求に応じて変更可能であるものである。
このように本発明によれば、探索領域又は仮想探索領域を変更可能にしているので、探索領域又は仮想探索領域を拡大変更することでより相関値の高いローカルマッチングのシフトベクトルを求めることができ、他方、探索領域又は仮想探索領域を縮小変更することで処理に必要な計算量が低減することができるという効果を有する。

【0014】
アーチファクトが生じている場合に、探索領域又は仮想探索領域の拡大を指示することでアーチファクトを低減する可能性がある。CTスキャナーの装置間の相違、断層のスライス幅の相違、患者の姿勢の変化、病変部の変形により、最適な探索領域の大きさは異なる。最適な探索領域とは、アーチファクトの影響が可視レベルで殆どなくなり、且つ、できるだけ探索領域が小さい場合の探索領域である。
【0015】
発明に係る医用画像処理方法は必要に応じて、前記第1時期画像群とワーピング処理後の前記第2時期画像群同時に出力する工程を含むものである。
このように本発明によれば、ワーピング処理がなされた、つまり、第2時期画像群の画素移動が実行された後に、断層画像を適切に出力することができるという効果を有する。

【0016】
発明に係る医用画像処理方法は必要に応じて、前記第1時期画像群とワーピング処理後の前記第2時期画像群の差分画像を求めて出力する工程を含むものである。
このように本発明によれば、第1時期の断層画像との差分画像を求めるので、この差分画像から使用者が第1時期と第2時期との被写体自体の内部及び外部形状の変化を容易に認識することができるという効果を有する。

【0017】
以上の発明は、方法以外に、装置及びプログラムとして把握することもできる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【発明を実施するための最良の形態】
【0018】
本発明の実施の形態を図面に基づいて詳細に説明する。本発明は多くの異なる形態で実施可能である。したがって、本実施形態の記載内容のみで解釈すべきではない。また、本実施の形態の全体を通して同じ要素には同じ符号を付けている。
本実施の形態では、主にシステムについて説明するが、当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム又は方法としても実施できる。したがって、本発明は、ハードウェアとしての実施形態、ソフトウェアとしての実施形態またはソフトウェアとハードウェアとの組合せの実施形態をとることができる。プログラムは、ハードディスク、CD-ROM、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。
【0019】
(本発明の第1の実施形態)
[1.システム構成]
図1は本実施形態に係る画像処理装置を含むシステム構成図である。
本実施形態に係るシステムは、被写体を高さ方向に所定間隔で撮影するCTスキャナー10と、CTスキャナー10で生成された画像群を画像処理してディスプレイに出力するコンピュータ30とからなる。CTスキャナー10とコンピュータ30はLAN20を介して接続している。
【0020】
[2.ハードウェア構成]
図2は本実施形態に係る画像処理装置が構築されているコンピュータのハードウェア構成図である。
画像処理装置が構築されているコンピュータ30は、CPU(Central Processing Unit)311、RAM(Random Access Memory)312、ROM(Read Only Memory)313、フラッシュメモリ(Flash memory)314、外部記憶装置であるHD(Hard disk)315、LAN(Local Area Network)カード316、マウス317、キーボード318、ビデオカード319、このビデオカード319と電気的に接続する表示装置であるディスプレイ319a、319b、139c、サウンドカード320、このサウンドカード320と電気的に接続する音出力装置であるスピーカ320a及びフロッピーディスク(登録商標)、CD-ROM、DVD-ROM等の記憶媒体を読み書きするドライブ321からなる。ここで、コンピュータ30はディスプレイを3台有しており、1つのサウンドカード320と接続しているが、それぞれのディスプレイ毎にサウンドカードを有している構成であってもよい。
【0021】
コンピュータ30に画像処理プログラムがインストール、つまり、HD315に複製されメインメモリ上に読み出し可能な状態とされ、実際にメインメモリ上に画像処理プログラムが読み出されCPU311がその画像処理プログラムに従って動作することでコンピュータ30は画像処理装置の動作を行う。
【0022】
[3.画像処理装置]
図3は本実施形態に係る画像処理装置のブロック構成図である。
画像処理装置30は、入力部31、画像処理部32及び出力部33からなる。
入力部31は、CTスキャナー10で生成された画像群を取り込む機能を有する。ある被写体に関してCTスキャナー10で生成された画像群はLAN20を介してコンピュータ30に送信され、コンピュータ30はHD315に記録する。入力部10は送信された画像群又はHD315に記録された画像群から同一被写体に関する現在画像群及び過去画像群を取り込む。
【0023】
コンピュータ30にはCTスキャナー10を制御する機能を有する構成にすることもでき、この場合には使用者がCTスキャナー10に対して撮影命令を出力し、CTスキャナー10が指定された撮影条件で被写体を撮影し、画像群がコンピュータ30に送信されることになる。
画像処理部32は入力部31により取り込まれた画像群を画像処理し、グローバルマッチング部32a、ローカルマッチング部32b、ワーピング部32c及び差分画像生成部32dからなる。
【0024】
グローバルマッチング部32aは、肺野領域の相関を基準として現在画像群の現在画像と過去画像群の過去画像の組み合せ、現在画像の肺野領域を組み合わせられた過去画像内で移動させ、その中で最も相関が高かった位置を特定し、その位置を基準とした現在画像と対応する過去画像とのズレをグローバルマッチングのシフトベクトルとして求める機能を有する。現在又は過去に拘らず、画像群は同一被写体の所定間隔の断層画像からなる。撮影条件により現在画像群のn枚目が必ず過去画像群のn枚目に相当しないことから、現在画像群と過去画像群の中で対応する画像同士を見つける必要がある。ただし、このように現在画像と過去画像の組み合わせを見つける方法としては、使用者自ら指定する方法、最初の組み合わせを見つけてそれ以降はその組み合わせを基準にする方法をとることができる。
【0025】
ローカルマッチング部32bは、現在画像群からなる被写体の立体空間に所定間隔でテンプレートVOIを複数設定し、このテンプレートVOIを中心とする所定矩形空間(長方体、立方体)のテンプレート領域に対し、過去画像群からなる被写体の立体空間内のCT値(画素値)に関して相関が高い領域を求め、領域同士のズレをローカルマッチングのシフトベクトルとして求める機能を有する。ローカルマッチング部32bはグローバルマッチングのシフトベクトルを前提にしてローカルマッチングのシフトベクトルを求めている。
【0026】
図4は本実施形態に係るローカルマッチングの説明図である。あるテンプレートVOIを中心とするテンプレート領域が現在画像群からなる被写体の立体空間で設定される。また、このテンプレートVOIにグローバルマッチングのシフトベクトルを加算して求めることができる対応する探索VOIを中心とするテンプレート領域よりも大きい探索領域も設定される。そして、設定されたテンプレート領域を探索領域内で移動させ、各地点の相互相関値を求め、移動させた中で最も高い相互相関値が求められた地点を求め、ローカルマッチングのシフトベクトルを求める。
【0027】
この図4で説明した仕組みで各テンプレートVOIのローカルマッチングのシフトベクトルを求めることができる。テンプレートVOI以外の点のローカルマッチングのシフトベクトルについては、シフトベクトルを用いて線形補間にて求めることができる。
ワーピング部32cは、このテンプレートVOI以外の点のローカルマッチングのシフトベクトルを求め、グローバルマッチングのシフトベクトルとローカルマッチングのシフトベクトルから過去画像群を3次元にワーピングする機能を有する。
【0028】
図5又は図6は本実施形態に係るelastic matching法による補間の説明図である。図5(a)は2次元に関するものであり、図5(b)は3次元に関するものである。図5(a)は説明の便宜上図示している。テンプレートVOIを元に1次補間点を求め、テンプレートVOI及び1次補間点を元に2次補間点を求めている。つまり、n次元補間点は、テンプレートVOI及び(n-1)次元以下の補間点から求めることができる。図5(b)に示すように、3次元であっても同様である。なお、テンプレートVOIから突出している白抜き矢印はテンプレートVOIのローカルマッチングのシフトベクトルである。
【0029】
図6(a)に示すように、本実施形態では注目部位の肺野領域内にテンプレートVOIを設定している。前説したテンプレートVOI以外の点のローカルマッチングのシフトベクトルを求める場合には線形補間を使用するが、図6(b)に示すように、線形補間を利用した場合には近傍であっても大きくベクトルの方向及び大きさが異なる。発明者の鋭意努力によりこの近傍点同士の相違とアーチファクトの発生が因果関係があることが判明している。これはローカルマッチングにおけるテンプレートVOIのシフトベクトルから線形補間を行う場合、3次元空間における線形補間の柔軟性が欠如し、アーチファクトが生じることが原因の1つである。
【0030】
したがって、アーチファクトの低減を図るため、全てのローカルマッチングのシフトベクトルに対するElastic matchingによる非線形補間を実行する。Elastic matchingにより、3次元過去-現在画像群間の相関、及び、ローカルシフトベクトル間の円滑さを同時に考慮でき、ローカルシフトベクトルの正確な補間が可能となる。
【0031】
本実施形態では3次元情報を対象としてElastic matching法を適用し、シフトベクトルは3次元空間内に生じている変形の度合いを表している。
本実施形態で用いるElastic matching法では、画像間の相関を表す外部エネルギーと、シフトベクトル間の円滑さを表す内部エネルギーを、各補間点において求める。外部エネルギーは、補間を行うシフトベクトルにおける、現在画像と過去画像におけるテンプレートの相関値の負値で与える。したがって、相関値が高いほど、外部エネルギーは低い値をとる。一方、内部エネルギーは、シフトベクトルの1次、及び、2次微分値のノルムで与え、シフトベクトルが滑らかなほど、内部エネルギーは低い値をとることになる。以下に、外部エネルギー及び内部エネルギーの式をそれぞれ示す。
【0032】
【数1】
JP0004887491B2_000002t.gif

【0033】
【数2】
JP0004887491B2_000003t.gif

【0034】
【数3】
JP0004887491B2_000004t.gif

【0035】
ただし、t(x, y, z)は過去画像における3次元テンプレートを、f(x, y, z)は現在画像における3次元テンプレートをそれぞれ示す。また、(1)式においてVはテンプレート画像の定義域を示す。さらに、(2)式においてt(dx, dy, dz)は過去画像におけるローカルシフトベクトルを示す。すなわち、外部エネルギーと内部エネルギーの重み付き線形和を、その補間点におけるローカルエネルギーとして、全ての補間点のローカルエネルギーの総量が最小となるように、補間シフトベクトルを決定する。
このようなElastic matching法を用いることで、図6(c)に示すように、近傍で類似するベクトルを有するシフトベクトルを求めることができる。
差分画像生成部32dは、現在画像とワーピングに得られた過去画像の差分をとり差分画像を生成する機能を有する。
【0036】
[4.動作]
図7は本実施形態に係る画像処理装置の概要フローチャートである。
まず、現在画像群と過去画像群とを合わせるために過去画像群の拡大、縮小(ステップ100)、グローバルマッチング(ステップ200)、ローカルマッチング(ステップ300)、ワーピング(ステップ400)、差分処理(500)を順に実行する。各処理について以下図面を用いて説明する。
【0037】
図8は本実施形態に係るグローバルマッチングの詳細フローチャートである。
CPU311はGaussianフィルタで現在画像群及び過去画像群をぼかす(ステップ201)。CPU311は現在画像群から一の画像を取り出す(ステップ211)。CPU311は対象現在画像から肺野を含むテンプレート画像を生成する(ステップ221)。CPU311はテンプレート画像をクロージングする(ステップ222)。ここで、クロージング処理によってスムージングしている。
【0038】
CPU311は過去画像群から一の過去画像を取り出す(ステップ231)。CPU311はテンプレート画像と対象過去画像から2次元相関値を求める(ステップ241)。CPU311は対象過去画像のすべての領域で求めたか否かを判断し(ステップ251)、全て求めていない判断した場合にはCPU311は比較領域を変更(ステップ261)してステップ241に戻る。
【0039】
前記ステップ251で全ての領域で求めたと判断した場合には、CPU311は全ての過去画像を対象としたか否かを判断する(ステップ271)。全てを対象としていないと判断した場合にはステップ231に戻る。全てを対象としたと判断した場合には、CPU311は最も相関値の高い過去画像を特定する(ステップ281)。CPU311は対象現在画像と特定した過去画像を関連付けてそのときのシフトベクトルを記録する(ステップ282)。
CPU311は全ての現在画像を処理したか否かを判断し(ステップ291)、全て処理していないと判断した場合にステップ211に戻り、全て処理したと判断した場合にはグローバルマッチングを終了する。
【0040】
図9は本実施形態に係るローカルマッチングの詳細フローチャートである。
CPU311は肺野領域の現画像群を取り出す(ステップ301)。CPU311は肺野領域の現画像群に対してテンプレートVOIを設定する(ステップ302)。
CPU311は対象テンプレートVOIを取り出す(ステップ311)。CPU311は対象テンプレートVOIにグローバルマッチングのシフトベクトルを用いて過去画像群での探索領域VOIを求める(ステップ312)。CPU311は現在画像群の対象テンプレート領域と過去画像群の探索領域内の対象テンプレート対応領域との3次元相関値を求める(ステップ313)。CPU311は探索領域内の全ての位置で3次元相関値を求めたか否かを判断する(ステップ314)。求めていないと判断した場合には、CPU311は探索領域内で対象テンプレート領域をボクセル毎に移動させて(ステップ315)、ステップ313に戻る。
【0041】
前記ステップ314で求めたと判断した場合には、CPU311は現在対象としているテンプレート領域に関して求めた相関値の中で最も高い値であった位置を特定し、その位置からシフトベクトルを求める(ステップ321)。CPU311は求めたシフトベクトルをテンプレートVOIに関連付けてメインメモリ上に記録する(ステップ322)。
CPU311は全てのテンプレートVOIのシフトベクトルを求めたか否かを判断し(ステップ331)、求めていないと判断した場合にはステップ311に戻る。前記ステップ331で求めたと判断した場合には、ローカルマッチングを終了する。
【0042】
図10は本実施形態に係るワーピングの詳細フローチャートその1である。
CPU311はテンプレートVOIから1次補間点を求める(ステップ401)。CPU311はテンプレートVOIのシフトベクトルから線形補間法で1次補間点でのシフトベクトルを求める(ステップ402)。CPU311はテンプレートVOI及び1次補間点を仮想テンプレートVOIとする(ステップ403)。
【0043】
CPU311は仮想対象テンプレートVOIを取り出す(ステップ411)。CPU311は仮想対象テンプレートVOIにグローバルマッチングのシフトベクトルを用いて過去画像群での仮想探索領域VOIを求める(ステップ412)。CPU311は現在画像群の仮想対象テンプレート領域と過去画像群の仮想探索領域内の対象テンプレート対応領域とのエネルギー(外部エネルギー及び内部エネルギー)を求める(ステップ413)。ここで、内部エネルギーを求める場合には、近傍の仮想テンプレートVOIのシフトベクトルを用いる。たとえば、仮想対象テンプレートVOIの3軸方向に位置する仮想テンプレートVOIのシフトベクトルを用いる。CPU311は仮想探索領域内の全ての位置でエネルギーを求めたか否かを判断する(ステップ414)。求めていないと判断した場合には、CPU311は仮想探索領域内で対象テンプレート領域をボクセル毎に移動させて(ステップ415)、ステップ413に戻る。
【0044】
前記ステップ414で求めたと判断した場合には、CPU311は現在対象としている仮想テンプレート領域に関して求めた相関値の中で最も高い値であった位置を特定し、その位置からシフトベクトルを求める(ステップ421)。CPU311は求めたシフトベクトルを仮想テンプレートVOIに関連付けてメインメモリ上に記録する(ステップ422)。
【0045】
CPU311は全ての仮想テンプレートVOIのシフトベクトルを求めたか否かを判断し(ステップ431)、求めていないと判断した場合にはステップ411に戻る。求めていると判断した場合には、CPU311は新たに更新したシフトベクトルをもつ仮想テンプレートVOI数が全ての仮想テンプレートの5[%]以下であるか否かを判断する(ステップ432)。以下でないと判断した場合にはステップ411に戻る。
ここまでの処理によりメインメモリ上には仮想テンプレートVOI、つまり、テンプレートVOI及び1次補間点のローカルシフトベクトルが記録されている。
【0046】
図11は本実施形態に係るワーピングの詳細フローチャートその2及び差分処理の詳細フローチャートである。テンプレートVOI及び1次補間点のローカルシフトベクトルは既に求まっているので、その他の点についてローカルシフトベクトルを求める。
CPU311はテンプレートVOI及び(n-1)次以下の補間点からn次補間点を求める(ステップ441)。CPU311はテンプレートVOI及び(n-1)次以下の補間点のローカルシフトベクトルから線形補間法でn次補間点のローカルシフトベクトルを求める(ステップ442)。CPU311は求めたローカルシフトベクトルをn次補間点に関連付けてメインメモリに記録する(ステップ443)。CPU311は現在画像群の全てのボクセルでシフトベクトルを求めたか否かを判断し(ステップ444)、求めていないと判断した場合にはCPU311はnをインクリメント(ステップ445)してステップ441に戻る。
【0047】
前記ステップ444で求めていると判断した場合にはCPU311は求めた各ボクセルにおけるグローバルシフトベクトル及びローカルシフトベクトルを用いて過去画像群をワーピングする(ステップ451)。
CPU311は現在画像群及びワーピングした過去画像群から差分画像を求める(ステップ501)。CPU311はディスプレイ319aに差分画像を出力する(ステップ511)。各差分画像とともに現在画像及び過去画像をディスプレイ319b、319cに出力することもできる。
【0048】
[5.効果]
このように本実施形態に係る画像処理装置によれば、現在画像群を構成する現在画像と過去画像群を構成する過去画像とを単に最も相関する画像同士に対してグローバルマッチング、ローカルマッチング及びワーピングを実行して差分画像を出力するのではなく、現在画像群からなる立体物と過去画像群からなる立体物に対してローカルマッチングを行い、ワーピングして差分画像を出力するので、2軸ではなく3軸方向の動きに対応してアーチファクトを低減することができる。
【0049】
(その他の実施形態)
[1.テンプレート領域の回転:Obtaining cross-correlation value employing rotation operator on the VOI+遺伝的アルゴリズム]
肺野領域内における,同一部位の経時的な位置ずれを補正するために、ローカルマッチングを行う。ローカルマッチングでは、具体的に肺野領域内に多数設置したVOI(Volume of Interest)における、シフトベクトルを求める。ここで、シフトベクトルとは、位置ずれを補正するための、過去画像の変形量(平行移動量)を示す。前記第1の実施形態では、経時画像間の同一部位の類似性を考慮するために、3次元相互相関値を計算し、シフトベクトルを決定する。始めに、現在肺野領域内にテンプレートVOIを、過去肺野領域内に探索VOIを多数設置する。また隣り合うVOIが半分ずつオーバーラップするように,等間隔にテンプレートVOIを配置する。次に,テンプレートVOIを用い、対応する探索VOI内を1ボクセルずつ走査しながら3次元相互相関値を計測する。探索VOIの中心から相互相関値が最大となる点への移動量を、求めるシフトベクトルとする。このようにして前記第1の実施形態ではシフトベクトルを求めたが、テンプレートVOIの走査時に、x,y,z軸に対するテンプレートの回転処理を行いながら相互相関値を計測することにより,より相互相関値の高いシフトベクトルの算出が可能となる(図12参照)。
【0050】
ここで、相互相関値の計測に回転処理を加えることにより,計算コストが格段に増加する。そこで,計算コストの低減を図るために,GA(Genetic Algorithm)を用いた探索法を提案する。GAを用いた探索法のフローチャートを図13に示す。遺伝子には(dx,dy,dz,dθ,dφ,dψ)を用い、適合度には3次元相互相関値を用いる。前記ステップ315、415の移動と同様に回転を加えて処理し、メインメモリの記録時にx、y、zだけでなく、θ、φ、ψも記録する。回転を加えて3次元相互相関値を求める場合に回転後の位置に対応するCT値がない場合があるが、その位置の周辺のCT値を平均値を用いることとする。
具体的に、前記第1の実施形態に適用すると、ローカルマッチングへの適用の場合を図14が示し、ワーピングへの適用の場合を図15が示す。すなわち、探索領域に適用する場合と、仮想探索領域に適用する場合である。図15では適合度にエネルギーを用いたが、3次元相互相関値であってもよい。
【0051】
[2.探索領域変更:Expanded search region]
Elastic matching法において、求めるシフトベクトルのノルムの上限を決定する、探索領域のスケールの拡張を行う。探索領域のスケールを大きくすることにより、大きな変形を考慮できるが、計算コストが大きくなる。従来のスケールでは、左右肺野において、下葉部における経時的変形量が大きく、Elastic matching法により最適なシフトベクトルが得られなかった。そこで,従来の探索領域のスケールを拡張することにより(図16参照)、この問題を解決する。ここで、探索領域だけでなく仮想探索領域を拡大してもよい。
【0052】
図17は前記第1の実施形態に適用した場合を示す。差分画像を出力した後に、探索領域を変更するか否かを判断する(ステップ801)。この前に利用者に対して探索領域の変更によりアーチファクトの低減が望める旨を報知することが望ましい。変更しないと判断した場合にはステップ801に戻る。変更すると判断した場合には現在の探索領域のサイズ、求めたローカルシフトベクトル、ワーピング後の過去画像及び差分画像をHD315に記録する(ステップ802)。利用者により指定された探索領域のサイズで、前記ステップ313ないしステップ501を実行する(ステップ810)。求まった差分画像をステップ802で記録した差分画像と対比可能に出力し(ステップ821)、ステップ801に戻る。ここで、ステップ801に戻るのは対比結果によりアーチファクトの低減が達成できた場合にはさらに探索領域のサイズを変更して差分画像を求めるためである。
【0053】
[3.適用範囲拡張:Expanded applying region]
Elastic matching法の適用範囲の拡張を行う。前記第1の実施形態では、テンプレートVOIとその1次補間点において求められたシフトベクトルに対してのみ適用していたが、さらに2次補間点におけるシフトベクトルについても同様に処理を行うことにより、経時差分画像上に生じるアーチファクトの低減を図る。2次補間点以上のn次補間点までElastic matching法を適用することもできる。このとき、テンプレートVOIからn次補間点全てにElastic matching法を適用してもよいし、部分的に適用してもよい。部分的にはとは、例えば、テンプレートVOI、3次補間点のみにElastic matching法を適用することである。
【0054】
[4.分立体画像]
前記第1の実施形態においては差分画像を生成していたが、現在画像群からなる被写体の現在の立体空間と、ワーピング後の過去画像群からなる被写体の過去の立体空間とを画像ではなく直接空間同士として比較することもでき、複数の差分画像を差分画像に毎使用者が参照して経時的変化のある部位(異常組織)を発見するのではなく、立体的な視点で差分立体空間を参照することでより迅速に経時的変化のある部位を発見することができる。また、経時的変化のある部位を立体的に見ることができ、その大きさ、形状をより直感的に把握することができる。
【0055】
そして、経時的変化のある部位を使用者が特定し、現在画像群での領域を顕示して表示することで、他部位と経時的変化のある部位とを比較して見ることができる。
また、現在と過去の2時点ではなく、他の複数の過去の時点の過去画像群を参照し、前記経時的変化のある部位をそれぞれの過去画像群での領域でも顕示して表示し、順次表示していくことで、経時的変化のある部位の経時的変化を把握することができる。
【0056】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【実施例】
【0057】
まず、補間点における初期シフトベクトルを、VOI上のシフトベクトルの線形補間により決定する。次に、初期シフトベクトルを用い、各補間点における初期ローカルエネルギーを求めておく。さらに各補間点においてシフトベクトルをGreedyアルゴリズム(D.J. William ans M.Shak, “A fast algorithm for active contours and curvature estimation”, Computer Vis. Graph, Image Process, Image Understand, 55, 14-26(1992))により更新する。ここで、補間点におけるシフトベクトルは、3次元ベクトル(dx, dy, dz)と表すことができる。Greedyアルゴリズムにより、各補間点のシフトベクトルは、ローカルエネルギーが最小となるように、ベクトル検索領域(N×N×N)内のシフトベクトルに更新される。ここで、Nは計算コストとシフトベクトル値の変動を考慮し、実験的に求めた値である。
以上の処理を全ての補間点に適用し、シフトベクトルの更新を行う。更新する補間点数が、全補間点の5パーセント以下になるまでElastic matching法による補間を繰り返す。
【0058】
最後に、VOI及び1次補間点におけるシフトベクトルから、線形補間法にて過去CT画像全体のローカルシフトベクトルを算出する。得られた各ボクセルのローカルシフトベクトルとグローバルシフトベクトルを用い、過去画像を非線形に変形してワーピング画像を作成後、現在CT画像からワーピングされた過去CT画像を減算することにより経時的サブトラクションCT画像を作成した。
【0059】
図18にローカルシフトベクトルの補間に線形補間を用いた場合と、Elastic matching法を用いた場合の経時的サブトラクションCT画像の比較を示す。図18において、左図は線形補間のみを用いた場合のサブトラクションCT画像を、右図はElastic matching法により得られるサブトラクションCT画像をそれぞれ示す。同図に示すように、Elstic matching法を用いることにより、血管部の位置ずれによるアーチファクトが軽減されていることがわかる。
【0060】
[2.探索領域変更:Expanded search region]の結果を図19に示す。左図は従来のスケールを示し、右図は新たに設定したスケールにより求められた差分画像を示す。丸印囲み部分を対比すると右図のがよりアーチファクトが低減していることが分かる。
【0061】
[3.適用範囲拡張:Expanded applying region]の結果を図20に示す。左図は1次補間点まで求めた場合を示し、右図は2次補間点まで求めた場合を示す。丸印囲み部分を対比すると右図がよりアーチファクトが低減していることが分かる。
【図面の簡単な説明】
【0062】
【図1】本発明の第1の実施形態に係る画像処理装置を含むシステム構成図である。
【図2】本発明の第1の実施形態に係る画像処理装置が構築されているコンピュータのハードウェア構成図である。
【図3】本発明の第1の実施形態に係る画像処理装置のブロック構成図である。
【図4】本発明の第1の実施形態に係るローカルマッチングの説明図である。
【図5】本発明の第1の実施形態に係るelastic matching法による補間の説明図である。
【図6】本発明の第1の実施形態に係るelastic matching法による補間の説明図である。
【図7】本発明の第1の実施形態に係る画像処理装置の概要フローチャートである。
【図8】本発明の第1の実施形態に係るグローバルマッチングの詳細フローチャートである。
【図9】本発明の第1の実施形態に係るローカルマッチングの詳細フローチャートである。
【図10】本発明の第1の実施形態に係るワーピングの詳細フローチャートその1である。
【図11】本発明の第1の実施形態に係るワーピングの詳細フローチャートその2及び差分処理の詳細フローチャートである。
【図12】本発明のその他の実施形態に係るテンプレート領域の回転操作の説明図である。
【図13】本発明のその他の実施形態に係る遺伝アルゴリズムを適用したシフトベクトルの求め方の説明図である。
【図14】本発明のその他の実施形態に係る遺伝アルゴリズム適用時の詳細フローチャートである。
【図15】本発明のその他の実施形態に係る遺伝アルゴリズム適用時の詳細フローチャートである。
【図16】本発明のその他の実施形態に係る探索領域の拡大操作の説明図である。
【図17】本発明のその他の実施形態に係る探索領域拡大の詳細フローチャートである。
【図18】実施例の実験結果(第1の実施形態の構成)である。
【図19】実施例の実験結果(探索領域変更の構成)である。
【図20】実施例の実験結果(適用範囲拡張の構成)である。
【符号の説明】
【0063】
10 CTスキャナー
20 LAN
30 コンピュータ
31 入力部
32 画像処理部
32a グローバルマッチング部
32b ローカルマッチング部
32c ワーピング部
32d 差分画像生成部
33 出力部
311 CPU
312 RAM
313 ROM
314 フラッシュメモリ
315 HD
316 LANカード
317 マウス
318 キーボード
319 ビデオカード
319a ディスプレイ
319b ディスプレイ
319c ディスプレイ
320 サウンドカード
320a スピーカ
321 ドライブ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19