TOP > 国内特許検索 > 画像処理装置、方法、及びプログラム

画像処理装置、方法、及びプログラム

国内特許コード P170014214
整理番号 (S2014-1293-N0)
掲載日 2017年6月14日
出願番号 特願2016-544238
出願日 平成27年8月19日(2015.8.19)
国際出願番号 JP2015073277
国際公開番号 WO2016027840
国際出願日 平成27年8月19日(2015.8.19)
国際公開日 平成28年2月25日(2016.2.25)
優先権データ
  • 特願2014-169911 (2014.8.22) JP
発明者
  • 清水 昭伸
  • 斉藤 篤
出願人
  • 国立大学法人東京農工大学
発明の名称 画像処理装置、方法、及びプログラム
発明の概要 受付部102が、入力画像を受け付ける。セグメンテーション部114が、予め計算された固有ベクトルを基底とする固有空間であって、固有空間上の点が、特定の物体の形状の統計的変動を表す統計的形状モデルの形状パラメータを示す固有空間において、固有空間上の点が示す形状パラメータが表す特定の物体の形状の尤もらしさと入力画像中の隣接画素間の画素値の差とに応じた値を表す予め定められた目的関数を最適化するように、入力画像が表す被写体の形状を表す形状パラメータを推定し、推定された形状パラメータが表す特定の物体の形状を事前知識として、被写体の領域を、入力画像から抽出する。これによって、計算量の増大を抑制して、被写体の領域を精度よく抽出することができる。
従来技術、競合技術の概要


デジタル画像の中からコンピュータを用いて図形を認識する処理はセグメンテーションと呼ばれるが、対象図形のSNが低く、かつ、形状が統計的に変動する場合、正確なセグメンテーションは非常に難しくなる。



グラフカット(例えば、Boykov, Y., Veksler, O., Zabih, R.,“Fast approximate energy minimization via graph cuts.”, Pattern Analysis and Machine Intelligence, IEEE Transactions on 23 (11), 2001, p.1222‐1239.を参照。)などの最適化理論に基づくセグメンテーションアルゴリズムは、目的関数を真に最適化できるという意味で従来のアルゴリズムより優れており、SNが低い場合にもしばしば非常に高い性能を示した。しかし、それでも形状が変動する場合には正確に認識できないことがしばしばあった。



そこで、最近は、最適化理論に基づくアルゴリズムにおいて図形の形状情報を利用する方法が主流になってきたが、それらは、大まかに次の3通りに分けられる。



1つ目の方法としては、単一の形状テンプレートを利用する方法である。例えば、一般的形状テンプレートとして、楕円形状のテンプレート(例えば、Slabaugh, G., Unal, G., Sept, “Graph cuts segmentation using an elliptical shape prior.”, In: IEEE International Conference on Image Processing, 2005, Vol. 2. p.II‐1222‐5.を参照。)を用いる手法や、塊状図形のテンプレート(例えば、Funka-Lea, G., Boykov, Y., Florin, C., Jolly, M.‐P., Moreau-Gobard, R., Ramaraj, R., Rinck, D., 2006. “Automatic heart isolation for CT coronary visualization using graph-cuts.”, In: Biomedical Imaging: Nano to Macro, 3rd IEEE International Symposium on. IEEE, 2006, p.614‐617.を参照。)を利用する方法が知られている。
また、特定の形状テンプレートとして、ユーザ定義の任意形状(例えば、Freedman, D., Zhang, T., “Interactive graph cut based segmentation with shape priors.”, In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Vol. 1. IEEE, 2005, p.755‐762.を参照。)を用いる手法や、統計モデルから選択した形状(例えば、Grosgeorge, D., Petitjean, C., Dacher, J.-N., Ruan, S., “Graph cut segmentation with a statistical shape model in cardiac mri.”, Computer Vision and Image Understanding 117 (9), 2013, p.1027‐1035.,Akinobu Shimizu, Keita Nakagomi, Takuya Narihira, Hidefumi Kobatake, Shigeru Nawano, Kenji Shinozaki, Koich Ishizu, and Kaori Togashi, “Automated Segmentation of 3D CT Images based on Statistical Atlas and Graph Cuts”, Proc. of MICCAI workshop MCV, 2010, p.129-138.,Malcolm, J., Rathi, Y., Tannenbaum, A., “Graph cut segmentation with nonlinear shape priors.”, In: Image Processing, 2007. ICIP 2007. IEEE International Conference on. Vol. 4. IEEE, 2007, p.IV‐365.を参照。)を用いる手法が知られている。



2つ目の方法としては、複数(数個)の形状テンプレートや形状の確率的表現を利用する方法である。例えば、統計モデルから選択した複数形状(例えば、Nakagomi, K., Shimizu, A., Kobatake, H., Yakami, M., Fujimoto, K., Togashi, K., “Multi-shape graph cuts with neighbor prior constraints and its application to lung segmentation from a chest CT volume.”, Medical image analysis 17 (1), 2013, p.62‐77.を参照。)を用いる手法や、形状の確率的表現(例えば、Linguraru, M. G., Pura, J. A., Pamulapati, V., Summers, R. M., “Statistical 4d graphs for multi-organ abdominal segmentation from multiphase CT.”, Medical image analysis 16 (4), 2012, p.904‐914.を参照。)を用いる手法が知られている。



3つ目の方法としては、大量(数十以上)の形状テンプレートを利用する方法である。例えば、特定の問題用(例えば、Kohli, P., Rihan, J., Bray, M., Torr, P. H., “Simultaneous segmentation and pose estimation of humans using dynamic graph cuts.”, International Journal of Computer Vision 79 (3), 2008, p.285‐298.を参照。)のテンプレートを用いる手法や、任意の大量の図形形状(例えば、米国特許第8249349号明細書を参照。)を用いる手法が知られている。

産業上の利用分野


本発明は、画像処理装置、方法、及びプログラムに係り、特に、被写体の領域を抽出する画像処理装置、方法、及びプログラムに関するものである。

特許請求の範囲 【請求項1】
特定の物体である被写体を表す入力画像から、前記被写体の領域を抽出する画像処理装置であって、
前記入力画像を受け付ける受付手段と、
(A)前記被写体を表す学習用の複数の画像であって、前記被写体の領域が予め求められた前記複数の画像に基づいて予め計算された固有ベクトルを基底とする固有空間であって、かつ、(B)固有空間上の点が、前記特定の物体の形状の統計的変動を表す統計的形状モデルの形状パラメータを示す固有空間において、
前記入力画像に基づいて、前記固有空間上の点が示す前記形状パラメータが表す前記特定の物体の形状の尤もらしさと前記入力画像中の隣接画素間の画素値の差とに応じた値を表す予め定められた目的関数を最適化するように、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、
前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出するセグメンテーション手段と、
を含む画像処理装置。

【請求項2】
前記セグメンテーション手段は、前記固有空間において、
前記入力画像に基づいて、前記目的関数を最適化するように、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定すると同時に、
前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項1記載の画像処理装置。

【請求項3】
前記セグメンテーション手段は、
最適な形状パラメータを示す点が表す前記特定の物体の形状を含む形状集合を表す前記固有空間上の凸多胞体を繰り返し分割して最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索する探索アルゴリズムに従って、前記目的関数を最適化するように、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、
前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項1又は請求項2記載の画像処理装置。

【請求項4】
前記セグメンテーション手段は、前記探索アルゴリズムにおいて、前記凸多胞体に含まれる形状集合に対する前記目的関数の下界を計算することにより、最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索して、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項3記載の画像処理装置。

【請求項5】
前記セグメンテーション手段は、分割後の2つの凸多胞体の体積が対応するように、前記固有空間上の凸多胞体を分割し、かつ、最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索することを繰り返して、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項4記載の画像処理装置。

【請求項6】
前記セグメンテーション手段は、前記固有空間上にサンプリング点を設定し、前記固有空間上に設定されたサンプリング点から決定される超平面を用いて前記凸多胞体を分割して最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索することを繰り返して、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、
前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項4又は請求項5記載の画像処理装置。

【請求項7】
前記セグメンテーション手段は、任意に、前記固有空間上にサンプリング点を設定する請求項4又は請求項5記載の画像処理装置。

【請求項8】
前記目的関数は、前記特定の物体の形状の尤もらしさとして、前記形状パラメータが表す前記特定の物体の形状に対する画素における形状ラベルの値に関して単調に変化する単調関数を含む請求項1~請求項7の何れか1項記載の画像処理装置。

【請求項9】
前記探索アルゴリズムは、Branch and bound法及びグラフカット法である請求項3~請求項8の何れか1項記載の画像処理装置。

【請求項10】
受付手段、及びセグメンテーション手段を含み、特定の物体である被写体を表す入力画像から、前記被写体の領域を抽出する画像処理装置における画像処理方法であって、
前記受付手段が、前記入力画像を受け付けるステップと、
前記セグメンテーション手段が、(A)前記被写体を表す学習用の複数の画像であって、前記被写体の領域が予め求められた前記複数の画像に基づいて予め計算された固有ベクトルを基底とする固有空間であって、かつ、(B)固有空間上の点が、前記特定の物体の形状の統計的変動を表す統計的形状モデルの形状パラメータを示す固有空間において、前記入力画像に基づいて、前記固有空間上の点が示す前記形状パラメータが表す前記特定の物体の形状の尤もらしさと前記入力画像中の隣接画素間の画素値の差とに応じた値を表す予め定められた目的関数を最適化するように、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出するステップと、
を含む画像処理方法。

【請求項11】
前記セグメンテーション手段が、前記被写体の領域を、前記入力画像から抽出するステップは、
前記固有空間において、
前記入力画像に基づいて、前記目的関数を最適化するように、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定すると同時に、
前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項10記載の画像処理方法。

【請求項12】
前記セグメンテーション手段が、前記被写体の領域を、前記入力画像から抽出するステップは、
最適な形状パラメータを示す点が表す前記特定の物体の形状を含む形状集合を表す前記固有空間上の凸多胞体を繰り返し分割して最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索する探索アルゴリズムに従って、前記目的関数を最適化するように、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項11記載の画像処理方法。

【請求項13】
前記セグメンテーション手段が、前記被写体の領域を、前記入力画像から抽出するステップは、前記探索アルゴリズムにおいて、前記凸多胞体に含まれる形状集合に対する前記目的関数の下界を計算することにより、最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索して前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項12記載の画像処理方法。

【請求項14】
前記セグメンテーション手段が、前記被写体の領域を、前記入力画像から抽出するステップは、分割後の2つの凸多胞体の体積が対応するように、前記固有空間上の凸多胞体を分割し、かつ、最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索することを繰り返して、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項13記載の画像処理方法。

【請求項15】
前記セグメンテーション手段が、前記被写体の領域を、前記入力画像から抽出するステップは、前記固有空間上にサンプリング点を設定し、前記固有空間上に設定されたサンプリング点から決定される超平面を用いて前記凸多胞体を分割して最適な形状パラメータを示す点を含む前記固有空間上の凸多胞体を探索することを繰り返して、前記入力画像が表す前記被写体の形状を表す前記形状パラメータを推定し、
前記推定された前記形状パラメータが表す前記特定の物体の形状を事前知識として、前記被写体の領域を、前記入力画像から抽出する請求項13又は請求項14記載の画像処理方法。

【請求項16】
前記セグメンテーション手段が、前記被写体の領域を、前記入力画像から抽出するステップは、任意に、前記固有空間上にサンプリング点を設定する請求項13又は請求項14記載の画像処理方法。

【請求項17】
前記目的関数は、前記特定の物体の形状の尤もらしさとして、前記形状パラメータが表す前記特定の物体の形状に対する画素における形状ラベルの値に関して単調に変化する単調関数を含む請求項11~請求項16の何れか1項記載の画像処理方法。

【請求項18】
前記探索アルゴリズムは、Branch and bound法及びグラフカット法である請求項12~請求項17の何れか1項記載の画像処理方法。

【請求項19】
コンピュータを、請求項1~請求項9の何れか1項記載の画像処理装置の各手段として機能させるためのプログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2016544238thum.jpg
出願権利状態 公開
※ 国立大学法人東京農工大学では、先端産学連携研究推進センターにおいて、知的財産の創出・権利化・活用に取り組んでいます。上記の特許・技術の内容および導入に興味・関心がありましたら、当センターまでお気軽にお問い合わせください。


PAGE TOP

close
close
close
close
close
close
close