TOP > 国内特許検索 > 画像処理装置、画像処理方法およびプログラム > 明細書

明細書 :画像処理装置、画像処理方法およびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5284863号 (P5284863)
公開番号 特開2010-262350 (P2010-262350A)
登録日 平成25年6月7日(2013.6.7)
発行日 平成25年9月11日(2013.9.11)
公開日 平成22年11月18日(2010.11.18)
発明の名称または考案の名称 画像処理装置、画像処理方法およびプログラム
国際特許分類 G06T   7/00        (2006.01)
FI G06T 7/00 300B
請求項の数または発明の数 13
全頁数 26
出願番号 特願2009-110683 (P2009-110683)
出願日 平成21年4月30日(2009.4.30)
新規性喪失の例外の表示 特許法第30条第1項適用 VCADシステム研究プログラム 理研シンポジウム VCADシステム研究2008 -ものつくりから細胞まで- 2008年11月1日
審査請求日 平成24年3月23日(2012.3.23)
特許権者または実用新案権者 【識別番号】503359821
【氏名又は名称】独立行政法人理化学研究所
発明者または考案者 【氏名】竹本 智子
【氏名】横田 秀夫
個別代理人の代理人 【識別番号】100089118、【弁理士】、【氏名又は名称】酒井 宏明
審査官 【審査官】佐藤 実
参考文献・文献 特開平07-092651(JP,A)
特開平11-316846(JP,A)
青木紳也 外1名,木構造状画像変換の自動構築法ACTIT,映像情報メディア学会誌,社団法人映像情報メディア学会,1999年 6月20日,第53巻 第6号,第888~894頁
調査した分野 G06T 7/00
特許請求の範囲 【請求項1】
記憶部と制御部と表示部と入力部を少なくとも備えた画像処理装置において、
前記記憶部は、
複数の特徴抽出法と複数の教師付き識別法との組み合わせからなる、複数の領域抽出アルゴリズムと、
画像データと、
を記憶し、
前記制御部は、
前記画像データの画像が前記表示部に表示されるよう制御する第一の画像出力手段と、
前記表示部に表示された前記画像上で前記入力部を介して指定される注目領域を受け付け、前記注目領域の前記画像データを取得する領域受付手段と、
前記記憶部に記憶された前記複数の前記領域抽出アルゴリズムを用いて、前記領域抽出アルゴリズム毎に前記画像データから抽出される抽出領域を生成し、前記抽出領域の前記画像データを取得する領域抽出手段と、
前記抽出領域の前記画像データと前記注目領域の前記画像データとを比較して、当該画像データ間の類似度が最も高い前記領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択手段と、
前記選択された前記領域抽出アルゴリズムを用いて抽出した領域の前記画像データを前記表示部に出力する第二の画像出力手段と、
を備え、
前記領域抽出アルゴリズム選択手段は、
前記特徴抽出法と前記教師付き識別法との組み合わせからなる各領域抽出アルゴリズムについて、前記表示部に表示された前記画像の画像データから当該特徴抽出法にて特徴量を算出し、算出された特徴量の特徴空間において、前記注目領域を教師マスクとした当該教師付き識別法を用いて、当該注目領域とその他の領域がクラス分けされるようなクラスタリングを実行することによって前記抽出領域を抽出すること
を特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記入力部は、ポインティングデバイスであり、
前記領域受付手段は、
ユーザーに前記ポインティングデバイスを介して前記画像上で指定する領域の輪郭をトレースさせることにより、前記注目領域を受け付けること、
を特徴とする画像処理装置。
【請求項3】
請求項1または2に記載の画像処理装置において、
前記領域抽出アルゴリズム選択手段は、
前記抽出領域の前記画像データと前記注目領域の前記画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で前記類似度を算出すること、
を特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記領域抽出アルゴリズム選択手段は、
前記特徴量を、ベクトルで表現すること、
を特徴とする画像処理装置。
【請求項5】
請求項4に記載の画像処理装置において、
前記領域抽出アルゴリズム選択手段は、
前記ベクトルの各要素を、複素数または実数で表現すること、
を特徴とする画像処理装置。
【請求項6】
請求項4または5に記載の画像処理装置において、
前記領域抽出アルゴリズム選択手段は、
前記形状の前記特徴量を、多次元ベクトルで表現すること、
を特徴とする画像処理装置。
【請求項7】
請求項4または5に記載の画像処理装置において、
前記領域抽出アルゴリズム選択手段は、
前記テクスチャの前記特徴量を、多次元ベクトルで表現すること、
を特徴とする画像処理装置。
【請求項8】
記憶部と制御部と表示部と入力部を少なくとも備えた情報処理装置において実行される画像処理方法であって、
前記記憶部は、
複数の特徴抽出法と複数の教師付き識別法との組み合わせからなる、複数の領域抽出アルゴリズムと、
画像データと、
を記憶し、
前記制御部において実行される、
前記画像データの画像が前記表示部に表示されるよう制御する第一の画像出力ステップと、
前記表示部に表示された前記画像上で前記入力部を介して指定される注目領域を受け付け、前記注目領域の前記画像データを取得する領域受付ステップと、
前記記憶部に記憶された前記複数の前記領域抽出アルゴリズムを用いて、前記領域抽出アルゴリズム毎に前記画像データから抽出される抽出領域を生成し、前記抽出領域の前記画像データを取得する領域抽出ステップと、
前記抽出領域の前記画像データと前記注目領域の前記画像データとを比較して、当該画像データ間の類似度が最も高い前記領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択ステップと、
前記選択された前記領域抽出アルゴリズムを用いて抽出した領域の前記画像データを前記表示部に出力する第二の画像出力ステップと、
を含み、
前記領域抽出アルゴリズム選択ステップは、
前記特徴抽出法と前記教師付き識別法との組み合わせからなる各領域抽出アルゴリズムについて、前記表示部に表示された前記画像の画像データから当該特徴抽出法にて特徴量を算出し、算出された特徴量の特徴空間において、前記注目領域を教師マスクとした当該教師付き識別法を用いて、当該注目領域とその他の領域がクラス分けされるようなクラスタリングを実行することによって前記抽出領域を抽出すること
を特徴とする画像処理方法。
【請求項9】
請求項8に記載の画像処理方法において、
前記入力部は、ポインティングデバイスであり、
前記領域受付ステップは、
ユーザーに前記ポインティングデバイスを介して前記画像上で指定する領域の輪郭をトレースさせることにより、前記注目領域を受け付けること、
を特徴とする画像処理方法。
【請求項10】
請求項8または9に記載の画像処理方法において、
前記領域抽出アルゴリズム選択ステップは、
前記抽出領域の前記画像データと前記注目領域の前記画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で前記類似度を算出すること、
を特徴とする画像処理方法。
【請求項11】
記憶部と制御部と表示部と入力部を少なくとも備えた情報処理装置に実行させるためのプログラムであって、
前記記憶部は、
複数の特徴抽出法と複数の教師付き識別法との組み合わせからなる、複数の領域抽出アルゴリズムと、
画像データと、
を記憶し、
前記制御部において、
前記画像データの画像が前記表示部に表示されるよう制御する第一の画像出力ステップと、
前記表示部に表示された前記画像上で前記入力部を介して指定される注目領域を受け付け、前記注目領域の前記画像データを取得する領域受付ステップと、
前記記憶部に記憶された前記複数の前記領域抽出アルゴリズムを用いて、前記領域抽出アルゴリズム毎に前記画像データから抽出される抽出領域を生成し、前記抽出領域の前記画像データを取得する領域抽出ステップと、
前記抽出領域の前記画像データと前記注目領域の前記画像データとを比較して、当該画像データ間の類似度が最も高い前記領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択ステップと、
前記選択された前記領域抽出アルゴリズムを用いて抽出した領域の前記画像データを前記表示部に出力する第二の画像出力ステップと、
を実行させるためのプログラムであって、
前記領域抽出アルゴリズム選択ステップは、
前記特徴抽出法と前記教師付き識別法との組み合わせからなる各領域抽出アルゴリズムについて、前記表示部に表示された前記画像の画像データから当該特徴抽出法にて特徴量を算出し、算出された特徴量の特徴空間において、前記注目領域を教師マスクとした当該教師付き識別法を用いて、当該注目領域とその他の領域がクラス分けされるようなクラスタリングを実行することによって前記抽出領域を抽出すること
を特徴とするプログラム。
【請求項12】
請求項11に記載のプログラムにおいて、
前記入力部は、ポインティングデバイスであり、
前記領域受付ステップは、
ユーザーに前記ポインティングデバイスを介して前記画像上で指定する領域の輪郭をトレースさせることにより、前記注目領域を受け付けること、
を特徴とするプログラム。
【請求項13】
請求項11または12に記載のプログラムにおいて、
前記領域抽出アルゴリズム選択ステップは、
前記抽出領域の前記画像データと前記注目領域の前記画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で前記類似度を算出すること、
を特徴とするプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、画像をいくつかの構成要素に基づいて分割し、目的要素を他要素と区別する処理を行う領域抽出方法が開発されている。領域抽出の研究は、1970年代頃から活発に行われ、現在までに相当数の領域抽出アルゴリズムが発表されている。領域抽出は、画像理解や画像からの定量データ獲得の第一歩であることから、何十年にも渡りコンピュータビジョン分野における重要研究の一つである。
【0003】
また、近年、医学や生物科学分野においても、領域抽出の重要性が高まっており、例えば細胞生物学では、顕微鏡の性能向上に伴い、高解像度・長時間の画像取得が容易になったことで、画像情報から細胞の微細な構造や時間変化挙動などを定量化し、新たな知見獲得を目指す研究が盛んに行われている。このような定量化の前処理として、大量画像からの領域抽出は欠かすことができない技術である。
【0004】
ここで、特許文献1には、多様な画像や抽出タスクに対しても、より人間の感覚に近い領域抽出を計算機が自動で行うことができる画像処理方法が開示されている。この方法は、画像平面上で人間が知覚的に一様と感じる色領域をなす画素群は、均等色空間の中で稠密なクラスタを形成することを利用して、クラスタごとに領域を分割、対象の自動抽出を行うものである。
【0005】
また、特許文献2には、抽出タスクに応じて処理アルゴリズムを構築し、汎用性の高い処理アルゴリズムを得ることができる画像処理方法が開示されている。この方法は、画像中から特定の対象を抽出することができる木構造状の処理プログラムを、遺伝的プログラミングの手法を用いて自動的に構築し最適化することにより、あらゆる抽出タスクに対する汎用性を獲得しようとしたものである。ここで、遺伝的プログラミングによって最適化された木構造状の処理プログラムによる抽出機能は、静止画像、すなわち空間画像に対してのみ有効であり、この方法では、それを動画像、すなわち時空間画像に対応させるためにオプティカルフローを導入している。そして、オプティカルフローの算出に関して、入力画像を疑似的に上空からみた状態に変換する処理を行うため、画像撮像装置を規定し、入力画像は撮像装置からの出力とする範囲を定めている。
【0006】
また、非特許文献1には、汎用性獲得の解決策として、エンドユーザーが提示した抽出ターゲットと、計算機による自動抽出結果の類似度を評価することにより、抽出アルゴリズムを選択する方法が開示されている。
【先行技術文献】
【0007】

【特許文献1】特開2003-162718号公報
【特許文献2】特開2006-285385号公報
【0008】

【非特許文献1】S.K.Shah, “Performance Modeling and Algorithm Characterization for Robust Image Segmentation” International Journal of Computer Vision Vol.80 No.1 pp.92-103 2008
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、従来の領域抽出方法においては、領域抽出アルゴリズムの汎用性の欠如が問題となっていた。すなわち、ある抽出タスクのために検討した領域抽出アルゴリズムが、多様な画像や抽出タスクに幅広く有効であることはなく、研究者は目的に応じて常にアルゴリズムを変更、新規に検討する必要に迫られており、この変更、検討に関わる作業は極めて冗長であるため、知見獲得のボトルネックとなっている、という問題点を有していた。
【0010】
具体的には、例えば、特許文献1の方法では、抽出領域が必ずクラスタを形成し、かつ非抽出領域の特徴が示すクラスタと明確に区別できるような空間を発見することは実際には難しく、対象によって理想の空間を発見することに労力を要することになり、汎用性の獲得には多くの問題があった。
【0011】
また、特許文献2の方法では、オプティカルフローの導入にあたり特殊な画像撮像装置を用いているが、この特殊な画像撮像装置を、例えば医学や生物学分野における時空間観察画像の獲得に応用することは難しく、多様な時空間画像に対応した汎用性のある抽出アルゴリムの獲得には未だ多くの問題があった。
【0012】
また、非特許文献1の方法では、類似度を測る尺度の定義が問題となる。すなわち、類似度を測る尺度として、画像の輝度やテクスチャ、コントラスト、形状の比較などが用いられることが多いが、どの尺度を用いるかによって、選択アルゴリズムや抽出精度が大きく異なる。そのため最近は尺度自体の評価が必要であるとされ、収束不能の様相を呈しており、非特許文献1の方法では、類似度を測る尺度について、汎用性の獲得には未だ大きな問題があった。
【0013】
本発明は、上記問題点に鑑みてなされたもので、多様な対象に対して汎用性に富んだ領域抽出を行うことができる、画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
このような目的を達成するため、本発明は、記憶部と制御部と表示部と入力部を少なくとも備えた画像処理装置において、前記記憶部は、複数の領域抽出アルゴリズムと、画像データと、を記憶し、前記制御部は、前記画像データの画像が前記表示部に表示されるよう制御する第一の画像出力手段と、前記表示部に表示された前記画像上で前記入力部を介して指定される注目領域を受け付け、前記注目領域の前記画像データを取得する領域受付手段と、前記記憶部に記憶された前記複数の前記領域抽出アルゴリズムを用いて、前記領域抽出アルゴリズム毎に前記画像データから抽出される抽出領域を生成し、前記抽出領域の前記画像データを取得する領域抽出手段と、前記抽出領域の前記画像データと前記注目領域の前記画像データとを比較して、当該画像データ間の類似度が最も高い前記領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択手段と、前記選択された前記領域抽出アルゴリズムを用いて抽出した領域の前記画像データを前記表示部に出力する第二の画像出力手段と、を備えたことを特徴とする。
【0015】
また、本発明の画像処理装置は、上記記載の画像処理装置において、前記入力部は、ポインティングデバイスであり、前記領域受付手段は、ユーザーに前記ポインティングデバイスを介して前記画像上で指定する領域の輪郭をトレースさせることにより、前記注目領域を受け付けること、を特徴とする。
【0016】
また、本発明の画像処理装置は、上記記載の画像処理装置において、前記領域抽出アルゴリズム選択手段は、前記抽出領域の前記画像データと前記注目領域の前記画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で前記類似度を算出すること、を特徴とする。
【0017】
また、本発明の画像処理装置は、上記記載の画像処理装置において、前記領域抽出アルゴリズム選択手段は、前記特徴量を、ベクトルで表現すること、を特徴とする。
【0018】
また、本発明の画像処理装置は、上記記載の画像処理装置において、前記領域抽出アルゴリズム選択手段は、前記ベクトルの各要素を、複素数または実数で表現すること、を特徴とする。
【0019】
また、本発明の画像処理装置は、上記記載の画像処理装置において、前記領域抽出アルゴリズム選択手段は、前記形状の前記特徴量を、多次元ベクトルで表現すること、を特徴とする。
【0020】
また、本発明の画像処理装置は、上記記載の画像処理装置において、前記領域抽出アルゴリズム選択手段は、前記テクスチャの前記特徴量を、多次元ベクトルで表現すること、を特徴とする。
【0021】
また、本発明は、画像処理方法に関するものであり、記憶部と制御部と表示部と入力部を少なくとも備えた情報処理装置において実行される画像処理方法であって、前記記憶部は、複数の領域抽出アルゴリズムと、画像データと、を記憶し、前記制御部において実行される、前記画像データの画像が前記表示部に表示されるよう制御する第一の画像出力ステップと、前記表示部に表示された前記画像上で前記入力部を介して指定される注目領域を受け付け、前記注目領域の前記画像データを取得する領域受付ステップと、前記記憶部に記憶された前記複数の前記領域抽出アルゴリズムを用いて、前記領域抽出アルゴリズム毎に前記画像データから抽出される抽出領域を生成し、前記抽出領域の前記画像データを取得する領域抽出ステップと、前記抽出領域の前記画像データと前記注目領域の前記画像データとを比較して、当該画像データ間の類似度が最も高い前記領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択ステップと、前記選択された前記領域抽出アルゴリズムを用いて抽出した領域の前記画像データを前記表示部に出力する第二の画像出力ステップと、を含むことを特徴とする。
【0022】
また、本発明の画像処理方法は、上記記載の画像処理方法において、前記入力部は、ポインティングデバイスであり、前記領域受付ステップは、ユーザーに前記ポインティングデバイスを介して前記画像上で指定する領域の輪郭をトレースさせることにより、前記注目領域を受け付けること、を特徴とする。
【0023】
また、本発明の画像処理方法は、上記記載の画像処理方法において、前記領域抽出アルゴリズム選択ステップは、前記抽出領域の前記画像データと前記注目領域の前記画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で前記類似度を算出すること、を特徴とする。
【0024】
また、本発明は、プログラムに関するものであり、記憶部と制御部と表示部と入力部を少なくとも備えた情報処理装置に実行させるためのプログラムであって、前記記憶部は、複数の領域抽出アルゴリズムと、画像データと、を記憶し、前記制御部において、前記画像データの画像が前記表示部に表示されるよう制御する第一の画像出力ステップと、前記表示部に表示された前記画像上で前記入力部を介して指定される注目領域を受け付け、前記注目領域の前記画像データを取得する領域受付ステップと、前記記憶部に記憶された前記複数の前記領域抽出アルゴリズムを用いて、前記領域抽出アルゴリズム毎に前記画像データから抽出される抽出領域を生成し、前記抽出領域の前記画像データを取得する領域抽出ステップと、前記抽出領域の前記画像データと前記注目領域の前記画像データとを比較して、当該画像データ間の類似度が最も高い前記領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択ステップと、前記選択された前記領域抽出アルゴリズムを用いて抽出した領域の前記画像データを前記表示部に出力する第二の画像出力ステップと、を実行させることを特徴とする。
【0025】
また、本発明のプログラムは、上記記載のプログラムにおいて、前記入力部は、ポインティングデバイスであり、前記領域受付ステップは、ユーザーに前記ポインティングデバイスを介して前記画像上で指定する領域の輪郭をトレースさせることにより、前記注目領域を受け付けること、を特徴とする。
【0026】
また、本発明のプログラムは、上記記載のプログラムにおいて、前記領域抽出アルゴリズム選択ステップは、前記抽出領域の前記画像データと前記注目領域の前記画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で前記類似度を算出すること、を特徴とする。
【発明の効果】
【0027】
この発明によれば、多様な対象に対して汎用性に富んだ領域抽出を行うことができる。
【図面の簡単な説明】
【0028】
【図1】図1は、基本原理を示すフローチャートである。
【図2】図2は、基本原理を模式的に示した図である。
【図3】図3は、基本原理を示す原理構成図である。
【図4】図4は、本実施の形態が適用される画像処理装置100の構成の一例を示すブロック図である。
【図5】図5は、本実施の形態における画像処理装置100の全体処理の一例を示すフローチャートである。
【図6】図6は、画像データ中の元画像(左図)と、指定された注目領域を重畳した画像(右図)を示す図である。
【図7】図7は、制御部102による入出力制御インターフェースの制御により実現されるGUI画面の一例を示す図である。
【図8】図8は、本実施の形態における領域抽出処理の一例を示すフローチャートである。
【図9】図9は、本実施の形態におけるスコアテーブル生成処理の一例を示すフローチャートである。
【図10】図10は、本実施の形態による細胞領域の抽出結果を示す図である。
【図11】図11は、酵母ゴルジ体の観察画像(元画像)と、本実施の形態による領域抽出結果を示す図である。
【発明を実施するための形態】
【0029】
以下に、本発明にかかる画像処理装置、画像処理方法、および、プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

【0030】
特に以下の実施の形態においては、本発明を生物科学分野に適用した例について説明することがあるが、この場合に限られず、生体認証や撮像技術における顔認識など全ての技術分野において、同様に適用することができる。

【0031】
[本実施の形態の概要]
以下、本実施の形態の概要について図1~図3を参照して説明し、その後、本実施の形態の構成および処理等について詳細に説明する。図1は、本実施の形態の基本原理を示すフローチャートである。

【0032】
本実施の形態は、概略的に、以下の基本的特徴を有する。すなわち、本実施の形態の画像処理装置は、図1に示すように、画像データの画像が表示部に表示されるよう制御し、表示された画像上で入力部を介して指定される注目領域を受け付け、注目領域の画像データを取得する(ステップSA-1)。より具体的には、本実施の形態の画像処理装置は、ユーザーにポインティングデバイスを介して画像上で指定する領域の輪郭をトレースさせることにより、注目領域を受け付けてもよい。ここで、注目領域を指定させるために表示する画像は、画像データ中の単数または複数の画像のうちの一部の画像である。また、「注目領域」とは、領域抽出の対象を例示的に表す特定の領域のことであり、領域抽出の目的に応じて任意に設定可能な領域である。ここで、図2は、本実施の形態の基本原理を模式的に示した図である。図2に示すように、本実施の形態の画像処理装置は、一例として、一部の画像データを表示して、表示された画像上において注目領域をユーザーに指定させる(ステップSA-1)。

【0033】
そして、図1に示すように、本画像処理装置は、画像データ中の画像の一部に対し、記憶部に記憶された複数の領域抽出アルゴリズムを用いて、領域抽出アルゴリズム毎に当該画像データから抽出される抽出領域を生成し、抽出領域の画像データを取得する(ステップSA-2)。ここで、「抽出領域」とは、領域抽出アルゴリズムの実行により自動抽出される領域のことであり、領域抽出アルゴリズムの種類に応じて生成される可変の領域である。図2に示すように、本画像処理装置は、注目領域の指定に用いた画像と同一の画像データに対し、例えば、領域抽出アルゴリズム1~Kを実行することにより、それぞれ異なった抽出領域を生成し、抽出領域の画像データを取得する(ステップSA-2)。

【0034】
ここで、本画像処理装置は、図2のステップSA-1´、SA-2´に示すように、取得した抽出領域の画像データと注目領域の画像データのそれぞれを、形状とテクスチャという概念(要素)を含む特徴量に数値化してもよい。ここで、「テクスチャ」とは、画像のある一定の領域から得られる、濃度値の変化に起因する量である。例えば、テクスチャは、局所領域の統計量(平均値、分散など)を算出したり、自己回帰モデルを当てはめたり、フーリエ変換によって局所領域の周波数を算出したりすることによって求められる。

【0035】
そして、図1に示すように、本画像処理装置は、抽出領域の画像データと注目領域の画像データとを比較して、当該画像データ間の類似度を算出する(ステップSA-3)。より具体的には、図2のSA-3に示すように、本画像処理装置は、抽出領域の画像データと注目領域の画像データのそれぞれを数値化した特徴量間で類似度を算出してもよい。

【0036】
そして、図1および図2に示すように、本画像処理装置は、算出した類似度が最も高い領域抽出アルゴリズムを選択する(ステップSA-4)。

【0037】
そして、図1に示すように、本画像処理装置は、全画像データに対し、当該選択した領域抽出アルゴリズムを実行し(ステップSA-5)、全画像データに対する抽出領域の画像データを表示部に出力する(ステップSA-6)。

【0038】
以上が、本実施の形態のフローチャートの概要である。次に、図3は、本実施の形態の基本原理を示す原理構成図である。

【0039】
図3に示すように、本実施の形態は、表示部に表示した画像上で入力部を介して指定される注目領域を受け付け、注目領域の画像データを取得し(ステップSA-1)、記憶部の領域抽出アルゴリズムライブラリ等に記憶された複数の領域抽出アルゴリズムを用いて、領域抽出アルゴリズム毎に領域抽出を行い、抽出領域の画像データを取得し(ステップSA-2)、注目領域の画像データと各抽出領域の画像データとの間の類似度を評価し(ステップSA-3)、類似度が最も高い領域抽出アルゴリズム(すなわち、最適アルゴリズム)を決定し(ステップSA-4)、全画像データに対し、当該選択した領域抽出アルゴリズムを用いて抽出した抽出領域の画像データを表示部に出力する(ステップSA-5,6)。

【0040】
このように、本実施の形態によれば、ある対象についての抽出タスクに対し、ユーザーの知識や経験を生かしてタスク解決に有効な領域抽出アルゴリズムを選択できるので、ユーザーが何度も領域抽出アルゴリズムを検討する手間を省き、異なる画像特徴や多様な対象に対して汎用性に富んだ領域抽出を自動で行うことができ、スムーズな知見の獲得が可能となる。

【0041】
[画像処理装置の構成]
次に、本実施の形態にかかる画像処理装置の構成について図4を参照して説明する。図4は、本実施の形態が適用される画像処理装置100の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。

【0042】
図4に示すように、画像処理装置100は、概略的に、制御部102と、入力装置112および表示装置114に接続された入出力制御インターフェース部108と、記憶部106を備えて構成される。ここで、制御部102は、画像処理装置100の全体を統括的に制御するCPU等である。また、入出力制御インターフェース部108は、入力装置112や表示装置114に接続されるインターフェースである。また、記憶部106は、各種のデータベースやテーブルなどを格納する装置である。これら画像処理装置100の各部は任意の通信路を介して通信可能に接続されている。

【0043】
記憶部106に格納される各種のデータベースやテーブル(画像データファイル106a、領域抽出アルゴリズムライブラリ106b)は、固定ディスク装置等のストレージ手段である。例えば、記憶部106は、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

【0044】
これら記憶部106の各構成要素のうち、画像データファイル106aは、画像データ等を記憶する画像データ記憶手段である。この画像データファイル106aに格納される画像データは、一例として、x-y-z-t(x軸-y軸-z軸-時間軸)の最大4次元空間で構成される単数または複数の画像から構成されるデータである。例えば、画像データは、x-yスライス画像(2次元)、x-yスライス画像×z(3次元)、x-yスライス画像×時相t(3次元)、x-yスライス画像×z×時相t(4次元)等の、単数または複数の画像から構成されるデータである。なお、注目領域や抽出領域の画像データは、一例として、画像データファイル106aに記憶された画像データの時空間画像と同一の次元構成に従った、最大4次元空間で構成される画像の一部について、注目領域や抽出領域が設定されたデータである。なお、指定された注目領域や抽出領域の画像データは、マスクとして保持される。マスクは、画像と同じように画素(ピクセル)単位に区分けされており、各画素は座標情報とともにラベル情報を持つ。例えば、ユーザーが注目領域であると指定した画素にはラベル1が、それ以外の領域にはラベル0がそれぞれ設定される。このマスクは、領域抽出アルゴリズムを用いて生成した抽出領域の評価に用いられることから「教師マスク」と呼ぶ場合がある。

【0045】
また、領域抽出アルゴリズムライブラリ106bは、複数の領域抽出アルゴリズムを記憶する領域抽出アルゴリズム記憶手段である。領域抽出アルゴリズムは、一例として、画像から特徴を計測する特徴抽出法と、特徴量のクラスタリング(特徴のクラス分け)を行って領域を識別する識別法と、を実行させるためのアルゴリズム等により構成される。すなわち、本実施の形態においては、一例として、パターン認識に対応させて抽出処理を行う領域抽出アルゴリズムを用いる。パターン認識とは、得られた特徴が観測されたパターンのどのクラスに属するかを判断する処理であり、観測されたパターンを予め定められた複数概念の一つに対応させる処理である。この処理では、まず、特徴抽出法に基づいて、観測パターンを良く表現することができる数値(特徴量)を計測する。そして、識別法に基づいて、特徴量を概念に対応させる処理を行う。すなわち、画像データのパターン空間は、特徴抽出法によりm次元の特徴空間X=(x,x,・・・xに変換され、さらに識別法により、ユーザーにより定義された概念(教師マスク)に対応付けて概念空間C,C,・・・,Cに変換される。このように、領域抽出アルゴリズムが実行されると、パターン認識によりオブジェクトクラスが決定される。このようなパターン認識に基づく領域抽出は、画像フィルタの組み合わせによるアルゴリズムよりも精度が高くなることが多い。

【0046】
そして、領域抽出アルゴリズムライブラリ106bは、この領域抽出アルゴリズムの一例として、複数の特徴抽出法や複数の識別法、パラメータ等を記憶する。例えば、領域抽出アルゴリズムライブラリ106bが、M種類の特徴抽出法、N種類の識別法、P種類のパラメータを記憶する場合、領域抽出アルゴリズムライブラリ106bは、これらの組み合わせにより、M×N×P種類の領域抽出アルゴリズムを記憶していることとなる。これらの特徴抽出法や識別法やパラメータの組み合わせは、領域抽出アルゴリズム選択部102dにより算出される類似度のスコアに基づいて、相対的に評価される。

【0047】
領域抽出アルゴリズムライブラリ106bに記憶される領域抽出アルゴリズムの特徴抽出法は、一例として、輝度、カラー値、テクスチャ統計量、高次局所自己相関特徴、微分特徴、同時生起行列、2次元フーリエ特徴、周波数特徴、SIFT特徴、方向線素特徴等の特徴量、または、これらのマルチスケール特徴を計測する。また、領域抽出アルゴリズムライブラリ106bに記憶される領域抽出アルゴリズムの識別法は、K-Nearest Neighbor、ANN(Approximate Nearest Neighbor)、SVM(Support Vector Machine)、線形判別分析、ニューラルネットワーク、遺伝的アルゴリズム、多項ロジットモデル等に基づいて、領域の識別を行う。なお、この他にも、教師付き識別法と呼ばれるものは、すべて識別法として適用することができる。また、教師マスクをダミーとすることによって、教師なしクラスタリング法(例えば、k-Mean法など)を使用してもよい。また、領域抽出アルゴリズムライブラリ106bに記憶される領域抽出アルゴリズムのパラメータは、カーネル関数に関わるパラメータや、参照近傍数に関わるパラメータ等である。

【0048】
また、図4において、入出力制御インターフェース部108は、入力装置112や表示装置114の制御を行う。ここで、表示装置114としては、モニタ(家庭用テレビを含む)の他、スピーカを用いることができる。また、入力装置112としては、マウスやタッチペン等のポインティングデバイスの他、キーボードや撮像装置等を用いることができる。

【0049】
また、図4において、制御部102は、OS(Operating System)等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部102は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部102は、機能概念的に、第一の画像出力部102a、領域受付部102b、領域抽出部102c、領域抽出アルゴリズム選択部102d、第二の画像出力部102eを備えて構成されている。

【0050】
このうち、第一の画像出力部102aは、画像データファイル106aに記憶された画像データの画像が表示装置114に表示されるよう制御する第一の画像出力手段である。

【0051】
また、領域受付部102bは、表示装置114に表示された画像上で入力装置114を介して指定される注目領域を受け付け、注目領域の画像データを取得する領域受付手段である。例えば、領域受付部102bは、ユーザーに、入力装置112であるポインティングデバイスを介して、表示装置114に表示された画像上で指定する領域の輪郭をトレースさせることにより、注目領域を受け付けてもよい。また、領域受付部102bは、入出力制御インターフェース部108を介して入力装置112および表示装置114を制御することによりGUI(Graphical User Interface)を実現し、ユーザーに入力装置112を介して、上述の注目領域のほか、画像データや各種設定データを入力させるよう制御し、入力されたデータを記憶部106に格納してもよい。

【0052】
また、領域抽出部102cは、画像データに対し、領域抽出アルゴリズムライブラリ106bに記憶された領域抽出アルゴリズムを用いて抽出領域を生成する領域抽出手段である。例えば、領域抽出部102cは、領域受付部102bにより注目領域を受け付けた画像と同一の画像データに対し、領域抽出アルゴリズムライブラリ106bに記憶された複数の領域抽出アルゴリズムを用いて、領域抽出アルゴリズム毎に画像データから抽出される抽出領域を生成し、抽出領域の画像データを取得する。また、領域抽出部102cは、画像データファイル106aに記憶された全画像データに対し、領域抽出アルゴリズム選択部102dにより選択された領域抽出アルゴリズムを用いて抽出領域を生成し、抽出領域の画像データを取得する。なお、領域抽出部102cは、複数の領域抽出アルゴリズムの各処理の計算量が膨大になることを抑制するために、クラスタマシン等によりジョブ並列処理を行ってもよい。

【0053】
また、領域抽出アルゴリズム選択部102dは、領域受付部102bにより取得された注目領域の画像データと、領域抽出部102cにより取得された抽出領域の画像データとを比較して、当該画像データ間の類似度が最も高い領域抽出アルゴリズムを選択する領域抽出アルゴリズム選択手段である。ここで、領域抽出アルゴリズム選択部102dは、抽出領域の画像データと注目領域の画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で類似度を算出してもよい。また、領域抽出アルゴリズム選択部102dは、類似度のスコアを算出して、記憶部106にスコアテーブルを作成して格納してもよい。なお、このスコアテーブルには、一例として、特徴量(ベクトル)や、領域抽出アルゴリズムの種類とパラメータ、類似度等の情報が格納される。

【0054】
一例として、領域抽出アルゴリズム選択部102dによる類似度の算出は、注目領域と抽出領域との「近さ」を評価することにより実現される。この「近さ」の判断基準には、多くの要素が考えられるが、中でも輝度やテクスチャなど画素値由来の特徴と領域輪郭形状は、ユーザーが最も注目する要素の1つであると考えられることから、これらの領域を形状とテクスチャという概念で数値化した特徴量間で比較することにより「近さ」を評価する。

【0055】
この領域抽出アルゴリズム選択部102dによる類似度の算出処理に用いられる特徴量は、ベクトルで表現されたものでもよく、このベクトルの各要素を、複素数や実数で表したものでもよい。また、特徴量の形状またはテクスチャの各概念は、多次元ベクトルで表現されたものでもよい。

【0056】
また、第二の画像出力部102eは、領域抽出アルゴリズム選択部102dにより選択された領域抽出アルゴリズムを用いて領域抽出部102cにより全画像データから抽出された抽出領域の画像データを、表示装置114に出力する第二の画像出力手段である。ここで、第二の画像出力部102eは、抽出領域の画像データの画像が表示装置114に表示されるよう制御する他、抽出領域の統計量を算出して統計データ等が表示されるよう表示装置114を制御してもよい。例えば、第二の画像出力部102eは、画像データ中の抽出領域の統計量(輝度平均・最大・最小・分散・標準偏差・共分散・PCA・ヒストグラム等)を算出してもよい。

【0057】
以上が、画像処理装置100の構成の概略である。ここで、画像処理装置100は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク300に通信可能に接続されてもよく、パラメータ等に関する外部データベースや、領域抽出アルゴリズム等の外部プログラム等を提供する外部システム200と、ネットワーク300を介して通信可能に接続して構成されてもよい。この場合、図4において、画像処理装置100の通信制御インターフェース部104は、通信回線等に接続されるルータ等の通信装置(図示せず)に接続されるインターフェースであり、画像処理装置100とネットワーク300(またはルータ等の通信装置)との間における通信制御を行う。すなわち、通信制御インターフェース部104は、他の端末と通信回線を介してデータを通信する機能を有する。ネットワーク300は、画像処理装置100と外部システム200とを相互に接続する機能を有し、例えば、インターネット等である。また、外部システム200は、ネットワーク300を介して、画像処理装置100と相互に接続され、ユーザーに対してパラメータ等に関する外部データベースや、領域抽出アルゴリズムや評価法プログラム等の外部プログラム等を提供する機能を有する。ここで、外部システム200は、WEBサーバやASPサーバ等として構成していてもよい。また、外部システム200のハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム200の各機能は、外部システム200のハードウェア構成中のCPU、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

【0058】
[画像処理装置100の処理]
次に、このように構成された本実施の形態における画像処理装置100の処理の一例について、以下に図5~図11を参照して詳細に説明する。

【0059】
[全体処理]
まず、画像処理装置100の全体処理の詳細について図5および図6を参照して説明する。図5は、本実施の形態における画像処理装置100の全体処理の一例を示すフローチャートである。

【0060】
図5に示すように、まず、第一の画像出力部102aは、画像データファイル106aに記憶された画像データの画像が表示装置114に表示されるよう制御し、領域受付部102bは、表示された画像上で入力装置112を介して指定される注目領域を受け付け、注目領域の画像データを取得する(ステップSB-1)。より好適には、領域受付部102bは、入出力制御インターフェース部108を制御することによりユーザーにGUIを提供し、入力装置112であるポインティングデバイスを介して、表示装置114に表示された画像上で指定する領域の輪郭をユーザーにトレースさせることにより、注目領域を受け付ける。ここで、図6は、画像データ中の元画像(左図)と、指定された注目領域を重畳した画像(右図)を示す図である。

【0061】
図6に示すように、ユーザーは、表示された元画像上で、ポインティングデバイスを介して指定する領域の輪郭をトレースすることにより、注目領域を指定する。なお、指定された注目領域の画像データは、マスクとして保持される。マスクは、画像と同じように画素(ピクセル)単位に区分けされており、各画素は座標情報とともにラベル情報を持つ。例えば、ユーザーが注目領域であると指定した画素にはラベル1が、それ以外の領域にはラベル0がそれぞれ設定される。

【0062】
そして、領域抽出部102cは、領域抽出アルゴリズムライブラリ106bに記憶された複数の領域抽出アルゴリズムを用いて、領域抽出アルゴリズム毎に画像データから抽出領域を生成し、抽出領域の画像データを取得し、領域抽出アルゴリズム選択部102dは、抽出領域の画像データと注目領域の画像データとを比較して、当該画像データ間の類似度が最も高い領域抽出アルゴリズムを選択して、全画像データに対する抽出領域を生成し(ステップSB-2)、生成した抽出領域を記憶部106の所定の領域に出力する(ステップSB-3)。

【0063】
そして、第二の画像出力部102eは、抽出領域と画像データの画像とを統合して、抽出領域に対応する画像を抽出した出力画像を生成し(ステップSB-4)、記憶部106の所定の領域に出力する(ステップSB-5)。例えば、第二の画像出力部102eは、元画像データと抽出領域(マスク)のブール演算を行い、(ラベル1が設定された抽出領域以外の)ラベル0が設定された領域には輝度値0を設定した画像データを作成する。

【0064】
そして、第二の画像出力部102eは、抽出領域と画像データの画像とに基づいて、所定の総計データ算出法に従って、統計量を算出して統計データを算出し(ステップSB-6)、記憶部106の所定の領域に出力する(ステップSB-7)。

【0065】
そして、第二の画像出力部102eは、入出力制御インターフェース部108を制御することにより実現されるGUIをユーザーに提供し、生成した出力画像と算出した統計データが、表示装置114に表示(例えば、3次元表示)されるよう入出力制御インターフェース部108を制御する(ステップSB-8)。

【0066】
これにて、画像処理装置100の全体処理が終了する。

【0067】
[設定処理]
次に、上述の全体処理を行うための前処理となる各種設定データの設定処理について、図7を参照して説明する。ここで、図7は、制御部102による入出力制御インターフェースの制御により実現されるGUI画面の一例を示す図である。

【0068】
図7に示すように、GUI画面には、一例として、入力ファイル設定画面MA-1、Z数(Z_num)入力画面MA-2、t数(t_num)入力画面MA-3、入力教師マスクファイル設定画面MA-4、教師マスクファイル数入力画面MA-5、出力ファイル設定画面MA-6、出力表示設定チェックボックスMA-7、コンフィギュレーション選択タブMA-8、データベース使用設定チェックボックスMA-9、統計関数使用設定チェックボックスMA-10、算出法選択タブMA-11、出力ファイル入力画面MA-12、並列処理使用チェックボックスMA-13、システム選択タブMA-14、コマンドラインオプション入力画面MA-15、アルゴリズム選択タブMA-16、実行ボタンMA-17、クリアボタンMA-18、キャンセルボタンMA-19等が表示される。

【0069】
また、図7に示すように、入力ファイル設定画面MA-1は、画像データを格納したファイルを指定するための画面であり、Z数(Z_num)入力画面MA-2、および、t数(t_num)入力画面MA-3は、画像データの画像のZ軸方向の数および時間位相の数を入力するための画面である。また、入力教師マスクファイル設定画面MA-4は、注目領域(教師マスク)を格納するファイルを指定するための画面であり、教師マスクファイル数入力画面MA-5は、注目領域を指定する画像データのデータ数を入力するための画面である。また、出力ファイル設定画面MA-6は、抽出領域や出力画像やスコアテーブル等の出力先を設定するための画面である。また、出力表示設定チェックボックスMA-7は、抽出領域の画像データ(出力画像)等を表示装置114に表示するか否かを設定するためのチェックボックスである。また、コンフィギュレーション選択タブMA-8は、制御部102の各種動作を指定するための動作情報を設定するための選択タブである。また、データベース使用設定チェックボックスMA-9は、領域抽出アルゴリズム選択部102dにより算出されたスコアテーブルの履歴をデータベースに格納し、このデータベースを用いて領域抽出アルゴリズムの選択を行うか否かを設定するためのチェックボックスである。

【0070】
また、図7に示すように、統計関数使用設定チェックボックスMA-10は、第二の画像出力部102eにより統計関数を使用して算出される統計データを出力するか否かを設定するためのチェックボックスであり、算出法選択タブMA-11は、第二の画像出力部102eによる統計データ算出のための統計データ算出法を選択するための選択タブであり、出力ファイル入力画面MA-12は、第二の画像出力部102eにより算出された統計データの出力先を入力するための画面である。また、並列処理使用チェックボックスMA-13は、領域抽出部102cによる複数の領域抽出アルゴリズムの実行時に並列処理を行うか否かを設定するためのチェックボックスであり、システム選択タブMA-14は、領域抽出部102cにより並列処理を行う場合に使用するクラスタマシン等のシステムを指定するための選択タブである。また、コマンドラインオプション入力画面MA-15は、画像処理装置100として機能させるためのプログラムにおいてコマンドラインオプションを指定するための画面であり、アルゴリズム選択タブMA-16は、領域抽出部102cによる領域抽出に用いる領域抽出アルゴリズムの種類(特徴抽出法や識別法の種類、パラメータの範囲等)を指定するための選択タブである。また、実行ボタンMA-17は、設定した設定データで処理の実行を開始させるためのボタンであり、クリアボタンMA-18は、設定した設定データを解除するためのボタンであり、キャンセルボタンMA-19は、処理の実行を行わない場合のボタンである。

【0071】
このように、制御部102は、入出力制御インターフェース部108を制御することによりユーザーにGUI画面を表示装置114に表示し、入力装置112を介して入力された各種の設定データを取得する。そして、制御部102は、取得した各種の設定データを画像データファイル106a等の記憶部106に格納する。そして、画像処理装置100は、これらの設定データに基づいて処理を行う。以上が、設定処理の一例である。

【0072】
[領域抽出処理]
次に、上述の全体処理における領域抽出処理(ステップSB-2)の詳細について、図8を参照して説明する。ここで、図8は、本実施の形態における領域抽出処理の一例を示すフローチャートである。

【0073】
図8に示すように、まず、領域抽出部102cは、領域受付部102bにより注目領域を受け付けた画像と同一の画像データを、スコアリング対象として選択する(ステップSB-21)。

【0074】
そして、領域抽出部102cは、スコアリング対象の画像データに対し、領域抽出アルゴリズムライブラリ106bに記憶された複数の領域抽出アルゴリズムを用いて抽出領域を生成し、領域抽出アルゴリズム選択部102dは、注目領域の画像データと抽出領域の画像データとを比較して、当該画像データ間の類似度のスコアを算出して、スコアテーブルを作成する(ステップSB-22)。すなわち、注目領域(Rg)を指定するために使用した画像データに対し、領域抽出アルゴリズムライブラリ106bに記憶された複数の領域抽出アルゴリズム(A1~A10)によって、それぞれ抽出領域を生成し、これによって抽出された複数の抽出領域(R1~R10)と、Rgとの類似度のスコアを算出する。すなわち、一例として、類似度のスコアは、指定領域Rgと各抽出領域R1~R10をそれぞれ「特徴量」と呼ばれる量で数値化した数値間の距離(difference)によって類似度を計測する。

【0075】
そして、領域抽出アルゴリズム選択部102dは、作成したスコアテーブルに基づいて、トップスコア(最も高い類似度)を算出した領域抽出アルゴリズムを選択する(ステップSB-23)。上述の例では、最も類似している(つまり、距離(difference)が最小)と判断された領域を抽出した領域抽出アルゴリズム(A*)を最適法として選択する。

【0076】
そして、領域抽出部102cは、画像データファイル106aに記憶された画像データから、抽出対象の画像データ(通常は、全画像データ)を選択する(ステップSB-24)。

【0077】
そして、領域抽出部102cは、抽出対象の全画像データに対し、領域抽出アルゴリズム選択部102dにより選択された領域抽出アルゴリズムを用いて、抽出領域を生成する(ステップSB-25)。

【0078】
そして、領域抽出部102cは、注目領域を更新するか否かを判断する(ステップSB-26)。例えば、画像データに、t(時間)軸方向のn個の画像が格納されている場合、t=0の画像とt=nの画像では、環境が大きく異なっている場合がある。そのため、抽出精度を高めるために、ユーザーにより、時間が離れた複数の画像に対して、複数の注目領域が設定されている場合がある(図7の教師マスクファイル数入力画面MA-5参照)。領域抽出部102cは、一例として、複数の注目領域が設定されているか否かを判断し、未だ解析を行っていない注目領域に対応する抽出対象の画像データがある場合、注目領域を更新する(ステップSB-26、Yes)。このように、注目領域を更新することで、空間的、時間的に多様に変化するタスク環境においても高い精度の抽出処理が可能となる。

【0079】
そして、領域抽出部102cは、注目領域を更新すると判断した場合(ステップSB-26、Yes)、更新した注目領域に対応する、スコアリング対象の画像データを選択し(ステップSB-21)、更新した注目領域に関して上述の処理を繰り返す(ステップSB-22~ステップSB-26)。

【0080】
そして、領域抽出部102cは、更新すべき注目領域がないと判断した場合(ステップSB-26、No)、処理を終える。以上が、領域抽出処理(ステップSB-2)の一例である。

【0081】
[スコアテーブル生成処理]
つづいて、上述の領域抽出処理におけるスコアテーブル生成処理(ステップSB-22)の詳細について、図9を参照して説明する。ここで、図9は、本実施の形態におけるスコアテーブル生成処理の一例を示すフローチャートである。

【0082】
まず、領域抽出部102cは、領域抽出アルゴリズムライブラリ106bに記憶された特徴抽出法に基づいて、スコアリング対象の画像データに対し抽出領域を生成し、抽出領域の特徴量を計測して、パターン空間から特徴空間を生成する(ステップSB-221)。

【0083】
そして、領域抽出部102cは、領域抽出アルゴリズムライブラリ106bに記憶された識別法に基づいて、特徴空間上の特徴量を注目領域に対応付けて、抽出領域の識別を行う(ステップSB-222)。すなわち、この処理においては、領域抽出部102cは、図6に示すような元画像から注目領域の再現を行う。そのため、領域抽出部102cは、元画像から抽出領域の特徴量を計測し、特徴量の分布を表した特徴空間において、注目領域と対応付け(クラス分け)を行い、抽出領域の画像データを取得する。

【0084】
そして、領域抽出アルゴリズム選択部102dは、領域受付部102bにより取得された注目領域の画像データと、領域抽出部102cにより取得された抽出領域の画像データとを比較して、当該画像データ間の類似度のスコアを算出する(ステップSB-223)。より具体的には、領域抽出アルゴリズム選択部102dは、抽出領域の画像データと注目領域の画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で比較を行い、類似度のスコアを算出する。

【0085】
なお、本実施の形態における画像処理装置で数値化される特徴量は、一例として、濃度値に由来するものと領域の形状に由来する特徴量である。前者は局所領域の画素が持つ濃度値に注目したものであり、例えばテクスチャ特徴や、方向特徴などが考えられる。後者は、例えば注目領域の輪郭形状の法線ベクトルや輝度勾配ベクトル、複素自己回帰係数を当てはめたベクトルなどが考えられる。各特徴量は1次元または多次元ベクトルとして保持される。

【0086】
また、一例として、領域内のある画素が持つ濃度値由来の特徴量としては、例えばある画素を中心とした5×5画素領域が持つ25個の画素の濃度の平均・最大・最小・分散・標準偏差等である。また、他の例として、同時生起行列(GLCM:Grey Level Co-occurrence Matrix)に基づくテクスチャ統計量を用いてもよい。これは、画像内のある画素が持つ濃度値がiであるとき、そこから一定変位δ=(d,θ)だけ離れた画素の濃度値がjである確率Pδ(i,j)(i,j=0,1,2,…n-1)を要素とする同時生起行列M(d,θ)を求めるものである。ここでdとθは2つの画素間の距離と位置角度を示している。また,Pδ(i,j)は0から1の正規化された値をとり,その総和は1となる。例えばd=1の場合、θ=0°(水平方向),45°(右対角線方向),90°(垂直方向)および135°(左対角線方向)の同時生起行列が求められる。各行列からテクスチャを特徴づける角二次モーメント、コントラスト、相関、エントロピーなどが算出される。

【0087】
また、形状に由来する特徴量の例として、ある領域の輪郭線を追跡して得られる点列を(x,y)(j=0,1,…,N-1)とし、その複素表現をz=x+iyとする。例えば、ある輪郭画素(ピクセル)の座標(x,y)=(3,0)である場合、複素表現ではz=3+0iとする。このとき、m次の複素自己回帰モデルは以下の式で表すことができる。
【数1】
JP0005284863B2_000002t.gif

【0088】
そして、この一例として示した評価法では、上記のように数値化(基準化)した特徴量を用いて、注目領域と各抽出領域との間の類似度を算出する。例えば、領域抽出アルゴリズムライブラリ106bに記憶された複数の領域抽出アルゴリズムが、a~a10(∈A)であるとき、ユーザーが指定した一部の画像データにおける注目領域をRg、各領域抽出アルゴリズムによる抽出領域をRa1~Ra10とすると、各領域間の類似度Sは次式によって計算される。
【数2】
JP0005284863B2_000003t.gif

【0089】
そして、領域抽出アルゴリズム選択部102dは、抽出領域の特徴量ベクトルと、領域抽出アルゴリズムの種類(すなわち、特徴抽出法や識別法、パラメータ等の組み合わせ)と、算出した類似度のスコアとを対応付けて格納したスコアテーブルを生成する(ステップSB-224)。

【0090】
以上が、本実施の形態におけるスコアテーブル生成処理(ステップSB-22)の一例である。領域抽出アルゴリズム選択部102dは、このスコアテーブルを生成した後、スコアのソートを行い、最も高い類似度のスコアを算出した領域抽出アルゴリズムを選択する(ステップSB-23)。なお、k個の領域抽出アルゴリズムの中で、選択される領域抽出アルゴリズムaは以下で表せる。
【数3】
JP0005284863B2_000004t.gif

【0091】
すなわち、上述の式(1)によって算出されたS(A=a1~a10)のスコアが最小値である(すなわち、類似度が最も高い)領域抽出アルゴリズムが、ユーザーが指定した注目領域に最も近く、領域抽出に最適であると決定される。その後、上述のように、領域抽出部102cは、選択された領域抽出アルゴリズムを用いて、画像データ全体から領域の自動抽出を行う。抽出結果は、マスクとして保存され、すなわち、抽出領域として抽出された領域には、例えばラベル1、それ以外の領域にラベル0が設定される。このあとのマスクの使用法はユーザーの意図によって異なるが、例えば表示装置114に抽出領域だけを表示したい場合には、第二の画像出力部102eは、図5のステップSB-4において、元画像データとマスクのブール演算を行い、抽出領域以外には輝度値0を設定した画像データを作成する。

【0092】
以上が、本実施の形態の画像処理装置100の処理の詳細である。このように、本実施の形態によれば、画像データファイル106aに記憶された画像データの画像が表示装置114に表示されるよう制御し、表示装置114に表示された画像上で入力装置112を介して指定される注目領域を受け付け、注目領域の画像データを取得し、領域抽出アルゴリズムライブラリ106bに記憶された複数の領域抽出アルゴリズムを用いて、領域抽出アルゴリズム毎に画像データから抽出される抽出領域を生成し、抽出領域の画像データを取得し、抽出領域の画像データと注目領域の画像データとを比較して、当該画像データ間の類似度が最も高い領域抽出アルゴリズムを選択し、選択された領域抽出アルゴリズムを用いて抽出した領域の画像データを表示装置114に出力する。これにより、本実施の形態によれば、大量の画像データから、ユーザーが指定した注目領域に対応した領域を自動で抽出することができ、多様な対象に対して汎用性に富んだ領域抽出を行うことができる。

【0093】
また、本実施の形態によれば、ユーザーに入力装置112であるポインティングデバイスを介して画像上で指定する領域の輪郭をトレースさせることにより、注目領域を受け付ける。これにより、ユーザーが指定する注目領域を正確に受け付けることができ、ユーザーの目的に応じて汎用性に富んだ領域抽出を行うことができる。

【0094】
また、本実施の形態によれば、抽出領域の画像データと注目領域の画像データのそれぞれを、形状とテクスチャという概念で数値化した特徴量間で類似度を算出する。これにより、類似度を測る尺度として汎用性の高い尺度を用いて、領域抽出精度を高めることができる。

【0095】
また、本実施の形態によれば、特徴量を、ベクトルで表現するので、より汎用性の高い尺度を用いて、領域抽出精度を一層高めることができる。

【0096】
また、本実施の形態によれば、ベクトルの各要素を、複素数または実数で表現するので、より汎用性の高い尺度を用いて、領域抽出精度を一層高めることができる。

【0097】
また、本実施の形態によれば、形状の特徴量を、多次元ベクトルで表現するので、より汎用性の高い尺度を用いて、領域抽出精度をより一層高めることができる。

【0098】
また、本実施の形態によれば、テクスチャの特徴量を、多次元ベクトルで表現するので、より汎用性の高い類似度の尺度を用いて、領域抽出精度をより一層高めることができる。

【0099】
また、本実施の形態によれば、多様な対象に対して汎用性に富んだ領域抽出を行うことができるので、例えば、顕微鏡画像における対象物の定量化や、病変部の自動検出、顔認識等を行うための領域抽出として、バイオ分野(医療や製薬や創薬や生物学研究や臨床検査等を含む。)や情報処理分野(生体認証やセキュリティシステム、カメラ撮影技術等を含む。)など様々な分野で利用することができる。

【0100】
例えば、微小な対象物を撮像した画像データを用いる場合、ノイズが大きい上、サイズが小さいため、領域抽出のためのタスク解決においては、様々な問題が生じていたが、本実施の形態によれば、そのような画像に対しても、最適な領域抽出アルゴリズムとそのパラメータを自動選択して、高精度な領域抽出を行うことができる。ここで、図10は、本実施の形態による細胞領域の抽出結果を示す図である。

【0101】
図10に示すように、本実施の形態によれば、背景にノイズが多くサイズが小さい画像(図10上図)であっても、正確に細胞の領域を抽出することができ、抽出領域と画像を統合して、ノイズの少ない画像(図10下図)に変換することができる。また、図11は、酵母ゴルジ体の観察画像(元画像)と、本実施の形態による領域抽出結果を示す図である。

【0102】
図11に示すように、本実施の形態によれば、ユーザーがゴルジ体領域を指定して注目領域を設定した場合、指定した注目領域に最適な領域抽出アルゴリズムを選択するので、元画像(図11左図)がノイズの大きい画像であっても、図11右図に示すように、ゴルジ体領域を正確に自動抽出することができる。また、本実施の形態によれば、大量の画像に対する処理を行うことができ、手作業とは異なり抽出基準が明確であるため、客観性や再現性があるデータが得られる。また、本実施の形態による領域抽出結果に基づいて、体積や移動速度などの定量化を行うことも可能である。

【0103】
また、本実施の形態を用いれば、認証処理の前処理として、顔の領域を抽出するために応用することができる。また、医者等の専門家がレントゲン写真等において病変部領域を注目領域として指定することにより、大量の画像データの中で、病変部領域を自動検出することが可能となる。このように、領域抽出研究に関わる専門家等のユーザーが、ある抽出タスクを前にしたとき、知識や経験を生かしてタスク解決に有効な注目領域を指定できることを利用して、専門家の知識・経験による選択能力を具現化し、適切なアルゴリズムを用いて短時間で目的とする画像を得ることができる。また、研究者等のユーザーは、何度もアルゴリズムを再検討する手間から解放され、よりスムーズな知見の獲得が期待できる。

【0104】
[他の実施の形態]
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

【0105】
例えば、画像処理装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、画像処理装置100とは別筐体で構成されるクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するように構成してもよい。

【0106】
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

【0107】
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

【0108】
また、画像処理装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

【0109】
例えば、画像処理装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて画像処理装置100に機械的に読み取られる。すなわち、ROMまたはHDなどの記憶部106などは、OS(Operating System)として協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。

【0110】
また、このコンピュータプログラムは、画像処理装置100に対して任意のネットワーク300を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

【0111】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD-ROM、MO、DVD等の任意の「可搬用の物理媒体」、あるいは、LAN、WAN、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。

【0112】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

【0113】
記憶部106に格納される各種のデータベース等(画像データファイル106a、領域抽出アルゴリズムライブラリ106b等)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベースやウェブページ用ファイル等を格納する。

【0114】
また、画像処理装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。

【0115】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【符号の説明】
【0116】
100 画像処理装置
102 制御部
102a 第一の画像出力部
102b 領域受付部
102c 領域抽出部
102d 領域抽出アルゴリズム選択部
102e 第二の画像出力部
104 通信制御インターフェース部
106 記憶部
106a 画像データファイル
106b 領域抽出アルゴリズムライブラリ
108 入出力制御インターフェース部
112 入力装置
114 表示装置
200 外部システム
300 ネットワーク
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図7】
5
【図8】
6
【図9】
7
【図10】
8
【図6】
9
【図11】
10