TOP > 国内特許検索 > 画像解析装置、画像解析方法、画像検索システムおよびプログラム > 明細書

明細書 :画像解析装置、画像解析方法、画像検索システムおよびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5818202号 (P5818202)
公開番号 特開2013-050857 (P2013-050857A)
登録日 平成27年10月9日(2015.10.9)
発行日 平成27年11月18日(2015.11.18)
公開日 平成25年3月14日(2013.3.14)
発明の名称または考案の名称 画像解析装置、画像解析方法、画像検索システムおよびプログラム
国際特許分類 G06T   1/00        (2006.01)
G06F  17/30        (2006.01)
FI G06T 1/00 200A
G06F 17/30 170B
G06F 17/30 210D
G06F 17/30 350C
請求項の数または発明の数 15
全頁数 39
出願番号 特願2011-188548 (P2011-188548)
出願日 平成23年8月31日(2011.8.31)
審査請求日 平成26年8月27日(2014.8.27)
特許権者または実用新案権者 【識別番号】599011687
【氏名又は名称】学校法人 中央大学
発明者または考案者 【氏名】加藤 俊一
【氏名】三澤 雄太
【氏名】安川 和希
【氏名】印部 勉
【氏名】上坂 俊輔
個別代理人の代理人 【識別番号】110000420、【氏名又は名称】特許業務法人エム・アイ・ピー
審査官 【審査官】千葉 久博
参考文献・文献 三澤雄太, 外2名,”少ない配色パターンからの感性のモデル化”,映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2011年 5月20日,第35巻, 第20号,p.27-30
印部勉, 外2名,”ベースカラーとアクセントカラーによる感性モデルの構築”,映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2011年 5月20日,第35巻, 第20号,p.31-34
重松利季, 外2名,”画像特徴量及び,tfidfに準じたキーワード評価による画像分類”,映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2009年 5月25日,第33巻, 第20号,p.21-24
多田昌裕, 外1名,”類似する画像領域の特徴解析と視覚感性のモデル化”,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,2004年10月 1日,第J87-D-II巻, 第10号,p.1983-1995
多田昌裕, 外7名,”テクスチャ画像検索システム~大分類と例示検索~”,情報処理学会研究報告,日本,社団法人情報処理学会,2001年 5月22日,第2001巻, 第44号,p.41-48
調査した分野 G06T 1/00
G06F 17/30
特許請求の範囲 【請求項1】
画像の心理的メトリッククロマを尺度として類似性を解析するための画像解析装置であって、前記画像解析装置は、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類する配色分類部と、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンを前記画像に割り当てると共に、3点間コントラストを使用して直線、曲線、または特徴的なテクスチャを有しないのかをマイニングする、テクスチャ・マッピング部と、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部および前記テクスチャ・マッピング部に渡して前記配色パターンを前記色が与える印象ごとに類似する前記画像の補充を可能とする補充画像検索部と
を含む画像解析装置。
【請求項2】
前記配色分類部は、さらに、
前記印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
前記印象を代表するイメージ語を設定する色イメージ設定部と、
前記補充画像検索部が検索した画像を前記イメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含む、請求項1に記載の画像解析装置。
【請求項3】
前記テクスチャ・マッピング部は、
3点の輝度を計算する位置を指定するテンプレートに指定された3点の輝度を計算する輝度計算部と、
前記3点の輝度から3点間コントラストを計算する3点間コントラスト計算部と、
前記メッシュを特徴付ける3点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するテクスチャ・パターン決定部と
を含む
請求項1または2に記載の画像解析装置。
【請求項4】
前記画像解析装置は、前記画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のRGBヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定する、請求項1~3のいずれか1項に記載の画像解析装置。
【請求項5】
画像の心理的メトリッククロマを尺度として類似性を解析するための画像解析方法であって、前記画像解析方法は、情報処理装置が
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類するステップと、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンを前記画像に割り当てると共に、3点間コントラストを使用して直線、曲線、または特徴的なテクスチャを有しないのかをマイニングするステップと、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部および前記テクスチャ・マッピング部に渡して前記配色パターンを前記色が与える印象ごとに類似する前記画像を補充するステップと
を実行する画像解析方法。
【請求項6】
前記カテゴリーに分類するステップは、さらに、
前記印象ごとの分類対象である配色パターンを生成するステップと、
前記印象を代表するイメージ語を設定するステップと、
前記検索した画像を前記イメージ語に対応付けて登録するステップと、
補充された配色パターンをさらに詳細分類するステップと
を含む、請求項5に記載の画像解析方法。
【請求項7】
前記画像をマッピングするステップは、
3点の輝度を計算する位置を指定するテンプレートに指定された3点の輝度を計算するステップと、
前記3点の輝度から3点間コントラストを計算する3点間コントラストを計算するステップと、
前記メッシュを特徴付ける3点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するステップと を含む
請求項5または6に記載の画像解析方法。
【請求項8】
さらに、前記画像の一部の領域についての特徴量を決定する領域特徴量を決定するステップを含み、前記領域特徴量を決定するステップは、前記画像に領域を割当てるステップと、割当てた前記領域のRGBヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定するステップを含む、請求項5~7のいずれか1項に記載の画像解析方法。
【請求項9】
ネットワークに接続され、クライアント装置からの画像検索要求を受領して画像検索要求が含むクエリー画像の心理的メトリッククロマを尺度とした類似性を有する画像を検索するサーバとを含む画像検索システムであって、前記画像検索システムは、
前記サーバは、前記クライアント装置から受領したクエリー画像の色情報およびテクスチャ情報を抽出する画像特徴抽出部と、
データベースに格納された配色パターンおよび前記画像のテクスチャを特徴付けるマッピング情報を属性として伴う画像を、前記クエリー画像から抽出した色情報およびテクスチャを検索キーとして使用して検索する画像検索部と、
検索された画像を前記クライアント装置に利用させるための検索結果を作成する検索結果作成部と、
作成した前記検索結果を前記クライアント装置に送付する検索結果送信部と
を含み、
前記データベースは、画像を、色が与える心理的印象を代表するイメージ語に基づいてカテゴリーに分類された前記色情報および
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンを前記画像に割り当てると共に、3点間コントラストを使用して直線、曲線、または特徴的なテクスチャを有しないのかをマイニングして生成された前記テクスチャのマッピング情報と対応付けて格納する、画像検索システム。
【請求項10】
前記色情報は、前記心理的印象ごとの分類対象である配色パターンを生成し、前記印象を代表するイメージ語を設定して、画像を前記イメージ語に対応付けて補充し、補充された配色パターンをさらに詳細分類することにより前記心理的印象で前記配色パターンを分類して生成される、請求項9に記載の画像検索システム。
【請求項11】
前記テクスチャ情報は、
3点の輝度を計算する位置を指定するテンプレートに指定された3点の輝度を計算し、前記3点の輝度から3点間コントラストを計算して前記メッシュを特徴付ける3点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録することにより生成される、請求項9または10に記載の画像検索システム。
【請求項12】
前記サーバは、さらに前記画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のRGBヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定し、前記ベースカラーおよび前記アクセントカラーを属性情報として前記データベースに登録する、請求項9~11のいずれか1項に記載の画像検索システム。
【請求項13】
情報処理装置を、画像の心理的メトリッククロマを尺度として類似性を解析するための画像解析装置として機能させるための装置実行可能なプログラムであって、前記プログラムは、前記情報処理装置を、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、前記画像を前記印象の類似するカテゴリーに分類する配色分類部、
前記画像にメッシュおよび前記メッシュ内にサブメッシュを定義して、前記サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンを前記画像に割り当てると共に、3点間コントラストを使用して直線、曲線、または特徴的なテクスチャを有しないのかをマイニングする、テクスチャ・マッピング部、
前記データベースから前記イメージ語に分類された画像の前記配色パターンに色空間上の尺度で類似する画像を検索し、前記検索した画像を前記配色分類部およびテクスチャ・マッピング部に渡して前記配色パターンを前記色が与える印象ごとに類似する画像の補充を可能とする補充画像検索部
として機能させる、装置実行可能なプログラム。
【請求項14】
前記配色分類部は、さらに、
前記印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
前記印象を代表するイメージ語を設定する色イメージ設定部と、
前記補充画像検索部が検索した画像を前記イメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含み、
前記テクスチャ・マッピング部は、
3点の輝度を計算する位置を指定するテンプレートに指定された3点の輝度を計算する輝度計算部と、
前記3点の輝度から3点間コントラストを計算する3点間コントラスト計算部と、
前記メッシュを特徴付ける3点間コントラストを与えたテンプレートのパターンを前記メッシュのテクスチャ情報として登録するテクスチャ・パターン決定部と
を含む
請求項13に記載のプログラム。
【請求項15】
前記プログラムは、前記情報処理装置を、前記画像の一部の領域についての特徴量を決定する領域特徴量決定部として機能させ、前記領域特徴量決定部は、前記画像に領域を割当て、割当てた前記領域のRGBヒストグラムを平均することにより、前記画像全体を特徴付けるベースカラーと、前記画像の中で特徴的な色属性を有するアクセントカラーとを決定する、請求項13または14に記載のプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、類似画像のマイニング技術に関し、より詳細には、本発明は、画像を心理的印象の類似性を使用して特徴付けを行う画像解析技術に関する。
【背景技術】
【0002】
ポスターやWebページなどのデザイン製作では、複数の担当者が印刷物やWebページを見ながらデザインを進めてゆく作業を行っている。画像が有する色は、彩度、明度、色相などの特徴量で特徴付けられているものの、種類が多く、また視者の特性や心理的状態によっても色から受取る印象が異なる場合がある。このような場合に特定個人の感性によらず、また、効率的に大多数の視者が受ける印象に基づいて画像解析を行い、画像を特徴付ける属性として使用することで、色彩の決定や類似性判断をより効率的に行うことができるものと考えられてきた。
【0003】
この様な目的のために多く用いられている手法として、情報処理装置に感性的な学習、すなわち色教示を行い、その結果をデータベースに反映させて行く手法を挙げることができる。色彩を教示するのは担当者が母集団の印象を統計解析し、その結果をデータベースに反映させることによって行われることが多い。しかしながら、精度の高い感性的パラメータの統計的学習を行うためには、(1)母集団から分布比率が等しい教示データ群を構築する必要があること、(2)多数の教示データの準備が必要なこと、(3)色という特徴量から受ける印象は、ユーザまたは使用者などによって異なることが多く、分散が大きくその有意性を判断することが困難であること、(4)この様な統計処理を排除するためのRGBといった特徴量だけで色を特徴付けるのでは、人間の感性が反映されるかどうか確実ではなく高精度の教示ということができないという問題があった。
【0004】
このため、色彩をデータベースに教示させる際には、教示者側および利用者側の両方で、労力を消費し、さらに作成したデータベースの信頼性もそれぞれの母集団の相違で異なるなど、充分な利便性を提供しているとはいえないという問題を生じさせていた。
【0005】
また、画像は、複数の色が織りなす種々の形状・模様によって構成されており、画像を特徴付ける場合には、必ずしも色属性ばかりではなく画像のテクスチャを考慮する必要があり、また画像に局所的に存在する色彩が、当該画像を特徴付けるための色として機能する場合もあることが知られている。例えば、グラフィックデザイン分野では、デザイナーは、喚起したいイメージを、配色、被写体、ロゴなどを工夫して表現するが、この際デザイナーは、特に配色を重要視し、比較的使用量の多い色をベースカラー、使用量は少ないが誘目性のある色をアクセントカラーと呼び、これらの組み合わせからデザインする傾向にある。また、デザイナーは、デザイン性の高いダイレクトメールを作成する場合など、そのイメージを可視化・具体化するために、配色パターンによる感性モデルを構築して、配色などの効率化を行うことも行われている(非特許文献1)。
【0006】
しかしながら、配色パターン、すなわち画像全体に相対する色彩の配置および配色といった属性により特徴付けられるアクセントカラーに関しては、これまでその定義が曖昧であり、どのような配色や配置を、画像を特徴付けるアクセントカラーとして判断するべきかについて、デザイナーの経験やボランティアを使用した心理統計処理によって得られたモデルによる経験的なものとならざるを得ないという問題があった。
【0007】
近年、インターネットおよびWebブラウザなど、電子データ共有のためのインフラ基盤が整備され、テキストデータばかりではなく、画像も検索の対象となる場合が多い。また、個人的に撮影した写真データを一括してサーバで管理するインターネット・サービスも普及している状況にある。このため、心理的な印象が類似する画像を情報処理装置を使用して検索する技術はますます重要になってくるものと考えられる。
【0008】
これまで画像を検索対象とする検索システムも数多く知られており、例えば、特開2002-132832号公報(特許文献1)では、画像検索を行うために、画像にキーワードをメタデータとして追加し、キーワードを検索キーとしてユーザから送付されたクエリーとの一致性に基づいて画像を検索する技術が記載されている。
【0009】
また、特開2002-63172号公報(特許文献2)では、画像検索において画像検索者がイメージする画像の指定を容易に実現でき、画像データベースの中から所望の画像を効率的に検索するために、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリー別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう技術が記載されている。
【0010】
また、特開2008-171243号公報(特許文献3)では、画像に対して割り当てたテキストのセットを検索キーとして使用し色彩パターンを検索する技術が記載されている。
【0011】
上述したように画像を検索する技術は種々提案されているものの、主として画像に対してキーワードをメタデータとして付し、当該キーワードを検索することにより対応する画像または画像の特徴量を検索するものである。すなわち、いずれの技術についても画像に対して与えられたキーワードに基づいて検索を行うものであり、画像を特徴付ける特徴量をそのまま検索キーとして検索を可能とするものではないし、画像の心理的な類似性を用いて検索可能とする特徴量を決定することを課題とするものではない。
【先行技術文献】
【0012】

【非特許文献1】重松利季、「画像特徴量およびtf-idfに準じたキーワード評価による画像分類」、映像情報メディア学会技術報告33(20),21-24,2009-05-25
【0013】

【特許文献1】特開2002-132832号公報
【特許文献2】特開2002-63172号公報
【特許文献3】特開2008-171243号公報
【発明の概要】
【発明が解決しようとする課題】
【0014】
本発明は、従来技術の上記問題点に鑑みてなされてものであり、教示データの数を削減しても高精度に画像の心理的印象を支配する要因である配色、テクスチャなどの決定を可能とし、また類似する心理的効果を与える特徴を有するコンテンツ画像の検索を可能とする、画像解析装置、画像解析方法およびプログラム、および当該画像解析方法を利用した画像検索システムを提供することを目的とする。さらに、本発明は、従来のように、特定個人の感性によらず、また、平均的に大多数の視者が受ける印象に基づいて画像解析を行うのではなく、逆に個々人の感性を重視した画像解析技術を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明では、画像の特徴を抽出するために異なる配色のペアから構成した配色パターンを使用し画像全体の色特徴を少数の教示データから抽出し、教示データとして使用できる画像を色情報の類似性を使用して検索・補充することにより、データベースに格納された膨大な画像の中から心理的に類似する可能性の高い画像を抽出し、教示データを補充する。補充した教示データは、色彩の類似性を使用して再クラスタリングされ、詳細な心理的印象の相違に対応付けられる。また、画像の類似検索は、画像の色合いの他、画像にメッシュを割当て、メッシュを代表する3点間コントラストでメッシュを特徴付けし、テクスチャ・マッピングに基づくテクスチャの類似性や、画像中で色彩が有意に異なるアクセントカラーの判断を使用しても行うことができる。
【0016】
本発明の画像解析装置は、画像の心理的類似性を解析し、
データベースに格納された配色パターンを有する画像を取得し、色が与える印象を代表するイメージ語に分類し、画像を前記印象の類似するカテゴリーに分類する配色分類部と、
画像にメッシュおよびメッシュ内にサブメッシュを定義して、サブメッシュのコントラストのパターンを解析し、前記コントラストのパターンで画像をマッピングするテクスチャ・マッピング部と、
データベースからイメージ語に分類された画像の配色パターンに色空間上の尺度で類似する画像を検索し、検索した画像を配色分類部に渡して配色パターンを前記色が与える印象ごとの補充を可能とする補充画像検索部とを含んでいる。
【0017】
本発明の配色分類部は、さらに、
印象ごとの分類対象である配色パターンを生成する配色パターン生成部と、
印象を代表するイメージ語を設定する色イメージ設定部と、
補充画像検索部が検索した画像をイメージ語に対応付けて登録する配色パターン補充部と、
補充された配色パターンをさらに詳細分類する、配色パターン分類部と
を含むことができる。
【0018】
本発明のテクスチャ・マッピング部は、
3点の輝度を計算する位置を指定するテンプレートに指定された3点の輝度を計算する輝度計算部と、
3点の輝度から3点間コントラストを計算する3点間コントラスト計算部と、
メッシュを特徴付ける3点間コントラストを与えたテンプレートのパターンをメッシュのテクスチャ情報として登録するテクスチャ・パターン決定部とを含むことができる。
【0019】
本発明の画像解析装置は、画像の一部の領域についての特徴量を決定する領域特徴量決定部を含み、領域特徴量決定部は、画像に領域を割当て、割当てた領域のRGBヒストグラムを平均することにより、画像全体を特徴付けるベースカラーと、画像の中で特徴的な色属性を有するアクセントカラーとを決定することができる。
【0020】
以上の様に、本発明では、画像のアクセントカラーを画像のベースカラーから効率的に抽出することにより、高い効率で画像の心理的印象に関する類似検索が可能となる。
【図面の簡単な説明】
【0021】
【図1】本実施形態の画像解析装置102を含む検索システム100の機能ブロック図。
【図2】本実施形態の画像解析装置102の機能ブロック200を示す図。
【図3】本実施形態のサーバ110の機能ブロック300を示す図。
【図4】図2で説明した本実施形態の配色分類部204の機能ブロック400を示す図。
【図5】本実施形態のテクスチャ・マッピング部206の機能ブロック500を示す図。
【図6】本実施形態の領域特徴取得部208の詳細な機能ブロック600を示す図。
【図7】本実施形態の配色分類部204が実行する処理のフローチャート。
【図8】配色分類部204の処理によって生成される配色パターンおよび配色パターンの補充の実施形態を示す図。
【図9】本実施形態のテクスチャ・マッピング部206が実行する処理のフローチャート。
【図10】本実施形態で使用するコントラストの計測パターン1000を、従来のコントラスト計測パターンと、3点間コントラストの計測パターンとの比較で示した図。
【図11】本実施形態の領域特徴取得部208の実行する処理のフローチャート。
【図12】本実施形態の領域特徴取得部208が実行する処理を画像に対応付けて説明した図。
【図13】本実施形態の画像検索方法のフローチャート。
【図14】本実施形態の検索システム100による検索結果1400を、クエリー画像(図12(a))、および検索結果画像(図14(b))およびそれぞれの色特徴を、HSV表示に変換して示した図。
【図15】右手側に示したクエリー画像を使用して画像検索を行った結果を示した図。
【図16】図15と同一のクエリー画像を使用して検索された別の検索結果画像を示した図。
【図17】図16の検索結果画像を、HSVのV(明度)ヒストグラムとして類似性を示した図。
【図18】図15~図17に示したクエリー画像による検索結果から排除された画像を、比較例として示した図。
【発明を実施するための形態】
【0022】
以下、本発明を図面に示した実施形態を以て説明するが本発明は、後述する実施形態に限定されるものではない。図1は、本実施形態の画像解析装置102を含む検索システム100の機能ブロック図である。図1に示す検索システム100は、インターネットやLANといったネットワーク120に接続された画像解析装置102と、画像解析装置102に対して検索キーを送付し、画像解析装置102が検索した結果である画像を受領するクライアント装置130とを含んで構成されている。

【0023】
画像解析装置102は、パーソナル・コンピュータ、ワークステーション、サーバ専用機として実装することができ、PENTIUM(登録商標)シリーズ、CORE(登録商標)シリーズ、DUALCORE(登録商標)シリーズといったCPU、XEON(登録商標)シリーズ、またはPOWERPC(登録商標)といったRISCタイプのCPU、RAM、ROMなどを搭載することができる。また、画像解析装置102は、Windows(登録商標)、MacOS(登録商標)、UNIX(登録商標)、LINUX(登録商標)などのオペレーティング・システム(OS)を動作させて、C、C++、Java(登録商標)、Javascript(登録商標)、Perl、Ruby、PHPなどで作成されたサーバ・プログラムを実行する。画像解析装置102をサーバとして実装する場合には、例えばApache、IISといったサーバ・アプリケーションを実装し、CGI(Common Gateway Interface)などを使用してHTTPプロトコルを使用したクライアント装置130からのリクエストを処理する。

【0024】
クライアント装置130は、デスクトップ・コンピュータ、ノート型コンピュータ、タブレット型コンピュータ、PDA(Personal Data Assistant)、スマートフォンなどとして実装することができ、PENTIUM(登録商標)、CELERON(登録商標)、ATOM(登録商標)、CORE(登録商標)シリーズ、DUALCORE(登録商標)シリーズなどのCPU、RAM、ROMなどを実装し、Windows(登録商標)シリーズなどのOSの制御下で、Internet
Explorer(登録商標)、Mozilla((登録商標)/FireFox(登録商標)、Opera(登録商標)などのブラウザ・プログラムを動作させて、画像解析装置102に対して各種のリクエストを送付し、また検索結果の画像をダウンロードし、閲覧可能としている。

【0025】
画像解析装置102は、キーボード106、マウス108などのインタフェースからオペレータによる操作を受領し、サービスの開始、画像データの蓄積などの処理を実行し、画像から当該画像を特徴付ける特徴量を取得し、画像を、ネットワーク120に接続されたサーバ110が管理するデータベース104に登録する。データベース104に登録された画像は、画像解析装置102自体での画像特徴付け処理の要求、またはクライアント装置130からサーバ110への検索リクエストに応じて検索され、検索された画像を、画像解析装置102またはクライアント装置130に送付される。

【0026】
なお、データベース104は、例えばDB2(登録商標)、Cache(登録商標)、XMLDBなど、これまで知られたいかなるリレーショナル・データベースやオブジェクト指向データベース(OODB)を利用して実装することができる。また、図1では便宜上、画像解析装置102と、サーバ110とを機能的に説明する目的で異なる情報処理装置として説明した。しかしながら、画像解析装置102とサーバ110とが一体として構成されていても良いし、データベース104だけをSAN(Storage Area Network)として画像解析装置102およびサーバ110から機能分離させることもでき、このためのアーキテクチャは、これまで知られたいかなるものでも用いることができる。

【0027】
ここで、用語「送付」とは、クライアント装置130が画像ファイルを直接ダウンロードする形態の他、画像解析装置102の画像を管理するURI(Uniform Resource Identifier)をクライアント装置130に提示し、ブラウザ・プログラムによりデスクトップ画面上に表示させる形態を意味する。また、本明細書において、用語「画像」とは、カラー画像、モノクロ画像を問わず、輝度、明度、彩度を有し、例えば、BMP、GIF、JPEG、JPEG2000、TIFF、PNGなどの拡張子で規定されるデジタル画像データを意味し、圧縮の有無を問わない。

【0028】
図2は、本実施形態の画像解析装置102の機能ブロック200を示す図である。画像解析装置102は、その機能ブロックとして、インタフェース部202を備えている。インタフェース部202は、説明する図では、ネットワーク・インタフェース、ATA、SATA、SATAII、SCSIといったストレージ・インタフェース、USBおよびVGAなど、画像解析装置102に対する入出力を制御するための各種インタフェースを総合した機能として示している。

【0029】
画像解析装置102は、配色分類部204と、テクスチャ・マッピング部206と、領域特徴取得部208とを含んで構成されている。配色分類部204は、処理対象の画像が視者に与える心理的印象を、画像の場合にはRGBヒストグラム解析で、色自体についてはRGB値に基づくCIE1976Lを計算し、イメージ語で記述される配色のカテゴリーを数値的に分類し、配色特徴量DB222に初期カテゴリーを生成し、当該初期カテゴリーにボランティアが分類した教示データを初期データとして格納する。

【0030】
テクスチャ・マッピング部206は、処理対象の画像に存在する物体や模様の2次元的分布を特徴付ける値を画像から計算し、画像の情報としてマイニングする機能を有しており、画像のテクスチャをマッピング情報として画像識別値に対応付けて登録する。

【0031】
また、領域特徴取得部208は、処理対象の画像を適切な単位の領域に分割し、領域に特有の配色特徴量およびテクスチャ特徴量を計算し、画像識別値、領域識別値に対応付けて領域特徴量DB226に登録する。色調、テクスチャとして数値化する機能を有する。抽出する機能を備えている。各処理部の詳細な機能については後述する。

【0032】
さらに、画像解析装置102は、補充画像検索部210を備えている。補充画像検索部210は、配色分類部204が初期カテゴリーの作成が終了した後に配色分類部204から呼び出され、配色分類部204がイメージ語に初期分類した画像に類似する画像を画像DB220から検索し、その結果を配色分類部204、テクスチャ・マッピング部206、領域特徴取得部208にそれぞれ渡す。配色分類部204は、配色特徴量DB222の該当するカテゴリーに処理対象の画像を登録させ、テクスチャ・マッピング部206は、テクスチャ特徴量DB224に処理対象の画像のテクスチャ・マッピングとして用いられるテクスチャ特徴量を登録し、領域特徴取得部208は、領域特徴量DB226に領域識別値、テクスチャ特徴量を登録して行く。

【0033】
すなわち、本実施形態では、少数の教示データを使用し、視者が画像に対して抱く印象を特徴付けるイメージ語に対応付けられるカテゴリーに教示データを分類し、当該分類に画像DB220から抽出した画像を補充して行くことにより、少数の教示データから配色特徴量を効率的に分類・統合し、色情報属性として登録すると共に、画像の設定されたメッシュごとにテクスチャ情報を計算し、これをマッピングしたマッピング情報を登録するものである。

【0034】
配色パターンまたは画像の補充が終了した後、配色分類部204は、色差および心理的メトリック尺度の値を使用して、配色特徴量DB222内の画像を再クラスター化することによって、画像を配色特徴量に従った細分化されたクラスターに再分類する。

【0035】
図3は、本実施形態のサーバ110の機能ブロック300を示す。サーバ110は、本実施形態では、いわゆるWebサーバとして構成することができ、クライアント装置130や画像解析装置102からの画像アクセス要求を受領して、要求された画像を検索し、要求元に画像または画像へのリンク情報を含む構造化文書を送付している。

【0036】
図3に示すサーバ110は、画像特徴抽出部304と、画像検索部306と、検索結果作成部308とを含んで構成されている。画像特徴抽出部304は、外部からネットワーク120を介してクライアント装置130が送付する検索キーとして機能する画像を受領し、受領した画像から、検索に使用するための画像特徴を抽出し、各画像特徴を検索キーとしてクエリーベクトルに設定する。

【0037】
画像検索部306は、説明している実施形態では、2つの機能を有する。第1の機能は、画像解析装置102からの画像特徴量が送付されると、データベース104に格納した画像を検索し、データ・マイニングのため、画像に対して画像の特徴量を索引付けし、データベース104に登録する機能である。他の1つの機能は、クライアント装置130から送付されたクエリー画像から画像特徴抽出部304が計算したクエリーベクトルを受け取り、データベース104の検索を実行する機能である。

【0038】
画像検索部306は、画像の検索が終了すると、検索結果作成部308を呼出し、検索された画像を画像解析装置102またはクライアント装置130に提示するために、例えば、類似度順に画像または画像のURIをソートし、検索結果リストなどを作成し、HTMLといった構造化文書を作成して、HTTPプロトコル・ベースで、検索結果の送信を可能とさせる。

【0039】
以上の機能手段は、サーバ110のアプリケーション・プログラム処理機能、例えばPerl、Ruby、Java(登録商標)、JavaScript(登録商標)、PHPなどのプログラム機能部が主な機能を提供している。

【0040】
さらに、サーバ110は、検索結果送信部310を含んでおり、検索結果送信部310は、作成された構造化文書をリクエストの送信元に返すと共にクライアント装置130や画像解析装置102からのダウンロード要求や閲覧要求を処理する機能を有しており、例えば、Apacheといったサーバ・プログラムが検索結果送信部310の実装構成の主体とされる。

【0041】
図4は、図2で説明した本実施形態の配色分類部204の機能ブロック400を示す。配色分類部204は、配色パターン生成部402と、色イメージ設定部404と、補充画像検索部呼出部406とを含んで構成されている。配色パターン生成部402は、教示データを生成する処理を実行し、ボランティアなどにより提示するべき教示データを抽出し、デスクトップ画面上などに、教示のためのイメージ語と共にリスト表示するためのデータを作成する処理部である。なお、提示する画像は、カラーデザインなどの分野に適用する場合、カラーパッチとすることができるし、画像検索などのためにデータベースを実装する場合、写真、イラストその他のコンテンツ画像などとすることができる。

【0042】
本実施形態で、配色パターンを生成する場合、カラーパッチおよびコンテンツ画像は、配色パターンの設定を効率化する目的および教示データの印象をボランティアなどに強く印象づけるためであり、配色パターンのペアは、後述する色イメージを与えると考えられる範囲で、色差および心理的メトリッククロマの大きなものをペアとすることで効率的な教示が可能となる。なお、色差および心理的メトリッククロマについては、例えば、「新編 画像解析ハンドブック」、高木・下田監修、東京大学出版会発行2004年9月10日(初版)などを参照されたい。

【0043】
色イメージ設定部404は、本実施形態で教示データとして使用する配色パターンが与える印象を簡単な語句に置き換えたリストを管理する。色イメージ設定部404は、色教示のために使用する配色パターンの印象を、例えば「Cool」、「Hot」、「インテリジェンス」、「赤を基調とした配色」、「青を基調とした配色」、「快活」、「沈みがち」など、色教示を行うボランティアに提示する印象語にボランティアが分類した配色パターンを印象語に対応付けて管理する。色イメージ設定部404は、色教示が終了した段階で分類された配色パターンを構成する色情報についてRGBデータからL色空間データに変換し、Lの値を生成し、補充画像検索部呼出部406に分類されたLの値を渡す。

【0044】
なお、カラーパッチから配色パターンを生成する場合ではなく、コンテンツ画像を教示データとする場合には、コンテンツ画像を構成するRGBデータをL色空間の値に射影し、カラー・ヒストグラムの平均値を使用して、コンテンツ画像の配色パターンとすることができる。また、コンテンツ画像は、それ自体が配色パターンを有しているということもできるが、同様の心理的な印象を与えると考えられるコンテンツ画像のペアとして教示データとすることもできる。

【0045】
補充画像検索部呼出部406は、補充画像検索部210を呼び出し、画像DB220の検索を実行させ、色イメージ設定部404が分類した初期グループ毎に、当該グループが含む画像の色情報に関し、画像DB220から画像を取得し、取得した画像のL色空間の色差および心理的メトリッククロマの値が設定したしきい値範囲の画像を選択し、配色パターン補充部408に当該画像または当該画像を参照させるための情報を渡し、現在処理している初期グループの配色パターンとして、例えば色イメージ設定部404が管理するリストに追加し、色パターンまたは画像を補充する。

【0046】
配色パターン分類部410は、補充が完了した後、配色パターンまたは画像を、K-平均法を使用して詳細グループ分けを行い、最終的な教示色パターンを生成させ、その結果を配色特徴量DB222に格納する。本実施形態で使用するK平均法(K-means)は、データ集合{χ}に対して設定した数のクラスターVを定義し、このクラスターVに対してランダムにデータχを割り当て、各クラスターVの重心を、クラスターVに分類されているデータχの要素の平均(または重み付け平均)として計算する。

【0047】
その後、データχと、クラスターVの各重心との間のノルムを計算し、χについてノルムが最も近いクラスターVにχの帰属を変更する。これを、データ数iについて反復し、各クラスターVに帰属したデータχのノルムの合計の変化量が設定した微少量以下になった段階で、クラスターを確定するものである。

【0048】
なお、本実施形態では、クラスターVの数は、統計的に最もクラスターが生成されるように、下記式(1)で示される相関比を最大化させる数として動的に設定した。





【0049】
【数1】
JP0005818202B2_000002t.gif

【0050】
図4に示したデータ構造420は、配色パターン分類部410がクラスター分類を完了した後のクラスター化された配色パターンの実施形態である、初期グループは、配色パターンの補充の後、配色パターン分類部410によりクラスターC1~Cnに分類され、各クラスター430には、配色パターンimage_A~image_imが分類されている。同様のデータ構造としてクラスターC2~Cnが生成される。これらのデータ構造は、初期グループが類似の印象を与える配色または画像から形成され、当該初期グループに対して配色または画像を補充し、当該結果をK平均法により再分類することから、配色パターンを心理的な印象が近いグループに分類することを可能とする。

【0051】
図5は、本実施形態のテクスチャ・マッピング部206の機能ブロック500を示す。テクスチャ・マッピング部206は、メッシュ割当部502と、輝度計算部504と、テクスチャ・パターン決定部506と、3点間コントラスト計算部508とを含んでいる。メッシュ割当部502は、処理対象とする画像にメッシュを割当て、さらにメッシュを、9ブロックのサブメッシュに割り当て、サブメッシュ単位でのコントラストおよびメッシュについての3点間コントラストの計算を可能とさせている。

【0052】
輝度計算部504は、メッシュが含むサブメッシュの輝度(L値)を計算し、適切なメモリに記憶させており、3点間コントラスト計算部508による3点間コントラスト計算を可能とさせている。なお、3点間コントラストとは、メッシュの中心にあるサブメッシュを取り囲む8のサブブメッシュのコントラスト・パターンをテンプレートとし、3点間コントラストの画像上での分布をマッピングすることで、画像全体にわたるテクスチャ(以下、全体テクスチャとして参照する。)として、画像上のコントラスト・パターンを識別させることを可能とする。

【0053】
テクスチャ・パターン決定部506は、本実施形態では、メッシュについての28種類のコントラスト・パターンをテンプレートとして登録しており、画像のメッシュの3点間コントラストを計算するためテンプレートと照合を行う。テンプレートには、3点間コントラストを計算するサブメッシュの位置が登録されており、3点間コントラスト計算部508による3点間コントラストの計算を効率化させている。

【0054】
またテクスチャ・パターン決定部506は、3点間コントラスト計算部508が計算した3点間コントラストのうち、最も高いコントラストを与えたテンプレートのパターンIDを、当該メッシュのテクスチャ情報としてマッピングする。この結果、テクスチャ・マッピング部206は、パターンID分布から、画像が全体として直線パターンが支配的な画像であるか、それとも曲線が支配的な画像であるか、または特に特徴付けられる形状がないかの判断をマッピング結果を使用して判断することを可能とする。なお、3点間コントラスト計算の詳細については後述する。

【0055】
また、図5において、生成された全体テクスチャを含むテクスチャ特徴量DB224のデータ構造510の実施形態も示す。クラスタCには、image_Aからimage_imが登録されている。また、image_A~image_imは、3点間コントラストがマッピングされた全体テクスチャ情報が対応付けられており、このデータがテクスチャ特徴量DB224が格納する実質的なデータ構造である。

【0056】
図6は、本実施形態の領域特徴取得部208の詳細な機能ブロック600を示す。領域特徴取得部208は、処理対象の画像の特定の領域のテクスチャや色情報を抽出し、画像の特定領域の情報を取得する機能を有する。領域特徴取得部208は、画像全体のうち特徴的な情報を検索に使用する場合や、画像の特定領域毎に画像特徴を判断し、画像の類似判断を行う場合に利用される。

【0057】
領域割当部602と、ベースカラー抽出部604と、アクセントカラー抽出部606と、領域特徴量決定部608とを含んで構成されている。領域割当部602は、画像上に指定されたサイズの領域をマッピングし、例えば領域の4隅の位置座標を画像上の物理的な座標に対応付けすることによって、領域と画像上の領域とを対応付けする。そして、領域特徴量決定部608は、割当てられた領域を、領域が包含する画素野のカラー・ヒストグラムの分布の平均値で置換し、周囲色と特定の領域の色彩の差の判断を可能とする。

【0058】
ベースカラー抽出部604は、領域に特徴的な色、すなわち画像全体に比較した時に領域が特徴的な色情報を有しているか否かを判断するために、画像において最も広い面積を占める色情報を、カラー・ヒストグラムおよび画素分布から取得し、ベースカラーとして領域特徴量決定部608に送付する。

【0059】
また、アクセントカラー抽出部606は、注目している領域が、ベースカラーに対して特徴的、すなわち色差および心理的メトリッククロマがしきい値を超えているか否かの判断を行う。アクセントカラー抽出部606は、当該領域の色情報が、画像上で質的に全体とは異なる特性を有していると判断した場合には、判断結果を領域特徴量決定部608に送付し、ベースカラー抽出部604が取得したベースカラー情報と共に領域を特徴付ける情報として管理させる。

【0060】
以上の処理によって、領域特徴量決定部608は、画像の特定の領域に関し、ベースカラー、アクセントカラーの有無、テクスチャの相違を取得し、領域特徴量DB226に格納する。図6には、本実施形態の画像解析装置102が画像についての処理を完了した段階で、画像DB220に構成される画像をマイニングするために利用可能なデータ構造610を示す。データ構造330は、配色特徴量DB222に格納されるデータ構造であり、データ構造420は、テクスチャ特徴量DB224に格納されるデータ構造であり、データ構造620は、領域特徴量DB226に格納されるデータ構造である。

【0061】
なお、データ構造620のT1~T4は、例えば画像image_Aの領域1~領域4についての、ベースカラー情報、アクセントカラー情報および領域テクスチャ情報を含む情報を示す。

【0062】
図7は、本実施形態の配色分類部204が実行する処理のフローチャートである。図7の処理は、ステップS700から開始し、ステップS701で配色パターンを生成する。配色パターンは、色が視者に与える心理的な印象が共通すると考えられるカラーパッチをペアにすることによって生成される。また、処理対象の画像が、コンテンツ画像である場合、それ自体が配色パターンであるということができるので、コンテンツ画像の場合は、それ自体またはコンテンツ画像に関して共通する印象を与えるコンテンツ画像のペアとして配色パターンを生成し、適切な画像DB220などの適切な領域に格納する。

【0063】
ステップS702では、当該配色パターンに対し、教示データとして使用する目的で、配色に対する視者が抱く印象を示すイメージ語を割当て、イメージ語に対して、配色パターンを登録するためのリストを作成する。ステップS703では、ボランティアといった視者に対して配色パターンを提示し、配色パターンに対して抱く心証を、デスクトップ画面上にブラウザ・ソフトウェアにより提示されるイメージ語テーブルの、該当するイメージ語のフィールドに、配色パターンをドラッグドロップするなどにより、視者の印象に対応して配色パターンを初期分類してゆく。なお、初期分類のためのグラフィカル・ユーザ・インタフェース(GUI)としては、配色パターンの表示毎にプルダウン・リストを割り当てておき、配色パターン毎に視者がプルダウン・リストに表示されるイメージ語から該当するイメージ語を選択する態様を用いることができる。

【0064】
視者の選択結果は、例えばフォームとして、画像解析装置102に送付されて、ステップS704で該当するイメージ語に対して視者が抱く印象が蓄積される。画像解析装置102は、特定のイメージ語に割当てられた配色パターンを解析し、例えばサーバ110のデータベース104から配色パターンを抽出して取得し、教示データとして使用される配色パターンと抽出した配色パターンとの間のL色空間における色差および心理的メトリッククロマの差を計算する。なお、色差ΔEabおよび心理的メトリッククロマは、下記式(2)(3)でそれぞれ与えられる。

【0065】
【数2】
JP0005818202B2_000003t.gif

【0066】
【数3】
JP0005818202B2_000004t.gif

【0067】
ステップS707では、色差および心理的メトリッククロマの各値について設定したしきい値TおよびTと色差の差および心理的メトリッククロマの差とをそれぞれ比較し、それぞれが選択したしきい値以下であるか否かを判断する。色差の差および心理的メトリッククロマの差のいずれかが、各しきい値よりも大きい場合(No)、処理をステップS705に戻し、別の配色パターンを抽出し、ステップS706、S707の処理および判断を繰り返す。

【0068】
一方、色差の差および心理的メトリッククロマの差のいずれもがしきい値よりも小さい場合(Yes)、ステップS708で現在処理を行っているイメージ語に分類するべきとして、リストの該当イメージ語の配色パターンを登録するフィールドに配色パターン自体または配色パターンを固有に指定するURIなどを登録することによって配色パターンを補充して行く。ステップS710では、データベース104などに予め登録した配色パターンの全パターンについて判断を終了したか否かを判断し、終了していない場合(No)ステップS709で次のパターンを選択しステップS705に処理を戻し、全パターンの判断が終了するまで処理を反復する。

【0069】
ステップS710の判断で、全パターンについて判断が終了したと判断した場合(Yes)、ステップS711で、配色特徴量DB222にリストを登録する。ステップS712では、配色特徴量DBに登録したリストを参照し、K平均法により補充された配色パターンを詳細カテゴリーにカテゴリー化し、処理をステップS713で終了させる。なお、図7の説明は、K平均法を画像解析装置102において実行するものとして説明したが、画像解析装置102の実行するプログラムを、PHP、Perl、Rubyなどのプログラミング言語で記述したCGIプログラムなどとして実装することで、画像解析装置102の処理をサーバ110に依頼して実行することができる。

【0070】
なお、詳細カテゴリーに分類された配色パターンには、新たに該当するイメージ語が付されても良いし、具体的な用途において必要ではない場合には、特に特定のイメージ語を割り当てずとも良い。なお、イメージ語を付する場合とは、画像テキスト検索を行う場合などであり、画像にイメージ語などをメタデータとして追加する場合である。また、画像自体を使用して検索する場合には、イメージ語は特に付されずとも良い。

【0071】
図8は、配色分類部204の処理によって生成される配色パターンおよび配色パターンの補充の実施形態を示す。図8(a)は、画像解析装置102が生成した配色パターンのセットであり、ボランティアは、図8(a)で示す配色パターンのセットをデスクトップ画面上で見ながら、それぞれのイメージ語を割り当てるか、またはイメージ語が表示されたリストに図8(a)の配色パターンをドラック・ドロップするなどして登録してゆく。

【0072】
この結果、視者が受けた印象ごとに、分類した図8(b)、(c)に示す初期教示パターンが生成される。初期教示パターンは、説明の目的で、4パターンに分類されている。図8(c)に示した初期教示パターンについて、画像解析装置102は、例えばサーバ110に依頼し、配色パターンの補充を実行する。その結果、色差および心理メトリッククロマが類似する配色パターンが自動的に補充される。この処理により、ボランティアといった視者に対して膨大な教示データ・セットを提示することなく、ボランティアの負担を軽減し、また膨大な教示データの準備を行う必要がなく、効率的に視者に一定の心理的印象を与える教示データを生成することができる。

【0073】
図9は、本実施形態のテクスチャ・マッピング部206が実行する処理のフローチャートである。なお、説明の便宜上、テクスチャ・マッピング部206は、画像解析装置102が実行する処理として説明するが、テクスチャ・マッピング部206の処理は、適切なCGIプログラムなどを実装し、サーバ110に委任し、画像解析装置102はその結果を受領するだけの機能として実装することができる。

【0074】
図9の処理は、ステップS900から開始し、ステップS901で処理対象の画像を画像DB220から取得する。ステップS902で、画像にメッシュを割当てる。メッシュを割当てる処理は、画像上の画素の物理的位置座標を、メモリ上に定義した二次元の矩形面に割当てる処理を意味する。さらに、ステップS903では、当該メッシュを、9つのサブメッシュに分割し、中央のサブメッシュを基準メッシュとし、基準メッシュを取り囲む8のサブメッシュをサンプリング・メッシュとする。

【0075】
ステップS904では、メッシュについてテンプレートを参照し、3点間コントラストを計算する。3点間コントラストは、下記式(4)で計算できる。

【0076】
【数4】
JP0005818202B2_000005t.gif

【0077】
サブメッシュの輝度は、サブメッシュが含む画素のRGB値を平均し、平均のRGB値から計算したLの値を使用することができる。上記式(4)で定義した3点間コントラストは、注目する3点の合計輝度に対して、基準サブメッシュから変位ベクトルa、aだけ変位した位置の合計輝度と基準サブメッシュの輝度との差という物理的意義を有する。すなわち、上記式(4)で与えられる3点間コントラストは、基準サブメッシュを境としてコントラストが変化していることを示す指標とすることができ、この結果、特定の計測パターンに帰属される基準サブメッシュの画像上での分布を検査することにより、画像のテクスチャをマッピングすることが可能となる。

【0078】
ステップS904では、メッシュについてテンプレートを参照し3点間コントラストを計算し、最もコントラスト値を与えたテンプレートのパターンIDを決定する。ステップS905では、当該メッシュについて決定されたパターンIDを登録し、画像のメッシュの位置にパターンIDを登録する。その後、ステップS906で画像のテクスチャ特徴量DBに当該画像のメッシュのテクスチャ情報としてパターンIDを登録し、ステップS907で全画像のメッシュについてパターンIDを割当てたか否かを判断する。

【0079】
ステップS907で割当てていないと判断された場合(No)、処理をステップS904に戻し、次のメッシュを取得し、当該メッシュについてパターンIDの決定処理を反復させる。ステップS907で当該画像全体についてテクスチャ・マッピングが終了したと判断された場合(Yes)処理をステップS908で終了させる。

【0080】
図9の処理が終了した時点で、画像上のメッシュで最も大きな3点間コントラストを与えるパターンが画像全体にわたってマッピングでき、この結果、画像が含む物体または模様といった大局的なテクスチャのマイニングが可能となる。

【0081】
図10には、本実施形態で使用するコントラストの計測パターン1000を、従来のコントラスト計測パターンと、3点間コントラストの計測パターンとの比較で示す。図10に示すコントラスト計測パターン1010は、従来のコントラスト計測パターンであり、メッシュの中央の基準サブメッシュに対して1点だけの輝度を使用して2点間のコントラストを計測する。一方、3点間コントラストの計測パターン1020は、8つのサブメッシュから2つのサブメッシュを抽出し、3点間でコントラストを計算する。この結果、例えば基準サブメッシュを中心としたコントラスト分布の情報を得ることができ、画像上のテクスチャをマイニングするための指標として使用することができる。

【0082】
本実施形態では、テクスチャ・マッピング部206は、画像上に適切なサイズのメッシュを割当て、当該メッシュにサブメッシュを割り当てて画像全体に対して3点間コントラストを計算し、画像を3点間コントラストの計測パターンIDでマッピングすることで、例えば、直線が主要のテクスチャであるのか、曲線が主要なテクスチャであるのか、または特に特徴的なテクスチャがないのかに関連して画像のマイニングを可能とする。

【0083】
図11は、本実施形態の領域特徴取得部208の実行する処理のフローチャートである。領域特徴取得部208は、画像の部分領域の特徴量を使用した画像をマイニングするために利用でき、例えば、特徴的な形状・色の配置を使用して画像を検索したり提示したりする際に機能する。図11の処理は、ステップS1100から開始し、ステップS1101で、処理対象の画像を取得する。この段階では画像は、配色分類され、さらにテクスチャ・マッピングがなされている。ステップS1102では、画像全体の画素について画像の3次元RGBヒストグラムを作成し、画像中で、最も広い面積を占める色を決定し、当該色を、L*a*b*色空間の値に変換して、画像のベースカラーとして特定する。

【0084】
ステップS1103では、画像を領域分割し、ステップS1104で領域内のRGBヒストグラムを作成し、領域中で最も使用されている色のL値を計算し、当該L値で当該領域を平均化する。ステップS1105では、全領域の処理を終了したか否かを判断し、終了していなければ(No)、処理をステップS1104に戻して処理を反復させる。一方、ステップS1105で、全領域について終了したと判断した場合(Yes)、ステップS1106で、領域のL値と、ベースカラーのL値との色差を計算する。ステップS1107では、計算した色差がしきい値を超えるか否かを判断し、しきい値を超えない場合(No)、処理をステップS1109に分岐させて、処理を終了する。

【0085】
一方、ステップS1107の判断でしきい値を超えると判断された場合(Yes)、ステップS1108で、最大色差の領域についてのL値をベースカラーのLと共にデータベース104に格納し処理を終了する。

【0086】
図12は、本実施形態の領域特徴取得部208が実行する処理を画像に対応付けて説明した図である。図12(a)は、処理対象の画像であり図12(b)には、画像について割り当てた領域についてそのRGBを平均化した後のデータを画像として示したものである。図12(b)から、画像全体のイメージを代表するベースカラーを抽出する。ベースカラーの抽出後、各メッシュと、ベースカラーとの色差を計算して行き、最も色差の大きな領域のL値をアクセントカラーとして決定し、図12(d)として処理対象画像の属性情報としてデータベース104に格納する。

【0087】
図13は、本実施形態の画像検索方法のフローチャートを示す。本実施形態の画像検索方法は、ステップS1300から開始し、ステップS1301でクライアント装置から検索クエリーとするクエリー画像を受領し、ステップS1302でクエリー画像をメッシュ分割し、画像全体および各メッシュについて配色特徴量、テクスチャ特徴量、領域特徴量を計算し、クエリーベクトルを作成する。

【0088】
ステップS1303では、各画像について登録された特徴量を読み出して、特徴量ベクトルとし、特徴量ベクトルと、クエリーベクトルとの間の平行度を計算する。平行度の計算に際しては、数値ベクトルの場合には、内積であり、例えば計測パターンの場合には、対応するメッシュの計測パターン同士が一致すれば、0、不一致の場合には、非ゼロ値とする論理演算を実行することにより、特徴量ベクトルの平行性を評価する。ステップS1304では、平行度が高い画像のうち、上位設定数画像を抽出し、平行度の順にソーティングし、検索結果としてバッファメモリにリストまたはテーブルとして登録する。

【0089】
ステップS1305では、検索結果を構造化文書として出力し、クライアント装置にレスポンスとして送付する。ステップS1306では、クライアント装置からの画像閲覧要求を受領したか否かを判断し、受領しなければ(No)、タイムアウトなどを待ってステップS1308で処理を終了する。一方、ステップS1306で画像閲覧要求を受領した場合(Yes)、ステップS1307で画像をクライアント装置に送付した後、処理をステップS1306に戻し、さらに要求を待機する。

【0090】
以上のように、本実施形態の画像検索方法では、画像に対して特にテキストなどのメタデータを追加することなく、画像検索を実行することができる。なお、他の実施形態では、画像の特徴量検索と共にイメージ語などをメタデータとした検索も併用することができる。

【0091】
以下、図14~図18を使用して、本実施形態の検索システム100について説明する。図14は、本実施形態の検索システム100による検索結果1400を、クエリー画像(図12(a))、および検索結果画像(図14(b))およびそれぞれの色特徴を、HSV表示に変換して示した図である。図14(a)に示すクエリー画像は、青空/草原のコンテンツ画像であり、クエリー画像として、3つ送付され、検索システム100は、これらの画像に類似する画像を検索する。検索システム100のサーバ110は、クエリー画像からLの値を計算し平均して、配色分類特徴値、テクスチャ・マッピングおよび領域特徴量を計算する。なお、テクスチャ・マッピングおよび領域特徴量は、平均化できないので、それぞれクエリー・ベクトルの別個の要素値として追加する。

【0092】
図14(a)の左手側には、クエリー画像の色値の平均をHSVのHヒストグラムとして示したものを示す。図14(a)のHヒストグラムは、左手側から、R、G、Bの順に並んだカラー・ヒストグラムとされている。また図14(b)は検索結果画像であり、図14(b)の左手側の画像では、青空/草原のコンテンツ画像が検索されている。また、検索結果画像の左手側に示したHヒストグラムを見ても、クエリー画像の微量のR成分が検索結果画像に見られないことを除き、ヒストグラム・パターンは、良好に一致していることが示されている。

【0093】
図15~図17は、さらに他のコンテンツ画像をクエリー画像として画像検索を行った結果を示す。図15は、図15(a)の右手側に示したクエリー画像を使用して画像検索を行った結果であり、図15(b)が検索された画像である。図15(a)、(b)の左手側にはそれぞれHヒストグラムが示されており、クエリー画像では、G、Bが主要な成分を有していることが示されており、図15(b)のHヒストグラムでも、G成分にやや不一致が見られるが、G-B領域の主成分はほぼ一致していることが分かる。また、テクスチャ・マッピングによって、クエリー画像は、先生分が主要な画像テクスチャであると解析されるので、図15(b)の検索結果画像も直線的なテクスチャが主体の画像が検索されている。

【0094】
図16は、図15と同一のクエリー画像を使用して検索された別の検索結果画像の実施形態である。図16では、Hヒストグラムではなく、HSVのS(彩度)ヒストグラムを使用して検索結果の一致性を説明するものである。図16のSヒストグラムは、左手側が彩度0であり、右手側に向かって高彩度となる尺度が用いられている。

【0095】
図15でも説明したように、図16においても検索結果画像は、建造物と空というパターンを有するコンテンツ画像が抽出されている。一方、図16(a)、(b)の左手側のSヒストグラムに示すように、彩度のパターンは、高彩度側の最大領域付近に僅かに相違はみられるもののSヒストグラムの主要部はほぼ一致している。

【0096】
また、図17は、図16の検索結果画像を、HSVのV(明度)ヒストグラムとして類似性を示したものである。図17に示されるように、明度についても、低明度側端では不一致はみられるものの、低明度側端は、画像上で視者に与える印象も低いことから、視者の心理的印象に最も強く作用する明度領域の範囲で、充分にヒストグラム分布が一致しているものと判断された。すなわち、本実施形態では、画像を単にRGBの強度や分布だけで検索するのではなく、画像が与える心理的印象を教示することで、画像属性を生成し、当該属性を使用して画像マイニングを行うことにより、RGBの相違によらず、クエリー画像に類似する画像の類似検索を効率良く行うことができるものと結論できる。

【0097】
図18は、図15~図17に示したクエリー画像による検索結果から排除された画像を、比較例として示した図である。図18の右手側には、画像が示され、左手側には、HSVヒストグラム(上から順に、Hヒストグラム、Sヒストグラム、Vヒストグラム)を示す。図18に示すように、検索結果から排除された画像は、明らかにHSV特性が異なり、また画像から受ける印象や、テクスチャ特徴が異なり、さらにまったく別の心理的印象が与えられることが示される。

【0098】
以上の通り、本発明によれば、教示データの数を削減しても高精度に画像の色や配色などの決定を可能とし、また類似する特徴を有する配色パターンやコンテンツ画像の識別を可能とする、画像解析装置、画像解析方法およびプログラム、および当該画像解析方法を利用した画像検索システムを提供することができ、インターネットを介して共有されるコンテンツ画像の効率的な検索に適用することができる。

【0099】
これまで本発明を図面に示した実施の形態および具体的な実施例に基づいて説明してきたが、本発明は、説明した実施形態に限定されるものではなく、追加、変更、別実施例など当業者により想到される画像解析、方法、検索システムは、本発明の効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0100】
100 検索システム
102 画像解析装置
104 データベース
106 キーボード
108 マウス
110 サーバ
120 ネットワーク
130 クライアント装置
200 機能ブロック
202 インタフェース部
204 配色分類部
206 テクスチャ・マッピング部
208 領域特徴取得部
210 補充画像検索部
220 画像DB
222 配色特徴量DB
224 テクスチャ特徴量DB
226 領域特徴量DB
300 機能ブロック
304 画像特徴抽出部
306 画像検索部
308 検索結果作成部
310 検索結果送信部
330 データ構造
400 機能ブロック
402 配色パターン生成部
404 色イメージ設定部
406 補充画像検索部呼出部
408 配色パターン補充部
410 配色パターン分類部
420 データ構造
430 クラスター
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17