TOP > 国内特許検索 > 画像検索装置、画像検索方法及び画像検索プログラム > 明細書

明細書 :画像検索装置、画像検索方法及び画像検索プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6041203号 (P6041203)
公開番号 特開2014-092909 (P2014-092909A)
登録日 平成28年11月18日(2016.11.18)
発行日 平成28年12月7日(2016.12.7)
公開日 平成26年5月19日(2014.5.19)
発明の名称または考案の名称 画像検索装置、画像検索方法及び画像検索プログラム
国際特許分類 G06F  17/30        (2006.01)
FI G06F 17/30 320A
G06F 17/30 210D
G06F 17/30 170B
請求項の数または発明の数 11
全頁数 19
出願番号 特願2012-242744 (P2012-242744)
出願日 平成24年11月2日(2012.11.2)
審査請求日 平成27年10月23日(2015.10.23)
特許権者または実用新案権者 【識別番号】506122327
【氏名又は名称】公立大学法人大阪市立大学
発明者または考案者 【氏名】ティ ティ ズィン
【氏名】濱 裕光
【氏名】鳥生 隆
【氏名】パイ ティン
個別代理人の代理人 【識別番号】100124039、【弁理士】、【氏名又は名称】立花 顕治
【識別番号】100156845、【弁理士】、【氏名又は名称】山田 威一郎
【識別番号】100124431、【弁理士】、【氏名又は名称】田中 順也
【識別番号】100112896、【弁理士】、【氏名又は名称】松井 宏記
【識別番号】100179213、【弁理士】、【氏名又は名称】山下 未知子
審査官 【審査官】吉田 誠
参考文献・文献 特開2010-250630(JP,A)
特開2007-188404(JP,A)
特開2010-250849(JP,A)
調査した分野 G06F 17/30
特許請求の範囲 【請求項1】
同じ画像群を、複数の分類条件により複数の分類パターンで分類する分類部と、
前記複数の分類パターンでの分類の結果を表示する第1表示制御部と、
前記分類の結果の表示後、前記分類パターンを選択するための情報として、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付ける選択受付部と、
前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断する優先度判断部と、
前記優先度に従って、前記画像群に含まれる画像を表示する第2表示制御部と
を備える、
画像検索装置。
【請求項2】
ユーザから、クエリ画像の指定を受け付けるクエリ受付部
をさらに備え、
前記第1表示制御部は、前記分類パターン毎に、前記画像群の中から、前記クエリ画像との類似度の高い前記画像グループに属する画像を優先して表示することにより、前記分類の結果を表示する、
請求項1に記載の画像検索装置。
【請求項3】
前記優先度判断部は、前記選択受付部がユーザから前記特定の分類パターンの選択を受け付けた場合、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループに属する画像の前記優先度を高く設定する、
請求項2に記載の画像検索装置。
【請求項4】
前記選択受付部は、前記特定の分類パターンの選択を複数受け付け、
前記優先度判断部は、前記特定の分類パターン毎に、前記類似画像グループを特定し、前記複数の特定の分類パターンにそれぞれ対応する前記複数の類似画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
請求項3に記載の画像検索装置。
【請求項5】
前記優先度判断部は、前記選択受付部がユーザから前記特定の画像グループの選択を受け付けた場合、前記特定の画像グループに属する画像の前記優先度を高く設定する、
請求項1から4のいずれかに記載の画像検索装置。
【請求項6】
前記選択受付部は、前記特定の画像グループの選択を複数受け付け、
前記優先度判断部は、前記複数の特定の画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
請求項5に記載の画像検索装置。
【請求項7】
前記選択受付部は、前記特定の分類パターン及び前記特定の画像グループの選択を受け付け、
前記優先度判断部は、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループを特定し、前記類似画像グループと前記特定の画像グループとの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
請求項2に記載の画像検索装置。
【請求項8】
前記選択受付部は、ユーザから、前記特定の分類パターン及び/又は前記特定の画像グループの選択を受け付けることにより、前記分類条件の選択を受け付けるとともに、前記分類条件の重みの指定を受け付け、
前記優先度判断部は、前記選択受付部がユーザから前記特定の分類条件の選択を複数受け付けた場合、前記重みに従って重み付けが行われた前記複数の特定の分類条件の下で、前記画像群に含まれる画像と前記クエリ画像との類似度を判断し、前記類似度に従って前記優先度を決定する、
請求項2から4及び7のいずれかに記載の画像検索装置。
【請求項9】
前記分類条件は、1の特徴量又は複数の特徴量の組み合わせである特徴量記述子により定義される、
請求項1から8のいずれかに記載の画像検索装置。
【請求項10】
コンピュータが、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、
前記コンピュータが、前記複数の分類パターンでの分類の結果を表示するステップと、
前記コンピュータが、前記分類の結果の表示後、前記分類パターンを選択するための情報として、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、
前記コンピュータが、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、
前記コンピュータが、前記優先度に従って、前記画像群に含まれる画像を表示するステップと
を備える、
画像検索方法。
【請求項11】
同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、
前記複数の分類パターンでの分類の結果を表示するステップと、
前記分類の結果の表示後、前記分類パターンを選択するための情報として、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、
前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、
前記優先度に従って、前記画像群に含まれる画像を表示するステップと
をコンピュータに実行させる、
画像検索プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像群の中からユーザの所望する画像を検索するための画像検索装置、画像検索方法及び画像検索プログラムに関する。
【背景技術】
【0002】
従来より、画像群の中からユーザの所望する画像を検索するための種々の技術が提案されている。かかる技術分野においては、膨大な画像群の中から、ユーザの求める画像をどうのようにして探し出すのかという点に加え、探し出された画像をユーザに対しどのような順番で提示するのかという点も、重要な研究テーマである。そのためには、ユーザの要望をどのようにして把握するのか、そして、その要望に沿った検索をどのようにして実現するのかが、大きな課題となる。
【0003】
特許文献1には、検索対象となる画像群の中からユーザの入力したテキストクエリをキーとして画像群を検索し、検索された画像群をクラスタリング等の方法により複数の画像グループに分類することが開示されている。さらに、特許文献1では、この分類の結果をユーザに提示し、その後、ユーザから特定の画像グループの選択を受け付け、画面上に選択された画像グループに属する画像のみを表示することも開示されている。
【先行技術文献】
【0004】

【特許文献1】特開2011-154687号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
以上のとおり、特許文献1では、検索結果を絞り込むべく、画像群を複数の画像グループに分類した後、ユーザに所望の画像グループを選択させているが、画像群の分類条件は1通りに定められている。言い換えると、特許文献1では、画像群を1つの観点から1通りに分類しているのみである。
【0006】
ところで、たとえ同じクエリを用いて画像の検索を行う場合であっても、ユーザの求める検索結果はTPOに応じて異なるものとなる。例えば、ユーザが蝶々の画像を求めている場合に、ユーザが蝶々の外形に注目しているのか、蝶々の羽の模様に注目しているのかでは、ユーザに提示されるべき検索結果は異なってくる。従って、特許文献1のように、1つの分類条件でのみ、すなわち、1つの観点から1通りにのみ画像群の分類を行うのでは、ユーザが真に求めるものを最終的な検索結果に十分に反映することができないという問題が生じ得る。例えば、ユーザが特定の外形(羽の先端が尖っている、羽の先端が丸味を帯びている等)を有する蝶々の画像を求めている場合に、蝶々の外形の観点から画像群が分類がされないと、分類の結果はユーザの意図に沿わないものになる。このように、ユーザの要望はTPOによって変化するものであり、その変化に追従して検索結果を変えることはユーザからの強い要請である。
【0007】
本発明は、ユーザの意図に沿った検索結果を得ることができる画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1観点に係る画像検索装置は、分類部と、第1表示制御部と、選択受付部と、優先度判断部と、第2表示制御部とを備える。分類部は、同じ画像群を、複数の分類条件により複数の分類パターンで分類する。第1表示制御部は、前記複数の分類パターンでの分類の結果を表示する。選択受付部は、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付ける。優先度判断部は、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断する。第2表示制御部は、前記優先度に従って、前記画像群に含まれる画像を表示する。なお、ここで「画像グループ」とは、分類の結果を表示する画面例を示す図7の例で言うと、A2に対応し、「分類パターン」とは、A2を複数まとめたA1に対応する。従って、図7では、2つの分類条件による2つの分類パターンが表示されていることになる。
【0009】
ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。
【0010】
すなわち、ここでは、検索対象となる画像群が、複数の観点から複数通りに分類される。その後、これらの複数通りの分類の結果の提示を受けて、ユーザは特定の分類パターンを選択し得るが、この選択は、ユーザが複数の分類の観点の中から、自分の意図に沿った分類の観点を選択することを意味する。従って、例えば、蝶々の外形の観点での分類と、蝶々の羽の模様の観点での分類とが示された場合に、ユーザは、前者の分類に対応する分類パターンを選択することにより、蝶々の羽の模様ではなく、蝶々の外形に注目していることを意思表示することができる。或いは、ユーザは、特定の分類パターンに代えて又は加えて、特定の画像グループを選択し得るが、この選択は、ユーザが、自分の意図に沿った検索基準として、自身の求める画像を(少なくとも概ね)束ねる画像グループを選択することを意味する。先ほどの蝶々の例で言うと、ユーザは、蝶々の外形による分類による複数の画像グループの中から、特定の画像グループを選択することにより、特定の外形(羽の先端が尖っている、羽の先端が丸味を帯びている等)を有する蝶々に注目していることを意思表示することができる。
【0011】
以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。
【0012】
第2観点に係る画像検索装置は、第1観点に係る画像検索装置であって、クエリ受付部をさらに備える。クエリ受付部は、ユーザから、クエリ画像の指定を受け付ける。前記第1表示制御部は、前記分類パターン毎に、前記画像群の中から、前記クエリ画像との類似度の高い前記画像グループに属する画像を優先して表示することにより、前記分類の結果を表示する。なお、ここでは、クエリ画像との類似度の高い画像グループに属する全ての画像が表示される必要はなく、当該画像グループに属する画像の一部が代表画像として表示されてもよい。
【0013】
ここでは、ユーザによりクエリ画像が指定され、その後、画像群の分類の結果の表示時には、クエリ画像に類似する画像グループに属する画像が優先的に表示される。従って、画像群の分類の結果を見たユーザは、自分の意図に沿った分類パターン及び/又は画像グループを指定し易くなる。
【0014】
なお、画像グループとクエリ画像との類似度は、例えば、分類条件により規定される分類空間内で、クエリ画像を示す点と、画像グループを示す領域の重心との距離に応じて判断することができる。また、分類空間内で、クエリ画像を示す点が存在する領域の画像グループを、クエリ画像と類似度の高い画像グループと判断してもよい。さらに、ここでいう分類空間は、1次元空間であっても、多次元空間であってもよい。
【0015】
第3観点に係る画像検索装置は、第2観点に係る画像検索装置であって、前記優先度判断部は、前記選択受付部がユーザから前記特定の分類パターンの選択を受け付けた場合、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループに属する画像の前記優先度を高く設定する。
【0016】
ここでは、ユーザの指定する分類の観点から見てクエリ画像と類似する画像グループに属する画像が、検索結果として優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。
【0017】
第4観点に係る画像検索装置は、第3観点に係る画像検索装置であって、前記選択受付部は、複数の前記特定の分類パターンの選択を受け付ける。前記優先度判断部は、前記特定の分類パターン毎に、前記類似画像グループを特定し、前記複数の特定の分類パターンにそれぞれ対応する前記複数の類似画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。
【0018】
ここでは、ユーザは、自分の意図に沿った分類パターンを複数選択することができる。そして、ユーザにより複数の分類パターンが選択されると、これらの分類パターンにそれぞれ対応する複数の類似画像グループが特定され、その後、検索結果として、これらの類似画像グループの集合演算により規定されるグループに属する画像が優先的に表示される。従って、ユーザは、複数の分類の観点を組み合わせて、自身の意図を指定することができる。
【0019】
第5観点に係る画像検索装置は、第1観点から第4観点のいずれかに係る画像検索装置であって、前記優先度判断部は、前記選択受付部がユーザから前記特定の画像グループの選択を受け付けた場合、前記特定の画像グループに属する画像の前記優先度を高く設定する。
【0020】
ここでは、検索結果として、ユーザの指定する画像グループに属する画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。
【0021】
第6観点に係る画像検索装置は、第5観点に係る画像検索装置であって、前記選択受付部は、複数の前記特定の画像グループの選択を受け付ける。前記優先度判断部は、前記複数の特定の画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。
【0022】
ここでは、ユーザは、自分の意図に沿った画像グループを複数選択することができる。そして、ユーザにより複数の画像グループが選択されると、検索結果として、これらの画像グループの集合演算により規定されるグループに属する画像が優先的に表示される。従って、ユーザは複数の画像グループを組み合わせて、自身の意図を指定することができる。
【0023】
第7観点に係る画像検索装置は、第2観点に係る画像検索装置であって、前記選択受付部は、前記特定の分類パターン及び前記特定の画像グループの選択を受け付ける。前記優先度判断部は、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループを特定し、前記類似画像グループと前記特定の画像グループとの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。
【0024】
ここでは、ユーザは、自分の意図に沿った分類パターン及び画像グループを組み合わせて選択することができる。そして、ユーザにより分類パターン及び画像グループの両方が選択されると、まず、分類パターンにより規定される複数のグループのうち、クエリ画像と類似する類似画像グループが特定される。そして、その後、検索結果として、この類似画像グループと、ユーザにより指定された画像グループとの集合演算により規定されるグループに属する画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。
【0025】
第8観点に係る画像検索装置は、第2観点から第7観点のいずれかに係る画像検索装置であって、前記選択受付部は、ユーザから、前記特定の分類パターン及び/又は前記特定の画像グループの選択を受け付けることにより、前記分類条件の選択を受け付けるとともに、前記分類条件の重みの指定を受け付ける。前記優先度判断部は、前記選択受付部がユーザから前記特定の分類条件の選択を複数受け付けた場合、前記重みに従って重み付けが行われた前記複数の特定の分類条件の下で、前記画像群に含まれる画像と前記クエリ画像との類似度を判断し、前記類似度に従って前記優先度を決定する。
【0026】
ここでは、ユーザは、自分の意図に沿った分類条件を選択するとともに、その重みを指定することができる。そして、ユーザにより複数の分類条件が選択されると、ユーザにより指定された重みに従ってこれらの分類条件に重み付けを行った上で、そのような重み付がされた複合的な観点から、検索対象となる画像群に含まれる画像とクエリ画像との類似度が判断される。そして、その後、検索結果として、この類似度の高い画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。
【0027】
第9観点に係る画像検索装置は、第1観点から第8観点のいずれかに係る画像検索装置であって、前記分類条件は、1の特徴量又は複数の特徴量の組み合わせである特徴量記述子により定義される。従って、ここでは、分類の観点という抽象的な概念を、コンピュータ等の装置で理解可能なように定量的に表現することができる。
【0028】
第10観点に係る画像検索方法は、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、前記複数の分類パターンでの分類の結果を表示するステップと、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、前記優先度に従って、前記画像群に含まれる画像を表示するステップとを備える。
【0029】
ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。
【0030】
以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。
【0031】
第11観点に係る画像検索プログラムは、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、前記複数の分類パターンでの分類の結果を表示するステップと、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、前記優先度に従って、前記画像群に含まれる画像を表示するステップとをコンピュータに実行させる。
【0032】
ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。
【0033】
以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。
【発明の効果】
【0034】
本発明によれば、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。
【図面の簡単な説明】
【0035】
【図1】本発明の一実施形態に係る画像検索システムの概略構成図である。
【図2】画像サーバの構成を示すブロック図である。
【図3】情報端末の構成を示すブロック図である。
【図4】特徴データベースのデータ構造を示す図である。
【図5】画像検索の流れを示すシーケンス図である。
【図6】(A)検索対象となる画像群の例を示す図である。(B)クエリ画像の例を示す図である。
【図7】選択画面の例を示す図である。
【図8】検索結果画面の例を示す図である。
【発明を実施するための形態】
【0036】
以下、図面を参照しつつ、本発明の一実施形態に係る画像検索装置、画像検索方法及び画像検索プログラムについて説明する。
<1.概略構成>
図1に示すように、本実施形態に係る画像検索装置である画像検索システム1は、画像サーバ2と、画像サーバ2にローカルエリアネットワーク(LAN)やインターネット等のネットワーク6を介して接続される様々な情報端末3とを備えている。情報端末3は、画像の検索を行うユーザの操作に供する装置である。画像検索システム1は、主として情報端末3を介してユーザにより指定されるクエリ画像をキーとして、画像サーバ2に蓄積されている膨大な画像群の中からユーザの所望する画像を検索するシステムである。画像検索システム1は、対話的にユーザの意図を把握し、ユーザの検索の目的に沿った検索結果をユーザに対し提示することができる。

【0037】
画像サーバ2は、ハードウェアとしては、一般的なサーバコンピュータである。画像サーバ2は、この一般的なサーバコンピュータに画像検索プログラム2Aをインストールするとともに、検索対象となる画像群を蓄積することにより製造される。画像検索プログラム2Aは、画像サーバ2に後述する処理を実行させるプログラムであり、CD-ROM、DVD-ROM、ブルーレイディスク、USBメモリ等のコンピュータで読み取り可能な記録媒体70から、又はネットワーク6を介して別の装置からインストールされる。なお、画像サーバ2の担う機能は、複数台のサーバコンピュータにより分散処理されてもよいし、1台のサーバコンピュータにより集中処理されてもよい。すなわち、画像サーバ2のハードウェア構成は、少なくとも1台サーバコンピュータが存在するという以上の制約を受けるものではない。

【0038】
情報端末3は、ハードウェアとしては、ネットワーク6に接続可能な一般的なパーソナルコンピュータや、スマートフォン等であり、これらの一般的な装置に所定のプログラム3Aをインストールすることにより製造される。プログラム3Aは、情報端末3に後述する処理を実行させるプログラムであり、CD-ROM、DVD-ROM、ブルーレイディスク、USBメモリ等のコンピュータで読み取り可能な記録媒体80から、又はネットワーク6を介して別の装置からインストールされる。プログラム3Aは、画像サーバ2との接続を確立し、画像サーバ2と協働しつつ画像検索処理の一部を実行するためのアプリケーションソフトウェアであり、本実施形態では、単なるブラウザである。従って、本実施形態では、各種画面を表示する以外の処理は、原則として全て画像サーバ2により実行され、情報端末3は、主として画像サーバ2が作成する各種画面を画像サーバ2から受け取って表示する処理のみを実行する。しかしながら、他の実施形態においては、画像検索プログラム2Aに実装されている後述される任意の機能をプログラム3Aに実装し、画像サーバ2の担う処理を情報端末3に分散させてもよい。以下、各装置の構成について、説明する。

【0039】
<2.各装置の詳細>
<2-1.画像サーバ>
図2に示すように、画像サーバ2は、制御部21、記憶部22及び通信部23を備えている。これらの部21~23は、互いにバス線7を介して接続されており、相互に通信可能である。

【0040】
記憶部22は、ハードディスクや磁気テープ等の不揮発性の記憶装置から構成されており、画像検索プログラム2Aが格納されているほか、画像データベース50及び特徴データベース55が構築されている。画像データベース50内には、検索対象となる画像群が蓄積されている。各データベース50,55の詳細については、後述する。

【0041】
制御部21は、CPU、ROMおよびRAM等から構成されている。制御部21は、記憶部22内に格納されている画像検索プログラム2Aを読み出して実行することにより、仮想的に特徴抽出部21A、分類部21B、クエリ受付部21C、類似度判断部21D、選択受付部21E、優先度判断部21F、第1表示制御部21G及び第2表示制御部21Hとして動作する。各部21A~21Hの動作の詳細については、後述する。

【0042】
通信部23は、画像サーバ2をネットワーク6に接続するほか、USBメモリやメモリカードなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。従って、通信部23は、ネットワーク6を介して情報端末3との間で、クエリ画像及び検索結果等の送受信を行う役割を担う。

【0043】
<2-2.情報端末>
図3に示すように、情報端末3は、表示部31、入力部32、記憶部33、制御部34及び通信部35を備えている。これらの部31~35は、互いにバス線8を介して接続されており、相互に通信可能である。本実施形態では、表示部31は、液晶ディスプレイ等で構成されており、後述する画面等をユーザに対し表示するユーザーインターフェースである。また、入力部32は、マウス、キーボード、タッチパネル、操作ボタン等で構成されており、情報端末3、ひいてはこれに接続される画像サーバ2に対するユーザからの操作を受け付けるユーザーインターフェースである。

【0044】
記憶部33は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されており、プログラム3Aが格納されている。制御部34は、CPU、ROMおよびRAM等から構成されている。通信部35は、情報端末3をネットワーク2に接続するほか、USBメモリやメモリカード、CD-ROM、外付けハードディスク、デジタルカメラなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。従って、通信部35は、ネットワーク6を介して画像サーバ2との間で、クエリ画像及び検索結果等の送受信を行う役割を担う。

【0045】
<3.動作>
以下、画像検索システム1の動作について、説明する。
<3-1.検索対象となる画像群の準備>
まず、画像検索システム1による画像検索を開始するに当たり、画像データベース50内に検索対象となる画像群のデータが蓄積される。このとき、画像データベース50内に蓄積される画像群は、アクセス権限を有する管理者により手動で、又は自動で、画像サーバ2に直接接続されるマウスやキーボード等の入力装置、又は通信部23を介して入力される。

【0046】
画像データベース50内では、適宜、新たに画像が追加され、又は一部が削除される。特徴抽出部21Aは、画像データベース50内に新たな画像が追加される度に、或いは定期的に又は任意のタイミングで、新たに追加された各画像の特徴を表すパラメータの値として、その画像データから所定の特徴量記述子の値を算出する。ここで、特徴量記述子とは、1の特徴量又は複数の特徴量の組み合わせであり、本実施形態では、特徴量記述子の定義に含まれる特徴量に1対1で対応する座標系からなる1次元又は多次元の尺度である。従って、各画像の特徴量記述子の値は、1又は複数の特徴量の値を要素とする1次元又は多次元ベクトルとして表すことが可能であり、特徴量記述子により規定される1次元又は多次元の分類空間内において点で表される。

【0047】
特徴量記述子は、例えば、フーリエ記述子、ゼロニケ多項式、マルコフ遷移確率、テクスチャ特徴量(高次モーメント、コントラスト、相関、均質性、エントロピー、相違、平均、分散等)、同時生起行列、曲率尺度空間表現(CSS: Curvature Scale Space)等、画像の特徴を表す公知の尺度を適宜用いて定義され得る。なお、高次モーメント、同時生起行列、フーリエ記述子等は、画像内の特徴領域の形状の特徴を表すのに適した記述子であり、特に高次モーメント、同時生起行列は、領域の特徴を表すのに適した領域ベースの記述子であり、フーリエ記述子、CSSは、輪郭線の特徴を表すのに適した輪郭線ベースの記述子である。これらの形状ベースの記述子は、特に検索対象となる画像がカラー画像ではなく、白黒画像の場合、或いはカラー画像であっても、比較的色の変化の少ない画像である場合に、画像の特徴を的確に表すことができる。一般に、白黒画像の検索はカラー画像の検索に比べて、色情報が無い分格段の困難性を伴うが、以上のような形状ベースの記述子を用いることで、白黒画像の検索を比較的容易に実現することができる。

【0048】
ここで、特徴抽出部21Aは、各画像に対して、複数種類の特徴量記述子の値を算出する。また、特徴抽出部21Aは、各画像に対する複数種類の特徴量記述子の値をその画像に関連付けて、特徴データベース55内に格納する。以下、複数の特徴量記述子をD1,D2,・・・と表すこととする。本実施形態では、特徴データベース55は、図4に示す表形式のデータベースであり、特徴データベース55内のレコードは、画像データベース50内に格納されている画像に1対1で対応する。図4に示すように、特徴データベース55内では、画像データベース50内に格納されている画像の画像IDに関連付けて、複数の特徴量記述子D1,D2,・・・の値が格納される。なお、画像サーバ2においては、特徴データベース55内に結果としての数値が格納されているだけでなく、画像検索プログラム2Aとして結果を導き出すアルゴリズムが実装されているので、未知の画像に対する特徴量記述子の値の計算が可能になっている。

【0049】
さて、分類部21Bは、特徴データベース55内のレコードが更新される度に、或いは定期的に又は任意のタイミングで、画像データベース50内の画像群を複数の分類条件により複数の分類パターンで複数通りに分類する。具体的には、分類部21Bは、特徴量記述子D1,D2,・・・毎に、特徴データベース55内に格納されている特徴量記述子の全ての値を複数のグループに分類することにより、画像データベース50内の画像群を複数の画像グループに分類する。従って、ここで実行される複数種類の分類処理の分類条件は、それぞれ特徴量記述子D1,D2,・・・により決定される。また、ここで実行される分類処理による分類パターンは、特徴量記述子により規定される分類空間を分割する分割パターンに対応する。

【0050】
画像の分類のために、任意の公知のクラスター分析のアルゴリズムを採用することができる。例えば、非階層的なクラスタリングの方法であるK平均法を採用してもよいが、階層的又は非階層的を問わず、他の方法を採用し得る。また、K平均法が採用される本実施形態では、画像グループどうしの重複はないが、画像グループどうしが部分的に重複し得る分類方法を採用することもできる。

【0051】
分類部21Bは、分類処理が終了すると、分類の結果を特徴データベース55内に格納する。具体的には、分類部21Bは、特徴量記述子D1,D2,・・・毎に、各画像の属する画像グループの画像グループIDをその画像に関連付けて、特徴データベース55内に格納する。なお、図4に示すように、特徴データベース55内では、各画像の画像IDに対応する画像グループIDを特徴量記述子D1,D2,・・・毎に格納可能なフィールドが定義されている。また、分類部21Bは、特徴量記述子D1,D2,・・・毎に、分類空間内での各画像グループに対応する領域の範囲を規定するデータ(以下、領域データ)を、当該画像グループの画像グループIDに関連付けて、記憶部22内に格納する。

【0052】
なお、上記のとおり、画像データベース50内の画像は削除されることがあるが、その場合、特徴データベース55内の当該画像に対応するレコードも削除される。

【0053】
<3-2.画像検索>
続いて、図5を参照しつつ、画像検索システム1を用いた画像検索の流れについて、説明する。

【0054】
まず、ユーザは、情報端末3の入力部32を操作することにより、検索キーとなるクエリ画像Q1又はその画像ID(画像の保管されている場所及びファイル名等を含む、画像を識別又は特定するための任意の情報)として、情報端末3又は情報端末3に接続されている装置(別体のパーソナルコンピュータや、USBメモリ、メモリカード、CD-ROM、外付けハードディスク、デジタルカメラ等、画像を格納している任意の装置)内に保存されている画像そのもの又は画像IDを指定する(ステップS1)。情報端末3の通信部35は、この操作を受けて、クエリ画像Q1をネットワーク6を介して画像サーバ2に送信する(ステップS2)。このとき、クエリ画像Q1は、通信部23を介してクエリ受付部21Cにより受け取られる。なお、クエリ画像Q1の指定の方法としては、インターネット6上の画像を指定することも可能である。この場合、通信部35は、インターネット6上のクエリ画像Qをいったんダウンロードした後、これをクエリ受付部21Cに送信してもよいし、クエリ画像Q1の存在するURLのみを画像サーバ2に通知し、クエリ受付部21CにそのURLからクエリ画像Q1をダウンロードさせるようにしてもよい。

【0055】
続いて、ステップS3では、画像サーバ2の特徴抽出部21Aが、クエリ画像Q1に対し、複数種類の特徴量記述子D1,D2,・・・の値を算出する。

【0056】
次に、類似度判断部21Dは、特徴量記述子D1,D2,・・・毎に、その特徴量記述子に対応する分類パターンでの各画像グループについて、クエリ画像Q1との類似度を算出する。この演算は、クエリ画像Q1の特徴量記述子D1,D2,・・・の値、及び記憶部22内の上述の領域データに基づいて実行される。なお、画像グループとクエリ画像Q1との類似度は、様々な方法で判断され得るが、例えば、分類空間内におけるクエリ画像Q1を示す点と、画像グループを示す領域の重心との距離として判断される(距離が小さい程、類似度が高い)。また、分類空間内でクエリ画像Q1を示す点が存在する領域の画像グループを、クエリ画像Q1と最も類似度の高い画像グループと判断することも可能である。あるいは、画像グループに含まれる、クエリ画像Q1から所定の基準以上の類似度の画像の数又はその割合に応じて、判断することも可能である。類似度判断部21Dは、算出された類似度に従って、特徴量記述子D1,D2,・・・毎に、クエリ画像Q1と類似度の高い上位N個(N=1,2,・・・)の画像グループC1,・・・CNを特定する(ステップS4)。なお、Nの値は、予め定められていてもよいし、画像グループとクエリ画像Q1との類似度に従って、流動的に決定される値であってもよい。後者の場合には、特徴量記述子D1,D2,・・・毎に、Nの値が異なる結果となり得る。

【0057】
また、類似度判断部21Dは、特徴量記述子D1,D2,・・・毎に、ステップS4で特定された上位N個の画像グループC1,・・・CNの各々について、その画像グループを代表するM枚(M=1,2,・・・)の代表画像R1,・・・RMを特定する(ステップS5)。代表画像R1,・・・RMは、検索対象となる画像群(以下、画像群I1,I2,・・・)のうちの、その画像グループに属する画像のうち、クエリ画像Q1と類似度の高い上位M枚の画像として特定される。ここで、画像と画像との類似度は、例えば、分類空間内でのそれらの画像を示す2点間の距離として判断される(距離が小さい程、類似度が高い)。なお、ここでの演算は、ステップS3で算出されたクエリ画像Q1の特徴量記述子D1,D2,・・・の値、及び、特徴データベース55内に格納されている画像群I1,I2,・・・の特徴量記述子D1,D2,・・・の値に基づいて実行される。なお、代表画像R1,・・・RMの特定の方法は、上述したような類似度の高い上位M枚の画像を選択するという方法に限定されず、例えば、その画像グループの特徴を出来るだけ表現できるように代表画像R1,・・・RMをピックアップするという方法も考えられる。例えば、画像グループに対応する領域内で画像の分布に幾つかのピークが存在するならば、そのピークの中心にある画像を選択することで、その画像グループの特徴を表現可能である。一方、画像グループに対応する領域内で画像が広く分散している場合には、その領域の中心付近の画像のみを選択するのではなく、その領域全体から分散して画像を選択することで、その画像グループの特徴を表現することができる。

【0058】
次に、第1表示制御部21は、選択画面W1(図7参照)を作成し、これをネットワーク6を介して情報端末3へ送信し、表示部31上に表示する(ステップS6)。選択画面W1上では、分類パターン毎に、画像群I1,I2,・・・の中から、クエリ画像Q1との類似度の高い上位N個の画像グループC1,・・・CNの各々に属するM枚の代表画像R1,・・・RMが表示される。従って、選択画面W1上では、複数の特徴量記述子D1,D2,・・・による複数の分類パターンでの複数通りの分類の結果が表示される。図7では、2つの分類パターンによる2通りの分類の結果が示されているが、3つ以上の分類パターンによる3通り以上の分類の結果が示されてもよいことは言うまでもない。また、ここでは、分類パターン毎に、上位N個の画像グループC1,・・・CNに属する画像がその他の画像グループに属する画像に優先して表示される。

【0059】
また、選択画面W1上では、同じ画像グループに属する代表画像R1,・・・RMは、同じ画像グループに属することが分かるような態様で(図7の例では、画像グループ単位で一纏まりにする態様で)表示される。

【0060】
また、選択画面W1上では、画像グループC1,・・・CNとクエリ画像Q1との類似度の大小が分かるような態様で(図7の例では、画像グループC1,・・・CNの類似度の順位に従って、左から順に)、代表画像R1,・・・RMが表示される。その結果、図7の選択画面W1上では、クエリ画像Q1との類似度がより高く、ユーザの所望する可能性の高い画像が、左から順に並んでいる。

【0061】
また、以上のことから明らかなことであるが、ここでは、M枚の代表画像R1,・・・RMが、同じ画像グループに属するその他の画像に優先して表示される。上記のとおり、画像グループC1,・・・CNは、クエリ画像Q1との類似度の観点から選択された上位N個の画像グループであるが、これらの画像グループC1,・・・CNに属する画像であっても、全ての画像がクエリ画像Q1に類似しているとは限らない。ここでは、クエリ画像Q1との類似度の高いものとして選択された画像グループC1,・・・CNに属する画像のうち、さらにクエリ画像Q1との類似度が高いものとして選択された代表画像R1,・・・RMのみを表示する。これにより、選択画面W1の限られたスペースの中で、ユーザの所望する可能性の高い画像を効率的に配置することができる。

【0062】
ところで、分類パターンを規定する特徴量記述子D1,D2,・・・は、分類の観点を表す指標である。ここで、分類の観点について、図7の例を参照しながら具体的に説明すると、図7の上のエリアA1の分類の結果は、画像中の特徴領域の中心が曲がっているか否かの分類の観点を表している。一方、図7の下のエリアA1の分類の結果は、画像中の特徴領域の先端が星状に尖っているか否かの分類の観点を表している。なお、図7の選択画面W1は、クエリ画像Q1を図6(B)に示す骨の画像をとし、検索対象を図6(A)に示す画像群I1,I2,・・・とした場合の画面である。

【0063】
次に、ステップS6の説明に戻ると、選択画面W1がユーザに提示された後、選択受付部21Eは、この選択画面W1を介してユーザから、特定の分類パターン及び/又は特定の画像グループの選択を受け付ける。上記のとおり、選択画面W1上には、複数の分類パターンによる分類の結果が表示されており、かつ、これらの分類パターンによりそれぞれ規定されるN個の画像グループC1,・・・CNに各々属する代表画像R1,・・・RMが表示されている。従って、ユーザは、これらの複数の分類パターン及び複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループを選択することができる。なお、選択画面W1上では、各分類パターンによる分類の結果を表示するエリアA1がオブジェクト化されており、ユーザはこれを選択することができる。また、各画像グループの代表画像R1,・・・RMを表示するエリアA2もオブジェクト化されており、ユーザはこれを選択することができる。

【0064】
ここで、上記のとおり、各エリアA1は、特定の分類の観点からの分類の結果を表示するものである。従って、特定のエリアA1を選択することは、ユーザが複数の分類の観点の中から、自分の意図に沿った特定の分類の観点を選択することを意味する。また、特定のエリアA2を選択することは、ユーザが自分の意図に沿った特定の検索基準として、様々な分類の観点で分類された様々な画像グループの中から、自身の求める画像を(少なくとも概ね)束ねる画像グループを選択することを意味する。

【0065】
ところで、画像検索の分野において非常に重要なこととして、ユーザの所望する画像を探し出すに当たり、ユーザがどのような分類の観点及び/又は検索基準を所望しているのかを装置に理解させることが挙げられる。そして、一般に、これをユーザから言葉で聞き取り、装置に理解させることは難しいが、画像検索システム1においては、これをユーザによる分類パターン及び/又は画像グループの選択を介して実現している。すなわち、本実施形態では、分類に使用された特徴量記述子は装置が事前に保持している情報であるため、装置はユーザにより選択された分類パターン及び/又は画像グループに対応する特徴量記述子に応じて画像を探し出すことで、自然にユーザの意図に沿った検索結果を得ることができる。

【0066】
さて、上記のとおり、選択画面W1は、エリアA1,A2を介して、任意の数の選択要素(分類パターン及び/又は画像グループ)の選択を受け付ける。ただし、選択画面W1は、複数の選択要素が選択される場合には、これらの選択要素を「AND」又は「OR」のいずれの集合演算で組み合わせるのかをユーザに選択させる。選択画面W1上では、「AND」又は「OR」は、エリアA3(図7参照)を介して選択される。

【0067】
ここで、複数の分類パターンを選択した上で、「AND」を選択することは、ユーザが、分類の観点の論理積を選択することを意味し、「OR」を選択することは、分類の観点の論理和を選択することを意味する。このことを再び図7の例を参照しながら説明すると、例えば、選択画面W1上で上下のエリアA1を「AND」で選択することは、ユーザが骨の中央の形状(例えば、骨の中央が真っ直ぐであること)に注目しており、かつ、骨の先端の形状(例えば、星状に尖っていないこと)に注目していることを意味する。一方、上下のエリアA1を「OR」で選択することは、検索されるべき骨の画像としては、骨の中央が真っ直ぐなものでも曲がっているものでもよく、かつ、骨の先端が星状に尖っているものでもいないものでもよいと、ユーザが考えていることを意味する。また、上のエリアA1内の画像グループC2及び下のエリアA1内の画像グループC2を「AND」を選択することは、ユーザが、骨の中央が曲がっており、かつ、骨の先端が星状に尖っている画像を求めていることを意味する。一方、上で上のエリアA1内の画像グループC1,C2,C4を「OR」を選択することは(さらに、下のエリアA1内の画像グループC1,C2が選択されてもよい)、ユーザが骨らしいものなら何でも検索したいと考えていることを意味する。また、上のエリアA1と、下のエリアA1内の画像グループC2とを「AND」で選択することは、ユーザが骨の先端が星状に尖っている画像のみを求めており、その上で、骨の中央の形状(例えば、骨の中央が真っ直ぐであること)に注目していることを意味する。また、上のエリアA1と、下のエリアA1内の画像グループC2とを「OR」で選択することは、ユーザが骨の先端が星状に尖っていることに注目しつつも、骨の中央の形状(例えば、骨の中央が真っ直ぐであること)にも注目していることを意味する。

【0068】
以上のステップS6が終了し、選択画面W1を介してユーザが自身の選択を情報端末3に入力する(ステップS7)と、この選択の結果は、情報端末3からネットワーク6を介して選択受付部21Eに送信される(ステップS8)。

【0069】
続くステップS9では、優先度判断部21Fが、ステップS7でのユーザの選択に従って、画像群I1,I2,・・・に含まれる画像の優先度を判断する。この優先度は、最終的な検索の結果としてユーザに提示される画像(以下、提示画像という)及び提示画像を提示する順番を決定する基準となる。

【0070】
具体的には、まず、優先度判断部21Fは、ステップS7でユーザにより選択された分類パターン(以下、選択分類パターン)又は画像グループ(以下、選択画像グループ)に応じて、画像群I1,I2,・・・に含まれる各画像に対し、提示又は非提示のラベリングを行う。なお、ここで提示のラベリングがされた画像が、後に提示画像となり、非提示のラベリングがされた画像は、検索の結果としてユーザに提示される対象から外される。従って、このラベリングは、画像群I1,I2,・・・の中から提示画像を決定するための基準となるから、上述の優先度となる。言い換えると、ここで優先度判断部21Fは、提示のラベリングを付与する画像の優先度を、その他の画像よりも高く設定している。

【0071】
提示のラベリングは、ステップS7でユーザにより分類パターンが選択されていた場合、選択分類パターンにより規定される画像グループのうち、クエリ画像Q1と類似度の最も高い画像グループC1(以下、類似画像グループ)に属する画像に対して行われる。なお、類似度の判断には、ステップS4の結果が流用される。ここで、選択分類パターンが複数存在する場合には、優先度判断部21Fは、選択分類パターン毎に類似画像グループを特定し、これらの類似画像グループの集合演算により規定される画像グループに属する画像に対し、提示のラベリングを付与する。より具体的には、ステップS7で「AND」が選択されていた場合には、優先度判断部21Fは、複数の選択分類パターンにそれぞれ対応する複数の類似画像グループの全てに属する画像(すなわち、これらの類似画像グループの論理積に属する画像)に対し、提示のラベリングを付与する。一方、ステップS7で「OR」が選択されていた場合には、複数の選択分類パターンにそれぞれ対応する複数の類似画像グループのいずれかに属する画像(すなわち、これらの類似画像グループの論理和に属する画像)に対し、提示のラベリングが付与される。

【0072】
一方、ステップS7でユーザにより画像グループが選択されていた場合には、提示のラベリングは、選択画像グループに属する画像に対して行われる。ここで、選択画像グループが複数存在する場合には、優先度判断部21Fは、これらの選択画像グループの集合演算により規定される画像グループに属する画像に対し、提示のラベリングを付与する。より具体的には、ステップS7で「AND」が選択されていた場合には、優先度判断部21Fは、複数の選択画像グループの全てに属する画像(すなわち、これらの選択画像グループの論理積に属する画像)に対し、提示のラベリングを付与する。一方、ステップS7で「OR」が選択されていた場合には、複数の選択画像グループのいずれかに属する画像(すなわち、これらの選択画像グループの論理和に属する画像)に対し、提示のラベリングが付与される。

【0073】
また、ステップS7でユーザにより分類グループ及び画像グループが組み合わせて選択されていた場合には、提示のラベリングは、上述の類似画像グループと選択画像グループとの集合演算により規定されるグループに対して行われる。より具体的には、ステップS7で「AND」が選択されていた場合には、優先度判断部21Fは、上述の類似画像グループ及び選択画像グループの全てに属する画像(すなわち、これらの画像グループの論理積に属する画像)に対し、提示のラベリングを付与する。一方、ステップS7で「OR」が選択されていた場合には、上述の類似画像グループ及び選択画像グループのいずれかに属する画像(すなわち、これらの画像グループの論理和に属する画像)に対し、提示のラベリングが付与される。

【0074】
以上により、画像群I1,I2,・・・の中から提示画像が特定されたことになるが、続いて、優先度判断部21Fは、提示画像の表示順を決定する。具体的には、優先度判断部21Fは、クエリ画像Q1との類似度に従って、提示画像の優先度を決定する(類似度が高い程、優先度が高い)。なお、類似度の判断には、ステップS5の結果が流用される。これにより、画像単位で、画像群I1,I2,・・・に含まれる画像の優先度が決定される。なお、ここで、ステップS7でユーザにより複数の特徴量記述子に対応する分類パターン及び/又は画像グループが選択されていた場合には、これらの複数の特徴量記述子(以下、選択記述子)の下、1の提示画像に対し複数の類似度の値が存在することになる。従って、この場合には、提示画像の優先度を決定するに当たり、類似度を単純に比較することができない。そこで、例えば、複数の選択記述子に由来する複数の類似度の値から、総合的な類似度を判断することが考えられるが、その方法としては、例えば、これらの類似度を単に足し合わせたり、複数の選択記述子に重みを付けて足し合わせたりすることができる。後者の場合、選択記述子の重みは、ステップS7でユーザに特定の分類パターン及び/又は特定の画像グループを選択させるのに合わせて、選択受付部21Eが選択画面W1上でユーザに指定させることができる。従って、ユーザは、複数の特徴量記述子を組み合わせて自分の意図により合致する分類の方法を指定することが可能になり、ひいては、より自分の意図に沿った検索結果を得ることができる。

【0075】
続くステップS10では、第2表示制御部21Hが、最終的な検索結果を表示する画面として、ステップS9で判断された優先度に従って、提示画像が重複なく配列される検索結果画面W2(図8参照)を作成する。このとき、検索結果画面W2上の提示画像は、優先度の高さが分かるような態様で(図8のように提示画像が2次元配列される場合には、左から右へ、上から下へ向かう程、優先度が低くなり、かつ、優先度が数値で示されるような態様で)表示される。従って、検索結果画面W2は、ユーザの意図に沿って検索された提示画像が、ユーザの意図に沿った順番で配列された画面となる。

【0076】
検索結果画面W2は、第2表示制御部21Hからネットワーク6を介して情報端末3へ送信され、表示部31上に表示される。以上により、画像検索が終了する。

【0077】
なお、その後、検索結果画面W2上でユーザが特定の画像を選択すると、第2表示制御部21Hは、選択された画像を拡大表示する。また、ステップS7で分類パターンが選択された場合において、ユーザがさらに望む場合には、選択分類パターンにより規定される画像グループのうち、クエリ画像Q1と類似度が2番目、3番目・・・に高い画像グループC2,C3,・・・に対しても、画像グループC1に対するのと同様の処理が行われる。この場合、検索結果画面W2上で、既に表示された画像と重複する画像が再表示されることがないように制御される。

【0078】
<4.用途>
上記画像検索システム1は、画像群の中からユーザの所望する画像を検索する様々な状況下で利用され得る。例えば、大規模用途としては、インターネット上の開かれた世界に存在する画像群を検索対象とする画像検索に利用し得る。この場合には、インターネット上で画像を公開しているありとあらゆる装置を集約したものが、上述の画像サーバ2に対応することになる。中規模用途としては、特定の商用の画像データベース内の画像群を検索対象とする画像検索(例えば、商標検索や意匠検索)に利用し得る。また、小規模用途としては、個々のパソコン内、及び/又は個々のパソコンに接続される外部装置(例えば、別体のパーソナルコンピュータや、USBメモリ、メモリカード、CD-ROM、外付けハードディスク、デジタルカメラ等)に格納されている画像群を検索対象として、当該パソコンから画像検索を行うのに利用し得る。この場合には、ユーザが操作する情報端末3に接続されている、検索対象となる画像群を格納しているありとあらゆる装置が、上述の画像サーバ2に対応することになる。

【0079】
<5.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

【0080】
<5-1>
上記実施形態では、クエリ画像全体と全体が類似する画像が検索されるようになっていた。しかしながら、全体がクエリ画像の特徴部と類似する、特徴部がクエリ画像全体と類似する、又は、特徴部がクエリ画像の特徴部と類似するような画像が検索されるようにしてもよい。さらに、このとき、特徴部の傾きを考慮しながら、画像が検索されるようにしてもよい。また、特徴部の抽出は、手動で行われてもよいし、自動で行われてもよい。さらに、検索結果画面上では、クエリ画像と類似する特徴部を太線で囲むなどの態様でハイライトして、検索結果となる画像を表示するようにしてもよい。

【0081】
なお、本変形例を実装するための要素技術は、例えば、以下の文献などに詳しい。
(1) Thi Thi Zin, Hiromitsu Hama, and Pyke Tin, "Object Image Retrieval in Deformable Shapes Using Morphological Operations Based on Dominant Color Regions", DICTA '08 Proceedings of the 2008 Digital Image Computing: Techniques and Applications, pp. 548-555, IEEE Computer Society Washington, DC, USA,2008

【0082】
<5-2>
上記実施形態において、選択画面W1上で分類パターンを選択できないようにしてもよい。或いは、選択画面W1上で画像グループを選択できないようにしてもよい。

【0083】
<5-3>
上記実施形態では、複数の選択要素を組み合わせる集合演算として、論理和(OR)と論理積(AND)を例示したが、例えば、論理差、排他的論理和等、その他の集合演算を用いることもできる。いずれによせ、ユーザの指定範囲から外れた画像は、たとえ類似度が高くても検索の結果から外されることになり、このように様々な集合演算の方法をユーザに選択させることにより、ユーザの意図を検索の結果に自在に反映することができる。

【0084】
<5-4>
上記実施形態では、ステップS9において、まず提示画像を選択するための優先度が判断され、その後、提示画像の表示順を決定するための優先度が判断されるようになっていたが、優先度を判断するに当たり、必ずしもこのような2段階のステップが必要とされるわけではなく、例えば、以下のような態様も、本発明の技術的範囲内である。

【0085】
この例では、前提として、ユーザがステップS7で分類パターンしか選択できないものとする。そして、この場合においても、ユーザは、ステップS7で1又は複数の特徴量記述子を選択し得るが、1の特徴量記述子が選択された場合には、優先度判断部21Fは、検索対象となる画像群I1,I2,・・・に含まれる各画像について、その特徴量記述子の下でのクエリ画像Q1との類似度を判断する。そして、この類似度を優先度とし、所定基準に従って提示画像を決定する(例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする)とともに、類似度の高い順を表示順とする。一方、ステップS7で複数の特徴量記述子(選択記述子)が選択されていた場合にも、優先度判断部21Fは、検索対象となる画像群I1,I2,・・・に含まれる各画像について、クエリ画像Q1との類似度を判断する。ただし、この類似度は、複数の選択記述子の下での複数の類似度を組み合わせた総合的な類似度である。そして、この総合的な類似度を判断するに当たっては、複数の選択記述子の下での複数の類似度を単に足し合わせてもよいが、複数の選択記述子に重みを付けて足し合わせてもよい。後者の場合、選択記述子の重みは、ステップS7でユーザに複数の分類パターンを選択させるのに合わせて、選択受付部21Eが選択画面W1上でユーザに指定させることができる。そして、この総合的な類似度を優先度とし、所定基準に従って提示画像を決定する(例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする)とともに、この総合的な類似度の高い順を表示順とする。従って、ユーザは、複数の特徴量記述子を組み合わせて自分の意図により合致する分類の方法を指定することが可能になり、ひいては、より自分の意図に沿った検索結果を得ることができる。

【0086】
<5-5>
上記実施形態では、ステップS9において、類似画像グループ又は選択画像グループ、あるいはこれらの画像グループの集合演算により規定される画像グループに属する全ての画像が提示画像とされたが、一部の画像のみが提示画像とされてもよい。一部の画像の選択の仕方としては、例えば、クエリ画像Q1との類似度を優先度とし、所定基準に従って提示画像を決定する(例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする)ことができる。
【符号の説明】
【0087】
1 画像検索システム(画像検索装置)
2 画像サーバ
2A 画像検索プログラム
3 情報端末
21B 分類部
21C クエリ受付部
21E 選択受付部
21F 優先度判断部
21G 第1表示制御部
21H 第2表示制御部
C1,C2・・・ 画像グループ
D1,D2,・・・ 特徴量記述子
I1,I2,・・・ 画像群
Q1 クエリ画像
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7