TOP > 国内特許検索 > 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体 > 明細書

明細書 :画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4565187号 (P4565187)
公開番号 特開2006-344155 (P2006-344155A)
登録日 平成22年8月13日(2010.8.13)
発行日 平成22年10月20日(2010.10.20)
公開日 平成18年12月21日(2006.12.21)
発明の名称または考案の名称 画像表示位置決定装置、画像表示位置決定方法、画像表示位置決定プログラム、及びこれを記録したコンピュータ読取可能な記録媒体
国際特許分類 G06F  17/30        (2006.01)
FI G06F 17/30 380F
G06F 17/30 170B
G06F 17/30 210D
請求項の数または発明の数 16
全頁数 43
出願番号 特願2005-171324 (P2005-171324)
出願日 平成17年6月10日(2005.6.10)
審査請求日 平成20年1月28日(2008.1.28)
特許権者または実用新案権者 【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
発明者または考案者 【氏名】長谷山 美紀
【氏名】小川 貴弘
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人原謙三国際特許事務所
審査官 【審査官】岩間 直純
参考文献・文献 特開2004-164331(JP,A)
特開2005-063307(JP,A)
横山 貴紀,外,フラクタル符号に基づく類似性抽出についての検討,情報処理学会研究報告,日本,社団法人情報処理学会,2002年 3月 8日,Vol.2002,No.26,pp.15-21,(2002-CVIM-132)
調査した分野 G06F 17/30
JSTPlus(JDreamII)
特許請求の範囲 【請求項1】
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、
上記複数の画像である元画像を取得する画像取得部と、
各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、
各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、
各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出手段と、
上記座標算出手段によって各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、
複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、
上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、
を備えていることを特徴とする、画像表示位置決定装置。
【請求項2】
各元画像において、上記レンジブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第2の特性値として算出するレンジブロック輝度算出手段をさらに備え、
上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記レンジブロック輝度算出手段によって各元画像について算出された第2の特性値を、要素としてさらに含めることを特徴とする、請求項1に記載の画像表示位置決定装置。
【請求項3】
各元画像において、上記レンジブロックと最も似ているドメインブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第3の特性値として算出するドメインブロック輝度算出手段をさらに備え、
上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記ドメインブロック輝度算出手段によって各元画像について算出された第3の特性値を、要素としてさらに含めることを特徴とする、請求項1又は2に記載の画像表示位置決定装置。
【請求項4】
各元画像において、
(a)上記レンジブロックと、
(b)そのレンジブロックと最も似ているドメインブロックに基づき、かつ上記レンジブロックとサイズが同じであるサイズ調整ドメインブロックと、
の非類似度を、元画像の特性を表す第4の特性値として算出する非類似度算出手段をさらに備え、
上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記非類似度算出手段によって各元画像について算出された第4の特性値を、要素としてさらに含めることを特徴とする、請求項1から3の何れか1項に記載の画像表示位置決定装置。
【請求項5】
上記ドメインブロック作成手段が、上記レンジブロックと同じサイズのドメインブロックを作成することを特徴とする請求項1から4の何れか1項に記載の画像表示位置決定装置。
【請求項6】
上記レンジブロック作成手段が、各元画像のサイズと実質的に比例したサイズを有するレンジブロックを作成し、
上記ドメインブロック作成手段が、各元画像のサイズと実質的に比例した画素数でずらしながら、各元画像のサイズと実質的に比例したサイズを有する部分画像を切り出すことによって、ドメインブロックを作成することを特徴とする、請求項1から5の何れか1項に記載の画像表示位置決定装置。
【請求項7】
各元画像について生成される上記特徴ベクトルが、異なる複数のレンジブロックについて算出された上記特性値を要素として含み、
上記自己組織化マッピング手段が、自己組織化マップの学習において勝利素子の探索を行う際に、上記特徴ベクトルに含まれる各レンジブロックについて算出された上記特性値に対して、そのレンジブロックの元画像内における位置に基づいて重み付けを行うことを特徴とする、請求項1から6の何れか1項に記載の画像表示位置決定装置。
【請求項8】
上記重み付けが、レンジブロックの位置と画像の中心との間の距離に応じたものであることを特徴とする、請求項7に記載の画像表示位置決定装置。
【請求項9】
上記画像取得部が、画像内における被写体の位置を示す被写体位置データをさらに取得し、
上記重み付けが、レンジブロックの位置と、上記被写体位置データによって示される画像内における被写体の位置との間の距離に応じたものであることを特徴とする、請求項7に記載の画像表示位置決定装置。
【請求項10】
上記元画像が、撮像によって作成されたものであり、
上記元画像を撮像した際の環境を示す撮像環境データを取得する撮像環境データ取得部と、
上記撮像環境データに基づいて、元画像を非階層的な複数のグループに分類する非階層的分類手段と、をさらに備え、
上記自己組織化マッピング手段が、上記の自己組織化マップの学習及び元画像の帰属する素子の位置の決定を、上記グループごとに行い、
上記画像配置手段が、一覧画像を上記グループに対応する部分領域に分割し、部分領域におけるサムネイル画像の表示位置を、上記自己組織化マップにおける元画像の帰属する素子の位置に基づいてグループごとに決定することによって、一覧画像における各サムネイル画像の表示位置を決定することを特徴とする、請求項1から9の何れか1項に記載の画像表示位置決定装置。
【請求項11】
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、
上記複数の画像である元画像を取得する画像取得部と、
各元画像について、フラクタル画像符号化法によってIFSパラメタ値を算出する特性値算出手段と、
複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択手段と、
上記画像選択手段によって組み合わせが選択された2つの元画像について、上記IFSパラメタ値に基づいて当該2つの元画像間の非類似度を算出する誤差値算出手段と、
一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、
を備えていることを特徴とする、画像表示位置決定装置。
【請求項12】
上記画像選択手段によって選択された2つの元画像における一方の元画像のIFSパラメタ値を用いて他方の元画像を再構成して再構成画像を作成する再構成手段をさらに備え、
上記誤差値算出手段は、上記他方の元画像と上記再構成画像との輝度の誤差値に基づいて、当該2つの元画像間における非類似度を算出することを特徴とする、請求項11に記載の画像表示位置決定装置。
【請求項13】
請求項1から12の何れか1項に記載の各手段として、コンピュータを動作させるための画像表示位置決定プログラム。
【請求項14】
請求項13に記載の画像表示位置決定プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項15】
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、
上記複数の画像である元画像を取得する画像取得工程と、
各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、
各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、
各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出工程と、
上記座標算出工程において各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、
複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、
上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、
を含んでいることを特徴とする、画像表示位置決定方法。
【請求項16】
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、
上記複数の画像である元画像を取得する画像取得工程と、
各元画像について、フラクタル画像符号化法によってIFSパラメタを算出する特性値算出工程と、
複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択工程と、
上記画像選択工程において組み合わせが選択された2つの元画像について、上記IFSパラメタに基づいて当該2つの元画像間の非類似度を算出する誤差値算出工程と、
一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、
を含んでいることを特徴とする、画像表示位置決定方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、複数のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定する装置及びその装置において用いられる方法、並びにその装置を実現するためのプログラム及びにこれを記録した記録媒体に関するものである。
【背景技術】
【0002】
近年のブロードバンドの発展や様々なディジタルメディアの普及により、個人が所有する画像の数は飛躍的に増加している。これに伴って、所望の画像を膨大な量の画像の中から検索する必要性が生じているが、人手で行うには大きな負担となる。このため、与えられる画像の中から所望の画像、あるいはそれと類似する画像を自動で選択し、ユーザに呈示する手法のニーズが高まっている。
【0003】
ところで、類似画像を自動で検索する技術については従来より活発に研究が行われており、非常に多くの手法が提案されている。一般にこれらの手法では、検索を行うためにユーザがあらかじめ質問画像を与える必要がある。
【0004】
しかしながら、ユーザが検索対象とする画像に類似した画像を保持していない可能性があり、そのような場合、これらの手法では類似画像の検索を行うことができない。また、検索の初期の段階において、所望の画像がどのようなものであるかという検索意図が、ユーザにとって明確でない場合も少なくない。このような場合、ユーザは試行錯誤的に多くの画像の閲覧を希望すると考えらえる。したがって、多数の類似した画像同士をまとめ、その結果をユーザに理解しやすい形で呈示すること、すなわち可視化することが必要とされている。
【0005】
このような観点から、類似の画像を近接して表示する手法について研究が行われており、そのような手法が非特許文献1~3に記載されている。これら非特許文献1~3に記載された手法では、画像の特徴を数値として抽出し、この数値(以下「特性値」という)を要素として有する特徴ベクトルによって、画像の特徴を表現する。そして、この特徴ベクトルを用いて自己組織化マップの学習を行い、学習後の自己組織化マップの何れの素子に画像が帰属するかによって、画像の配置を決定している。
【0006】
ここで、特許文献1の手法では、上記の特性値としてMPEG(Moving Picture Expert Group)-7で規格化されているエッジヒストグラムを用いている。一方、特許文献2の手法では、上記の特性値として画像に含まれる各画素のRGB成分の平均値を用いている。また、特許文献3の手法では、上記の特性値としてガボールフィルターから得られる値を用いている。

【非特許文献1】Laaksonen, J., Koskela, M., Oja, E., “PicSOM-self-organizing image retrieval with MPEG-7 content descriptors,” IEEE Transactions on Neural Networks, v 13, n 4, July 2002, p 841-853.
【非特許文献2】Bin Zhu, Ramsey, M., Hsinchun Chen, “Creating a large-scale content-based airphoto image digital library,” IEEE Transactions on Image Processing, v 9, n 1, Jan. 2000, p 163-167.
【非特許文献3】Laaksonen, J., Koskela, M., Laakso, S., Oja, E., “Self-organising maps as a relevance feedback technique in content-based image retrieval,” Pattern Analysis and Applications, v 4, n 2-3, 2001, p 140-152.
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上記の非特許文献1~3に示した手法は研究段階にあり、類似性の判定において未だ非実用的であるという問題を有している。具体的には、非特許文献1~3に記載された手法は、互いに類似する複数の画像(すなわち単一の類似画像群に含まれる複数の画像)をその類似度に基づいて分類することはできるものの、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類(クラスタリング)するのには向いていない。例えば、類似の模様などが描写された複数の画像をその類似度に基づいて分類(クラスタリング)することはできるが、複数の被写体を被写体ごとに様々な角度から撮像した多くの画像について、同一の被写体のみを含む画像群に精確に分類(クラスタリング)することはできない。このようなことから、類似した画像同士を近接して表示する手法において、改善されたさらなる手法が求められている。
【0008】
本発明は上記問題点に鑑みてなされたものであり、その目的は、画像を一覧表示するために各画像の表示位置を決定する際に、類似性を精確に判断し、ユーザがどの位置にどのような画像が表示されているかを把握しやすいようにサムネイル画像を配置できる画像表示位置決定装置及び画像表示位置決定方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明者は、上記課題に鑑みて研究を重ねた結果、フラクタル画像符号化法において用いられるIFSパラメタ値が、画像の特性を表す特性値として好適に利用できることを見出し、本発明を完成させるに至った。
【0010】
すなわち、本発明に係る画像表示位置決定装置は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、上記複数の画像である元画像を取得する画像取得部と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出手段と、上記座標算出手段によって各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、を備えていることを特徴とする。
【0011】
自己組織化マップの学習では、複数の特徴ベクトルの中から任意に1つを選択し、これを入力ベクトルとして与えることによって、配列された各素子が有する重みベクトルを更新する。ここで、更新される素子は、入力ベクトルと最も類似度の高い(距離の近い)重みベクトルを有する素子(勝利素子)、及びその近傍の素子(近傍素子)である。そして、近傍素子の更新量は、通常、勝利素子の更新量よりも小さく設定される。このような学習を繰り返すことによって、自己組織化マップにおける隣接した素子同士は、類似の重みベクトルを有するようになる。
【0012】
上述した自己組織化マップの学習に、画像の特性を示す特性値を要素として含む特徴ベクトルを用い、学習後の自己組織化マップの素子に画像を特徴ベクトルに基づいて帰属させることによって、画像のクラスタリングを行うことができる。その結果、隣接する素子に帰属する画像同士は、類似の特徴ベクトルを有した画像、すなわち類似の画像となる。よって、画像配置手段によって、類似した画像が近接して配置されることになる。以上のように、本発明に係る画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
【0013】
ここで、本発明では、画像の特性を示す特性値として、画像内における自己相似性に着目している。なお、上記の「レンジブロックと最も似ているドメインブロック」とは、このドメインブロックをレンジブロックと同じサイズになるように調整し、さらに必要に応じて回転させた画像と、レンジブロックとの間において、各画素の輝度の差に基づいた非類似度が、他のドメインブロックに比べて最も小さいものをいう。
【0014】
一般に類似の(例えば、含まれる被写体が同じものである)画像同士の場合、あるレンジブロックに最も似ているドメインブロックの位置も類似する傾向にある。よって、レンジブロックと似ているドメインブロックが画像内のどの位置に存在するかに基づいて、画像の類似性を判定することができる。これにより、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類(クラスタリング)する際に、精確に分類することができる。
【0015】
また、このような自己相似性は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
【0016】
また、上記画像表示位置決定装置は、各元画像において、上記レンジブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第2の特性値として算出するレンジブロック輝度算出手段をさらに備え、上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記レンジブロック輝度算出手段によって各元画像について算出された第2の特性値を、要素としてさらに含めることが好ましい。
【0017】
上記構成によれば、上述した画像内における自己相似性に加えて、画像中の特定領域の輝度にも基づいて画像の類似性を判定することができる。よって、画像の類似性の判定を一層精確にすることができる。
【0018】
また、上記画像表示位置決定装置は、各元画像において、上記レンジブロックと最も似ているドメインブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第3の特性値として算出するドメインブロック輝度算出手段をさらに備え、上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記ドメインブロック輝度算出手段によって各元画像について算出された第3の特性値を、要素としてさらに含めることが好ましい。
【0019】
上記構成によれば、レンジブロックに最も似ているドメインブロックの位置情報に加えて、このドメインブロックの輝度にも基づいて画像の類似性を判定することができる。よって、画像の類似性の判定を一層精確にすることができる。
【0020】
また、上記画像表示位置決定装置は、各元画像において、(a)上記レンジブロックと、(b)そのレンジブロックと最も似ているドメインブロックに基づき、かつ上記レンジブロックとサイズが同じであるサイズ調整ドメインブロックと、の非類似度を、元画像の特性を表す第4の特性値として算出する非類似度算出手段をさらに備え、上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記非類似度算出手段によって各元画像について算出された第4の特性値を、要素としてさらに含めることが好ましい。
【0021】
上記構成によれば、レンジブロックに最も似ているドメインブロックの位置情報に加えて、レンジブロックと、これと相似なドメインブロックとが、どの程度異なっているかを指標として画像の特性を表現することができるようになる。よって、この非類似度にも基づいて画像を判定することにより、判定結果が一層正確になる。
【0022】
また、上記ドメインブロック作成手段が、上記レンジブロックと同じサイズのドメインブロックを作成してもよい。
【0023】
上記構成によれば、レンジブロックとドメインブロックとの大きさが同じであるため、レンジブロックと最も似ているドメインブロックを求める際に、レンジブロックと合同なドメインブロックを求めればよいことになる。そのようなドメインブロックを求める際には、ブロックの拡大又は縮小の変換処理をする必要がないため、計算量を削減することができるようになる。よって、サムネイル画像の表示位置を迅速に決定することができるようになる。
【0024】
また、上記レンジブロック作成手段が、各元画像のサイズと実質的に比例したサイズを有するレンジブロックを作成し、上記ドメインブロック作成手段が、各元画像のサイズと実質的に比例した画素数でずらしながら、各元画像のサイズと実質的に比例したサイズを有する部分画像を切り出すことによって、ドメインブロックを作成することが好ましい。
【0025】
レンジブロックのサイズを元画像のサイズに比例させることによって、元画像におけるレンジブロックの占める割合は常に一定となる。よって、異なるサイズの元画像から作成されるレンジブロックの個数は常に一定となる。
【0026】
また、切り出しの際のずらし量を元画像のサイズに比例させることによって、得られるドメインブロックの個数も一定となる。さらに、ドメインブロックのサイズを画像のサイズに比例させることによって、元画像におけるドメインブロックの占める割合も一定となる。
【0027】
以上のことから、入力に用いられる画像のサイズが一定していなくても、得られるレンジブロック及びドメインブロックの条件は一定となり、画像のサイズに依存しない類似性の判定を行うことができるようになる。
【0028】
また、各元画像について生成される上記特徴ベクトルが、異なる複数のレンジブロックについて算出された上記特性値を要素として含み、上記自己組織化マッピング手段が、自己組織化マップの学習において勝利素子の探索を行う際に、上記特徴ベクトルに含まれる各レンジブロックについて算出された上記特性値に対して、そのレンジブロックの元画像内における位置に基づいて重み付けを行うことが好ましい。
【0029】
上記構成によれば、特徴ベクトルが、異なるレンジブロックについての複数の特性値を含むことになる。ここで、自己組織化マップにおいて勝利素子の判定を行うために、特性値を含む入力ベクトルと重みベクトルとの非類似度の算出を行う際に、レンジブロックに基づいた重みを特性値に与えることによって、特定のレンジブロックについての非類似度を重点的に評価できるようになる。よって、重要であると考えられる領域について非類似度を重点的に評価することによって、類似性の判定を一層精確に行うことができる。
【0030】
また、上記重み付けが、レンジブロックの位置と画像の中心との間の距離に応じたものであることが好ましい。
【0031】
通常、画像において、被写体は画像の中心付近に配置される傾向にある。従って、上記構成によれば、類似性の判定において重要なレンジブロックについての非類似度の評価を重点的に行うことができるため、類似性の判定を一層精確に行うことができる。
【0032】
また、上記画像取得部が、画像内における被写体の位置を示す被写体位置データをさらに取得し、上記重み付けが、レンジブロックの位置と、上記被写体位置データによって示される画像内における被写体の位置との間の距離に応じたものであってもよい。
【0033】
上記構成によれば、類似性の判定において重要視するべき被写体の周辺のレンジブロックについての非類似度の評価を重点的に行うことができるため、類似性の判定が一層精確になる。
【0034】
また、上記元画像が、撮像によって作成されたものであり、上記元画像を撮像した際の環境を示す撮像環境データを取得する撮像環境データ取得部と、上記撮像環境データに基づいて、元画像を非階層的な複数のグループに分類する非階層的分類手段と、をさらに備え、上記自己組織化マッピング手段が、上記の自己組織化マップの学習及び元画像の帰属する素子の位置の決定を、上記グループごとに行い、上記画像配置手段が、一覧画像を上記グループに対応する部分領域に分割し、部分領域におけるサムネイル画像の表示位置を、上記自己組織化マップにおける元画像の帰属する素子の位置に基づいてグループごとに決定することによって、一覧画像における各サムネイル画像の表示位置を決定することが好ましい。
【0035】
通常、画像を撮像する場合、画像を撮像した環境と撮像した画像に含まれる被写体とは、関係を有していることが多い。すなわち、同一の環境において撮像された画像には、互いに同一の被写体が含まれている可能性が高い。よって、撮像された画像を予め撮像環境に応じて分類しておくことによって、撮像した画像がその内容に応じて大雑把に分類されることになる。したがって、上記の特徴ベクトルを用いた自己組織化マップの学習だけでは効果的に分類できない画像が含まれていても、そのような画像を撮像環境に基づいて分類しておくことによって、類似しない画像が近接して配置されるのを回避することができる。
【0036】
また、本発明に係る別の画像表示位置決定装置は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、上記課題を解決するために、上記複数の画像である元画像を取得する画像取得部と、各元画像について、フラクタル画像符号化法によってIFSパラメタ値を算出する特性値算出手段と、複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択手段と、上記画像選択手段によって組み合わせが選択された2つの元画像について、上記IFSパラメタ値に基づいて当該2つの元画像間の非類似度を算出する誤差値算出手段と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、を備えていることを特徴とする。
【0037】
上記構成によれば、各サムネイル画像が配置された一覧画像において、画像間の非類似度がサムネイル画像間の距離に反映されることになる。よって、類似の元画像同士が、そのサムネイル画像によって近接した位置に配置される。以上のように、本発明の画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
【0038】
ここで、本発明では、画像の特性を示す特性値として、画像内における自己相似性に着目し、フラクタル画像符号化法によって算出されるIFSパラメタ値を用いている。このように、IFSパラメタ値を用いることによって、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類(クラスタリング)する際に、精確に分類することができる。
【0039】
また、このような自己相似性は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
【0040】
また、上記画像表示位置決定装置は、上記画像選択手段によって選択された2つの元画像における一方の元画像のIFSパラメタ値を用いて他方の元画像を再構成して再構成画像を作成する再構成手段をさらに備え、上記誤差値算出手段が、上記他方の元画像と上記再構成画像との輝度の誤差値に基づいて、当該2つの元画像間における非類似度を算出することが好ましい。
【0041】
上記構成によれば、再構成前後の画像における輝度の誤差値に基づいて、各画像間の非類似度を算出することができる。
【0042】
ところで、上記画像表示位置決定装置の各手段は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、コンピュータを上記各手段として動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
【0043】
これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記画像表示位置決定装置の各手段として動作する。したがって、類似性を精確に判断し、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
【0044】
また、本発明に係る画像表示位置決定方法は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、上記複数の画像である元画像を取得する画像取得工程と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出工程と、上記座標算出工程において各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、を含んでいることを特徴とする。
【0045】
自己組織化マップの学習に、画像の特性を示す特性値を要素として含む特徴ベクトルを用い、学習後の自己組織化マップの素子に画像を特徴ベクトルに基づいて帰属させることによって、画像のクラスタリングを行うことができる。その結果、隣接する素子に帰属する画像同士は、類似の特徴ベクトルを有した画像、すなわち類似の画像となる。よって、画像は位置工程において、類似した画像が近接して配置されることになる。以上のように、本発明に係る画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
【0046】
ここで、本発明では、画像の特性を示す特性値として、画像内の自己相似性を利用している。一般に類似の(例えば、含まれる被写体が同じものである)画像同士の場合、あるレンジブロックと相似な関係にあるドメインブロックの位置も類似する傾向にある。従って、レンジブロックと最も似ているドメインブロックの位置に基づいて、画像の類似性を判定することができる。このような相似関係は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
【0047】
また、本発明に係る別の画像表示位置決定方法は、複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、上記課題を解決するために、上記複数の画像である元画像を取得する画像取得工程と、各元画像について、フラクタル画像符号化法によってIFSパラメタを算出する特性値算出工程と、複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択工程と、上記画像選択工程において組み合わせが選択された2つの元画像について、上記IFSパラメタに基づいて当該2つの元画像間の非類似度を算出する誤差値算出工程と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、を含んでいることを特徴とする。
【0048】
上記構成によれば、各サムネイル画像が配置された一覧画像において、画像間の非類似度がサムネイル画像間の距離に反映されることになる。よって、類似の元画像同士が、そのサムネイル画像によって近接した位置に配置される。以上のように、本発明の画像表示位置決定装置は、ユーザがどの位置にどのような画像が表示されているかを把握しやすいように画像を配置することができる。
【0049】
ここで、本発明では、画像の特性を示す特性値として、画像内における自己相似性に着目し、フラクタル画像符号化法によって算出されるIFSパラメタ値を用いている。このように、IFSパラメタ値を用いることによって、複数の類似画像群に含まれる多くの画像を、個々の類似画像群に分類(クラスタリング)する際に、精確に分類することができる。
【0050】
また、このような自己相似性は、画像が各種圧縮方式で圧縮され、ノイズが含まれている場合などにおいても比較的保存される傾向がある。よって、様々な品質の画像について類似性を精確に判定することができる。
【発明の効果】
【0051】
本発明に係る画像表示位置決定装置は、以上のように、元画像を取得する画像取得部と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出手段と、上記座標算出手段によって各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、を備えた構成となっている。
【0052】
また、本発明に係る別の画像表示位置決定装置は、以上のように、各元画像について、フラクタル画像符号化法によってIFSパラメタ値を算出する特性値算出手段と、複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択手段と、上記画像選択手段によって組み合わせが選択された2つの元画像について、上記IFSパラメタ値に基づいて当該2つの元画像間の非類似度を算出する誤差値算出手段と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、を備えた構成となっている。
【0053】
また、本発明に係る画像表示位置決定方法は、以上のように、上記複数の画像である元画像を取得する画像取得工程と、各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出工程と、上記座標算出工程において各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、を含んだ構成となっている。
【0054】
また、本発明に係る別の画像表示位置決定方法は、以上のように、各元画像について、フラクタル画像符号化法によってIFSパラメタを算出する特性値算出工程と、複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択工程と、画像選択工程において組み合わせが選択された2つの元画像について、IFSパラメタに基づいて当該2つの元画像間の非類似度を算出する誤差値算出工程と、一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、を含んだ構成となっている。
【0055】
従って、上述したように、画像を一覧表示するために各画像の表示位置を決定する際に、類似性を精確に判断し、ユーザがどの位置にどのような画像が表示されているかを把握しやすいようにサムネイル画像を配置することができるという効果を奏する。
【発明を実施するための最良の形態】
【0056】
[実施形態1]
本発明に係る画像表示位置決定装置の一実施形態について図1から図9に基づいて説明すると以下の通りである。まず、本実施形態の概要について説明する。
【0057】
〔概要〕
本実施形態の画像一覧表示装置1は、撮像した複数の画像のサムネイル画像を一覧表示するための装置である。ここで、撮像した画像を一覧表示する際に、画像一覧表示装置1は、撮像日時ごとに作成された自己組織化マップに基づいてサムネイル画像の表示位置を決定する。なお、自己組織化マップを作成する際の入力データ(特徴ベクトル)としては、フラクタル画像符号化法において各画像について算出されるIFSパラメタ値等を用いる。これにより、撮像した複数の画像は、同一日時グループに属する画像同士がひとまとまりになるように、かつ、グループ内では類似の画像同士が近接するように配置されることになる。このような画像一覧表示装置1の全体像を説明すると以下の通りである。
【0058】
〔全体像〕
図1は、画像一覧表示装置1の機能ブロック図である。画像一覧表示装置1は、概略的には、画像表示位置決定部(画像表示位置決定装置)10、サムネイル画像生成部21、一覧画像生成部22、及び表示部20を備えている。
【0059】
画像表示位置決定部10は、撮像した複数の画像のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定するためのものである。また、サムネイル画像生成部21は、撮像した画像に対応するサムネイル画像を生成するためのものである。通常、サムネイル画像は、撮像した画像(元画像)を縮小したものとなっているが、必ずしもこれに限定されず、元画像そのままであってもよい。一覧画像生成部22は、サムネイル画像群を一覧表示した一覧画像データを生成するためのものである。
【0060】
表示部20は、一覧画像生成部20によって生成された一覧画像データに基づいて、一覧画像を表示するためのものである。なお、表示部20は、画像を表示できるものであれば特に限定されるものではなく、CRTディスプレイや液晶ディスプレイなどの表示装置、プロジェクタなどの投影装置、又はプリンタなどの印刷装置などの何れであってもよい。
【0061】
画像表示位置決定部10は、詳細には、撮像日時データ付き画像データ取得部(画像取得部、撮像環境データ取得部)11、特性値算出部12、特徴ベクトル生成部(特徴ベクトル生成手段)13、自己組織化マッピング部(自己組織化マッピング手段)14、画像配置部(画像配置手段)15、非階層的分類部(非階層的分類手段)16を備えている。
【0062】
撮像日時データ付き画像データ取得部11は、ディジタルカメラなどによって撮像した複数の画像の画像データを、撮像日時データとともに取得するためのものである。
【0063】
近年、ディジタルカメラ用の画像ファイル規格として、Exif(Exchange Image File Format)形式が用いられている。この形式によれば、撮像した画像の画像データを含む画像ファイルには、撮像したときの環境や条件に関する様々なタグ情報も同時に記録される。このタグ情報としては、例えば、画像のサイズ、圧縮モード、撮像日時、色空間情報、スペクトル感度、輝度、露出補正、被写体距離、被写体位置などが挙げられる。
【0064】
本実施形態の画像一覧表示装置1は、画像ファイルにタグ情報として含まれる撮像日時データを利用している。それゆえ、本実施形態では、画像データの取得及び撮像環境データの取得を単一の撮像日時データ付き画像データ取得部11で実現しているが、本発明はこれに限定されず、画像データの取得及び撮像環境データの取得を別の部材によって実現してもよい。また、撮像環境データについても、撮像日時に限定されるものではなく、例えば、上記のタグ情報のうちの好適なものを利用してもよい。
【0065】
撮像日時データ付き画像データ取得部(画像取得部)11のハードウェア構成としては、画像データを取得できるものであれば特に限定されるものではなく、固定ディスク又はリムーバブルディスクからデータを読み込むことのできる入出力インターフェースや、他の通信端末装置からLANを介してデータを読み込むことのできる入出力インターフェース、或いはディジタルカメラなどから画像データ及び撮像日時データを取り込むことのできる入力インターフェースなどを備えていればよい。
【0066】
特性値算出部12は、撮像日時データ付き画像データ取得部11によって画像データが取得された各画像について、画像の様々な特性を表す特性値を算出するためのものである。ここで、画像の特性を表す特性値としては特に限定されるものではなく、一般的な輝度値やパターン認識の分野で利用される慣用の各種パラメタ値などを用いることができるが、本実施形態の画像一覧表示装置1は、フラクタル画像符号化法において算出されるIFSパラメタ値などを用いている。なお、特性値の詳細については、後述する。
【0067】
特徴ベクトル生成部13は、特性値算出部12によって、各画像について求められた様々な特性値を要素として含む特徴ベクトルを生成し、これを、各画像の特徴を総合的に表す指標とする。この特徴ベクトルは、入力される各画像について1つずつ生成される。
【0068】
非階層的分類手段(非階層的分類部)16は、画像データに付随する撮像環境データ(撮像日時データ)に基づいて、画像を非階層的なグループに分類するためのものである。
【0069】
自己組織化マッピング手段(自己組織化マッピング部)14は、非階層的分類手段(非階層的分類部)16によって分類が行われたグループごとに、自己組織化マップの学習を行う。ここで、学習の際の入力データには、画像の特徴ベクトルが用いられる。そして、学習後の自己組織化マップにおける何れの素子に上記画像が帰属するかを決定する。
【0070】
画像配置手段(画像配置部)15は、自己組織化マップにおける画像の帰属する素子の位置と、上記グループとに基づいて、サムネイル画像の表示位置を決定するためのものである。
【0071】
なお、特性値算出部12、非階層的分類部(非階層的分類手段)16、自己組織化マッピング部(自己組織化マッピング手段)14、画像配置部(画像配置手段)15は、CPU等の演算装置がROMやRAM等の記憶装置に格納されたプログラムコードを実行することで実現される機能ブロックである。
【0072】
次に、画像一覧表示装置1の概略的な動作について説明する。図2は、画像一覧表示装置1の動作を示す工程図である。また、図3は、画像一覧表示装置の表示方法のスキームを示す図である。
【0073】
まず、撮像日時データ付き画像データ取得部11が、固定ディスクやリムーバブルディスク、或いはLANなどを利用して、撮像した画像の画像データを撮像日時データとともに取得する(S1)。取得した画像データは、特性値算出部12及びサムネイル画像生成部21に送られる。また、取得した撮像日時データは、非階層分類部16に送られる。
【0074】
次に、非階層的分類部16が、撮像日時データに基づいて、撮像した画像を複数のグループに分類する(S2)。グループと画像との対応関係(どのグループにどの画像が所属するか)は、自己組織化マッピング部14に送られる。またその一方で、特性値算出部12が、各画像について、フラクタル符号化法に基づいて各種特性値を算出する(S3)。算出された特性値は、特徴ベクトル生成部13に送られる。なお、ステップS2及びS3の実行順序は逆であってもよい。
【0075】
次に、特徴ベクトル生成部13が、各画像について算出された各種特性値を要素として含む特徴ベクトルを画像ごとに生成する(S4)。
【0076】
続いて、自己組織化マッピング部14が、ステップS2において作成されたグループごとに、自己組織化マップの学習を行う(S5)。このとき、自己組織化マップの入力データ(入力ベクトル)には、ステップS4において画像ごとに生成した特徴ベクトルを用いる。
【0077】
そして、各画像の特徴ベクトルが、作成した自己組織化マップに含まれる素子のうち、どの素子の有する重みベクトルと最も近いかを求め、各画像がどの素子に帰属するかを決定する(S6)。この処理は、全グループに対して行われる。そして、グループごとの自己組織化マップにおける画像の帰属する素子の位置関係情報は、画像配置部15に送られる。
【0078】
続いて、画像配置部15が、画像の帰属する素子の位置情報とグループとに基づいて、画像の表示位置を決定する(S7)。決定された画像の表示位置の情報は、一覧画像生成部22に送られる。
【0079】
また、サムネイル画像生成部21は、撮像日時データ付き画像取得部11が取得した画像データに基づいて、各画像のサムネイル画像を生成する。生成したサムネイル画像のデータは、一覧画像生成部22に送られる。そして、一覧画像生成部22は、各画像のサムネイル画像を、画像配置部15によって決定された表示位置に配置した一覧画像を生成する。一覧画像のデータは表示部20に送られ、表示部20が一覧画像を表示する(S8)。
【0080】
以上の処理により、撮像した画像が日時ごとにまとめられ、かつ、同一日時グループ内では類似する画像同士が近接して配置された一覧画像の表示を行うことができる。以下、非階層的分類部16、特性値算出部12、自己組織化マッピング部14、画像配置部15について詳述する。
【0081】
〔非階層的分類部、非階層的分類工程〕
非階層的分類部16は、撮像環境データに基づいて画像をグループに分類するためのものである。
【0082】
通常、旅行などに行き写真を撮影する場合、複数の地点を順次移動しながら写真を撮影することが多い。この場合、同一の被写体を、略同一の時刻(又は日)に撮影することになる。逆に言えば、略同一の時刻に撮影された写真には、同一の被写体が含まれている傾向にある。従って、撮影した日時ごとに画像を複数のグループに分類すれば、同一のグループに含まれる画像同士には、同一の被写体が含まれている可能性が高くなると考えられる。
【0083】
上記の理由から、非階層的分類部16は、撮像した画像を日時に基づいて画像を分類する。グループへの具体的な分類方法としては、例えば、一日ごとに別個のグループに分類してもよいし、あるいは、さらに午前・午後でも別個のグループに分類してもよいし、さらには、一時間ごとに別個のグループに分類してもよい。また、上記の基準を、取得した画像の枚数に応じて調整してもよい。
【0084】
なお、通常、画像を撮像する日時は、均一に分布するものではなく、特定の時間や日に偏在する傾向にある。例えば、週末が多かったり、深夜が少なかったりすることが考えられる。よって、グループに分類する際に用いられる閾値を上記のように一定の間隔で設定するかわりに、撮像された日時の分布に応じて閾値を動的に設定してもよい。これを実現するためには、撮像日時を説明変数として、周知慣用の手法でクラスタリングを行えばよい。なお、非階層的分類部16による分類の結果、画像は、非階層的なグループに分類される。そして、グループと画像との対応関係のデータは、自己組織化マッピング部14に送られる。
【0085】
〔特性値算出部、特性値算出工程/特徴ベクトル生成部、特徴ベクトル生成工程〕
特性値算出部12は、撮像した全画像について、フラクタル画像符号化の際に用いられるIFSパラメタ値などの各種パラメタ値を画像の特性値として算出する。本発明者は、通常、画像の符号化に用いられるIFSパラメタやその類似のパラメタが、画像の特徴を表現するのに好適に利用できることを見出した。
【0086】
フラクタル画像符号化法は、Jacquinによって提唱された手法である。その詳細は、(A. E. Jacquin, "Image coding based on fractal theory of iterated contractive iamge transformation," IEEE Trans. on Image Process., vol. 1, pp.18-30, Jan 1992.)に記載されており、本明細書ではこれを援用する。また、これに対して公知の改良を加えたものであってもよい。以下、フラクタル画像符号化法を用いた画像の特性値の算出方法を説明する。
【0087】
図4は、特性値算出部12の詳細な構成を示す機能ブロック図である。特性値算出部12は、レンジブロック作成部(レンジブロック作成手段)31、ドメインブロック作成部(ドメインブロック作成手段)32、IFSパラメタ算出部(座標算出手段)33、レンジブロック輝度算出部(レンジブロック輝度算出手段)34、ドメインブロック輝度算出部(ドメインブロック輝度算出手段)35、非類似度算出部(非類似度算出手段)36を含んでいる。
【0088】
図5は、フラクタル画像符号化法のスキームを示す図である。ここでは、IFSパラメタ値の算出対象となる画像fが、N×M画素からなるものとする。そして、画像fにおいて、座標(x,y)(x=1,2,…,N;y=1,2,…,M)における輝度を、f(x,y)とする。
【0089】
(手順1)
まず、画像fを、互いに重なり合わないB×B画素の分割画像R(i=1,2,…,n;n=[N/B]×[M/B])に分割する。なお、除算の結果、整数とならない場合は、小数点以下を切り捨てる。この分割画像Rをレンジブロックと呼ぶ。また、レンジブロックRに含まれる画素(x’,y’)(x’=1,2,…,B;y’=1,2,…,B)の輝度値を、fRi(x’,y’)とする。
【0090】
(手順2)
次に、画像fから、重なりを許し水平方向にδ、垂直方向にδずつずらしながら、2B×2B画素の部分画像D(j=1,2,…,m;m=[(N-2B+1)/δ]×[(M-2B+1)/δ])を切り出す。この部分画像Dをドメインブロックと呼ぶ。また、ドメインブロックDに含まれる画素(x’,y’)(x’=1,2,…,B;y’=1,2,…,B)の輝度値を、fDj(x’,y’)とする。
【0091】
(手順3)
そして、各レンジブロックRに対して最良の近似を与える(換言すれば、各レンジブロックRの相似形に最も近い)ドメインブロックD(1≦k≦m)をそれぞれ求めるために、以下の手順3-1及び3-2を各レンジブロックについて行う。
【0092】
(手順3-1)
まず、各ドメインブロックDを、B×B画素に縮小した縮小ドメインブロック(サイズ調整ドメインブロック)D’を求める。ここで、縮小ドメインブロックD’に含まれる画素(x’,y’)(x’=1,2,…,B;y’=1,2,…,B)の輝度値を、fD’j(x’,y’)とする。このとき、fD’j(x’,y’)は、次式に示す変換式によって求められる。
【0093】
【数1】
JP0004565187B2_000002t.gif

【0094】
ただし、
【0095】
【数2】
JP0004565187B2_000003t.gif

【0096】
ここで、θ(θ={0,π/2,π,3π/2[rad]})は回転角を表す。また、λ(λ={1,-1})は反転係数を表す。e,fは、回転や反転によって生じる座標のずれを補正するための値を表す。s,oは、それぞれ輝度変換値のスケーリング係数、オフセット係数を表す。なお、θ,λ,s,oの具体値は、次式で定義される誤差Eを最小にするときの値となる。
【0097】
【数3】
JP0004565187B2_000004t.gif

【0098】
上記の式(4)によって定義される誤差Eは、レンジブロックRに含まれる各画素の輝度値と縮小ドメインブロックD’に含まれる各画素の輝度値との差に基づいたものであり、レンジブロックRと縮小ドメインブロックDとの非類似度を示している。
【0099】
(手順3-2)
手順3-1において求められた縮小ドメインブロックD’の中から、レンジブロックRに対して式(4)の誤差Eを最小にする縮小ドメインブロックD’opt(D’opt∈{D’,D’,…,D’})を探索する。そして、発見された縮小ドメインブロックD’optを与えるドメインブロックDoptの横方法及び縦方向の座標を表すパラメタx,y(以下、位置パラメタという)、このときの回転・反転を表すパラメタθ,λ、及び輝度変換値のスケーリングパラメタs,oがレンジブロックRに対するIFSパラメタとなる。以上により、ある画像における各レンジブロックについてのIFSパラメタ値の算出が完了する。
【0100】
ここで、各レンジブロックについて求められる上記のIFSパラメタ値の全てを画像の特性値として用いてもよいが、本実施形態では、計算量を削減する観点から、上記のIFSパラメタのうち、ドメインブロックの画像内における座標を示す位置パラメタx,yの値を特性値として用いることとする。この位置パラメタx,yの値は、請求項における第1の特性値に相当する。
【0101】
なお、位置パラメタx,yの値は、レンジブロック1つにつき1組求められることになる。ここで、本実施形態では、位置パラメタx,yを、各画像に含まれるn個の全レンジブロックについて求めることとするが、本発明はこれに限定されるものではなく、n個のレンジブロックのうち、所定の位置にある所定の数のレンジブロックについてのみ位置パラメタx,yを求めてもよい。この場合、「所定の位置」とは、例えば、画像の中央や、画像の周縁部などを含む画像内の任意の好適な位置とすることができる。また、「所定の数」についても同様に、1からn個までの好適な数とすることができる。ただし、位置パラメタx,yを一部のレンジブロックについてのみ求める場合、上記の「所定の位置」及び「所定の数」は、全画像間で統一されている必要がある。
【0102】
また、撮像した画像がカラー画像である場合には、画像に含まれる各画素の輝度を3つの色成分Y,Cb,Crに分解し、それぞれの色成分について上記の手順を実行することによって、色成分ごとに位置パラメタx,yの値を得ることが好ましい。この場合、レンジブロック1つにつき、各色成分についての3組の位置パラメタx,yの値が得られることになる。
【0103】
なお、上記の各手順のうち、手順1はレンジブロック作成部31によって行われ、手順2はドメインブロック作成部32によって行われ、手順3はIFSパラメタ算出部33によって行われる。
【0104】
また、本実施形態では、好ましい実施形態として、位置パラメタx,yの値以外に以下の特性値をさらに算出する。
【0105】
まず、上記のレンジブロックRに含まれる各画素の輝度の平均値faveRiを、各レンジブロックについて算出する。なお、レンジブロックRに含まれる各画素の輝度の平均値faveRiの値は、次式によって算出することができる。
【0106】
【数4】
JP0004565187B2_000005t.gif

【0107】
また、各レンジブロックRについて求めた各ドメインブロックDoptに含まれる各画素の輝度の平均値faveDoptを算出する。なお、ドメインブロックDoptに含まれる各画素の輝度の平均値faveDoptの値は、次式によって算出することができる。
【0108】
【数5】
JP0004565187B2_000006t.gif

【0109】
さらに、上記の式(4)において求めた誤差Eを用いて、次式で定義されるERMSの値を各レンジブロックについて算出する。
【0110】
【数6】
JP0004565187B2_000007t.gif

【0111】
ここで、faveRiの値は、請求項における第2の特性値に相当し、レンジブロック輝度算出部34によって算出される。また、faveDoptの値は、請求項における第3の特性値に相当し、ドメインブロック輝度算出部35によって算出される。また、ERMSの値は、請求項における第4の特性値に相当し、非類似度算出部36によって算出される。
【0112】
なお、撮像した画像がカラー画像である場合には、画像に含まれる各画素の輝度を3つの色成分Y,Cb,Crに分解し、それぞれの色成分を有するレンジブロック及びドメインブロックについて上記の特性値を算出する。この場合、あるレンジブロックについて、上記の3つの特性値が3組得られることになる。
【0113】
また、本実施形態では、全てのレンジブロックについて、faveRi、faveDopt、ERMSの値を求めることとするが、上述したように、一部のレンジブロックについてのみ求めてもよい。
【0114】
このようにして求めた(モノクロ画像の場合は1組、カラー画像の場合は3組の)faveRi、faveDopt、ERMSを特性値として用いると以下の利点がある。すなわち、ドメインブロックの位置パラメタの値のみを画像の特性値として採用する場合、レンジブロックとドメインブロックとの位置関係が類似している画像同士は、後述する自己組織化マッピング工程において類似の画像であると認識される。しかしながら、ある2つの画像間でレンジブロックとドメインブロックとの位置関係が類似していても、そのような画像間で、レンジブロックの輝度やドメインブロックの輝度が異なっている場合がある。このような画像同士は実際には類似しているとはいえないが、位置パラメタの値のみを採用する場合は類似しているとみなされてしまう。
【0115】
これに対して、画像の特性値として、各レンジブロックや各ドメインブロックの輝度faveRi、faveDoptを採用することによって、上記の問題を解消することができる。
【0116】
また同様に、ERMSは、各レンジブロックに含まれる各画素の輝度値と、これに対応する縮小ドメインブロックの画素の輝度値との非類似度を表す指標である。よって、このERMSを採用することにより、それぞれのレンジブロックがドメインブロックと、どの程度相似していないか(すなわち非相似度)を、画像の特性として表現することができるようになる。
【0117】
このように、faveRi、faveDopt、ERMSをさらに画像の特性値として用いることにより、画像の類似性を一層精確に推定できるようになる。
【0118】
ところで、上記の5つの特性値を算出する工程において、計算量を削減する観点から、レンジブロックのサイズとドメインブロックのサイズとを同一にしてもよい。これにより、ドメインブロックのサイズを変更することなく上述した縮小ドメインブロックを生成することができる。具体的には、上記の式(2)は、次式のように変更される。
【0119】
【数7】
JP0004565187B2_000008t.gif

【0120】
また、上記の式(6)は、次式のように変更される。
【0121】
【数8】
JP0004565187B2_000009t.gif

【0122】
また、撮像した画像の解像度(縦及び横の画素数)が画像によって異なっている場合には、位置パラメタx,yが画像の解像度に依存しないようにするために、画像ごとにレンジブロック及びドメインブロックのサイズを変更してもよい。具体的には、画像fのサイズが縦X,横Yである場合、レンジブロックのサイズを、縦:X/H、横:Y/V(単位はそれぞれ画素)とする。ただし、H及びVは定数とする。このようにすることによって、撮像した画像の解像度が異なっていても、得られるレンジブロックの数は常にH×V個になる。また、ドメインブロックのサイズについても同様に、レンジブロックの2倍とする場合は縦:2X/H、横:2Y/V(単位はそれぞれ画素)とし、レンジブロックと同じ場合は縦:X/H、横:Y/V(単位はそれぞれ画素)とする。さらに、ドメインブロックを切り出す際のずらし量、δ、δも画像のサイズに比例させる。これにより、得られるドメインブロックの数も一定になり、かつ、画像全体に対するドメインブロックの関係は、画像サイズが大きい場合であっても小さい場合であっても、常に一定となる。このように、レンジブロック及びドメインブロックを画像のサイズに応じて調整することにより、画像のサイズ(解像度)に依存しない類似度の判定を行うことができる。なお、除算の結果が整数でない場合は、切り捨て、切り上げなどの好適な方法を用いればよい。
【0123】
また、後続の自己組織化マッピング工程において適切に類似度を判定できるように、算出された各値に対して、平均値や標準偏差に基づいて標準化を行ったものを特性値としてもよい。
【0124】
以上のようにして画像ごとに各レンジブロックについて算出された特性値は、特徴ベクトル生成部13に送信される。特徴ベクトル生成部13は、各画像について算出された特性値のセットに含まれる各特性値を要素とする特徴ベクトルを生成する。一例を示すと、例えば、撮像した画像がモノクロ画像であり、分割して得られるレンジブロックが4×4=16個の場合、得られる特性値は、5×16=80個となる。よって、各画像の有する特徴ベクトルは80次元となる。また、撮像した画像がカラー画像で、レンジブロックの条件が上記と同じ場合、得られる特性値は、5×16×3=240個となる。よって、各画像の有する特徴ベクトルは、240次元となる。
【0125】
〔自己組織化マッピング手段、自己組織化マッピング工程〕
自己組織化マッピング部14は、非階層的分類部16によって作成されたグループごとに、そのグループに所属する画像を自己組織化マップによってクラスタリングする。
【0126】
自己組織化マップは、コホネンの提唱した教師無し競合学習型ニューラルネットワークモデルである。その詳細は、(T. Kohonen, "Self-organization and associative memory," Springer-Verlag, New York, 1989.)に記載されており、本明細書ではこれを援用する。また、これに対して公知の改良を加えたものであってもよい。
【0127】
図6は、自己組織化マップのスキームを示す図である。自己組織化マップには、通常、2次元に配列された素子群を用いるが、その構成は図6に示すように素子群の層(map layer)とデータを入力する層(input layer)とからなっている。ここでデータを入力する層は、素子群の層に存在する全ての素子と結合しており、入力データを全ての素子に与えることが可能となっている。また、入力データには、上記特性値算出部12によって算出された特性値を要素とした特徴ベクトルを用いる。以下、入力に用いられる特徴ベクトルのことを入力ベクトルといい、xで表す。
【0128】
素子群の層における素子k(kはマップ上の素子を特定する番号であり、全素子数をK個とする)は、重みベクトルmを有している。ここで、重みベクトルmは、入力ベクトルと同次元、すなわち同じ個数の要素を持つベクトルである。
【0129】
以下、自己組織化マップの学習について具体的に説明する。特に記載のない限り、各処理は自己組織化マッピング部14が行っているものとする。
【0130】
まず、全素子に対して、重みベクトルの各要素に任意のランダムな値を与える。そして、グループに所属する画像の中からランダムに1つを選択し、その画像の有する特徴ベクトルを入力ベクトルとして与え、自己組織化マップの学習を行う。
【0131】
自己組織化マップの学習アルゴリズムは、(a)入力ベクトルxと最も類似する重みベクトルを有する素子(勝利素子)を求める類似性マッチングと、(b)その重みベクトルmとその近傍の素子の重みベクトルを、入力ベクトルxに近づける更新手続きと、からなる。
【0132】
類似性マッチングでは、通常、入力ベクトルxと各素子の重みベクトルmとのユークリッド距離を算出し、その距離が最も小さい重みベクトルmを有する素子を勝利素子とする。これを数学的に表現すると、次式のようになる。
【0133】
【数9】
JP0004565187B2_000010t.gif

【0134】
ただし、2重縦棒で括ったx-mは、入力ベクトルxと勝利素子の重みベクトルmとのユークリッド距離を表し、同様に、2重縦棒で括ったx-mは、入力ベクトルxと重みベクトルmとのユークリッド距離を表す。
【0135】
そして、更新手続きでは、この勝利素子の重みベクトルmと、素子群の層において勝利素子の近傍にある素子(近傍素子)の重みベクトルmとを、入力ベクトルxに近づけるように更新する。これを数式で表現すると、次式のようになる。
【0136】
【数10】
JP0004565187B2_000011t.gif

【0137】
ただし、Nは、素子群の層における勝利素子及び近傍素子を要素とする部分集合を表し、αは正の学習パラメタを表す。なお、Nは、更新回数に依存して変化するものであり、通常、更新回数の増加に応じて小さくなるように設定されている。また、αは、更新回数及び勝利素子からの距離に依存して変化するものであり、通常、更新回数及び距離の増加に応じて小さくなるように設定されている。
【0138】
この学習を繰り返すことによって、入力ベクトルx(すなわち、画像の特徴ベクトル)の分布を反映する重みベクトル群m(k=1,2,…,K)が生成される。換言すれば、重みベクトル群mは特徴ベクトルの分布を量子化したプロトタイプとなる。
【0139】
また、勝利素子の重みベクトルが更新される際に、近傍素子の重みベクトルも更新されるため、2次元に配列された素子群において、隣接する素子同士は類似の重みベクトルを有することになる。これにより、学習後の自己組織化マップは、入力データ空間(すなわち、画像の特徴ベクトル空間)の位相を反映したプロトタイプの集合を形成したものとなる。
【0140】
最後に、学習後の自己組織化マップに対して、グループに属する各画像の特徴ベクトルを順次入力ベクトルとして与え、各画像がどの素子に帰属するかを決定する。ここで、帰属素子の決定方法は、上記の勝利素子の決定方法と同じである。なお、同一素子に複数の画像が帰属する場合は、帰属する複数の画像のうち、最も素子の有する重みベクトルと近い特徴ベクトルを有する画像をその素子に配置し、残りの画像はその近傍に配置する。これにより、同一の素子に複数の画像が配置されてしまうことを回避することができる。
【0141】
以上の処理を各グループについて行い、自己組織化マップにおける画像の帰属素子の位置関係を表すデータは、画像配置部15に送信される。
【0142】
なお、本実施形態では、好ましい実施形態として、勝利素子を求める類似性マッチングにおいて、上記複数の特性値に対して重み付けを行うこととする。具体的には、各レンジブロックについて算出された特性値のセットのそれぞれに対して、レンジブロックの位置に基づいた重み付けを行う。これに伴って、上述した類似性マッチングにおける式(8)が以下のように変更される。
【0143】
【数11】
JP0004565187B2_000012t.gif

【0144】
ただし、Tはベクトルの転置を表し、Wは対角成分が重み係数となっている対角行列を表す。上記の式(8’)は、入力ベクトルxと重みベクトルmとの各成分の差の自乗の総和(すなわち、入力ベクトルxと重みベクトルmとの距離の自乗)を算出する際に、自乗した各値に対して、レンジブロックの位置に基づいた重み係数を乗算し、得られる総和が最も小さくなる重みベクトルを有する素子を勝利素子とすることを意味している。なお、同一のレンジブロックについて求められた5つ(カラー画像の場合は15個)の特性値に対しては、同一の重み係数を乗算する。
【0145】
ここで、対角行列Wの対角成分(すなわち重み係数)は、画像の中心からレンジブロックまでの距離に基づいた値とすることができる。例えば、各画像のレンジブロックが4×4=16個の場合、各レンジブロックR(i=1,2,…,16)の座標(x,y)を図7のように定義し、重みwを、次式に示すガウス分布に基づいて設定してもよい。
【0146】
【数12】
JP0004565187B2_000013t.gif

【0147】
ただし、σは任意の好適な値である。
【0148】
上記の場合において、各画像の特徴ベクトル(すなわち入力ベクトルx)が、
【0149】
【数13】
JP0004565187B2_000014t.gif

【0150】
(ただし、上記のベクトルの各要素において、右肩についている数値はレンジブロックの番号を表す)であるとすると、式(8’)における対角行列Wは80行×80列となり、図8のようになる。
【0151】
各レンジブロックについて求められた特性値に対して、レンジブロックの位置に基づいた重み付けを行うことには、以下の利点がある。通常、画像の中心には撮像対象となる被写体が含まれる傾向がある。よって、画像の類似性を判断する際には、被写体の存在する可能性が高い画像の中心付近を重点的に評価することが好ましい。上記の構成によれば、レンジブロックが画像の中心に近いほど重み係数wの値が大きくなるため、勝利素子の判定において、画像の中心領域に関する特性値がより重視されることになる。これにより、類似性の判断を一層精確に行うことができる。
【0152】
また、重みを、画像の中心からレンジブロックの位置までの距離ではなく、被写体の位置からレンジブロックの位置までの距離に基づいて与えてもよい。上述したように、Exif形式では、被写体位置のデータを画像ファイルに含めることもできる。よって、撮像環境データとして被写体位置データを取得しておけば、この被写体位置データが示す位置からレンジブロックまでの距離に基づいて重み付けを行うこともできる。このようにすることによって、類似性の判断を一層精確に行うことができる。
【0153】
〔画像配置部、画像配置工程〕
画像配置部15は、一覧表示する際のサムネイル画像の表示位置を決定する。このとき、画像配置部15は、非階層的分類部16によって作成されたグループと、自己組織化マッピング部14において作成された、グループごとの自己組織化マップとに基づいて、位置を決定する。位置を決定するにあたっては、同一グループに所属する画像がひとまとまりになり、かつ、各グループ内では自己組織化マップに基づいて決定された位置関係になるようにすればよい。具体的には、例えば以下のように行うことができる。
【0154】
まず、画像を一覧表示する仮想的な表示領域を設定し、その表示領域をグループ数だけ分割する。そして、分割された各表示領域に、自己組織化マップに基づいた位置関係になるように、画像を配置する。
【0155】
そして、画像配置部15は、このようにして画像の配置が行われた一覧画像データを作成する。ここで、一覧表示される画像は、撮像した画像そのままであってもよいし、表示領域に収まるようにサイズを縮小した画像であってもよい。すなわち、一覧表示する際に用いるサムネイル画像は、元画像そのままであってもよいし、縮小(又は拡大)したものであってもよい。このようにして作成された一覧画像データは、表示部20に送られる。
【0156】
ここまで説明したように、本実施形態の画像一覧表示装置1は、画像を撮像した際の日時を示す撮像日時データが付随した画像データを取得する撮像日時データ付き画像データ取得部11と、撮像日時に基づいて画像をグループに分類する非階層的分類部16と、画像の特性を表す特性値を画像ごとに算出する特性値算出部12と、この特性値を要素として含む特徴ベクトルを画像ごとに生成する特徴ベクトル生成部13と、分類されたグループごとに、上記の特徴ベクトルに基づいて自己組織化マップを作成するとともに、作成した自己組織化マップにおける何れの素子に画像が帰属するかを決定する自己組織化マッピング部14と、帰属素子の位置と、グループとに基づいて、仮想的な表示領域における画像の表示位置を決定する画像配置部15と、を備えている。
【0157】
自己組織化マップによれば、特徴ベクトルが類似する画像同士は、近接した位置に配置される。従って、類似の画像同士が近い位置に表示された一覧画像を得ることができる。さらに、撮像日時によって画像をグループに分類するため、同一のグループに属する画像は、同一の被写体が含まれる可能性が高くなる。ここで、同一のグループに所属する画像同士は、ひとかたまりとなるように配置されるので、類似の画像がかたまって表示された一覧画像を得ることができる。よって、ユーザは、撮像した数多くの画像を一覧した際に、どこにどのような画像が存在しているかを容易に把握できるようになる。
【0158】
〔変形例・その他〕
上記の実施形態では、撮像環境データとして撮像日時データを用いた例を説明した。しかしながら、撮像日時データの代わりに、撮像した場所に関する撮像場所データを用いてもよい。図9は、撮像場所の分布を示した図である。
【0159】
近年では、画像データを格納する画像ファイルに、タグ情報としてGPS(Global Positioning System)による測定情報を格納することも可能になっている。GPSによれば、撮像した場所の緯度及び経度、並びに撮像者の移動速度、進行方向等を測定することができる。これらのうち、撮像した場所の緯度及び経度を用いて画像を分類することができる。
【0160】
この場合、各画像を撮像した場所の緯度及び経度を、撮像環境データとして画像データ取得部11が取得し、取得した緯度及び経度に基づいて非階層的分類部16が画像を複数のグループに分類する。ここで、複数のグループに分類する方法としては、非階層的なクラスターに分類できる周知慣用の各種手法を用いることができ、例えば、k-means法などを用いることができる。これにより、画像を撮像した場所を、図9に示すように複数のグループに分類することができる。そして、撮像した場所が帰属するグループを、画像の所属するグループとすればよい。
【0161】
通常、有名な建築物を撮像する場合や、展望台等から景色を撮像する場合には、略同一の場所において複数の画像を撮像することが多い。従って、撮像ポイントは、あらゆる緯度及び経度に均一に分布するのではなく、特定の領域に偏在する傾向にある。同時に、略同一の場所で撮像した画像には、同一の被写体が含まれている可能性が高い。よって、画像を撮像場所に基づいて複数のグループに分類することにより、類似した画像を近接して配置することを、一層精確に行うことができる。
【0162】
なお、画像表示位置決定装置において、一覧表示するために取得する画像データは、撮像した画像のデータに限定されず、人工的に生成された画像のデータであってもよい。さらに、上記画像データは、静止画像のデータに限定されるものでもなく、動画データであってもよい。この場合、例えば、動画の先頭の1コマに相当する静止画像データを抽出し、これについて上述した各処理を行うことによって、動画のインデキシングを行うこともできる。
【0163】
また、上記の実施形態では、画像取得部及び撮像環境データ取得部は、一体化した撮像環境データ付き画像データ取得部11として構成されていたが、これらは別体になっていてもよい。この場合、撮像環境データは、画像データに付随されているものに限定されることはない。例えば、画像取得部がスキャナなどからデータを取り込む入力インターフェースを備えるとともに、撮像環境データ取得部がキーボードやマウスなどからデータを取り込む入力インターフェースを備えており、画像データをスキャナから取得し、撮像環境データ(日時データ、撮像場所データなど)をユーザによる入力よって別途取得する構成としてもよい。
【0164】
最後に、画像表示位置決定部10の各ブロック、特に特性値算出部12、非階層的分類部16、自己組織化マッピング部14、及び画像配置部15は、ハードウェアロジックによって構成してもよいし、CPUを用いてソフトウェアによって実現してもよい。
【0165】
CPUを用いてソフトウェアによって実現する場合、画像表示位置決定部10は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム、及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、上述した機能を実現するソフトウェアである画像表示位置決定部10の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記画像表示位置決定部10に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、本発明の目的を達成することができる。
【0166】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0167】
また、画像表示位置決定部10を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0168】
[実施形態2]
本発明に係る画像表示位置決定装置の他の実施形態について図16から図20に基づいて説明すると以下の通りである。なお、上述した実施形態1と同様の部分については説明を省略する。まず、本実施形態の概要について説明する。
【0169】
〔概要〕
本実施形態の画像一覧表示装置2は、複数の画像のサムネイル画像を一覧表示するための装置である。本実施形態では、撮像した画像を一覧表示する際に、まず複数の画像の中から2つの画像を取り出し、その画像同士の非類似度を算出する。そして、この非類似度の算出を全ての画像の組み合せについて行う。その後、2次元の表示領域に複数の画像を配置する。このとき、表示領域における各サムネイル画像同士の距離が、算出した非類似度に応じた距離になるように配置する。これにより、類似していない画像同士が離れた位置に配置され、類似する画像同士が近接して配置される。なお、画像間の非類似度の算出には、上述したフラクタル画像符号化法によって算出されるIFSパラメタ値を用いる。
【0170】
〔全体像〕
図16は、画像一覧表示装置2の機能ブロック図である。画像一覧表示装置2は、概略的には、画像表示位置決定部(画像表示位置決定装置)110、サムネイル画像生成部21、一覧画像生成部22、及び表示部20を備えている。
【0171】
画像表示位置決定部110は、複数の画像のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定するためのものである。また、サムネイル画像生成部21、一覧画像生成部22、及び表示部20は、上述した実施形態1と同様である。
【0172】
画像表示位置決定部110は、詳細には、画像データ取得部(画像取得部)111、特性値算出部(特性値算出手段)112、非類似度算出部(非類似度算出手段)113、マッピング部(マッピング手段)114を備えている。
【0173】
画像データ取得部(画像取得部)111は、複数の画像の画像データを、撮像日時データとともに取得するためのものである。取得する画像の種類としては特に限定されず、例えばディジタルカメラなどで撮像した画像であってもよいし、スキャナなどで取り込んだ画像であってもよいし、人工的に生成した画像であってもよい。
【0174】
なお、画像データ取得部(画像取得部)111のハードウェア構成としては、画像データを取得できるものであれば特に限定されるものではなく、固定ディスク又はリムーバブルディスクからデータを読み込むことのできる入出力インターフェースや、他の通信端末装置からLANを介してデータを読み込むことのできる入出力インターフェース、或いはディジタルカメラやスキャナなどから画像データを取り込むことのできる入力インターフェースなどを備えていればよい。
【0175】
特性値算出部(特性値算出手段)112は、画像データ取得部111によって画像データを取得した各画像について、フラクタル符号化法によってIFSパラメタ値を算出するためのものである。ここで算出するIFSパラメタは、上述した実施形態1におけるx,y,θ,λ,s,o,e,fである。
【0176】
非類似度算出部(非類似度算出手段)113は、取得した画像について、各画像間の非類似度を算出するためのものである。ここで非類似度の算出は、全ての画像の組み合わせについて行う。例えば、3つの画像A,B,Cがある場合、A-B間、B-C間、A-C間について非類似度を算出する。
【0177】
マッピング部(マッピング手段)114は、上記の非類似度に基づいて、サムネイル画像の配置を決定するためのものである。より詳細には、一覧画像における各サムネイル画像間の距離が上記の非類似度に応じた距離になるように、各サムネイル画像の表示位置を決定する。例えば、3つの画像A,B,C、及びそれぞれのサムネイル画像a,b,cがある場合を仮定すると、一覧画像におけるサムネイル画像a-b間の距離と、b-c間の距離と、a-c間の距離との関係が、画像A-B間の非類似度と、B-C間の非類似度と、A-C間の非類似度との関係となるべく一致するようにする。
【0178】
なお、上記の特性値算出部112、非類似度算出部113、及びマッピング部114は、CPU等の演算装置がROMやRAM等の記憶装置に格納されたプログラムコードを実行することで実現される機能ブロックである。
【0179】
次に、画像一覧表示装置2の概略的な動作について説明する。図18は、画像一覧表示装置2の動作を示す工程図である。
【0180】
まず、画像データ取得部111がディスク装置やディジタルカメラから画像データを取得する(S11)。取得した画像データは、特性値算出部112及びサムネイル画像生成部21に送られる。
【0181】
次に、特性値算出部112が、画像データを取得した各画像について、フラクタル符号化法に基づいてIFSパラメタ値を算出する(S12)。IFSパラメタ値の算出方法は、上述した実施形態1と同様であり、本実施形態では、各画像について、レンジブロックごとにx,y,θ,λ,s,o,e,fの具体値を算出する。各画像について算出されたIFSパラメタ値は、非類似度算出部113に送られる。
【0182】
非類似度算出部113は、各画像間の非類似度をIFSパラメタ値に基づいて算出する(S13)。この非類似度は、全ての画像の組み合わせについて算出する。なお、非類似度の算出方法の詳細については後述する。算出された非類似度はマッピング部114に送られる。
【0183】
次に、マッピング部114は、各サムネイル画像間の距離が上記の非類似度に応じた距離になるようにサムネイル画像の表示位置を決定する(S14)。なお、表示位置の決定方法の詳細については後述する。決定された表示位置の情報は、一覧画像生成部22に送信される。
【0184】
一方、サムネイル画像生成部21は、取得した各画像のサムネイル画像を作成する。生成されたサムネイル画像のデータは、一覧画像生成部22に送られる。そして、一覧画像生成部22は、各画像のサムネイル画像を、マッピング部14によって決定された表示位置に配置した一覧画像を生成する(S15)。そして、一覧画像のデータは表示部20に送られ、表示部20が一覧画像を表示する(S16)
以上の処理により、類似した画像のサムネイル画像同士が近接して配置された一覧画像の表示を行うことができる。以下、非類似度算出部113及びマッピング部114について詳述する。
【0185】
〔非類似度算出部/非類似度算出工程〕
非類似度算出部113は各画像間の非類似度をIFSパラメタ値に基づいて算出する。ここで各画像が有するIFSパラメタ値(特性値)の個数は、8種類(すなわちx,y,θ,λ,s,o,e,及びf)×レンジブロックの個数となる。このような画像の特性値を用いて、後続のマッピング工程において各サムネイル画像間の距離に対応させる非類似度を算出するわけであるが、各画像が有する特性値の個数は上述したように複数個ある。よって、非類似度を算出する際には、複数の特性値(すなわち複数次元のベクトル)から単一の成分(すなわちスカラー)からなる非類似度へと次元の縮約を行う必要がある。
【0186】
その手法としては、例えば上述した実施形態1のように、各特性値を要素として含む特徴ベクトルを生成し、その特徴ベクトル同士のユークリッド距離を算出することによって各画像間の非類似度を算出してもよい。しかしながら、本実施形態では、好ましい実施形態として以下に示すより高度な手法を用いることとする。
【0187】
図17は、非類似度算出部113の詳細を示す機能ブロック図である。また、図19は、非類似度算出工程の詳細を示す工程図である。図17に示すように、非類似度算出部113は、図示しない記憶部に設けられた特性値データベース130、画像選択部(画像選択手段)131、再構成部(再構成手段)132、誤差値算出部(誤差値算出手段)133、及び誤差値平均部(誤差値平均手段)134を備えている。
【0188】
特性値データベース130には、各画像の有するIFSパラメタ値(特性値)が画像ごとに取り出し可能なように格納されている。この特性値データベース130は、RAMなどによって構成されている。
【0189】
画像選択部131は、全画像の中から2つの画像を選択し、それぞれの画像の有するIFSパラメタ値を特性値データベース130から取得するためのものである。なお、画像選択部131は、2つの画像の組み合わせを、全ての組み合わせが選択されるように順次選択するものとする。
【0190】
再構成部132は、画像選択部131によって選択された2つの画像のうち、一方の画像が有するIFSパラメタ値を用いて他方の画像を再構成して、再構成画像を作成するためのものである。具体的には、第1の画像のIFSパラメタ値を用いて第2の画像を再構成し、第2の再構成画像を作成する。また、これとは逆に、第2の画像のIFSパラメタ値を用いて第1の画像を再構成し、第1の再構成画像を作成してもよい。
【0191】
誤差値算出部133は、上記の再構成前の画像と、再構成画像との輝度値を比較することによって、再構成前の画像と再構成画像との間の誤差値を算出する。この誤差値の算出は、第1の画像および第2の画像のそれぞれについて行われる。誤差値平均部134は、誤差値算出部133によって算出された2種類の誤差値を平均することによって非類似度を算出するためのものである。
【0192】
なお、上記の画像選択部131、再構成部132、誤差値算出部133、及び誤差値平均部134は、CPU等の演算装置がROMやRAM等の記憶装置に格納されたプログラムコードを実行することで実現される機能ブロックである。
【0193】
このような非類似度算出部113において、まず、画像選択部131が、2つの画像を選択し、それぞれの画像のIFSパラメタ値を特性値データベース130から取得する(S131)。以下、2つの画像をそれぞれ画像A、画像Bという。そして、取得した画像A及び画像BのIFSパラメタ値は、それらの画像データとともに再構成部132に送られる。
【0194】
IFSパラメタ値を取得した再構成部132は、まず、画像AのIFSパラメタ値を用いて画像Bを再構成する。具体的には、画像Bの或るレンジブロックに対応するドメインブロックを、画像AのIFSパラメタ値(x,y)に基づいて決定する。そして、対応するドメインブロックを、画像AのIFSパラメタ値(θ,λ,s,o,e,f)を用いてアフィン変換し、変換したドメインブロックをレンジブロックに射影する(S133)。このアフィン変換は、上述した実施形態1の式(1)~(3)を用いて行われる。
【0195】
次に、アフィン変換が、全てのレンジブロックについて行われたかどうかを判定し(S133)、全てのレンジブロックについて行われていない場合には、ステップS132に戻り、次のレンジブロックについて同様の処理を行う。一方、アフィン変換が全てのレンジブロックについて行われた場合には、次のステップS134に進む。なお、上記のアフィン変換は、各レンジブロックについて一通り行うだけでもよいが、上記のステップS132及びS133を8~10セット程度繰り返すことが好ましい。ステップS132及びS133の処理を再構成という。
【0196】
このようにして、画像Bを画像AのIFSパラメタ値に基づいて再構成することによって作成された画像を画像B’とすると、誤差値算出部133は、画像Bと画像B’との輝度の誤差値を算出する(S134)。具体的には、画像に含まれる各画素の輝度値の差の自乗の総和を取り、それを画素数で除算して平方根をとることによって誤差値を算出する。すなわち、画像B及び画像B’がM×N画素で、画像Bの座標(x,y)における輝度値をf(x,y)、画像B’の座標(x,y)における輝度値をfB’(x,y)とすると、誤差値E(A→B)は、
【0197】
【数14】
JP0004565187B2_000015t.gif

【0198】
と表すことができる。
【0199】
このように、画像AのIFSパラメタ値に基づいて画像Bを再構成し、再構成前と後の画像Bの輝度の誤差値をE(A→B)とする。ここで、画像AのIFSパラメタ値に基づいて画像Bを再構成したときの誤差値E(A→B)と、画像BのIFSパラメタ値に基づいて画像Aを再構成したときの誤差値E(B→A)とは、同一の値を持つとは限らない。よって、両方向について誤差値を算出することが好ましい。
【0200】
そのために、この誤差値の算出が、両方向について行われたかどうかを判定し(S135)、両方向について行われていない場合には、ステップS132に戻り、同様の方法で誤差値E(B→A)を算出する。そして、誤差値E(A→B)、誤差値E(B→A)の両方を算出した場合には、次のステップに進む。
【0201】
次に、誤差値平均部134は、上記の誤差値E(A→B)及びE(B→A)を平均し、E(A⇔B)を算出する。これを数式で表すと、
【0202】
【数15】
JP0004565187B2_000016t.gif

【0203】
となる。そして、このE(A⇔B)を画像A-B間の非類似度とする。
【0204】
以上のようにして、画像A-B間の非類似度を算出することができるが、この非類似度を全ての画像間について算出する。すなわち、取得した画像が、画像A,B,…,Zだけある場合、E(A⇔B),E(A⇔C),E(A⇔D),…,E(Y⇔Z)というように、全ての画像の組み合わせについて、非類似度を算出する。そのために、全ての画像間について非類似度が算出されたかどうかを判定する(S137)。なお、算出された非類似度は、マッピング部114に送られる。
【0205】
以上のように、非類似度算出部113は、一方の画像のIFSパラメタ値に基づいて他方の画像を再構成し、再構成前後の画像における輝度の誤差値に基づいて非類似度を算出する。ここで、一方の画像のIFSパラメタ値に基づいて他方の画像を再構成する際に、一方の画像の全てのIFSパラメタ値に基づいて他方の画像を再構成する必要は必ずしもない。例えば、上記の画像A,Bの例を用いて説明すると、画像Bにおいてアフィン変換する際に、アフィン変換に必要なIFSパラメタのうち、x,yを除くθ,λ,s,o,e,fについては画像Aのものを用い、x,yについては画像Bのものを用いるようにしてもよい。換言すれば、画像Bを再構成する際に、画像Aの一部のIFSパラメタに基づいてもよいともいえる。
【0206】
〔マッピング部/マッピング手段〕
マッピング部114は、一覧画像におけるサムネイル画像の位置を決定するが、この際に、一覧画像上での各サムネイル画像間の距離が、上記の非類似度に応じた距離になるようにする。
【0207】
具体的には、マッピング部114は、図20に示すように、2次元の仮想表示領域を設定し、さらに、各サムネイル画像を配置する座標を設定する。ここで、この仮想表示領域上での画像Aと画像Bとの距離をE(A⇔B)とする。なお、E(A⇔B)は、画像A及び画像Bの仮想表示領域における座標に基づいて算出することができる。この場合、取得した画像が、画像A,B,…,Zだけあるとすると、画像Aの位置は、次の式で表されるErr
【0208】
【数16】
JP0004565187B2_000017t.gif

【0209】
を最小にする位置であることが望まれる。また、画像B,C,…,Zも同様に、Err,Err,…,Errを最小にする位置であることが望まれる。
【0210】
このような配置を求めるアルゴリズムとしては、ランダムサーチ、山登り法、焼きなまし法、遺伝的アルゴリズムなどの周知慣用の各種アルゴリズムを用いることができる。例えば、山登り法を用いる場合、まず、初期状態として仮想表示領域上に各画像をランダムに配置する。
【0211】
次に、画像Aを上、下、左、右、左上、右上、左下、右下の座標にそれぞれ移動させた場合と、移動させなかった場合とについて、それぞれ上記のErrを算出し、Errの値が最も小さくなった位置を次段階の画像Aの位置とする。そしてこれと同様の処理を画像Bから画像Zに対しても行う。このような処理を複数セット繰り返すことによって、各画像の位置は非類似度を反映した位置に近づいていく。そして、各画像が仮想表示領域上で移動しなくなった時点でこの処理を終了する。これにより、仮想表示領域上での各サムネイル画像の位置を決定することができる。
【実施例】
【0212】
本発明の一実施例を図10から図15に基づいて説明する。本実施例では、本発明の有用性を検証するために以下の実験を行った。なお、以下の実施例1から3では、基本的に上述した実施形態1の構成を用いている。
【0213】
〔実施例1〕
本実施例では、人工的に作成された画像を用いた例を示す。テスト画像として、図10に示す、COLUMBIA UNIVERSITY IMAGE LIBRARY(COIL-20)から得られる128×128画素、モノクロ256階調の20種類の画像と、これらの各画像に含まれるオブジェクトを10°,20°,…,70°回転させた画像とを用意した。そして、これら160枚の画像を、画像一覧表示装置に入力した。
【0214】
本実施例では、人工的に作成された画像を用いたため、撮像日時に応じた画像の分類は行わなかった。また、各画像の特性値には、上述したIFSパラメタx,yを用いた。また、自己組織化マップの勝利素子の判定において、レンジブロックの位置に基づく重みは与えなかった。
【0215】
図11は、上記の条件に基づいて画像を一覧表示した結果を示す図である。図中において、同一のオブジェクトや類似したオブジェクトを含む画像同士はまとまって表示されている。このことから、類似した画像の判定が高精度に行われており、さらに、類似の画像が適切に近接して配置されることが検証された。なお、類似画像の高精度な判定は、本実施例で特徴ベクトルとして用いられているIFSパラメタが、オブジェクトの回転等に伴う画像の変化に頑健であることに起因していると考えられる。
【0216】
〔実施例2〕
本実施例では、ディジタルカメラによって撮像した自然画像を用いた例を示す。テスト画像には、4日間に渡って撮像され、画像サイズが512×384画素又は567×426画素で、24ビットカラーのカラー画像267枚を用いた。
【0217】
本実施例では、撮像日時に基づいて、画像を1時間ごとに区切られたグループに分類した。また、特性値には、実施例1と同様にIFSパラメタx,yの値を用いた。ここで、レンジブロック及びドメインブロックは、撮像した画像サイズに比例した大きさとした。また、本実施形態ではカラー画像を用いているため、x,yの値を色成分Y,Cb,Crごとに求めた。そして、自己組織化マップに配置する素子数は、3×11個とし、勝利素子の判定においてレンジブロックの位置に基づく重みは与えなかった。
【0218】
図12は、上記の条件に基づいて画像を一覧表示した結果の一部を示す図である。図中において、各グループには互いに類似する画像が多くまとめられている。また、3つのグループを選択し、拡大表示した結果を図13に示す。図13に示すように、同一グループ内においても、類似する画像がかたまって表示されていることが分かる。また、この傾向は、入力する画像のサイズ(解像度)に関係なかったことから、サイズ(解像度)の異なる画像に対しても有効であることが検証された。
【0219】
〔実施例3〕
本実施例では、実施例2で用いられた画像のうち、ある一日に撮像された101枚の画像を用いた。特性値としては、IFSパラメタx,yに加えて、上述したfaveRi、faveDopt、ERMSも用いた。また、自己組織化マップの学習において勝利素子を求める際に、上述した実施形態にて説明したように、各特性値に対して、画像の中心からレンジブロックまでの距離に基づいた重みを与えた。なお、レンジブロックの数は4×4=16個とし、式(10)におけるσを1とした。
【0220】
図14は、一覧表示した画像を示す図である。また、参考として、実施例2の条件で一覧表示した結果を図15に示す。図14を図15と比べると、類似した画像同士が一層近接して配置されていることが分かる。よって、faveRi、faveDopt、ERMSを特性値として追加し、勝利素子の判定の際に重み付けを行うことによって、類似画像の判定精度が一層精確になることが検証された。
【0221】
なお、本発明は上述した実施形態及び実施例に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0222】
本発明によれば、個人がディジタルカメラ等で撮影したディジタル画像を、画像の類似度に基づいてクラスタリングし、類似した画像が近接して配置された一覧画像を得ることができる。よって、個人フォトアルバムのユーティリティ等に好適に利用することができる。
【図面の簡単な説明】
【0223】
【図1】本発明の一実施形態を示すものであり、画像一覧表示装置の要部構成を示す機能ブロック図である。
【図2】本発明の一実施形態を示すものであり、画像一覧表示装置の処理工程を示す工程図である。
【図3】本発明の一実施形態を示すものであり、画像一覧表示装置の表示方法のスキームを示す図である。
【図4】本発明の一実施形態を示すものであり、図1の特性値算出部の詳細構成を示す機能ブロック図である。
【図5】本発明の一実施形態を示すものであり、フラクタル画像符号化のスキームを示す図である。
【図6】本発明の一実施形態を示すものであり、自己組織化マップのスキームを示す図である。
【図7】本発明の一実施形態を示すものであり、レンジブロックの分割例と各レンジブロックの座標を示す図である。
【図8】本発明の一実施形態を示すものであり、重み付けに用いられる対角行列Wの例を示す図である。
【図9】本発明の一実施形態を示すものであり、撮像場所の分布と撮像場所に基づいたグループを示す図である。
【図10】実施例1において用いたモノクロ画像群を示す図である。
【図11】実施例1において一覧表示を行った結果を示す図である。
【図12】実施例2において一覧表示を行った結果の一部を示す図である。
【図13】実施例2において一覧表示を行った結果の一部を抽出し、拡大表示した図である。
【図14】実施例3において、特性値を増やすとともに重み付けを行った場合の一覧表示の結果を示す図である。
【図15】実施例3において、実施例2の条件で一覧表示を行った結果を示す図である。
【図16】本発明の一実施形態を示すものであり、画像一覧表示装置の要部構成を示す機能ブロック図である。
【図17】本発明の一実施形態を示すものであり、図16の非類似度算出部の詳細構成を示す機能ブロック図である。
【図18】本発明の一実施形態を示すものであり、画像一覧表示装置の処理工程を示す工程図である。
【図19】本発明の一実施形態を示すものであり、図18のステップS13の詳細な処理工程を示す図である。
【図20】本発明の一実施形態を示すものであり、仮想表示領域を示す図である。
【符号の説明】
【0224】
1 画像一覧表示装置
2 画像一覧表示装置
10 画像表示位置決定部(画像表示位置決定装置)
11 撮像日時データ付き画像データ取得部(画像取得部、撮像環境データ取得部)
12 特性値算出部
13 特徴ベクトル生成部(特徴ベクトル生成手段)
14 自己組織化マッピング部(自己組織化マッピング手段)
15 画像配置部(画像配置手段)
16 非階層的分類部(非階層的分類手段)
31 レンジブロック作成部(レンジブロック作成手段)
32 ドメインブロック作成部(ドメインブロック作成手段)
33 IFSパラメタ算出部(座標算出手段)
34 レンジブロック輝度算出部(レンジブロック輝度算出手段)
35 ドメインブロック輝度算出部(ドメインブロック輝度算出手段)
36 非類似度算出部(非類似度算出手段)
110 画像表示位置決定部(画像表示位置決定装置)
111 画像データ取得部(画像取得部)
112 特性値算出部(特性値算出手段)
113 非類似度算出部
114 マッピング部(マッピング手段)
131 画像選択部(画像選択手段)
132 再構成部(再構成手段)
133 誤差値算出部(誤差値算出手段)
図面
【図1】
0
【図2】
1
【図4】
2
【図5】
3
【図6】
4
【図7】
5
【図8】
6
【図9】
7
【図16】
8
【図17】
9
【図18】
10
【図19】
11
【図20】
12
【図3】
13
【図10】
14
【図11】
15
【図12】
16
【図13】
17
【図14】
18
【図15】
19