Top > Search of Japanese Patents > DEVICE, METHOD, AND PROGRAM FOR DETERMINING IMAGE DISPLAY POSITION, AND COMPUTER READABLE RECORDING MEDIUM WITH PROGRAM RECORDED THEREON

DEVICE, METHOD, AND PROGRAM FOR DETERMINING IMAGE DISPLAY POSITION, AND COMPUTER READABLE RECORDING MEDIUM WITH PROGRAM RECORDED THEREON

Patent code P09A015047
File No. P2004-277-JP01
Posted date Feb 19, 2010
Application number P2005-171324
Publication number P2006-344155A
Patent number P4565187
Date of filing Jun 10, 2005
Date of publication of application Dec 21, 2006
Date of registration Aug 13, 2010
Inventor
  • (In Japanese)長谷山 美紀
  • (In Japanese)小川 貴弘
Applicant
  • (In Japanese)国立大学法人北海道大学
Title DEVICE, METHOD, AND PROGRAM FOR DETERMINING IMAGE DISPLAY POSITION, AND COMPUTER READABLE RECORDING MEDIUM WITH PROGRAM RECORDED THEREON
Abstract PROBLEM TO BE SOLVED: To arrange similar images close to one another when determining the display position of each image in order to display images in a list.
SOLUTION: An image device list display device 1 is a device for displaying a plurality of thumbnail images in a list and includes an image display position determining part 10 for determining the display position of each thumbnail image in the images of the list. The image display position determining part 10 includes a characteristic value calculating part 12 for calculating coordinates in an original image of a domain block closest to an image similar to a range block in the original image as a first characteristic value representing characteristics of the original image, a characteristic vector generating part 13 for generating a characteristic vector including the first characteristic value calculated about each original image as an element for each original image, and an image arranging part 15 for using the characteristic vector to learn a self-organization map and for determining the display position of each thumbnail image in the images of the list on the basis of the position of an element belonging to each original image in the learned self-organization map.
Outline of related art and contending technology (In Japanese)

近年のブロードバンドの発展や様々なディジタルメディアの普及により、個人が所有する画像の数は飛躍的に増加している。これに伴って、所望の画像を膨大な量の画像の中から検索する必要性が生じているが、人手で行うには大きな負担となる。このため、与えられる画像の中から所望の画像、あるいはそれと類似する画像を自動で選択し、ユーザに呈示する手法のニーズが高まっている。

ところで、類似画像を自動で検索する技術については従来より活発に研究が行われており、非常に多くの手法が提案されている。一般にこれらの手法では、検索を行うためにユーザがあらかじめ質問画像を与える必要がある。

しかしながら、ユーザが検索対象とする画像に類似した画像を保持していない可能性があり、そのような場合、これらの手法では類似画像の検索を行うことができない。また、検索の初期の段階において、所望の画像がどのようなものであるかという検索意図が、ユーザにとって明確でない場合も少なくない。このような場合、ユーザは試行錯誤的に多くの画像の閲覧を希望すると考えらえる。したがって、多数の類似した画像同士をまとめ、その結果をユーザに理解しやすい形で呈示すること、すなわち可視化することが必要とされている。

このような観点から、類似の画像を近接して表示する手法について研究が行われており、そのような手法が非特許文献1~3に記載されている。これら非特許文献1~3に記載された手法では、画像の特徴を数値として抽出し、この数値(以下「特性値」という)を要素として有する特徴ベクトルによって、画像の特徴を表現する。そして、この特徴ベクトルを用いて自己組織化マップの学習を行い、学習後の自己組織化マップの何れの素子に画像が帰属するかによって、画像の配置を決定している。

ここで、特許文献1の手法では、上記の特性値としてMPEG(Moving Picture Expert Group)-7で規格化されているエッジヒストグラムを用いている。一方、特許文献2の手法では、上記の特性値として画像に含まれる各画素のRGB成分の平均値を用いている。また、特許文献3の手法では、上記の特性値としてガボールフィルターから得られる値を用いている。
【非特許文献1】
Laaksonen, J., Koskela, M., Oja, E., “PicSOM-self-organizing image retrieval with MPEG-7 content descriptors,” IEEE Transactions on Neural Networks, v 13, n 4, July 2002, p 841-853.
【非特許文献2】
Bin Zhu, Ramsey, M., Hsinchun Chen, “Creating a large-scale content-based airphoto image digital library,” IEEE Transactions on Image Processing, v 9, n 1, Jan. 2000, p 163-167.
【非特許文献3】
Laaksonen, J., Koskela, M., Laakso, S., Oja, E., “Self-organising maps as a relevance feedback technique in content-based image retrieval,” Pattern Analysis and Applications, v 4, n 2-3, 2001, p 140-152.

Field of industrial application (In Japanese)

本発明は、複数のサムネイル画像を一覧表示する際の各サムネイル画像の表示位置を決定する装置及びその装置において用いられる方法、並びにその装置を実現するためのプログラム及びにこれを記録した記録媒体に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、
上記複数の画像である元画像を取得する画像取得部と、
各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成手段と、
各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成手段と、
各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出手段と、
上記座標算出手段によって各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成手段と、
複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング手段と、
上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置手段と、
を備えていることを特徴とする、画像表示位置決定装置。

【請求項2】
 
各元画像において、上記レンジブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第2の特性値として算出するレンジブロック輝度算出手段をさらに備え、
上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記レンジブロック輝度算出手段によって各元画像について算出された第2の特性値を、要素としてさらに含めることを特徴とする、請求項1に記載の画像表示位置決定装置。

【請求項3】
 
各元画像において、上記レンジブロックと最も似ているドメインブロックに含まれる各画素の輝度の平均値を、元画像の特性を表す第3の特性値として算出するドメインブロック輝度算出手段をさらに備え、
上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記ドメインブロック輝度算出手段によって各元画像について算出された第3の特性値を、要素としてさらに含めることを特徴とする、請求項1又は2に記載の画像表示位置決定装置。

【請求項4】
 
各元画像において、
(a)上記レンジブロックと、
(b)そのレンジブロックと最も似ているドメインブロックに基づき、かつ上記レンジブロックとサイズが同じであるサイズ調整ドメインブロックと、
の非類似度を、元画像の特性を表す第4の特性値として算出する非類似度算出手段をさらに備え、
上記特徴ベクトル生成手段が、各元画像について生成する上記特徴ベクトルに、上記非類似度算出手段によって各元画像について算出された第4の特性値を、要素としてさらに含めることを特徴とする、請求項1から3の何れか1項に記載の画像表示位置決定装置。

【請求項5】
 
上記ドメインブロック作成手段が、上記レンジブロックと同じサイズのドメインブロックを作成することを特徴とする請求項1から4の何れか1項に記載の画像表示位置決定装置。

【請求項6】
 
上記レンジブロック作成手段が、各元画像のサイズと実質的に比例したサイズを有するレンジブロックを作成し、
上記ドメインブロック作成手段が、各元画像のサイズと実質的に比例した画素数でずらしながら、各元画像のサイズと実質的に比例したサイズを有する部分画像を切り出すことによって、ドメインブロックを作成することを特徴とする、請求項1から5の何れか1項に記載の画像表示位置決定装置。

【請求項7】
 
各元画像について生成される上記特徴ベクトルが、異なる複数のレンジブロックについて算出された上記特性値を要素として含み、
上記自己組織化マッピング手段が、自己組織化マップの学習において勝利素子の探索を行う際に、上記特徴ベクトルに含まれる各レンジブロックについて算出された上記特性値に対して、そのレンジブロックの元画像内における位置に基づいて重み付けを行うことを特徴とする、請求項1から6の何れか1項に記載の画像表示位置決定装置。

【請求項8】
 
上記重み付けが、レンジブロックの位置と画像の中心との間の距離に応じたものであることを特徴とする、請求項7に記載の画像表示位置決定装置。

【請求項9】
 
上記画像取得部が、画像内における被写体の位置を示す被写体位置データをさらに取得し、
上記重み付けが、レンジブロックの位置と、上記被写体位置データによって示される画像内における被写体の位置との間の距離に応じたものであることを特徴とする、請求項7に記載の画像表示位置決定装置。

【請求項10】
 
上記元画像が、撮像によって作成されたものであり、
上記元画像を撮像した際の環境を示す撮像環境データを取得する撮像環境データ取得部と、
上記撮像環境データに基づいて、元画像を非階層的な複数のグループに分類する非階層的分類手段と、をさらに備え、
上記自己組織化マッピング手段が、上記の自己組織化マップの学習及び元画像の帰属する素子の位置の決定を、上記グループごとに行い、
上記画像配置手段が、一覧画像を上記グループに対応する部分領域に分割し、部分領域におけるサムネイル画像の表示位置を、上記自己組織化マップにおける元画像の帰属する素子の位置に基づいてグループごとに決定することによって、一覧画像における各サムネイル画像の表示位置を決定することを特徴とする、請求項1から9の何れか1項に記載の画像表示位置決定装置。

【請求項11】
 
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定装置であって、
上記複数の画像である元画像を取得する画像取得部と、
各元画像について、フラクタル画像符号化法によってIFSパラメタ値を算出する特性値算出手段と、
複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択手段と、
上記画像選択手段によって組み合わせが選択された2つの元画像について、上記IFSパラメタ値に基づいて当該2つの元画像間の非類似度を算出する誤差値算出手段と、
一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング手段と、
を備えていることを特徴とする、画像表示位置決定装置。

【請求項12】
 
上記画像選択手段によって選択された2つの元画像における一方の元画像のIFSパラメタ値を用いて他方の元画像を再構成して再構成画像を作成する再構成手段をさらに備え、
上記誤差値算出手段は、上記他方の元画像と上記再構成画像との輝度の誤差値に基づいて、当該2つの元画像間における非類似度を算出することを特徴とする、請求項11に記載の画像表示位置決定装置。

【請求項13】
 
請求項1から12の何れか1項に記載の各手段として、コンピュータを動作させるための画像表示位置決定プログラム。

【請求項14】
 
請求項13に記載の画像表示位置決定プログラムが記録されたコンピュータ読み取り可能な記録媒体。

【請求項15】
 
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、
上記複数の画像である元画像を取得する画像取得工程と、
各元画像について、元画像を分割してレンジブロックを作成するレンジブロック作成工程と、
各元画像について、互いに重なりを許しながら複数の部分画像を切り出すことによって複数のドメインブロックを作成するドメインブロック作成工程と、
各元画像内において、上記レンジブロックと最も似ているドメインブロックの、元画像内における座標を、元画像の特性を表す第1の特性値として算出する座標算出工程と、
上記座標算出工程において各元画像について算出された第1の特性値を要素として含む特徴ベクトルを元画像ごとに生成する特徴ベクトル生成工程と、
複数の元画像について生成された上記特徴ベクトルを用いて自己組織化マップの学習を行うとともに、学習後の自己組織化マップにおける各元画像の帰属する素子の位置を決定する自己組織化マッピング工程と、
上記自己組織化マップにおける各元画像の帰属する素子の位置に基づいて、各サムネイル画像の一覧画像内における表示位置を決定する画像配置工程と、
を含んでいることを特徴とする、画像表示位置決定方法。

【請求項16】
 
複数の画像をサムネイル画像によって一覧表示する際の一覧画像内における各サムネイル画像の表示位置を決定する画像表示位置決定方法であって、
上記複数の画像である元画像を取得する画像取得工程と、
各元画像について、フラクタル画像符号化法によってIFSパラメタを算出する特性値算出工程と、
複数の元画像の中から、順次2つの元画像の組み合わせを選択する画像選択工程と、
上記画像選択工程において組み合わせが選択された2つの元画像について、上記IFSパラメタに基づいて当該2つの元画像間の非類似度を算出する誤差値算出工程と、
一覧画像内における各サムネイル画像の表示位置を、各サムネイル画像間の一覧画像内における距離が当該サムネイル画像に対応する元画像間の上記非類似度に応じた距離となるように決定するマッピング工程と、
を含んでいることを特徴とする、画像表示位置決定方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005171324thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close