TOP > 国内特許検索 > 素材検索方法、素材検索方法を実行させるためのプログラム、及び、そのプログラムを記録した記録媒体 > 明細書

明細書 :素材検索方法、素材検索方法を実行させるためのプログラム、及び、そのプログラムを記録した記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5046159号 (P5046159)
公開番号 特開2008-210365 (P2008-210365A)
登録日 平成24年7月27日(2012.7.27)
発行日 平成24年10月10日(2012.10.10)
公開日 平成20年9月11日(2008.9.11)
発明の名称または考案の名称 素材検索方法、素材検索方法を実行させるためのプログラム、及び、そのプログラムを記録した記録媒体
国際特許分類 G06F  17/30        (2006.01)
FI G06F 17/30 350C
G06F 17/30 320Z
G06F 17/30 170G
請求項の数または発明の数 8
全頁数 18
出願番号 特願2007-211519 (P2007-211519)
出願日 平成19年8月14日(2007.8.14)
新規性喪失の例外の表示 特許法第30条第1項適用 2006年7月31日 社団法人 日本建築学会発行の「2006年度大会学術講演梗概集」に発表
優先権出願番号 2007017456
優先日 平成19年1月29日(2007.1.29)
優先権主張国 日本国(JP)
審査請求日 平成22年7月20日(2010.7.20)
特許権者または実用新案権者 【識別番号】800000068
【氏名又は名称】学校法人東京電機大学
発明者または考案者 【氏名】柴田 滝也
【氏名】内山 直子
個別代理人の代理人 【識別番号】100119677、【弁理士】、【氏名又は名称】岡田 賢治
【識別番号】100115794、【弁理士】、【氏名又は名称】今下 勝博
審査官 【審査官】吉田 誠
参考文献・文献 特開2003-157439(JP,A)
特開2002-92019(JP,A)
中西 崇文,楽曲メディアデータと画像メディアデータ間における連想検索方式,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2004年 7月 6日,Vol.104 No.176,127-132ページ
加藤 俊一,感性情報処理の夜明け,映像情報メディア学会誌,日本,社団法人映像情報メディア学会,1998年 1月20日,第52巻 第1号,49-52ページ
栗田 多喜夫,印象語による絵画データベースの検索,情報処理学会論文誌,日本,社団法人情報処理学会,1992年11月15日,第33巻 第11号,1373-1383ページ
田邊 勝義,多次元心理空間を用いる類似画像検索法の検討,第43回(平成3年後期)全国大会講演論文集(2) 平成3年10月19日~22日,日本,社団法人情報処理学会,1991年10月22日,2-13 ~ 2-14ページ
調査した分野 G06F 17/30
特許請求の範囲 【請求項1】
メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報から、異種のメディア情報種別に属する前記素材を検索する素材検索方法であって、
検索用素材を取得する素材取得ステップと、
前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、
前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、
前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を、前記素材取得ステップで取得した前記検索用素材と異種のメディア情報種別に属する前記素材情報の中から正準相関分析法によって選定し、選定した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、
を順に備えることを特徴とする素材検索方法。
【請求項2】
メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報と、正準相関分析法によって選定され、かつ、異種のメディア情報種別に属する前記素材同士の調和の高い前記表現用語を有する調和情報と、から異種のメディア情報種別に属する前記素材を獲得する素材検索方法であって、
検索用素材を取得する素材取得ステップと、
前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、
前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、
前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を前記調和情報から検索し、検索した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、
を順に備えることを特徴とする素材検索方法。
【請求項3】
前記素材取得ステップの前に、
前記素材、前記素材物理量及び予め学習した前記素材に対応する前記表現用語を取得して前記素材情報として登録する学習ステップ、
をさらに備えることを特徴とする請求項1又は2に記載の素材検索方法。
【請求項4】
前記素材情報は、前記素材として、前記素材物理量が少なくとも形状及び色で表される2次元情報と前記素材物理量が少なくとも形状及び色で表される3次元情報とを含むことを特徴とする請求項1から3のいずれかに記載の素材検索方法。
【請求項5】
コンピュータに請求項1から4のいずれかに記載の素材検索方法を実行させるためのプログラム。
【請求項6】
コンピュータに請求項1から4のいずれかに記載の素材検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項7】
前記素材取得ステップで取得した素材と、前記検索ステップで獲得した素材とを合成した画像を、出力手段に表示する合成画像表示ステップと、
前記合成画像表示ステップで表示した画像の調和又は不調和を取得する相関取得ステップと、
前記相関取得ステップで調和を取得した場合に、前記素材取得ステップで取得した素材と前記検索ステップで獲得した素材の前記素材物理量から共通する素材物理量を抽出し、抽出した素材物理量を表現する表現用語を取得する相関分析ステップと、
前記相関分析ステップで取得した表現用語を前記素材情報に追加する表現用語学習ステップと、
を、前記検索ステップの後にさらに有することを特徴とする請求項1、2又は3に記載の素材検索方法。
【請求項8】
コンピュータに請求項7に記載の素材検索方法を実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、異種のメディア情報種別に属する素材を検索する素材検索方法に関する。
【背景技術】
【0002】
インターネット上の検索エンジンでは、検索対象となる素材は、主にテキストであった。また、検索エンジンで画像を検索する場合、画像と共にアップロードされている記事等のテキストを検索しており、画像自体を利用できていなかった。また、画像をインデックス化して検索する方法もあるが、そのインデックス化を手作業で行う必要があり、また、インデックス化を行う人の主観でインデックスの内容が左右されてしまった。
【0003】
そこで、異種のメディア間で最適なメディア対を予測する技術が開示されている(例えば、特許文献1を参照。)。特許文献1で開示される技術は、異種メディア対の客観情報及び感性情報と適合度との相関関係を規定した適合度ルールを用いて最適なメディア対を予測している。

【特許文献1】特開平11-66028号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1で開示される技術は、決定木で相関関係を規定しており、離散値(定性的)にする必要がある。また、特許文献1で開示される技術は、異種メディア対の感性情報の相関関係を直接的に解析できない問題がある。
【0005】
本発明は、検索の精度が高く、素材を表現する表現用語を統計的に解析できる素材検索方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係る素材検索方法は、調和の高い表現用語を正準相関分析法によって選定し、選定した表現用語に対応する素材を獲得することを特徴とする。
【0007】
具体的には、本発明に係る素材検索方法は、メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報から、異種のメディア情報種別に属する前記素材を検索する素材検索方法であって、検索用素材を取得する素材取得ステップと、前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を、前記素材取得ステップで取得した前記検索用素材と異種のメディア情報種別に属する前記素材情報の中から正準相関分析法によって選定し、選定した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、を順に備えることを特徴とする。
【0008】
上記の素材検索方法は、定量的な正準相関分析法を用いており、また、前記表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、上記の素材検索方法は、正準相関分析法によって前記表現用語を統計的に解析することができ、異種のメディア情報種別に属する前記素材における重要な前記表現用語と重要でない前記表現用語を区別することができる。
【0009】
前記課題を解決するため、本発明に係る素材検索方法は、正準相関分析法によって選定された調和の高い表現用語を有する調和情報から表現用語を検索し、検索した表現用語に対応する素材を獲得することを特徴とする。
【0010】
具体的には、本発明に係る素材検索方法は、メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報と、正準相関分析法によって選定され、かつ、異種のメディア情報種別に属する前記素材同士の調和の高い前記表現用語を有する調和情報と、から異種のメディア情報種別に属する前記素材を獲得する素材検索方法であって、検索用素材を取得する素材取得ステップと、前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を前記調和情報から検索し、検索した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、を順に備えることを特徴とする。
【0011】
上記の素材検索方法は、定量的な正準相関分析法を用いており、また、前記表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、上記の素材検索方法は、正準相関分析法によって前記表現用語を統計的に解析することができ、異種のメディア情報種別に属する前記素材における重要な前記表現用語と重要でない前記表現用語を区別することができる。
【0012】
本発明に係る素材検索方法では、前記素材取得ステップの前に、前記素材、前記素材物理量及び予め学習した前記素材に対応する前記表現用語を取得して前記素材情報として登録する学習ステップ、をさらに備えることが好ましい。
【0013】
上記の素材検索方法は、学習した前記表現用語を前記素材情報に登録することで、検索の精度をより高くすることができる。
【0014】
本発明に係る素材検索方法では、前記素材情報は、前記素材として、前記素材物理量が少なくとも形状及び色で表される2次元情報と前記素材物理量が少なくとも形状及び色で表される3次元情報とを含むことが好ましい。
【0015】
上記の素材検索方法は、2次元情報や3次元情報といった人間の視覚で認識できる前記素材を検索することができる。
【0016】
本発明に係る素材検索方法では、前記素材取得ステップで取得した素材と、前記検索ステップで獲得した素材とを合成した画像を、出力手段に表示する合成画像表示ステップと、前記合成画像表示ステップで表示した画像の調和又は不調和を取得する相関取得ステップと、前記相関取得ステップで調和を取得した場合に、前記素材取得ステップで取得した素材と前記検索ステップで獲得した素材の前記素材物理量から共通する素材物理量を抽出し、抽出した素材物理量を表現する表現用語を取得する相関分析ステップと、前記相関分析ステップで取得した表現用語を前記素材情報に追加する表現用語学習ステップと、を、前記検索ステップの後にさらに有することが好ましい。
【0017】
本発明によって、メディア情報種別の異なる複数の素材を合成して表示できるので、的確に判断された調和又は不調和を取得することができる。さらに、検索サービスが学習機能を有することで、「調和」と判断される根拠となった表現用語を学習することができる。
【0018】
本発明に係る素材検索方法では、コンピュータに前記いずれかの素材検索方法を実行させるためのプログラムを含む。
【0019】
本発明に係る素材検索方法では、コンピュータに前記いずれかの素材検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を含む。
【発明の効果】
【0020】
本発明は、検索の精度が高く、素材を表現する表現用語を統計的に解析できる素材検索方法を提供することができる。
【発明を実施するための最良の形態】
【0021】
添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。また、同一ステップ及び同一装置には同一符号を付した。
【0022】
(第1実施形態)
図1に、第1実施形態に係る素材検索方法を実行する素材検索システムの一例を示す。素材検索システム100は、例えば、演算装置110、素材情報データベース120、素材取得手段130、出力手段140及び学習支援手段150を備える。演算装置110は、例えば、後述する素材検索方法を実行する。素材情報データベース120は、例えば、後述する素材情報(不図示)を格納したデータベースである。素材取得手段130としては、例えば、2次元情報及び3次元情報を取得するスキャナ、聴覚情報を取得するマイク及びレコーダー、触覚情報を取得する触覚センサ、臭覚情報を取得する臭覚センサ、並びに、味覚情報を取得する味覚センサがある。出力手段140は、例えば、検索結果を出力するプリンタやディスプレイである。また、学習支援手段150は、例えば、表現用語の学習に必要となる心理実験を支援する。
【0023】
図2に、第1実施形態に係る素材検索方法の第1のフローチャートを示す。第1実施形態に係る素材検索方法は、メディア情報種別毎に複数の素材、素材を数値化した素材物理量及び素材を表現する表現用語を有する素材情報から、異種のメディア情報種別に属する素材を検索する素材検索方法であって、検索用素材を取得する素材取得ステップS110と、素材取得ステップS110で取得した検索用素材の素材物理量を抽出する素材物理量抽出ステップS120と、素材取得ステップS110で取得した検索用素材と同種のメディア情報種別に属し、かつ、素材物理量抽出ステップS120で抽出した素材物理量と相関の高い素材物理量を有する素材を素材情報から重回帰分析法によって選定し、選定した素材が有する表現用語を獲得する表現用語獲得ステップS130と、表現用語獲得ステップS130で獲得した表現用語と調和の高い表現用語を、素材取得ステップS110で取得した検索用素材と異種のメディア情報種別に属する素材情報の中から正準相関分析法によって選定し、選定した表現用語に対応する素材を獲得して検索結果とする検索ステップS140と、を順に備える。
【0024】
素材情報について説明する。素材は、2次元情報、3次元情報、聴覚情報、触覚情報、臭覚情報又は味覚情報のいずれかのメディア情報種別に属する。
【0025】
2次元情報とは、人間の視覚で平面的(2次元)に認識できるものである。
【0026】
3次元情報とは、人間の視覚で立体的(3次元)に認識できるものである。
【0027】
図3は、素材の一例を示す画像であり、(a)が2次元情報の一例であり、(b)及び(c)が3次元情報の一例である。2次元情報としては、例えば、平面的に表現された写真、絵画、映像又はコンピュータグラフィック(CG)がある。また、3次元情報としては、例えば、立体模型、立体的に表現された写真、絵画、映像又はCGがある。
【0028】
聴覚情報とは、人間の聴覚で認識できるものである。聴覚情報としては、例えば、音楽がある。
【0029】
触覚情報とは、人間の触覚で認識できるものである。触覚情報としては、例えば、熱い、寒い、暖かい、ぬるいといった素材の温度、柔らかい、硬いといった素材の硬度、及び、粗い、滑るといった素材表面の平坦さがある。
【0030】
臭覚情報とは、人間の臭覚で認識できるものである。臭覚情報としては、例えば、素材からの臭いがある。
【0031】
味覚情報とは、人間の味覚で認識できるものである。味覚情報としては、甘さ、苦さ、辛さ、酸っぱさ、うまさといった素材の味がある。
【0032】
第1実施形態に係る素材検索方法では、素材情報は、素材として、素材物理量が少なくとも形状及び色で表される2次元情報と素材物理量が少なくとも形状及び色で表される3次元情報とを含むことが好ましい。第1実施形態に係る素材検索方法は、人間の感覚のうち最も発達した視覚で認識できる2次元情報及び3次元情報を検索することができ、利便性が高い。ここで、色には、明度、色相及び彩度が含まれる。
【0033】
図4は、コントラスト分析で2次元情報の素材物理量を抽出する一例であり、(a)は2次元情報を示す図であり、(b)は2次元情報が分割されたセクションの拡大図である。図4(a)に示すように、コントラスト分析では、例えば、2次元情報210を9個のセクション212に分割して特徴を求め、2次元情報210の素材物理量を抽出する。
【0034】
素材が3次元情報であれば、例えば、頂点の位置から素材の形状を抽出する頂点情報処理とコントラスト分析等の画像処理を併用して素材の形状及び色を抽出する(不図示)。
【0035】
素材が聴覚情報である場合、素材物理量は、例えば、音圧、周波数、音色、又は、協和音と不協和音の区別となる。素材が触覚情報である場合、素材物理量は、例えば、平滑度、粗度、温度、硬度、又は、弾力性となる。素材が臭覚情報である場合、素材物理量は、例えば、臭気指数となる。また、素材が味覚情報である場合、素材物理量は、例えば、糖分濃度、酸性度、又は、塩分濃度となる。
【0036】
表現用語は、例えば、心理実験によって予め学習する。表現用語の学習については後述する。
【0037】
図5に、第1実施形態に係る素材検索方法の第2のフローチャートを示す。図5に示すように、第1実施形態に係る素材検索方法では、素材取得ステップS110の前に、素材、素材物理量及び予め学習した素材に対応する表現用語を取得して素材情報として登録する学習ステップS150、をさらに備えることが好ましい。なお、図5の素材取得ステップS110、素材物理量抽出ステップS120、表現用語獲得ステップS130及び検索ステップS140は、図2と同様のものであり、破線で示す。
【0038】
図5の学習ステップS150では、素材、抽出した素材物理量、予め学習した素材用語を取得して素材情報に登録する。第1実施形態に係る素材検索方法は、素材情報を多く登録するほど、検索の精度を高くすることができる。
【0039】
表現用語の学習は、例えば、学習支援手段(不図示)によって行うことができる。学習支援手段は、例えば、反対の意味を有する単語の組合せた単語対を被験者に対して表示し、単語対から素材を表現していると考えられる一方の単語を被験者に選択させる。学習支援手段が、この単語を取得することで、学習した表現用語を取得することになる。また、単語対のうち、複数の被験者から多く選択された単語を表現用語としても良い。図6に、単語対の一例を示す。図6において、単語対は、例えば、単語Aと単語Bの組み合わせである。例えば、単語対は、1行目であれば「好き」と「嫌い」の組み合わせであり、2行目であれば「明るい」と「暗い」の組み合わせである。
【0040】
また、表現用語は、例えば、スコア付けによって学習してもよい。スコア付けとは、例えば、素材にふさわしい単語はスコアが高く、素材にふさわしくない単語はスコアが低いというルールのもと、被験者が単語のスコア付けを行う。複数の被験者が単語対のスコア付けを行い、単語対から平均スコアが高い一方の単語を表現用語とする。或いは、一定以上の平均スコアを有する単語を表現用語としても良い。
【0041】
素材の検索方法について説明する。図5の素材取得ステップS110では、例えば、素材取得手段(不図示)によって検索用素材を取得する。
【0042】
検索用素材とは、いずれかのメディア種別に属し、第1実施形態に係る素材検索方法において検索条件となる素材である。
【0043】
素材物理量抽出ステップS120では、例えば、検索用素材が2次元情報であればコントラスト分析で素材物理量を抽出し、検索用素材が3次元情報であれば頂点情報処理と画像処理を併用して素材物理量を抽出する。
【0044】
表現用語獲得ステップS130では、例えば、検索用素材が2次元情報又は3次元情報であれば、相関が高い形状及び色を有する素材を重回帰分析法によって素材情報から選定する。例えば、選定した素材情報から以下のようにして表現用語を獲得することができる。検索用素材と素材の素材物理量が一致する場合、その素材が有する表現用語を全て獲得しても良い。例えば、素材が「大きい」、「やわらかい」及び「軽い」という表現用語を有する場合、検索用素材の表現用語として、「大きい」、「やわらかい」及び「軽い」の全てを獲得する。また、例えば、検索用素材と素材の素材物理量のうち、形状が異なる場合、検索用素材の表現用語として「やわらかい」及び「軽い」を獲得し、「大きい」は獲得しない。
【0045】
検索ステップS140では、表現用語獲得ステップS130で獲得した表現用語と調和の高い表現用語を正準相関分析法によって選定する。例えば、選定した表現用語から以下のようにして表現用語に対応する素材を獲得することができる。表現用語獲得ステップS130で表現用語として、「大きい」、「やわらかい」及び「軽い」を獲得した場合、大きい」、「やわらかい」及び「軽い」の全てを表現用語として有する素材が素材情報中に登録されているのであれば、その素材を獲得する。ここで、「大きい」、「やわらかい」及び「軽い」の全てを表現用語として有する素材が素材情報に複数登録されている場合、いずれかの素材を獲得しても良く、また、全ての素材を獲得しても良い。また、「大きい」、「やわらかい」及び「軽い」の全てを表現用語として有する素材が登録されていない場合、「大きい」、「やわらかい」及び「軽い」のうちのいずれかの2個を有する素材を獲得しても良い。さらに、素材が獲得できない場合、「大きい」、「やわらかい」及び「軽い」のうちのいずれかを有する素材を獲得しても良い。
【0046】
以上のように、第1実施形態に係る素材検索方法は、定量的な正準相関分析法を用いており、また、表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、第1実施形態に係る素材検索方法は、正準相関分析法によって表現用語を統計的に解析することができ、異種のメディア情報種別に属する素材における重要な表現用語と重要でない表現用語を区別することができる。
【0047】
(第2実施形態)
第2実施形態に係る素材検索方法について、主に第1実施形態に係る素材検索方法を説明する。図7に、第2実施形態に係る素材検索方法を実行する素材検索システムの一例を示す。素材検索システム101は、例えば、演算装置110、素材情報データベース120、素材取得手段130、出力手段140、学習支援手段150及び調和情報データベース160を備える。調和情報データベース160は、例えば、後述する調和情報(不図示)を格納したデータベースである。
【0048】
図8に、第2実施形態に係る素材検索方法のフローチャートを示す。第2実施形態に係る素材検索方法は、メディア情報種別毎に複数の素材、素材を数値化した素材物理量及び素材を表現する表現用語を有する素材情報と、正準相関分析法によって選定され、かつ、異種のメディア情報種別に属する素材同士の調和の高い表現用語を有する調和情報と、から異種のメディア情報種別に属する素材を獲得する素材検索方法であって、検索用素材を取得する素材取得ステップS110と、素材取得ステップS110で取得した検索用素材の素材物理量を抽出する素材物理量抽出ステップS120と、素材取得ステップS110で取得した検索用素材と同種のメディア情報種別に属し、かつ、素材物理量抽出ステップS120で抽出した素材物理量と相関の高い素材物理量を有する素材を素材情報から重回帰分析法によって選定し、選定した素材が有する表現用語を獲得する表現用語獲得ステップS130と、表現用語獲得ステップS130で獲得した表現用語と調和の高い表現用語を調和情報から検索し、検索した表現用語に対応する素材を獲得して検索結果とする検索ステップS141と、を順に備える。
【0049】
素材取得ステップS110、素材物理量抽出ステップS120及び表現用語獲得ステップS130は、第1実施形態に係る素材検索方法と同様である。また、素材取得ステップS110の前に、第1実施形態と同様に学習ステップ(不図示)を備えることが好ましい。
【0050】
検索ステップS141では、表現用語獲得ステップS130で獲得した表現用語と調和の高い表現用語を調和情報から検索する。また、検索した表現用語から対応する素材を獲得する方法は、第1実施形態に係る素材検索方法と同様である。
【0051】
第2実施形態に係る素材検索方法は、定量的な正準相関分析法を用いており、また、表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、第2実施形態に係る素材検索方法は、正準相関分析法によって表現用語を統計的に解析することができ、異種のメディア情報種別に属する素材における重要な表現用語と重要でない表現用語を区別することができる。さらに、第2実施形態に係る素材検索方法は、予め調和情報を準備しておくことから、検索処理の高速化を図ることができる。
【0052】
本発明には、コンピュータに第1又は第2実施形態に係る素材検索方法を実行させるためのプログラムを含む。また、本発明には、コンピュータに第1又は第2実施形態に係る素材検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を含む。ここで、コンピュータ読み取り可能な記録媒体とは、例えば、電磁気的又は光学的なディスク又はテープである。
【実施例1】
【0053】
正準相関分析法によって選択した表現用語を評価するため、以下の実験を行った。まず、被験者が調和すると評価した2次元情報(景観)と3次元情報(建物)の表現用語の組合せたサンプルを28組準備した。ここで、2次元情報及び3次元情報の表現用語のそれぞれについて7段階(1が調和、4が中立、7が不調和)の段階評価を行った。また、サンプルについても7段階の段階評価を行った。そして、調和と評価されたサンプルに対して正準相関分析を行った。図9に、正準相関分析による表現用語の選択結果を示した。なお、図9では、正準負荷量が0.4以上の箇所を太字で示した。
【0054】
図9から次のことが判った。0.4以上の正準負荷量となる表現用語が力量性及び現代性に関して2次元情報及び3次元情報の両方共にグループ化されることから、表現用語同士に対向関係があることが判った。以上より、正準相関分析法によって選択した表現用語の調和が高いことが判った。
【0055】
なお、実施形態1及び実施形態2における素材検索方法の前提として、メディア情報種別毎に複数の素材、素材を数値化した素材物理量及び素材を表現する表現用語を有する素材情報についてのデータベースを構築する必要がある。一例として、「部屋」の持ち主が、自分の部屋に合った「椅子」を本実施形態に係る素材検索方法によって探す場合について説明する。
【0056】
「部屋」と「椅子」とはメディア情報種別が異なる。メディア情報種別は素材検索方法によって異なる。本実施形態のように、家具を探すwebサイトの場合、椅子、ベッドなどの家具と、部屋とはメディア情報種別が異なる。本実施形態では、素材「部屋」を2次元情報、素材「椅子」を3次元情報として扱うが、メディア情報種別は素材「椅子」が2次元情報であってもよいし、素材「部屋」が3次元情報であってもよい。
【0057】
素材情報についてのデータベースを構築するために、素材「椅子」についての素材物理量及び表現用語を取得する。ここで、素材物理量の取得は、素材「椅子」の3次元情報作成者の意図を反映させる場合、素材「椅子」の3次元情報作成時に埋め込まれる情報から行うことが好ましい。例えば、CAD情報から、3次元方向での実寸や縮尺を取得する。また、素材「椅子」の3次元情報の特徴抽出によって行ってもよい。さらに、素材物理量は、素材検索方法において学習することで取得してもよい。
【0058】
表現用語の取得は、素材「椅子」の3次元情報を見る人が感じるイメージを取得する。表現用語の取得は、素材情報データベースに予め入力されていてもよいし、本実施形態に係る素材検索方法において学習することで取得してもよい。
【0059】
一方で、素材情報についてのデータベースの構築のために、素材「部屋」についての素材物理量及び表現用語を取得する。素材物理量は、例えば、素材検索方法の利用者の入力によって、部屋の間取りや大きさを取得する。また、素材検索方法の利用者の入力によらなくても、素材物理量の取得は、素材「部屋」の画像データから特徴抽出などの画像処理によって行うことができる。表現用語の取得は、素材「部屋」の2次元情報を見る人が感じるイメージを取得する。例えば、素材「部屋」の所有者の希望する部屋のイメージを入力することで取得する。又は、複数の選択肢が画面上に示され、その選択肢から1つ又は複数の表現用語を選択する。また、表現用語の取得は、素材物理量に対する表現用語が定められた表を予め用意し、その表を参照することで行う。
【0060】
(実施形態3)
図10は、本実施形態に係る素材検索方法の一例を示す流れ図である。本実施形態に係る素材検索方法では、実施形態1及び実施形態2で説明した素材検索方法を実行する検索ステップS501の後に、さらに、合成空間表示ステップS502と、相関取得ステップS503と、相関分析ステップS504と、表現用語学習ステップS505と、を順に有する。本実施形態に係る素材検索方法は、ステップS501の後に、さらに、合成空間表示ステップS502と、相関取得ステップS503と、相関分析ステップS504と、表現用語学習ステップS505と、を実行させるためのプログラムであってもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体に格納されていてもよい。
【0061】
検索ステップS501では、実施形態1又は実施形態2で説明した素材検索方法を実行する。例えば、図11に示す素材「部屋」の画像を入力すると、図12に示す「素材「部屋」に調和した素材「椅子」が検索結果として表示される。
【0062】
合成空間表示ステップS502では、素材検索方法の利用者の入力した素材「部屋」と抽出された「椅子」が合成され、両素材を合成した画像が図1に示す出力手段140に表示される。図13は、複数の素材を合成した画像の一例である。例えば、ARtoo1Kitを用いて素材「部屋」に素材「椅子」を擬似的に表示させる。素材「部屋」と「椅子」の合成においては、素材「部屋」に関連して記憶されている素材物理量と素材「椅子」に関連して記憶されている素材物理量とに基づいて、実際に配置した場合に近い状態で表示されることが好ましい。例えば、素材「椅子」の色調や光沢などを、部屋の光源の位置と素材「椅子」の配置場所との相対的な関係によって調整すれば、素材「部屋」との調和を現実に近いかたちで確認することができる。また、各素材の取得時に、ビジュアルマーカをカメラに投影すれば、実空間に近い状態をコンピュータ上で再現することができる。また、メディア情報種別の異なる素材間の画像の合成を容易にかつ的確に行うことができる。
【0063】
相関取得ステップS503では、複数の素材の合成の結果について、調和が取れているか否かを取得する。例えば、複数の素材を合成した画像の端に2つのボタンを設け、一方のボタンが押されれば調和と入力し、他方のボタンが押されれば不調和と入力する。本ステップにおいて「調和」と入力された場合は、ステップS504へ移行する。一方、本ステップにおいて「不調和」と入力された場合は、本実施形態に係る素材検索方法を終了する。
【0064】
相関分析ステップS504では、相関取得ステップS503において調和と判定された場合、素材間の調和を表現する表現用語を取得する。例えば、素材「椅子」と素材「部屋」の両者の素材物理量を対比して、両者に共通の素材物理量を抽出する。例えば、曲線のなだらかさや、光沢の少ない落ち着いた色調である点を示す素材物理量が共通した場合、それらの素材物理量を抽出する。ここで、抽出する素材物理量は1つに限られず、2以上であってもよい。
【0065】
さらに、相関分析ステップS504では、抽出した素材物理量を表現する表現用語を取得する。表現用語は、例えば、素材物理量を主成分分析、重回帰分析を用いて推定することができる。曲線のなだらかさや、光沢の少ない落ち着いた色調である点を示す素材物理量に基づいて、「モダン」「フォーマル」及び「親近感」という表現用語を取得する。ここで、取得する表現用語は、すでに素材「椅子」又は素材「部屋」の表現用語に含まれていてもよいし、新たに追加してもよい。また、取得する表現用語は、1つの素材物理量に対して1種類であってもよいし、複数の素材物理量に対して1種類であってもよい。複数の素材物理量に対して1種類の表現用語を取得することで、より正確な表現用語を取得することができる。また、表現用語の取得は、人が入力することで行う。また、表現用語の取得は、素材物理量に対する表現用語が定められた表を予め用意し、その表を参照することで行う。このように、異なるメディア情報の特徴量から表現用語(形容詞対)を自動推定する。これにより、異なるメディア情報間の形容詞の対応関係を自動的に構築することができる。
【0066】
表現用語学習ステップS505では、既存の表現用語と異なる表現用語を取得した場合、取得した表現用語を新たに追加する。表現用語を追加する素材は、同一のメディア情報種別だけであってもよいし、複数のメディア情報種別に対してであってもよい。本実施形態では、例えば、素材「椅子」の属する3次元情報のメディア情報種別のすべての素材と、素材「部屋」の属する2次元情報のメディア情報種別のすべての素材の表現用語に、「モダン」「フォーマル」及び「親近感」を追加する。本実施形態によれば、本実施形態に係る素材検索方法が利用されるごとに、表現用語を学習することができる。学習した表現用語を素材情報データベースに格納すれば、利用者は、自己の要求により近い素材を検索することができる。
【0067】
さらに、表現用語学習ステップS505では、表現用語を追加した各素材について相関分析を行うことが好ましい。この場合、相関分析した結果を、新たな表現用語として素材情報に追加する。すべての素材に対して新たな表現用語の相関分析を行うことで、より検索精度を高めることができる。
【0068】
近年インターネット環境が一般家庭にも普及し、Webにある膨大な情報の中から必要な情報を取り出すには検索システムはかかせないものとなっている。ショッピングサイトなどで家具などを探そうと考えたとき、キーワード、価格、デザイナーの名前、大まかなカテゴリ分類、家具の色などといったテキスト情報によって絞り込むことができる。従来の検索エンジンでは、テキストデータをファイル中に含むなど、テキストデータに何らかのかたちで関連付けられていないと検索ができなかった。画像データの検索サービスにおいても同様であり、画像に関連付けられているテキスト情報を元に検索を行っていた。テキスト情報を元に検索を行った場合、選択するテキスト情報が一般的すぎると膨大な量の検索結果が抽出される。このとき、これらの家具のなかから自分の好みに合った家具を探すのは容易ではない。
【0069】
また、従来は、画像に関連付けられているテキスト情報は、人間の判断によって入力されていた。人間の判断によって入力された場合、画像に関連付けられているテキスト情報は客観性に欠ける。このため、検索サイトの利用者の入力するテキスト情報と画像に関連付けられているテキスト情報とが一致し難く、検索サイトの利用者は自分の好みに合った家具を抽出するのは困難だった。一方で、検索サイト側は、画像に関連付けられているテキスト情報を入力するのに人手と時間を要するので、インデックス化が困難であり、検索サイトの利用者が容易に使いこなせる検索サイトの構築は困難だった。
【0070】
また、従来は、部屋のコーディネートをする際に、椅子などの商品(インテリア)を実空間(インテリア・ショップ)で再度確認して実空間と商品との調和を判断するか、あるいは、検索サイトで抽出された商品を頭の中で実空間に投影させて判断していた。
【0071】
しかし、本実施形態に係る素材検索方法を用いれば、コンピュータに部屋の写真画像を取得させ、インターネットを接続して部屋の画像を検索サイトに送れば、その部屋と調和のとれた家具を大規模データベースから検索し、自分の感性に合ったいろいろな商品を抽出することができる。特に、素材「部屋」などの2次元情報から感じるイメージ(表現用語)と、素材「椅子」などの3次元情報(家具データ)から感じるイメージ(表現用語)という異なるメディアの形容詞の相関を調べることで、ユーザが求める家具を検索できる。
【0072】
また、家具メーカ、個人デザイナー又は検索サイトの提供者などの画像インデックスを構築する側としては、画像検索のための入力の手間が少なくなるので、購入者に広く商品を紹介することが可能になる。また、都市デザインに関しては、建築の専門家ではない人がこのシステムによって学習し、目をこやすことで、ディベロッパーやデザイナーから提案された案に意見が言えるようになり、自分の好みを簡単に相手に伝えられるようになる。応用例として、都市の景観映像から、ストリートファーニチャーが検索される都市デザインを支援することが可能になる。
【0073】
また、従来は、部屋をどのような雰囲気にしたいかと考えたときにその雰囲気にあっている家具を選ぶが、選んだ家具がその部屋と本当に調和するのかが分からないことがあった。しかし、本実施形態に係る素材検索方法では、メディア情報種別の異なる2次元情報の素材と3次元情報の素材を合成して表示できるので、調和しているか否かを容易かつ的確に判断することができる。さらに、検索サービスが学習機能をさらに有することで、「調和」と判断されたか否かによって表現用語をさらに学習し、検索サービスの利用者の感性により近い検索サービスを提供することが可能となる。
【実施例2】
【0074】
2次元情報の素材と3次元情報の素材の表現用語同士で対応づけることが有効であるかを調べた。まず、表現用語の相関を取るためには、それぞれの素材についての素材物理量及び表現用語が必要となる。このため、2次元情報の素材と3次元情報の素材をコンピュータ内に取得した。取得した2次元情報の素材は36種類であった。また、取得した3次元情報の素材は34種類であった。
【0075】
次に、評価実験で評価する2次元情報の素材と3次元情報の素材の素材物理量及び表現用語を取得した。表現用語の取得においては、取得した素材のそれぞれについて、20代男女9人が被検者となって形容詞評価を行った。表現用語は、例えば、相対する2つの形容詞によって構成される形容詞対である。形容詞評価は、形容詞対の一方を1、他方を7とした7段階で行った。例えば、形容詞対が「上品な-下品な」であれば、形容詞評価では、「上品な」を1と評価し、「下品な」を7と評価し、「中立」を4と評価した。本実施例では、2次元情報の素材のそれぞれについて、26対の表現用語を取得した。また、3次元情報の素材のそれぞれについては、23対の表現用語を取得した。
【0076】
次に、2次元情報の素材と3次元情報の素材を組合せた組み合わせサンプルについて、20代男女9人が被検者となって、調和度評価を行った。調和度評価は、「調和」を1、「中立」を4、「不調和」を7とした7段階で行った。調和度評価を行った素材は、36種類の2次元情報の素材と34種類の3次元情報の素材との組み合わせのうち、被検者によって4以下と判断された計59種類の組み合わせサンプルについて行った。
【0077】
図14は、実施例における正準負荷量の一例である。正準負荷量の絶対値が0.4以上となった組み合わせサンプルの正準負荷量を、2次元情報の素材の表現用語及び3次元情報の素材の表現用語ごとに示している。正準負荷量の絶対値が0.4以上となる場合に相関が高いとみて分類したところ、それぞれに含まれる形容詞から「モダン、フォーマル、親近感」といった3つのグループにグループ化でき、表現用語同士に対応関係があることがわかった。これによって、形容詞評価に重み付けをすることにより個人の感性も取り入れた検索システムを提供することができる。
【産業上の利用可能性】
【0078】
本発明に係る素材検索方法は、インターネット上の検索エンジン、マルチメディア対応のデータベース及びカラオケ機器等の娯楽機器として利用することができる。
【図面の簡単な説明】
【0079】
【図1】第1実施形態に係る素材検索方法を実行する素材検索システムの一例を示す図である。
【図2】第1実施形態に係る素材検索方法の第1のフローチャートである。
【図3】素材の一例を示す画像であり、(a)が2次元情報の一例であり、(b)及び(c)が3次元情報の一例である。
【図4】コントラスト分析で2次元情報の素材物理量を抽出する一例であり、(a)は2次元情報を示す図であり、(b)は2次元情報が分割されたセクションの拡大図である。
【図5】第1実施形態に係る素材検索方法の第2のフローチャートを示す。
【図6】単語対の一例を示す図である。
【図7】第2実施形態に係る素材検索方法を実行する素材検索システムの一例を示す図である。
【図8】第2実施形態に係る素材検索方法のフローチャートである。
【図9】正準相関分析による表現用語の選択結果を示す図である。
【図10】本実施形態に係る素材検索方法の一例を示す流れ図である。
【図11】素材「部屋」の2次元画像の一例である。
【図12】素材「椅子」の3次元画像の一例である。
【図13】複数の素材を合成した画像の一例である。
【図14】実施例における正準負荷量の一例である。
【符号の説明】
【0080】
100,101 素材検索システム
110 演算装置
120 素材情報データベース
130 素材取得手段
140 出力手段
150 学習支援手段
160 調和情報データベース
210 2次元情報
212 セクション
S110 素材取得ステップ
S120 素材物理量抽出ステップ
S130 表現用語獲得ステップ
S140,S141 検索ステップ
S150 学習ステップ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図14】
10
【図11】
11
【図12】
12
【図13】
13