TOP > 国内特許検索 > クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム > 明細書

明細書 :クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-021613 (P2017-021613A)
公開日 平成29年1月26日(2017.1.26)
発明の名称または考案の名称 クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム
国際特許分類 G06F  17/30        (2006.01)
G06Q  50/10        (2012.01)
FI G06F 17/30 210D
G06F 17/30 220Z
G06F 17/30 340B
G06Q 50/10 180
請求項の数または発明の数 6
出願形態 OL
全頁数 14
出願番号 特願2015-139322 (P2015-139322)
出願日 平成27年7月13日(2015.7.13)
発明者または考案者 【氏名】蔡 東生
【氏名】浅井 信▲吉▼
出願人 【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
【識別番号】506301140
【氏名又は名称】公立大学法人会津大学
個別代理人の代理人 【識別番号】100174780、【弁理士】、【氏名又は名称】小野 敦史
審査請求 未請求
テーマコード 5L049
Fターム 5L049CC20
要約 【課題】利用者の感覚を定量的に分析し、利用者の感覚に応じた情報を特定するとともに提示する技術を提供する。
【解決手段】クロスモーダルデータ記憶部11に、第1種別の感覚に関する第1感覚値と、第1感覚値との間で共感覚を生じる第2種別の感覚に関する複数の第2感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶しておく。行動情報取得部12は、第2種別の感覚に関する感覚値を示す情報を含む、利用者の行動情報を取得する。行動解析部13は、前記行動情報から複数の前記第2感覚情報の分布状態を示す利用者感覚値分布情報を求める。クロスモーダルデータ特定部14は、感覚値分布情報と利用者感覚値分布情報とを比較することにより、行動情報に適合するクロスモーダルデータを利用者クロスモーダルデータとして特定する。
【選択図】図2
特許請求の範囲 【請求項1】
第1種別の感覚に関する第1感覚値と、当該第1感覚値との間で共感覚を生じる第2種別の感覚に関する複数の第2感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部と、
前記第2感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得部と、
前記行動情報から複数の前記第2感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析部と、
前記感覚値分布情報と前記利用者感覚値分布情報とを比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定部と、を備えたクロスモーダル感覚分析システム。
【請求項2】
請求項1記載のクロスモーダル感覚分析システムと、
複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第2感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部と、
前記利用者クロスモーダルデータの前記感覚値分布情報と前記提示情報カテゴリ感覚値分布情報とを比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部と、を備えた提示情報決定システム。
【請求項3】
前記第2種別の感覚は色に関する感覚であり、
前記提示候補情報は画像データを含み、
請求項2記載の提示情報決定システムと、
前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理部と、
表示装置と、
画像処理が施された前記画像データを含む前記提示候補情報を前記表示装置に表示させる表示制御部と、を備えた情報提示システム。
【請求項4】
第1種別の感覚に関する第1感覚値と、当該第1感覚値との間で共感覚を生じる第2種別の感覚に関する複数の第2感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部から情報を取得するクロスモーダルデータ取得機能と、
前記第2感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得機能と、
前記行動情報から複数の前記第2種感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析機能と、
前記感覚値分布情報と、前記利用者感覚値分布情報と、を比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定機能と、をコンピュータに実現させるクロスモーダル感覚分析プログラム。
【請求項5】
複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第2感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部から情報を取得する提示情報取得機能と、
請求項4記載のクロスモーダル感覚分析プログラムによって特定された前記利用者クロスモーダルデータの前記感覚値分布情報と、前記提示情報カテゴリ感覚値分布情報と、を比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部機能と、をコンピュータに実現させる提示情報決定プログラム。
【請求項6】
請求項5記載の提示情報決定プログラムによって決定された前記提示情報カテゴリデータに基づいて利用者に情報を提示する情報提示プログラムであって、
前記第2種別の感覚は色に関する感覚であり、
前記提示候補情報は画像データを含み、
前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理機能と、
画像処理が施された前記画像データを含む前記提示候補情報を表示装置に表示させる表示制御機能と、をコンピュータに実現させる情報提示プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、利用者の感覚をクロスモーダルに分析する技術および利用者の感覚に応じた情報を特定し、提示する技術に関する。
【背景技術】
【0002】
従来、インターネットを介したニュース等の情報の閲覧やショッピングの場面において、情報の提供者が利用者の興味を推定して、情報を提示することが行われている。例えば、協調性フィルタリング技術では、閲覧履歴が利用者の嗜好を反映していると考え、利用者の閲覧履歴と類似する閲覧履歴を有する他の利用者の嗜好に基づいて、提示する情報を決定している。
【0003】
また、利用者に提示する情報を選択する際に、利用者の感性等を用いる提案も行われている。例えば、特許文献1の技術では、利用者に対して質問を行い、それに対する回答に基づいて利用者の感性グループを判定し、その感性グループに応じた情報を提供している。
【先行技術文献】
【0004】

【特許文献1】特開2005-285077号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の協調性フィルタリングでは、提供する情報やその情報に付随する文字情報に基づいて提供する情報の選択を行なっているため、文字情報に現れていない嗜好には対応できない。
【0006】
一方、特許文献1の技術では、利用者の感性に基づいて提供する情報の選択を行なっているため、上述の問題を解決できる可能性がある。しかしながら、利用者は質問に対して文字情報で回答を行う必要があるため、回答内容によっては十分に利用者の感性を把握できないおそれがある。
【0007】
本発明は上記課題に鑑みてなされたものであり、その目的は、利用者の感覚を定量的に分析し、利用者の感覚に応じた情報を特定するとともに提示する技術を提供することにある。
【課題を解決するための手段】
【0008】
本発明のクロスモーダル感覚分析システムの好適な実施形態の一つでは、第1種別の感覚に関する第1感覚値と、当該第1感覚値との間で共感覚を生じる第2種別の感覚に関する複数の第2感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部と、前記第2感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得部と、前記行動情報から複数の前記第2感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析部と、前記感覚値分布情報と前記利用者感覚値分布情報とを比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定部と、を備えている。
【0009】
この構成では、利用者の行動に基づいて、利用者の第2種別の感覚に関する感覚値(第2感覚値)の分布状態が利用者感覚値分布情報として求められ、この利用者感覚値分布情報とクロスモーダルデータの感覚値分布情報とを比較することにより、利用者の行動情報に適合したクロスモーダルデータ、すなわち、感覚を特定(分析)することができる。
【0010】
本発明の提示情報決定システムの好適な実施形態の一つでは、上述のクロスモーダル感覚分析システムと、複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第2感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部と、前記利用者クロスモーダルデータの前記感覚値分布情報と前記提示情報カテゴリ感覚値分布情報とを比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部と、を備えている。
【0011】
この構成では、利用者への提示に利用される情報も複数のカテゴリに分類され、一のカテゴリに分類されている複数の提示候補情報から取得される第2感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報が求められている。利用者に提示すべき情報を決定する際には、この提示情報カテゴリ感覚値分布情報と、利用者感覚値分布情報との比較が行われる。
【0012】
本発明では、複数の第2感覚値から分布状態を求めている。そのため、第2感覚値は数値化可能である必要がある。そのような感覚値としては「色」がある。すなわち、第2種別の感覚は色に関する感覚である。このような場合には、提示候補情報には画像データを含めることが好ましい。また、このような場合の本発明の情報提示システムの好適な実施形態の一つでは、上述の提示情報決定システムと、前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理部と、表示装置と、画像処理が施された前記画像データを含む前記提示候補情報を前記表示装置に表示させる表示制御部と、を備えている。
【0013】
この構成では、利用者に提示される画像データに対して、利用者クロスモーダルデータに応じた画像処理が施されるため、利用者の嗜好に近付けた情報を提示することができる。
【0014】
本発明のクロスモーダル感覚分析プログラムの好適な実施形態の一つでは、第1種別の感覚に関する第1感覚値と、当該第1感覚値との間で共感覚を生じる第2種別の感覚に関する複数の第2感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部から情報を取得するクロスモーダルデータ取得機能と、前記第2感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得機能と、前記行動情報から複数の第2感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析機能と、前記感覚値分布情報と、前記利用者感覚値分布情報と、を比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定機能と、をコンピュータに実現させる。このクロスモーダル感覚分析プログラムは上述のクロスモーダル感覚分析システムと同様の作用効果を奏する。
【0015】
本発明の提示情報決定プログラムの好適な実施形態の一つでは、複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第2感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部から情報を取得する提示情報取得機能と、上述のクロスモーダル感覚分析プログラムによって特定された前記利用者クロスモーダルデータの前記感覚値分布情報と、前記提示情報カテゴリ感覚値分布情報と、を比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部機能と、をコンピュータに実現させる。この提示情報決定プログラムも上述の提示情報決定システムと同様の作用効果を奏する。
【0016】
本発明の、上述の提示情報決定プログラムによって決定された前記提示情報カテゴリデータに基づいて利用者に情報を提示する情報提示プログラムの好適な実施形態の一つでは、前記第2種別の感覚は色に関する感覚であり、前記提示候補情報は画像データを含み、前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理機能と、画像処理が施された前記画像データを含む前記提示候補情報を表示装置に表示させる表示制御機能と、をコンピュータに実現させる。この情報提示プログラムも上述の情報提示システムと同様の作用効果を奏する。
【図面の簡単な説明】
【0017】
【図1】情報提示システムのシステム構成図である。
【図2】情報提示システムの機能ブロック図である。
【図3】クロスモーダルデータの例を示す図である。
【図4】提示情報カテゴリデータの例を示す図である。
【図5】マンセルチップの例を示す図である。
【図6】色分布の例を示す図である。
【図7】情報提示処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0018】
以下に図面を用いて、本発明に係る情報提示システムの実施形態を説明する。図1は、本実施形態における情報提示システムのシステム構成図である。本実施形態では、サーバSとユーザ端末TとがネットワークNを介して接続されている。なお、図では3台のユーザ端末Tが示されているが、ユーザ端末Tの台数は適宜変更可能である。

【0019】
サーバSは、汎用コンピュータにより構成することができ、本発明のクロスモーダル感覚分析システムおよび提示情報決定システムとして機能する。一方、ユーザ端末Tは利用者が操作するものであり、ユーザ端末T1のように汎用コンピュータで構成することもできるし、ユーザ端末T2のように、いわゆるスマートフォンやタブレット型コンピュータにより構成することができる。当然ながら、ユーザ端末Tはこれらに限定されるものではなく、他の機器によって構成することもできる。また、ネットワークNは、例えば、インターネット回線,LAN(Local Area Network),携帯電話網により構成することができる。

【0020】
図2は、本実施形態における情報提示システムの機能ブロック図である。図に示すように、サーバSは、クロスモーダルデータ記憶部11,行動情報取得部12,行動解析部13,クロスモーダルデータ特定部14,提示情報記憶部15,提示情報決定部16,画像処理部17,利用者感覚値分布情報記憶部18を備えている。本実施形態では、上述したように、サーバSは汎用コンピュータで構成されているため、行動情報取得部12,行動解析部13,クロスモーダルデータ特定部14,提示情報決定部16,画像処理部17は、これらの機能部を実現するためのプログラムがサーバSに読み込まれ、CPU(Central Processig Unit)と協働することによって構成される。

【0021】
クロスモーダルデータ記憶部11は、ハードディスクドライブ等の不揮発性記憶媒体で構成されており、複数のクロスモーダルデータを記憶している。図3はクロスモーダルデータ記憶部11に記憶されている複数のクロスモーダルデータの例である。

【0022】
本発明におけるクロスモーダルデータは、各々のカテゴリに対して複数の種別の感覚に関する感覚値が関連付けられたデータである。図3の例では、各々のファッションスタイルカテゴリに対して、感覚種別:音楽情報に関する感覚,質感,感情,色のそれぞれに対する感覚値が関連付けられている。本実施形態では、音楽情報に関する感覚として調性を用いているが、これに限定されるものではない。例えば、ファッションスタイルカテゴリIに対しては、「ハ長調」,「ざらっとした白(コンクリートの打ちっ放しみたいな)」,「おおらか,純粋」,「色分布1」が割り当てられており、これらの感覚値の集合がクロスモーダルデータである。すなわち、図3の例は、7つのクロスモーダルデータを表している。

【0023】
なお、感覚値とは、ある刺激によって生じる具体的な感覚の内容を示すものである。本実施形態では、「調性,質感,感情」が本発明における第1種別の感覚であり、「色」が本発明における第2種別の感覚である。詳細は後述するが、「色」に関する感覚値は単一の値ではなく、複数の値の分布情報として表現されており、感覚値分布情報と称する。そのため、本発明の第2種別の感覚に関する感覚値は数値的に表現可能である必要がある。

【0024】
行動情報取得部12は、利用者がユーザ端末Tを操作した内容を示す行動情報を取得する。

【0025】
行動解析部13は、行動情報取得部12が取得した行動情報の内容を解析する。具体的には、各々の行動情報から色の情報を抽出し、色の分布を利用者感覚値分布情報として求める。

【0026】
クロスモーダルデータ特定部14は、各クロスモーダルデータの感覚値分布情報と利用者感覚値分布情報とを比較し、利用者に適合するクロスモーダルデータを特定する。詳細な特定方法は後述する。

【0027】
提示情報記憶部15は、ハードディスクドライブ等の不揮発性記憶媒体で構成されており、利用者に提示するための複数の情報(提示候補情報)を記憶している。複数の提示候補情報は、複数のカテゴリに分類されており、また、各々のカテゴリに分類された提示候補情報の各々から取得された色の分布情報(以下、提示情報カテゴリ感覚値分布情報と称する)が求められている。このカテゴリ毎の提示候補情報の集合と提示情報カテゴリ感覚値分布情報との対を提示情報カテゴリデータと称する。図4は提示情報カテゴリデータの例であり、この例では4組の提示情報カテゴリデータが表されている。図中の矩形が各々の提示候補情報を示しており、各々の提示情報カテゴリデータが、提示候補情報の集合と提示情報カテゴリ感覚値分布情報とによって構成されていることが示されている。

【0028】
提示情報決定部16は、クロスモーダルデータ特定部14によって特定された利用者クロスモーダルデータの感覚値分布情報と、各々の提示情報カテゴリデータの提示情報カテゴリ感覚値分布情報とを比較し、利用者クロスモーダルデータに適合する提示情報カテゴリデータを特定する。

【0029】
本実施形態では、提示候補情報には画像データが含まれており、画像処理部17は、提示情報カテゴリデータの提示候補情報に含まれる画像データに対して、画像処理を施す。

【0030】
利用者感覚値分布情報記憶部18は、利用者の行動から取得される第2種別の感覚、すなわち、「色」に関する感覚値の分布状態を示す、利用者感覚値分布情報を利用者毎に記憶している。利用者感覚値分布情報記憶部18は、ハードディスクドライブ等の不揮発性記憶媒体で構成することができる。

【0031】
一方、ユーザ端末Tは、表示装置21,入力装置22,GUI部23,操作情報取得部24を備えている。本実施形態では、上述したように、ユーザ端末Tは、汎用コンピュータ,スマートフォンやタブレット型コンピュータで構成されているため、操作情報取得部24は、この機能を実現するためのプログラムがユーザ端末Tに読み込まれ、CPUと協働することによって構成される。

【0032】
表示装置21は、ディスプレイ装置である。特に、ユーザ端末Tがスマートフォンやタブレット型コンピュータの場合には、液晶ディスプレイである。一方、入力装置は、キーボードやマウスであり、特にユーザ端末Tがスマートフォンやタブレット型コンピュータの場合には、表示装置21上に形成されたタッチパネルである。

【0033】
GUI部23は、利用者に提示するための情報や、利用者からの情報を取得するためのGUI(Graphical User Interface)等を表示装置21上に表示し、入力装置21からの入力信号を取得する。

【0034】
〔クロスモーダルデータ〕
上述したように、本実施形態では、クロスモーダルデータは、「調性,色,質感,感情」に関する値(感覚値)の組として表現されており、「色」に関する感覚値は複数の色の分布状態として表現されている。以下に、クロスモーダルデータの作成方法の例を説明する。

【0035】
クロスモーダルデータは、共感覚者の意識データに基づいて生成されている。共感覚者とは、ある種別の感覚に対する刺激を受けた際に、異なる種別の感覚を感得できる人である。例えば、音を聴いた際に色を感じたり、文字を見た際に色を感じたり、という例が知られている。このような共感覚者に対して、「色」を提示して、どのような「調性」,「質感」,「感情」を感じるか、もしくは、「調性」,「質感」,「感情」を提示して、どのような「色」を感じるかを調査する。このとき、一の「調性」,「質感」,「感情」と関連する「色」は一意となるのではなく、複数得られる。そのため、本発明においては、「色」に関する感覚値は、分布状態を表す分布情報として表現している。本実施形態では、この「色」の分布情報が本発明における感覚値分布情報となる。

【0036】
本実施形態では、図5に示すマンセルチップとよばれる色見本を用いて、色空間を2次元に離散的に表現している。図に示すように、マンセルチップMには互いに異なる色を有する複数の色チップcが形成されている。共感覚者に対して、このマンセルチップM上の各色チップcを提示した際に感じた「色」以外の種別の感覚に関する感覚値を取得、または、「色」以外の種別の感覚に関する感覚値を与えた際に感じた色に最も近似する色チップcを取得する。このようにして、多数のデータを収集すると、各々のクロスモーダルデータの「調性」,「質感」,「感情」に関する感覚値に対して、複数の色が関連付けられる。

【0037】
次に、クロスモーダルデータ毎に、関連付けられている「色」の分布情報(感覚値分布情報)を求める。本実施形態では、感覚値分布情報は、マンセルチップMの色チップcの配列と同じ形状をもつ2次元配列で表現している。すなわち、マンセルチップの配列がn×mであれば、感覚値分布情報はn×mの2次元ヒストグラムとして表現される。以下の説明では、感覚値分布情報である2次元ヒストグラムをH[][]と表記する。

【0038】
具体的には、クロスモーダルデータ毎に、そのクロスモーダルデータに含まれている(関連付けられている)各々の色と近似する色チップの座標を求め、その座標に対応するヒストグラムの度数をインクリメントする。例えば、色cがマンセルチップの(x,y)の位置に配置されている色チップに近似する場合、H[x][y]=H[x][y]+1とする。

【0039】
このような処理を行うと、図6に示すような2次元ヒストグラム(感覚値分布情報)が得られる。なお、後述の処理では正規化された感覚値分布情報を使用する。

【0040】
〔提示候補情報〕
提示候補情報は、後述する処理によって利用者に対して提示される可能性のある情報である。本実施形態では、衣服,小物,アクセサリー等の情報、特に、コーディネート情報(以下、衣服情報と総称する)を用いる。衣服情報には、少なくとも衣服(単品またはコーディネートされた複数の衣服)の画像データ含まれている。

【0041】
この衣服情報は、ファッションコーディネータ等によって、複数のカテゴリに分類されている。なお、本実施形態では、このカテゴリはクロスモーダルデータのファッションスタイルカテゴリに対応させているが、他のカテゴリを用いても構わない。

【0042】
このようにして、分類された提示候補情報から、各々のカテゴリの提示情報カテゴリ感覚値分布情報を求める。この提示情報カテゴリ感覚値分布情報も上述の感覚値分布情報と同様の大きさの2次元ヒストグラムとして表現される。具体的には、カテゴリ毎に、そのカテゴリに属する各々の提示候補情報から画像データを抽出し、その画像データの代表色に近似するマンセルチップ上の色チップを検索し、その色チップの座標に対応するヒストグラムの階級の度数をインクリメントする。なお、画像データの代表色は、画像処理によって画像データ中から衣服部分のピクセル値を取得して算出してもよいし、画像データ中または画像データに付随するテキストに含められた色情報を用いることができる。また、代表色としては、平均値や最頻値等を用いることができる。さらに、複数の代表色を用いても構わない。その場合には、各々の代表色に対する重みを求め、その重みに応じてヒストグラムに加算することが好ましい。衣服が複数色から構成されている場合や、衣服情報がコーディネート情報の場合には、このような複数の代表色を用いることが好ましい。このようにして求められた2次元ヒストグラムが提示情報カテゴリ感覚値分布情報となる。

【0043】
〔感覚分析処理の流れ〕
次に、図7のフローチャートを用いて、本実施形態における感覚分析処理の流れを説明する。なお、これらの処理に先立って、上述した処理により複数のクロスモーダルデータが生成され、クロスモーダルデータ記憶部11に記憶されている。

【0044】
この処理は、利用者が情報提示システムにログインすることにより開始される(#01)。利用者が、ユーザ端末Tを操作し、情報提示システム用のプログラムを起動すると、表示装置21にユーザIDとパスワードを入力するためのGUIが表示され、利用者は自身のユーザIDとパスワードを入力する。これらの情報はサーバSに送信され、サーバSにおいて登録されているユーザIDおよびパスワードと照合され、その認証結果はユーザ端末Tに送信される。ユーザ端末Tは認証が成功すると、以下の処理を実行する。なお、情報提示システムへのログインは、上述のような明示的に行うだけでなく、情報提示システム用のプログラムが起動された際に、自動的にユーザID等をサーバSに送信することで行うこともできる。この場合には、ユーザIDとしてユーザ端末TへのログインIDを用いることもでき、特に、ユーザ端末Tがスマートフォンの場合には、端末識別番号や電話番号等の端末を一意に特定可能な情報を用いることができる。

【0045】
利用者がユーザ端末Tを操作すると、その操作の内容を示す操作情報が操作情報取得部24によって取得される(#02)。操作情報を取得する対象となる操作の種類やその内容は特に限定はされないが、本実施形態では、ウェブブラウザを用いたウェブページの閲覧に関する操作情報を取得する。特に、本実施形態では、第2種別の感覚として「色」を使用し、提示情報として衣服の情報を想定しているため、ここでのウェブページはファッション系情報が提供されているページが好ましく、以下の説明ではウェブページは衣服の画像が掲載されたページとする。このとき、操作情報としては、例えば{ユーザID,閲覧開示日時,閲覧時間,ウェブページのURL}を用いる。ここで、ユーザIDはログイン時に用いたものを用いる。取得された操作情報は、操作情報取得部24からネットワークNを介して行動情報取得部12に送信される。なお、操作情報を取得した時点で操作情報をサーバSに送信してもよいし、複数の操作情報を一時的に記憶しておき、所定のタイミングでまとめてサーバSに送信しても構わない。

【0046】
操作情報を取得した行動情報取得部12は、操作情報を解析し、ユーザIDおよび「色」に関する特徴量(以下、色特徴量と称する)を取得する(#03)。具体的には、行動情報取得部12は、操作情報に含まれているURLを用いてウェブページにアクセスし、そのページに含まれている衣服の画像データを取得する。そして、その衣服の画像データから色特徴量を抽出する。色特徴量としては、画像データに含まれている衣服部分を構成する画素色から取得することができる。当然ながら、色特徴量の取得方法はこれに限定されるものではなく、ページや画像データ中に衣服の色特徴量を埋め込んでおき、ページや画像データから直接的に取得する等、他の方法を用いることができる。

【0047】
本実施形態では、色特徴量として、上述したように、画像データに含まれている衣服部分の色、より具体的には、衣服部分を構成する複数の画素の代表色を色特徴量として使用する。代表色としては、最頻色や平均色を用いることができる。また、上述の提示情報カテゴリ感覚値分布情報と同様に複数の代表色を使用しても構わない。なお、以下の説明では色特徴量はRGB表色系で表現されているものとする。

【0048】
行動情報取得部12によって色特徴量が取得されると、行動解析部13がその色特徴量を用いて取得されたユーザIDに対応する利用者の利用者感覚値分布情報を更新する(#04)。具体的には、行動解析部13は以下の処理を行う。なお、マンセルチップ上の各々の色チップの色(以下、チップ色と略称する)はHSV表色系で表現されているものとする。

【0049】
先ず、行動解析部13は、取得したユーザIDに対応する利用者の利用者感覚値分布情報を利用者感覚値分布情報記憶部18から取得するとともに、取得したRGB表色系の色特徴量をHSV表色系での色に変換する。なお、RGB表色系からHSV表色系への変換方法は公知の方法を用いることができるため、詳細な説明は省略する。次に、行動解析部13は、HSV表色系に変換された色特徴量と、各々のチップ色との距離を算出する。HSV表色系は均等色表色系であるため、この距離としては、例えばユークリッド距離を用いることができる。そして、行動解析部13は、色特徴量と最も距離が近いチップ色を特定し、そのチップ色を持つ色チップの座標を求める。そして、その座標に対応する利用者感覚値分布情報の階級の度数をインクリメントし、更新した利用者感覚値分布情報を利用者感覚値分布情報記憶部18に記憶させる。

【0050】
上述の#02~#04の処理が所定のタイミングに到達するまで繰り返される(#05)。なお、所定のタイミングとは、一定期間が経過した時点,利用者が所定の操作を行なった時点,利用者が所定のウェブページにアクセスした時点等、様々なものを用いることができる。

【0051】
所定のタイミングに到達すると(#05のYes分岐)、クロスモーダルデータ特定部14は、利用者感覚値分布情報記憶部18から、利用者に対応する利用者感覚分布情報を取得するとともに、クロスモーダルデータ記憶部11に記憶されている複数のクロスモーダルデータから、利用者感覚値分布情報に最も近い感覚値分布情報を持つクロスモーダルデータを利用者クロスモーダルデータとして特定する(#06)。本実施形態では、クロスモーダルデータ特定部14は、各々のクロスモーダルデータの感覚値分布情報と、利用者感覚値分布情報との距離を算出し、最も距離が近いクロスモーダルデータを利用者クロスモーダルデータとする。分布情報どうしの距離は様々な方法で規定することができるが、本実施形態では、Earth Mover距離を用いる。

【0052】
Earth Mover距離は、m個の特徴量からなる分布P={p}とn個の特徴量からなる分布Q={q}との間の距離を規定するものである。各々の特徴量p,qには重みwpi,wqjが与えられており、特徴量pとqとの間の距離dijが規定されている。また、分布Pから分布Qに遷移するために、特徴量pから特徴量qへの最適な特徴量の輸送コストをfijとする。このとき、分布Pと分布Qとの間のEarth Mover距離EMD(P,Q)は以下の式で求めることができる。
【数1】
JP2017021613A_000003t.gif

【0053】
このEarth Mover距離を用いて感覚値分布情報と利用者感覚値分布情報との間の距離を求める場合には、正規化された感覚値分布情報および正規化された利用者感覚値分布情報がそれぞれ分布P,Qに相当する。また、感覚値分布情報および利用者感覚値分布情報の特徴量は正規化されたヒストグラムの度数(スカラー量)であるため、dij=|p-q|であり、また、wpi=p,wqj=qである。

【0054】
このように定義されたEarth Mover距離を用いて、各々のクロスモーダルデータの感覚値分布情報と利用者感覚値分布情報との距離を算出し、利用者感覚値分布情報との距離が最短となる感覚値分布情報を持つクロスモーダルデータを利用者クロスモーダルデータとして特定する。

【0055】
このようにして利用者クロスモーダルデータを特定することにより、利用者、特に利用者の行動(操作)に適合した感覚値を求めることができる。

【0056】
〔情報提示処理の流れ〕
次に、上述の処理によって求められた利用者クロスモーダルデータに基づいて、利用者に対して情報を提示する処理の流れを説明する。なお、提示情報記憶部15には、上述の処理によって提示候補情報が記憶されている。また、上述の処理によって、ファッションスタイルカテゴリ「VI」のクロスモーダルデータが、利用者クロスモーダルデータとして求められたものとする。

【0057】
上述の感覚分析処理によって利用者クロスモーダルデータが特定されると、その情報が提示情報決定部16に伝えられる。すると、提示情報決定部16は、利用者クロスモーダルデータに基づいて、利用者に提示するために使用する提示情報カテゴリデータを特定する(#07)。具体的には、提示情報カテゴリデータのカテゴリ毎に、利用者クロスモーダルデータの利用者感覚値分布情報と、提示情報カテゴリデータの提示情報カテゴリ感覚値分布情報との距離を求め、最も距離の近い提示情報カテゴリ感覚値分布情報を持つ提示情報カテゴリデータを特定する。この例では、4組(「i」から「iv」)の提示カテゴリデータから、ファッションスタイルカテゴリ「VI」のクロスモーダルデータの感覚値分布情報と、最も近い距離となる提示情報カテゴリ感覚値分布情報を持つ提示カテゴリデータ特定する。この距離の算出は、正規化された提示情報カテゴリ感覚値分布情報と正規化された利用者感覚値分布情報とに対してEarth Mover距離を用いて算出する。以下では、この処理によって、「ii」の提示情報カテゴリデータが特定されたとして説明を行う。

【0058】
この提示情報決定部16の処理によって、提示情報カテゴリデータが特定され、利用者に提示すべき情報の絞り込みを行うことができる。この特定された提示情報カテゴリデータに含まれている提示候補情報が利用者への情報提示に使用される。この例では、「ii」の提示情報カテゴリデータに含まれている6つの提示候補情報が利用者への情報提示に用いられる。なお、提示情報カテゴリデータには複数の提示候補情報が含まれているため、これらの提示候補情報に対して提示順位を付与しても構わない。例えば、利用者感覚値分布情報の頻度の高い階級に対応するチップ色との色空間での距離に基づいて提示順位を付与することができる。なお、提示情報カテゴリデータに含まれる全ての提示候補情報を提示せずに、所定数の提示候補情報のみを提示情報としても構わない。

【0059】
提示情報決定部16によって、提示情報が決定されると、画像処理部17は各々の提示情報に含まれる画像データに対して画像処理を施す(#08)。画像処理の方法としては、例えば、利用者感覚値分布情報に応じて、画像データに対してカラーグレーディングを施す。これにより、提示される画像データは、より利用者の色に関する嗜好に近づけることができる。このように画像処理が施された画像データは、画像データに付随する情報とともに、ユーザ端末Tに送信される。

【0060】
画像データ等を受信したユーザ端末Tでは、GUI部23によって、画像データ等が表示装置21に表示され、利用者に提示される(#09)。

【0061】
このように、本発明によれば、利用者の行動に基づいて、その行動から得られる感覚値と共感覚性を有する他の種別の感覚の感覚値を分析したり、提示すべき情報を特定したりすることができる。

【0062】
〔別実施形態〕
(1)サーバSの各機能部の配置は、上述の実施形態に限定されるものではなく、適宜変更可能である。例えば、一部または全ての機能部をユーザ端末Tに配置することができる。また、複数のサーバSを設置し、機能部を分散配置することも可能である。

【0063】
(2)上述の実施形態では、第2の種別の感覚を「色」としたが、これに限定されるものではなく、感覚値が数値化可能な感覚であれば第2の種別の感覚として用いることができる。

【0064】
(3)上述の実施形態では、提示情報として衣服情報を用いたが、これに限定されるものではなく、第2の種別の感覚に関する感覚値が取得できるものであれば他の情報を提示情報として用いることができる。この際、使用する提示情報の内容に応じて、上述の実施形態におけるファッションスタイルカテゴリを適宜変更すればよい。

【0065】
(4)上述の実施形態では、利用者の行動情報は操作情報に基づいて取得したが、これに限定されるものではない。例えば、利用者からのアンケート結果に基づいて取得することもできる。もちろん、他の方法を用いても構わない。

【0066】
(5)上述の実施形態では、プログラムがサーバSやユーザ端末Tに読み込まれることにより各機能部が構成されたが、各機能部をハードウェアで構成しても構わない。
【産業上の利用可能性】
【0067】
本発明は、利用者の感覚(クロスモーダルデータ)の解析や、解析された感覚に基づいた情報提示等に利用することができる。感覚に基いた情報提示は、さらに、インターネットショッピング等にも利用することができる。
【符号の説明】
【0068】
11:クロスモーダルデータ記憶部
12:行動情報取得部
13:行動解析部
14:クロスモーダルデータ特定部
15:提示情報記憶部
16:提示情報決定部
17:画像処理部
21:表示装置
23:GUI部(表示制御部)

図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6