Top > Search of Japanese Patents > VIEWER ATTENTION INFORMATION PROVISION SYSTEM, SPACE-TIME MARKER SETTING DEVICE AND PROGRAM FOR THE SAME, AND INFORMATION PROVISION DEVICE AND PROGRAM FOR THE SAME

VIEWER ATTENTION INFORMATION PROVISION SYSTEM, SPACE-TIME MARKER SETTING DEVICE AND PROGRAM FOR THE SAME, AND INFORMATION PROVISION DEVICE AND PROGRAM FOR THE SAME meetings

Patent code P180015055
File No. 17-11
Posted date May 29, 2018
Application number P2014-170850
Publication number P2016-046730A
Patent number P6395296
Date of filing Aug 25, 2014
Date of publication of application Apr 4, 2016
Date of registration Sep 7, 2018
Inventor
  • (In Japanese)長谷部 信行
  • (In Japanese)清水 創太
  • (In Japanese)石黒 聡
  • (In Japanese)橋詰 匠
  • (In Japanese)芝山 有三
Applicant
  • (In Japanese)学校法人芝浦工業大学
Title VIEWER ATTENTION INFORMATION PROVISION SYSTEM, SPACE-TIME MARKER SETTING DEVICE AND PROGRAM FOR THE SAME, AND INFORMATION PROVISION DEVICE AND PROGRAM FOR THE SAME meetings
Abstract PROBLEM TO BE SOLVED: To provide a viewer with useful information related to part which is in a predetermined image distributed to the viewer and to which the viewer pays attention.
SOLUTION: A viewer attention information provision system 10 detects part to which a viewer viewing temporally changing image pays attention, to provide the viewer with information corresponding to the attention part. The system 10 comprises: a space-time marker setting device 25 that identifies an existence range of a space-time volume V obtained by arranging, in time series, ranges of the same object existing in the image and sets a space-time marker obtained by adding accompanying information on the object to the space-time volume V; and an information provision device 27 that identifies, on the basis of a result of the detection of the attention part, a space-time marker of the object to which the viewer pays attention and provides the viewer with accompanying information in the space-time marker.
Outline of related art and contending technology (In Japanese)

本出願人は、視聴者に所定の画像が配信された際に、当該画像のどの部分を視聴者が意識的に見ているかの注目度を検出するための注目度検出システムについて、既に特許出願している(特許文献1参照)。この注目度検出システムには、複数の視聴者が見た画像において、どの時刻に、どの画像内の部分を注目したかに関する統計データをクライアント側に提供する構成を含んでいる。

Field of industrial application (In Japanese)

本発明は、経時的に変化する画像を見ている視聴者の注目部分に関する各種情報を視聴者その他の第三者に提供するための視聴者注目情報提供システム、時空間マーカ設定装置及びそのプログラム、並びに、情報提供装置及びそのプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
経時的に変化する画像を見ている視聴者の注目部分を検出することにより、当該注目部分に対応した情報を前記視聴者に提供するシステムにおいて、
前記画像内に存在する同一対象物の範囲を時系列に並べてなる時空間ボリュームの存在範囲を特定し、当該時空間ボリュームに前記対象物の付随情報を付加してなる時空間マーカを設定する時空間マーカ設定装置と、前記注目部分の検出結果に基づき、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を前記視聴者に提供する情報提供装置とを備え
前記情報提供装置は、前記付随情報を抽出する付随情報抽出手段を備え、
前記付随情報抽出手段は、前記注目部分の指標となる視聴者の視線情報を視聴者毎に集計して所定の統計処理を行う個別集計処理部と、当該個別集計処理部での集計結果から、対象となる視聴者が注目している時空間マーカを特定し、当該視聴者に提供される前記付随情報を当該時空間マーカから抽出する注目マーカ特定部とを備え、
前記注目マーカ特定部では、前記各視聴者それぞれについて、前記個別集計処理部で求めた画像内の各部位における注目度の時系列データから、前記対象物の前記時空間ボリューム毎に当該注目度が集計され、当該時空間ボリュームの中から、予め設定された所定の閾値以上の注目度を有する前記時空間ボリュームが特定され、当該時空間ボリュームにおける前記時空間マーカの前記付随情報が、前記視聴者にとって興味や関心のある自己注目の前記付随情報として抽出されることを特徴とする視聴者注目情報提供システム。

【請求項2】
 
前記時空間マーカ設定装置は、前記画像内に存在する複数の対象物それぞれの前記時空間ボリュームの存在範囲を特定する範囲特定手段と、前記各対象物に対応する前記時空間ボリュームに、該当する付随情報を付加することで、前記対象物毎に前記時空間マーカを生成する時空間マーカ生成手段とを備えたことを特徴とする請求項1記載の視聴者注目情報提供システム。

【請求項3】
 
前記情報提供装置は、システム内の各視聴者について前記注目部分の指標となる視聴者の視線情報を統合、集計して統計処理を行い、前記時空間マーカを利用して、当該集計した全視聴者における前記時空間マーカの付随情報の注目度に関するデータを得る付随情報統計管理手段と、当該付随情報統計管理手段で得られたデータを所定の事業者に送信する統計情報提供手段とを含むことを特徴とする請求項1又は2記載の視聴者注目情報提供システム。

【請求項4】
 
前記付随情報統計管理手段は、システム内の各視聴者の前記視線情報を統合して集計し、所定の統計処理を行う統合集計処理部と、前記時空間マーカ設定装置に記憶されている前記時空間マーカについて、前記統合集計処理部での処理結果に基づき、前記視聴者全般に対する注目度を評価する注目度評価部とを備え、
前記統合集計処理部では、前記各視聴者の前記視線情報から、全視聴者における注視点分布データが前記画像のフレーム毎に生成され、
前記注目度評価部では、前記統合集計処理部で求めた全視聴者の前記注視点分布データが、前記各対象物の前記時空間ボリューム毎に集計され、前記各対象物の前記付随情報について、全視聴者の前記視線情報の集計値に対応した注目度を表す数値及び/又は文字からなる注目度データが生成されることを特徴とする請求項3記載の視聴者注目情報提供システム。

【請求項5】
 
経時的に変化する画像を見ている視聴者の注目部分の検出結果に基づいて、当該注目部分に対応した情報を前記視聴者に提供する装置において、
前記画像内に存在する同一対象物の範囲を時系列に並べた時空間ボリュームに、前記対象物の付随情報が付加された時空間マーカのうち、前記注目部分の検出結果から、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を抽出する付随情報抽出手段と、当該付随情報抽出手段で抽出された付随情報を前記視聴者に提供する付随情報提供手段とを備え
前記付随情報抽出手段は、前記注目部分の指標となる視聴者の視線情報を視聴者毎に集計して所定の統計処理を行う個別集計処理部と、当該個別集計処理部での集計結果から、対象となる視聴者が注目している時空間マーカを特定し、当該視聴者に提供される前記付随情報を当該時空間マーカから抽出する注目マーカ特定部とを備え、
前記注目マーカ特定部では、前記各視聴者それぞれについて、前記個別集計処理部で求めた画像内の各部位における注目度の時系列データから、前記対象物の前記時空間ボリューム毎に当該注目度が集計され、当該時空間ボリュームの中から、予め設定された所定の閾値以上の注目度を有する前記時空間ボリュームが特定され、当該時空間ボリュームにおける前記時空間マーカの前記付随情報が、前記視聴者にとって興味や関心のある自己注目の前記付随情報として抽出されることを特徴とする情報提供装置。

【請求項6】
 
経時的に変化する画像を見ている視聴者の注目部分の検出結果に基づいて、当該注目部分に対応した情報を前記視聴者に提供する装置のコンピュータを機能させるプログラムにおいて、
前記画像内に存在する同一対象物の範囲を時系列に並べた時空間ボリュームに、前記対象物の付随情報が付加された時空間マーカのうち、前記注目部分の検出結果から、視聴者が注目する対象物の前記時空間マーカを特定し、当該時空間マーカ中の付随情報を抽出する付随情報抽出手段と、当該付随情報抽出手段で抽出された付随情報を前記視聴者に提供する付随情報提供手段として前記コンピュータを機能させ
前記付随情報抽出手段は、前記注目部分の指標となる視聴者の視線情報を視聴者毎に集計して所定の統計処理を行う個別集計処理部と、当該個別集計処理部での集計結果から、対象となる視聴者が注目している時空間マーカを特定し、当該視聴者に提供される前記付随情報を当該時空間マーカから抽出する注目マーカ特定部とを備え、
前記注目マーカ特定部では、前記各視聴者それぞれについて、前記個別集計処理部で求めた映像内の各部位における注目度の時系列データから、前記対象物の前記時空間ボリューム毎に当該注目度が集計され、当該時空間ボリュームの中から、予め設定された所定の閾値以上の注目度を有する前記時空間ボリュームが特定され、当該時空間ボリュームにおける前記時空間マーカの前記付随情報が、前記視聴者にとって興味や関心のある自己注目の前記付随情報として抽出されることを特徴とする情報提供装置のプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2014170850thum.jpg
State of application right Registered


PAGE TOP

close
close
close
close
close
close
close