Top > Search of Japanese Patents > METHOD AND SYSTEM FOR MATCHING USER AND TERMINAL, AND MANAGING METHOD AND SYSTEM FOR CONNECTION STATE OF TERMINAL

METHOD AND SYSTEM FOR MATCHING USER AND TERMINAL, AND MANAGING METHOD AND SYSTEM FOR CONNECTION STATE OF TERMINAL

Patent code P200016848
File No. 6106
Posted date May 11, 2020
Application number P2018-078597
Publication number P2019-185609A
Date of filing Apr 16, 2018
Date of publication of application Oct 24, 2019
Inventor
  • (In Japanese)槙 優一
  • (In Japanese)合田 卓矢
  • (In Japanese)松川 尚司
  • (In Japanese)犬童 拓也
  • (In Japanese)西尾 理志
Applicant
  • (In Japanese)日本電信電話株式会社
  • (In Japanese)国立大学法人京都大学
Title METHOD AND SYSTEM FOR MATCHING USER AND TERMINAL, AND MANAGING METHOD AND SYSTEM FOR CONNECTION STATE OF TERMINAL
Abstract PROBLEM TO BE SOLVED: To appropriately match a user and a terminal in each case where the walking speed of the user is slow or the user is stationary.
SOLUTION: In the matching method and the matching device of a user and a terminal, position information of the user's hand is detected from image information to calculate first motion data for the motion state for the vertical direction of the hand by using the detected position information of the hand. In addition, acceleration information of the terminal is detected from sensor information of a sensor provided in the terminal to calculate second motion data for the motion state for the vertical direction of the terminal by using the detected acceleration information of the terminal. Then, using the first motion data and the second motion data, a matching process matching the user and the terminal is performed.
Outline of related art and contending technology (In Japanese)

近年、美術館および博物館などの屋内環境においてICT(Information and Communication Technology)を用いて映像配信および音声案内などをするおもてなしサービスが、開発されている。このおもてなしサービスでは、配信すべき情報および音声案内の言語などが、端末を用いるユーザの人種および性別などに対応して、異なる。非特許文献1では、カメラなどの撮影機器によって、端末を用いるユーザの情報を取得する。そして、カメラなどからのユーザの情報が、コンテンツ配信および端末の通信制御などに活用される。ただし、非特許文献1のようにカメラによってユーザの情報を取得する場合、カメラ映像に映っているユーザ、および、ユーザが用いる端末のIPアドレスは、互いに独立する。このため、カメラ映像のユーザとユーザが用いる端末とを、一対一で対応付ける必要がある。

非特許文献2の対応付けシステムでは、カメラ映像からユーザの移動速度を推定するとともに、端末に設けられる加速度センサの情報からユーザ(端末)の移動速度を推定する。そして、カメラ映像に基づく移動速度、および、加速度センサの情報に基づく移動速度を用いてマッチングを行うことにより、ユーザと端末との対応付けを行う。図1は、非特許文献2の対応付けシステム1´のブロック構成を示す。非特許文献2では、マッチング用サーバ2´、カメラ(撮影機器)3´および端末4´が設けられ、端末(通信端末)4´には加速度センサ6´が設けられる。

情報処理装置(マッチング処理ユニット)であるマッチング用サーバ2´は、マッチング用サーバ2´からの情報の送信、および、マッチング用サーバ2´への情報の受信を行う情報送受信部5´を備える。カメラ3´は、画像情報を生成し、生成した画像情報をマッチング用サーバ2´に送信する。また、端末4´は、センサ情報取得部7´と、通信制御部8´とを備える。センサ情報取得部7´は、加速度センサ6´での検知結果に関するセンサ情報を取得する。通信制御部8´は、端末4´とマッチング用サーバ2´の情報送受信部5´との間の無線通信等による通信状態を制御する。通信制御部8´は、センサ情報取得部7´が取得したセンサ情報を、マッチング用サーバ2´に送信させる。

マッチング用サーバ2´は、位置検出部11´と、速度データ算出部12´とを備える。位置検出部11´は、カメラ3´からの画像情報に基づいて、ユーザの位置を検出する。この際、ユーザの位置に加えて、そのユーザを検出した画像の時刻も、ユーザの位置情報として取得する。速度データ算出部12´は、ユーザの位置情報を用いて、ユーザの歩行速度を算出する。そして、速度データ算出部12´は、ユーザの位置情報に基づくユーザの歩行速度に関する時系列データである速度データを、生成する。

また、マッチング用サーバ2´は、加速度検出部13´と、加速度データの鉛直方向成分(z成分)の標準編差を算出する標準偏差算出部14´とを備える。加速度検出部13´は、端末4´からのセンサ情報に基づいて、端末4´の加速度を検出する。この際、端末4´の加速度に加えて、検出した加速度になった時刻も、端末4´の加速度情報として取得する。標準偏差算出部14´は、端末4´の加速度情報を用いて、ある一定時間の間の加速度データの鉛直方向成分の標準偏差データを算出する。なお、端末4´の加速度の鉛直方向成分の標準偏差とユーザの歩行速度との関係を、図2に一例を示す。

また、マッチング用サーバ2´は、マッチング処理部15´を備える。マッチング処理部15´は、ユーザの位置情報に基づくユーザの歩行速度を示す速度データ、および、端末4´の加速度データの鉛直方向成分の標準偏差データを用いて、マッチング処理を行う。この際、速度データ、および、加速度データの鉛直方向成分の標準偏差データについて、互いに対する相関値を算出する。そして、算出した相関値を用いて、カメラ画像上のユーザと端末4´との対応付けを行う。

Field of industrial application (In Japanese)

本発明の実施形態は、ユーザと端末との対応付け方法および対応付けシステム、および、端末の接続状態の管理方法および管理システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
情報処理装置を含むシステムが実行する、ユーザと前記ユーザの端末との対応付け方法であって、
画像情報を取得することと、
前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、
取得した前記画像情報から、前記ユーザの手の位置情報を検出することと、
検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第1運動データを算出することと、
取得した前記センサ情報から、前記端末の加速度情報を検出することと、
検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第2運動データを算出することと、
前記第1運動データおよび前記第2運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、
を備える、対応付け方法。

【請求項2】
 
前記第1運動データを算出することは、
前記手の前記鉛直方向についての位置を時間微分することにより、前記手の前記鉛直方向についての速度データを算出することと、
算出した前記手の前記速度データに基づいて、前記手が上昇している上昇時刻、および、前記手が下降している下降時刻を示すデータを、前記第1運動データとして算出することと、
を備え、
前記第2運動データを算出することは、
前記加速度情報に含まれる前記端末の前記鉛直方向についての加速度に基づいて、前記端末に作用する力の方向を示すデータを算出することと、
前記力の方向を示す前記データに基づいて、前記端末が上昇している上昇時刻、および、前記端末が下降している下降時刻を示すデータを、前記第2運動データとして算出することと、
を備える、
請求項1の対応付け方法。

【請求項3】
 
前記マッチング処理を行うことは、前記ユーザと前記端末とを一対一で対応付けるアルゴリズムを用いて、前記マッチング処理を行うことを備える、請求項1または2の対応付け方法。

【請求項4】
 
画像情報を生成する撮影機器と、
センサを備える端末と、
前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、
を備える、前記端末と前記端末のユーザとの対応付けシステムであって、
前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、
前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第1運動データを算出する第1運動データ算出部と、
前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、
前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第2運動データを算出する第2運動データ算出部と、
前記第1運動データおよび前記第2運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、
を備える、対応付けシステム。

【請求項5】
 
前記情報処理装置が、前記位置検出部、前記第1運動データ算出部、前記加速度検出部、前記第2運動データ算出部、および、前記マッチング処理部を備える、請求項4の対応付けシステム。

【請求項6】
 
前記情報処理装置が、前記位置検出部、前記第1運動データ算出部、および、前記マッチング処理部を備え、
前記端末が、前記加速度検出部、および、前記第2運動データ算出部を備える、
請求項4の対応付けシステム。

【請求項7】
 
情報処理装置を含むシステムが実行する、端末の接続状態の管理方法であって、
画像情報を取得することと、
前記端末に設けられるセンサでの検知結果に関するセンサ情報を取得することと、
取得した前記画像情報から、ユーザの手の位置情報を検出することと、
検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第1運動データを算出することと、
取得した前記センサ情報から、前記端末の加速度情報を検出することと、
検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第2運動データを算出することと、
前記第1運動データおよび前記第2運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うことと、
前記マッチング処理の処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理することと、
管理される前記マッチング情報を用いて、複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理することと、
を備える、管理方法。

【請求項8】
 
画像情報を生成する撮影機器と、
センサを備える端末と、
前記端末を無線で接続可能な複数のアクセスポイントと、
前記撮影機器および前記端末に対して情報交換が可能な情報処理装置と、
を備える、前記端末の接続状態の管理システムであって、
前記撮影機器で生成された前記画像情報から、ユーザの手の位置情報を検出する位置検出部と、
前記位置検出部が検出した前記手の前記位置情報を用いて、前記手の鉛直方向についての運動状態に関する第1運動データを算出する第1運動データ算出部と、
前記端末の前記センサでのセンサ情報から、前記端末の加速度情報を検出する加速度検出部と、
前記加速度検出部が検出した前記端末の前記加速度情報を用いて、前記端末の前記鉛直方向についての運動状態に関する第2運動データを算出する第2運動データ算出部と、
前記第1運動データおよび前記第2運動データを用いて、前記ユーザと前記端末とを対応付けるマッチング処理を行うマッチング処理部と、
前記マッチング処理部での処理結果に基づいて、前記ユーザと前記端末とのマッチング情報を管理するマッチング情報管理ユニットと、
前記マッチング情報管理ユニットで管理される前記マッチング情報を用いて、前記複数のアクセスポイント間で前記端末の接続先を切替え、前記端末の前記接続先を制御および管理する接続状態管理ユニットと、
を備える、管理システム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018078597thum.jpg
State of application right Published
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close