TOP > 国内特許検索 > 関心度推定装置 > 明細書

明細書 :関心度推定装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4328136号 (P4328136)
公開番号 特開2005-006897 (P2005-006897A)
登録日 平成21年6月19日(2009.6.19)
発行日 平成21年9月9日(2009.9.9)
公開日 平成17年1月13日(2005.1.13)
発明の名称または考案の名称 関心度推定装置
国際特許分類 A61B   3/113       (2006.01)
G01B  11/00        (2006.01)
G01C  21/00        (2006.01)
G08G   1/005       (2006.01)
G09B  19/16        (2006.01)
G09B  29/00        (2006.01)
G09B  29/10        (2006.01)
G06F   3/033       (2006.01)
FI A61B 3/10 B
G01B 11/00 H
G01C 21/00 Z
G08G 1/005
G09B 19/16
G09B 29/00 A
G09B 29/10 A
G06F 3/033 310A
請求項の数または発明の数 6
全頁数 12
出願番号 特願2003-174479 (P2003-174479)
出願日 平成15年6月19日(2003.6.19)
新規性喪失の例外の表示 特許法第30条第1項適用 平成14年12月19日計測自動制御学会第3回システムインテグレーション部門講演会にて、同講演会講演論文集(II)第111-112頁をもって発表
審査請求日 平成18年6月15日(2006.6.15)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】足立 佳久
【氏名】松本 吉央
【氏名】小笠原 司
個別代理人の代理人 【識別番号】100067828、【弁理士】、【氏名又は名称】小谷 悦司
【識別番号】100096150、【弁理士】、【氏名又は名称】伊藤 孝夫
【識別番号】100099955、【弁理士】、【氏名又は名称】樋口 次郎
【識別番号】100109438、【弁理士】、【氏名又は名称】大月 伸介
審査官 【審査官】後藤 順也
参考文献・文献 特開平10-055249(JP,A)
特開2001-330450(JP,A)
松本吉央他,図書館ガイドのための搭乗型情報端末システム,ロボティクス・メカトロニクス講演会’01講演論文集,日本,日本機械学会,2002年 6月28日,PAGE.2A1.A12(1)-2A1.A12(2)
調査した分野 A61B 3/113
G06F 3/033
特許ファイル(PATOLIS)
実用新案ファイル(PATOLIS)
JSTPlus(JDreamII)
JMEDPlus(JDreamII)
特許請求の範囲 【請求項1】
搭乗型移動体の搭乗者が周囲の物体のうちどの物体に関心を有しているかを推定する関心度推定装置であって、
前記搭乗型移動体が移動する空間内に配置された物体と当該物体の位置とが関連付けられた前記空間の地図を記憶する地図記憶手段と、
前記搭乗型移動体の前記空間内での現在位置を検出する位置検出手段と、
前記空間内における前記搭乗者の視線方向を検出する視線方向検出手段と、
前記位置検出手段によって検出された前記搭乗型移動体の現在位置と前記視線方向検出手段によって検出された視線方向と、前記視線方向上にある物体とを基に、搭乗者が注視している位置である注視点を特定し、当該注視点における注視の程度を示す注視度を算出する注視度算出手段とを備え
前記注視度算出手段は、前記搭乗者が同一箇所を注視した場合、時間が経過するにつれて注視度の値が減少する関数を用いて前記注視度を算出することを特徴とする関心度推定装置。
【請求項2】
前記注視度算出手段は、前記搭乗者の視野の中心から視野の周囲に向かうにつれて、前記視野内の各方向の注視点に対する注視度の値が低くなる関数を用いて前記注視度算出することを特徴とする請求項1記載の関心度推定装置。
【請求項3】
前記関数は、距離が大きくなるにつれて注視度の値が小さくなる関数であることを特徴とする請求項記載の関心度推定装置。
【請求項4】
前記搭乗者が注視する物体の位置の近傍に前記搭乗型移動体を移動させる走行制御手段をさらに備えることを特徴とする請求項1~のいずれかに記載の関心度推定装置。
【請求項5】
操作前記搭乗者が注視する物体に関連する情報を音声で報知する音声報知手段をさらに備えることを特徴とする請求項1~のいずれかに記載の関心度推定装置。
【請求項6】
搭乗型移動体の搭乗者が周囲の物体のうちどの物体に関心を有しているかを推定する関心度推定装置であって、
前記搭乗型移動体が移動する空間内に配置された物体と当該物体の位置とが関連付けられた前記空間の地図を記憶する地図記憶手段と、
前記搭乗型移動体の前記空間内での現在位置を検出する位置検出手段と、
前記空間内における前記搭乗者の顔方向を検出する顔方向検出手段と、
前記位置手段によって検出された前記搭乗型移動体の現在位置と前記顔方向検出手段によって検出された顔方向と、前記顔方向上にある物体とを基に、前記搭乗者が注視している位置である注視点を特定し、当該注視点における注視の程度を示す注視度を算出する注視度算出手段とを備え
前記注視度算出手段は、前記搭乗者が同一箇所を注視した場合、時間が経過するにつれて注視度の値が減少する関数を用いて前記注視度を算出することを特徴とする関心度推定装置。
発明の詳細な説明
【0001】
【発明の属する技術分野】
本発明は、電動車椅子や自動車などの搭乗型移動体の搭乗者の視線を検出し、搭乗者の関心度を推定する技術に関する。
【0002】
【従来の技術】
人間の視線の動きは、人間の意図や注意と関係が深いことが知られている。近年、視線をキーボードやマウスの変わりの入力デバイスとして用いる研究が進められており、次世代ヒューマンインターフェイスとして注目されている。人間の視線は他のデバイスと比べて、例えば手を用いずに入力できる、すばやく移動させることができる、長時間用いても疲労が少ない等の利点を有している。
【0003】
【特許文献1】
特開平07-96768号公報
【特許文献2】
特開平11-139229号公報
【特許文献3】
特許3027786号公報
【0004】
【発明が解決しようとする課題】
ところで、電動車椅子などの搭乗型移動体の搭乗者は、移動したい場所に視線を向けて操縦するのが一般的である。そのため、視線に基づいて、搭乗者が現在どの物体に関心を有しているかを推定し、推定した物体の近傍に電動車椅子を移動させることも可能である。特に、手足が不自由な搭乗者にとって、かかる車椅子は有用である。
【0005】
本発明の目的は、搭乗者の視線に基づいて、搭乗者の注視の程度を示す注視度を算出し、搭乗者が関心を有している物体を推定する関心度推定装置を提供することである。
【0006】
【課題を解決するための手段】
本発明に係る関心度推定装置は、搭乗型移動体の搭乗者が周囲の物体のうちどの物体に関心を有しているかを推定する関心度推定装置であって、前記搭乗型移動体が移動する空間内に配置された物体と当該物体の位置とが関連付けられた前記空間の地図を記憶する地図記憶手段と、前記搭乗型移動体の前記空間内での現在位置を検出する位置検出手段と、前記空間内における前記搭乗者の視線方向を検出する視線方向検出手段と、前記位置検出手段によって検出された前記搭乗型移動体の現在位置と前記視線方向検出手段によって検出された視線方向と、前記視線方向上にある物体とを基に、搭乗者が注視している位置である注視点を特定し、当該注視点における注視の程度を示す注視度を算出する注視度算出手段とを備え、前記注視度算出手段は、前記搭乗者が同一箇所を注視した場合、時間が経過するにつれて注視度の値が減少する関数を用いて前記注視度を算出することを特徴とする。
【0007】
この構成によれば、搭乗型移動体の搭乗者の視線及び搭乗型移動体の空間内での現在位置が検出され、検出された視線、現在位置及び地図に基づいて、搭乗者が注視する注視点が特定されるとともに、当該注視点への搭乗者の注視度が算出されるため、搭乗者が搭乗型移動体の周囲のどの物体に関心を有しているかを推定することができる。
また、この構成によれば、同一箇所を注視した場合、その箇所に対する関心度は時間が経過するにつれて低くなるという人間の特性を加味して注視度が算出されるため、搭乗者が現在関心を有している物体をより正確に推定することができる。
【0008】
前記注視度算出手段は、前記搭乗者の視野の中心から視野の周囲に向かうにつれて、前記視野内の各方向に対する注視度の値が低くなる関数を用いて前記注視度算出することが好ましい。この構成によれば、視野の中心ほど関心が高いという人間の特性を加味して注視度が算出されるため、搭乗者が関心を有している物体をより正確に推定することができる。
【0010】
前記関数は、距離が大きくなるにつれて注視度の値が小さくなる関数であることが好ましい。この構成によれば、搭乗者は遠くの物体を見る場合、視野内には多くの物体が含まれるため、搭乗者が特定された注視点を注視している確率は低くなるが、搭乗者が近くの物体を見る場合、搭乗者が特定される注視点を注視している確率は高くなるという特性が加味されて注視度を算出することができる。
【0011】
前記搭乗者が注視する物体の位置の近傍に前記搭乗型移動体を移動させる走行制御手段をさらに備えることが好ましい。この構成によれば、搭乗者は、視線に基づいて、搭乗型移動体を操作することができる。
【0012】
操作前記搭乗者が注視する物体に関連する情報を音声で報知する音声報知手段をさらに備えることが好ましい。この構成によれば、搭乗者が目視している物体近傍に搭乗型移動体が移動するとともに、例えばその物体の説明など、目視している物体に関連する情報が音声によって搭乗者に報知されるため、搭乗型移動体を図書館や博物館などでのガイドロボットとして用いることができる。
【0013】
また、別の発明に係る関心度推定装置は、搭乗型移動体の搭乗者が周囲の物体のうちどの物体に関心を有しているかを推定する関心度推定装置であって、前記搭乗型移動体が移動する空間内に配置された物体と当該物体の位置とが関連付けられた前記空間の地図を記憶する地図記憶手段と、前記搭乗型移動体の前記空間内での現在位置を検出する位置検出手段と、前記空間内における前記搭乗者の顔方向を検出する顔方向検出手段と、前記位置手段によって検出された前記搭乗型移動体の現在位置と前記顔方向検出手段によって検出された顔方向と、前記顔方向上にある物体とを基に、前記搭乗者が注視している位置である注視点を特定し、当該注視点における注視の程度を示す注視度を算出する注視度算出手段とを備え、前記注視度算出手段は、前記搭乗者が同一箇所を注視した場合、時間が経過するにつれて注視度の値が減少する関数を用いて前記注視度を算出することを特徴とする。
【0014】
この構成によれば、搭乗型移動体の搭乗者の顔方向及び搭乗型移動体の空間内での現在位置が検出され、検出された顔方向、現在位置及び地図に基づいて、搭乗者が注視する注視点が特定されるとともに、当該注視点への搭乗者の注視度が算出されるため、搭乗者が搭乗型移動体の周囲のどの物体に関心を有しているかを推定することができる。
また、この構成によれば、同一箇所を注視した場合、その箇所に対する関心度は時間が経過するにつれて低くなるという人間の特性を加味して注視度が算出されるため、搭乗者が現在関心を有している物体をより正確に推定することができる。
【0015】
【発明の実施の形態】
図1は、本発明に係る関心度推定装置と電動車椅子1とを組み合わせ、学校等の図書室をガイドするガイド装置とした場合のそのガイド装置の外観図を示している。このガイド装置は、電動車椅子(搭乗型移動体)1と、搭乗者の操作指令に基づいて電動車椅子1の走行制御等を行なう関心度推定装置とから構成され、図書室内を移動し、搭乗者が目視する本やポスターなどの物体に関連する情報を搭乗者に音声で報知等する装置である。電動車椅子1は、電動車椅子1の搭乗者が座る椅子11と椅子11の下部に配設された駆動部12と、椅子11の手前に配設されたテーブル13と、椅子11の左右両側に配設された肘かけ14とを備えている。駆動部12は、電動車椅子1の動力源としての電動モータ(図略)と、ガイド装置を構成する種々の装置に電力を供給するバッテリー(図略)と、電動モータの駆動力に基づいて回転する一対の車輪15と、電動モータのトルクを車輪15に伝達するギア(図略)等から構成されている。椅子11の背もたれ部分の上部には、背後から電動車椅子1を前方に移動させる際に用いる取っ手16が配設されている。さらに車輪15の前側及び後側には、電動車椅子1の走行を安定させるための一対の補助車輪17が取り付けられている。
【0016】
椅子11の下側であって、駆動部12の手前位置には、電動車椅子1の現在位置を検出するためのレーザレンジファインダ2が配設されている。テーブル13の上部には、関心度推定装置を制御するためのコンピュータ3及び電動車椅子1の搭乗者の顔画像を撮影する2台のカメラ4が配設されている。駆動部12、レーザレンジファインダ2及びコンピュータ3により関心度推定装置が構成される。
【0017】
レーザレンジファインダ(laser range finder:LRF)2は距離計測装置の一種であり、前方180度の範囲内において、所定角度、例えば0.5度刻みで放射線状にレーザ光を照射し、レーザ光の反射光の強度を各角度毎に測定することにより、手前に位置する物体(障害物)と電動車椅子1との距離を測定する。本実施形態では、SICK社製LMS200が用いられており、測定可能範囲は80mであり、測定分解能は10mmである。
【0018】
コンピュータ3は、一般に市販されているノート型パソコンであり、CPU(中央演算装置)と、BIOS等を記憶するROM(リードオンリーメモリ)と、CPUの作業領域として用いられるRAM(ランダムアクセスメモリ)と、OS等のプログラムや種々のデータを記憶するハードディスクと、搭乗者の操作指令を受け付けCPUに出力するキーボード及びポインティングデバイスと、CPUの制御に基づいて種々のデータを画像として表示する液晶表示パネル等を備える。カメラ4を構成する2台のカメラはそれぞれカラー動画像を撮影する一般的なカメラである。
【0019】
図2は、関心度推定装置の電気的な構成を示したブロック図である。関心度推定装置は、処理部100及び記憶部200を備えている。記憶部200は、例えばハードディスクから構成され、地図記憶部201及び音声データ記憶部202を備えている。
【0020】
地図記憶部201は、本棚、図書室内の壁、壁に貼られたポスター等の物体及びガイド装置が走行可能な通路等の位置を示す地図を記憶している。この地図は、図書室を上から見た平面的な地図である。また、地図記憶部201は、各本棚について、その本棚がどのようなジャンルの書籍を主に収納している本棚であるかを示すジャンル情報を記憶している。
【0021】
音声データ記憶部202は、ジャンル情報毎に用意された音声データを記憶している。
【0022】
処理部100は、CPUがコンピュータ3を関心度推定装置の制御部として機能させるためのプログラムを実行することにより実現され、視線方向検出部101、位置検出部102、注視点特定部103、注視度算出部104、注視物体推定部105、走行制御部106及び音声出力部107を備えている。
【0023】
視線方向検出部101は、カメラ4で取得された搭乗者の顔の動画像を対し、例えば、論文(論文タイトル“顔・視線計測システムの開発と動作認識への応用”松本吉央、AlexanderZelinsky、小笠原司;ロボティクスシンポジア2003年)で示した処理を適用することによりガイド装置に対する搭乗者の視線方向を検出する。ここで、ガイド装置に対する視線方向とは、ガイド装置の進行方向に対する視線方向のことであり、ガイド装置の進行方向と搭乗者の視線方向とでなす角度によって特定される方向である。
【0024】
位置検出部102は、レーザレンジファインダ2の測定データと図書室の地図とに対し、例えばWeissのマッチング手法(論文タイトル“Keeping Track of Position and Orientation of Moving Indoor Systems by Correlation of Range-Finder Scans"(IROS'94,pp595-601著者G.Weiss,C.Wetzler,and E.V.Puttkamer)を適用することにより、ガイド装置の図書室での現在位置及び向きを特定する。ここで、ガイド装置の向きは、図書室の所定の基準方向(例えば北の方向)に対するガイド装置の進行方向のことであり、基準方向とガイド装置の進行方向とでなす角度によって特定される方向である。なお、位置検出部102は、GPS(global positioning system)を用いてガイド装置の現在位置を検出してもよい。
【0025】
注視点特定部103は、視線方向検出部101によって検出された視線方向とガイド装置の向きとによって特定される上記基準方向を基準としたときの視線方向(絶対視線方向)を特定し、現在位置から絶対視線方向に向けて引いた直線(視線直線)と視線直線上であって現在位置に最も近い場所に位置する物体との地図上の交点を求め、注視点として特定する。また、注視点特定部103は、視線方向を中心とする扇状の視野領域内において、現在位置から放射状に複数の直線(視野直線)を引き、各視野直線と各視野直線上であって現在位置に最も近い場所に位置する物体との地図上の交点を求め、これらの交点も注視点として特定する。なお、注視点は所定の周期Δt(例えば1/30秒)毎に特定される。
【0026】
注視度算出部104は、各注視点に対して、式(1)~式(3)のいずれか1つの式を適用することにより各注視点の注視度を算出する。
Wi(t)=αWi(t-Δt)+1/L (|θ|≦5°)・・・式(1)
Wi(t)=αWi(t-Δt)+0.5/L (5°<|θ|≦10°)・・・式(2)
Wi(t)=αWi(t-Δt) (|θ|>10°)・・・式(3)
Wi(t):時刻tにおける注視点iの注視度
L:注視点iと現在位置との距離
α:注視度の減衰率
θ:視線直線に対する視野直線の角度
Δt:注視度を算出する周期
【0027】
Wi(t—Δt)は、注視点iにおけるΔt時間前の注視度を示しており、Wi(t-Δt)に減衰率α(0<α<1)を乗算しているため、時間が経過するにつれて、注視点iにおける注視度は減衰していく。その結果、同一箇所を注視した場合、その箇所における関心度は時間が経過するにつれて低くなるという特性が上記式(1)~(3)には加味されている。
【0028】
注視物体推定部105は、注視度の値が最も大きな注視点を特定し、特定した注視点における注視度が所定の閾値よりも大きい場合、この注視点に位置する物体を搭乗者が関心を示している物体として推定する。
【0029】
走行制御部106は、ガイド装置の現在位置から注視物体推定部105によって推定された物体近傍の位置までガイド装置を走行するようにガイド装置の走行制御を行う。例えば、物体近傍の位置に近づくにつれて速度を低下させていき、物体近傍の位置で停止させるというようなガイド装置の走行制御を行う。
【0030】
音声出力部107は、注視物体推定部105によって推定された物体が本棚である場合、ガイド装置がその本棚の近傍の位置に到着乃至は所定の距離範囲内に近づいたとき、その本棚のジャンル情報に対応する音声データを音声データ記憶部202から読み出し、読み出した音声データを音声信号に変換してスピーカ5に出力する。
【0031】
なお、本実施形態では、カメラ4及び視線方向検出部101が視線方向検出手段の一例に相当し、レーザレンジファインダ2及び位置検出部102が位置検出手段の一例に相当し、地図記憶部201が地図記憶手段に相当し、注視点特定部103及び注視度算出部104が注視度算出手段に相当に相当する。
【0032】
次に、本関心度推定装置の処理について説明する。図3は、本関心度推定装置の処理を示すフローチャートである。ステップS1において、視線方向検出部101は、カメラ4によって取得された搭乗者の顔画像から搭乗者の視線方向を検出する。
【0033】
ステップS2において、位置検出部102は、レーザレンジファインダ2の測定データから、ガイド装置の図書室内での現在位置を検出する。
【0034】
ステップS3において、注視点特定部103は、ステップS1で検出された搭乗者の視線方向及びステップS2で検出されたガイド装置の現在位置から、視線直線に対する注視点と、視野直線に対する注視点とを特定する。図4(a)は、図書室において、搭乗者が現在位置PPから壁WLを注視している状態を模式的に示した図であり、(a)は立体図を示し(b)は平面図(地図)を示している。また、(a)において、X-Y平面は地面を表し、Z軸は高さ方向を示している。
【0035】
注視点特定部103は、まず、ステップS1で検出された視線方向から図書室の基準方向に対する搭乗者の視線方向である絶対視線方向SDを特定するとともに、ステップS2で検出された図書室でのガイド装置の現在位置から地図上におけるガイド装置の現在位置PPを特定する。次に、特定した現在位置PPから絶対視線方向SDに引いた視線直線SL1と壁WLとの地図上の交点を求め、この交点を注視点CPとして特定する。
【0036】
さらに、注視点特定部103は、現在位置PPから視線直線を中心として複数の視野直線SL2を引き、各視野直線SL2と、壁WLとの地図上の交点を求め、これらの交点も注視点CPとして特定する。
【0037】
ステップS4において、注視度算出部104は、ステップS3で特定された各注視点CPに対し、上記式(1)~(3)のいずれかを適用することにより、各注視点CPの注視度を算出する。本実施形態では、視線直線SL1と視野直線SL2との角度をθとしたとき、|θ|≦5°の範囲内にある視野直線SL2に対応する注視点CPに対しては式(1)を用いて注視度を算出し、5°<|θ|≦10°の範囲内にある視野直線SL2に対応する注視点CPに対しては式(2)を用いて注視度を算出し、|θ|>10°の範囲内にある視野直線SL2に対しては、式(3)を用いて注視度を算出している。そのため、各注視点CPの注視度は、図4のブロック状の図形で示すように、搭乗者の視野の中心ほど注視度の値が大きくなり、視野の中心から離れるにつれて注視度の値が小さくなる。その結果、搭乗者の関心度は、視野の中心ほど高いという特性を加味して注視度を算出することができる。さらに、式(1)、(2)の第2項の分母がLであるため、注視点CPと現在位置PPとの距離が近いほどその注視点の注視度は大きくなる。
【0038】
ステップS5において、注視度が最大の注視点CPの注視度が閾値よりも大きい場合(ステップS5でYES)、注視物体推定部105は、当該注視点CPに位置する物体を搭乗者が関心を有している物体として推定する。一方、注視度が最大の注視点CPの注視度が閾値よりも小さい場合(ステップS5でNO)、ステップS1に戻る。
【0039】
図5(a)は、搭乗者が壁に貼ってあるポスターGPを注視しているときの注視度を示した図であり、(b)は搭乗者がポスターGPを注視していないときの注視度を示した図である。図5(a)、(b)において、各線分は、図書室内の壁WLを示し、四角はガイド装置の現在位置PPを示し、短い矢印は、ガイド装置の正面方向FDを示し、長い矢印は視線方向EDを示し、山状の点の集合体は、注視点の注視度の大きさであり、壁WLと直交する方向への集合体の高さにより、その位置での注視度の大きさを表している。
【0040】
図5(a)では、搭乗者はポスターGPを注視しているため、ポスターGP周囲の注視度が大きくなっていることが分かる。一方、図5(b)では、搭乗者はポスターGPを注視していないため、注視度の小さな注視点が分散して存在していることが分かる。
【0041】
図6は、各時刻(1/30秒毎)において注視度が最大の位置をプロットしたグラフであり、(a)は搭乗者がポスターGPを注視している場合を示し、(b)は搭乗者がポスターGPを注視していない場合を示している。(a)、(b)両グラフとも、縦軸は注視度が最大の位置のXの値及びY座標の値とその注視点に対応する注視度とを示し、横軸は時間を示し、実線がX座標のグラフを示し、破線がY座標のグラフを示し、一点破線が注視度のグラフを示している。図6(a)に示すように、搭乗者がポスターGPを注視している場合は、時間の経過に伴って、注視度が最大の位置のX及びY座標の値がほぼ一定であることが分かる。一方、図6(b)に示すように、搭乗者がポスターGPを注視していない場合、時間の経過に伴って注視度が最大の位置のX及びY座標の値が大きく変化するとともに、注視度の値が低いことが分かる。この結果が示すように、搭乗者がある物体に注視している場合と注視していない場合とでは、その注視度の大きさ及び注視点の分散の仕方が顕著に相違するため、搭乗者の視線に基づいて、搭乗者の現在どの物体に関心を有しているかを推定することが可能となる。
【0042】
ステップS6において、走行制御部106は、ステップS5において特定された搭乗者が注視する物体の近傍の位置にガイド装置を移動させる。搭乗者が注視する物体が本棚である場合(ステップS7でYES)、音声出力部107は、搭乗者が注視する物体の近傍の位置にガイド装置が到着したとき、その本棚のジャンル情報に対応する音声データを音声データ記憶部202から読出し、スピーカ5に出力し、搭乗者にその本棚のジャンルを報知する。
【0043】
ステップS9において、例えばガイド装置の主電源がオフされると(ステップS9でYES)、処理を終了し、主電源がオフされていない場合は(ステップS9でNO)、ステップS1に戻り、処理を続行する。
【0044】
以上説明したように、本実施形態に係る関心度推定装置によれば、視線に基づいて、搭乗者の注視度が算出されているため、搭乗者の周囲のどの物体に関心を持っているかを知ることができる。
【0045】
なお、本発明は以下の態様を採ることができる。
【0046】
(1)上記実施形態では、搭乗者が注視している物体の近傍にガイド装置を走行させる態様を示したが、これに限定されず、走行制御は、直接、搭乗者がガイド装置を操縦することにより行ない、音声による報知のみを注視度に基づいて行なってもよい。また、本棚のジャンルを音声で報知する態様を示したが、これに限定されず、例えばポスターを注視している場合は、そのポスターの内容等を説明する音声を報知する等、搭乗者が注視する物体に応じた音声を報知させてもよい。この場合、物体の種類に応じた音声データを音声データ記憶部202に予め記憶させておき、音声出力部107は、搭乗者が物体を注視したとき、その物体に対応する音声データを読出し、当該音声データから得られる音声信号をスピーカ5に出力すればよい。
【0047】
(2)上記実施形態では、ガイド装置は図書室を移動するものであったが、これに限定されず、例えば、美術館、博物館等を移動するものであってもよい。この場合、展示物毎の音声データを音声データ記憶部202に予め記憶させておき、音声出力部107は、搭乗者が展示物を注視したときに、その展示物に対応する音声データを読出し、スピーカ5に当該音声データから得られる音声信号を出力すればよい。
【0048】
(3)自動車の運転手が街中にある看板をどれだけ注目しているかを上記注視度を基に測定し、看板の広告効果を調査する広告度調査システムに本関心度推定装置を適用させてもよい。この場合、看板の位置の情報は予めデータとしてもっておく。そして、GPSなどの車の位置情報や、カメラを用いた外部環境計測の結果と運転手の顔、視線計測結果を合わせることにより、看板への注目度を測定することができる。そして、測定結果を、車載ネットワーク等を介して広告主に送信させるようにすると、広告主は、即座に看板の宣伝効果を把握することができる。さらに、この構成において、看板の宣伝効果を調査する態様に代えて又は加えて、自動車の運転手が信号や道路標識に対してどれだけ注目しているかを測定し、その結果に応じて、警告を与えたり、車への制御(速度超過の場合、減速する等)させてもよい。
【0049】
(4)本発明に係る関心度推定装置をカーナビゲーションシステムと連携させ、運転者がカーナビゲーションシステムで目的地(例えば、レストラン等)を設定し、自動車がその目的地の周辺(目視可能な距離範囲内)に近づいたとき、その目的地を運転手が見ているかどうかを検出し、その目的地を見ていない場合は、音声でアナウンスすることにより目的地に近づくように支援を行なってもよい。また、目的地を通りすぎないように、自動車への走行制御(速度超過や入り口が近づいた場合減速する等)により支援を行なってもよい。
【0050】
(5)上記実施形態では、視線方向検出部101によって検出された視線方向に基づいて関心度の算出等をおこなっているが、これに限定されず、搭乗者の顔方向を検出し、これを基に注視度の算出等を行ってもよい。この場合、視線方向検出部101に代えて、搭乗者の空間上での顔方向を検出する顔方向検出部を設け、注視点特定部103、注視度算出部104及び注視物体推定部105等は、「視線方向」に代えて顔方向検出部が検出した「顔方向」を基にそれぞれ処理を実行すればよい。なお、顔方向の検出は、上記視線方向検出部101が採用する論文中に示された顔方向を検出する技術を用いて搭乗者の顔方向を検出すればよい。
【0051】
【発明の効果】
以上説明したように、本発明によれば、搭乗型移動体の搭乗者の視線及び搭乗型移動体の空間内での現在位置が検出され、検出された視線、現在位置及び地図に基づいて、搭乗者が注視する注視点が特定されるとともに、当該注視点への搭乗者の注視度が算出されるため、搭乗者が搭乗型移動体の周囲のどの物体に関心を有しているかを知ることができる。
【図面の簡単な説明】
【図1】 本発明に係る関心度推定装置を学校等の図書室のガイド装置に適用した場合のガイド装置の外観図を示している。
【図2】 関心度推定装置の電気的な構成を示したブロック図である。
【図3】 関心度推定装置の処理を示すフローチャートである。
【図4】 注視点特定部の処理を説明するための図である。
【図5】 図5(a)は、搭乗者が壁に貼ってあるポスターGPを注視しているときの注視度を示した図であり、(b)は搭乗者がポスターGPを注視していないときの注視度を示した図である。
【図6】 各時刻(1/30秒毎)において注視度が最大の位置をプロットしたグラフであり、(a)は搭乗者がポスターGPを注視している場合を示し、(b)は搭乗者がポスターGPを注視していない場合を示している。
【符号の説明】
100 処理部
101 視線方向検出部
102 位置検出部
103 注視点特定部
104 注視度算出部
105 注視物体推定部
106 走行制御部
107 音声出力部
200 記憶部
201 地図記憶部
202 音声データ記憶部
CP 注視点
ED 視線方向
SL1 視線直線
SL2 視野直線
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5