TOP > 国内特許検索 > コミュニケーションシステム、方法及びプログラム > 明細書

明細書 :コミュニケーションシステム、方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4277301号 (P4277301)
公開番号 特開2005-190205 (P2005-190205A)
登録日 平成21年3月19日(2009.3.19)
発行日 平成21年6月10日(2009.6.10)
公開日 平成17年7月14日(2005.7.14)
発明の名称または考案の名称 コミュニケーションシステム、方法及びプログラム
国際特許分類 G06F   3/01        (2006.01)
G06T   7/00        (2006.01)
G06T   7/60        (2006.01)
FI G06F 3/01 310C
G06T 7/00 150
G06T 7/60 150B
請求項の数または発明の数 8
全頁数 15
出願番号 特願2003-431220 (P2003-431220)
出願日 平成15年12月25日(2003.12.25)
新規性喪失の例外の表示 特許法第30条第1項適用 2003年9月8日、日本知能情報ファジィ学会主催の「第19回ファジィ システム シンポジウム」において文書をもって発表
特許法第30条第1項適用 2003年9月26日、「ISIS2003 PROCEEDINGS OF THE 4th INTERNATIONAL SYMPOSIUM ON ADVANCED INTELLIGENT SYSTEMS」において文書をもって発表
審査請求日 平成18年1月23日(2006.1.23)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】山口 亨
【氏名】高間 康史
個別代理人の代理人 【識別番号】100058479、【弁理士】、【氏名又は名称】鈴江 武彦
【識別番号】100113099、【弁理士】、【氏名又は名称】和田 祐造
審査官 【審査官】廣瀬 文雄
参考文献・文献 特開平06-059804(JP,A)
特開平03-179517(JP,A)
特開平05-108251(JP,A)
特開平10-301675(JP,A)
特開2000-352996(JP,A)
特開2003-345721(JP,A)
特開平11-327753(JP,A)
久保田 千太郎 Sentaro Kubota,グループ会話ロボットにおける顔画像処理システム Face Image Processing System for Group Conversation Robot,電子情報通信学会技術研究報告 Vol.99 No.710 IEICE Technical Report,日本,社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2000年 3月17日,第99巻,pp.49-56
肥田木 康明 Yasuaki HIDAKI,アイコンタクト機能を有する複数ユーザとの対話ロボット A robot who converse with plural persons using eye-contact,情報処理学会研究報告 Vol.97 No.66 IPSJ SIG Notes,日本,社団法人情報処理学会 Information Processing Society of Japan,1997年 7月19日,第97巻,pp.1-6
藤田 善弘 Yoshihiro Fujita,NECにおけるパーソナルロボットの開発 Personal Robot Development in NEC,日本ロボット学会誌 第20巻 第7号 Journal of the Robotics Society of Japan,日本,社団法人日本ロボット学会 The Robotics Society of Japan,2002年10月15日,第20巻,pp.16-19
小笠原 司,ロボットビジョン-認識-,映像情報インダストリアル 第35巻 第6号 Industrial,日本,産業開発機構(株),2003年 6月 1日,第35巻,pp.33-37
調査した分野 G06F 3/01
G06F 3/048
G06T 7/00 -7/60
特許請求の範囲 【請求項1】
複数の使用候補者の視野をそれぞれ撮像して第1の画像データを出力する複数の第1のカメラと、
複数の利用候補機器にそれぞれ搭載され、該利用候補機器を操作可能な位置の映像を撮像して第2の画像データを出力する複数の第2のカメラと、
前記第1の画像データに基づき少なくとも一人の使用候補者の視野内に、第1のデータベースに設定された、前記複数の利用候補機器のうちの特定の利用候補機器、が存在するか否かを認識して機器認識結果を得る機器認識手段と、
前記第2の画像データに基づき少なくとも一つの利用候補機器を操作可能な位置に、第2のデータベースに設定された、前記複数の使用候補者のうちの、前記特定の利用候補機器を使用する特定の使用候補者、が存在するか否かを認識して使用者認識結果を得る使用者認識手段と、
前記機器認識結果が前記少なくとも一人の使用候補者の視野内に前記特定の利用候補機器が存在することを示し、かつ前記使用者認識結果が前記少なくとも一つの利用候補機器を使用可能な位置に前記特定の使用候補者が存在することを示す状態が閾値以上の時間経過したか否かを判定する判定手段と
を具備してなることを特徴とするコミュニケーションシステム。
【請求項2】
前記機器認識手段、使用者認識手段及び判定手段は、前記使用候補者により携帯されるか又は前記利用候補機器に搭載された1台の情報処理装置に設けられており、前記第1のカメラと前記第2のカメラ及び前記情報処理装置はネットワーク接続可能に構成されていることを特徴とする請求項1に記載のコミュニケーションシステム。
【請求項3】
前記第1のカメラを前記使用候補者の頭部に取り付ける固定装置をさらに備えることを特徴とする請求項1又は2に記載のコミュニケーションシステム。
【請求項4】
前記利用候補機器に設けられ、前記利用候補機器を認識するためのマーカを表示する表示装置と、
使用候補者により携帯され、前記機器認識手段で認識された前記特定の利用候補機器に設けられた前記表示装置のうち、使用候補者の注視部分の画像を表示する携帯表示部とをさらに備え、
前記機器認識手段は、前記視野画像データに含まれる前記マーカの撮像画像に基づき前記利用候補機器及び前記使用候補者の注視部分を認識することを特徴とする請求項1又は2に記載のコミュニケーションシステム。
【請求項5】
前記利用候補機器を複数の使用候補者が共有する場合に、前記使用者認識手段は、前記利用候補機器を操作可能な位置に前記複数の使用候補者が存在するか否かを認識することを特徴とする請求項1又は2に記載のコミュニケーションシステム。
【請求項6】
前記使用候補者が複数の前記利用候補機器を利用する場合に、前記第のカメラは前記複数の利用候補機器の各々に搭載され、前記機器認識手段は、前記使用候補者の視野内における前記複数の利用候補機器の有無を認識することを特徴とする請求項1、2及び5のいずれか1項に記載のコミュニケーションシステム。
【請求項7】
複数の第1のカメラが、複数の使用候補者の視野をそれぞれ撮像して第1の画像データを出力するステップと、
複数の利用候補機器にそれぞれ搭載された複数の第2のカメラが、該利用候補機器を操作可能な位置の映像を撮像して第2の画像データを出力するステップと、
機器認識手段が、前記第1の画像データに基づき少なくとも一人の使用候補者の視野内に、第1のデータベースに設定された、前記複数の利用候補機器のうちの特定の利用候補機器、が存在するか否かを認識して機器認識結果を得るステップと、
使用者認識手段が、前記第2の画像データに基づき少なくとも一つの利用候補機器を操作可能な位置に、第2のデータベースに設定された、前記複数の使用候補者のうちの、前記特定の利用候補機器を使用する特定の使用候補者、が存在するか否かを認識して使用者認識結果を得るステップと、
判定手段が、前記機器認識結果が前記少なくとも一人の使用候補者の視野内に前記特定の利用候補機器が存在することを示し、かつ前記使用者認識結果が前記少なくとも一つの利用候補機器を使用可能な位置に前記特定の使用候補者が存在することを示す状態が閾値以上の時間経過したか否かを判定するステップと
を具備してなることを特徴とするコミュニケーション方法。
【請求項8】
コンピュータを、
複数の第1のカメラが複数の使用候補者の視野をそれぞれ撮像して得られる第1の画像データに基づき、少なくとも一人の使用候補者の視野内に、第1のデータベースに設定された、複数の利用候補機器のうちの特定の利用候補機器、が存在するか否かを認識して機器認識結果を得る機器認識手段と、
前記複数の利用候補機器にそれぞれ搭載された複数の第2のカメラが該利用候補機器を操作可能な位置の映像を撮像して得られる第2の画像データに基づき、少なくとも一つの利用候補機器を操作可能な位置に、第2のデータベースに設定された、前記複数の使用候補者のうちの、前記特定の利用候補機器を使用する特定の使用候補者、が存在するか否かを認識して使用者認識結果を得る使用者認識手段と、
前記機器認識結果が前記少なくとも一人の使用候補者の視野内に前記特定の利用候補機器が存在することを示し、かつ前記使用者認識結果が前記少なくとも一つの利用候補機器を使用可能な位置に前記特定の使用候補者が存在することを示す状態が閾値以上の時間経過したか否かを判定する判定手段と
として機能させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するコミュニケーションシステム、方法及びプログラムに関する。
【背景技術】
【0002】
従来、視線を検出することにより使用者たる人間と機械との情報通信を行う視線認識コミュニケーション装置としては、例えば特開平6-51901号公報(特許文献1)や、特公昭60-17125号公報(特許文献2)がある。これら特許文献1及び2に示されているように、眼球の方向に基づき使用者の視線を検出するものが知られている。

【特許文献1】特開平6-51901号公報
【特許文献2】特公昭60-17125号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
上記技術では、マウスなどのポインティングデバイスの代替として視線による注視を用いることを目的としたものであり、高精度な視線検出を考慮している反面、眼球に近い位置に検出装置を設置する必要がある。したがって、特殊な眼鏡を必要としたり、頭部と表示装置の正確な位置関係を保つため、表示装置を使用者の頭部に設置する必要があるなどの問題点がある。
【0004】
しかしながら、視線認識を機械とのコミュニケーションに用いる実際の状況を考えてみると、表示装置上の正確な画素単位の位置を指定する前に、使用者が機器とのコミュニケーションや操作を開始する時点を検出することが必要である。また、現在では、複数の機械、複数の使用者が同一場所に存在する状況が多く存在する。この場合に使用者がどの機器を操作するつもりであるか、あるいは複数の使用者のうち操作権を持つのは誰かを特定したいといった用途においては、使用者と機器とのアイコンタクトにより使用者がどの機器を注視しているのか、反対に機器を注視しているのはどの使用者であるのかを同定する必要がある。
【0005】
本発明は上記課題を解決するためになされたもので、その目的とするところは、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断するコミュニケーションシステム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明のある観点によれば、使用者の視野を撮像して第1の画像データを出力する第1のカメラ(視野画像取得カメラ)と、前記使用者が利用する機器に搭載され、該機器を操作可能な位置の映像を撮像して第2の画像データを出力する第2のカメラ(使用者画像取得カメラ)と、前記第1の画像データに基づき前記使用者の視野内における前記機器の有無を認識して機器認識結果を得る機器認識手段と、前記第2の画像データに基づき前記機器を操作可能な位置に前記使用者が存在するか否かを認識して使用者認識結果を得る使用者認識手段と、前記機器認識結果が前記使用者の視野内に前記機器が存在することを示し、かつ前記使用者認識結果が前記機器を操作可能な位置に使用者が存在することを示す状態が閾値以上の時間経過したか否かを判定する判定手段とを具備してなることを特徴とするコミュニケーションシステムが提供される。
【0007】
この発明によれば、使用者画像取得カメラで撮影した画像内に使用者が写っているだけでは、使用者が機器の方向を向いているかどうか判断できないが、視野画像取得カメラで撮影した画像も利用することにより、アイコンタクトの有無を簡便かつ容易に判断することができる。
【0008】
望ましくは、前記機器認識手段、使用者認識手段及び判定手段は、前記使用者により携帯されるか又は前記機器に搭載された1台の情報処理装置に設けられており、前記第1のカメラと前記第2のカメラ及び前記情報処理装置はネットワーク接続可能に構成されていることにより、画像処理を行うための機器認識手段、使用者認識手段及び判定手段として機能する情報処理装置を1台で実現できる。
【0009】
また望ましくは、前記視野画像取得カメラを使用者の頭部に取り付ける固定装置を備える。
【0010】
また望ましくは、前記機器に設けられ、機器を認識するためのマーカを表示する表示装置と、使用者により携帯され、前記機器認識手段で認識された機器の前記表示装置のうち、使用者が注視した部分の画像を表示する携帯表示部とをさらに備え、前記機器認識手段は、前記視野画像データに含まれる前記マーカの撮像画像に基づき機器及び使用者の注視部分を認識する。これにより、使用者が注視している部分の表示画像を使用者側で確認できる。
【0011】
また望ましくは、前記使用者が複数の前記機器を利用する場合に、前記視野画像取得カメラは前記複数の機器の各々に設けられ、前記機器認識手段は、前記使用者の視野内における前記複数の機器の有無を認識する。これにより、複数の使用者あるいは機器を含むコミュニケーションシステムにおける複数の使用者を識別し、また複数の機器を識別することができる。
【0012】
また、上記本発明は、上記コミュニケーションシステムを用いて実現されるコミュニケーション方法、該方法を実現するためのコミュニケーションプログラムとしても成立する。
【発明の効果】
【0013】
本発明によれば、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照しながら本発明の実施形態を説明する。
(第1実施形態)
図1は本発明の第1実施形態に係るアイコンタクトコミュニケーションシステム100の全体構成を示す図である。図1に示すように、視野画像取得カメラ1と、情報処理装置2と、操作の対象とする機器3と、使用者画像取得カメラ4と、情報処理装置5とから構成される。情報処理装置2と5は通信ネットワーク6で接続されている。通信ネットワーク6は有線でも無線でもよく、例えばイーサネット、無線LANなど、既知の情報通信手段が用いられる。
【0015】
視野画像取得カメラ1は、機器3の使用者10である人間の頭部に設置される。設置の際に、使用者10の顔が向いている方向の映像を視野画像として撮像する。撮像された画像は情報処理装置2に出力される。使用者画像取得カメラ4は機器3に搭載され、機器3を操作可能な位置の映像を撮像する。撮像された画像は情報処理装置5に出力される。
【0016】
図2は使用者10に対する視野画像取得カメラ1の固定手法例を示す図である。図2(a)の場合、視野画像取得カメラ1をカメラ固定バンド11に通した上でカメラ固定バンド11を頭に巻き付ける。また、図2(b)の場合、視野画像取得カメラ1をカメラ固定バンド12に通した上で首の下で止める。このように、視野画像取得カメラ1を固定する固定装置としてカメラ固定バンド11や12を用いて視野画像取得カメラ1の撮像方向を使用者10の視野にあわせて固定することにより、視野画像取得カメラ1が使用者10の動きにあわせてその使用者10の顔が向いている方向、すなわち使用者10の視野を撮像することができる。
【0017】
図3は情報処理装置2及び5の詳細な構成を示す図である。情報処理装置2は、視野画像取得カメラ1と同様に使用者が携帯可能に構成されている。情報処理装置2は、例えば携帯電話端末、携帯情報端末などで実現される。情報処理装置5は、使用者画像取得カメラ4に接続されて機器3に搭載されている。
【0018】
情報処理装置2は、プロセッサ21と、データベース22と、表示部23からなる。
【0019】
プロセッサ21は、データベース22からプログラムを読み出すことにより画像管理手段21a、機器認識手段21b、アイコンタクト判定手段21c、通信制御手段21d及び使用者用アプリケーション21eとして機能する。
【0020】
視野画像取得カメラ1で撮像された視野画像信号はプロセッサ21に入力される。画像管理手段21aは、視野画像取得カメラ1からの視野画像信号を視野画像データとしてデータベース22に格納する。機器認識手段21bは、データベース22に格納された視野画像データに基づき視野に機器が存在するか否かを判定し、機器認識結果を得る。機器認識手段21bにおける認識処理は、周知の画像認識処理を用いる。機器認識結果は、機器認識可と、機器認識不可の2つの状態からなる。認識すべき機器が複数ある場合には、機器認識手段21bは、どの機器であるかを識別する。機器認識手段21bは、機器認識可と、機器認識不可の2つの状態のいずれかに識別した機器の機器IDを対応付けてこの機器認識結果を得る。
【0021】
アイコンタクト判定手段21cは、機器認識手段21bで得られた機器認識結果と、情報処理装置5から受信した使用者認識結果とに基づき、アイコンタクトの有無を判定する。判定結果は、アイコンタクト有り、アイコンタクト無しの2つの状態からなる。得られた判定結果は、通信制御手段21dを介して情報処理装置5に送信される。なお、認識すべき使用者又は機器が複数の場合、判定結果も、判定の対象とする機器を識別する機器ID又は判定の対象とする使用者を識別する使用者IDに対応付けて得られる。
【0022】
使用者用アプリケーション21eは、アイコンタクト判定手段21cで得られた判定結果における機器に関する機器データをデータベース22から読み出し表示部23に表示する。認識される機器が複数ある場合には、データベース22の機器データは機器IDに対応付けられて機器毎に格納される。使用者用アプリケーション21eは、判定結果に含まれる機器IDに基づき、その機器IDに対応付けられた機器データをデータベース22から読み出し表示する。
【0023】
また、使用者用アプリケーション21eは、情報処理装置5から受信した機器部分表示データを表示部23に表示する。さらに望ましくは、使用者用アプリケーション21eは、画像管理手段21aで得られた視野画像データを表示部23に表示する。この場合、機器認識手段21bにおける機器認識結果をあわせて表示するのが望ましい。図4は表示部23に表示された視野画像の一例を示す図である。図4(a)は機器3が含まれる視野画像7aであり、視野認識結果は機器認識可である。図4(b)は機器3が含まれない視野画像7bであり、視野認識結果は機器認識不可である。
【0024】
通信制御手段21dは、使用者認識結果及び機器部分表示データを情報処理装置5から受信する。
【0025】
情報処理装置5は、プロセッサ51と、データベース52と、表示部53からなる。
【0026】
プロセッサ51は、データベース52からプログラムを読み出すことにより画像管理手段51a、使用者認識手段51b、通信制御手段51c及び機器用アプリケーション51dとして機能する。
【0027】
使用者画像取得カメラ4で撮像された使用者画像信号はプロセッサ51に入力される。画像管理手段51aは、使用者画像取得カメラ4からの使用者画像信号を視野画像データとしてデータベース52に格納する。使用者認識手段51bは、データベース52に格納された使用者画像データに基づき機器3の操作位置、すなわち機器3の視野内に使用者が存在するか否かを判定し、使用者認識結果を得る。使用者認識手段51bにおける認識処理は、周知の顔画像認識処理を用いる。使用者認識結果は、使用者認識可と、使用者認識不可の2つの状態からなる。認識すべき使用者が複数ある場合には、使用者認識手段51bは、どの使用者であるかを識別する。使用者認識手段51bは、使用者認識可と、使用者認識不可の2つの状態のいずれかに識別した使用者の使用者IDを対応付けてこの使用者認識結果を得る。
【0028】
図5は、画像管理手段51aで得られた使用者画像データの一例を示す図である。図5(a)は使用者10が含まれる使用者画像8aであり、使用者認識結果は使用者認識可である。図5(b)は使用者10が含まれない使用者画像8bであり、使用者認識結果は使用者認識不可である。この図5に示される使用者画像8a,8bは、必要に応じて機器用アプリケーション51dにより表示装置53に表示されてもよいし、情報処理装置2に通信制御手段51cを介して送信され、使用者用アプリケーション21eにより表示部23に表示されてもよい。
【0029】
通信制御手段51cは、使用者認識手段51bで得られた使用者認識結果を情報処理装置2に送信する。また、通信制御手段51cは、情報処理装置2から判定結果を受信し、機器用アプリケーション51dで得られた機器部分表示データを情報処理装置2に送信する。
【0030】
機器用アプリケーション51dは、情報処理装置2から受信した判定結果に含まれる機器と、その判定結果に含まれる視野画像中の機器3の位置に基づき、機器表示データから機器部分表示データを抽出する。得られた機器部分表示データは通信制御手段51cを介して情報処理装置2に送信される。機器用アプリケーション51dは、例えばその機器3での作業内容などの機器表示データを表示装置53に表示する。
【0031】
望ましくは、機器用アプリケーション51dは、機器表示データとともに、マーカデータを含めて表示装置53に表示する。マーカデータを表示する場合、機器認識手段21bは、視野画像データにマーカ画像が含まれるか否かを機器認識結果に反映させてもよい。すなわち、視野画像データにマーカ画像が含まれる場合には機器認識可、マーカ画像が含まれない場合には機器認識不可と判定されるようにしてもよい。また、認識されるべき機器が複数ある場合には、各機器3は、表示装置53に異なるマーカ画像を表示すればよい。この場合、機器認識手段21bは、視野画像データに含まれるマーカ画像の種別を判別することにより、複数の機器を識別できる。データベース22には、予め各マーカ画像の特徴データを格納しておき、この特徴データと視野画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。
【0032】
図6はこのマーカ画像を含めた機器認識を行う場合の機器3側の構成例である。図6の例では、機器3が情報処理装置5そのものである場合を示す例である。プロセッサ51と、このプロセッサ51に接続された表示装置53を備え、この表示装置53上には使用者画像取得カメラ4が設置されている。表示装置53に表示される機器の作業内容などの機器表示画像30に加えて、マーカ画像35が表示装置53中央近傍に位置するように表示されている。機器表示画像30として、マーカ画像35に対して左上、右上、左下、右下の領域にそれぞれ部分表示画像31乃至34が表示される。
【0033】
図7は機器認識を行う場合のマーカ画像を含む視野画像7の一例を示す図である。図7(a)はマーカ画像35が含まれる視野画像7cの一例を示し、視野認識結果は機器認識可である。さらに使用者認識結果が使用者認識可である場合、判定結果はアイコンタクト有りとなる。したがって、図3において説明した通り、当該機器に関する機器部分表示データが抽出される。この機器部分表示データは、機器表示データのうち、視野画像7cのうち、視野の比較的中心にある部分を抽出するのが望ましい。そこで、例えば図7(a)の場合、マーカ画像35が視野画像7cの右下に表示されていることから、この視野画像7cのうちの左上に表示されている機器表示データを部分的に抽出すればよい。
【0034】
具体的には、表示装置53の部分表示画像31に表示されている画像データを、部分表示画像31の画像データを機器部分表示データとして通信制御手段51cを介して情報処理装置2に送信する。この機器部分表示データの抽出を行うため、機器認識結果には、マーカ画像35の視野画像7c内の位置を含めておけばよい。このマーカ画像の視野画像中の位置は、機器認識結果とともに情報処理装置5に送信され、機器用アプリケーション51dがそのマーカ画像位置に基づき抽出すべき機器部分表示データを抽出する。例えば視野画像7cが右上、左上、左下、右下の順に領域111、112、113及び114に分割して判定される場合には、次のように抽出処理を行う。すなわち、領域114にマーカ画像位置が検出される場合には部分表示画像31に対応する表示データが、領域113にマーカ画像位置が検出される場合には部分表示画像32に対応する表示データが、領域112にマーカ画像位置が検出される場合には部分表示画像33に対応する表示データが、領域111にマーカ画像位置が検出される場合には部分表示画像34に対応する表示データが抽出される。
【0035】
使用者用アプリケーション21eは、通信制御手段21dを介して受信したこの機器部分表示データを表示部23に表示する。図7(a)の37は表示部23の表示画面である。表示画面37には、機器部分表示データ38が表示されている。
【0036】
なお、この使用者10の注視する部分のデータ抽出は、情報処理装置5のデータベース52から抽出する場合に限られない。例えば、上記機器用アプリケーション51dで行われた判定手法に基づき、情報処理装置2の使用者用アプリケーション21eが対応する領域の視野画像データを部分的に抽出し、その抽出画像を表示部23に表示してもよい。注視部分の判定は、上記機器用アプリケーション51dで行われる判定手法と共通する。
【0037】
図7(b)はマーカ画像35が含まれない視野画像7dの一例を示す。この場合、機器3の一部である表示装置53が視野画像7dに一部含まれているが、マーカ画像35が含まれていないため、認識処理結果は機器認識不可である。
【0038】
上記実施形態に係るコミュニケーションシステム100のアイコンタクトの判定の詳細を図8のフローチャートに沿って説明する。
【0039】
まず、使用者10の頭部に取り付けられた視野画像取得カメラ1により、視野画像を撮像する(s1)。一方、機器3に搭載された使用者画像取得カメラ4により、機器3の操作位置に映る使用者画像を撮像する(s2)。使用者10側の情報処理装置2内の機器認識手段21bは、得られた視野画像データに基づき機器認識処理を行い機器認識結果を得る(s3)。一方、機器3側の情報処理装置5内の使用者認識手段51bは、得られた使用者画像データに基づき使用者認識処理を行い使用者認識結果を得る(s4)。使用者10側の情報処理装置2内のアイコンタクト判定手段21cは、これら機器認識結果及び使用者認識結果に基づきアイコンタクトの成立の可否を判定する(s5)。アイコンタクトの成立は、機器認識結果が機器認識可で、使用者認識結果が使用者認識可の場合であって、その状態の経過時間Tが閾値Tth以上になるか否かで判定される(s6)。
【0040】
具体的には、機器認識手段21bで得られた機器認識結果が機器認識不可、あるいは使用者認識手段51bで得られた使用者認識結果が使用者認識不可のいずれかである場合には、アイコンタクト判定手段21cはアイコンタクト不成立と判定する(s8)。
【0041】
機器認識手段21bで得られた機器認識結果が機器認識可で、かつ使用者認識手段51bで得られた使用者認識結果が使用者認識可の場合、アイコンタクト判定手段21cは、機器認識可で使用者認識可である時間が閾値Tthを超えたか否かを判定する。閾値Tthを超えた場合、アイコンタクト判定手段21cはアイコンタクト成立と判定し(s7)、閾値Tthを超えない場合、アイコンタクト不成立と判定する(s8)。
【0042】
アイコンタクト成立と判定された場合、例えば使用者用アプリケーション21eや機器用アプリケーション51dのうちの機器使用時のアプリケーションが起動し、機器3の通常の使用が開始される(s9)。
【0043】
このように本実施形態によれば、使用者画像取得カメラ4で撮影した画像内に使用者10が写っているだけでは使用者10が機器3の方向を向いているかどうかを判断できないが、視野画像取得カメラ1の画像をあわせて利用することにより、アイコンタクトの成立の可否を容易に判断することができる。すなわち、機器3が使用者10の視野内に検出され、かつ使用者10が機器3の操作可能な位置を含む視野内に検出されている状態がある一定時間継続していることに基づきアイコンタクトの有無を判別できる。これにより、機器に近づき操作するなどの手間を必要とせず、アイコンタクトで機器の選択や、操作の開始を行うことができる。
【0044】
また、機器を認識するためのマーカを表示装置53に表示させることにより、携帯情報端末などの情報処理装置2側にそのマーカの使用者画像中の位置に基づき使用者が注視している部分を特定することができるため、注視している部分の情報を選択して情報処理装置2側、すなわち使用者10の手元で表示することができる。これにより、表示装置53に近づくことなく、見たい部分を拡大して手元で確認することができる。
【0045】
また、本発明は、複数の機器、複数人の使用者が存在する環境においても、機器に近づけたり、使用者間で機器を交換することなく、ある程度遠隔から使用したい機器を選択し、操作可能とすることができる。
【0046】
なお、本実施形態では、アイコンタクト判定手段21cを情報処理装置2側に配置する場合を示したが、これに限定されない。情報処理装置5側に配置してもよい。
【0047】
図9は情報処理装置5側にアイコンタクト判定手段51eの配置構成例を示す図である。アイコンタクト判定手段51eの機能はアイコンタクト判定手段21cと共通する。また、他の構成は上記図3に示される構成と共通し、同一構成は同一符号を付している。
【0048】
図9に示す構成の場合、画像管理手段21aが視野画像データをデータベース22に格納し、機器認識手段21bが機器認識結果を生成する点は共通する。この機器認識結果は通信制御手段21dを介して情報処理装置5に送信される。
【0049】
情報処理装置5側では、画像管理手段51aが使用者画像データを得てデータベース52に格納する点、使用者認識手段51bが使用者認識結果を生成する点は共通する。
【0050】
情報処理装置5側では、情報処理装置2から送信された機器認識結果と使用者認識手段51bで得られた使用者認識結果に基づきアイコンタクト成立の可否を図3の場合と同様に判定する。得られた判定結果は通信制御手段51cを介して情報処理装置2に送信される。情報処理装置2の使用者用アプリケーション21eは、通信制御手段21dを介して受信された判定結果を表示部23に表示する。また、情報処理装置5側の機器用アプリケーション51dは、アイコンタクト判定手段51eで得られた判定結果と情報処理装置2から送信された機器認識結果に基づき機器表示データ52から機器部分表示データを抽出し、通信制御手段51cを介して情報処理装置2に送信する。情報処理装置2の使用者用アプリケーション21eは、通信制御手段21dを介して受信した機器部分表示データを表示部23に表示する。
【0051】
アイコンタクト判定処理のための各処理内容は図8に示したものと共通する。また、上記で特に言及していない処理については、図3に基づき説明した処理と共通する。
【0052】
このように、アイコンタクト判定手段51eを情報処理装置5側に配置しても、上記実施形態と同様に、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。
【0053】
(第2実施形態)
本実施形態は第1実施形態の変形例に係わる。本実施形態は、視野画像取得カメラ1及び使用者画像取得カメラ4に替えてネットワーク接続可能な視野画像取得カメラ60及び使用者画像取得カメラ70を用いる。この場合、機器3側に情報処理装置5を設ける必要がないため、使用者10側の情報処理装置80が1台でアイコンタクトの成立を判定できる。
【0054】
図10は本実施形態に係るアイコンタクトコミュニケーションシステム200の構成を示す図である。図10に示すように、視野画像取得カメラ60で取得された視野画像信号と、使用者画像取得カメラ70で取得された使用者画像信号のいずれも無線通信などにより情報処理装置80に送信される。
【0055】
図11は視野画像取得カメラ60、使用者画像取得カメラ70及び情報処理装置80の詳細な構成を示す図である。視野画像取得カメラ60及び使用者画像取得カメラ70は、情報処理装置80と無線により通信可能とするために通信制御手段61b及び71bをそれぞれ備える。また、情報処理装置80の各構成は機器認識手段21bの代わりに認識手段210bを備える以外ほぼ同じであるが、各構成の処理内容が若干異なる。
【0056】
視野画像取得カメラ60では、画像取得手段61aで取得された視野画像信号は、通信制御手段61bを介して情報処理装置80に無線により送信される。
【0057】
使用者画像取得カメラ70では、画像取得手段71aで取得された使用者画像信号は、通信制御手段71bを介して情報処理装置80に無線により送信される。
【0058】
情報処理装置80の通信制御手段21dは、視野画像取得カメラ60から視野画像信号を受信し、使用者画像取得カメラ70から使用者画像信号を受信する。画像管理手段21aは、これら視野画像信号と使用者画像信号を視野画像データ及び使用者画像データとしてデータベース22に格納する。認識手段210bは、図3に示す機器認識手段21bと使用者認識手段51bとをあわせた機能を備える。すなわち、認識手段210bは、データベース22に格納された視野画像データに基づき機器認識を行い、機器認識結果を得るとともに、データベース22に格納された使用者画像データに基づき使用者認識を行い、使用者認識結果を得る。アイコンタクト判定手段21cは、認識手段210bで得られた機器認識結果及び使用者認識結果に基づきアイコンタクトの有無を判定する。使用者用アプリケーション21eは、アイコンタクト判定手段21cで得られた判定結果に基づき機器データ22を取得し、あるいは視野画像データの一部を含む機器部分表示データを生成して表示部23に表示する。機器部分表示データの生成は、上記第1実施形態と共通する。
【0059】
このように本実施形態によれば、第1実施形態のアイコンタクトコミュニケーションシステム100と同様の作用効果を奏するのみならず、情報処理装置80が1台のみでアイコンタクトコミュニケーションシステム200が実現可能である。
【0060】
本発明は上記実施形態に限定されない。
【0061】
上記実施形態では、各プログラムがデータベース22及び52から読み出されてプロセッサ21及び51で実行される例として示したが、これら各プログラムはプロセッサ21又は51に接続された不図示の記録媒体読取装置から、記録媒体に記録されたプログラムを読み出すことにより実行されてもよい。
【0062】
また、上記実施形態では使用者10を認識する使用者認識結果を得る処理については特に詳細に言及しなかったが、図6や図7を用いて説明したマーカを用いた機器3を認識する処理を使用者10の認識に適用してもよい。この場合、使用者10にマーカを付す必要があるが、例えばカメラ固定バンド11,12の一部や、視野画像取得カメラ1や60の一部をマーカとしたり、視野画像取得カメラ1にマーカを付してもよい。マーカは、他の部分に比して画像処理で顕著に相違が生じるようなもの、すなわち他の部分とは異なる部材などで構成すればよい。また、機器3でも同様に、他の部分とは異なる部材で構成されたマーカを用いれば、表示装置53にマーカ画像を表示する必要がない。
【0063】
また、認識されるべき使用者10が複数ある場合にマーカを用いるためには、各使用者10は、異なるマーカを用いればよい。この場合、使用者認識手段51b又は認識手段210bは、使用者画像データに含まれるマーカ画像の種別を判別することにより、複数の使用者を識別できる。データベース52又は22には、予め各マーカ画像の特徴データを格納しておき、この特徴データと使用者画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。
【0064】
また、第2実施形態では、使用者10側に情報処理装置80を設けることにより一括処理する形態を示したが、これに限定されない。情報処理装置80に相当する構成を機器3側に設置してもよい。
【0065】
また、機器認識手段21b、使用者認識手段51b、認識手段210bは、機器認識結果と使用者認識結果を2値、すなわち機器や使用者を認識できたか否かのみを判定する場合を示したが、これに限定されない。例えば認識の程度に応じてこれら機器認識結果と使用者認識結果を多値化し、アイコンタクトの判定に用いてもよい。
【0066】
また、使用者画像取得カメラ4及び情報処理装置5は機器3側に搭載され、固定される場合を示しているが、機器3が移動する構成である場合には、この移動する機器3にあわせて使用者画像取得カメラ4及び情報処理装置5が移動するように構成してもよい。
【0067】
また、使用者10と機器3との間でのアイコンタクトを例に説明したが、使用者10同士のアイコンタクトに用いてもよい。この場合、例えば第1実施形態では使用者画像取得カメラ4の代わりに視野画像取得カメラ1を用い、2つの視野画像取得カメラ1を2人の使用者10にそれぞれ固定すればよい。
【産業上の利用可能性】
【0068】
以上説明したようにこの発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステムの技術分野に有効である。
【図面の簡単な説明】
【0069】
【図1】本発明の第1実施形態に係るアイコンタクトコミュニケーションシステムの全体構成を示す図。
【図2】同実施形態に係る使用者に対する視野画像カメラの固定手法を示す図。
【図3】同実施形態に係る情報処理装置の詳細な構成を示す図。
【図4】同実施形態に係る表示部に表示された視野画像の一例を示す図。
【図5】同実施形態に係る画像管理手段で得られた使用者画像データの一例を示す図。
【図6】同実施形態に係るマーカ画像を含めた機器認識を行う場合の機器側の構成例を示す図。
【図7】同実施形態に係るマーカ画像を含めた機器認識を行う場合の視野画像の一例を示す図。
【図8】同実施形態に係るアイコンタクト判定までのフローチャートを示す図。
【図9】同実施形態に係るアイコンタクト判定を機器側で行う場合の情報処理装置の詳細な構成を示す図。
【図10】本発明の第2実施形態に係るアイコンタクトコミュニケーションシステムの構成を示す図。
【図11】同実施形態に係る視野画像取得カメラ、使用者画像取得カメラ及び情報処理装置の詳細な構成を示す図。
【符号の説明】
【0070】
1…視野画像取得カメラ、2…情報処理装置、3…機器、4…使用者画像取得カメラ、5…情報処理装置、6…通信ネットワーク、10…使用者、11,12…カメラ固定バンド、100…アイコンタクトシミュレーションシステム
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10