TOP > 国内特許検索 > アイコンタクトコミュニケーションシステム、方法及びプログラム > 明細書

明細書 :アイコンタクトコミュニケーションシステム、方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4310434号 (P4310434)
公開番号 特開2005-190225 (P2005-190225A)
登録日 平成21年5月22日(2009.5.22)
発行日 平成21年8月12日(2009.8.12)
公開日 平成17年7月14日(2005.7.14)
発明の名称または考案の名称 アイコンタクトコミュニケーションシステム、方法及びプログラム
国際特許分類 G06T   1/00        (2006.01)
G06T   7/60        (2006.01)
FI G06T 1/00 340A
G06T 7/60 150P
請求項の数または発明の数 6
全頁数 15
出願番号 特願2003-431513 (P2003-431513)
出願日 平成15年12月25日(2003.12.25)
新規性喪失の例外の表示 特許法第30条第1項適用 2003年9月8日~10日 大阪府立大学において開催された第19回ファジィシステムシンポジウムで発表
特許法第30条第1項適用 2003年9月25日~28日 Jeju Korea大学において開催されたISIS2003で発表
審査請求日 平成18年1月23日(2006.1.23)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】山口 亨
【氏名】高間 康史
個別代理人の代理人 【識別番号】100058479、【弁理士】、【氏名又は名称】鈴江 武彦
【識別番号】100113099、【弁理士】、【氏名又は名称】和田 祐造
【識別番号】100117547、【弁理士】、【氏名又は名称】須田 浩史
審査官 【審査官】松永 隆志
参考文献・文献 特開平10-301675(JP,A)
特表平11-508780(JP,A)
調査した分野 G06T 1/00
G06T 7/60
特許請求の範囲 【請求項1】
使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、
使用者が利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、
前記使用者画像取得カメラから得られる使用者画像データに基づき、前記使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と前記使用者の頭部モデルとから前記使用者の第1視線方向を検出する第1視線方向検出手段と、
前記視野画像取得カメラから得られる視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出する第2視線方向検出手段と、
前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶装置に記憶させキャリブレーション処理手段
前記アイコンタクト成立条件の記憶後に、前記第1視線方向検出手段により前記使用者画像データに基づき検出された第1視線方向と、前記記憶装置から読み出されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定するアイコンタクト判定手段と
を具備してなることを特徴とするアイコンタクトコミュニケーションシステム。
【請求項2】
前記キャリブレーション処理手段は、前記検出された第1視線方向と第2視線方向との差が所定の範囲内にない場合に、前記使用者の頭部モデルを補正して、この補正後の頭部モデルをもとに前記第1視線方向検出手段に第1視線方向の検出処理を再度行わせ、この再検出された第1視線方向と前記第2視線方向との差が所定の範囲内にあるか否かを判定する再判定処理を、当該差が所定の範囲内になるまで繰り返すことを特徴とする請求項1に記載のアイコンタクトコミュニケーションシステム。
【請求項3】
前記視野画像取得カメラと前記使用者画像取得カメラはネットワーク接続可能に構成され、前記第1視線方向検出手段、第2視線方向検出手段、キャリブレーション処理手段及び記憶装置は、使用者により携帯され、又は前記機器に搭載された1台の情報処理装置に設けられていることを特徴とする請求項1に記載のアイコンタクトコミュニケーションシステム。
【請求項4】
前記機器を複数の使用者が共有する場合に、使用者画像取得カメラはパンフォーカス可能なカメラであり、前記第1視線方向検出手段は、前記使用者画像取得カメラのパンフォーカス撮像動作により得られた画像データをもとに前記複数の使用者の各々について第1の視線方向を検出することを特徴とする請求項1に記載のアイコンタクトコミュニケーションシステム。
【請求項5】
使用者の視野を視野画像取得カメラにより撮像して視野画像データを出力し、
機器を操作する位置であって該機器を利用する前記使用者を使用者画像取得カメラにより撮像して使用者画像データを出力し、
前記使用者画像データに基づき、前記使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と前記使用者の頭部モデルとから前記使用者の第1視線方向を検出し、
前記視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出し、
前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶し、
前記アイコンタクト成立条件の記憶後に、前記使用者画像データに基づき検出された第1視線方向と、前記記憶されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定する
ことを特徴とするアイコンタクトコミュニケーション方法。
【請求項6】
機器を操作する位置であって該機器を利用する使用者を撮像して得られる使用者画像データに基づき、前記使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と前記使用者の頭部モデルとから前記使用者の第1視線方向を検出する処理と、
前記使用者の視野を撮像して得られた視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出する処理と、
前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶させるキャリブレーション処理と、
前記アイコンタクト成立条件の記憶後に、前記使用者画像データに基づき検出された第1視線方向と、前記記憶されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定する処理と
を、コンピュータに実行させるアイコンタクトコミュニケーションプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステム、方法及びプログラムに関する。
【背景技術】
【0002】
従来、視線を検出することにより使用者たる人間と機械との情報通信を行う視線認識コミュニケーション装置としては、例えば特開平6-51901号公報(特許文献1)や、特公昭60-17125号公報(特許文献2)がある。これら特許文献1及び2に示されているように、眼球の方向に基づき使用者の視線を検出するものが知られている。

【特許文献1】特開平6-51901号公報
【特許文献2】特公昭60-17125号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
上記技術では、マウスなどのポインティングデバイスの代替として視線による注視を用いることを目的としたものであり、高精度な視線検出を考慮している反面、眼球に近い位置に検出装置を設置する必要がある。したがって、特殊な眼鏡を必要としたり、頭部と表示装置の正確な位置関係を保つため、表示装置を使用者の頭部に設置する必要があるなどの問題点がある。
【0004】
しかしながら、視線認識を機械とのコミュニケーションに用いる実際の状況を考えてみると、表示装置上の正確な画素単位の位置を指定する前に、使用者が機器とのコミュニケーションや操作を開始する時点を検出することが必要である。また、現在では、複数の機械、複数の使用者が同一場所に存在する状況が多く存在する。この場合に使用者がどの機器を操作するつもりであるか、あるいは複数の使用者のうち操作権を持つのは誰かを特定したいといった用途においては、使用者がどの機器を注視しているのか、反対に機器を注視しているのはどの使用者であるのかを同定する必要がある。
【0005】
本発明は上記課題を解決するためになされたもので、その目的とするところは、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断するアイコンタクトコミュニケーションシステム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明のある観点によれば、使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、使用者が利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、前記使用者画像取得カメラから得られる使用者画像データに基づいて使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と使用者の頭部モデルとから前記使用者の第1視線方向を検出する第1視線方向検出手段と、前記視野画像取得カメラから得られる視野画像データに基づいて前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出する第2視線方向検出手段と、前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶装置に記憶させキャリブレーション処理手段と、前記アイコンタクト成立条件の記憶後に、前記第1視線方向検出手段により前記使用者画像データに基づき検出された第1視線方向と、前記記憶装置から読み出されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定するアイコンタクト判定手段とを具備してなることを特徴とするアイコンタクトコミュニケーションシステムが提供される。
【0007】
また、本発明の別の観点によれば、使用者の視野を視野画像取得カメラにより撮像して視野画像データを出力し、機器を操作する位置であって該機器を利用する使用者を撮像して使用者画像データを出力し、前記使用者画像データに基づき、使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と使用者の頭部モデルとから前記使用者の第1視線方向を検出し、前記視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出し、前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶し、前記アイコンタクト成立条件の記憶後に、前記使用者画像データに基づき検出された第1視線方向と、前記記憶されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定することを特徴とするアイコンタクトコミュニケーション方法が提供される。
【0008】
また、本発明のさらに別の観点によれば、機器を操作する位置であって該機器を利用する使用者を撮像して得られる使用者画像データに基づき、使用者の口領域をマーカとして画像認識処理により当該口領域の重心を検出し、この検出された口領域の重心と使用者の頭部モデルとから前記使用者の第1視線方向を検出する処理と、上記使用者の視野を撮像して得られた視野画像データに基づき、前記機器のマーカの位置を画像認識処理により検出し、この検出された機器のマーカの位置をもとに前記使用者の第2視線方向を検出する処理と、前記検出された第1視線方向と第2視線方向との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、前記第1視線方向又は前記第2視線方向のいずれかをアイコンタクト成立条件として記憶させるキャリブレーション処理と、前記アイコンタクト成立条件の記憶後に、前記使用者画像データに基づき検出された第1視線方向と、前記記憶されたアイコンタクト成立条件との差が所定の範囲内にあるか否かを判定し、所定の範囲内にある場合にアイコンタクト成立と判定する処理とを、コンピュータに実行させるアイコンタクトコミュニケーションプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照しながら本発明の実施形態を説明する。
(第1実施形態)
図1は本発明の第1実施形態に係るアイコンタクトコミュニケーションシステム100の全体構成を示す図である。このコミュニケーションシステム100は、アイコンタクト前のキャリブレーション時のシステム構成図である。
【0011】
図1に示すように、視野画像取得カメラ1と、情報処理装置2と、対象機器3と、使用者画像取得カメラ4と、情報処理装置5とから構成される。情報処理装置2と5は通信ネットワーク6で接続されている。通信ネットワーク6は有線でも無線でもよく、例えばイーサネット、無線LANなど、既知の情報通信手段が用いられる。
【0012】
情報処理装置2は、視野画像取得カメラ1と同様に使用者が携帯可能に構成されている。情報処理装置2は、例えば携帯電話端末、携帯情報端末などで実現される。情報処理装置5は、使用者画像取得カメラ4に接続して機器3に搭載されている。
【0013】
視野画像取得カメラ1は、対象機器3を使用する使用者10である人間の頭部に設置される。設置の際に、使用者10の顔が向いている方向の映像を視野画像として撮像する。撮像された画像は情報処理装置2に出力される。使用者画像取得カメラ4は、対象機器3を操作可能な位置の映像を撮像する。撮像された画像は情報処理装置5に出力される。使用者画像取得カメラ4は、機器3に搭載され、機器3を操作可能な位置に関する映像を撮像する。
【0014】
図2は使用者10に対する視野画像取得カメラ1の固定手法を示す図である。図2(a)は視野画像取得カメラ1をカメラ固定バンド11に通した上でカメラ固定バンド11を頭に巻き付ける。また、図2(b)は視野画像取得カメラ1をカメラ固定バンド12に通した上でカメラ固定バンド12を頭から首の下で止める。このように、視野画像取得カメラ1を固定する固定装置としてカメラ固定バンド11や12を用いて視野画像取得カメラ1の撮像方向を使用者10の視野にあわせて固定することにより、視野画像取得カメラ1が使用者10の動きにあわせてその使用者10の顔が向いている方向、すなわち使用者10の視野を撮像することができる。
【0015】
図3は情報処理装置2及び5の詳細な構成を示す図である。
【0016】
情報処理装置2は、プロセッサ21と、データベース22と、表示部23からなる。
【0017】
プロセッサ21は、データベース22からプログラムを読み出すことにより画像管理手段21a、第2視線方向検出手段21b、通信制御手段21c及び使用者用アプリケーション21dとして機能する。
【0018】
画像管理手段21aは、視野画像取得カメラ1で撮像された視野画像信号を取得してプロセッサ21に出力する。画像管理手段21aは、視野画像取得カメラ1からの視野画像信号を視野画像データとしてデータベース22に格納する。第2視線方向検出手段21bは、データベース22に格納された視野画像データに基づき使用者10の視線方向を検出する。得られた使用者10の視線方向は、第2視線方向として通信制御手段21cを介して情報処理装置5に送信される。
【0019】
使用者用アプリケーション21dは、通信制御手段21cを介して受信したキャリブレーション結果、アイコンタクト判定結果、機器部分表示データなどを表示部23に表示する。また、受信したアイコンタクト判定結果における機器に関する機器データをデータベース22から読み出し表示部23に表示する。認識される機器が複数ある場合には、データベース22の機器データは機器IDに対応付けられて機器毎に格納される。使用者用アプリケーション21dは、アイコンタクト判定結果に含まれる機器IDに基づき、その機器IDに対応付けられた機器データをデータベース22から読み出し表示する。
【0020】
通信制御手段21cは、キャリブレーション結果、アイコンタクト結果及び機器部分表示データを情報処理装置5から受信する。
【0021】
情報処理装置5は、プロセッサ51と、データベース52と、表示装置53からなる。
【0022】
プロセッサ51は、データベース52からプログラムを読み出すことにより画像管理手段51a、第1視線方向検出手段51b、キャリブレーション判定手段51c、アイコンタクト判定手段51d、通信制御手段51e及び機器用アプリケーション51fとして機能する。
【0023】
まず、キャリブレーションに関する情報処理装置5の機能を説明する。
【0024】
画像管理手段51aは、使用者画像取得カメラ4で撮像された使用者画像信号を取得してプロセッサ51に出力する。画像管理手段51aは、使用者画像取得カメラ4からの使用者画像信号を視野画像データとしてデータベース52に格納する。
【0025】
第1視線方向検出手段51bは、データベース52に格納された使用者画像データに基づき使用者10の視線方向を検出する。以下、この使用者画像に基づき得られた視線方向を第1視線方向と呼ぶ。
【0026】
キャリブレーション判定手段51cは、通信制御手段51eを介して情報処理装置2から受信した第2視線方向と、第1視線方向検出手段51bで得られた第1視線方向とに基づきキャリブレーション判定を行う。キャリブレーションが終了すると、キャリブレーション結果をアイコンタクト成立条件としてデータベース52に格納する。
【0027】
次に、キャリブレーション後の機器使用開始時の情報処理装置5の機能を説明する。
【0028】
アイコンタクト判定手段51dは、第1視線方向検出手段51bで得られた機器使用開始時の第1視線方向と、予めデータベース52に格納しておいたアイコンタクト成立条件を比較し、アイコンタクト成立の可否を判定する。成立の可否の判定結果は通信制御手段51eを解して情報処理装置2に送信される。
【0029】
機器用アプリケーション51fは、判定結果に含まれる機器の情報に基づき、機器表示データから機器部分表示データを抽出する。得られた機器部分表示データは通信制御手段51eを介して情報処理装置2に送信される。また、機器用アプリケーション51fは、例えばその機器3での作業内容などの機器表示データを表示装置53に表示する。
【0030】
機器用アプリケーション51fは、機器表示データとともに、マーカデータを含めて表示装置53に表示してもよい。
【0031】
図4は第1視線方向、すなわち使用者画像に基づく使用者10の視線方向の検出例を説明するための模式図である。図4は、機器3に設置された使用者画像取得カメラ4の角度2φの画像取得範囲に、検出の対象とする使用者10の使用者頭部10aが含まれている場合である。一例として、使用者頭部10aのうち、使用者10の口、すなわち図4の口領域10bをマーカとして用いる。使用者頭部10aは、半径rの円形の使用者頭部モデルで近似してあるが、他の形状で近似してもよい。使用者画像取得カメラ4と使用者頭部10aの中心Oとを結んだ直線に平行にz軸が示され、このz軸に垂直な方向にx軸及びy軸が示されている。使用者画像取得カメラ4から使用者頭部10aの中心Oまでの距離はdである。口領域10bの重心は、周知の画像認識技術により検出される。この場合、像面13における位置xが測定された場合、d、rおよびφが既知であるとすると、使用者10の第1視線方向θは以下の式(1)~(3)により求められる。ここで、φは画角により、rは使用者頭部モデルにより求められる。
【0032】
θ=π-(θ+θ) …(1)
sinθ=(d/r)・sinθ …(2)
tanθ=(|x-x|/x)・tanφ …(3)
は、使用者画像取得カメラ4と使用者頭部10aの中心Oとを結んだ直線Lと、像面13との交わる位置のx座標である。θは、口領域10bの重心と使用者画像取得カメラ4とを結んだ直線Lが、直線Lとなす角度である。θは、中心Oと口領域10bの重心とを結んだ直線が直線Lとなす角度である。
【0033】
この使用者頭部モデルと口領域10bをマーカとした使用者10の注視方向の検出は、口領域10bの重心の検出精度などにより誤差が生じやすいという問題がある。
【0034】
そこで、視野画像取得カメラ1により撮影された視野画像に基づき、上記式(1)~(3)により得られた距離や角度の算出結果と比較することにより、キャリブレーションを行う。
【0035】
図5は第2視線方向、すなわち視野画像に基づく使用者10の視線方向の検出例を説明するための模式図である。図5は、使用者10の頭部に設置された視野画像取得カメラ1の角度2φの画像取得範囲に、検出の対象とする機器3のマーカ35が含まれている場合である。マーカ35は、機器3の表面に他の部材とは異なる部材等により形成された部分であってもよいし、例えば表示装置53に表示されたマーカ画像であってもよい。視野画像取得カメラ1とその画像取得範囲の中心とを結んだ直線lに平行にz軸が示され、このz軸に垂直な方向にx軸及びy軸が示されている。視野画像取得カメラ1からマーカ35までの距離はdである。マーカ35の位置は、周知の画像認識技術により検出される。この場合、視野画像内のマーカ35の像面16におけるx座標が測定された場合、マーカ35の機器3表面における視線方向からの距離d、φが既知であるとすると、使用者10の第2視線方向θは以下の式(4)及び(5)により求められる。ここで、φは画角により求められる。
【0036】
θ=tan-1(d/d) …(4)
=(x/|x-x|)・(d/tanφ) …(5)
は、直線lの像面16におけるx座標である。このように、視野画像取得カメラ1で撮像したマーカ35を含む視野画像を用いることにより、使用者画像取得カメラ4の場合よりも正確な距離と角度の計算が可能である。
【0037】
図6及び図7はアイコンタクト判定時の機器部分表示データの表示手法を説明するための図である。
【0038】
図6は、表示装置53を含む機器3の構成の一例を示す図である。この図6に示す表示装置53に対して、例えば使用者10の視線方向が、図7(a)に示す視野101で示すような範囲にある場合を想定する。この場合、第1視線方向検出手段51bは、第1視線方向θの算出により、表示装置53の右上、右下、左上、左下のいずれを見ているかを判定することができる。一例としては、予め第1視線方向θの範囲、右上、右下、左上、左下などの見ている領域の種別とを対応付けた領域判定テーブルをデータベース52に記憶しておき、この領域判定テーブルを読み出し測定された第1視線方向θと比較する。これにより、どの領域を使用者10が見ているかを判別できる。この判別結果に基づき機器用アプリケーション51fはデータベース52から表示領域に対応する機器部分表示データを抽出し、通信制御手段51eを介して情報処理装置2に送信する。情報処理装置2内の使用者用アプリケーション21dは、通信制御手段21cを介して受信した機器部分表示データを表示部23に表示する。図7(b)の37は表示部23の表示画面である。表示画面37には、機器部分表示データ38として、表示装置53に表示された内容のうち、特に使用者10が注視している「1.…」の部分が表示されている。
【0039】
図8は上記実施形態に係るアイコンタクトを用いた機器の使用のフローチャートを示す図である。図8に示すように、このアイコンタクトコミュニケーションシステム100では、視野画像取得カメラ1及び使用者画像取得カメラ4の双方を用いたキャリブレーションを行い、アイコンタクト成立条件Θを求める(s1)。次に、キャリブレーションで求めたアイコンタクト成立条件Θを用いてアイコンタクト判定を行う(s2)。このアイコンタクト判定で、アイコンタクトが成立したと判定された場合、機器3の使用が開始される(s3)。
【0040】
図9は(s1)のキャリブレーションの処理の詳細のフローチャートを示す図である。図9に示すように、まず、使用者10の機器3を使用する時の状態での位置決めを行う(s11)。この位置決めにより、実際に機器3を移動させたり、使用者10が移動し、機器3を使用するのに最適と思われる状態にされる。
【0041】
位置決めが終了すると、機器3側では、使用者画像取得カメラ4により使用者画像が撮像され(s12)、さらに上記図4に示した手法に基づき、使用者10の第1視線方向θが算出される(s14)。一方、使用者10側では、視野画像取得カメラ1により視野画像が撮像され(s13)、さらに上記図5に示した手法に基づき、使用者10の第2視線方向θが撮像される(s15)。機器3に設けられたキャリブレーション判定手段51cは、これら第1視線方向θ及び第2視線方向θに基づき、キャリブレーション判定を行う(s16)。このキャリブレーション判定において、第1視線方向θ及び第2視線方向θとがほぼ一致するか、より具体的には所定の範囲θth内にあるかが以下の式(6)により判定される(s17)。
【0042】
|θ-θ|≦θth …(6)
上記式(6)を満たす場合、キャリブレーションが成功したことを示すキャリブレーション結果が情報処理装置2に送信され、表示部23に表示され、かつその成功したときの第1視線方向θをアイコンタクト条件Θとしてデータベース52に格納する(s19)。
【0043】
上記式(6)を満たさない場合、キャリブレーションが失敗していることを示すキャリブレーション結果が情報処理装置2に送信され、表示部23に表示される(s18)。使用者10は、この表示部23の表示を確認し、キャリブレーションを成功するためにモデル補正を行う(s20)。モデルの補正は、上記図4に示される各パラメータの補正であり、一例としては、dの補正、ファジィモデルなどを用いたり、使用者頭部10aの半径rの変更や、使用者頭部10aの頭部の形状の変更などであるが、これらに限定されないことはもちろんである。このモデル補正は、情報処理装置2や5に接続可能な不図示の入力装置から人が手動で補正値を入力することにより行われてもよいし、補正アルゴリズムを情報処理装置5に備えておいてもよい。
【0044】
そして、補正されたモデルについて、再度(s11)~(s17)に示される画像撮像、視線方向検出及びキャリブレーション判定が行われる。このように、キャリブレーションが失敗している限り、補正されたモデルについて繰り返しキャリブレーション失敗を表示する。これにより、最適な視線方向検出モデルに基づいたアイコンタクトの判定が実現できる。
【0045】
なお、このキャリブレーションにおいて、1つの機器3を複数の使用者10が使用するような場合には、使用者画像取得カメラ4をパンフォーカス可能なカメラを用いるのが望ましい。そして、各使用者10毎に上記キャリブレーションを済ませておく。すなわち、使用者10毎にアイコンタクト成立条件Θを取得しておく。アイコンタクト検出時には、使用者画像取得カメラ4をパンフォーカスすることによって、各使用者10の画像を撮影し、各使用者について第1視線方向θを検出する。使用者は、使用者10に付したマーカや、周知の顔画像認識技術により識別することができる。そして、使用者毎にアイコンタクト成立条件Θと比較しアイコンタクトの成立を判定する。
【0046】
図10は(s2)のアイコンタクト判定処理の詳細のフローチャートを示す図である。このアイコンタクト判定処理では、視野画像取得カメラ1は用いられない。
【0047】
図10に示すように、まず、使用者10が機器3を使用するために移動する(s21)。この使用者10を含む機器3の走査位置の使用者画像を使用者画像取得カメラ4を用いて撮像する(s22)。得られた使用者画像信号はネットワークを介して情報処理装置5に送信される。情報処理装置5は、受信した使用者画像信号に基づき使用者画像データをデータベース52に格納する。第1視線方向検出手段51bは、データベース52に格納されたアイコンタクト判定時の使用者画像データを読み出し第1視線方向θを検出する(s23)。この第1視線方向θの検出手法はキャリブレーションにおける第1視線方向θの検出と共通する。次に、アイコンタクト判定手段51dは、アイコンタクト判定時について得られた第1視線方向θとデータベース52に予め格納されたアイコンタクト判定条件Θに基づきアイコンタクト判定を行う(s24)。具体的には、アイコンタクト判定手段51dは、第1視線方向θとアイコンタクト判定条件Θと、すなわちキャリブレーションで登録された視線方向とを比較し、両者が所定の値θth以下、すなわち|θ-Θ|≦θthを満たすか否かを判定する。満たす場合には、使用者10の顔方向が使用者画像取得カメラ4の中心付近を向いている状態でありアイコンタクトが成立したと判定される。得られた判定結果は通信制御手段51eを介して情報処理装置2に送信され、使用者用アプリケーション21dにより使用者10側の表示部23に表示され、機器3使用時のアプリケーションが起動される。また、機器用アプリケーション51fは、判定結果に基づき機器3使用時のアプリケーションを起動し、機器3の使用が開始される(s3)。
【0048】
このように本実施形態によれば、機器に設置したカメラで撮影した画像を処理し、対象物体を検出する情報処理装置を用いて、使用者が対象機器を注視している状態を検出することにより、アイコンタクトによるコミュニケーションを実現する。この場合、アイコンタクトを含む機器使用時に、使用者頭部にカメラを設置するなどの負担をかけることなくコミュニケーションを実現できる。
【0049】
また、視線方向の検出に関する精度の高い使用者頭部のカメラからの画像をキャリブレーションに用いることにより、アイコンタクトの精度を向上できる。
【0050】
(第2実施形態)
本実施形態は第1実施形態の変形例に係わる。本実施形態は、視野画像取得カメラ1及び使用者画像取得カメラ4に替えてネットワーク接続可能な視野画像取得カメラ60及び使用者画像取得カメラ70を用いる。
【0051】
図11は視野画像取得カメラ60、使用者画像取得カメラ70及び情報処理装置50の詳細な構成を示す図である。視野画像取得カメラ60及び使用者画像取得カメラ70は、情報処理装置50と無線により通信可能とするために通信制御手段61b及び71bをそれぞれ備える。また、情報処理装置50の各構成は図3の第1視線方向検出手段51bの代わりに視線方向検出手段111bを備える点、通信制御手段51gを備える点以外ほぼ同じであるが、各構成の処理内容が若干異なる。特に言及しない限り、本実施形態のシステムは、第1実施形態と同様の構成、機能及び動作を有する。
【0052】
視野画像取得カメラ60では、画像取得手段61aで取得された視野画像信号は、通信制御手段61bを介して情報処理装置50に無線により送信される。
【0053】
使用者画像取得カメラ70では、画像取得手段71aで取得された使用者画像信号は、通信制御手段71bを介して情報処理装置50に無線により送信される。
【0054】
情報処理装置50の通信制御手段51gは、視野画像取得カメラ60から視野画像信号を受信し、使用者画像取得カメラ70から使用者画像信号を受信する。画像管理手段51aは、これら視野画像信号と使用者画像信号を視野画像データ及び使用者画像データとしてデータベース52に格納する。視線方向検出手段111bは、図3に示す第1視線方向検出手段51b及び第2視線方向検出手段21bとをあわせた機能を備える。すなわち、視線方向検出手段111bは、データベース52に格納された使用者画像データに基づき第1視線方向θを得るとともに、視野画像データに基づき第2視線方向θを得る。キャリブレーション判定手段51cは、得られた第1視線方向θと第2視線方向θとに基づきキャリブレーションを行い、アイコンタクト成立条件Θをデータベース52に格納する。アイコンタクト判定手段51dは、アイコンタクト判定時に上記と同様に使用者画像データから得られた第1視線方向θと、アイコンタクト成立条件Θとに基づきアイコンタクトの有無を判定する。機器用アプリケーション51fは、アイコンタクト判定手段51dで得られた判定結果に基づき、あるいは視線方向検出手段111bで得られた第1視線方向θに基づき機器部分表示データを生成して表示部23に表示し、あるいは情報処理装置2に送信して使用者用アプリケーション21dにより表示部23に表示させる。また、キャリブレーション結果、アイコンタクト判定結果もこの機器部分表示データとともに通信制御手段51eを介して情報処理装置2に送信され、表示部23に表示される。
【0055】
このように本実施形態によれば、第1実施形態のアイコンタクトコミュニケーションシステム100と同様の作用効果を奏するのみならず、使用者10側の情報処理装置2に視線方向を検出するための格別の構成を設けることなくキャリブレーション及びアイコンタクトの判定が可能となる。
【0056】
(第3実施形態)
本実施形態は第1及び第2実施形態の変形例に係わる。図12は本実施形態に係わるアイコンタクトコミュニケーションシステム300の構成の一例を示す図である。本実施形態は、情報処理装置5を必要としない点で第2実施形態と異なる。すなわち、第2実施形態では、機器3側の情報処理装置50に画像管理手段51a、視線方向検出手段111b、キャリブレーション判定手段51c、アイコンタクト判定手段51d、機器用アプリケーション51fを設ける場合を示したが、本実施形態ではこれらのうち機器用アプリケーション51fを除いて情報処理装置2に画像管理手段21a、視線方向検出手段121b、キャリブレーション判定手段121c、アイコンタクト判定手段121d、使用者用アプリケーション12dを設ける。特に言及しない限り、本実施形態のシステムは、第1あるいは第2実施形態と同様の構成、機能及び動作を有する。
【0057】
詳細な機能については第2実施形態の構成とほぼ共通するので省略する。
【0058】
このように、情報処理装置2にこれらキャリブレーション、アイコンタクト判定に必要な構成を配置することで、1台の情報処理装置でコミュニケーションが実現できる。
【0059】
もちろん、使用者10側で表示部23に機器部分表示データなどを表示する必要がなければ、情報処理装置2に代えてそのまま情報処理装置5に上記構成を設けてもよい。この場合、使用者10側に情報処理装置2を設ける必要がないため、使用者10側の情報処理装置2が1台でアイコンタクトの成立を判定できる。
【0060】
本発明は上記実施形態に限定されない。
【0061】
上記第1実施形態では、各プログラムがデータベース22及び52から読み出されてプロセッサ21及び51で実行される例として示したが、これら各プログラムはプロセッサ21又は51に接続された不図示の記録媒体読取装置から、記録媒体に記録されたプログラムを読み出すことにより実行されてもよい。第2及び第3実施形態についても同様である。
【0062】
また、認識されるべき使用者10や機器3が複数ある場合にマーカを用いるためには、各使用者10あるいは各機器3は、異なるマーカを用いればよい。この場合、視線方向を検出する各手段は、使用者画像データや視野画像データに含まれるマーカ画像の種別を判別することにより、複数の使用者あるいは機器を識別できる。データベース52又は22には、予め各マーカ画像の特徴データを格納しておき、この特徴データと画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。
【0063】
また、使用者画像取得カメラ4及び情報処理装置5は機器3側に搭載され、固定される場合を示しているが、機器3が移動する構成である場合には、この移動する機器3にあわせて使用者画像取得カメラ4及び情報処理装置5が移動するように構成してもよい。
【0064】
また、使用者10と機器3との間でのアイコンタクトを例に説明したが、使用者10同士のアイコンタクトに用いてもよい。
【0065】
また、キャリブレーションでは、キャリブレーション条件に従う第1視線方向θをアイコンタクト成立条件Θとして格納する場合を示したが、キャリブレーション条件に従う第2視線方向θをアイコンタクト成立条件Θとして格納してもよい。
【0066】
また、図4及び図5の第1及び第2視線方向検出の説明では、説明の簡略化のためにX軸方向のみについて説明してあるが、Y軸方向についても同様の検出式を定めることにより、X軸及びY軸の双方を含む視線方向検出ができることはいうまでもない。
【産業上の利用可能性】
【0067】
以上説明したようにこの発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステムの技術分野に有効である。
【図面の簡単な説明】
【0068】
【図1】本発明の第1実施形態に係るアイコンタクトコミュニケーションシステムの全体構成を示す図。
【図2】同実施形態に係る使用者に対する視野画像取得カメラの固定手法を示す図。
【図3】同実施形態に係る各情報処理装置の詳細な構成を示す図。
【図4】同実施形態に係る第1視線方向の検出例を説明するための模式図。
【図5】同実施形態に係る第2視線方向の検出例を説明するための模式図。
【図6】同実施形態に係る表示装置を含む機器の構成の一例を示す図。
【図7】同実施形態に係るアイコンタクト判定時の機器部分表示データの表示手法を説明するための図。
【図8】同実施形態に係るアイコンタクトを用いた機器の使用のフローチャートを示す図。
【図9】同実施形態に係るキャリブレーションの処理の詳細のフローチャートを示す図。
【図10】同実施形態に係るアイコンタクト判定処理の詳細のフローチャートを示す図。
【図11】本発明の第2実施形態に係る視野画像取得カメラ、使用者画像取得カメラ及び情報処理装置の詳細な構成を示す図。
【図12】本発明の第3実施形態に係るアイコンタクトコミュニケーションシステムの構成の一例を示す図。
【符号の説明】
【0069】
1…視野画像取得カメラ、2…情報処理装置、3…機器、4…使用者画像取得カメラ、5…情報処理装置、6…通信ネットワーク、10…使用者、100…アイコンタクトコミュニケーションシステム、11,12…カメラ固定バンド
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11