TOP > 国内特許検索 > 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 > 明細書

明細書 :注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体

発行国 日本国特許庁(JP)
公報種別 特許公報(B1)
特許番号 特許第5467303号 (P5467303)
登録日 平成26年2月7日(2014.2.7)
発行日 平成26年4月9日(2014.4.9)
発明の名称または考案の名称 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
国際特許分類 A61B   3/113       (2006.01)
FI A61B 3/10 B
請求項の数または発明の数 14
全頁数 25
出願番号 特願2013-548525 (P2013-548525)
出願日 平成25年7月24日(2013.7.24)
国際出願番号 PCT/JP2013/070061
優先権出願番号 2012169223
優先日 平成24年7月31日(2012.7.31)
優先権主張国 日本国(JP)
審査請求日 平成25年10月17日(2013.10.17)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】中澤 篤志
【氏名】ニチュケ クリスティアン
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100168583、【弁理士】、【氏名又は名称】前井 宏之
審査官 【審査官】後藤 順也
参考文献・文献 特開2011-172853(JP,A)
国際公開第2011/117776(WO,A1)
中澤篤志他,眼球の表面反射と高速アクティブ光投影を用いた非装着・事前校正不要な注視点推定,「画像の認識・理解シンポジウム」(MIRU2011),2011年 7月,第OS2-1:41~OS2-1:48頁
ニチュケ クリスティアン他,眼球の表面反射を用いたディスプレイ・カメラキャリブレーション,電子情報通信学会論文誌D,2010年,第J93-D巻,第8号,第1450-1460頁
調査した分野 A61B 3/00-3/18
要約 本発明の注視点検出装置は、被験者の周辺環境への注視点を検出する注視点検出装置であって、被験者の眼球画像を取得する眼球画像取得手段と、被験者の眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定手段と、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第1反射点を補正し、補正された第1反射点である補正反射点を算出する補正反射点算出手段と、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出手段とを備える。
特許請求の範囲 【請求項1】
被験者の周辺環境への注視点を検出する注視点検出装置であって、
前記被験者の眼球画像を取得する眼球画像取得手段と、
前記被験者の眼球の光軸方向から到来した光が反射する第1反射点を前記眼球画像から推定する反射点推定手段と、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第1反射点を補正し、前記補正された前記第1反射点である補正反射点を算出する補正反射点算出手段と、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出手段と
を備えた、注視点検出装置。
【請求項2】
前記眼球画像から前記眼球の姿勢を算出する姿勢算出手段を備え、
前記反射点推定手段は、前記眼球の前記姿勢と前記眼球の幾何モデルとに基づいて前記第1反射点を推定する、請求項1に記載の注視点検出装置。
【請求項3】
前記反射点推定手段は、前記被験者の前記視線方向が前記被験者の前記眼球の前記光軸方向に平行であると仮定するモデルに基づいて前記第1反射点を推定する、請求項1又は請求項2に記載の注視点検出装置。
【請求項4】
前記周辺環境の光は、LEDアレイプロジェクタの光である、請求項1~請求項3のうちの一項に記載の注視点検出装置。
【請求項5】
前記周辺環境の光は、パターン発光マーカの光である、請求項1~請求項3のうちの一項に記載の注視点検出装置。
【請求項6】
被験者の周辺環境への注視点を検出する注視点検出方法であって、
前記被験者の眼球画像を取得する眼球画像取得工程と、
前記被験者の眼球の光軸方向から到来した光が反射する第1反射点を前記眼球画像から推定する反射点推定工程と、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第1反射点を補正し、前記補正された前記第1反射点である補正反射点を算出する補正反射点算出工程と、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出工程と
を包含する、注視点検出方法。
【請求項7】
被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出装置であって、
前記被験者の眼球画像を取得する眼球画像取得手段と、
前記眼球の光軸方向から到来した光が反射する第1反射点を前記眼球画像から推定する反射点推定手段と、
前記被験者の注視点から到来した光が反射する第2反射点を前記眼球画像から検出する反射点検出手段と、
前記第1反射点と前記第2反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出手段と
を備えた、個人パラメータ算出装置。
【請求項8】
前記眼球画像から前記眼球の姿勢を算出する姿勢算出手段を備え、
前記反射点推定手段は、前記眼球の前記姿勢と前記眼球の幾何モデルとに基づいて前記第1反射点を推定する、請求項7に記載の個人パラメータ算出装置。
【請求項9】
前記反射点推定手段は、前記被験者の前記視線方向が前記被験者の前記眼球の前記光軸方向に平行であると仮定するモデルに基づいて前記第1反射点を推定する、請求項7又は請求項8に記載の個人パラメータ算出装置。
【請求項10】
被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出方法であって、
前記被験者の眼球画像を取得する眼球画像取得工程と、
前記眼球の光軸方向から到来した光が反射する第2反射点を前記眼球画像から推定する反射点推定工程と、
前記被験者の注視点から到来した光が反射する第1反射点を前記眼球画像から検出する反射点検出工程と、
前記第1反射点と前記第2反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出工程と
を包含する、個人パラメータ算出方法。
【請求項11】
コンピュータに被験者の周辺環境への注視点を検出する注視点検出処理を実行させるためのプログラムであって、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記被験者の眼球の光軸方向から到来した光が反射する第1反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第1反射点を補正し、前記補正された前記第1反射点である補正反射点を算出する補正反射点算出ステップと、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出ステップと
を包含する、プログラム。
【請求項12】
コンピュータに被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理を実行させるためのプログラムであって、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記眼球の光軸方向から到来した光が反射する第2反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の注視点から到来した光が反射する第1反射点を前記眼球画像から検出する反射点検出ステップと、
前記第1反射点と前記第2反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出ステップと
を包含する、プログラム。
【請求項13】
被験者の周辺環境への注視点を検出する注視点検出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記被験者の眼球の光軸方向から到来した光が反射する第1反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第1反射点を補正し、前記補正された前記第1反射点である補正反射点を算出する補正反射点算出ステップと、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出ステップと
を包含する、コンピュータ読み取り可能な記録媒体。
【請求項14】
被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記眼球の光軸方向から到来した光が反射する第2反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の注視点から到来した光が反射する第1反射点を前記眼球画像から検出する反射点検出ステップと、
前記第1反射点と前記第2反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出ステップと
を包含する、コンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、被験者の周辺環境への注視点を検出する注視点検出装置と注視点検出方法、被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出装置と個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
被験者の注視点の検出は現代・次世代の情報環境を構築するために重要かつ必須な技術である。注視点情報を用いたユーザーインタフェースやユビキタス・アンビエント環境、人の行動認識・理解やコミュニケーション解析など、注視点検出に関する技術の応用範囲は広い。従って商用製品も含め多くの技術が実用化されている。
【0003】
非特許文献1に記載の技術では、新たな注視点検出法として眼球表面の環境反射像を用いる手法が開示されている。この技術では、眼球表面上で反射する環境の像と環境カメラで撮像したシーン点とを直接対応付けることで注視点検出を実現する。この技術では、(1)システム設置が容易であり、(2)被験者への機器装着が不要となり、(3)奥行の異なる複雑な環境への対応が可能である、等長所が多い。
【先行技術文献】
【0004】
<nplcit num="1"> <text>「眼球の表面反射と高速アクティブ光投影を用いた非装着・事前校正不要な注視点推定」画像の認識・理解シンポジウム(MIRU2011)論文集、第2011巻、pp.41-48(2011)、中澤,ニチュケ,ラドコフ,竹村</text></nplcit>
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1に記載の技術では、眼球表面上で視線方向からの到来光を反射する反射点を求める手法が必要である。眼球画像での反射点における画像特徴と環境画像の画像特徴とを比較することにより、環境中の注視点を推定することができる。
【0006】
この技術では、眼球の光軸方向と被験者の視線方向とが同一であると仮定している。しかしながら、現実には眼球の光軸方向と被験者の視線方向とには個人差があるため、注視点の推定精度には限界があった。
【0007】
本発明は上記課題を鑑みてなされたものであり、その目的は、被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを考慮した注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0008】
本発明による注視点検出装置は、被験者の周辺環境への注視点を検出する注視点検出装置であって、被験者の眼球画像を取得する眼球画像取得手段と、被験者の眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定手段と、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第1反射点を補正し、補正された第1反射点である補正反射点を算出する補正反射点算出手段と、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出手段とを備える。
【0009】
ある実施形態において、注視点検出装置は眼球画像から眼球の姿勢を算出する姿勢算出手段を備え、反射点推定手段は、眼球の姿勢と眼球の幾何モデルとに基づいて第1反射点を推定する。
【0010】
ある実施形態において、反射点推定手段は、被験者の視線方向が被験者の眼球の光軸方向に平行であると仮定するモデルに基づいて第1反射点を推定する。
【0011】
ある実施形態において、周辺環境の光は、LEDアレイプロジェクタの光である。
【0012】
ある実施形態において、周辺環境の光は、パターン発光マーカの光である。
【0013】
本発明による注視点検出方法は、被験者の周辺環境への注視点を検出する注視点検出方法であって、被験者の眼球画像を取得する眼球画像取得工程と、被験者の眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定工程と、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第1反射点を補正し、補正された第1反射点である補正反射点を算出する補正反射点算出工程と、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出工程とを包含する。
【0014】
本発明による個人パラメータ算出装置は、被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出装置であって、被験者の眼球画像を取得する眼球画像取得手段と、眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定手段と、被験者の注視点から到来した光が反射する第2反射点を眼球画像から検出する反射点検出手段と、第1反射点と第2反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出手段とを備える。
【0015】
ある実施形態において、個人パラメータ算出装置は眼球画像から眼球の姿勢を算出する姿勢算出手段を備え、反射点推定手段は、眼球の姿勢と眼球の幾何モデルとに基づいて第1反射点を推定する。
【0016】
ある実施形態において、反射点推定手段は、被験者の視線方向が被験者の眼球の光軸方向に平行であると仮定するモデルに基づいて第1反射点を推定する。
【0017】
本発明による個人パラメータ算出方法は、被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出方法であって、被験者の眼球画像を取得する眼球画像取得工程と、眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定工程と、被験者の注視点から到来した光が反射する第2反射点を眼球画像から検出する反射点検出工程と、第1反射点と第2反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出工程とを包含する。
【0018】
本発明によるプログラムは、コンピュータに被験者の周辺環境への注視点を検出する注視点検出処理を実行させるためのプログラムであって、被験者の眼球画像を取得する眼球画像取得ステップと、被験者の眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定ステップと、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第1反射点を補正し、補正された第1反射点である補正反射点を算出する補正反射点算出ステップと、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出ステップとを包含する。
【0019】
本発明によるプログラムは、コンピュータに被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理を実行させるためのプログラムであって、被験者の眼球画像を取得する眼球画像取得ステップと、眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定ステップと、被験者の注視点から到来した光が反射する第2反射点を眼球画像から検出する反射点検出ステップと、第1反射点と第2反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出ステップとを包含する。
【0020】
本発明によるコンピュータ読み取り可能な記録媒体は、被験者の周辺環境への注視点を検出する注視点検出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、プログラムは、被験者の眼球画像を取得する眼球画像取得ステップと、被験者の眼球の光軸方向から到来した光が反射する第1反射点を眼球画像から推定する反射点推定ステップと、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第1反射点を補正し、補正された第1反射点である補正反射点を算出する補正反射点算出ステップと、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出ステップとを包含する。
【0021】
本発明によるコンピュータ読み取り可能な記録媒体は、被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、プログラムは、被験者の眼球画像を取得する眼球画像取得ステップと、眼球の光軸方向から到来した光が反射する第2反射点を眼球画像から推定する反射点推定ステップと、被験者の注視点から到来した光が反射する第1反射点を眼球画像から検出する反射点検出ステップと、第1反射点と第2反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出ステップとを包含する。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態1に係る注視点検出装置を示す模式図である。
【図2】本発明の実施形態1に係る注視点検出装置の動作を示すフローチャートである。
【図3】(a)は眼球の模式図を示し、(b)は眼球の近似幾何モデルを示す模式図である。
【図4】暗瞳孔法による瞳輪郭の検出結果を示す。
【図5】瞳の投影像による眼球姿勢推定を説明するための模式図である。
【図6】眼球の表面反射と反射点との関係を示す模式図である。
【図7】LED-APを用いたシステム構成とパターン発光マーカを用いたシステム構成とを示す模式図である。
【図8】LED-APの構成を示す写真である。
【図9】光源となるLEDの同定を説明するための模式図である。
【図10】パターン発光マーカの構成及び眼球の反射像を示す写真である。
【図11】本発明の実施形態2に係る個人パラメータ算出装置の模式図である。
【図12】本発明の実施形態2に係る個人パラメータ算出装置の動作を示すフローチャートである。
【図13】注視点推定角度誤差を示す表である。
【図14】条件1での注視点推定結果を示すグラフである。
【図15】条件2での注視点推定結果を示すグラフである。
【発明を実施するための形態】
【0023】
以下、図面を参照して本発明による注視点検出装置、注視点検出方法、個人パラメータ算出装置及び個人パラメータ算出方法の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。
[実施形態1:注視点検出]
図1は、本発明の実施形態1に係る注視点検出装置100を示す模式図である。注視点検出装置100は、被験者Aの周辺環境への注視点PoGを検出する。周辺環境とは、被験者Aの周辺の空間であり、XY座標で示される空間やXYZ座標で示される空間であり得る。注視点検出装置100は、被験者Aの眼球画像を取得する眼球画像取得手段102と、反射点推定手段104と、補正反射点算出手段106と、注視点検出手段108とを備える。注視点検出装置100は、環境光検出装置112を更に備え得る。

【0024】
眼球画像取得手段102は、例えば、デジタルカメラ、CCDカメラ又はパン・チルト・ズームカメラであり、可視光領域の光を検出し得る。眼球画像取得手段102は、静止している被験者Aの眼球又は動いている被験者Aの眼球の画像を取得する。反射点推定手段104は、被験者Aの眼球の光軸方向から到来した光が反射する第1反射点GRP(Gaze Reflection Point)を眼球画像から推定する。注視点検出装置100は、眼球画像から眼球の姿勢を算出する姿勢算出手段110を更に備え得る。

【0025】
反射点推定手段104は、眼球の姿勢と眼球の幾何モデルとに基づいて第1反射点GRPを眼球画像から推定する。

【0026】
補正反射点算出手段106は、被験者Aの視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第1反射点GRPを補正し、補正された第1反射点である補正反射点cGRP(corrected GRP)を算出する。

【0027】
環境光検出装置112は、例えば、デジタルカメラ、CCDカメラ又はパン・チルト・ズームカメラであり、可視光領域の光を検出し得る。環境光検出装置112は、被験者Aが注視する被験者Aの周辺環境の光を検出し得る。周辺環境の光は周辺環境の画像を形成する。注視点検出手段108は、補正反射点cGRPの光と周辺環境の光とに基づいて、注視点PoGを検出する。例えば、注視点検出手段108は、補正反射点算出手段106によって算出された補正反射点cGRPの光と環境光検出装置112によって検出された周辺環境の光とを照合して、注視点PoGを検出する。

【0028】
反射点推定手段104と、補正反射点算出手段106と、注視点検出手段108と、姿勢算出手段110とは、例えばパーソナルコンピュータ等の電子計算機であり得る。

【0029】
なお、注視点検出手段108は、補正反射点cGRPの光と周辺環境の光とに基づいて、注視点PoGを検出するが、周辺環境の光は環境光検出装置112によって検出されることに限定されない。

【0030】
例えば、注視点検出装置100は、環境光検出装置112に替えて投影手段と投影光検出手段とを備え得る。投影手段は光源を有し、周辺環境に光を投影する。投影手段は、例えばプロジェクタである。投影手段は、例えば、周辺環境に景色を示す可視光やグレイコードパターンを示す可視光を投影する。図7を参照して詳細に説明するように、投影手段は、LEDアレイプロジェクタでもあり得る。周辺環境が部屋の壁である場合は、投影手段は光を部屋の壁に投影する。周辺環境が山の岩壁である場合は、投影手段は光を凹凸の岩壁に投影する。さらに、投影手段が三次元映像装置であれば、空気以外なにも存在しない空間にドットアレイからなるリアルな3次元映像を投影し得る。

【0031】
投影光検出手段は、投影手段から投影された投影光を検出する。投影光検出手段は、例えば、デジタルカメラやCCDカメラであり、可視光領域の光を検出し得る。注視点検出手段108は、補正反射点算出手段106によって算出された補正反射点cGRPの光と投影光検出手段によって検出された投影光とを照合して、注視点PoGを検出する。

【0032】
更に例えば、注視点検出装置100は、環境光検出装置112に替えて表示手段を備え得る。表示手段は、周辺環境の光を表示する。表示手段は、例えば、光を発する表示板やモニター画面である。図7を参照して詳細に説明するように、表示手段は、パターン発光マーカでもあり得る。周辺環境の光は、表示手段に表示された表示像データとして、注視点検出手段108に送信される。注視点検出手段108は、補正反射点算出手段106によって算出された補正反射点cGRPの光と表示手段に表示された表示像の光とを照合して、注視点PoGを検出する。

【0033】
図2は、注視点検出装置100の動作を示すフローチャートである。図1と図2とを参照して、注視点検出方法を説明する。下記に示すように注視点検出装置100によってステップ202からステップ208を実行することで本発明の実施形態1による注視点検出処理が実現する。

【0034】
ステップ202:眼球画像取得手段102は、被験者Aの眼球画像を取得する。

【0035】
ステップ204:反射点推定手段104は、被験者Aの眼球の光軸方向から到来した光が反射する第1反射点GRPを眼球画像から推定する。

【0036】
ステップ206:補正反射点算出手段106は、個人パラメータに基づいて第1反射点GRPを補正し、補正された第1反射点である補正反射点cGRPを算出する。

【0037】
ステップ208:注視点検出手段108は、補正反射点cGRPの光と周辺環境の光とに基づいて、注視点PoGを検出する。

【0038】
なお、注視点検出処理を実現する装置は、注視点検出装置100に限定されない。注視点検出装置100は、眼球画像取得手段102、反射点推定手段104、補正反射点算出手段106及び注視点検出手段108の機能を有する装置である限りは任意の装置であり得る。例えば、注視点検出方法は、PCによっても実現し得る。また、注視点検出装置100の一部を構成するPCによっても実現し得る。

【0039】
PCによって注視点検出方法を実現する場合には、注視点検出処理プログラムの形式で注視点検出方法が実行される。当該PCは、メモリとCPUとを備える。当該メモリには、注視点検出処理プログラムが格納されている。当該CPUは、当該メモリから注視点検出処理プログラムを読み取り、眼球画像取得手段102の機能を有する手段がステップ202を実行するように、更に反射点推定手段104の機能を有する手段がステップ204を実行するように、各々、眼球画像取得手段102及び反射点推定手段104の機能を有する手段を制御する。

【0040】
当該CPUは、更に当該メモリから注視点検出処理プログラムを読み取り、補正反射点算出手段106の機能を有する手段がステップ206を実行するように、さらに注視点検出手段108の機能を有する手段がステップ206を実行するように、各々、補正反射点算出手段106及び注視点検出手段108の機能を有する手段を制御する。

【0041】
注視点検出処理プログラムを記録したPC外部の記録媒体から注視点検出処理プログラムを読みだすことによって、当該PCのメモリにインストールし得る。PC外部の記録媒体としては、フレキシブルディスク、CD-ROM、CD-R、DVD、MOなどの任意の媒体が使用され得る。また、インターネットなどの任意のネットワークを介して注視点検出処理プログラムをダウンロードすることによって、当該PCのメモリにインストールし得る。

【0042】
以下、注視点検出装置100及び注視点検出方法の詳細を説明する。本実施形態において、眼球の幾何モデルを導入する。図3(a)は眼球の模式図を示し、図3(b)は眼球の近似幾何モデルを示す。眼球は単一の球面では無く、角膜部分の球面(角膜球面)と眼球本体(眼球面)との2つの異なる球面から近似的に構成される。近似幾何モデルで既定の値(瞳半径rL=5.6mm、角膜球半径rC=7.7mm)を用いる。近似幾何モデルは、幾何的に単純であり解析的に扱いやすい。眼球の表面反射解析において十分な精度を持つと考えられる。

【0043】
本実施形態において、第1反射点GRPを眼球画像から推定するに先立ち、眼球の姿勢を推定する。姿勢算出手段110は瞳孔の輪郭と瞳の輪郭とを検出し、眼球画像から眼球の姿勢を算出する。瞳孔の輪郭と瞳の輪郭との検出は赤外光を用いて実現する。まず、暗瞳孔法を用いて瞳孔領域を抽出する。暗瞳孔法は瞳孔と他の領域との光の反射・吸収特性の違いを利用した手法である。詳細は、下記文献を参考にし得る。

【0044】
R.Kothari and J.L.Mitchell:"Detection of eye locations in unconstrained visual images",Proc.Int.Conf.on Image Processing (ICIP),pp.519-522(1996).
図4は、暗瞳孔法による瞳輪郭の検出結果を示す。図4(a)は第1フレームを示し、図4(b)は第2フレーム(赤外光点灯)を示し、図4(c)は瞳孔および瞳輪郭の検出結果を示す。図4(c)において、白色実線は瞳輪郭を示し、白色実線の内側にある白色点線は暗瞳孔法によって得られた瞳孔輪郭を示し、白○印は瞳輪郭の中心を示し、白×印は角膜球面の中心を示し、白△印は第1反射点GRPを示す。

【0045】
眼球画像取得手段102に取り付けられた赤外LEDは、第1フレームではOFFとなり、第2フレームではONとなる。眼球領域の中で、瞳孔は外部からの光を吸収するため両フレームとも黒く写るが、他の領域は光を反射するため第2フレームでは明るく写る。第1フレームと第2フレームとの撮影画像の差分を取ることで、値の小さな領域を瞳孔領域と見なすことができる。

【0046】
図5は、瞳の投影像による眼球姿勢推定を説明するための模式図である。図5を参照して説明を続ける。瞳孔領域の輪郭に対してRANSACによる楕円フィッティングを適用し、楕円B(x,y,cx,cy,a,b,φ) を得る。ただし(cx,cy)は中心位置、a、bは短径および長径、φは回転角である。瞳孔輪郭の推定結果を用いて2ステップの最小化を行い、瞳輪郭を推定する。

【0047】
ステップS1:瞳孔の中心および回転角(cx,cy,φ)を用い、径のパラメータ(a,b)のみを変化させ以下の関数を最小化し、瞳の径の初期パラメータa0、b0を得る。

【0048】
【数1】
JP0005467303B1_000002t.gif
ここでEx(x,y)は入力画像のx微分であり、またa0>a,b0>bである。画像のx微分のみを用いるのは瞼の影響を避けるためである。また、sgn(cx-x)は、瞳の中心座標から外側方向に黒目から白目への変化があることを評価するためである。

【0049】
ステップS2:得られた径の初期パラメータを用いて、楕円の全パラメータを同じ評価関数で収束させ、瞳輪郭のパラメータ(c'x,c'y,a',b',φ')を得る。

【0050】
これらのパラメータを用いると、視線方向gは以下の式(3)で得られる。

【0051】
【数2】
JP0005467303B1_000003t.gif
ここでτは瞳の奥行き方向の傾きを表しており、τ=±arccos(rmin/rmax)で求められる。またここから角膜球面の中心点Cは、LからCまでの既知の長さdLC (=5.6mm)と視線ベクトルgを用いて求めることができる。

【0052】
反射点推定手段104は、得られた眼球の3次元姿勢を用いて、注視点PoGから入射した光を眼球表面で反射する点(第1反射点GRP)を推定する。眼球画像取得手段102による眼球表面反射像の撮影は反射光学系(Catadioptic system)と同様であると見なせ、第1反射点GRPは反射球面である角膜球面の幾何モデルと眼球画像取得手段102から得られた眼球姿勢とを用いて求めることができる。非特許文献1では、第1反射点GRPの推定モデルとして透視投影モデルと弱透視投影モデルとが開示されている。

【0053】
本実施形態において、第1反射点GRPのモデルとして弱透視投影モデルを活用した例を述べる。眼球表面での光の入射・反射は、1つの平面内で起こると考えることができる。弱透視投影モデルの場合、この面は、瞳の投影像(楕円)の短軸を含み、画像面に対して垂直な平面である。被験者Aの注視点PoGから到来した光が眼球の光軸方向から来た光であると仮定すると、光線の経路は図6(a)で示したようになる。図6(a)は、被験者Aの注視点PoGから視線方向(眼球光軸方向)と平行に入射した光が角膜表面で反射し、眼球画像取得手段102に入射する様子を示す。図6(a)を参照して、角膜表面での反射の関係を用いて以下の式が得られる。

【0054】
【数3】
JP0005467303B1_000004t.gif
ここから,眼球光軸方向を表すτを用いて第1反射点GRPを表す角度θが得られる。

【0055】
【数4】
JP0005467303B1_000005t.gif
また、弱透視投影の局所投影面上における瞳の中心と第1反射点GRPとの距離|IS-IL|を求めると、

【0056】
【数5】
JP0005467303B1_000006t.gif
となる。次に、瞳の中心を物体中心と見なした弱透視投影を考えると、眼球画像での第1反射点GRPの位置iSは以下で求められる。

【0057】
【数6】
JP0005467303B1_000007t.gif
ここでsは弱透視投影のスケール係数であり、iLは瞳中心の座標、vsmは瞳の投影像(楕円)の短軸を表す2次元ベクトルである。

【0058】
補正反射点算出手段106は、眼球の姿勢推定で得られた瞳中心座標系Reを個人パラメータ(δx、δy)だけ回転することによって第1反射点GRPを補正し、補正された第1反射点である補正反射点cGRPを算出する。具体的には、下記のようである。

【0059】
【数7】
JP0005467303B1_000008t.gif
ただしRxおよびRyはx軸、y軸周りの回転を表す行列である。ここで得られたτ*をτとして式(6)に代入し、更にv*smをvsmとして式(7)に代入することで、補正反射点cGRPが得られる。

【0060】
注視点検出手段108は、補正反射点cGRPの光と周辺環境の光とに基づいて、注視点PoGを検出する。例えば、注視点検出手段108は補正反射点cGRPの光を示すデジタルデータと周辺環境の光を示すデジタルデータとを対応付け、対応付けたデジタルデータから周辺環境に含まれる注視点PoGを検出する。なお、本明細書において、被験者Aによる注視点PoGは、被験者Aが注視する点や領域や部分を示す。

【0061】
本実施形態において、例えば、アクティブ照明法を活用することによって周辺環境の光を示すデジタルデータを得ることができる。アクティブ照明法は、例えば、LEDアレイプロジェクタ(LED-AP)やパターン発光マーカを実装することによって実行し得る。

【0062】
図7は、LED-APを用いたシステム構成とパターン発光マーカを用いたシステム構成とを示す。図7(a)はLED-APを用いたシステム構成であり、LED-APにより高速にシーンに光を投影する。眼球表面に写る反射光を眼球画像取得手段102で取得することで注視点PoGを推定し、注視点PoGをシーン中の任意の点として得ることができる。

【0063】
図7(b)はパターン発光マーカを用いたシステム構成であり、この構成ではマーカを注視対象物に取り付けることで、その物体を注視しているか否か、あるいは複数の対象物のうち何れを注視しているかを求める。得られる注視情報は対象物体単位であるが、対象物に小型のマーカを取り付けるだけでよいため、より簡易な構成で注視点推定を実現できる。また、得られた注視データの後解析が容易になるというメリットもある。

【0064】
図8は、LED-APの構成を示す。図8(a)はLEDアレイ(42LED)ユニットを示し、高輝度LED(可視光あるいは赤外光)および集光のためのフレネルレンズを含む。図8(b)はLEDアレイ(9LED)ユニットを示す。図8(c)及び図8(d)は、実験環境および照光パターンを示す。

【0065】
LED-APは、格子状に配置された高輝度LED群、レンズ、コントローラを備える。各LEDは0.05msで点滅をコントロール可能であり、LED毎に異なる時系列の2値パターンを投影することができる。また各LEDの方向を個別に変えることができるため、広い領域をカバーするように照明光を配置できる。

【0066】
各々のLEDの時系列照明パターンにユニークなIDをもたせる事で、カメラの撮影画像列からIDを復元し光源となるLEDを同定することができる(図9)。一方、環境中の空間解像度はLEDの数により決まるため限界がある。この欠点を補うため、線形補間を組み合わせて注視点PoGを推定する。すなわち、眼球反射画像中において第1反射点GRPから近い3つのLEDの投影点を求め、3つのLEDの投影点と第1反射点GRPとの相対的な位置関係を求める。環境画像中からも各LEDの投影点を求め、既に得られた第1反射点GRPとの相対位置関係を用いて、環境画像中の注視点PoGを推定する。処理の流れは以下のようになる。

【0067】
まず、眼球反射画像列から時系列コード復元を行い、ピクセル毎のIDを求める。復元されたIDを元にラベリングを行い、一定以上の面積を持つラベルを求め、その重心位置を各LEDに対する表面反射点とする。LED-APは可視光LEDあるいは赤外LEDで実装している。これにより、被験者Aが投影光に気づくことなく注視点PoGを推定することができる。

【0068】
図10は、パターン発光マーカの構成及び眼球の反射像を示す。図10(a)に示されるように、パターン発光マーカはLED-APの各LEDを独立させた様な構成となっており、マイクロコントローラと赤外線LEDとを備える。パターン発光マーカはマーカ毎に異なった時系列パターンを発光する。マーカを注視対象物に取り付けることで、被験者Aがその対象物を注視しているか否かを判定することができる。

【0069】
図10(b)は、被験者Aの前面に2種類の対象物体が動く状況を表す。それぞれの対象物体にはパターン発光マーカが取り付けられている。白色の楕円は瞳輪郭を示し、白色の四角枠は第1反射点GRPを表す。パターン発光マーカのうち1つが第1反射点GRPと一致していることが理解できる。

【0070】
各マーカにはマイクロコントローラが実装されているため、リアルタイムクロックで同期させることにより同期した発光パターンを保つ事ができる。このマーカの眼球表面上での第1反射点GRPと補正反射点cGRPとの位置関係から、マーカと視線方向との角度を計算できるため、角度による閾値処理等を行うことで注視しているか否かを判定し得る。
[実施形態2:個人パラメータ算出]
図11は、本発明の実施形態に係る個人パラメータ算出装置200の模式図である。個人パラメータ算出装置200は、被験者Aの視線方向と被験者Aの眼球の光軸方向との差を示す個人パラメータを算出する。個人パラメータ算出装置200は、被験者Aの眼球画像を取得する眼球画像取得手段102と、眼球の光軸方向から到来した光が反射する第1反射点GRPを眼球画像から推定する反射点推定手段104と、被験者Aの注視点PoGから到来した光が反射する第2反射点CRP(Calibration reflection point)を眼球画像から検出する反射点検出手段206と、第1反射点GRPと第2反射点CRPとに基づいて、被験者Aの個人パラメータを算出する個人パラメータ算出手段208とを備える。

【0071】
なお、眼球画像取得手段102は図1を参照して説明した眼球画像取得手段102と同様の機能を有し、反射点推定手段104は、図1を参照して説明した反射点推定手段104と同様の機能を有するため、詳細な説明は省略する。

【0072】
図12は、個人パラメータ算出装置200の動作を示すフローチャートである。図11、図12を参照して、個人パラメータ算出方法を説明する。下記に示すように個人パラメータ算出装置200によってステップ302からステップ308を実行することで本発明の実施形態2による個人パラメータ算出処理が実現する。

【0073】
ステップ302:眼球画像取得手段102は、被験者Aの眼球画像を取得する。

【0074】
ステップ304:反射点推定手段104は、第1反射点GRPを眼球画像から推定する。

【0075】
ステップ306:反射点検出手段206は、被験者の注視点PoGから到来した光が反射する第2反射点CRPを眼球画像から検出する。

【0076】
ステップ308:個人パラメータ算出手段208は、第1反射点GRPと第2反射点CRPとに基づいて、被験者Aの個人パラメータを算出する。

【0077】
なお、個人パラメータ算出処理を実現する装置は、個人パラメータ算出装置200に限定されない。眼球画像取得手段102、反射点推定手段104、反射点検出手段206及び個人パラメータ算出手段208の機能を有する装置である限りは任意の装置であり得る。例えば、個人パラメータ算出方法は、PCによっても実現し得る。また、個人パラメータ算出装置200の一部を構成するPCによっても実現し得る。

【0078】
PCによって個人パラメータ算出方法を実現する場合には、個人パラメータ算出処理プログラムの形式で個人パラメータ算出方法が実行される。当該PCは、メモリとCPUとを備える。当該メモリには、個人パラメータ算出処理プログラムが格納されている。当該CPUは、当該メモリから個人パラメータ算出処理プログラムを読み取り、眼球画像取得手段102の機能を有する手段がステップ302を実行するように、更に反射点推定手段104の機能を有する手段がステップ304を実行するように、各々、眼球画像取得手段102及び反射点推定手段104の機能を有する手段を制御する。

【0079】
当該CPUは、更に当該メモリから個人パラメータ算出処理プログラムを読み取り、反射点検出手段206の機能を有する手段がステップ306を実行するように、さらに個人パラメータ算出手段208の機能を有する手段がステップ306を実行するように、各々、反射点検出手段206及び個人パラメータ算出手段208の機能を有する手段を制御する。

【0080】
個人パラメータ算出処理プログラムを記録したPC外部の記録媒体から個人パラメータ算出処理プログラムを読みだすことによって、当該PCのメモリにインストールし得る。PC外部の記録媒体としては、フレキシブルディスク、CD-ROM、CD-R、DVD、MOなどの任意の媒体が使用され得る。また、インターネットなどの任意のネットワークを介して個人パラメータ算出処理プログラムをダウンロードすることによって、当該PCのメモリにインストールし得る。

【0081】
以下、個人パラメータ算出装置200及び個人パラメータ算出方法の詳細を説明する。第1反射点GRPは、被験者Aの視線方向が眼球の光軸方向と一致するという仮定に基づいて推定されているが、被験者Aの視線方向と眼球の光軸方向とは一致しないことが指摘されている。被験者Aの視線方向と眼球の光軸方向のずれ(個人パラメータ)は個人に依存する値であり、何らかの方法で注視点推定前に取得する必要がある。

【0082】
そこで、第1反射点GRPの導出と同様、眼球の表面反射画像を活用することで個人パラメータを算出する方法を開発した。この新たな校正法は従来の校正法と異なり、被験者Aはシーン中の1点を注視するだけで良く、校正に必要な被験者Aの負担を大幅に軽減することができる。

【0083】
個人パラメータは顔座標系で定義される固定パラメータである。顔座標系として顔の前方をzface、左目から右目への方向をxface、そしてyfaceをそれらに直行する軸として定義すると、個人パラメータはxface(tilt)軸周りの回転角で1.5~3度、yface(pan)軸周りの回転角で4~5度程度である。

【0084】
瞳を中心にした座標系をRe=[xeee]で定義する。ただし、xe、yeは瞳画像における長軸および短軸方向である。図6(b)に瞳の投影像の短軸方向を通る平面(yee-plane)を表す。図6(b)では、眼球光軸方向と視線方向との違いが示される。被験者Aの視線方向(g')は光軸方向(g)と一致しない。視線方向から到来した光は補正反射点cGRP(T)で反射し、画像上のITに投影される。

【0085】
被験者Aがシーン中の校正点を注視し、眼球画像取得手段102は被験者Aの眼球画像を取得する。反射点推定手段104は第1反射点GRPを眼球画像から推定する。反射点検出手段206は眼球画像から第2反射点CRPを得ると、個人パラメータ算出手段208は、この平面内において、第1反射点GRPと第2反射点CRPとの間の角度γを以下で求めることができる。

【0086】
【数8】
JP0005467303B1_000009t.gif
ただし、IT、iTは第2反射点CRPの位置およびその画像中の投影位置である。

【0087】
第2反射点CRPにおける眼球表面反射を考えると、この平面内における個人パラメータδxeは以下で得られる。

【0088】
【数9】
JP0005467303B1_000010t.gif
同様に、この面に垂直な面における個人パラメータδyeは以下で得られる。

【0089】
【数10】
JP0005467303B1_000011t.gif
ただしvlmは瞳の投影像の長軸方向である。

【0090】
一般的に眼球画像取得手段102は顔の前方方向に設置されているので、以上で得られた顔座標系での個人パラメータを以下の式でカメラ座標系に変換できる。

【0091】
【数11】
JP0005467303B1_000012t.gif
個人パラメータが得られると、補正反射点cGRPを求められる。補正反射点cGRPは、姿勢算出手段110による眼球の姿勢推定で得られた瞳中心座標系Reを個人パラメータ(δx,δy)だけ回転させることで得られる。

【0092】
[実施例]
本発明の実施形態の有効性を確認するため、本発明の実施形態に加え、注視点検出装置の商用システムで良く用いられている補間法による注視点検出を実装し、比較した。補間法による注視点検出は商用システムで良く用いられているシステムであり、2種類の赤外光源を用いる。1種の光源は暗瞳孔法による瞳孔検出に用い、もう1種の点光源(CAM-LED)は、眼球の表面反射を得るために用いる。これにより、瞳孔中心とCAM-LEDの表面反射点との相対位置関係を用いて視線方向を求める。補間法では4点の校正点によりサンプル点を取り、入力フレームの瞳孔中心とCAM-LEDの表面反射点との位置関係を校正点の線形補間として表すことで、注視点を求める。

【0093】
LED-APによる実験環境を図8(下段右)に示す。実験は通常の屋内照明環境で行い、被験者Aは壁面から離れた位置に座り、壁面上の20点のマーカを注視する。眼球画像取得手段102は被験者Aの顔の少し下に位置し、顔と眼球画像取得手段102との距離は約0.6mである。環境光検出装置112は被験者Aの後方に位置し、壁面のマーカが全て撮影できるように設置した。

【0094】
眼球画像取得手段102として、Point Grey Dragonfly Express cameras(640×480pixels,B/W,30Hz)を用い、LED-APの光源として、9個のPhilips社製Luxeon Rebel High-Power LED(3W,White)を使用した。パターン光投影、撮影および画像取得はPC(Intel Core i7‐960 3.06GHz,8GB RAM)によって行い、画像処理は同PC上のMatlab R2010bおよびImage Processing Toolkit環境で行った。パターン発光マーカの実験においても、被験者Aと眼球画像取得手段102との位置関係、画像取得および処理機器の構成は同様であるが、低出力(15mA)の近赤外LEDを4個使用した。

【0095】
奥行きが異なる環境での注視点推定誤差を評価するため、被験者Aと壁面との距離として、1900mm(条件1)、3000mm(条件2)の2設定で実験した。条件1で得た被験者Aの個人パラメータを条件1による推定及び条件2による推定に適用した。また補間法の校正も同様に条件1で行った。

【0096】
図13に、被験者Aの目が(x,y,z)=(900,600,1900)[mm]及び(900,600,3000)[mm]と見なしたときの注視点推定角度誤差(従来手法(補間法)と個人パラメータと導入した本発明の手法との比較)を示す。単位は、「deg(degree)」である。また図14に、条件1での注視点推定結果を示し、図15に、条件2での注視点推定結果を示す。図14及び図15において、「+」は注視対象マーカ(Ground truth)を示し、「○」、「●」、「△」、「▲」及び「□」の各々は、異なる被験者の本発明手法による推定結果を示す。被験者の数は5ユーザ(5被験者)である。「×」はユーザ1(被験者1)の補間法による結果を表す。

【0097】
ただし、LED-APの投影光は本座標系中で(1490,1200)、(895,1200)、(300,1200)、(1430,750)、(835,750)、(300,750)、(1450,300)、(820,300)、(320,300)[mm]に投影されている。また眼球は(900,600,1900)[mm](条件1)および(900,600,3000)[mm](条件2)に位置している。本発明の実施例(本発明の手法)では奥行きが異なる2条件とも1度以下の誤差で推定可能であることが確認できた。補間法は校正を行ったのと同じ条件(条件1)では良い結果が得られたが、異なる奥行きをもつ条件下では精度が悪くなることが理解できる。
【産業上の利用可能性】
【0098】
本発明によれば、店舗内での顧客の視線を検出し得るので、経済効率のより商品ディスプレイが実現するし、自販機へ搭載し販売の効率化もできる。また、生活空間で被験者Aの視線の動きを解析し得、被験者Aに使い易い生活環境を設計することも可能となる。また、ユーザーインタフェースへの応用として、生活空間における視線情報を用いたユビキタス・アンビエントインタフェースを開発し得る。例えば、運転者の注視点を監視・警告し得るので、自動車などの安全運転に貢献し得る。
【0099】
特に子供やお年寄りから得る情報として視線は重要であり、非装着型の視線追跡インタフェースは大きな役割を果たし得る。例えば、自閉症等、子供の発達障害の診断には視線情報が重要であるが、実験室環境で得られた視線情報を用いて子供を診断し得る。本発明の実施形態に係る注視点検出装置、注視点検出方法、個人パラメータ算出装置及び個人パラメータ算出方法の実現により、非装着型で乳幼児の高精度の視線情報を得ることが出来、ライフサイエンス分野、ロボット分野にも大きな貢献が期待できる。
【0100】
更に、本発明によれば、被験者の周辺視の推定が可能になる。すなわち、本発明では、被験者の眼球の表面反射画像を取得する。従って、表面反射画像に基づいて、被験者の周辺視野中にある物体が被験者の注視中心位置からどの程度の角度で被験者に見えていたか判定することができる。その結果、被験者の周辺視野中にある物体が被験者に見えていたか否か判定したり、またどの程度の視野領域に物体が見えていたか計測したりすることができる。例えば、自動車のドライバーには、周辺視の情報(例えば、人の飛び込み等の状況)が重要であるが、周辺視の情報を正確に計測することが可能になる。
【0101】
更に、従来の注視点検出法によれば、注視点検出の前に、例えば眼球計測カメラに映った被験者の瞳孔の中心位置と被験者の注視点との校正を行っていた。従って、校正後に眼球計測カメラが装着位置からずれた場合、被験者の注視点の推定が不可能になった。本発明によれば、被験者の眼球画像から眼球の姿勢を推定し、推定された眼球の姿勢に基づいて被験者の注視点を推定するため、注視点検出の前に眼球計測カメラの装着位置がずれても注視点推定結果に影響が及ぶことを抑制できる。
【符号の説明】
【0102】
A 被験者
PoG 注視点
GRP 第1反射点
CRP 第2反射点
cGRP 補正反射点
100 注視点検出装置
102 眼球画像取得手段
104 反射点推定手段
106 補正反射点算出手段
108 注視点検出手段
110 姿勢算出手段
112 環境光検出装置
200 個人パラメータ算出装置
206 反射点検出手段
208 個人パラメータ算出手段
図面
【図1】
0
【図2】
1
【図3】
2
【図5】
3
【図6】
4
【図7】
5
【図11】
6
【図12】
7
【図13】
8
【図14】
9
【図15】
10
【図4】
11
【図8】
12
【図9】
13
【図10】
14