Top > Search of Japanese Patents > VISUAL LINE MEASURING DEVICE, VISUAL LINE MEASUREMENT METHOD AND VISUAL LINE MEASUREMENT PROGRAM FOR PERFORMING AUTOMATIC CALIBRATION > Specification

Specification :(In Japanese)自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)公開特許公報(A)
Publication number P2019-215688A
Date of publication of application Dec 19, 2019
Title of the invention, or title of the device (In Japanese)自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
IPC (International Patent Classification) G06F   3/01        (2006.01)
A61B   3/113       (2006.01)
H04N   5/232       (2006.01)
H04N   5/225       (2006.01)
FI (File Index) G06F 3/01 510
A61B 3/10 B
H04N 5/232 290
H04N 5/225 600
Number of claims or invention 19
Filing form OL
Total pages 22
Application Number P2018-112372
Date of filing Jun 12, 2018
Inventor, or creator of device (In Japanese)【氏名】長松 隆
【氏名】廣江 葵
【氏名】山本 倫也
Applicant (In Japanese)【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
【識別番号】503092180
【氏名又は名称】学校法人関西学院
Representative (In Japanese)【識別番号】110000822、【氏名又は名称】特許業務法人グローバル知財
Request for examination (In Japanese)未請求
Theme code 4C316
5C122
5E555
F-term 4C316AA03
4C316AA21
4C316FA14
4C316FB11
4C316FC04
4C316FC28
5C122DA13
5C122DA16
5C122EA01
5C122FA18
5C122FH09
5C122FH10
5C122GG04
5C122HA88
5C122HB01
5E555AA15
5E555AA64
5E555BA38
5E555BB38
5E555CA42
5E555CB65
5E555DD03
5E555DD11
5E555FA00
Abstract (In Japanese)【課題】ユーザが意図的にどこかを見なくても自動でキャリブレーションでき、かつ、ユーザ固有のパラメタを安定させることができる視線計測装置を提供する。
【解決手段】眼球の光軸を計測する光軸計測手段12と、表示パネル14aに画像を表示する画像表示手段14と、計測した光軸と表示パネル14aとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段16と、特徴点の分布のピーク位置と交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段18を備える。特徴点抽出手段では、特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の探索範囲の各々の特徴点を抽出する。或は、特徴点抽出手段では、複数の画像または動画像において、それぞれの画像における複数の探索範囲の各々の特徴点を抽出する。
【選択図】図1
Scope of claims (In Japanese)【請求項1】
眼球の光軸を計測する光軸計測手段と、
光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示手段と、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段、
を備えた視線計測装置。
【請求項2】
眼球の光軸を計測する光軸計測手段と、
光軸計測手段との相対位置が既知のカメラ手段を有し、眼球の前方を撮影する画像取得手段と、
計測した光軸と前記カメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段、
を備えた視線計測装置。
【請求項3】
前記特徴点抽出手段では、
前記特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項1又は2に記載の視線計測装置。
【請求項4】
前記特徴点抽出手段では、
複数の画像または動画像において、それぞれの画像における複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項1又は2に記載の視線計測装置。
【請求項5】
前記特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものであることを特徴とする請求項1~4の何れかに記載の視線計測装置。
【請求項6】
前記特徴点抽出手段では、
前記探索範囲内の特徴点の特徴マップを算出し、
前記特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、前記特徴点の分布のピーク位置とすることを特徴とする請求項1~4の何れかに記載の視線計測装置。
【請求項7】
前記特徴点抽出手段では、
計測した右眼の光軸と前記パネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、
計測した左眼の光軸と前記パネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、
上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することを特徴とする請求項1~6の何れかに記載の視線計測装置。
【請求項8】
前記光軸計測手段は、ユーザの眼球を撮影するために配置された少なくとも2台のカメラ手段と2つの光源手段を用いて光軸を計測することを特徴とする請求項1~7の何れかに記載の視線計測装置。
【請求項9】
眼球の光軸を計測する光軸計測ステップと、
光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示ステップと、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップ、
を備えた視線計測方法。
【請求項10】
眼球の光軸を計測する光軸計測ステップと、
光軸計測手段との相対位置が既知のカメラ手段で眼球の前方を撮影する画像取得ステップと、
計測した光軸と前記カメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップ、
を備えた視線計測方法。
【請求項11】
前記特徴点抽出ステップでは、
前記特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項9又は10に記載の視線計測方法。
【請求項12】
前記特徴点抽出ステップでは、
複数の画像または動画像において、それぞれの画像における複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項9又は10に記載の視線計測方法。
【請求項13】
前記特徴点抽出ステップにおいて、
ユーザに対して画像内で注視する点の制約は設けないことを特徴とする請求項9~12の何れかに記載の視線計測方法。
【請求項14】
前記特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものであることを特徴とする請求項9~13の何れかに記載の視線計測方法。
【請求項15】
前記特徴点抽出ステップでは、
前記探索範囲内の特徴点の特徴マップを算出し、
前記特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、前記特徴点の分布のピーク位置とすることを特徴とする請求項9~13の何れかに記載の視線計測方法。
【請求項16】
前記特徴点抽出ステップでは、
計測した右眼の光軸と前記パネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、
計測した左眼の光軸と前記パネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、
上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することを特徴とする請求項9~15の何れかに記載の視線計測方法。
【請求項17】
請求項9~16の何れかの視線計測方法の各ステップを、コンピュータに実行させるための視線計測プログラム。
【請求項18】
請求項1~8の何れかの視線計測装置が搭載された乗り物。
【請求項19】
請求項17の視線計測プログラムを実行するコンピュータが搭載された携帯端末。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラムに関するものである。
【背景技術】
【0002】
従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線計測技術がある。この視線計測技術は、カメラと光源を用いて、ユーザの視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線計測技術では、ユーザの眼球に赤外線などの光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データをユーザの推定視線データとして検出する。
【0003】
この技術により算出される推定視線データと、実際のユーザの実視線データとの間には、ユーザごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。
そこで、実視線データに対する推定視線データの誤差を補正するために、ユーザ毎の補正用パラメタを予め算出しておき、算出された推定視線データをこの補正用パラメタで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーションは、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から補正用パラメタを算出する。
【0004】
キャリブレーションを行うことにより、ユーザの実際の視線により近い方向データを視線データとして検出することが可能になる。しかし、精度の高い視線データを検出するためには、補正用パラメタを生成する際に利用者に5点から20点程のマーカを注視させる必要があり、ユーザの負担が大きいといった問題がある。市販の視線計測装置の場合も、計測前に2点から9点を注視するキャリブレーションが必要であった。この問題に鑑みて、キャリブレーションを1点のマーカにまで減少させる技術が開示されている(例えば、特許文献1を参照。)。
【0005】
特許文献1に開示された技術では、光源の角膜表面での反射光と瞳孔をカメラで撮影することより、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である眼球の光軸を求める。そして、眼球の光軸と視軸(視線と同等)とのずれを、1点を注視するキャリブレーションで求め、その後に計測した光軸をずれの分だけ、軸をずらすことにより正確に視線を求める。かかる技術では、眼球の内部の中心窩の位置がカメラで外部から撮影できないことから、キャリブレーションの際に注視する点数を1点から減らすことは困難である。
【0006】
本発明者の一人は、既に、両眼の光軸を計測し、ディスプレイ画面上で左右の眼球の視軸が交差するという拘束条件を付加することにより、ユーザにマーカを注視させる必要がない、すなわち、キャリブレーションが不要(キャリブレーションフリー)な自動キャリブレーションの視線計測装置を提案している(特許文献2を参照)。
特許文献2に開示された視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸をずらして視軸を求め、ユーザの画面上での注視点を画面と視軸の交点として算出するものである。
特許文献2に開示された視線計測装置では、ディスプレイ画面上で眼球の視軸が交差するとしてユーザ固有のパラメタを求めるものがあるが、非常にノイズに敏感であり、実環境でキャリブレーションを行うためには、非常に高い精度で光軸を求める必要があり、実用化が困難であった。
【先行技術文献】
【0007】

【特許文献1】特開2007-136000号公報
【特許文献2】特許第5163982号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述の如く、ユーザにマーカを注視させる必要がない自動キャリブレーションの視線計測では、ディスプレイ画面上で左右の眼球の視軸が交差することから、ユーザ固有のパラメタを求めるが、非常にノイズに敏感であり、実用化が困難であるといった問題がある。自動キャリブレーションの視線計測は、ユーザにマーカを注視させる必要がなく、ユーザフレンドリーであることから、ノイズに敏感でユーザ固有のパラメタが安定しないという問題を解決し、実用化を目指す必要がある。
【0009】
かかる状況に鑑みて、本発明は、ユーザが意図的にどこかを見なくても自動でキャリブレーションでき、かつ、ユーザ固有のパラメタを安定させることができる視線計測装置、視線計測方法および視線計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明の第1の観点の視線計測装置は、眼球の光軸を計測する光軸計測手段と、光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示手段と、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段を備える。
【0011】
眼球の光軸を計測する光軸計測手段は、既に知られた光軸を計測する手段を用いることができる。例えば、ユーザの前面に2台のカメラと2つの光源を設置し、左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各2つの光源反射光から、左右の眼球の角膜曲率半径と、角膜曲率中心と瞳孔中心との距離を取得することにより、角膜曲率中心位置と瞳孔中心位置を算出して光軸を計測することができる。
【0012】
画像表示手段は、ユーザの前面にある表示パネルに画像を表示するものであり、表示パネルを構成に備える。表示する画像は、ユーザに注視させるマーカではなく、電子メールの表示画面や文書作成ソフトウェアの表示画面、ディスプレイのデスクトップのアイコン表示画面、写真やイラストの画面など、通常、ユーザがコンピュータ端末を取り扱う際に表示されるような画像である。
また、光軸計測手段との位置関係が既知の表示パネルとは、光軸計測手段であるカメラや光源の位置との相対的な位置関係が予め分かっている表示パネルである。例えば、矩形のディスプレイやタブレットPCのような表示パネルの周縁部に、光軸計測手段であるカメラと光源が設けられる場合は、光軸計測手段と表示パネルの相対位置が既知といえる。既知でない場合は、光軸計測手段と表示パネルの相対位置が計測できる手段、例えば、カメラや距離センサを用いて、光軸計測手段と表示パネルの相対位置を計測するようにしてもよい。
また、表示パネルは、ユーザの顔に取り付けるゴーグル型の表示パネル、メガネレンズに相当する部分に表示パネルを設けたメガネ型の表示パネルでもよい。ゴーグル型やメガネ型の表示パネルも、同様に、表示パネルの周縁部に、光軸計測手段であるカメラと光源が設けられる。
【0013】
本発明では、眼の光軸の周囲の探索範囲内に存在する視覚的特徴を利用する。典型的な成人では、視軸(眼球の中心窩と注視点を結ぶ軸)は、眼の光軸から、鼻に向かって水平方向に約4~5°、垂直方向に約1.5°下にずれていることが知られている。そのため、光軸と表示パネルとの交点の周囲で注視点が存在する可能性がある。
特徴点抽出手段は、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する表示画像の特徴点を抽出する。具体的には、視軸が光軸から水平方向に約4~5°、垂直方向に約1.5°下にずれていることに鑑みて、水平方向は、右眼が-7~3°の範囲、左眼が-3~7°の範囲とし、垂直方向は、右眼と左眼の双方共に-3~3°の範囲とし、探索範囲として設定する。探索範囲は、左右それぞれの眼の計測した光軸と表示パネルとの交点を取り囲み、光軸に垂直な面で矩形の範囲で、縦横の長さは眼と表示パネルの距離と上記の角度範囲から決定される。
【0014】
また、画像の特徴点とは、画像上で、視覚的特徴のある部分であり、1点または領域である。この特徴点がユーザの注視点の候補になる。顕著な特徴点が1箇所であれば、その点が注視点になるが、ある領域に拡がっているものでもよい。後述するように、複数の画像や時間経過に伴う複数の探索範囲の各々の特徴点を抽出し、それらの特徴点の分布のピーク位置を視軸推定に用いる。このように、ユーザにマーカを注視させることなく、通常表示するような自然な画像を見させることにより、自動キャリブレーションを行い、探索範囲内の特徴点(注視点候補)を抽出し、特徴点の分布のピーク位置を注視点とする。
【0015】
視軸推定手段では、計測した光軸と表示パネルとの交点の位置と、上記の特徴点抽出手段で抽出した特徴点の分布のピーク位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する。カッパ角は、典型的な成人では、眼の光軸から鼻に向かって水平方向に約4~5°、垂直方向に約1.5°下にずれていることが知られているが、ユーザに依存しバラツキがあり、ユーザ固有のパラメタである。
特徴点抽出手段で特徴点を抽出し、特徴点の分布のピーク位置を注視点と見做し、個々のユーザの右眼、左眼のカッパ角を算出し、計測した光軸を用いて、視軸を推定できる。
このように、自動キャリブレーションでありながら、1つの画像からユーザ固有のパラメタを算出するのではなく、複数の画像や時間経過に伴う複数の探索範囲を用いてユーザ固有のパラメタを算出することができるため、ノイズに対してロバスト性のある視線計測装置を提供することができる。
【0016】
また、本発明の第2の観点の視線計測装置は、眼球の光軸を計測する光軸計測手段と、光軸計測手段との相対位置が既知のカメラ手段を有し、眼球の前方を撮影する画像取得手段と、計測した光軸とカメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段を備える。
眼球の前方を撮影したカメラ画像は、眼球からある距離離れた大型ディスプレイに表示した画像と等価になることから、第2の観点の視線計測装置では、表示パネルに画像を表示する画像表示手段に替えて、眼球の前方を撮影する画像取得手段を備え、撮影した前方の画像を、カメラの被写体の位置に仮想的に設けられた仮想パネルにあたかも表示させるとして、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する。ここで、仮想パネルの位置は、カメラで撮影する被写体の位置に相当する位置になるが、撮影画像に写った様々な被写体がそれぞれ異なる3次元空間に存在することから、実際のところは、カメラの光軸方向に存在する被写体(焦点距離を合わせた被写体)の位置に相当する位置になる。眼球の前方数mの被写体であれば、画像取得手段であるカメラに、赤外線深度センサを搭載することにより、カメラと被写体の距離を計測できる。その場合には、計測した距離だけ眼球から離れた仮想パネルに、撮影した前方の画像を仮想的に表示させるとして、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出するとよい。
眼球の前方を撮影したカメラの位置(通常は頭部に固定)と眼球を撮影するカメラの位置との相対位置関係は予め取得できるもの(既知)とする。
【0017】
本発明の視線計測装置において、特徴点抽出手段では、特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。画像から特徴点を計算するが、時間経過に伴い注視点が移動し光軸も移動すると、探索範囲が移動する。時間経過に伴う複数の探索範囲の各々の特徴点を抽出することにより、特徴点を含む探索範囲の画像を何枚か重ね合わせることができ、重ね合わせたことでできた特徴点の分布のピーク値を注視点として処理する。
【0018】
本発明の視線計測装置において、特徴点抽出手段では、複数の画像または動画像において、それぞれの画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。
【0019】
本発明の視線計測装置において、特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものである。ここで、視覚性ボトムアップ型注意とは、複数の視覚刺激の中で1つの刺激が周囲の刺激と顕著に異なる場合や、視覚刺激が突然出現した場合、ユーザはその視覚刺激に対して注意が受動的に惹きつけられることになる。例えば、表示パネルが単一色の背景で、ソフトウェア起動用のアイコン画像が点在する場合、何れかのアイコン画像に注意が惹きつけられ注視することになる。また、例えば、画像内に、明るい部分や、点滅したり、色や形が変化する部分があれば、その部分に注意が惹きつけられ注視することになる。
画像において、ユーザに視覚性ボトムアップ型注意を生じさせるものは、特徴点となり、注視点の候補にできる。
【0020】
また、視覚性トップダウン型注意とは、選ぶべき視覚刺激について、事前知識がある場合に、ユーザはその視覚刺激に対して能動的にバイアスがかかり、目的となる視覚刺激に対して注意を向けることになる。例えば、形や色が異なる視覚刺激が混在している画像で、選ぶべき視覚刺激が目立たない状況下であっても、選ぶべき目標の色と形の特徴に注意を向けることによって見出せる。視覚性トップダウン型注意には、顔認識、文字認識、実際に人が見る画像データにおいて、画像内に人が注意を向ける部位はどこかを学習した結果を用いるものを含む。例えば、学習結果から高い確率で注視している物体が含まれる画像を用いて視覚刺激を与えることもできる。画像において、ユーザに視覚性トップダウン型注意を生じさせるものも特徴点となり、注視点の候補にできる。
なお、画像に、視覚性ボトムアップ型注意と、視覚性トップダウン型注意とが混在していてもかまわない。
【0021】
本発明の視線計測装置において、特徴点抽出手段では、探索範囲内の特徴点の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を特徴点の分布のピーク位置とすることでもよい。ここで、サリエンシーとは、視覚刺激が空間的配置によって視覚性ボトムアップ型注意を生じさせる特性のことであり、顕著性のことである。画像において輝度の高い部分はサリエンシーが高いというものではなく、画像全体が明るくて一部に暗い部分があれば、その暗い部分がサリエンシーになる。また、サリエンシーマップとは、特徴点の特徴マップを重ね合わせて単一のマップに計算されたものであり、サリエンシーマップから最もサリエンシーの高い部分が注意を向ける候補として選択される。
特徴マップを単に重ね合わせただけでは、顕著性が高くないものを注視し続けた場合に、正確に視軸を推定できなくなる恐れがある。そこで、画像を物体認識することにより、例えば、視覚性トップダウン型注意のように、人が興味を持ちそうなもの(人の顔や文字など)が、眼球の光軸の傍に存在する画像の特徴マップだけを計算に用いることにより、視軸の推定精度が向上する。さらに、認識物体に対して人が注意を惹く度合いについて予め重みを設定し、認識した物体に応じて特徴マップを重ね合わせる際の重みを変えることでもよい。または、光軸の周囲の探索範囲の画像が、一様な模様の中に1つだけ顕著性が高いものがあるという画像の特徴マップを計算に用いることでもよい。また、動いている物体を視線で追いかけるといった追跡眼球運動を行っている場合だけを計算に用いることでもよい。このように選択的な画像を用いて、特徴マップを重ね合わせることにより、視軸の推定精度を向上できる。
【0022】
本発明の視線計測装置において、特徴点抽出手段では、計測した右眼の光軸とパネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、計測した左眼の光軸とパネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することが好ましい。右眼と左眼の探索範囲の重複範囲内に存在する画像の特徴点を抽出することにより、推定精度を向上できる。
【0023】
本発明の視線計測装置において、ユーザの眼球を撮影するために配置された少なくとも2台のカメラ手段と2つの光源手段を用いて光軸を計測することが好ましい。
2つの光源手段は、眼球における光源の反射像が互いに分離したものとなるように各々異なる位置に配置され、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、何れかのカメラ手段により撮像された眼球画像上における反射像の位置と実際の光源手段の位置とを対応付けすることができるようにする。なお、眼球における光源の反射像が2個である場合は、左右どちらにあるかで、眼球画像上における反射像と実際の光源手段とを対応付けを行うことができる。
光軸を計算するためには、実空間における3次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要があるが、光源手段が複数存在する場合、光源手段が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
例えば、照射光の形状を光源毎にユニークなものにより光源手段を判別する。また、光の色(可視光波長のみならず赤外線波長も含む)によって光源手段を判別することでもよい。
【0024】
次に、本発明の視線計測方法について説明する。
本発明の第1の観点の視線計測方法は、眼球の光軸を計測する光軸計測ステップと、光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示ステップと、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップを備える。ここで、光軸計測手段が、例えば、カメラと光源を用いて計測するものであれば、表示パネルは、カメラ又は光源との相対位置が分かればよい。
【0025】
本発明の第2の観点の視線計測方法は、眼球の光軸を計測する光軸計測ステップと、光軸計測手段との相対位置が既知のカメラ手段で眼球の前方を撮影する画像取得ステップと、計測した光軸とカメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップを備える。
【0026】
特徴点抽出ステップでは、特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。また、特徴点抽出ステップでは、複数の画像または動画像において、それぞれの画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。これらの特徴点抽出ステップにおいて、ユーザに対して画像内で注視する点の制約は設けない。ユーザに過度の負担をかけずに自動キャリブレーションを行える。特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものである。
【0027】
また、特徴点抽出ステップでは、探索範囲内の特徴点の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、特徴点の分布のピーク位置とすることでもよい。
また、特徴点抽出ステップでは、計測した右眼の光軸とパネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、計測した左眼の光軸とパネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することが好ましい。
【0028】
本発明の視線計測プログラムは、本発明の視線計測方法の各ステップを、コンピュータに実行させるためのものである。
【0029】
本発明の視線計測装置はロボットや乗り物に搭載され、本発明の視線計測プログラムを実行するコンピュータはスマートフォンなどの携帯端末に搭載される。
【発明の効果】
【0030】
本発明によれば、ユーザが意図的にどこかを見なくても自動でキャリブレーションでき、かつ、ユーザ固有のパラメタを安定させることができ、ノイズに対するロバスト性を向上できるといった効果がある。
【図面の簡単な説明】
【0031】
【図1】視線計測装置の機能ブロック図(実施例1)
【図2】特徴点抽出手段の機能ブロック図
【図3】探索範囲の説明図
【図4】眼球の形状モデルの説明図
【図5】カメラと光源の配置図
【図6】光源から出た光線の経路の説明図
【図7】1つの経路に着目した図
【図8】角膜表面上での屈折の説明図
【図9】光源Liとカメラ中心Cjと角膜曲率中心Aを通る平面の説明図
【図10】探索範囲の説明図
【図11】特徴マップの説明図
【図12】サリエンシーマップの説明図
【図13】探索範囲における特徴点の説明図
【図14】右眼と左眼の探索範囲の重複部分の説明図
【図15】視線計測方法の処理フロー(実施例2)
【図16】特徴点抽出ステップの処理フロー1
【図17】特徴点抽出ステップの処理フロー2
【図18】視線計測装置の機能ブロック図(実施例3)
【図19】視線計測方法の処理フロー(実施例4)

【発明を実施するための最良の形態】
【0032】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例1】
【0033】
本発明の第1の観点の視線計測装置の構成及び機能について、図1,2に示す機能ブロック図を参照して説明する。図1に示す視線計測装置1は、光軸計測手段12と、画像表示手段14と、特徴点抽出手段16と、視軸推定手段18を備える。
光軸計測手段12は、光源手段10とカメラ手段11と光軸計測ユニット12aから構成される。光軸計測ユニット12aは、実空間における3次元的な光源手段10の位置情報と、カメラ手段11により撮影されたプルキニエ像(眼球画像上での反射像)の位置を対応付けして光軸を算出するコンピュータである。光軸計測ユニット12aから特徴点抽出手段16へ光軸計測データが伝達される。光源手段10は、具体的には赤外線LEDを用い、カメラ手段11は赤外線カメラを用いる。カメラ手段11は、ユーザの眼球を撮影できるように配置される。光軸計測手段12の詳細については後述する。
【0034】
画像表示手段14は、表示パネル14aと画像表示コントローラ14bから構成される。画像表示コントローラ14bから表示パネル14aに画像データが送られ、表示パネル14aに画像が表示される。画像表示コントローラ14bから特徴点抽出手段16へ画像データが伝達される。表示パネルが眼球の光軸に垂直であると仮定すると、眼球から画像データまでの距離は、眼球から表示パネルまでの距離と等しくなり、予め表示パネルの画像表示面のサイズがわかっていると、表示パネルに表示された画像データについて、眼球を基準とした3次元位置を算出することができる。表示パネルが眼球の光軸と垂直と仮定しなくても、例えば、カメラ2台、光源手段2個を用いることにより、角膜曲率中心位置と光軸の向きが求まるため、表示パネルとの姿勢と距離がわかれば、表示パネルの画像の位置は計算できる。なお、表示パネルの表示面が平面ではなく若干湾曲している場合や、表示パネルの表示面が光軸に垂直でない場合には、画像データが眼球の光軸に垂直な平面になるように補正することでもよい。又は、探索範囲の矩形を表示面に合せて変形補正してもよい。
【0035】
特徴点抽出手段16は、光軸計測手段12から光軸計測データが、画像表示手段14から画像データがそれぞれ伝達される。特徴点抽出手段16は、図2に示すように、光軸計測データと画像データから画像上の探索範囲を算出する(160)。そして、探索範囲内に存在する画像上の特徴点を抽出する(162)。さらに、複数の探索範囲について、それらの探索範囲を重ね合せて特徴点の分布を算出する(164)。複数の探索範囲は、1つの画像における複数の探索範囲、又は、複数の画像における複数の探索範囲のどちらでもよい。そして、特徴点分布のピーク値を算出し(166)、ピーク値を特徴点抽出手段16から視軸推定手段18へ伝達する。
ここで、探索範囲について図3を参照して説明する。図3に示すように、眼球3(正確には眼球回転中心4)から距離Lだけ前方に離れた位置に、眼球3の光軸2と垂直に表示パネル5があるとし、光軸2と表示パネル5との交点7の周囲に探索範囲6があるならば、眼球を基準とした座標系を用いて、交点の座標位置、探索範囲6の矩形の座標位置、探索範囲内の画像の特徴点の位置(特徴点は1点または領域でもよい)を取得することができる。なお、表示パネル5の画像を斜めから見るように、表示パネル5の表示面が、光軸2に垂直ではなく斜めの姿勢であっても構わない。その場合には、探索範囲6の形状は、矩形ではなく、歪んだ四角形になる。歪んだ四角形のまま特徴点を抽出してもよいし、歪んだ四角形を矩形に補正して特徴点を抽出してもよい。
【0036】
視軸推定手段18は、ピーク位置と、光軸と表示面との交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する。
光軸計測、特徴点抽出、視軸推定は、左眼と右眼のそれぞれ行い、左眼と右眼それぞれについてカッパ角を算出して視軸を推定する。
【0037】
(1)光軸計測手段12について
眼球の光軸を計測する光軸計測手段12は、上述のとおり、既に知られた光軸を計測する手段を用いることができるが、例えば、図4に示す眼球の形状モデルを用いたモデルベースのアプローチを用いることができる。眼球の形状モデルベースのアプローチでは、3次元で視線を求めることができ、十分な計測精度を保ったまま、キャリブレーションの簡素化や、頭部移動への対応の実現に有望であり、モデルベースのアプローチにより、キャリブレーションなしで眼球の光軸を求めることができる。眼球の形状モデルでは、角膜は球面と近似され、眼球の網膜上で最も解像度が高い場所は中心窩と呼ばれ、眼球のレンズ中心と角膜曲率中心との距離は無視され同一位置とされる。視線は、中心窩と注視点とを結ぶ線と定義され、角膜曲率中心を通るものとされている。中心窩と角膜曲率中心を結ぶ眼球の軸は、視軸と呼ばれる(視線と視軸は同じ線を表す)。光軸は、眼球の幾何学的な中心軸であり、角膜曲率中心と瞳孔中心を結ぶ線と定義される。ここで、視軸と光軸のなす角は、上述の如く、典型的な成人では、水平方向に約4~5°、垂直方向に約1.5°下にずれており、ずれ角は個人毎に異なることが知られている。眼球の視軸と光軸のなす角は、カッパ角(κ)と定義される。
【0038】
図4に示す形状モデルにおける角膜曲率中心の推定について説明する。上述の特許文献2に開示された技術では、図5に示すように、2組のカメラと点光源が表示パネルの周囲に配置されている。例えば、ユーザの正面前方の左右に配置された2個のLED光源(LED光源は赤外光線を照射するものを用いる)と、LED光源からの光が反射した眼球画像を取得するカメラ(LED光源が赤外光線を照射する場合、赤外線に感度をもつ赤外線カメラ(infrared camera))が表示パネルの周囲に配置されている。なお、2台のカメラでそれぞれ両眼撮影すればよいが、高解像度で眼球画像を撮るためには、右目用2台、左目用2台の合計4台のカメラを使用することでも構わない。
そして、ユーザが表示パネルの前に位置し、表示パネルの画像を見ている場合には、2つの点光源(L0,L1)から出た光が、1つの眼球の角膜表面上で反射してカメラのイメージセンサ上に到達する経路は、図6に示すようになる。
【0039】
図7は、1つの経路に着目した図を示している。以下、アルファベットボールドタイプは、3次元ベクトルを示す。図7に示すように、点光源Liからの光は、角膜上P”jiで反射し、Cjを通り、カメラjのイメージセンサ上にあるP'jiに達する。図7において、LiとCjとP’jiを含む平面には、角膜は球とモデル化しているので、角膜曲率中心Aが含まれることになる。LiとCjとP’jiを含む平面は、下記数式1のように表される。ここで、X(=(x,y,z)T)は、平面上の点を表す。
【0040】
【数1】
JP2019215688A_000003t.gif

【0041】
iとjはそれぞれ0,1をとることから、上記数式1で表される平面は4つ存在することになる。そして、全ての面に角膜曲率中心Aが含まれることから、これらの面が少なくとも3つ求まれば、角膜曲率中心Aを求めることができる。つまり、図6に示される2台のカメラの2つのイメージセンサに写っている4つの反射光(P’00、P’01、P’10、P’11)のうち、3つの反射光が検出できれば角膜曲率中心Aを求めることができる。
【0042】
光軸の計測について説明する。図8は、角膜上での屈折についての説明図である。ここでは、光軸方向を示す単位ベクトルを光軸ベクトルと呼ぶ。図8に示すように、光軸ベクトルdは角膜曲率中心Aと瞳孔中心Bとカメラjのレンズ中心Cjを含む面内にある。この面は、下記数式2のように表すことができる。ここで、B’jは、カメラjのイメージセンサ上の瞳孔中心位置である。
【0043】
【数2】
JP2019215688A_000004t.gif

【0044】
jは0,1をとることから、上記数式2で表される平面は2つ存在し、光軸はこれらの2つの平面の交線となる。光軸ベクトルdは2つの平面の法線ベクトルに垂直な方向なので、下記数式3のように求められる。これから、光軸は下記数式4として求められる。つまり、角膜曲率中心位置Aが求まっている時には、2つのカメラで瞳孔が検出できれば、眼球の光軸を計算できる。
【0045】
【数3】
JP2019215688A_000005t.gif

【0046】
【数4】
JP2019215688A_000006t.gif

【0047】
ユーザの左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各2つの光源反射光から、個人依存のパラメタである左右の眼球の角膜曲率半径R、角膜曲率中心と瞳孔中心との距離K、2つの光源反射光の相対位置関係を取得する。
これらのパラメタは、カメラ2台でそれぞれ点光源の反射光を2個検出できている時に算出する。ここで、一方のカメラに2個の反射光、他方のカメラに1個の反射光が検出できている時にも算出でき、そのような時にパラメタを算出してもよい。パラメタRは、計算上、3平面が求まれば計算できるからであり、パラメタKは、パラメタRを求める条件を満たした上で、カメラ2台にそれぞれ瞳孔が検出できた時に計算できるからである。この他、カメラ2台でそれぞれ点光源を2個検出できない状態が続き、算出不可の場合は、人の平均値を用いることも可能である。角膜曲率半径Rの平均値は7.8mm、角膜曲率中心と瞳孔中心との距離Kの平均値は4.2mmである。
【0048】
角膜曲率半径Rの導出について説明する。上述の数式1に示す平面の交点として角膜曲率中心Aを計算する。点光源2個を照射した場合に、カメラ2台で、合わせて3つ以上の光源反射光が撮影された場合にAを求めることができる。
図9は、点光源Liとカメラ中心Cjと角膜曲率中心Aを通る平面である。Rの求め方は以下の通りである。まず、Rを適当に設定し、角膜の球(Aを中心とした半径Rの球)とP’jiとCjを通る直線との交点P”jiを求めて、P”jiでの入射ベクトル(Li-P”ji)と反射ベクトル(Cj-P”ji)がP”jiでの球の法線ベクトル(P”ji-A)となす角度が等しくなるかどうかを確認する。Rを変化させて、これを繰り返し、この反射の関係を満たすようなRを探索する。Rの平均値は、一般に7.8mmであることが知られており、Rの値を6mm~9mmの範囲で探索するとよい。
上記の計算は、カメラと点光源の組み合わせによって、3~4パターンの計算が可能である。これらの3~4パターンから計算した角膜曲率半径の平均値を、最終的なRの推定値とすると、より安定する。
【0049】
ここで、角膜曲率中心と瞳孔中心との距離Kの導出について説明する。距離Kの計算は、角膜曲率中心Aと角膜曲率半径Rが求まっている時のみ可能であり、かつ、瞳孔が両方のカメラで撮れた時のみ可能である。
まず、瞳孔中心位置Bを求める。図8より、瞳孔中心から出た光は、角膜表面上のB”jで屈折する。B”jの位置で、カメラから光が来た場合の数式にすると、入射ベクトルは下記数式5で表される。
【0050】
【数5】
JP2019215688A_000007t.gif

【0051】
カメラのレンズ中心を通り、vjの方向ベクトルを持つ直線と、角膜曲率中心Aと角膜曲率半径Rの球との交点として、B”jの位置を求めることができる。すなわち、下記数式6,7を連立すると求めることができる。ここで、tはパラメタである。
【0052】
【数6】
JP2019215688A_000008t.gif

【0053】
【数7】
JP2019215688A_000009t.gif

【0054】
B”jで屈折したベクトルtjは、スネルの法則より、下記数式8で求められる。ここで、p=n1/n2であり、n1は約1、n2は約1.3375である。
【0055】
【数8】
JP2019215688A_000010t.gif

【0056】
下記数式9は、B”jにおける法線ベクトルである。
【0057】
【数9】
JP2019215688A_000011t.gif

【0058】
瞳孔中心Bは、2つのカメラからの光線の交点で求められる。角膜での屈折後のこれらの光線の式は下記数式10および数式11の通りである。なお、t、sはパラメタである。
【0059】
【数10】
JP2019215688A_000012t.gif

【0060】
【数11】
JP2019215688A_000013t.gif

【0061】
以上より、角膜曲率中心Aと瞳孔中心Bとの距離Kは、下記数12により求められる。
【0062】
【数12】
JP2019215688A_000014t.gif

【0063】
(2)画像表示手段14について
画像表示手段14は、前述のとおり表示パネルに画像を表示するもので、表示パネルに同じ画像を表示していても、ユーザの視線は動き、ユーザの自由な意思によって注視対象は変動する。例えば、PCのデスクトップ画面において、アイコンが散在していると、ユーザは何れかのアイコンを注視する場合が多い。複数のアイコンのどのアイコンを見ているのかはユーザの自由な意思で決定されるが、光軸の周囲で探索範囲を設定するため、複数のアイコンから注視点候補を見出すことができる。また、ある画像を見るときは、時間経過に伴い注視点が変化する場合がある。この場合であっても、光軸の周囲で探索範囲を設定するため、探索範囲における特徴点を注視点候補とすることができる。このように画像表示手段は、ユーザの前面に配置される表示パネルに、少なくとも1つの特徴点を含む画像を表示させる。
【0064】
(3)特徴点抽出手段16について
本実施例における視線計測装置の特徴点抽出手段16では、探索範囲内の特徴点の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出する。そして、サリエンシーのピーク位置を特徴点の分布のピーク位置とする。これについて図を参照しながら説明する。
図10(1)に示すように、表示パネルに7種のアイコン(プログラムやファイルの種類をシンボル化した小さな絵記号)20a~20gが表示されているとする。ユーザは、表示パネルの何れかのアイコン20a~20gに注意が向けられ、注視するかもしれない。ユーザが表示パネルを眺めている際に、上記(1)の光軸計測手段において光軸を計測すると、計測した光軸と表示パネルとの交点の位置が、図10(2)に示す“+”(符号22)であったとする。光軸と表示パネルとの交点22の周囲で注視点が存在する可能性のある探索範囲は、前述の如く、視軸が光軸から水平方向に約4~5°、垂直方向に約1.5°下にずれていることに鑑みて、水平方向は、右眼が-7~3°の範囲、左眼が-3~7°の範囲とし、垂直方向は、右眼と左眼の双方共に-3~3°の範囲とし、探索範囲として設定する。図10(2)の画像内に、右眼の探索範囲23と、右眼の光軸と表示パネルとの交点22を示す。ここで、右眼の探索範囲23は、厳密には矩形ではなく、歪んだ四角形となる。表示パネルの画像が右眼の光軸に垂直な面であれば、探索範囲は矩形になるが、通常、右眼と左眼の両眼で前面の表示パネルの画像を見るので、表示パネルがユーザの正面にあるとしても、右眼の光軸は前方斜め左寄り、左眼の光軸は前方斜め右寄りとなり、表示パネルの画像が右眼の光軸に垂直な面とならないからである。そして、図10(2)の探索範囲23の内部に存在する画像の特徴点を抽出することになるが、この画像の場合では、アイコン20eに注意が向けられ注視している可能性が高いと考えられる。すなわち、図10(2)の場合では、アイコン21eの画像が探索範囲内に存在する特徴点として抽出されることになる。図10(1)に示す画像が表示パネルに表示されている場合に、時間経過に伴って、ユーザの注視点が変わることがある。
【0065】
例えば、図11に示すように、1枚の画像において、ユーザの視線(注視点)が動き、時間経過に伴い4つの探索範囲23a~23dが現われたとする。それぞれの探索範囲内に存在する特徴点を抽出する。探索範囲23aではアイコン20eが特徴点となり、探索範囲23bではアイコン20cが特徴点となり、探索範囲23cではアイコン20bが特徴点となり、探索範囲23dではアイコン20fが特徴点となる。4つの探索範囲23a~23dのエリアサイズ、探索範囲の画像における光軸・表示パネルとの交点“+”のオフセット位置(例えば、探索範囲の左下隅を基準とした相対位置)は全て同じであるが、探索範囲23a~23dの画像における特徴点(アイコン)のオフセット位置は同じとは限らずそれぞれ異なるかもしれない。
【0066】
図12(1)に示すように、探索範囲の画像群24を重ね合せると、図12(2)に示すように、特徴点分布25が得られることになる。この特徴点分布25のピーク位置26を算出し、ピーク位置26と光軸・表示パネルとの交点22との水平方向のずれ量α、垂直方向のずれ量βを算出し、次の視軸推定手段によって視軸を推定する。
【0067】
図13は、表示パネルに表示された建物の画像を示している。図13の画像を眺めると、ユーザは画像に表示された建物で注意が惹かれる部位を注視することになる。先ほどと同様に、右眼の光軸と表示パネルとの交点“+”が、時間経過に伴い画像内を移動し、7つの注視点があるとする。交点“+”の周囲の探索範囲31~37を図中に示す。探索範囲31では、画像の左側の建屋の屋根の上の十字架が特徴点になり得る。また、探索範囲33では、画像の左側の建屋の扉又は扉横の像が特徴点になり得る。探索範囲34~36では、画像の右側の建屋の窓が特徴点になり得る。探索範囲37では、画像の右側の建屋の扉が特徴点になり得る。このように1枚の建物の画像において、複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することもできる。また、先ほどの図10(1)の複数のアイコンが点在しているPCのデスクトップ画面の画像と、この図13の画像の2枚の画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することも可能である。
また、動画像を用いて、それぞれの画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することも可能である。
【0068】
このように画像内の特徴点を抽出し、特徴点の分布を算出するのに、サリエンシーマップを用いることができる。1枚1枚の画像における1つの探索範囲内の画像の特徴点(輝度の顕著性)の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出する。そして、サリエンシーマップにおけるサリエンシーのピーク位置を特徴点の分布のピーク位置にする。
【0069】
人は、右眼と左眼が同じ物体を注視する傾向があり、右眼の探索範囲と左眼の探索範囲が重複した範囲に、注視点が有る可能性が高い。そのため、右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する特徴点を抽出することにより、視軸推定の精度を高めることができる。
図14は、建物の扉の画像を示している。ユーザが図14の画像を見たときに、扉の上部に視線が向く。右眼の探索範囲ZRと左眼の探索範囲ZLの重複範囲ZO(図中のハッチング領域)に特徴点が存在している可能性が高いので、この重複範囲内に限定して特徴点を抽出する。
【0070】
(4)視軸推定手段18について
上記(1)の光軸計測手段12で得られた光軸と表示パネルとの交点の位置と、上記(3)の特徴点抽出手段16で算出した特徴点の分布のピーク位置とから、眼球の光軸と視軸のカッパ角(κ)を算出することができる。カッパ角(κ)はユーザ固有のパラメタであり、計測した光軸からカッパ角(κ)を用いて視軸を推定する。左眼と右眼のそれぞれについてカッパ角を算出して視軸を推定する。
【0071】
(視線計測装置の評価実験結果について)
視線計測装置の評価実験の結果について説明する。視線計測装置を用いて、眼鏡を着用していない被験者6名の視線計測を行った。実験は、頭部を顎の支えによって固定した状態で、眼から600mm離れた表示パネルに表示される3種類の画像を、被験者が30秒間自由に見る方法により行われた。3種類の画像は、アイコンが点在するデスクトップの画像(図10(1))、建物の画像(図13)、扉の画像(図14)を用いた。その結果、1点キャリブレーションによって決定されたカッパ(κ)角の値に近い値を算出できていることがわかった。特に、アイコンが点在するデスクトップの画像を見る場合に、3種類の画像の中で比較的良い結果が得られた。建物の画像を見た場合は、3種類の画像の中で比較的良くなかったが、それぞれの特徴マップを重ね合わせたサリレンシーマップが曖昧になっていたことが要因と考えられる。
【実施例2】
【0072】
本発明の第1の観点の視線計測方法の一実施態様について説明する。視線計測方法の処理フローについて、図15~17を参照して説明する。
第1の観点の視線計測方法では、図15に示すように、表示パネルに画像を表示し(画像表示ステップS01)、表示された画像を眺めるユーザの眼球の光軸を計測する(光軸計測ステップS02)。そして、光軸と表示パネルとの交点の周囲の探索範囲内に存在する特徴点を抽出し、特徴点の分布のピーク位置を算出する(特徴点抽出ステップS03)。そして、特徴点の分布のピーク位置と交点の位置から、光軸と視軸のカッパ角を算出し視軸を推定する(視軸推定ステップS04)。
【0073】
特徴点抽出ステップS03では、図16に示すように、探索範囲内の特徴点の特徴マップを算出し(S301)、特徴マップを重ね合わせて単一のサリエンシーマップを算出する(S302)。そして、サリエンシーマップにおけるサリエンシーのピーク位置を特徴点の分布のピーク位置にする(S303)。
なお、探索範囲内の特徴点の特徴マップを算出する際には、図17に示すように、一方(左眼または右眼)の光軸と表示パネルとの交点の周囲の探索範囲を算出し(S311)、他方の光軸とパネルとの交点の周囲の探索範囲を算出して(S312)、右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する特徴点を抽出し(S313)、特徴マップを算出することでもよい。
【実施例3】
【0074】
本発明の第2の観点の視線計測装置の構成及び機能について、図18に示す機能ブロック図を参照して説明する。図18に示す視線計測装置50は、光軸計測手段12と、画像取得手段15と、特徴点抽出手段16と、視軸推定手段18を備える。
光軸計測手段12は、実施例1の視線計測装置と同様、光源手段10とカメラ手段11と光軸計測ユニット12aから構成され、光軸計測ユニット12aから特徴点抽出手段16へ光軸計測データが伝達される。
画像取得手段15は、前方撮影カメラ手段15aから構成される。前方撮影カメラ手段15aは、ユーザの眼球の前方を撮影できるカメラであり、例えば、市販のヘッドマウント型カメラを用いることができる。
特徴点抽出手段16と視軸推定手段18は、実施例1の視線計測装置と同様であるが、特徴点抽出手段16は、前方撮影カメラ手段15aから得た画像データを、カメラ手段15aの被写体の位置に仮想的に設けられた仮想パネルに投影しているとして、実施例1と同様に、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出している。
【実施例4】
【0075】
本発明の第2の観点の視線計測方法の一実施態様について説明する。視線計測方法の処理フローについて、図19を参照して説明する。
第2の観点の視線計測方法では、図19に示すように、眼球の前方をカメラで撮影し(画像取得ステップS11)、前方を眺めるユーザの眼球の光軸を計測する(光軸計測ステップS12)。そして、光軸とカメラの被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲の探索範囲内に存在する特徴点を抽出し、特徴点の分布のピーク位置を算出する(特徴点抽出ステップS13)。そして、特徴点の分布のピーク位置と交点の位置から、光軸と視軸のカッパ角を算出し視軸を推定する(視軸推定ステップS14)。眼球の前方を撮影したカメラ画像は、眼球からある距離離れた大型ディスプレイに表示した画像と等価になる。そのため、撮影した前方の画像を、カメラの被写体の位置に仮想的に設けられた仮想パネルにあたかも表示させるとして、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する。
特徴点抽出ステップS13の詳細なフローについては、実施例2と同様であり、前述した図16の処理フローと同じである。
【産業上の利用可能性】
【0076】
本発明は、様々な視線計測装置、例えば、四肢麻痺患者のコンピュータの入力装置、自動車などの運転者の注意分析装置などに応用可能である。特に、キャリブレーションが必要ないことから、キャリブレーションのための数点の注視が困難な幼児または猿などの動物の視線の計測、不特定多数の人の視線の計測に有効であり、視線計測装置をユビキタスコンピュータやロボットへの搭載が期待される。
【符号の説明】
【0077】
1,50 視線計測装置
2 光軸
3 眼球
4 眼球回転中心
5 表示パネル
6 交点
7 探索範囲
10 光源手段
11 カメラ手段
12 光軸計測手段
12a 光軸計測ユニット
14 画像表示手段
14a 表示パネル
14b 画像表示コントローラ
15 画像取得手段
15a 前方撮影カメラ手段
16 特徴点抽出手段
18 視軸推定手段
20a~20g,21a~21g アイコン
22 光軸と表示パネルとの交点
23,23a~23d,31~37 探索範囲
24 探索範囲の画像群
25 特徴点分布
26 特徴点分布のピーク位置
L 眼球と表示パネルとの距離
ZL 左眼の探索範囲
ZR 右眼の探索範囲
ZO 重複範囲
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16
(In Japanese)【図18】
17
(In Japanese)【図19】
18