Top > Quick Search > Search patent in Japan > VISUAL LINE MEASURING DEVICE, VISUAL LINE MEASUREMENT METHOD AND VISUAL LINE MEASUREMENT PROGRAM FOR PERFORMING AUTOMATIC CALIBRATION

VISUAL LINE MEASURING DEVICE, VISUAL LINE MEASUREMENT METHOD AND VISUAL LINE MEASUREMENT PROGRAM FOR PERFORMING AUTOMATIC CALIBRATION

Patent code P200016618
File No. S2018-0557-N0
Posted date Feb 25, 2020
Application number P2018-112372
Publication number P2019-215688A
Date of filing Jun 12, 2018
Date of publication of application Dec 19, 2019
Inventor
  • (In Japanese)長松 隆
  • (In Japanese)廣江 葵
  • (In Japanese)山本 倫也
Applicant
  • (In Japanese)国立大学法人神戸大学
  • (In Japanese)学校法人関西学院
Title VISUAL LINE MEASURING DEVICE, VISUAL LINE MEASUREMENT METHOD AND VISUAL LINE MEASUREMENT PROGRAM FOR PERFORMING AUTOMATIC CALIBRATION
Abstract PROBLEM TO BE SOLVED: To provide a visual line measuring device capable of automatically performing calibration even though a user does not intentionally look at somewhere and stabilizing parameters unique to the user.
SOLUTION: A visual line measuring device includes: optical axis measurement means 12 for measuring an optical axis of an eye ball; image display means 14 for displaying an image in a display panel 14a; feature point extraction means 16 for extracting a feature point of an image existing within a search range having a possibility that a gazing point exists around an intersection between the measured optical point and the display panel 14a, and calculating a peak position of a distribution of feature points; and visual axis estimation means 18 for calculating the optical axis of the eyeball and a kappa angle of a visual axis from the peak position of the distribution of feature points and the position of the intersection to estimate the visual axis. The feature point extraction means extracts each feature point of a plurality of search ranges in accordance with time elapse in an image in which at least one feature point exists. Or, the feature point extraction means extracts each feature point of the plurality of search ranges in each image in a plurality of images or moving images.
Outline of related art and contending technology (In Japanese)

従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線計測技術がある。この視線計測技術は、カメラと光源を用いて、ユーザの視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線計測技術では、ユーザの眼球に赤外線などの光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データをユーザの推定視線データとして検出する。

この技術により算出される推定視線データと、実際のユーザの実視線データとの間には、ユーザごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。
そこで、実視線データに対する推定視線データの誤差を補正するために、ユーザ毎の補正用パラメタを予め算出しておき、算出された推定視線データをこの補正用パラメタで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーションは、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から補正用パラメタを算出する。

キャリブレーションを行うことにより、ユーザの実際の視線により近い方向データを視線データとして検出することが可能になる。しかし、精度の高い視線データを検出するためには、補正用パラメタを生成する際に利用者に5点から20点程のマーカを注視させる必要があり、ユーザの負担が大きいといった問題がある。市販の視線計測装置の場合も、計測前に2点から9点を注視するキャリブレーションが必要であった。この問題に鑑みて、キャリブレーションを1点のマーカにまで減少させる技術が開示されている(例えば、特許文献1を参照。)。

特許文献1に開示された技術では、光源の角膜表面での反射光と瞳孔をカメラで撮影することより、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である眼球の光軸を求める。そして、眼球の光軸と視軸(視線と同等)とのずれを、1点を注視するキャリブレーションで求め、その後に計測した光軸をずれの分だけ、軸をずらすことにより正確に視線を求める。かかる技術では、眼球の内部の中心窩の位置がカメラで外部から撮影できないことから、キャリブレーションの際に注視する点数を1点から減らすことは困難である。

本発明者の一人は、既に、両眼の光軸を計測し、ディスプレイ画面上で左右の眼球の視軸が交差するという拘束条件を付加することにより、ユーザにマーカを注視させる必要がない、すなわち、キャリブレーションが不要(キャリブレーションフリー)な自動キャリブレーションの視線計測装置を提案している(特許文献2を参照)。
特許文献2に開示された視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸をずらして視軸を求め、ユーザの画面上での注視点を画面と視軸の交点として算出するものである。
特許文献2に開示された視線計測装置では、ディスプレイ画面上で眼球の視軸が交差するとしてユーザ固有のパラメタを求めるものがあるが、非常にノイズに敏感であり、実環境でキャリブレーションを行うためには、非常に高い精度で光軸を求める必要があり、実用化が困難であった。

Field of industrial application (In Japanese)

本発明は、自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラムに関するものである。

Scope of claims (In Japanese)
【請求項1】
 
眼球の光軸を計測する光軸計測手段と、
光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示手段と、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段、
を備えた視線計測装置。

【請求項2】
 
眼球の光軸を計測する光軸計測手段と、
光軸計測手段との相対位置が既知のカメラ手段を有し、眼球の前方を撮影する画像取得手段と、
計測した光軸と前記カメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段、
を備えた視線計測装置。

【請求項3】
 
前記特徴点抽出手段では、
前記特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項1又は2に記載の視線計測装置。

【請求項4】
 
前記特徴点抽出手段では、
複数の画像または動画像において、それぞれの画像における複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項1又は2に記載の視線計測装置。

【請求項5】
 
前記特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものであることを特徴とする請求項1~4の何れかに記載の視線計測装置。

【請求項6】
 
前記特徴点抽出手段では、
前記探索範囲内の特徴点の特徴マップを算出し、
前記特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、前記特徴点の分布のピーク位置とすることを特徴とする請求項1~4の何れかに記載の視線計測装置。

【請求項7】
 
前記特徴点抽出手段では、
計測した右眼の光軸と前記パネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、
計測した左眼の光軸と前記パネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、
上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することを特徴とする請求項1~6の何れかに記載の視線計測装置。

【請求項8】
 
前記光軸計測手段は、ユーザの眼球を撮影するために配置された少なくとも2台のカメラ手段と2つの光源手段を用いて光軸を計測することを特徴とする請求項1~7の何れかに記載の視線計測装置。

【請求項9】
 
眼球の光軸を計測する光軸計測ステップと、
光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示ステップと、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップ、
を備えた視線計測方法。

【請求項10】
 
眼球の光軸を計測する光軸計測ステップと、
光軸計測手段との相対位置が既知のカメラ手段で眼球の前方を撮影する画像取得ステップと、
計測した光軸と前記カメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、
前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップ、
を備えた視線計測方法。

【請求項11】
 
前記特徴点抽出ステップでは、
前記特徴点が少なくとも1つ存在する画像において、時間経過に伴う複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項9又は10に記載の視線計測方法。

【請求項12】
 
前記特徴点抽出ステップでは、
複数の画像または動画像において、それぞれの画像における複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項9又は10に記載の視線計測方法。

【請求項13】
 
前記特徴点抽出ステップにおいて、
ユーザに対して画像内で注視する点の制約は設けないことを特徴とする請求項9~12の何れかに記載の視線計測方法。

【請求項14】
 
前記特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものであることを特徴とする請求項9~13の何れかに記載の視線計測方法。

【請求項15】
 
前記特徴点抽出ステップでは、
前記探索範囲内の特徴点の特徴マップを算出し、
前記特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、前記特徴点の分布のピーク位置とすることを特徴とする請求項9~13の何れかに記載の視線計測方法。

【請求項16】
 
前記特徴点抽出ステップでは、
計測した右眼の光軸と前記パネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、
計測した左眼の光軸と前記パネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、
上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することを特徴とする請求項9~15の何れかに記載の視線計測方法。

【請求項17】
 
請求項9~16の何れかの視線計測方法の各ステップを、コンピュータに実行させるための視線計測プログラム。

【請求項18】
 
請求項1~8の何れかの視線計測装置が搭載された乗り物。

【請求項19】
 
請求項17の視線計測プログラムを実行するコンピュータが搭載された携帯端末。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2018112372thum.jpg
State of application right Published
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close