Top > Search of Japanese Patents > VISUAL LINE MEASURING APPARATUS AND METHOD

VISUAL LINE MEASURING APPARATUS AND METHOD meetings achieved

Patent code P130008781
File No. KG0099
Posted date Mar 27, 2013
Application number P2011-116372
Publication number P2012-239849A
Patent number P5818233
Date of filing May 24, 2011
Date of publication of application Dec 10, 2012
Date of registration Oct 9, 2015
Inventor
  • (In Japanese)長松 隆
  • (In Japanese)山本 倫也
Applicant
  • (In Japanese)国立大学法人神戸大学
  • (In Japanese)学校法人関西学院
Title VISUAL LINE MEASURING APPARATUS AND METHOD meetings achieved
Abstract PROBLEM TO BE SOLVED: To provide a visual line measuring apparatus and method for coping with a wide area such as a wide screen by enlarging visual line measurable ranges through the use of a prescribed number of cameras and light sources by prescribed arrangement.
SOLUTION: Individual cameras and light sources are arranged to allow a measurement object area such as a measurement object wide screen display to be set within a range including first, second, and third visual line measurable areas with an eyeball as a center, in which the areas are: the first visual line measurable area where at least three first visual line measurable range candidates, determined on the basis of the positions of the differently positioned light sources and cameras, are superimposed; the second visual line measurable area where second visual line measurable range candidates, determined on the basis of the camera and light source in the same position, are superimposed on the first visual line measurable range candidates when the right source is disposed in the same position as the center of a camera lens; and the third visual line measurable area where the second visual line measurable range candidates are superimposed with each other.
Outline of related art and contending technology (In Japanese)

従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線インタフェースがある。この視線インタフェースは、カメラと光源を用いて、利用者(ユーザ)の視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線インタフェースでは、利用者の眼球に赤外線などの所定光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データを利用者の推定視線データとして検出する。

最新の研究では、視線インタフェースを実現する視線計測装置では、所定の画面を見ている被験者について所定光源からの光が反射した眼球画像をカメラで取得し、眼球画像中の所定光源からの反射光(プルキニエ像)を算出し、プルキニエ像から角膜の曲率中心位置を算出し、曲率中心位置に基づき角膜の曲率半径を算出し、眼球画像中の瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する。
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求める(例えば、特許文献1を参照)。なお、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めることが可能である。

上記のような視線インタフェースを実現する従来の視線計測装置では、コンピュータディスプレイの前に、計測される者(コンピュータのユーザ)が着座して、ディスプレイに表示される画面上のアイコンなどを見ることが前提とされており、ユーザが動ける範囲は限られていた。
そのため、従来の視線計測装置では、計測のために使用するカメラや光源の数は、多くても3~4程度であった。

しかしながら、昨今、駅構内やビル壁面のディスプレイなど、情報共有化のためにディスプレイの大型化が進み、そのディスプレイに表示される映像コンテンツを見るユーザの視線の動く範囲が拡大している。すなわち、駅構内のディスプレイなどは縦横が数m~10数mに及ぶものもあり、ユーザの頭の姿勢のみならず体の位置を動かして、ディスプレイに表示される映像コンテンツを見ることもある。
このような現状に鑑みて、ユーザが動ける範囲を拡げて、大型ディスプレイや大型スクリーンに表示される大画面に対応できる視線計測装置が必要とされている。

Field of industrial application (In Japanese)

本発明は、平面もしくは曲面で構成される領域周辺の光源(発光ダイオード(LED)や自然光など)を利用して、大画面ディスプレイや大型スクリーン全体などの任意の領域全体で視線計測を実現する視線計測装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
平面もしくは曲面で構成される領域における観測者の視線を計測する装置であって、
各々異なる位置に配置されるM個(Mは2以上)のカメラ手段と、
各々異なる位置に配置されるN個(Nは2以上)の光源手段と、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第1視線計測可能範囲候補が少なくとも3つ重なる第1の視線計測可能領域、カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがL組(LはN以下かつM以下)ある場合、同一位置にあるカメラ手段と光源手段から決定される第2視線計測可能範囲候補が、上記第1視線計測可能範囲候補と重なる第2の視線計測可能領域、上記第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域を含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする視線計測装置。

【請求項2】
 
少なくとも1人の観測者の移動する範囲をすべて撮影するようにカメラ配置が決定された複数の前記カメラ手段と、カメラ配置された後に、計測対象領域について視線計測ができるように配置された複数の前記光源手段と、を備えることを特徴とする請求項1に記載の視線計測装置。

【請求項3】
 
前記光源対応付け手段は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項1に記載の視線計測装置。

【請求項4】
 
前記光源対応付け手段は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項1に記載の視線計測装置。

【請求項5】
 
前記光源手段の照射光が赤外線であることを特徴とする請求項1~4のいずれかに記載の視線計測装置。

【請求項6】
 
前記光源手段と前記カメラ手段の少なくとも一方が計測対象領域よりも眼球側に近づいた位置に配置されていることを特徴とする請求項1~4のいずれかに記載の視線計測装置。

【請求項7】
 
平面もしくは曲面で構成される領域内外に、
各々異なる位置に配置されるM個(Mは2以上)のカメラ手段と、
各々異なる位置に配置されるN個(Nは2以上)の光源手段と、
を用いて、領域における視線を計測する方法であって、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第1視線計測可能範囲候補が少なくとも3つ重なる第1の視線計測可能領域
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがL組(LはN以下かつM以下)ある場合、同一位置にあるカメラ手段と光源手段から決定される第2視線計測可能範囲候補が、上記第1視線計測可能範囲候補と重なる第2の視線計測可能領域
上記第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域を含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップと、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付けステップと、
対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップと、
眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップと、
を備えたことを特徴とする視線計測方法。

【請求項8】
 
カメラ・光源配置ステップにおいて、少なくとも1人の観測者の移動する範囲をすべて撮影するように前記カメラ手段のカメラ配置を決定した後に、計測対象領域について視線計測ができるように前記光源手段を配置することを特徴とする請求項7に記載の視線計測方法。

【請求項9】
 
前記光源対応付けステップは、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項7に記載の視線計測方法。

【請求項10】
 
前記光源対応付けステップは、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項7に記載の視線計測方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2011116372thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent


PAGE TOP

close
close
close
close
close
close
close