Top > Search of Japanese Patents > LINE-OF-SIGHT DETECTION METHOD AND LINE-OF-SIGHT DETECTOR > Specification

Specification :(In Japanese)視線検出方法および視線検出装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4517049
Publication number P2005-185431A
Date of registration May 28, 2010
Date of issue Aug 4, 2010
Date of publication of application Jul 14, 2005
Title of the invention, or title of the device (In Japanese)視線検出方法および視線検出装置
IPC (International Patent Classification) A61B   3/113       (2006.01)
G06F   3/033       (2006.01)
FI (File Index) A61B 3/10 B
G06F 3/033 310A
Number of claims or invention 5
Total pages 13
Application Number P2003-429344
Date of filing Dec 25, 2003
Date of request for substantive examination Dec 12, 2006
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
Examiner (In Japanese)【審査官】後藤 順也
Document or reference (In Japanese)特開平08-154899(JP,A)
特許第2739331(JP,B2)
特開平11-056782(JP,A)
Field of search A61B 3/113
G06F 3/033
JSTPlus/JMEDPlus/JST7580(JDreamII)
Scope of claims (In Japanese)【請求項1】
座標系に対する瞳孔の位置を測定するための第1のカメラと、
前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離rと前記距離rの前記座標系の座標軸に対する角度φのデータを取得する第2のカメラとを用いて前記各カメラからの情報により下記のステップを実行する視線方向を演算する演算手段とを用いる被検者の視線検出方法であって、
前記座標系の既知の一点Gに被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得するステップと、
前記被検者の状態において、前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離rと前記座標軸と前記rとの傾きφを取得するステップと、
演算手段により前記第2のカメラの基準位置Oと瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出するステップと、
前記測定値および算出値に基づいてrそれ自身かrを距離OPに基づいて補正した値であるr*とθの関係を示す式
θ=f(r*)を算出するステップとを含む関係式決定段階とおよび
前記座標系の未知の一点G’に被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得するステップと、
前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離r’と前記座標軸と前記r’との傾きφ’を取得するステップと、
前記関係式を用いてr’それ自身かr’を距離OP’に基づいて補正した値であるr*’からθ’=f(r*’)を算出し、前記傾きφ’,θ’から未知の一点G’を得るステップとを含む視線決定段階と、
から構成した被検者の視線検出方法。
【請求項2】
前記第1のカメラは座標系の水平軸方向に基線を一致して配置されたステレオカメラであり、前記第2カメラの光源は第2のカメラの光軸と実質的に一致する光軸を備える請求項1記載の被検者の視線検出方法。
【請求項3】
r*とθの関係を示す式θ=f(r*)は、θ=k×r*(ただしkは定数)で与えられる請求項1記載の被検者の視線検出方法。
【請求項4】
前記瞳孔は被検者の何れか一方の瞳孔である請求項1記載の被検者の視線検出方法。
【請求項5】
座標系に対する瞳孔の位置を測定するための第1のカメラと、
前記座標系の既知の位置に配置された光源および前記光源で照射された瞳孔の中心と角膜反射点間の距離rとrの前記座標軸に対する角度φのデータを取得する第2のカメラと、
前記座標系の既知の一点Gに被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得し、
前記被検者の状態において、前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離rと前記座標軸と前記rとの傾きφを取得し、
前記第2のカメラの基準位置Oと瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出し、rそれ自身かrを距離OPに基づいて補正した値であるr*とθの関係を示す式θ=f(r*)を算出し、
前記座標系の未知の一点G’に被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得し、
前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離r’と前記座標軸と前記r’との傾きφ’を取得し、
前記関係式を用いてr’それ自身かr’を距離OP’に基づいて補正した値であるr*’からθ’=f(r*’)を算出し、さらにφ’,θ’から未知の一点G’を得るステップを実行する演算手段と、
から構成した被検者の視線検出装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、被検者の姿勢の制限を最小にし、さらにマーカを付けたりすることなく視線を検出することができる視線検出方法および視線検出装置に関する。
【背景技術】
【0002】
視線検出方法および視線検出装置は、医療検査とか、マンマシーンインターフェイス(視線入力)等広い応用が期待されているから、数多くの提案が行なわれている。
基本原理は角膜反射点と瞳孔の中心から視線を検出するものが多い。特許文献2記載の発明は前記検出に関連する発明であって、特徴点の検出に向けられたものである。特許文献3記載の発明は角膜の形状を考慮した測定について、詳細な提案が行なわれている。
【0003】
またすでに提案されている多くの視線検出装置は、主に被検者の頭部を固定するタイプと被検者の頭部に検出装置を取り付ける形式のものが多い。これらは、ともに被検者の普段の行動を著しく阻害し、視線測定において被検者に多大な負担をかけていた。また、最近は、被検者の負担を軽減する意味で非接触タイプが作られるようになってきたが、検出装置が被検者に対して遠隔におかれているだけで、測定範囲が極めて限られており、事実上被検者が動けない状態でしか測定できていない。
被検者の動きの制約をはずす方法として提案されている、画像処理などを使って眼の画像から視線を検出する方法は、画像処理に時間がかかり時間特性が悪いことがあった。
また、顔の検出と同じカメラで視線を検出するため、精度が悪いという欠点もあった。
それを解決するために、特許文献1記載の非接触視線測定装置は、3つのマーカのついたメガネフレームを顔に取り付けるものである。このメガネを取り付けると、一般の視力矯正用の眼鏡が装着できなくなる。また日頃眼鏡をつけていないユーザや被検者にとって、測定用の眼鏡は負担となる。

【特許文献1】特開平10-66678号公報
【特許文献2】特開平11-56782号公報
【特許文献3】特開2002-102172号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、被検者の姿勢を制限を最小にし、さらにマーカを付けたりすることなく視線を検出することができる視線検出方法および視線検出装置を提供することにある。本発明のさらに他の目的は、前記視線検出方法を実施する視線検出装置を提供することにある。
【課題を解決するための手段】
【0005】
前記目的を達成するために、本発明による請求項1記載視線検出方法は、
座標系に対する瞳孔の位置を測定するための第1のカメラと、
前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離rと前記距離rの前記座標系の座標軸に対する角度φのデータを取得する第2のカメラとを用いて前記各カメラからの情報により下記のステップを実行する視線方向を演算する演算手段とを用いる被検者の視線検出方法であって、
前記座標系の既知の一点Gに被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得するステップと、
前記被検者の状態において、前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離rと前記座標軸と前記rとの傾きφを取得するステップと、
演算手段により前記第2のカメラの基準位置Oと瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出するステップと、
前記測定値および算出値に基づいてrそれ自身かrを距離OPに基づいて補正した値であるr*とθの関係を示す式
θ=f(r*)を算出するステップとを含む関係式決定段階とおよび
前記座標系の未知の一点G’に被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得するステップと、
前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離r’と前記座標軸と前記r’との傾きφ’を取得するステップと、
前記関係式を用いてr’それ自身かr’を距離OP’に基づいて補正した値であるr*’からθ’=f(r*’)を算出し、前記傾きφ’,θ’から未知の一点G’を得るステップとを含む視線決定段階と、
から構成されている。
【0006】
本発明による請求項2記載の方法は、前記第1のカメラは座標系の水平軸方向に基線を一致して配置されたステレオカメラであり、前記第2カメラの光源は第2のカメラの光軸と実質的に一致する光軸を備えるように構成されている。
本発明による請求項3記載の方法では、r*とθの関係を示す式θ=f(r*)は、θ=k×r*(ただしkは定数)で与えられる。
本発明による請求項4記載の方法では、前記瞳孔は被検者の何れか一方の瞳孔である。
【0007】
本発明による請求項5記載の装置は、
座標系に対する瞳孔の位置を測定するための第1のカメラと、
前記座標系の既知の位置に配置された光源および前記光源で照射された瞳孔の中心と角膜反射点間の距離rとrの前記座標軸に対する角度φのデータを取得する第2のカメラと、
前記座標系の既知の一点Gに被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得し、
前記被検者の状態において、前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離rと前記座標軸と前記rとの傾きφを取得し、
前記第2のカメラの基準位置Oと瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出し、rそれ自身かrを距離OPに基づいて補正した値であるr*とθの関係を示す式θ=f(r*)を算出し、
前記座標系の未知の一点G’に被検者を注目させ、前記第1のカメラにより前記被検者の瞳孔の位置の座標点に関するデータを取得し、
前記第2のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Pまでの距離r’と前記座標軸と前記r’との傾きφ’を取得し、
前記関係式を用いてr’それ自身かr’を距離OP’に基づいて補正した値であるr*’からθ’=f(r*’)を算出し、さらにφ’,θ’から未知の一点G’を得るステップを実行する演算手段と、
から構成されている。
【発明の効果】
【0008】
以上詳しく説明したように、本発明方法は、座標系に対する瞳孔の位置を測定するための第1のカメラと、前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離rと前記距離rの前記座標軸に対する角度φのデータを取得する第2のカメラとを用いて前記各カメラからの情報により下記のステップを実行する視線方向を演算する演算手段とを用いる被検者の視線検出方法である。
関係式決定段階により、
前記第1のカメラと第2のカメラを用いる測定値および演算装置による算出値に基づいて予め、r(角膜反射点と瞳孔中心間の距離)に関連するr* とθ(第2のカメラと瞳孔の中心を結ぶ線と前記被検者の視線との角度)の関係を示す式θ=f(r* )を算出する。そして、
視線決定段階で前記関係式を用いてθ’=f(r* ’)を算出し、前記この段階で測定した傾きφ’,θ’から未知の一点G’を得る。
したがって、被検者を極端に束縛することなく、視線を測定することができる。
前記関係式決定段階は特定の被検者について行なわれるものであり、その段階で得た関係式を用いて、測定するのであるから、被検者の固体差による測定誤差の発生する余地はない。そのため正確な視線に関するデータが得られる。
【発明を実施するための最良の形態】
【0009】
以下図面等を参照して、本発明方法について、発明を実施するための最良の形態を詳しく説明する。
図1は、本発明による方法を実施するための装置の実施例の配列を示す概略図である。図4は世界座標系に関連して本発明方法を実施するための装置等の配列を示す斜視図である。
第2のカメラ12は眼球撮影用であって高倍率のカメラを用いる。このカメラは、この実施例では世界座標系の原点、図4のO(0,0)点に配置されている。なお、図4ではカメラ12の図示を省略してある。
この第2のカメラ12で取得したデータに基づく角膜反射(点)の位置関係の一例を図1に拡大して示してある。この画像は後述する出力装置により表示される。
第1のカメラ10,11は一対のカメラからなる瞳孔の3次元位置検出用のステレオカメラである。
第1のカメラ10,11間の距離(基線長は)世界座標系のX軸に平行である。
第2のカメラ12は少なくとも一方の瞳孔に照準され、図1に拡大して示されている。角膜反射点と瞳孔の中心のデータを取得する。
第1のカメラ10,11および第2のカメラ12にはそれぞれ一体的にまたは関連して照明手段(図示せず)が設けられている。
【0010】
図2は本発明方法を実施するための装置等の構成を示すブロック図である。
第1のカメラ10,11および第2のカメラ12のCCDにより取得された画像出力はインターフェイス14を介してバスライン20に接続される。
この実施例では第2のカメラ12は前記座標系の既知の位置Oに配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離rと前記距離rの前記座標軸に対する角度φのデータを取得する。この実施例においては前記光源からの光の光軸は,第2のカメラ12の光軸に一致するように設けられている。
第2のカメラ12は処理装置(CPU)21から供給される信号により駆動装置16を介して供給され、対象とする眼に照準(向けられて焦点合わせがされている状態)される。操作者は出力装置31の一部を形成する表示画面に表示される眼の画像(図1参照)を見ながら必要に応じて照準するために入力装置24を操作する。図示しない各カメラの照明手段は照明制御装置15からの信号で操作される。
記憶装置26には、後述する制御を実行するためのプログラムや、演算を行なうためのRAM領域が設けられている。被検者の画像情報や、演算結果情報、システムの動作情報等は出力インターフェイス30を介して出力装置31に出力される。出力装置31は、画像表示装置プリンタ等を含んでいる。
【0011】
第1のカメラ10,11は前記眼の瞳孔の中心の座標上の3次元位置を検出するために設けられている。第2のカメラ12は高倍率の視線検出用カメラであって、瞳孔を含む周囲の眼の画像だけを捉える。
前記第1のカメラからの3次元瞳孔位置情報によって2つの眼のうちの1つの眼もしくは2つの眼を追いかける自動追跡制御手段(駆動装置16)を設けてある。
なお手動でカメラの光軸を合わせることも可能である。後述するように、第1のカメラ10,11の出力から得られる3次元瞳孔位置Pと第2のカメラ12の出力から得られる角膜反射像中心の位置と瞳孔中心Pから視線ベクトルを求める。
【0012】
(照明光源について)照明光源は、カメラのレンズの開口の中あるいは近くに配置するもの(以下、内側の光源とする)と、開口から離れた位置に配置するもの(以下、外側の光源とする)を用意することができる。内側の光源による画像においては、瞳孔が顔の瞳孔以外の部分よりも明るく写る傾向がある。特公平7-82539の第13B図に関連してこのことが説明されている。
逆に外側の光源によって、瞳孔は瞳孔以外の部分よりも暗く写る傾向がある。同第13C図に関連してこのことが説明されている。
内側と外側の光源をビデオ信号に同期させ、交互に点灯させ、得られた前者の画像から後者の画像を実時間で画像差分することによって、瞳孔以外のところは相殺され消え、瞳孔だけが検出しやすくなる。このような光源を各カメラに設ける。
【0013】
この実施例では、第1および第2のカメラの計3台に光源を取り付けている。
これにより、互いに他のカメラの光源が発射した光が、眼鏡を反射して、眼鏡反射像として画像中に写ることを防ぐために、各カメラに取り付ける光源は互いに中心波長の異なる光源を用い、各波長を中心波長とするバンドパスフィルタをカメラに取り付ける。
その場合に、一般に光源の発光波長域に広がりがある場合は、3種類以上の光源において発光波長がオーバーラップするので、バンドパスフィルタバンドをいくら狭く選んでも、互いのカメラの光源が干渉しあう。これを防ぐために、光源の前に、バンドパスフィルタを設置し、顔に対して発射させる光の波長域を狭め、発光波長域のオーバーラップを極力減らした上で、さらに、各カメラの前には、同カメラの光源前に設置してバンドパスフィルタとほぼ同じ中心波長を持つバンドパスフィルタを設置し、互いの干渉をなくすることができる。
【0014】
以下図3、図4を参照して、本発明方法を説明する。本発明による視線測定方法は、関係式を決定する関係式決定段階と決定された関係式に基づいて被検者の任意の視線を決定する視線測定段階を備えている。
関係式決定段階はステップ0~10を含み、視線測定段階は、ステップ1~10を含んでいる。
【0015】
図4は世界座標系に関連して本発明方法を実施するための装置等の配列および関連する平面等を示している。
〔関係式決定段階〕
(ステップ0)世界座標系に対する各カメラの定位。
世界座標系の原点をO(0,0)とし第1のカメラを配置する。
(ステップ1)被検者に既知の一点に注目させる
世界座標系において座標がわかっている1点Q(xQ ,yQ ,zQ )を被検者に見させる。
(ステップ2)第2のカメラにより被検者の瞳孔中心Pの座標位置データの取得
ステレオカメラにより、瞳孔中心の3次元座標P(xP ,yP ,zP )を求める。
(ステップ3)|OP|の算出
ベクトルOPの方向ベクトル
(lx ,ly ,lz )=(xP -xO ,yP -yO ,zP -zO )とその長さ
|OP|=〔(xP -xO2 +(yP -yO2 +(zP -zO21/2
を求める。
(ステップ4)|OP|に垂直でOをとおる仮想視点平面Hの算出
平面Hは次の式で与えられる。
(lx ・x+ly ・y+lz ・z)-(lx ・xO +ly ・yO +lz ・zO )=0
(1)
(ステップ5)視線を現すベクトルPQの算出
視線を表すPQの方向ベクトル(sx ,sy ,sz )は
(sx ,sy ,sz )=(xQ -xP ,yQ -yP ,zQ -zP )であり、直線PQの式は、同直線が、P(xP ,yP ,zP )を通ることから次の式で与えられる。
(x-xP ) /sx = (y-yP ) /sy = (z-zP )/sz (2)
で現される。
(ステップ6)直線PQと仮想視点平面Hの交点の座標G(xG ,yG ,zG )の算出
前述の(2) 式=tと置いたときに求まる(x,y,z)は次の(3) のとおりである。
x=sx t+xP
y=sy t+yP (3)
z=sz t+zP
これを平面Hの式に代入すると、
t=(lx 2 +ly 2 +lz 2 )/(lx sx +ly sy +lz sz ) (4)
と,tが求まる。これを(3) に代入することにより世界座標系における交点
G(xG ,yG ,zG )が求まる。
(ステップ7)ベクトルOPとベクトルPGの角度θの算出
ベクトルOPの方向ベクトル(lx ,ly ,lz )視線ベクトルの方向ベクトルPG (sG ,sG ,sG )のなす角θを求める。

θ=cos-1〔|lx sx +ly sy +lz sz
/(lx2+ly2 +lz21/2 ・(sx2+sy2 +sz 21/2 〕≧0
(5)
(ステップ8)rとφa の測定
第1のカメラ(第1のカメラ20)により角膜反射中心と瞳孔中心座標を取得して、
角膜反射中心と瞳孔中心間の距離rと角度φa (座標軸に対する)を求める。
視線検出用カメラ(第2のカメラ12)の画像から検出される角膜反射中心と瞳孔の中心座標をそれぞれ、(gx ,gy ) ,(px ,py )とするとき、
|r|≠0のとき、
|r|=〔(px -gx2 +(py -gy21/2 (6)
φa =cos-1(py -gy )/|r| (7)
(0≦φa ' ≦π) とおいたとき、
px <gx のとき、φa =φa
px >gx のとき、φa =-φa
と計算でき被検者がQを見たとき|r|を|rQ|(単位は画素) として求める。
(ステップ9)|r|をOPにより補正して|r* |を求める。
第2のカメラ12では、角膜反射像の中心と瞳孔像の中心を検出して、それらの相対位置関係から視線検出用カメラの光軸と視線とのなす角度を推定する。
この場合、同じ方向を見ていても画像の拡大率が異なれば、角膜反射像の中心と瞳孔像の中心の相対関係が変化してしまうので、画像の拡大率は重要な要素である。この問題を解決するためには、まず、距離と拡大率の関係を予め計測しておき、関係式を求めておく。瞳孔の3次元位置がわかるので、視線検出用カメラと瞳孔までの距離を算出して、関係式を用いて拡大率を計算し、角膜反射像中心と瞳孔中心間の距離を補正する。
【0016】
(ステップ10)θと|r* |から、|r* |とθ間の関係式fを求める。
被検者がOを見たときのθとrをそれぞれθO と|rO |とすると、
|rO |=0で、|r* O |=0であるから、Qを見たときの値θと|r* |から、
θ=k |r* | (8)
である線形関係があるとして、係数kを求める。
k=θQ /|r* Q | (9)
また φa =-φa ' (10)
とする。よって、このような係数k(一般的には|r* |とθ間の関係式f)を求めることで視線の較正をする。
|r* |は、θの関数であり、φa とは独立している。φa またはφa ’によらずkが一定であると仮定しているからである。
このことを、さらに図5を参照して説明する。(|r* |,φa ’)から(|θ|,φa )への対応付けにおいて、原点は原点に写像し、単に拡大もしくは縮小して左右をひっくり返すだけの写像となる。
【0017】
前述した関係式決定段階で獲得した関数式を用いる〔視線測定段階〕
(ステップ1)必要に応じて第1のカメラの被検者への照準。
被検者の注目点は、視対象平面の未知Q’(xQ',yQ',zQ')であるとする。
この座標を求めるのが、これからの手続きの目的である。
(ステップ2)瞳孔中心の3次元座標の測定
図5に示すように、第1のカメラ10,12被検者の瞳孔中心P’の座標位置データ
(xP ,yP ,zp )の測定
(ステップ3)|OP’|の算出
ベクトルOP’の方向ベクトル
(lx ,ly ,lz )=(xP -xO ,yP -yO ,zP -zO )とその長さ
|OP’|=〔(xP -xO2 +(yP -yO2 +(zP -zO21/2
を求める。
(ステップ4)第1のカメラにより角膜反射中心と瞳孔中心座標を取得して、距離r’と座標軸に対する角度φb を測定する。
|r’|≠0のとき
|r’|=〔(px -gx2 +(py -gy21/2 (6')
φb =cos-1(py -gy )/|r| (7')
(0≦φb ' ≦π) とおいたとき、
px <gx のとき、φb = φb '
px >gx のとき、φb = -φb '

(ステップ5)r’を|OP’|により補正してr* ’を求める。
(ステップ6)先の段階で求めた関係式を用いてθ’を求める。
θ’=f(|r* ’|)=k|r* ’|
(ステップ7)視線ベクトルG’を求める。

仮想視点平面Hをx’-y’平面とする直交座標系(原点Oは絶対座標系と一致)を、図6のようにとる(z’軸は点Pを通る)。
平面Hのx’軸とy’軸は、絶対座標系のx軸、y軸に対して、水平方向にα、垂直方向にβだけ回転しているものとする。
平面Hをz’軸方向から見た図が図7左であり、図7右は点O、点G’、点Pの三点を通る平面を図示したものである。
θとφb と|OP|から仮想視点平面Hの直交座標系における点G’を求める。
図7右からわかるように、
|OG’|= |OP|tanθ (8)
であり,仮想視点平面Hの直交座標系における点G’(xG', yG', 0)のxG', yG'は、φb = φb ' とすると、
xG'=|OG’|cosφb ' (9)
yG'=|OG’|sinφb '
で求まる。

(ステップ8)PG’を求める。
仮想視点平面Hの直交座標系においては、点Pの座標は( |OP|, 0,0)であるので、同座標系における視線ベクトルは、PからG’を結ぶベクトルPG' として,
PG'=(xG' ,yG'-|OP|) (10)
で求まる。これは、仮想視点平面Hの直交座標系における視線ベクトルの方向ベクトルでもある。

(ステップ9)視線ベクトルとの方向ベクトルの算出
世界座標系におけるベクトルOPの方向ベクトル(lx ,ly ,lz )は、仮想視点平面H直交座標系のz’座標に一致している。今、仮想視点平面Hの直交座標系のx’軸を世界座標系のx軸に一致するように原点回りに-αだけ回転させた後に、y’軸をy軸に一致するように原点回りに-βだけ回転させると、仮想視点平面Hの直交座標系と世界座標系は一致する。上記の座標系回転後の仮想視点平面Hの直交座標系でのベクトルPG’の方向ベクトルは、世界座標系における視線ベクトルに一致する。ここで、
【数1】
JP0004517049B2_000002t.gif
(11)
で与えられる。この回転により世界座標系の視線ベクトルの方向ベクトル(sx ,sy ,sz )は次の(12)式で与えられる。
【数2】
JP0004517049B2_000003t.gif
(12)
なお直行座標系と角度の関係を図8に示してある。
(ステップ10)視点Q’の算出
前のステップで求めた(sx ,sy ,sz )を用いて、世界座標系における視線の式は(x-xP ) /sx = (y-yP ) /sy = (z-zP )/sz (=t) (2)
で現される。視対象が平面であり、その式が
mx ・x+my ・y+mz ・z+d=0 (13)
で与えられるとき、(11)式と(12)式の交点Q’d あり、これを求める。
(2) 式より、
x=sx t+xP
y=sy t+yP (3)
z=sz t+zP
これを平面Hの式に代入すると、
【数3】
JP0004517049B2_000004t.gif
(14)
これを(3) 式に代入して、視点Q’(xQ',yQ',zQ')が求まる。
【0018】
以上詳しく説明した本発明の実施形態について、種々の変形が期待できる。これらは、本発明の技術的範囲に属するものである。
全カメラは近赤外線に高感度のカメラを使用し、レンズの絞りをできるだけ絞り焦点深度を大きくすることで固定焦点レンズを使用することもできる。
すなわち、頭部が大きく移動してもいつもピントがあっている状態を作り出し、カメラの方向も固定のままでも頭部をいつも撮影できるようにしても良い。
【0019】
また、第2のカメラ12については、一般に、大きく拡大するために、狭い距離範囲でしかピントが合わなくなる可能性がある。しかし、用途によっては、手動焦点レンズで間に合う場合がある。それは、ある一時期において、頭部の動きが限られている場合である。例えば、いすに座っているユーザや被検者の場合、座席の位置を設定したら、頭部を大きく動くことはない。この場合は、狭い範囲(10cm)程度の範囲でピントがあっていればよいので、ユーザや被検者が手動でレンズの焦点を合わせたり、もしくは電動焦点レンズを手元スイッチやリモコンでピントを一度合わせれば使用できるようになる。また、カメラの向きも、ユーザや被検者が手など体を使って動かしたり、アクチュエータを含むシステムで、手元スイッチやリモコンで眼が写る方向、位置に一度合わせれば視線を計測できることになる。前記のシステムは比較的安価にできる。この場合でも、視線決定において瞳孔の3次元位置は情報として必要となる。
【0020】
また、頭部が大きく動いている最中も視線を検出する必要がある場合において、手動固定レンズもしくは固定焦点レンズではピントが合わない場合がある場合においては、自動焦点レンズもしくは電動焦点レンズを使用する必要がある。自動焦点レンズは一般にカメラの画像を利用して制御される。画像のコントラストが良い場合には利用できるが、バンドパスフィルタをつけるなどの理由から画像のコントラストが悪い場合には、電動焦点レンズを用いて外部からコントロールすることもできる。
【0021】
上述の方法では、θと|r |関係に線形性があり、原点を通ることを前提とした。
しかし、一般には、眼球の光学系と視軸とに多少のずれがあるため、被検者がOを見たときに角膜反射が瞳孔像の中心に現れるとは限らない。すなわち、原点を通らない。高精度の視線検出を行うためには、これを補正する必要がある。方法としては、視線の較正の際に、どこか一点を被検者に見させるだけでなく、被検者がOを見たときの|r | とφ' も計測する。すなわち、被検者に最低でもこれら2点を見させて、視線の較正をする必要がある。
この場合、Oを見させたときに得られる角膜反射中心-瞳孔中心ベクトルr(ずれ成分)がゼロベクトルになるように、他のどこか一点を見たときに得られたrについてもずらした後に(原点補正)、|r | とφ' を求め較正を行う。また、実時間視線検出においても、得られるrに同様に補正を行った後に|r | とφ' を求め、それを利用し視線を算出する。
【産業上の利用可能性】
【0022】
本発明は、人間の行動の監視の分野、人間の生活環境または作業環境における視線入力手段として広く利用できる。電子装置の製造の分野、電子計算機の使用環境における利用が予定される。
【図面の簡単な説明】
【0023】
【図1】本発明による方法を実施するための装置の実施例の配列を示す概略図である。瞳孔と角膜反射(点)の位置関係の一例を拡大して示してある。
【図2】本発明方法を実施するための装置等の構成を示すブロック図である。
【図3】本発明による方法を説明するための流れ図である。
【図4】世界座標系に関連して装置等の配列を示す斜視図である。
【図5】瞳孔と仮想視点平面の写像〔(r’,φ)と(|θ|=k|r’|,-φ)の対応〕を説明するためのグラフである。
【図6】視対象平面と仮想視点平面(H)との関係を説明するための斜視図である。
【図7】仮想視点平面(H)におけるθとφの意味を説明するための図である。
【図8】方向ベクトルと角度の関係を示すグラフである。
【符号の説明】
【0024】
10,11 第1のカメラ
12 第2のカメラ
14 カメラインターフェイス
15 照明制御装置
16 カメラ駆動装置
20 バスライン
22 処理装置(CPU)
24 入力装置
26 記憶装置
30 出力インターフェイス
31 出力装置
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7