TOP > 国内特許検索 > 距離イメージセンサを用いた視線検出装置 > 明細書

明細書 :距離イメージセンサを用いた視線検出装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4604190号 (P4604190)
公開番号 特開2005-230049 (P2005-230049A)
登録日 平成22年10月15日(2010.10.15)
発行日 平成22年12月22日(2010.12.22)
公開日 平成17年9月2日(2005.9.2)
発明の名称または考案の名称 距離イメージセンサを用いた視線検出装置
国際特許分類 A61B   3/113       (2006.01)
G01B  11/00        (2006.01)
G02B   7/40        (2006.01)
G01S  17/88        (2006.01)
FI A61B 3/10 B
G01B 11/00 H
G02B 7/11 F
G01S 17/88
請求項の数または発明の数 2
全頁数 8
出願番号 特願2004-039495 (P2004-039495)
出願日 平成16年2月17日(2004.2.17)
審査請求日 平成19年1月12日(2007.1.12)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】島田 保
参考文献・文献 特開平05-199995(JP,A)
特開平11-076165(JP,A)
特開2003-275259(JP,A)
特公平07-061314(JP,B2)
調査した分野 A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
特許請求の範囲 【請求項1】
CMOSセンサを2次元に配列した光飛行時間型距離イメージセンサを備えたカメラ(1)と、パルス光を発生する光源(2)と、前記距離イメージセンサの出力から被験者の瞳孔中心及び角膜反射中心の画像情報ならびに前記距離イメージセンサから瞳孔中心または角膜反射中心までの距離情報を求める情報取得手段(3)と、前記画像情報及び距離情報から被験者の瞳孔中心の三次元位置及び視線ベクトルを決定する演算手段(4)とからなり、
前記演算手段は、カメラから被験者に対するベクトルと視線ベクトルとの交差角が、前記光源の反射像が被験者の角膜領域を外れて白目領域に入るほどに大きい場合に、瞳孔の楕円情報と瞳孔に対する白目反射の生じる方向を参照して視線ベクトルを決定する、
距離イメージセンサを用いた視線検出装置。
【請求項2】
請求項1記載の視線検出装置を被験者を取り囲むように複数台配置することにより、広範囲の視線ベクトルを検出可能にしてなる距離イメージセンサを用いた視線検出装置。
発明の詳細な説明 【技術分野】
【0001】
この発明は、非接触で被験者の視線方向を正確に検出する方法及び装置に関する。
【背景技術】
【0002】
非接触で被験者の視線方向を正確に検出するためには、三次元空間内での瞳孔もしくは眼球中心の座標と、それらの座標とカメラを結ぶ直線と視線とのなす角度の情報が必要である。従来は、広角の2台のカメラを用いて三角法による瞳孔の3次元位置を検出(たとえば特許文献1参照)する、もしくは、顔に3個以上のマーカーを取り付けて眼球中心を推定(たとえば特許文献2参照)したりした。しかし、これらのような方法では、カメラを2台以上必要とするし、ステレオカメラのカメラ較正が面倒であるなどの問題があった。
また、カメラから被験者までの距離を知る方法として、超音波距離計(たとえば特許文献3,4参照)が知られている。
この場合、カメラの近傍に超音波発信機をとりつけて、超音波を発射し、眼を反射して戻ってくるまでの時間を計測し、超音波の速度を乗じ、2で割ることにより、カメラから眼までの距離がわかる。しかし、このような超音波を用いたTOF(Time of flight)法では、超音波の指向性が弱い等の問題で、実際には超音波は眼の周囲の広い範囲で反射し、正確に瞳孔までの距離を測定できない。

【特許文献1】特許第2739331号
【特許文献2】特開平10-066678号公報
【特許文献3】特開2003-186411号公報
【特許文献4】特表平10-509933号公報
【発明を実施するための最良の形態】
【0003】
この発明では、1台のカメラの方向と、そのカメラと瞳孔までの距離と、その距離により求まる拡大率により、瞳孔の三次元位置を特定することを目的とする。さらに基本的に画像中の瞳孔中心と角膜反射中心の相対位置関係から求まる視線ベクトルに基づき、その視線ベクトルと既知の視対象平面との交点から被験者の注目点(視点)を決定することを目的とする。また2つの瞳孔の視線ベクトルから、その視線ベクトルの交差する位置、すなわち被験者の注目点(視点)を決定することをさらなる目的とする。
このために、本発明では超音波ではなく光を発射して物体に反射して戻ってくるまでの遅延時間を計測(光飛行時間型計測)し、それに光の伝播速度を乗ずることにより、物体までの距離を画素ごとに計測できるだけでなく、画像も普通に写すことのできるカメラを使用するものである。
このカメラは、高速応答可能なCMOSセンサを2次元配列したイメージセンサを備えている。距離測定時には、パルス光を対象物に照射し、その照射光と反射光との時間差を計測することにより距離を決定する。この時間差の計測方式には種々の方式が考えられる。そのひとつとして、カウンタとパルス信号源とを設けて、照射開始時にカウント動作を開始し、反射光のピークでカウント動作を停止させる方式がある。
【0004】
この発明では、カメラ(1)の近傍もしくは既知の位置に光源(2)を有し、その光源を高速に繰り返し点滅させる。このカメラは一般には広角のカメラであり、顔全体が写る程度である。光源は不可視の近赤外線を用い、光源が点灯するたびに、距離計測が画素ごとになされる。
しかし、瞳孔自体はその性質上距離を計測したとしても、それは眼底(網膜)までの距離であり、瞳孔までの距離計測は困難である。
一方で、光源の角膜反射は非常に明るく工夫しだいで外乱光にほとんど影響を受けずに距離計測ができるため、本発明では角膜反射を用いることが望ましい。
【0005】
簡単のためにカメラと光源は同一の位置にあるとし、カメラから角膜反射の生じている原因となっている角膜表面(簡単のため、角膜反射の位置と呼ぶことにする)までの距離を計測するものとする。この角膜反射の位置は、瞳孔中心位置と奥行きについて数mmしか違わないため、角膜反射位置までの距離を瞳孔中心までの距離とみなすか、もしくは適当な値で補正すればよい。上記の方法によりカメラから瞳孔中心までの距離がわかり、しかも、予めカメラの特性を調べておけば、カメラの光軸をz軸、水平軸をx軸、垂直軸をy軸とするようなカメラ座標系において、カメラの画像中の瞳孔中心座標を用いて、カメラから瞳孔中心を見た方向がわかり、前記のカメラから瞳孔までの距離情報と合わせて、瞳孔中心の三次元位置が推定できる。
【0006】
さらに、カメラと瞳孔中心を結ぶ直線と視線(瞳孔中心を通る)のなす角度は、画像中の角膜反射中心と瞳孔中心との相対座標から推定する。この関係は、被験者に依存するために、あらかじめ視線較正を行う必要がある。視線較正は、最低、カメラ座標系において3次元位置が既知である1点と光源(カメラ)を順次被験者に見させることによって行う。視線検出においては、視線較正によって得られた較正式を用いて角膜反射中心と瞳孔中心の相対位置を角度に変換し、その角度と角膜反射の3次元位置を用いて、視線の式を決定する。また視線と、式で表現されている対象物体との交点を視点として決定する。
【実施例】
【0007】
図1には、カメラ(1)と光源(2)と眼球との関係が2次元的に図示されている。カメラと光源の位置は一致しているとし、この点をOとし、カメラと瞳孔中心を結ぶ直線と視線とのなす角度θを維持した状態で点O周りに眼球が回転したとすると、点Oから瞳孔中心Pまでの距離と点Oから一定値が保たれる。このとき、画像中の瞳孔と角膜反射は移動するが、それらの相対位置は変化しない。
【0008】
また、図2(a)に示すように、θの大小に依存して、画像中の角膜反射中心と瞳孔中心間距離|r|は変化し、θと|r|の関係は、一般に、|r|=f(θ)のように関数として表現できる。この関数は、眼球の形状の違いなどにより被験者によって異なるため、被験者ごとに較正が必要である。角度θが小さいときには概ねθと|r|とは正比例の関係にあり、平均的な値を用いて概算することもできる。この場合には予め位置が判明している較正ポイントを被験者に注視させ、概算した位置情報との差により較正する。較正ポイントを数点設ければ、角度θの大きいところでも較正可能である。ただし、角膜反射中心が角膜領域を外れて白目領域に入るほど角度θが大きい場合には較正ポイントとして無意味である。
ただし、角膜反射が白目領域に入ると、一般に角膜反射よりも大きく、複雑な形状の像となって写る。しかし、角膜反射同様に非常に輝度の高い像である。ところで、視線の大まかな方向は、瞳孔の楕円度(長軸/短軸)と短軸の方向からでも推定できる。しかし、たとえば、右40度を見ても、左40度を見ても、同様に瞳孔は楕円度が同じ縦長の楕円となり、どちらを見ているのか区別がつかない。このようなとき、瞳孔に対してどちら側に白目が光っているかは、それを区別する手段となる。さらに、白目の光った部分までの距離計測をすることにより、θが大きいときにも大まかな視線検出ができる。
【0009】
視線ベクトルがカメラに向いているときには図2(b)のように、カメラから見た瞳孔中心と角膜反射中心とは一致し、|r|=0である。これら瞳孔中心位置及び角膜反射位置の取得は、カメラ画像から抽出することによりなされる。この処理は情報取得手段(3)で行われるが、この情報取得手段(3)はカメラ(1)に内蔵するものであってもよい。また、関数の演算などの計算処理は演算手段(4)で行われるが、この演算手段(4)は情報取得手段(3)に内蔵されていてもよいし、離れた場所にあるパーソナルコンピュータ内のCPUがその機能を実行するものであってもよい。
【0010】
今、図3のように、θを一定に保ったまま、カメラから瞳孔中心までの距離が変化した場合、角膜反射中心と瞳孔中心の相対距離は変化する。この変化は、カメラから瞳孔中心までの距離が増大すると、角膜反射中心と瞳孔中心の見かけの距離は減少し、通常反比例の関係にあるので、この関係を利用するか、予め距離と拡大率との関係を計測しておき、その関係を利用して補正する必要がある。
視線は、瞳孔中心を通る。カメラOと瞳孔中心Pを通る直線と視線のなす角度θは、前述のように、角膜反射中心と瞳孔中心間距離|r|と関数fから求めることにより、視線が求まる。
【0011】
図4に示すように、カメラの視野角を既知とすると、カメラから見た瞳孔中心の位置角度ζが画像中の瞳孔中心の座標から決定できる。また、瞳孔までの距離と角膜反射の生じる角膜上の位置までの距離はδだけ相違があるが、これは十分に小さいとして、カメラ-瞳孔中心間距離をカメラ-角膜反射間距離で代用するか、およその推定値δで補正する。なお、カメラ-角膜反射間距離は、検出しやすい瞳孔像の近傍にある明るい小さな点として角膜反射を検出し、それらの画素における距離情報の平均値を求めるなどして求める。
【0012】
図5に示すように、予めわかっているカメラ座標系の原点Oにカメラおよび光源が設置してあるとする。1つもしくは2つの眼が写っているものとする。今、図6(a)のように写っている眼において、瞳孔と角膜反射を画像処理によって検出し、それぞれの中心座標を求める。ベクトルOPの方向ベクトルは、画像中においてカメラ光軸に相当する座標から瞳孔中心を結ぶベクトルqの大きさ|q|と水平軸となす角度η'および前期カメラ-瞳孔中心間距離より瞳孔中心の3次元座標を計算する。このとき、角度ζは|q|について単純増加の関係がある。この関係を、関数gを用いて、ζ=g(|q|)で表現できるとし、関数gを既知とすると、ζ=g(|q|)でζを算出できる。
【0013】
カメラ-瞳孔中心間距離をLとすると、図5のカメラの光軸をz軸、カメラの水平軸と垂直軸をそれぞれx軸、y軸とする座標系において、瞳孔中心の三次元位置P(xp, yp, zp)は、
zp = L cosζ
yp = L cosζcosη'
xp = L cosζsinη'
により算出できる。
カメラ-瞳孔中心間を結ぶ直線と視線のなす角度θは、画像中の角膜反射中心—瞳孔中心間距離|r|に依存し、前述のようにθ=f(|r|)で表わせる。
【0014】
図5において、カメラのz軸を法線とし点Oを含む平面が、直線OPが法線となるように、カメラの水平を保ったまま点Oを中心に回転させたとき(x軸周りにβ回転させ、y'軸周りにα回転させる)にできる平面を仮想視点平面Hとする。いま、被験者が視対象平面状の点Qを見ているときに、視線PQは、平面Hの点Gで交点を持つ。平面Hの水平軸x'とベクトルOGのなす角度をφとすると、φは、図6(b)に示した角膜反射中心から瞳孔中心へ向かうベクトルrとカメラの水平軸とのなす角度φ'と等しいとみなせる(φ=φ')。
したがって、逆に瞳孔中心Pとθとφが明らかになれば、視線の式と点Gが求まり、さらに視対象平面の式が分かっていれば、視線との交点として視点Qが分かることとなる。
【0015】
視対象平面が不明なときは、両方の瞳孔から視線ベクトルを求め、両視線ベクトルの交点を視点Qとする。この交点は、両視線ベクトルが交点を持たずねじれの関係にあったり、測定誤差により必ずしも存在するものではないが、その際には近似解としての交点を求めることとする。
精度は悪いが瞳孔の楕円度(短軸/長軸)からも視線方向は推定できる。
ここまで、瞳孔中心と角膜反射中心とから視線ベクトルを求めるものとして説明を行ったが、視線ベクトルの精度はやや落ちるが瞳孔の楕円度から求めることも可能である。この場合には瞳孔を円板状のものとして近似し、斜めから見たときの長径と短径との比率、及び長径または短径の方向により視線ベクトルを求めることができる。これは、θの小さいときには瞳孔中心と角膜反射中心とから視線ベクトルを求め、θの大きいときには瞳孔の楕円度から求めるように切換えて算出するものであってもよい。
【0016】
例えば、カメラと瞳孔を結ぶ軸から±30~40度程度の方向を被験者が見ており、角膜反射が画像中に存在しているときには、角膜反射と瞳孔中心との関係から視線を精度よく決定し、±30~40度を超えて角膜反射が存在しないときは、瞳孔の楕円度からおよその視線方向を検出するように構成する。
これは、被験者の顔の正面に提示された物のどこを見ているかは、正確に知る必要があり、かつ、横見をしているときには視線方向を正確に知る必要がない場合には有効な手段であり、±70度~±80度程度の視線検出が可能になる。
また、視線ベクトルの角度変化が大きいときには、被験者の周囲にカメラを複数個配置し、そのカメラのうちθの小さい画像から視線ベクトルを求めることにより、精度の高い視線ベクトル検出が可能となる。
【0017】
一般に、θが大きいときは、光源の反射像(一般には、角膜反射)が角膜反射領域を外れて白目領域に入り、角膜反射とは異なって不規則な像(白目反射像)となる。しかし、この場合も、輝度の高い像であり、この像における距離情報を角膜反射までの距離情報の代わりに利用することも可能である。また、瞳孔の楕円度より視線方向を求める場合、例えば、被験者が点Oに対して右40度を見ていても左40度を見ていても一般に同じ楕円度を示すので左右が区別できない。その場合、白目反射が瞳孔のどちら側に生じているかを調べることにより区別する。
【0018】
通常、照明なしでは、瞳孔は検出しにくい。しかし、距離計測に使用する光源を、瞳孔を検出しやすくするために利用できる。理想的なのはカメラの開口をリング状に取り囲むように配置することである。このように光源をカメラの開口近くに配置すると、瞳孔は周囲よりも明るく写る傾向がある。しかし、顔全体を撮影した場合、瞳孔より明るく写る部分はたくさんあり、瞳孔検出は必ずしも簡単ではない。その場合、カメラ開口部から遠い位置に別の光源を設ける。この光源により、瞳孔は周囲よりも暗く写る傾向を得る。しかし、この場合も瞳孔より暗く写る部分が存在する。そこで、これらカメラの開口に近い光源と遠い光源をビデオのフレームもしくはフィールドに同期させ交互に点灯させ、得られる明瞳孔の顔画像と暗瞳孔の顔画像を差分することで瞳孔を浮き立たせることができ、瞳孔検出および瞳孔中心検出が容易になる。
【0019】
この場合、瞳孔までの距離は何通りかの求め方が考えられる。仮定したように、光源とカメラの位置を同じとすると、カメラの開口から近い光源が点灯したときの角膜反射までの距離情報を利用するのが妥当である。(このように配置すると、角膜反射として、角膜にはそのリング状の光源が小さく写る。そこで、2値化などをして、角膜反射の領域を区別し、その領域内の画素からもとまる距離の平均などを求めることで、それを角膜までの距離とする。)しかし、カメラ開口部から離れた光源により距離計測することも可能である。その一つの方法として、カメラの開口の中心から点対称の位置に光源を複数設置する。例えば、左右、もしくは、上下に設置する。これらの光源の中間位置は、開口中心に一致することから、ここでも各光源までの距離の平均として角膜反射までの距離とし、それもしくは、先述のような補正をし、瞳孔までの距離として使用する。
カメラの開口から近い光源と遠い光源のそれぞれにより求まる距離情報の両方を利用することもできる。
【産業上の利用可能性】
【0020】
1.最低1台のカメラと1個の光源で両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点(両目の視線の交差点)が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に3次元空間における視点がわかる(両目の視線の交差した点、3D視点)。
2.瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか(どこを見ているかではなく)がわかる。したがって、どこから見ているかを厳密に知る必要のあるシステムにおいて有効である。
(従来は、頭部に磁気センサ等を取り付けて頭の動きを計ることによってこれを実現しなければならなかったが、頭部にセンサを取り付けねばならないだけでなく、瞳孔のありかを正確に測ることができなかった)
3.本方式は、駆動部がなく、カメラは固定されているので、実現が容易である。
また、カメラの感度さえあれば、カメラの開口部を小さくできるし、光源も高輝度のものを製作すれば、小型化が容易である。
4.カメラを小型化できるので、被験者の周辺に複数台配置することが可能となり、被験者頭部の角度変化に対応できる。
【図面の簡単な説明】
【0021】
【図1】カメラと光源と眼球との関係を2次元的に示した図
【図2】瞳孔中心位置を保ったまま、視線が変化した場合を示す図
【図3】θを一定に保ったまま、カメラから瞳孔中心までの距離が変化した場合を示す図
【図4】カメラから見た瞳孔中心の位置角度ζを示す図
【図5】カメラ、瞳孔中心及び視線ベクトルを三次元的に示す図
【図6】(a)は瞳孔中心とカメラの光軸とを結ぶ直線と水平軸との角度ηを示す図、(b)は瞳孔中心と角膜反射中心とを結ぶ直線と水平軸との角度φ’を示す図
【符号の説明】
【0022】
1 カメラ
2 光源
3 情報取得手段
4 演算手段
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5