Top > Search of Japanese Patents > VISUAL AXIS MOVEMENT DETECTING METHOD AND APPARATUS > Specification

Specification :(In Japanese)視線移動検出方法及び視線移動検出装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4452833
Publication number P2007-268164A
Date of registration Feb 12, 2010
Date of issue Apr 21, 2010
Date of publication of application Oct 18, 2007
Title of the invention, or title of the device (In Japanese)視線移動検出方法及び視線移動検出装置
IPC (International Patent Classification) A61B   3/113       (2006.01)
G01B  11/00        (2006.01)
G06F   3/033       (2006.01)
FI (File Index) A61B 3/10 B
G01B 11/00 H
G06F 3/033 310A
Number of claims or invention 4
Total pages 13
Application Number P2006-100344
Date of filing Mar 31, 2006
Date of request for substantive examination Mar 22, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
Examiner (In Japanese)【審査官】後藤 順也
Document or reference (In Japanese)特開2006-204855(JP,A)
特開2006-075348(JP,A)
特開平11-282617(JP,A)
特開2004-017889(JP,A)
特開2003-271932(JP,A)
特開平07-249197(JP,A)
特開2005-266868(JP,A)
特開2000-351337(JP,A)
特開平02-224637(JP,A)
Field of search A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
Scope of claims (In Japanese)【請求項1】
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出方法であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する判定ステップと、
を備えることを特徴とする視線移動検出方法。
【請求項2】
前記算出ステップでは、前記前後のフレーム間の前記瞳孔位置の変化量及び前記鼻孔位置の変化量を求め、前記瞳孔位置の変化量と前記鼻孔位置の変化量との差分をとることによって前記相対的位置の変化量を算出する、
ことを特徴とする請求項1記載の視線移動検出方法。
【請求項3】
前記算出ステップでは、前記複数のフレームにわたって前記相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、
前記判定ステップでは、前記相対的位置の変化量を前記移動平均値を基準にして設定した閾値と比較することによって、前記視線移動の有無を判定する、
ことを特徴とする請求項1又は2に記載の視線移動検出方法。
【請求項4】
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出装置であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する手段と、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する手段と、
を備えることを特徴とする視線移動検出装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、対象者の視線移動を検出する視線移動検出方法及び視線移動検出装置に関するものである。
【背景技術】
【0002】
近年、自動車等において運転者の運転状況のモニターや、パーソナルコンピュータの視線による操作を目的として、人間の視線方向を検出する技術が開発されている。例えば、対象者の瞳孔の位置を測定する第1のカメラと、瞳孔の中心と角膜反射点間の距離及び角度を取得する第2のカメラとを用いて、対象者の視線方向を演算する技術が開示されている(下記特許文献1参照)。この技術は、対象者の瞳孔移動が検出された場合に眼球が回転したのか頭部自体が動いたのかを区別するために、瞳孔中心と角膜反射中心の相対的位置関係から視線方向を判定するものである。これは、対象者がカメラの光軸方向を見ている時には瞳孔中心と角膜反射中心の位置がほぼ一致し、対象者が眼を回転させるとその回転角に応じて瞳孔中心と角膜反射中心との間の距離が長くなるという知見に基づいている。
【0003】
一方、視線によりパーソナルコンピュータの画面上のカーソルを移動させるポインティング方法に関する技術も知られている(下記非特許文献1及び下記特許文献2~4参照)。これらの技術はカメラによって撮像された顔画像から瞳孔を検出するものである。また、一台のカメラで対象者の瞳孔中心及び角膜反射中心の位置を得て視線ベクトルを求める装置(下記特許文献5参照)、及び2台のカメラを用いて瞳孔と鼻孔を検出することにより頭部の方向を検出する方法(下記特許文献6及び下記非特許文献2参照)も開示されている。

【特許文献1】特開2005-185431号公報
【特許文献2】特開2005-182247号公報
【特許文献3】特開2005-352580号公報
【特許文献4】特開2005-348832号公報
【特許文献5】特開2005-230049号公報
【特許文献6】特開2005-266868号公報
【非特許文献1】Y. Ebisawa, D. Ishima, S. Inoue, Y. Murayama, “PupilMouse: Cursor Controlby Head Rotation Using Pupil Detection Technique”,(米国), Proceedings of InternationalConference on Computing, Communications and Control Technologies: CCCT’04, August 14-17, 2004-Austin, Texas, USA, pp. 209-214
【非特許文献2】Y.Ebisawa, Y.Nurikabe,“Face Pose EstimationBased on 3D Detection of Pupils and Nostrils”,2005 IEEE INTERNATIONAL CONFERENCE ONVIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES, AND MEASUREMENT SYSTEMS, 2005, pp.92-97
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上述したように、角膜反射の中心及び瞳孔中心の位置を検出することによって視線方向を検出する場合には、検出精度を上げるために使用するカメラの解像度を比較的高くする必要があり、カメラの撮像範囲が小さくなりがちである。従って、頭が大きく動きがちな運転者をモニターする場合等において、顔全体を広い範囲で撮影する必要がある場合であっても、検出精度を確保するためには検出範囲が比較的狭い範囲に限定されてしまう。さらに、この場合に、カメラと瞳孔とを結ぶ線と視線との許容角度は、水平方向で±30~±40度程度と比較的狭い。これは、撮影角度が大きくなると角膜反射が角膜の領域からはみ出して白目が光るようになるため、事実上角膜反射の検出が不可能となるからである。従って、対象者の視線の移動をモニターする場合で、視線方向を高い精度で検出する必要が無いときは、角膜反射を検出する意義が小さい。同様に、2台のカメラを用いて対象者の顔の特徴点の位置を検出する場合も、検出範囲が狭くなる傾向がある。
【0005】
これに対して、対象者の瞳孔等の目の位置をモニターして対象者の視線移動を判定することも考えられるが、頭部自体の動きが加わった場合に瞳孔位置をモニターしただけでは、その動きが視線の動きによるものか、頭部の動きによるものかを安定して判別することが困難である。
【0006】
そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者の視線移動を広い範囲で安定して検出することが可能な視線移動検出方法及び視線移動検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の視線移動検出方法は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出方法であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する判定ステップとを備える。
【0008】
或いは、本発明の視線移動検出装置は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出装置であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する手段と、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する手段とを備える。
【0009】
このような視線移動検出方法及び視線移動検出装置によれば、対象者の顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔位置と鼻孔位置とを検出し、前後のフレーム間の鼻孔に対する瞳孔の相対的位置の変化を算出し、その変化の大小をもって視線移動の有無を判定するので、1台の撮像手段を使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
【0010】
算出ステップでは、前後のフレーム間の瞳孔位置の変化量及び鼻孔位置の変化量を求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量を算出することが好ましい。この場合、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
【0011】
また、算出ステップでは、複数のフレームにわたって相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、判定ステップでは、相対的位置の変化量を移動平均値を基準にして設定した閾値と比較することによって、視線移動の有無を判定することも好ましい。こうすれば、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
【発明の効果】
【0012】
本発明による視線移動検出方法及び視線移動検出装置によれば、対象者の視線移動を広い範囲で安定して検出することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照しつつ本発明に係る視線移動検出方法及び視線移動検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0014】
本発明の視線移動検出方法及び視線移動検出装置は、観察対象者の目の方向(視線方向)が変わったかどうかを検出するためのものである。ここでいう視線方向とは、顔の方向を基準にした目の動きのことである。本発明は、例えば、大型トラック等の自動車に代表される乗り物内において、運転者や操縦者が運転中に覚醒状態にあるか否かを判断するために利用される。具体的には、運転者が正常に運転しているときは周囲に注意を払うため視線は頻繁に変化するが、眠気を催しているときには運転者の視線の動きが止まる傾向にあるので、視線移動の頻度に基づいて運転者の覚醒状態を判定することができる。
【0015】
まず、本発明にかかる視線移動検出装置1の構成について、図1を参照しながら説明する。図1は、視線移動検出装置1と対象者Aとの位置関係を示す平面図である。同図に示すように、視線移動検出装置1は、対象者Aの顔画像を撮像する1台のカメラ2と、カメラ2の前面2aの撮像レンズの光軸L1の近傍に設けられた光源3aと、カメラ2の前面2aの光軸L1から離れた位置に設けられた光源3bと、カメラ2に接続されてカメラ2において生成された画像データを処理する画像処理端末4とを備えている。この視線移動検出装置1は、本発明にかかる視線移動検出方法を実施する。
【0016】
カメラ2は、対象者Aの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、CCD、CMOS等の撮像素子を内蔵するデジタルカメラを用いる。また、カメラ2は、対象者Aの顔画像を動画像として連続して撮像することが可能とされ、その動画像を構成する複数のフレーム画像をリアルタイムで画像処理端末4に出力する。
【0017】
光源3aは、カメラ2の光軸L1に沿って、光軸L1上に位置する対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源3bは、光軸L1からの距離が光源3aよりも離れた位置に固定され、光軸L1に沿って対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、光源3a,3bから照射される照明光は、瞳孔の部分に輝度差を生じさせるような異なる波長成分(例えば、中心波長が850nmと950nm)を有する光であり、かつ、光源3bは光軸L1からの距離が光源3aと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【0018】
なお、カメラ2及び光源3a,3bは、対象者Aが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Aの瞳孔及び鼻孔を検出し易くする目的で、対象者Aの顔の高さよりも低い位置(例えば、光軸L1の水平面に対する傾斜角20度~30度)に設けられることが好ましい。この設置位置としては、車両内に設置される場合は運転席側のダッシュボードの下等、トラック等の座席位置が高い場合はダッシュボードの上等が考えられる。
【0019】
画像処理端末4は、カメラ2から出力された複数のフレーム画像からなる顔画像に画像処理を施す情報処理端末であり、CPU等の演算処理装置、ROM、RAM等の記憶装置を内蔵するコンピュータ端末である。画像処理端末4は、対象者Aの視線移動の有無を検出する視線移動検出処理を実行するとともに、カメラ2による対象者Aの撮像を制御する。
【0020】
次に、上述した各処理について説明する前に、対象者の眼球運動(眼球の回転運動)の種類について説明する。一般に、広視野のビデオカメラで顔を撮影した場合に検出可能な眼球運動としては、(1)サッカード(saccade, 跳躍性眼球運動)、(2)滑動性眼球運動(smooth pursuit movement, 随従運動)、(3)前庭性眼球運動(vestibular reflex)、(4)輻輳開散眼球運動(vergence eye movement) が存在する。
【0021】
サッカードは、静止した物体に対して、見たい対象を変えたいときに生じる高速のいわばステップ状の運動である。運転中であれば、前方の車を見ている間に標識が視野の周辺に見えたときに、その詳細を見るために標識を見ようとするときなどに生じる。また、滑動性眼球運動は、運動物体を見続けようとするときに生じる。この場合の眼球回転速度は、サッカードに比較して小さい。また、前庭性眼球運動は、基本的に一点を見つめているときに頭部が回転すると、頭部の回転に対してちょうど反対方向に同じ回転速度で眼球が回転し、目の網膜に投影される像がぶれないようにするための運動である。この運動は、頭部が左右に上下に平行移動した場合にも、同様に網膜像がぶれないような方向に生じる。この眼球運動もサッカードに比較して眼球回転速度は小さい。さらに、輻輳開散眼球運動は、近くのものを見るときに両目が寄り(両眼球が内向きに回転する)、遠くのものを見るときに両目が離れる方向に回転する(両眼球が外向きに回転する)。従って、この運動は、両眼が互いに反対方向に回転する運動である。この眼球運動も、ゆっくりとした動きであり、サッカードより速度が小さい。
【0022】
以上の4種類の運動は、車両の運転中に重畳して生じ、サッカード以外のそれぞれの眼球運動の中に、サッカードが度々混在する。この際、サッカード以外の比較的滑らかな運動に高速な運動であるサッカードが割り込んで生ずるため、サッカードは他の運動に比較して検出が容易である。ここで、特筆すべき点は、サッカード以外の運動は、運転中でも通常はゆっくりとした運動であるが、サッカードは、比較的高速であり、視線を動かしたときは瞳孔の瞬間的な動きとして際だって現れる点である。このサッカードは、10度程度の回転でも約40msec程度で完了するため、通常の30フレーム/秒のカメラでも2フレーム以内に収まる。従って、他の眼球運動が混在していても、回転角度がある程度以上(例えば、10度以上)であれば十分にサッカードを他の運動から判別することができ、サッカードの発生の有無は容易に判断できる。なお、ある方向から別の方向へ視線を動かすときに頭部の回転を伴う場合もあるが、このような場合であっても頭部の回転速度よりも眼球の回転速度のほうが高速であるため、サッカードは明確に現れる。
【0023】
上述したサッカードは、運転者が注意を向ける対象を移すときに生じることから、明らかに運転者が覚醒しているときに生じると考えられる。サッカード以外の眼球運動も覚醒状態でなければ生じないが、この場合もサッカードが混在して生じる確率が高い。例えて言えば、運転者が運転中に、前方や、バックミラー、ルームミラー、メーター等を見るときには、サッカードは必ず生じる。逆に、運転中にサッカードが生じないということは、少なくとも覚醒状態が低下していると判断してよい。
【0024】
そこで、画像処理端末4は、以下のようにして、対象者Aの鼻孔に対する瞳孔の相対的位置の変化量(視線移動量)を算出した後、視線移動の有無を判定して運転者の覚醒状態を判断する。
【0025】
まず、画像処理端末4は、カメラ2を制御して対象者Aの顔画像を連続して撮像して、その結果生成された複数フレームからなる動画像を受けて、その複数フレームのそれぞれを対象に対象者Aの左右の瞳孔中心の位置及び左右の鼻孔中心の位置を検出する。図2は、画像処理装置4による対象者Aの検出状態を示す概念図である。
【0026】
(瞳孔中心の検出)
画像処理端末4は、複数フレームからなる顔画像の撮像時には、光源3a,3bを交互に点灯させて、それぞれの点灯に同期したフレームを生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源3aの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源3bの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの2種類の画像は、2つの光源3a,3bからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。ここで、フィールド走査を採用するカメラの場合は、光源3a,3bをカメラ2のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離してもよい。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
【0027】
その後、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施されたフレーム画像を用いて、そのフレーム画像を2値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開2005-348832号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
【0028】
(鼻孔中心の検出)
画像処理端末4は、左右の鼻孔中心の2次元座標を、上記の明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Aが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、フレーム画像の大ウィンドウ内を対象にP-tile法により輝度が低いほうから0.8%の画素を検出し、HIGH画素及びLOW画素からなる2値化画像に変換する。その後、検出された2値化画像の膨張処理及び収縮処理(モルフォロジー処理)を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから2つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、2値画像中で対象画素の近傍の8画素の1つでもHIGH画素がある場合に、対象画素をHIGH画素に変換する処理であり、収縮処理とは、2値画像中で対象画素の近傍の8画素の1つでもLOW画素がある場合に、対象画素をLOW画素に変換する処理である。そして、縦横比が0.5より小さいか0.7より大きく、かつ、全体の画像サイズが640×240画素に対して面積が100画素より小さいか300画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に30×30画素の小ウィンドウを設定し、もとのフレーム画像の小ウィンドウ内を対象に、P-tile法により輝度が低いほうから5%の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が130画素以上か70画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、2つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
【0029】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる2つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。なお、鼻孔を検出し難くするような影などが画像に写った場合の鼻孔の誤認識の防止、及び鼻孔の素早い動きへの対応を目的として、カルマンフィルタなどの予測モデルを利用して各鼻孔位置を予測して、小ウィンドウの位置を設定してもよい。
【0030】
このような鼻孔検出時において左右どちらかの鼻孔のみしか検出できなかった場合は、距離導出ステップで実測された距離と、検出された左右の瞳孔中心の位置及び片方の鼻孔中心の位置とを用いて、他方の鼻孔中心の位置を推定する。今、右瞳孔中心の座標を(xRP,yRP)、左瞳孔中心の座標を(xLP,yLP)、右鼻孔中心の座標を(xRN,yRN)、左鼻孔中心の座標を(xLN,yLN)、予め測定しておいた左右の瞳孔中心間の距離をDP0、左右の鼻孔中心間の距離をDN0とし、左鼻孔を検出できなかった場合を考える。このときの顔画像における左右の瞳孔間の傾斜率IP、及び瞳孔中心間距離DPは、下記式(1)及び(2);
IP=(yRP-yLP)/(xRP-xLP) …(1)
DP={(xRP-xLP2+(yRP-yLP21/2 …(2)
と考えることができる。
【0031】
ここで、左右の瞳孔中心を結ぶ線と左右の鼻孔中心を結ぶ線とは常に平行であると考えられるので、左右の鼻孔間の傾斜率IN=IPとなる。また、顔画像上の鼻孔中心間距離DNは、左右の瞳孔中心間の距離DP0、左右の鼻孔中心間の距離DN0、及び瞳孔中心間距離DPから、下記式(3);
DN=(DN0/DP0)×DP …(3)
により求まる。鼻孔中心間距離DNは下記式(4);
DN={(xRN-xLN2+(yRN-yLN21/2 …(4)
と表されるので、左の鼻孔中心の座標(xLN,yLN)は、下記式(5)及び(6);
xLN=xRN-{DN2/(1+IN2)}1/2 …(5)
yLN=yRN-{(DN2.IN2)/(1+IN2)}1/2 …(6)
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式(7)及び(8);
xRN=xLN+{DN2/(1+IN2)}1/2 …(7)
yRN=yLN+{(DN2.IN2)/(1+IN2)}1/2 …(8)
によって求めることができる。
【0032】
(視線移動量の算出)
画像処理端末4は、各フレーム画像中の前後のフレーム画像における左右の瞳孔中心の位置及び左右の鼻孔中心の位置に基づいて、対象者Aの視線移動量を計算する。この場合、一方の鼻孔に対して他方の鼻孔が大きく動くことは現実的に考えられないため、一方の鼻孔が検出できれば十分である。仮に、両方の鼻孔が検出できたときも左右どちらかの鼻孔中心の位置を視線移動の基準となる位置として選択すればよい。また、左右の鼻孔中心の位置の中点を基準としてもよい。ただし、一方の鼻孔位置から他方の鼻孔位置又は中点の位置に基準位置が切り替わってしまうと、瞳孔の相対的位置の変化が正確に検出できなくなってしまう。そこで、以下のようにして、複数のフレーム画像中の前後フレーム画像間の鼻孔中心位置の変化量DifN及び瞳孔中心位置の変化量DifPを、時間的に連続して求める。
【0033】
具体的には、左右の鼻孔が検出されているときは、左右の鼻孔中心毎の変化量を算出する。もし、(i)両鼻孔が検出され続けているときには、前後フレーム間の各鼻孔中心の変化量を計算し、それらの平均を鼻孔中心の変化量DifNとする。(ii)片方の鼻孔のみが検出され続けているときは、検出されている側の鼻孔中心のみのフレーム間変化量を鼻孔中心の変化量DifNとする。(iii)1つ前のフレームまで両鼻孔が検出されており、現フレームになって片方の鼻孔のみが検出されるようになったとき、現フレームにおいて検出された側の鼻孔中心の座標と1つ前フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量DifNとする。(iv)1つ前のフレームまで片方の鼻孔のみが検出されており、現フレームで両鼻孔が検出されるようになったとき、1つ前のフレームにおいて検出されていた鼻孔中心の座標と現フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量DifNとする。
【0034】
一方、瞳孔中心の検出においても、片方の瞳孔が検出できなくなったり、両方の瞳孔が検出できなくなることもある。したがって、瞳孔中心の変化量DifPの算出についても鼻孔と同様のことを行う。すなわち、左右の瞳孔が検出されているときは、左右の瞳孔中心毎の変化量を算出する。(i)両瞳孔が検出され続けているときには、両瞳孔中心のそれぞれのフレーム間変化量の平均を瞳孔中心の移動量DifPとする。(ii)片方の瞳孔のみが検出され続けているときは、検出されている瞳孔中心のみのフレーム間変化量を瞳孔中心の変化量DifPとする。(iii)1つ前のフレームまで両瞳孔が検出されており、現フレームになって片方の瞳孔のみが検出されるようになったとき、現フレームにおいて検出された瞳孔中心の座標と1つ前フレームにおける同じ側の瞳孔中心の座標への変化量を瞳孔中心の変化量DifPとする。(iv)1つ前のフレームまで片方の瞳孔のみが検出されており、現フレームで両瞳孔が検出されるようになったとき、1つ前のフレームにおいて検出されていた瞳孔中心の座標と現フレームにおける同じ側の瞳孔中心の座標との変化量を瞳孔中心の変化量DifPとする。 (v)両瞳孔ともが検出されない状態が続いているときには、瞳孔中心の変化量DifPを零とすると同時に“フラグ=0”とする。(vi)1つ前のフレームで両瞳孔が検出されていなかったときに、現フレームで両方若しくは片方の瞳孔が検出できたとき、瞳孔中心の変化量DifPを零とすると同時に“フラグ=0”とする。ここで、“フラグ=0”とは、両瞳孔か片瞳孔が検出されていても瞳孔移動が無い場合と、両瞳孔とも検出されていない場合を識別するために画像処理端末4で設定するフラグであり、上記(i)~(iv)の場合には、“フラグ=1”と設定される。
【0035】
なお、瞳孔の変化量算出処理において鼻孔の場合と異なるのは、(v)と(vi)であるが、これは瞬きによって、両瞳孔とも消失する場合があるからである。従って、鼻孔の場合よりも処理が複雑になる。しかし、何らかの理由で画像処理が正しく動作しない場合に、瞳孔と同様に両鼻孔ともに検出されないことがあり得るため、鼻孔の変化量の算出の場合にも、(v)(vi)と同様の処理を併せて行うことが好ましい。
【0036】
そして、画像処理端末4は、算出した複数のフレーム画像中の鼻孔中心位置の変化量DifN及び瞳孔中心位置の変化量DifPから、下記式(9);
Dif=DifP-DifN …(9)
を用いて、変化量DifNとDifPかの差分を取ることによって視線移動量Difを連続して求める。この際、該当フレームにおいて“フラグ=0”の場合は、視線移動量Difは検出できなかったと判断する。
【0037】
(視線移動量の算出)
画像処理端末4は、求めた視線移動量Difを予め設定した閾値と比較することによって視線移動の有無を判定し、視線移動が無いと判定された場合はブザー鳴動手段等に警報を出力する等によって外部に通知する。
【0038】
図3(a)は、対象者Aがカメラ2に対して正面を見た状態で、頭部を左右に交互に動かしたときに検出される左右の瞳孔中心の水平方向の位置XPL,XPR、左右の鼻孔中心の位置XNL,XNR、左右瞳孔位置の平均値XPA、及び左右鼻孔位置の平均値XNAの時間変化を示すグラフである。図3(b)は、このときの瞳孔と鼻孔との相対的位置DX、及び画像処理端末4が算出した視線移動量Dif(=瞳孔の鼻孔に対する相対的速度)の時間変化を示している。同図に示すように、左右の鼻孔は互いにほとんど同じ動きをし、左右の瞳孔も互いにほとんど同じ動きをするので、視線移動量Difの絶対値はそれほど大きくない。ここでは、簡単にするために、左右の鼻孔と左右の瞳孔が常に検出できているものとして示した。
【0039】
一方、図4(a)は、頭部の動きに高速なサッカードの眼球運動が混在して起こっているときに検出される左右の瞳孔中心の位置XPL,XPR、左右の鼻孔中心の位置XNL,XNR、左右瞳孔位置の平均値XPA、及び左右鼻孔位置の平均値XNAの時間変化を示すグラフである。図4(b)は、このときの瞳孔の位置と鼻孔の位置との相対的位置DX、及び画像処理端末4が算出した視線移動量Difを示している。このように、サッカードが生じている時点において、視線移動量Difの絶対値が瞬間的に大きくなっていることがわかる。この場合は、正負の一定の閾値を設けることで、サッカードの生じている部分は比較的容易に検出できる。しかし、サッカードのサイズ(サッカードの開始から終了までの眼球回転角度変位)が小さいときには、サッカードが生じた時点の視線移動量Difが、頭部の運動による移動量に比べて突出して大きく検出されないため、一定の閾値では検出しにくい。また、検出する位置データに対するノイズの混入により、一定の閾値では検出しにくい傾向にある。
【0040】
そこで、画像処理端末4は、次のようにして適切な可変閾値を設定して、それに基づいて視線移動の有無を検出する。
【0041】
すなわち、画像処理端末4は、視線移動量Difの時間変化に対して移動平均処理を施して移動平均値DifAを算出する。その後、移動平均後の移動平均値DifAの信号波形S(t)を基準に所定の一定閾値幅Thを設定して、下記式(10)を用いて2つの閾値波形Th(t)とTh(t)を求める。
Th(t)=S(t)+Th,Th(t)=S(t)-Th …(10)
【0042】
最後に、画像処理端末4は、移動平均前の視線移動量Difの信号波形をV(t)としたときに、下記式(11);
V(t)>Th(t) or V(t)<Th(t) …(11)
を満たすか否かに基づいて、視線移動の有無を判定する。また、移動平均値DifAは、視線移動量Difを示す信号が生成されてから、移動平均処理による遅延が生じた信号として出力される場合がある。このような場合は、画像処理端末4は、視線移動量Difの信号を移動平均幅の半分の時間だけ遅延させて、信号波形をV(t)として生成しても式(11)を適用してもよい。
【0043】
また、画像処理端末4は、視線移動量Difの信号波形にノイズが混入している場合には、視線移動量Difに1回目の移動平均処理を施し移動平均値DifAの信号波形V(t)を算出し、さらに移動平均値DifAに2回目の移動平均処理を施し移動平均値DifAAの信号波形S(t)を算出し、この信号波形V(t),S(t)を用いて式(10)及び(11)を適用して、視線移動の有無を判定することもできる。この場合、視線移動量Difに画像処理や信号処理の過程で混入したノイズレベルが大きくても、視線移動の有無を精度よく検出することができる。
【0044】
図5(a)は、移動平均前後の視線移動量Difの時間変化を示すグラフ、図5(b)は、視線移動量Difと閾値Th,Thの時間変化を示すグラフである。この例においては、サッカードの発生を、視線移動量Difのレベルから正常に検出することができている。
【0045】
以上説明した視線移動検出装置、及び視線移動検出方法によれば、対象者Aの顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔中心位置と鼻孔中心位置とを検出し、前後のフレーム間の鼻孔中心に対する瞳孔中心の相対的位置の変化Difを算出し、その変化の大小をもって視線移動の有無を判定するので、1台のカメラを使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
【0046】
また、視線移動の検出の基準として鼻孔位置を検出することで、検出時に周囲に対して暗い条件が作りやすく、画像処理に多少の工夫をすることでテンプレートマッチング法を使用しなくてもよいので、より容易に視線移動を検出できる。
【0047】
また、目の周囲に電極を取り付け顔の向きに対する視線の動きを計測する方法として古くから知られているEOG(眼電位図)法を採用する場合に比して、顔に付属物を装着しなくても済むため、ユーザにとって抵抗感が少なく、特に自動車などの運転手のモニターには最適である。
【0048】
また、前後のフレーム間の瞳孔位置の変化量DifP及び鼻孔位置の変化量DifNを求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量Difを算出するので、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
【0049】
また、複数のフレームにわたって相対的位置の変化量Difを連続して算出すると共に、該変化量の移動平均値DifAを導出し、相対的位置の変化量Difを移動平均値DifAを基準にして設定した閾値Th,Thと比較することによって、視線移動の有無を判定するので、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
【図面の簡単な説明】
【0050】
【図1】本発明の好適に一実施形態にかかる視線移動検出装置と対象者との位置関係を示す平面図である。
【図2】図1の画像処理装置による対象者の検出状態を示す概念図である。
【図3】(a)は、左右の瞳孔中心の位置、左右の鼻孔中心の位置、瞳孔位置の平均値、及び鼻孔位置の平均値の時間変化を示すグラフ、(b)は、瞳孔位置と鼻孔位置との相対的位置、及び視線移動量の時間変化を示すグラフである。
【図4】(a)は、左右の瞳孔中心の位置、左右の鼻孔中心の位置、瞳孔位置の平均値、及び鼻孔位置の平均値の時間変化を示すグラフ、(b)は、瞳孔と鼻孔との相対的位置、及び視線移動量の時間変化を示すグラフである。
【図5】(a)は、移動平均前後の視線移動量の時間変化を示すグラフ、(b)は、視線移動量と閾値の時間変化を示すグラフである。
【符号の説明】
【0051】
1…視線移動検出装置、2…カメラ、3a,3b…光源、4…画像処理端末。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4