Top > Search of Japanese Patents > VISUAL AXIS MOVEMENT DETECTING METHOD AND APPARATUS

VISUAL AXIS MOVEMENT DETECTING METHOD AND APPARATUS

Patent code P08A013482
File No. ShIP-5093
Posted date Jun 13, 2008
Application number P2006-100344
Publication number P2007-268164A
Patent number P4452833
Date of filing Mar 31, 2006
Date of publication of application Oct 18, 2007
Date of registration Feb 12, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title VISUAL AXIS MOVEMENT DETECTING METHOD AND APPARATUS
Abstract PROBLEM TO BE SOLVED: To provide a visual axis movement detecting method and apparatus capable of stably detecting the visual axis movement of an object person in a wide range.
SOLUTION: This visual axis movement detecting method captures face images of the object person A to detect the movement/non-movement of the visual axis of the object person based on the face images; and is provided with a detection step for capturing a plurality of frames of the face images of the object person A and detecting the pupil positions and the nostril positions of the object person on the plurality of respective frames, a calculation step for calculating a variation Dif of the relative locations of the pupils to the nostrils of the object person between previous/next frames in the plurality of frames based on the pupil locations and the nostril locations detected by using the plurality of frames as the objects, and a determination step for determining the movement/non-movement of the visual axis using the calculated variation and a prescribed threshold.
Outline of related art and contending technology (In Japanese)


近年、自動車等において運転者の運転状況のモニターや、パーソナルコンピュータの視線による操作を目的として、人間の視線方向を検出する技術が開発されている。例えば、対象者の瞳孔の位置を測定する第1のカメラと、瞳孔の中心と角膜反射点間の距離及び角度を取得する第2のカメラとを用いて、対象者の視線方向を演算する技術が開示されている(下記特許文献1参照)。この技術は、対象者の瞳孔移動が検出された場合に眼球が回転したのか頭部自体が動いたのかを区別するために、瞳孔中心と角膜反射中心の相対的位置関係から視線方向を判定するものである。これは、対象者がカメラの光軸方向を見ている時には瞳孔中心と角膜反射中心の位置がほぼ一致し、対象者が眼を回転させるとその回転角に応じて瞳孔中心と角膜反射中心との間の距離が長くなるという知見に基づいている。



一方、視線によりパーソナルコンピュータの画面上のカーソルを移動させるポインティング方法に関する技術も知られている(下記非特許文献1及び下記特許文献2~4参照)。これらの技術はカメラによって撮像された顔画像から瞳孔を検出するものである。また、一台のカメラで対象者の瞳孔中心及び角膜反射中心の位置を得て視線ベクトルを求める装置(下記特許文献5参照)、及び2台のカメラを用いて瞳孔と鼻孔を検出することにより頭部の方向を検出する方法(下記特許文献6及び下記非特許文献2参照)も開示されている。
【特許文献1】
特開2005-185431号公報
【特許文献2】
特開2005-182247号公報
【特許文献3】
特開2005-352580号公報
【特許文献4】
特開2005-348832号公報
【特許文献5】
特開2005-230049号公報
【特許文献6】
特開2005-266868号公報
【非特許文献1】
Y. Ebisawa, D. Ishima, S. Inoue, Y. Murayama, “PupilMouse: Cursor Controlby Head Rotation Using Pupil Detection Technique”,(米国), Proceedings of InternationalConference on Computing, Communications and Control Technologies: CCCT’04, August 14-17, 2004-Austin, Texas, USA, pp. 209-214
【非特許文献2】
Y.Ebisawa, Y.Nurikabe,“Face Pose EstimationBased on 3D Detection of Pupils and Nostrils”,2005 IEEE INTERNATIONAL CONFERENCE ONVIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES, AND MEASUREMENT SYSTEMS, 2005, pp.92-97

Field of industrial application (In Japanese)


本発明は、対象者の視線移動を検出する視線移動検出方法及び視線移動検出装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出方法であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する判定ステップと、
を備えることを特徴とする視線移動検出方法。

【請求項2】
 
前記算出ステップでは、前記前後のフレーム間の前記瞳孔位置の変化量及び前記鼻孔位置の変化量を求め、前記瞳孔位置の変化量と前記鼻孔位置の変化量との差分をとることによって前記相対的位置の変化量を算出する、
ことを特徴とする請求項1記載の視線移動検出方法。

【請求項3】
 
前記算出ステップでは、前記複数のフレームにわたって前記相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、
前記判定ステップでは、前記相対的位置の変化量を前記移動平均値を基準にして設定した閾値と比較することによって、前記視線移動の有無を判定する、
ことを特徴とする請求項1又は2に記載の視線移動検出方法。

【請求項4】
 
対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出装置であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する手段と、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する手段と、
を備えることを特徴とする視線移動検出装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2006100344thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close