Top > Search of Japanese Patents > POINTING DEVICE AND METHOD BY PUPIL POSITION DETECTION

POINTING DEVICE AND METHOD BY PUPIL POSITION DETECTION

Patent code P07A009867
File No. ShIP‐P04038
Posted date May 25, 2007
Application number P2003-419110
Publication number P2005-182247A
Patent number P4839432
Date of filing Dec 17, 2003
Date of publication of application Jul 7, 2005
Date of registration Oct 14, 2011
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title POINTING DEVICE AND METHOD BY PUPIL POSITION DETECTION
Abstract PROBLEM TO BE SOLVED: To solve the following problems of a conventional device allowing movement of an object corresponding to a cursor on a monitor screen or the like of an information device such as a personal computer by movement of a head to perform pointing on the monitor screen: detection accuracy of movement is bad, and sticking of a marker or the like onto the head is required.
SOLUTION: Two or one pupil is detected from an image of a face by combination of an infrared light source and a camera, and the cursor on the personal computer is moved according to a spatial position of the pupil moving in a plane nearly parallel to the personal computer screen by the movement of the head, especially rotation. By also detecting opening/closing of an eyelid, and outputting not only a signal corresponding to the movement of the cursor but also a signal corresponding to a button push of a mouse, a click or a drag can also be performed.
Outline of related art and contending technology (In Japanese)


従来方式と問題点:
これまでに視点(ユーザの視線方向)によるポインティングが種々提案されている(たとえば、Webアドレスの http://www.ericainc.com/ (Human-computer interaction using eye-gaze input.pdf),http://www.eyegaze.com/など参照)。
しかし、視点によって、ポインティングする場合は、表示装置上のポインティングしたい場所へ視点を動かさなければならないが、見るべき位置を探索している間も、カーソルが視点の位置に常に現れるため、カーソルを移動させたい位置にカーソルを移動させにくいという問題がある。また、視点位置にいつもカーソルが提示されることにより、それが視覚刺激となり、見たい対象が見にくいなどの問題がある。



頭部の運動によれば、見ているところとカーソルのでる位置は異なり、しかも、前方の表示装置上の必要なところに視線を向けながらも、周辺視でカーソルを見ながら目的の位置にカーソルを動かすことができる。
従来の頭部の動きによるポインティングシステムの例:
・Eagle eye (非特許文献1及びWebアドレス http://www.cs.bc.edu/~gips/CM/ を参照)
Eagle eyeは、パソコンの横にビデオカメラを設置し、顔の画像を撮影しながら、画像処理により、予め指定する顔の一部をテンプレートマッチングにより追尾し、その動きに応じて、パソコン画面上のカーソルを動かす方式である。追尾対象としては、鼻の先、あごの先、黒眼などをためしている。しかし、テンプレートを更新しても、急減な周囲の明るさの変化などに対応しにくい可能性があり、また、追尾すべき対象が徐々にずれていくなどの問題も発生しやすい。
・Origin Instruments Corporation (Webアドレス http://www.orin.com/access/ を参照)
Origin Instruments の方式では、一種のステレオカメラで、頭に取り付けたマーカの動きを検出して、それに合わせて、カーソルを動かすものである。これの問題点は、マーカをいちいち取り付けなければならないことである。このため一般には使用しにくい。



・顔の額などにシールでできたマーカを取り付け、ビデオカメラの横に設置した赤外光源により顔を照らし、マーカを検出し、頭部の動きによって動くマーカの2次元位置を検出して、パソコン画面上のカーソルを動かす方式がある。これの問題点は、マーカを顔に取り付けなければならない点である。
・磁気センサを利用した方式:これは頭部に磁気センサを取り付ける必要があるので不便である。
・超音波を利用した方式:超音波センサを頭部に取り付ける必要がある。
また、これら先行技術はマウスにおけるクリック相当の操作が行えず、クリック操作のためには別の補助入力装置を用いる必要がある。
【非特許文献1】
"The Camera Mouse:Visual Tracking of Body Features to Provide Computer Access for People With Severe Disabilities", (Margrit Betke, James Gips, and Peter Fleming), IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol.10, No. 1, March 2002

Field of industrial application (In Japanese)


本発明は、コンピュータにおける入力装置としてのマウスに代替できるポインティング装置に関する。

Scope of claims (In Japanese)
【請求項1】
 
対象者の顔面を撮像するカメラと、
該カメラの近傍に配置され近赤外光を照射する第1の光源と、
該第1の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第2の光源と、
前記第1及び第2の光源の照射を制御すると共に、前記カメラにより得られる前記第1の光源の照射時の画像と前記第2の光源の照射時の画像との差分を演算して瞳孔の位置を直接検出し、該瞳孔の位置座標の変化分を直接モニタ上のカーソル移動量に相当する信号として外部に出力する制御装置と
からなる瞳孔位置検出によるポインティング装置。

【請求項2】
 
対象者の顔面を撮像するカメラと、
該カメラの近傍に配置され近赤外光を照射する第1の光源と、
該第1の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第2の光源と、
前記第1及び第2の光源の照射を制御すると共に、前記カメラにより得られる前記第1の光源の照射時の画像と前記第2の光源の照射時の画像との差分を演算して瞳孔の位置を直接検出し、かつ前記カメラにより得られる画像の時系列的な変化から瞳孔の有無を検出して、該瞳孔の位置座標の変化分を直接モニタ上のカーソル移動量に相当する信号として、該瞳孔の有無をカーソル関連のボタン押下信号として外部に出力する制御装置と
からなる瞳孔位置検出によるポインティング装置。

【請求項3】
 
カメラの近傍に配置された第1の光源により対象者の顔面を照射して第1の顔画像を得る段階と、
前記第1の光源よりもカメラから離隔した位置に配置された第2の光源により対象者の顔面を照射して第2の顔画像を得る段階と、
前記第1の顔画像及び前記第2の顔画像の差分を演算して瞳孔の位置を直接検出する段階と、
該瞳孔の位置座標の変化分に直接対応してモニタ上のカーソルの移動を制御することにより前記モニタ上にカーソルを表示する段階と
からなる瞳孔位置検出によるポインティング方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2003419110thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close