Top > Search of Japanese Patents > PUPIL DETECTING APPARATUS

PUPIL DETECTING APPARATUS

Patent code P07A009893
File No. ShIP‐P04022
Posted date May 25, 2007
Application number P2004-365546
Publication number P2006-167256A
Patent number P4491604
Date of filing Dec 17, 2004
Date of publication of application Jun 29, 2006
Date of registration Apr 16, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title PUPIL DETECTING APPARATUS
Abstract PROBLEM TO BE SOLVED: To detect pupils of a subject wearing glasses without being obstructed by the reflection of the glasses in a pointing device by detecting positions of the pupil substituted for a mouse as an entry device.
SOLUTION: Light sources with different wavelengths between a pair of distant and close light sources mounted in the neighborhood of a left camera and a pair of distant and close light sources mounted in the neighborhood of a right camera are used. For example, one light source has a central wavelength of 810 nm, and the other light source has a central wavelength of 850 nm. A sufficient narrow-band pass filter having the same central wavelength as each light source is mounted on an aperture of each camera to prevent the mutual interference of images. If the wavelength region of each light source is overlapped, a head part is irradiated with near infrared rays after mounting a band pass filter in front of the light source to make the wavelength region of the light source narrow. Consequently, the right and left optical systems become independent and never interfere mutually.
Outline of related art and contending technology (In Japanese)


これまでに視点(ユーザの視線方向)によるポインティングが種々提案されている。
しかし、視点によって、ポインティングする場合は、表示装置上のポインティングしたい場所へ視点を動かさなければならないが、見るべき位置を探索している間も、カーソル(ポインタ)が視点の位置に常に現れるため、カーソルを移動させたい位置にカーソルを移動させにくいという問題がある。また、視点位置にいつもカーソルが提示されることにより、それが視覚刺激となり、見たい対象が見にくいなどの問題がある。
頭部の運動によれば、見ているところとカーソルのでる位置は異なり、しかも、前方の表示装置上の必要なところに視線を向けながらも、周辺視でカーソルを見ながら目的の位置にカーソルを動かすことができる。
従来の頭部の動きによるポインティングシステムの例を次に示す。
非特許文献1に記載された技術(Eagle eyeと名づけられている)は、パソコンの横にビデオカメラを設置し、顔の画像を撮影しながら、画像処理により、予め指定する顔の一部をテンプレートマッチングにより追尾し、その動きに応じて、パソコン画面上のカーソルを動かす方式である。追尾対象としては、鼻の先、あごの先、黒眼などをためしている。しかし、テンプレートを更新しても、急減な周囲の明るさの変化などに対応しにくい可能性があり、また、追尾すべき対象が徐々にずれていくなどの問題も発生しやすい。



本発明者は、これらの欠点を解消すべく瞳孔位置検出によるポインティング装置を提案している(特願2003-419110:2003年12月17日出願)。この技術は、不可視な赤外光源によって顔を照らし、ビデオカメラによって、顔の横幅全体が楽に入る拡大率で撮影し、ビデオカメラによって撮影される画像内の2つもしくは1つの瞳孔を直接検出する方式である。そして頭の動きによって生じる画像内の瞳孔の動きに合わせて、パソコン等のモニター上のカーソルを動かしたり、モニター上に表示されているメニューの選択をしたり、キーボードソフトを利用して文字を入力したり、複数のウインドウを切り替えたりすることができる。また、装置単独でマウスの左右ボタンの押下に相当する信号を発生することができ、他のクリック操作用入力補助装置の必要がない。
しかしながら、被験者(ユーザ、オペレータ)が眼鏡を使用しているとき、その眼鏡反射により瞳孔検出が妨害される場合がある。
【非特許文献1】
"The Camera Mouse:Visual Tracking of Body Features to Provide Computer Access for People With Severe Disabilities", (Margrit Betke, James Gips, and Peter Fleming), IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol.10, No. 1, March 2002

Field of industrial application (In Japanese)


本発明は、入力装置としてのマウスに代替できる瞳孔検出装置及び該装置を用いるポインティング装置に関する。特に、眼鏡をかけている被験者に対して、光源の眼鏡反射に邪魔されることなく瞳孔を検出するための装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
1台のビデオカメラ(1)と、該ビデオカメラの開口部に近い第1の光源(3)と、該開口部から遠い第2の光源(4)と、前記第1及び第2の光源をビデオカメラのフィールドまたはフレームに同期させて交互に点灯させる光源制御手段と、各点灯時期に得られる画像の差分から瞳孔を検出する検出手段とからなる撮像システムをN(但しNはN>1の整数)セット設け、これらのセット間において光源の波長を異ならせるとともに、それぞれのビデオカメラに各光源の波長に対応したバンドパスフィルタを設けてなる瞳孔検出装置。

【請求項2】
 
1台のビデオカメラ(1)と、該ビデオカメラの開口部に近い第1の光源(3)と、該開口部から遠い第2の光源(4)と、前記第1及び第2の光源をビデオカメラのフィールドまたはフレームに同期させて交互に点灯させる光源制御手段と、各点灯時期に得られる画像の差分から瞳孔を検出する検出手段とからなる撮像システムをN(但しNはN>1の整数)セット設け、これらのセット間において光源の発光時期を異ならせるとともに、それぞれのビデオカメラに各光源の発光時期に対応したシャッタ機能を設けてなる瞳孔検出装置。

【請求項3】
 
眼鏡やサングラス等を装着している被験者の撮影画像において、どちらか一方のカメラの画像において光源の眼鏡反射のために瞳孔が検出できない場合であって、他方のカメラの画像において瞳孔が検出できるときに、その画像を利用して、瞳孔検出を行う検出制御手段を備えてなる請求項1または請求項2記載の瞳孔検出装置。

【請求項4】
 
前記ビデオカメラは被験者の両瞳孔を撮影し得る画角とし、両カメラ画像からの左右の瞳孔の有無の情報が一致しないときは、検出ができているほうのカメラ画像の瞳孔の移動に合わせて、瞳孔が検出されるようになるまで、瞳孔位置を予測しながら瞳孔抽出用のウインドウを与え続け、両方の画像において、左右のうち同一の瞳孔が検出できなくなったとき初めて、それに相当する側の目が閉じたと判断する判断手段を備えてなる請求項3記載の瞳孔検出装置。

【請求項5】
 
前記検出制御手段は、左右の目の開閉をポインティングデバイスの左右の押しボタンスイッチの押下状態情報に対応させる機能を有する請求項3記載の瞳孔検出装置。

【請求項6】
 
前記検出制御手段は、得られた瞳孔位置からディスプレイ上のカーソル位置を制御する信号を作成する機能を有する請求項3記載の瞳孔検出装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004365546thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close