Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL

METHOD AND DEVICE FOR DETECTING PUPIL

Patent code P08A013479
File No. ShIP-5095
Posted date Jun 13, 2008
Application number P2006-098512
Publication number P2007-268026A
Patent number P4452832
Date of filing Mar 31, 2006
Date of publication of application Oct 18, 2007
Date of registration Feb 12, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title METHOD AND DEVICE FOR DETECTING PUPIL
Abstract PROBLEM TO BE SOLVED: To provide a method and a device for detecting the pupils having high robustness by eliminating deviation of the positions of the pupil parts due to a time difference between an image obtained by capturing the bright pupils and an image obtained by capturing the dark pupils without requiring a particularly complicated device and work.
SOLUTION: This method for detecting the pupils by differentiating the bright pupil image from the dark pupil image, detects deviations in the positions of the nostrils 31 and 33 in an image obtained by capturing the bright pupils 21a and 22a at a certain time point and an image obtained by capturing the dark pupils 21b and 22b at a time point after that or a time point before that, corrects the positions by moving the image obtained by capturing the bright pupils 21a and 22a and the image obtained by capturing the dark pupils 21b and 22b by the amount of deviation corresponding to the positional deviation of the nostrils 31 and 32 in the direction offsetting the deviation, differentiates the both images after the positional correction and detects the pupils.
Outline of related art and contending technology (In Japanese)


対象者の瞳孔を検出する技術は、例えば、自動車を運転中の対象者の視線や視線変化を検知することで居眠り運転を予防することや、また、対象者の瞳孔の動きによって指を用いることなくコンピュータへの入力を行う瞳孔マウスにも活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、瞳孔と角膜反射点との関係位置から対象者の視線を検出する技術を開示している。特許文献2では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献3では、瞳孔と鼻孔の位置を検出して頭部の方向を決定する技術を開示している。特許文献4では、瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。



これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔又は暗瞳孔のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができ、瞳孔検出の低コスト化とロバスト性向上を図ることができる。



なお、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した2つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。



さらに、本発明者は、2つの光源での点灯を切り替えて照射を行うことなく、網膜での反射率の異なる波長の光源を同時に点灯させた状態で、対象者の顔の撮影を行い、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得て、それらの画像の差分を行う技術についての特許出願1,2をしている。
[特許文献1]特開2005-185431号公報
[特許文献2]特開2005-182247号公報
[特許文献3]特開2005-266868号公報
[特許文献4]特開2005-198743号公報
[特許出願1]特願2005-241728号
[特許出願2]特願2005-306961号

Field of industrial application (In Japanese)


本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出し、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を、前記鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行い、位置補正後の両画像を差分することにより、瞳孔を検出する方法。

【請求項2】
 
前記位置補正において移動する前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像は、瞳孔周囲に設定したウインドウ領域の画像であることを特徴とする請求項1に記載の瞳孔を検出する方法。

【請求項3】
 
前記位置補正は、先に撮影した画像を後に撮影した画像の位置へ移動するものであることを特徴とする請求項1又は2に記載の瞳孔を検出する方法。

【請求項4】
 
前記鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔を検出し、検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、前記ウインドウ内を探索することで鼻孔を検出する処理を伴うことを特徴とする請求項1~3のいずれかに記載の瞳孔を検出する方法。

【請求項5】
 
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出する手段と、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を、前記鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔を検出する手段とを備える、瞳孔を検出する装置。
IPC(International Patent Classification)
F-term
  • 4C316AA06
  • 4C316AB16
  • 4C316FA18
  • 4C316FB05
  • 4C316FB21
  • 4C316FB23
  • 4C316FB26
  • 4C316FZ01
Drawing

※Click image to enlarge.

JP2006098512thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close