Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL

METHOD AND DEVICE FOR DETECTING PUPIL

Patent code P08A013496
File No. ShIP-6043
Posted date Jun 13, 2008
Application number P2006-208355
Publication number P2008-029702A
Patent number P4452836
Date of filing Jul 31, 2006
Date of publication of application Feb 14, 2008
Date of registration Feb 12, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title METHOD AND DEVICE FOR DETECTING PUPIL
Abstract PROBLEM TO BE SOLVED: To provide a method and a device with high robustness and accuracy for detecting a pupil, capable of eliminating the displacement caused by the time-lag between the photographed image of the light pupil and the photographed image of the dark pupil.
SOLUTION: Cornea reflection positions C1-C4 in the image of the light pupil photographed at one time and the image of the dark pupil photographed at the time before or after the time are detected, and the positions are corrected by moving the photographed image of the light pupil or the photographed image of the dark pupil in the direction to offset the displacement by the quantity corresponding to the quantity of displacement of the cornea reflection positions C1-C4 caused by the movement of the face in the time between the photography of these images. Pupils P1-P4 are detected by differentiating the images after the position correction.
Outline of related art and contending technology (In Japanese)


対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献2では、2台のカメラと2個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。



これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。



このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献3では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。
【特許文献1】
特開2005-182247号公報
【特許文献2】
特開2005-198743号公報
【特許文献3】
特開平09-251539号公報

Field of industrial application (In Japanese)


本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置を検出し、両画像の前記撮影の時点の間に顔が移動したことに伴う前記角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を移動する位置補正を行い、位置補正後の両画像を差分した後に、瞳孔を検出する方法。

【請求項2】
 
前記位置補正において移動する前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像は、瞳孔及び角膜反射位置を含むように設定したウインドウ領域の画像であることを特徴とする請求項1に記載の瞳孔を検出する方法。

【請求項3】
 
前記位置補正は、先に撮影した画像を後に撮影した画像の位置へ移動するものであることを特徴とする請求項1又は2に記載の瞳孔を検出する方法。

【請求項4】
 
前記位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いるものであることを特徴とする請求項1~3のいずれかに記載の瞳孔を検出する方法。

【請求項5】
 
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置のずれ量を検出する手段と、両画像の前記撮影の時点の間に顔が移動したことに伴う前記角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を移動する位置補正を行う手段と、位置補正後の両画像を差分した後に、瞳孔を検出する手段とを備える、瞳孔を検出する装置。
IPC(International Patent Classification)
F-term
  • 4C316AA21
  • 4C316AB16
  • 4C316FB05
  • 4C316FB21
  • 4C316FC28
  • 4C316FY08
Drawing

※Click image to enlarge.

JP2006208355thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close