Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL

METHOD AND DEVICE FOR DETECTING PUPIL

Patent code P08A013495
File No. ShIP-6044
Posted date Jun 13, 2008
Application number P2006-208338
Publication number P2008-029701A
Patent number P4452835
Date of filing Jul 31, 2006
Date of publication of application Feb 14, 2008
Date of registration Feb 12, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title METHOD AND DEVICE FOR DETECTING PUPIL
Abstract PROBLEM TO BE SOLVED: To provide a method and a device with high robustness and accuracy for detecting a pupil, capable of eliminating the displacement in taking the difference between the photographed image of the light pupil and the photographed image of the dark pupil.
SOLUTION: The method of detection comprises a step of generating the light pupil image of the light pupil photographed at one time and the dark pupil image of the dark pupil photographed at one time before or after the time in such a way that the images are alternately arranged on a pixel line in a frame FL1; a step of extracting an adjacent pixel line in an odd-number field in the frame FL1 and computing the pixel lines as average pixel lines Ave1, Ave2, ... Avem-1 by taking the average luminance between adjacent pixel lines; and a step of differentiating the pixel lines Even1, Even2, ..., Evenm-1 equivalent to positions between adjacent pixel lines in an even-number field in the frame FL1 from the average pixel lines Ave1, Ave2, ..., Avem-1.
Outline of related art and contending technology (In Japanese)


対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献2では、2台のカメラと2個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。



これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。



このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献3では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。
【特許文献1】
特開2005-182247号公報
【特許文献2】
特開2005-198743号公報
【特許文献3】
特開平09-251539号公報

Field of industrial application (In Japanese)


本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、
ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成するステップと、
前記フレーム中の奇数番目又は偶数番目の画素ラインで構成される第1画素ライン群における隣接画素ラインを抽出して、前記隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するステップと、
前記フレーム中の第1画素ライン群を除いた残りの画素ラインで構成される第2画素ライン群のうちの、前記隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、前記平均画素ライン上の対応する位置の画素の輝度とを差分するステップと、
を備えることを特徴とする瞳孔を検出する方法。

【請求項2】
 
前記平均画素ラインと前記隣接画素ラインのうちの1つとの間の輝度平均をとって、再平均画素ラインとして算出するステップを更に備え、
前記平均画素ライン及び前記再平均画素ラインを含む画像に基づいて瞳孔を検出することを特徴とする請求項1に記載の瞳孔を検出する方法。

【請求項3】
 
前記明瞳孔画像又は前記暗瞳孔画像を用いて角膜反射位置を検出し、前記角膜反射位置及び検出された瞳孔の位置を、視線の検知に用いるものであることを特徴とする請求項1又は2に記載の瞳孔を検出する方法。

【請求項4】
 
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、
ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成する撮像手段と、
前記フレーム中の奇数番目又は偶数番目の画素ラインで構成される第1画素ライン群における隣接画素ラインを抽出して、前記隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するとともに、前記フレーム中の第1画素ライン群を除いた残りの画素ラインで構成される第2画素ライン群のうちの、前記隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、前記平均画素ライン上の対応する位置の画素の輝度とを差分する処理手段と、
を備える瞳孔を検出する装置。

IPC(International Patent Classification)
F-term
  • 4C316AA21
  • 4C316AB16
  • 4C316FB05
  • 4C316FB21
  • 4C316FC28
Drawing

※Click image to enlarge.

JP2006208338thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close