Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL

METHOD AND DEVICE FOR DETECTING PUPIL

Patent code P08A013480
File No. ShIP-5092
Posted date Jun 13, 2008
Application number P2006-098597
Publication number P2007-268029A
Patent number P4528976
Date of filing Mar 31, 2006
Date of publication of application Oct 18, 2007
Date of registration Jun 18, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title METHOD AND DEVICE FOR DETECTING PUPIL
Abstract PROBLEM TO BE SOLVED: To provide a method and a device for detecting the pupils having high robustness by eliminating a deviation problem of the positions of the pupil parts due to a time difference between an image obtained by capturing the bright pupils and an image obtained by capturing the dark pupils without requiring a particularly complicated device and work.
SOLUTION: This device is provided with an image pickup means 2 having a rolling shutter type image sensor and obtaining bright pupil image data and dark pupil image data for every alternate lines of the image sensor and an image analysis means 4 detecting the pupils by differentiating the bright pupil image data and the dark pupil image data for every line obtained by the image pickup means 2.
Outline of related art and contending technology (In Japanese)


対象者の瞳孔を検出する技術は、例えば、自動車を運転中の対象者の視線や視線変化を検知することで居眠り運転を予防することや、また、対象者の瞳孔の動きによって指を用いることなくコンピュータへの入力を行う瞳孔マウスにも活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、瞳孔と角膜反射点との関係位置から対象者の視線を検出する技術を開示している。特許文献2では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献3では、瞳孔と鼻孔の位置を検出して頭部の方向を決定する技術を開示している。特許文献4では、瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。



これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔又は暗瞳孔のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができ、瞳孔検出の低コスト化とロバスト性向上を図ることができる。



なお、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した2つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。



さらに、本発明者は、2つの光源での点灯を切り替えて照射を行うことなく、網膜での反射率の異なる波長の光源を同時に点灯させた状態で、対象者の顔の撮影を行い、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得て、それらの画像の差分を行う技術についての特許出願1,2をしている。
[特許文献1]特開2005-185431号公報
[特許文献2]特開2005-182247号公報
[特許文献3]特開2005-266868号公報
[特許文献4]特開2005-198743号公報
[特許出願1]特願2005-241728号
[特許出願2]特願2005-306961号

Field of industrial application (In Japanese)


本発明は、撮影した画像によって、対象者の瞳孔を検出する装置及び方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
ローリングシャッター方式のイメージセンサを有し、前記イメージセンサの交互のライン毎に、明瞳孔画像データと暗瞳孔画像データを得る撮像手段と、
前記撮像手段により得られた前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとって瞳孔を検出する画像解析手段とを備える瞳孔検出装置。

【請求項2】
 
前記撮像手段は、カメラの光軸に近い光源と遠い光源を有することを特徴とする請求項1に記載の瞳孔検出装置。

【請求項3】
 
前記撮像手段は、互いに波長の異なる2つの光源を有することを特徴とする請求項1又は2に記載の瞳孔検出装置。

【請求項4】
 
前記撮像手段は、前記イメージセンサの前記ライン毎に、異なる波長に対応する2種類のバンドパスフィルタが交互にそれぞれ配置されていることを特徴とする請求項1~3のいずれかに記載の瞳孔検出装置。

【請求項5】
 
前記画像解析手段は、隣接するラインの前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとって瞳孔を検出することを特徴とする請求項1~4のいずれかに記載の瞳孔検出装置。

【請求項6】
 
前記画像解析手段は、最も近いラインの前記明瞳孔画像データどうし又は前記暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとって瞳孔を検出することを特徴とする請求項1~5のいずれかに記載の瞳孔検出装置。

【請求項7】
 
ローリングシャッター方式のイメージセンサのライン毎に、明瞳孔と暗瞳孔を交互に撮影して、前記ライン毎の明瞳孔画像データと暗瞳孔画像データを得た後、
前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとって瞳孔を検出する瞳孔検出方法。

【請求項8】
 
前記ライン毎に明瞳孔と暗瞳孔を交互に撮影する際に、複数ラインを同時に露光して、前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データを得ることを特徴とする請求項7に記載の瞳孔検出方法。

【請求項9】
 
前記明瞳孔と前記暗瞳孔の撮影は、カメラの光軸に近い光源と遠い光源の点灯を交互に切り替えて行うことを特徴とする請求項7又は8に記載の瞳孔検出方法。

【請求項10】
 
前記明瞳孔と前記暗瞳孔の撮影は、互いに波長の異なる光源の点灯を交互に切り替えて行うことを特徴とする請求項7~9のいずれかに記載の瞳孔検出方法

【請求項11】
 
前記明瞳孔と前記暗瞳孔の撮影は、前記イメージセンサの前記ライン毎に配置された、異なる波長に対応するバンドパスフィルタを通して行うことを特徴とする請求項7~10のいずれかに記載の瞳孔検出方法。

【請求項12】
 
前記ライン毎の前記明瞳孔画像データと前記暗瞳孔画像データとの差分は、隣接するラインの前記明瞳孔画像データと前記暗瞳孔画像データとの差分をとることを特徴とする請求項7~11のいずれかに記載の瞳孔検出方法。

【請求項13】
 
前記ライン毎の明瞳孔画像データと前記暗瞳孔画像データとの差分は、最も近いラインの前記明瞳孔画像データどうし又は前記暗瞳孔画像データどうしの平均と、それらのラインの間の暗瞳孔画像データ又は明瞳孔画像データとの差分をとることを特徴とする請求項7~12のいずれかに記載の瞳孔検出方法。
IPC(International Patent Classification)
F-term
  • 4C316AA06
  • 4C316AB16
  • 4C316FB21
  • 4C316FY02
  • 4C316FY08
  • 4C316FY10
Drawing

※Click image to enlarge.

JP2006098597thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close