Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL USING TWO KINDS OF LIGHT SOURCES

METHOD AND DEVICE FOR DETECTING PUPIL USING TWO KINDS OF LIGHT SOURCES

Patent code P08A013457
File No. ShIP-5035
Posted date Jun 13, 2008
Application number P2005-306961
Publication number P2007-111315A
Patent number P4613315
Date of filing Oct 21, 2005
Date of publication of application May 10, 2007
Date of registration Oct 29, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title METHOD AND DEVICE FOR DETECTING PUPIL USING TWO KINDS OF LIGHT SOURCES
Abstract PROBLEM TO BE SOLVED: To provide a device and method for securely detecting pupils by improving the quality and disposition of light sources.
SOLUTION: The face surface including the pupils are irradiated with two kinds of light sources from a camera means side: a first illumination light source for capturing bright pupils and a second illumination light source for capturing dark pupils. The light sources are disposed in such a way that the light from the first illumination light source is emitted from within an opening part of a common light axis as seen from the face surface side and that the light from the second illumination light source is emitted from the position close to or circumscribed to the outer periphery of the opening part of the common light axis.
Outline of related art and contending technology (In Japanese)


瞳孔は、それ自体が小さいことと、基本的にどの方向から見ても円もしくは楕円に見えるだけでなく、黒目と違ってまぶたに隠れにくいため、頭部の姿勢を測定するための特徴点として利用されている。それを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させたのが「瞳孔マウス」であり、頭部の動きによりカーソルを動かすことができる技術に関する出願がなされている(特許文献1(特開2005-182247))。



非特許文献1は、瞳孔を安定して高精度に検出するために、設置位置の異なる2つの同波長の光源を交互に点灯させて、それらによって生ずる瞳孔から明るい画像(明瞳孔画像)と暗い画像(暗瞳孔画像)を得てそれらを差分することにより、瞳孔を検出しやすくする技術を開示している。明瞳孔画像を得るためには、カメラの光軸上もしくはその近傍に光源を設置し、暗瞳孔画像を得るためには、カメラの光軸から離れたところに光源を設置する必要がある。この文献の方法では、これら2つの光源をビデオカメラの奇数フィールドと偶数フィールドに同期させて、交互に点燈させ、明瞳孔画像と暗瞳孔画像を交互に得て、画像差分を行なうことで、瞳孔以外の背景部を相殺させ、瞳孔部だけを浮き彫りにし、瞳孔を検出しやすくしている。しかし、その効果は、ひとつにカメラの光軸からどれだけ離れた光源を、どれだけ離れたところに設置するかにかかっており、効果をできるだけ大きくするためには、光軸からかなり離れたところに設置する必要があり、装置全体が大きくなる傾向があり、汎用性に欠ける結果となっている。
さらに、光軸から離れたところにある光源を分散して配置することは、光源が眼鏡反射として写りやすく、それも瞳孔検出に際して大きな問題となっている。



さらに、特許文献2(特許第2988235号)はカメラの光軸上の光源(共軸系照明)のほかに、光軸から大きくずれた左右の位置にそれぞれ1個ずつ光源(非共軸系照明)を配置する方法を提示している。この方法によれば、明瞳孔画像と暗瞳孔画像を差分したときに、カメラの共軸系照明の角膜反射像と非共軸系照明の角膜反射が互いに打ち消し合わないため、差分画像から角膜反射を検出でき、その角膜反射が視線方向を検出するのに役立つという利点がある。
しかし、このように共軸系照明と非共軸系照明を大きく離していると、それらによる眼鏡反射像同士も互いに打ち消しあわないため、眼鏡反射による雑音像が現れ、これを取り除くのが困難である。



アジレントテクノロジーズ社の出願に係る特許文献3(特開2004-261598)は、明瞳孔画像を得るために、波長の異なる光源の一方をカメラの光軸に近い位置に配置し、暗瞳孔画像を得るためにもう一方をカメラの光軸から離れた位置に配置する構成を開示している。この文献では、これらの光源をほぼ同時に点燈させ、光学系にて波長分離を行い、明瞳孔画像と暗瞳孔画像を得てそれらの差分を行い、瞳孔像を抽出する方法について述べている。ここで2波長を用いたのは、同時に明瞳孔画像と暗瞳孔画像を得るためであり、2波長のうちどちらを光軸に近くすべきかについての示唆はない。なおこの文献の段落(0035)の最後に、「従来のシリコン・ベースの検出器で測定すると、レチナール・リターン信号は、一般に、950nmの波長に比べて、800nmのほうが強くなり、従って、この場合、短いほうの波長と軸上光源を関連づけるのが望ましい。」と述べられている。しかしこれは、カメラの感度に関する記述であり、カメラの感度が高ければ、瞳孔以外の部分の画像も明るくなるため、画像差分による瞳孔検出のしやすさへの効力はない。



また、特許文献4(特開平2-224637)は、波長の異なるLEDを2重リング状に並べて、内側のリングを点燈させたとき明瞳孔画像を得て、外側のリングを点燈させて暗瞳孔画像を得る方法を提案している。
この文献は、前述の特許文献3(特開2004-261598)の場合と同様に、単に異なる波長によって得た画像を波長の相違によって分離するために用いており、後述する本願発明で利用する「網膜反射量の波長による違い」については考慮されていない。



本件発明者の提案に係る特許文献5(特願2005-241728)記載の発明は、カメラの開口部の中から2つの波長の光を発射させる方法である。この場合、分岐ファイバを用いて2波長の光を混合して発射させるため、2つの波長のそれぞれの光源による光をほぼ同一の輝度プロファイルを持たせることが可能であり、顔の各部において両波長によってほとんど同じ輝度分布を得ることができるので、見事に相殺させることが可能であること、さらに、角膜反射や眼鏡反射も同様に差分により相殺させやすい点で瞳孔検出においては有利である。



しかし、角膜反射が消えてしまうため、視線検出など角膜反射を検出する用途では使用しにくい。その他にも、眼球中心位置や角膜球中心を求める必要のある場合にも、角膜反射像の検出が必要なため同様のことが言える。また、瞳孔検出のみを目的とした例えば中心波長が850nmのLEDと950nmのLEDによる瞳孔輝度の差は非常に大きいわけではない。特に周囲が非常に明るい環境下では、カメラの画像において瞳孔画像自体が飽和しないようにするためには、絞りを絞る、アンプゲインを下げる、シャッタ速度を短くするなどの方法により対応するが、それはどれもゲインを下げることにほぼ等価であり、差分画像の瞳孔画像の輝度が下がるため、瞳孔検出が難しくなる。したがって、波長の違いからだけではなく、明瞳孔と暗瞳孔の効果を強く出す方法が必要である。



特許文献6(特表2002-513176)記載の発明は、2波長の反射率が顔や目の表面では同じであるが、網膜では異なることを利用している点は、後述する本発明の提案と共通する。しかし、2種類の波長のLEDをカメラの開口部の周りにリング状に並べた(カメラの光軸から同距離に2種類の波長のLEDをならべた)構成であり本発明の構成とは異なる。
【特許文献1】
特開2005-182247
【特許文献2】
特許第2988235号
【特許文献3】
特開2004-261598
【特許文献4】
特開平2-224637
【特許文献5】
特願2005-241728
【特許文献6】
特表2002-513176
【非特許文献1】
「多光源による瞳孔検出と追跡(Pupil detection and tracking using multiple light sources )」,著者 C.H.モリモト他(C.H. Morimoto, D. Koons, A. Amir, M. Flickner ),イメージおよびビジョンのコンピューティング18(2000)331-335(Image and Vision Computing 18 (2000) 331-335)



前述した瞳孔検出に重要な関連をもつ技術として角膜反射の測定技術があり、瞳孔の検出と関連してまたは独立して、姿勢とか視線の検出に利用できる。後述する3つの特許文献はいずれも本願発明者の発明に係るものであり、角膜反射に関連し、視線の検出等に利用されている。特許文献7記載の発明は視線検出方法および視線検出装置、特許文献8記載の発明は三次元視点計測装置、特許文献9に係る発明は距離イメージセンサを用いた視線検出装置を開示している。角膜の位置はカメラと光源の位置に密接に関連しているが、これらの発明では、光源について、明瞳孔と暗瞳孔照明に関連する分析はなされていない。
【特許文献7】
特開2005-185431
【特許文献8】
特開2005-198743
【特許文献9】
特開2005-230049

Field of industrial application (In Japanese)


本発明は、CCDカメラ等を用いた遠隔の瞳孔を検出する技術において、光源の位置の違いと、光源の波長の違いによる網膜反射量の違いの両方を利用することにより、瞳孔の位置等を検出する瞳孔検出装置および方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
カメラ手段,光源,光路形成手段,および演算手段を含み、前記光路形成手段により、被験者が、その顔面を前記カメラ手段側から前記光源により照射され、瞳孔を含む顔面の像が前記カメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源とを含み、前記第2の照明光源の強度が前記第1の照明光源との関係で調整され、
前記カメラ手段は、
前記第1の照明光源による第1の画像データ獲得手段と、
前記第2の照明光源による第2の画像データ獲得手段とを含み、
前記光路形成手段は、
前記カメラ手段の第1の画像データ獲得手段と第2の画像データ獲得手段とを前記顔面に対して共通光軸で対向させ、
前記第1の照明光源からの光が前記顔面側から見て前記共通光軸の開口部内から発射され、前記第2の照明光源からの光が前記共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段であり、
前記第1の照明光源は、前記光路形成手段により、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して前記共通光軸の開口部内から発射される瞳孔検出装置。

【請求項2】
 
前記第2の照明光源は、前記光路形成手段により、前記照射角調整光学手段の外周に配置された1以上の長波長用の発光素子の発光を前記共通光軸の開口部外から発射される請求項1記載の瞳孔検出装置。

【請求項3】
 
前記第1および第2の照明光源からの光は前記共通光軸に配置された光分割手段を介して結合されるように構成されている請求項1記載の瞳孔検出装置。

【請求項4】
 
前記第2の照明光源は、前記共通光軸の開口部外に直接設けられた複数の長波長用の発光素子の発光を前記共通光軸の開口部外から発射される請求項1記載の瞳孔検出装置。

【請求項5】
 
カメラ手段,光源,光路形成手段,および演算手段を含み、前記光路形成手段により、被験者が、その顔面を前記カメラ手段側から前記光源により照射され、瞳孔を含む顔面の像が前記カメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源とを含み、前記第2の照明光源の強度が前記第1の照明光源との関係で調整され、
前記カメラ手段は、
前記第1の照明光源による第1の画像データ獲得手段と、
前記第2の照明光源による第2の画像データ獲得手段とを含み、
前記光路形成手段は、
前記カメラ手段の第1の画像データ獲得手段と第2の画像データ獲得手段とを前記顔面に対して共通光軸で対向させ、
前記第1の照明光源からの光が前記顔面側から見て前記共通光軸の開口部内から発射され、前記第2の照明光源からの光が前記共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段であり、
前記第1および第2の照明光源は、複数の短波長用の発光素子と前記発光素子の外側に配置された1以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段を介して結合されるように構成されている瞳孔検出装置。

【請求項6】
 
明瞳孔像を発生させる第1の波長成分を含む第1の照明光源と、
暗瞳孔像を発生させる第2の波長成分を含み瞳孔以外については前記第1の照明光源と同等の照明効果を呈する強度の第2の照明光源と、
前記各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第1および第2の撮像手段とを準備して、
前記第1の照明光源を共通光軸の関係にある前記第1および第2の撮像手段の開口内から、前記第2の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
前記第1の照明光源を起動して照明する第1の照明ステップと、
前記第2の照明光源を起動して照明する第2の照明ステップと、
前記各照明下に前記各照明像をそれぞれ撮像して第1の画像データと第2の画像データを獲得するデータ獲得ステップと、
前記第1の画像データと前記第2の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
前記配置ステップでは、前記第1の照明光源が、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して前記共通光軸の開口部内から発射されるように配置される瞳孔検出方法。

【請求項7】
 
明瞳孔像を発生させる第1の波長成分を含む第1の照明光源と、
暗瞳孔像を発生させる第2の波長成分を含み瞳孔以外については前記第1の照明光源と同等の照明効果を呈する強度の第2の照明光源と、
前記各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第1および第2の撮像手段とを準備して、
前記第1の照明光源を共通光軸の関係にある前記第1および第2の撮像手段の開口内から、前記第2の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
前記第1の照明光源を起動して照明する第1の照明ステップと、
前記第2の照明光源を起動して照明する第2の照明ステップと、
前記各照明下に前記各照明像をそれぞれ撮像して第1の画像データと第2の画像データを獲得するデータ獲得ステップと、
前記第1の画像データと前記第2の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
前記配置ステップでは、前記第1および第2の照明光源が、複数の短波長用の発光素子と前記発光素子の外側に配置された1以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段を介して結合されるように配置される瞳孔検出方法。
IPC(International Patent Classification)
F-term
  • 4C316AA06
  • 4C316AB16
  • 4C316FB21
Drawing

※Click image to enlarge.

JP2005306961thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close