Top > Search of Japanese Patents > PUPIL DETECTION DEVICE AND METHOD > Specification

Specification :(In Japanese)瞳孔検出装置及び瞳孔検出方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4528980
Publication number P2007-083027A
Date of registration Jun 18, 2010
Date of issue Aug 25, 2010
Date of publication of application Apr 5, 2007
Title of the invention, or title of the device (In Japanese)瞳孔検出装置及び瞳孔検出方法
IPC (International Patent Classification) A61B   3/113       (2006.01)
FI (File Index) A61B 3/10 B
Number of claims or invention 8
Total pages 17
Application Number P2006-225720
Date of filing Aug 22, 2006
Application number of the priority 2005241728
Priority date Aug 23, 2005
Claim of priority (country) (In Japanese)日本国(JP)
Date of request for substantive examination Mar 22, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
Examiner (In Japanese)【審査官】島田 保
Document or reference (In Japanese)特表2002-513176(JP,A)
特開平11-056782(JP,A)
特開2005-198743(JP,A)
特開平02-138673(JP,A)
特開平07-134800(JP,A)
特開2004-261598(JP,A)
特開平10-221016(JP,A)
Field of search A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
Scope of claims (In Japanese)【請求項1】
カメラ,光源,光路形成手段,および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
前記光を前記カメラの開口部内から照射可能に設けられ、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源を含み、
独立した第1の照明光源と第2の照明光源の光軸を、前記光路形成手段により共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更して構成され、
前記カメラは、
前記第1の照明光源による第1の画像データを得る第1の画像データ獲得手段と、
前記第2の照明光源による第2の画像データを得る第2の画像データ獲得手段とを含み、
前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段である瞳孔検出装置。
【請求項2】
カメラ,光源,光路形成手段,および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
前記光を前記カメラの開口部内から照射可能に設けられ、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源を含み、
独立した第1の発光源と第2の発光源をそれぞれの光軸を近接平行に配置しレンズ手段により集光し、さらに前記光路形成手段により近接平行光軸がカメラ手段の光軸に一致するように光路変更して構成され、
前記カメラは、
前記第1の照明光源による第1の画像データを得る第1の画像データ獲得手段と、
前記第2の照明光源による第2の画像データを得る第2の画像データ獲得手段とを含み、
前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段である瞳孔検出装置。
【請求項3】
前記演算手段は前記第1の画像データと前記第2の画像データの差分演算により瞳孔を検出するように構成されている請求項1又は2記載の瞳孔検出装置。
【請求項4】
前記カメラ手段は、前記第1の画像データ獲得手段と前記第2の画像データ獲得手段が単一のカメラの同一のイメージセンサの画素群を分割して構成されている請求項1又は2記載の瞳孔検出装置。
【請求項5】
前記カメラ手段は、前記第1の画像データ獲得手段と前記第2の画像データ獲得手段が別々のカメラにより構成されている請求項1又は2記載の瞳孔検出装置。
【請求項6】
被験者から一定距離離れ、相互に一定距離離れて配置され、それぞれが瞳孔を検出し、瞳孔の3次元位置を計測するための請求項1~5記載の一組の瞳孔検出装置。
【請求項7】
被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、
前記光源により、被験者の瞳孔内反射が明瞳孔となる第1の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第1の波長成分と同等の照明効果を呈する第2の波長成分とを、前記カメラの開口部内から照射し、独立した第1の波長成分の光と第2の波長成分の光の光軸を、共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更するステップと、
前記カメラにより、前記第1の波長成分による第1の画像データを得るステップと、
前記カメラにより、前記第2の波長成分による第2の画像データを得るステップと、
前記演算手段により、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出するステップと、
を備える瞳孔検出方法。
【請求項8】
被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、
前記光源により、被験者の瞳孔内反射が明瞳孔となる第1の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第1の波長成分と同等の照明効果を呈する第2の波長成分とを、前記カメラの開口部内から照射し、独立した第1の波長成分の光と第2の波長成分の光をそれぞれの光軸を近接平行に配置して集光し、さらに近接平行光軸がカメラ手段の光軸に一致するように光路変更するステップと、
前記カメラにより、前記第1の波長成分による第1の画像データを得るステップと、
前記カメラにより、前記第2の波長成分による第2の画像データを得るステップと、
前記演算手段により、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出するステップと、
を備える瞳孔検出方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、視線検出等の分野に利用できる瞳孔検出装置及び瞳孔検出方法、さらに詳しく言えば、周囲光が強く瞳孔の検出に適さない環境下においても確実に瞳孔の検出を可能にする瞳孔検出装置及び瞳孔検出方法に関する。
【背景技術】
【0002】
顔の特徴点を捉えて、被験者の意図を推定したり、どこを見ているか、どこから見ているかなどの情報の獲得のために、瞳孔の検出が有効な手段として着目され、それ自体またはその応用に関連して種々の研究や発明がなされている(特許文献1~4,非特許文献1)。瞳孔は、それ自体が小さいことと、基本的にどの方向から見ても円もしくは楕円に見えるだけでなく、黒目と違ってまぶたに隠れにくいため、検出対象として優れている。それを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させる提案があり、頭部の動きにより、カーソルを動かすこともできる。
【0003】
また最近、瞳孔検出技術を利用して、乗用車,トラックの運転の視線を検出したり、眠気を検知したり、余所見運転を検出したいという要望もある。その際に、直射日光が顔面に当たるような劣悪な状況下においても瞳孔が安定に検出できることが望まれている。

【特許文献1】特願2004-73998
【特許文献2】特開2004-261598
【特許文献3】特表2002-513176
【特許文献4】特開平11-56782
【非特許文献1】「多光源による瞳孔検出と追跡(Pupil detection andtracking using multiple light sources )」,著者 C.H.モリモト他(C.H. Morimoto, D. Koons,A. Amir, M. Flickner),イメージおよびビジョンのコンピューティング18(2000)331-335(Image and VisionComputing 18 (2000) 331-335)
【発明の開示】
【発明が解決しようとする課題】
【0004】
明瞳孔検出において予想される問題を検討する。瞳孔の検出における光源と瞳孔の関係の一つとして赤眼現象(明瞳孔現象)が知られており、この現象は瞳孔検出に利用されている(特許文献1)。
図1は明瞳孔が観察されないカメラC,光源L,眼球EBの位置関係の一例を示す光路図である。光源Lから瞳孔に入射する光束を図中1と2で示したラインで示してある。光源LはカメラCの開口部(レンズの有効径)から外れた位置にある。
被験者の目は屈折力を持っており、今、目の焦点が光源Lの位置に一致しているとすると、瞳孔に入射した光束の通る領域の端は1' と2' のラインのように示すことができ、光源の像が網膜上に焦点を結び、網膜上に点のスポットを作る。網膜上では、乱反射をし、いろいろな方向に反射するが、その一部は、瞳孔を通り1'-1と2’-2の経路内を戻る(斜線部)。このとき、網膜上のスポットから発生した光は、光源の位置に焦点を結び、光源Lに大きさが無いと仮定すれば、光源位置を通り過ぎて再び広がる。この目から戻ってきた光はカメラの開口部には入射しないため、カメラからは瞳孔は暗く写る。
【0005】
図2には、目の焦点が光源よりも先に合っている場合(遠視状態)を示している。
この場合、瞳孔に入射した光は、網膜よりも後ろに焦点を結ぶため、網膜上ではピントのずれた大きなスポットとして映る。スポットからの光は網膜を出て目の焦点位置で焦点を結び、1→1’の経路と2→2’の経路の範囲(斜線部)を通る。この経路は、網膜上のスポットが点光源の集まりであると考え、目の焦点位置を考慮すると理解できる。この場合も、瞳孔から戻った光はカメラには入射しない。
【0006】
逆に、図3が示すように、光源の手前に目の焦点が位置した場合(近視状態)、網膜を通り抜けた光源からの光は、網膜の手前で焦点を結び、網膜上では大きさを持つスポットを作る。スポットからの乱反射光のうち瞳孔を通り抜けた光は、図中斜線部の範囲を通る。この場合も、網膜からの反射光はカメラの開口部に入射しないため、カメラからは瞳孔は暗い部分として映る。
【0007】
今、図4のように光源をカメラの開口部の近くに配置すると、網膜からの反射光の一部はカメラの開口部に入射するため、瞳孔は明るく写る。しかし、この図から明らかなように、網膜から反射光に半分以上はカメラの開口部に入射しないため、瞳孔を光らせて瞳孔を検出しようとする場合は、非効率的である。
【0008】
これまでは、瞳孔が大きいとき(一般に最大直径8mm)であり、瞳孔が小さいとき(一般に最小直径は2mm)は、図5のような光の経路となる。瞳孔が小さいと、そもそも瞳孔を通り抜ける光量も小さくなり(瞳孔面積と瞳孔輝度は比例する。)、瞳孔輝度は低くなるため、瞳孔が極端に検出しづらくなる。また、単に瞳孔が小さくなるために、画像処理による眼鏡反射の残骸と区別しにくく、誤検出につながる。さらに、実際には光源にも大きさがあり、光源から開口部にはどうしてもある程度の距離が必要となる。そのため、カメラ開口部に戻る光の量は極端に少なくなる。
言い換えると、瞳孔が大きいときは、光源がカメラ開口部から比較的離れていても瞳孔は光りやすいが、瞳孔が小さいときは、カメラの開口部に極力近い、究極的には開口部内に存在しないと明るくなりにくい。図6に示すように、光源をカメラの光軸に一致させると明瞳孔が得られることになるが、撮像の障害となる。
【0009】
前出の特許文献4では、明瞳孔(ブライトアイ)画像を得るために、カメラ開口部の中央に光源を設置する方法が提案されているが、この場合も、光源自体に大きさがあり、光源の中央だけが明るいような場合は、やはり光源と開口部には実質上、距離があることになり、瞳孔は明るくなりにくい。また、カメラ開口部内に光源を設置する方法の最も大きな問題は、カメラの拡大率を小さくした場合、たとえば、80cm先の顔の全体が十分に映る程度の拡大率にカメラレンズを選ぶと、光源自体が黒抜きとして映ってしまい瞳孔検出の妨害となる。
【0010】
本発明の目的は、被験者の周囲光が強く瞳孔の検出に適さない環境下においても、確実に瞳孔の検出を可能にする瞳孔検出装置及び瞳孔検出方法を提供することにある。
【課題を解決するための手段】
【0011】
前記目的を達成するために、本発明による請求項1記載の瞳孔検出装置は、カメラ,光源,光路形成手段,および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、前記光源は、前記光を前記カメラの開口部内から照射可能に設けられ、被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源を含み、独立した第1の照明光源と第2の照明光源の光軸を、前記光路形成手段により共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更して構成され、前記カメラは、前記第1の照明光源による第1の画像データを得る第1の画像データ獲得手段と、前記第2の照明光源による第2の画像データを得る第2の画像データ獲得手段とを含み、前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段である。
また、本発明による請求項2記載の瞳孔検出装置は、カメラ,光源,光路形成手段,および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、前記光源は、前記光を前記カメラの開口部内から照射可能に設けられ、被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源を含み、独立した第1の発光源と第2の発光源をそれぞれの光軸を近接平行に配置しレンズ手段により集光し、さらに前記光路形成手段により近接平行光軸がカメラ手段の光軸に一致するように光路変更して構成され、前記カメラは、前記第1の照明光源による第1の画像データを得る第1の画像データ獲得手段と、前記第2の照明光源による第2の画像データを得る第2の画像データ獲得手段とを含み、前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段である。
【0012】
本発明による請求項7記載の瞳孔検出方法は、被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、前記光源により、被験者の瞳孔内反射が明瞳孔となる第1の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第1の波長成分と同等の照明効果を呈する第2の波長成分とを、前記カメラの開口部内から照射し、独立した第1の波長成分の光と第2の波長成分の光の光軸を、共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更するステップと、前記カメラにより、前記第1の波長成分による第1の画像データを得るステップと、前記カメラにより、前記第2の波長成分による第2の画像データを得るステップと、前記演算手段により、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出するステップとを備える。
本発明による請求項8記載の瞳孔検出方法は、被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、前記光源により、被験者の瞳孔内反射が明瞳孔となる第1の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第1の波長成分と同等の照明効果を呈する第2の波長成分とを、前記カメラの開口部内から照射し、独立した第1の波長成分の光と第2の波長成分の光をそれぞれの光軸を近接平行に配置して集光し、さらに近接平行光軸がカメラ手段の光軸に一致するように光路変更するステップと、前記カメラにより、前記第1の波長成分による第1の画像データを得るステップと、前記カメラにより、前記第2の波長成分による第2の画像データを得るステップと、前記演算手段により、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出するステップとを備える。
【0015】
本発明による請求項3記載の瞳孔検出装置は、請求項1又は2記載の瞳孔検出装置において、前記演算手段は前記第1の画像データと前記第2の画像データの差分演算により瞳孔を検出するように構成されている。
【0016】
本発明による請求項4記載の瞳孔検出装置は、請求項1又は2記載の瞳孔検出装置において、前記カメラ手段は、前記第1の画像データ獲得手段と前記第2の画像データ獲得手段が単一のカメラの同一のイメージセンサの画素群を分割して構成されている。
【0017】
本発明による請求項5記載の瞳孔検出装置は、請求項1又は2記載の瞳孔検出装置において、前記カメラ手段は、前記第1の画像データ獲得手段と前記第2の画像データ獲得手段が別々のカメラにより構成されている。
【0018】
本発明による請求項6記載の瞳孔検出装置は、請求項1~5記載の瞳孔検出装置において、被験者から一定距離離れ、相互に一定距離離れて配置され、それぞれが瞳孔を検出し、瞳孔の3次元位置を計測するための一組の瞳孔検出装置である。
【発明の効果】
【0019】
本発明による請求項1,2記載の瞳孔検出装置及び請求項7,8記載の瞳孔検出方法によれば、確実な瞳孔の検出が可能になる。
【0020】
本発明による請求項1記載の瞳孔検出装置によれば、前記光源は、独立した第1の照明光源と第2の照明光源の光軸を、前記光路形成手段により共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更されるから、良好な照明効果が得られる。
【0021】
本発明による請求項2記載の瞳孔検出装置によれば、より小形の照明光源で良好な照明効果が得られる。
【0022】
本発明による請求項3記載の瞳孔検出装置によれば、前記演算手段は前記第1の画像データと前記第2の画像データの差分演算により瞳孔像のみを良好に取り出すことができる。
【0023】
本発明による請求項4記載の瞳孔検出装置によれば、前記カメラ手段は、前記第1の画像データ獲得手段と前記第2の画像データ獲得手段が単一のカメラの同一のイメージセンサの画素群を分割して構成されており、装置の小形化が図られる。
【0024】
本発明による請求項5記載の瞳孔検出装置によれば、前記カメラ手段は、前記第1の画像データ獲得手段と前記第2の画像データ獲得手段が別々のカメラにより構成されており確実な瞳孔検出が可能となる。
【0025】
本発明による請求項6記載の瞳孔検出装置によれば、距離計方式により、瞳孔の3次元位置を計測するための一組の瞳孔検出装置が提供される。
【発明を実施するための最良の形態】
【0026】
以下図面等を参照して、先ず、本発明の原理を従来の技術と対比しながら説明する。
図7,8は、本発明における明瞳孔検出の原理を説明するための説明図である。
図7に示すようにハーフミラーMを介して光源の光を目に照射し、網膜の反射光を光源自体に妨害されないようにして、カメラの開口部に入射させる。この例は近視状態の場合を示している。図8の例では、無限遠に目の焦点がある場合を示している。これらの例のように、瞳孔面積が小さいときでも、また、目の焦点がどこに合っていても、網膜反射光はカメラの開口部に入射するようになる。
小さな瞳孔において明瞳孔画像を得るためには、光源をカメラ開口部内に設置するのが望ましいが、暗瞳孔画像を得るためにはカメラ開口部からできるだけ離れたところに設置するほうが効果的である。しかし、一方で、明瞳孔画像を得るための光源と暗瞳孔画像を得るための光源が離れていると、前述のように眼鏡反射光や眼鏡フレーム反射光が両画像間で異なる位置に映るために、画像差分によって除去しにくい。また、顔表面においても両者間で輝度差が生じやすい。さらに、顔と背景の境界では、片方の照明においては明るく、もう片方では影になり暗いなどの違いが生じるため、やはり検出がし難くなる。
【0027】
したがって、本発明では、光源の位置が同じでも瞳孔の部分だけに輝度差を生じさせるために、異なる波長成分の2種類の光源を用いる。
第1の照明光源は、被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含むものであり、第2の照明光源は、被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈するものである。
なお、前述した特許文献3記載の発明(特表2002-513176)で述べられているように、850nmと950nmの波長では、網膜反射の反射率が異なるため、基本的に850nmを中心波長としたLEDと950nmを中心波長としたLEDを少なくとも2種類用いる(これらの中心波長は、これらに限定するものではない。950nmの代わりに930nmや970nmなどでもよいし、850nmに代わりに830nmや880nmなどでも良い。およそ900nmを境に網膜の反射率が大きく変化することを利用する。ただし、850nm未満の中心波長のLEDでは、発光源そのものが光って見えるため、用途によっては望ましくない)。
【0028】
したがって、上記の明瞳孔と上記の暗瞳孔は、周囲の明るさにより必ずしも瞳孔以外の部分より明るいもしくは暗いという意味ではなく、相対的に明瞳孔が暗瞳孔に比べて明るいということを意味している。
【0029】
上述の2種類のLED発光源を、等価的に同じ位置になるように、しかもできるだけ開口部内に光源が収まるように設置する。そのようにすることにより、カメラ画像内に映る眼鏡反射は、どちらの波長の発光源が点灯しても同様に見える。さらに、900nmより短い波長の発光源(短波長光源)のほうが900nmより長い波長の発光源(長波長光源)よりも瞳孔が明るく映る。もちろん、カメラの感度も波長によって感度が異なるため、予め、それぞれの発光源に流す電流量を調整して、瞳孔以外の部分の輝度のバランスを取っておくのが理想である。このようにすることによって、差分画像においては、瞳孔のみが浮き上がり、検出しやすくなる。眼鏡レンズ前面、裏面、もしくは、フレームでの反射光についても同様で、光源の位置が同じと見なせるために、打ち消しあって消去される。
【0030】
ここで、前述の特許文献3記載の方法との相違点を簡単に説明しておく。前記方法ではカメラの開口部外に光源を並べているため、小さい瞳孔の検出が困難である。本発明では、基本的にカメラの開口部内に光源を並べている(カメラ開口部からはみ出てはいけないという意味ではない)。したがって、小さい瞳孔でも明瞳孔にすることが可能であり、瞳孔が検出できる。また前記方法では、波長の異なる光源は、物理的位置が別々に並べてあるので、差分をしただけでは光源の眼鏡反射が取り除きにくい。本発明では、後述するように、異なる光源を同じ位置に設置するため、差分をすると眼鏡反射が自動的に取り除け、瞳孔が検出しやすい。
【0031】
前述した特許文献2記載の方法(特開2004-261598)も、明瞳孔と暗瞳孔の検出に係るものである。この方法では2つの波長が同じ、もしくは異なる光源のうち一方をカメラの光軸近くに設置し、もう一方を光軸から遠くに設置している。
波長が同じ場合には時分割、波長が異なる場合は波長分離により、2つの画像を作り、それらの差分画像から瞳孔を検出しているが、この場合も、差分をする2つの画像における眼鏡反射の位置が異なるため、眼鏡反射除去が難しい。
これに対して本発明では、2つの波長の光源を基本的に共に開口部内に設置し、しかも差分する2つの画像において互いに眼鏡反射光が打ち消し合うように等価的に2つの波長の光源を同じ位置に設置する。
この手法では、瞳孔の動きが素早い場合において瞳孔中心を正確に検出したい場合などは波長分離で行ない、そうでない場合は時分割を使用しても良い。
【0032】
(光源の具体例)図9に示すように、2種類のL1 用,L2 用発光源(LED)1,2をできるだけそれぞれの光軸が近接して平行になるように設置し、2種類の光の指向性がほぼ同じになるように1つ弾丸形モールド(集光レンズ)にパッケージングしたものを利用する。これにより、被写体における発光方向から見た光源(モールド)は、どちらの発光源が光っても同様の輝度分布を持つ。
【0033】
したがって、これらの光源で照明された被験者の他の部分の反射光、例えば被験者の眼鏡の反射は、極めて類似した反射光であるから、これをカメラで撮影した画像中の眼鏡反射などは、画像差分により極めて効率良く取り除かれる。
【0034】
図9に示したものと同様な特性の光源を、他の光学系を利用しても得ることができる。例えば
イ)凹面反射を利用しても同様な光学特性を得ることができる。
ロ)また、Y分岐光ファイバを用いることもできる。分岐ファイバの分岐の片方から2種類のうちの短波長のLEDの光を入射させ、もう片方から長波長のLEDの光を入射させ、これにより、2種類の波長の光を混合し、集光レンズにてカメラの被写角(画角)にあわせて顔に光を照射させることもできる。
ハ)さらに、図16のように、2種類の光源L1 ,L2 にダイクロイックミラーMを利用して、例えば長波長光源からの光のほとんどは反射させ、また、短波長光源からの光のほとんどを透過させることによって、効率よく両者の光を目に照射することができる。場合によってハーフミラーMでも可能である。
その場合、カメラCのイメージセンサの波長-感度曲線や光源のパワーなどを考慮して、両者のバランスを取るように、ハーフミラーMの反射対透過比を適当に選べばよい。このようにして合成された光を図13に示すようにカメラCの光軸に平行になるようにハーフミラーM等で導入する。
(瞳孔検出の第1の実施形態)
【0035】
図10は、本発明による瞳孔検出の第1の実施形態の第1の配置例を示す光路図である。
中心波長が850nmと950nmの発光源を持つ光源L12によりハーフミラーMを介して被験者の眼球EBに2波長の近赤外光を照射する。この光源L12の光軸とカメラCの光軸とがほぼ一致するように、ハーフミラーM及び光源L12が配置される。
ただし、先述のように約900nmを挟んで、短い波長と長い波長の組み合わせであればよく、前述した特定の波長に限らない。
網膜からの反射光をハーフミラーもしくは約900nmで波長分離するためのダイクロイックミラーMを介してカメラCに入射させる。
ここで、ハーフミラーMを使用する場合は、各カメラC1 ,C2 に発光源とそれぞれ同じ中心波長を持つ帯域通過フィルタF1 ,F2 を配置する。帯域通過フィルタを用いない場合は遮断波長が約900nmである低域通過フィルタFと高域通過フィルタFをカメラの前に配置する。なお中心波長が異なる2つの光をできるだけ分離する。
【0036】
2台のカメラC1,C2 により得られる画像を差分した後に瞳孔を検出する。このとき、外部光(環境光)をできるだけカットするため、また頭部の動きなどによって移動する瞳孔の動きによる瞳孔画像のブレを極力減らすために、図11に示すように、2台のビデオカメラのシャッターを1フレームに付き、短時間(例えば、0.1ms)だけ開き、その間だけ光源を点灯させる方法が有効である。
【0037】
最も簡易な実現方法の1つとしては、パソコンに多チャンネルの画像入力ボードを挿入し、ビデオカメラにはプログレッシブカメラを使用する。発振器等により周期的な外部トリガー信号を画像入力ボードに入力する。その信号に従って、画像入力ボードからカメラに対して露光信号を出力させる。同じ信号を、2波長光源を点灯させるための信号として使用する。光源の点灯時間を短くすることにより、点灯時の電流量を極端に増やすことができ、シャッタが開いている期間における、外部光による光量に対する光源による光量の比を大きくでき、結果的に外部光(環境光)の影響を大幅に削減できる。
【0038】
図13は、本発明による瞳孔検出の第1の実施形態の第2の配置例を示す光路図である。この第2の配置例は、カメラ1台で構成してある。その場合、図15に示すように、カメラに用いるイメージセンサ上に、画素にフィットするようにストライプ状に異なる中心波長の帯域通過フィルタを覆う。ここでは、縦縞のフィルタを示しているが、横縞でも良いし、あるいは格子状でもよい。どの場合も、近隣の異なる中心波長の帯域通過フィルタに覆われている画素間で画像差分を行い、輝度差の大きい部分として瞳孔を検出する。
なお、ここで帯域通過フィルタの代わりに、約900nmを遮断波長とする高域通過フィルタと低域通過フィルタに置き換えてもよい。ただし、その場合、環境光の影響を削減するためにカメラ開口部に可視光遮断フィルタあるいは約800nm~約1000nmを通過させる広域の帯域通過フィルタを取り付けるのが望ましい。
【0039】
図17は、本発明による瞳孔検出の第1の実施形態の第3の配置例を示す光路図である。対物レンズ19、レンズ18、ミラーM1,M2は光路形成手段を形成する。第1のカメラは、短波長(850nm)付近に中心波長を有するバンドパスフィルタF1、レンズ13、及びイメージセンサC1により構成され、第2のカメラは、長波長(950nm)付近に中心波長を有するバンドパスフィルタF2、レンズ14、及びイメージセンサC2により構成される。ミラーM1は、ハーフミラー又はダイクロイックミラーであり、2つのカメラの光軸上に配置されることにより、外見上2つのカメラの光軸がほぼ一致することを可能にするものである。レンズ19の前面には、2つのカメラの共通の開口部が形成されている。また、対物レンズ19の被験者側には照明光源結合用のハーフミラーM2が設けられている。
【0040】
光源21は、複数の発光素子21a~21d、分岐ファイバ23a~23d、及び結合部24から構成されている。この発光素子21a~21dは、2つが長波長用LED、残りの2つが短波長用LEDであり、それぞれが、分岐ファイバ23a~23dにより結合部24に光学的に接続されている。ここで、光源21を構成する発光素子21a~21dとしては、一般的には短波長光源のほうが発光パワーが高い傾向にあるので、1つが短波長用で残りの3つが長波長用であってもよい。
【0041】
4つの発光素子21a~21dが発光すると、2つの波長成分の光が結合部24において合成されてハーフミラーM2に向けて入射する。その結果、2つの波長成分の光が、ハーフミラーM2によって、カメラの開口部内で共通の光軸をカメラの光軸にほぼ一致するように保った状態で、被験者の顔に向けて反射される。すなわち、顔の方から見ると合成された光は、カメラの共通光軸を含む開口部内から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラーM2、レンズ19、及びレンズ18を透過した後にミラーM1により分離される。そして、短波長成分を含む光は、バンドパスフィルタF1を透過して、レンズ13により短波長用イメージセンサC1上に結像される。一方、ミラーM1により反射分離された長波長成分を含む光は、バンドパスフィルタF2を透過して、レンズ14により長波長用イメージセンサC2上に結像される。
【0042】
さらに、何らかの理由により、帯域通過フィルタやダイクロイックミラーを使用したくない場合には、最も簡易な実現法の1つとして、図12に示すように、1台のパソコンに2台の画像入力ボードを挿入し、両ボードに外部トリガー信号を周期的に入力し、片方の画像入力ボードに遅延を設けることにより2台のカメラの露光期間をずらし、同時に2波長の光源のそれぞれの発光源の発光タイミングをずらす方法が考えられる。もし、露光時間が1ms未満程度であれば、画像差分を行なうカメラの露光のタイミングのずれは最大で2msであるので、瞳孔の動きによるぶれはほとんど無視ができ、瞳孔中心なども正確に検出できる。もちろん、上述のように画像入力ボードに遅延を設けずに、2台の画像入力ボードにはじめから時間差を設けた外部トリガー信号を時間的にずらして入力してもよい。なお、画像差分は差分を行なうペアの2画像の両方が取得された時点で行なうこともできるし、遅れて取得されるほうのビデオ信号がパソコンに転送され次第、できるだけ早期に差分をする方法も考えられる。このように、いずれにしても、露光、ビデオ出力共に時間的にずらして(非同期)、画像差分を行なう2画像を取得する。
(瞳孔検出の第2の実施形態)
【0043】
瞳孔の動きにブレが気にならない用途には、必ずしも2波長を分離する必要はない。
図13に示すように、2波長LED(L12)中の2つの波長の発光源をカメラ1台の前においたハーフミラーMを介して、2波長光源の各波長の発光源を、フレームごとあるいは、例えばNTSC方式(飛び越し走査方式)のカメラであればフィールド毎に交互に点灯させ、目に光を照射し、各発光源照射により得られた時間的に隣り合う画像を差分した後に瞳孔像を画像処理により検出する。
最も簡易な実現方法の1つは、図11に示した露光信号と、画像入力ボードから出力する発光源選択のための信号とから、図14に示した回路を用いて、各発光源を交互に点灯させるための露光信号を新たに作ればよい。なお、発光源選択信号は、ビデオの垂直同期信号や画像入力ボードからの露光信号などをDフリップフロップに入力し、その出力を用いることもできる。(Dフリップフロップ出力は、入力信号の立ち上がり、または立ち下がりのタイミングで、ハイレベルとローレベルを交互に繰り返す。)
【0044】
なお、ここでも、環境光の影響を削減するためにカメラ開口部に可視光遮断フィルタあるいは約800nm~約1000nmを通過させる広域の帯域通過フィルタを取り付けるのが望ましい。
【0045】
このように、本発明の瞳孔検出装置は、必ずしも2台のカメラを必要としない。例えば、図17に示す配置例において、レンズ19の前面に約800nm~約1000nmを通過させる広域の帯域通過フィルタ、又は850nm付近と950nm付近とを通過させる帯域通過フィルタを設け、2つのイメージセンサC1,C2の代わりに、レンズ18とレンズ19との中間位置にNTSC方式やPAL方式のような飛び越し走査(インターレーススキャン)のイメージセンサ(カメラ)を固定してもよいし、ノンインターレーススキャンのイメージセンサ(カメラ)を固定してよい。インターレーススキャンの場合、光源21a~21dのうちの長波長用光源と短波長用光源とを、イメージセンサの画像信号中の奇数フィールド及び偶数フィールドの発生タイミングに交互に同期して発光させることにより、明瞳孔像及び暗瞳孔像を分離して得ることができ、得られた奇数ラインの画素とその奇数ラインに隣接する偶数ラインの画素とを差分することにより瞳孔を検出する。ノンインターレーススキャンの場合は、光源21a~21dのうちの長波長用光源と短波長用光源とを、イメージセンサのフレームに同期させて交互に発光させることにより、明瞳孔像及び暗瞳孔像を分離して得ることができ、得られた隣り合う時間に得られたフレーム間の対応する画素どうしを差分することにより瞳孔を検出する。なお、どちらの場合にも、瞳孔検出の精度を上げるためには、このイメージセンサのシャッタースピードを0.1ms~1ms程度に設定し、そのシャッタータイミングに合わせて光源21a~21dを発光させることが好適である。
(瞳孔検出と瞳孔の3次元位置計測を行なう第3の実施形態)
【0046】
被験者の視線を高精度に検出するためには、瞳孔の3次元位置情報は重要である。また、被験者がどこから見ているかがわかるため、瞳孔の3次元位置は、ヒューマンインターフェースの分野で重要な情報源である。
瞳孔の3次元位置計測にはステレオ計測をするのが一般的である。したがって、図10、図13、図17等で示した光学系を2系統以上必要とする。具体的には、このような光学系を有する2系統の瞳孔検出装置を、被験者に対向して一定距離離れて、且つ、相互にも一定距離離れた位置に配置する。そして、それぞれの瞳孔検出装置によって検出された瞳孔の2次元位置に基づいてステレオ計測により瞳孔の3次元位置が計測可能に構成される。
【0047】
なお、元来、光源自体も不可視のLEDを使用するとし、また、カメラが使用に耐えられる感度を持つ波長領域となると、中心波長にして850nm~950nmの範囲である。このような状況下の中で、2系統以上の各光学系において2波長ずつ使用した上で、2系統以上を光学的に分離するには、かなり狭帯域の帯域通過フィルタが必要であり、光学フィルタによる分離は非常に困難である。したがって、時分割手法を選ぶのが相応しい。ただし、各系統における2つの中心波長の発光源は同時に発光させ、波長分離をしてもよい。
その場合、図10及び図17で示した2台のカメラを使用した光学系、もしくは、図13において図15に示したような、隣り合う画素に中心波長がそれぞれ850nm及び950nmの帯域通過フィルタを取り付けたイメージセンサを用いたカメラを1台使用した光学系においては、2系統以上の光学系のそれぞれに取り付けられている2波長光源の2種類の中心波長の光源は同時に発光させた上で、系統ごとに時間的に僅かずつずらして発光させ、発光と同時に各光源が取り付けてあるカメラのシャッタを開けばよい。
【産業上の利用可能性】
【0048】
本発明による瞳孔検出装置によれば、瞳孔の検出が正確にできる。これを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させるヒューマンインターフェイスの開発の分野に利用することができる。また照明環境の極端に異なる所でも瞳孔検出が可能であるから、乗用車,トラックの運転者の視線を検出したり、眠気を検知したり、余所見運転を検出する運転援助の機器開発の産業分野にも利用できる。
【図面の簡単な説明】
【0049】
【図1】明瞳孔が検出され難い理由を説明するための眼球,光源,カメラの位置関係を示す説明図である。
【図2】遠視状態における図1と同趣の説明図である。
【図3】近視状態における図1と同趣の説明図である。
【図4】光源をカメラの開口近くに配置した状態における図1と同趣の説明図である。
【図5】瞳孔が小さいときの問題を説明するための図1と同趣の説明図である。
【図6】瞳孔が小さく、かつ光源がカメラの開口内に配置されている場合における問題を説明するための図1と同趣の説明図である。
【図7】本発明における明瞳孔検出の原理を説明するための説明図である。
【図8】本発明における明瞳孔検出の原理を説明するためのさらに他の説明図である。
【図9】本発明による瞳孔検出装置で用いる第1,第2の照明光源の具体例を示す図である。
【図10】本発明による瞳孔検出装置を示す光路図である。
【図11】照明光源とカメラの出力タイミングを示すタイムチャートである。
【図12】照明光源とカメラの出力タイミングを示す他のタイムチャートである。
【図13】本発明による他の瞳孔検出装置を示す光路図である。
【図14】光源選択信号と露光期間のタイミング発生回路を示す回路図である。
【図15】カメラのイメージセンサを示す図である。
【図16】本発明による瞳孔検出装置で用いる第1,第2の照明光源のさらに他の具体例を示す図である。
【図17】本発明による他の瞳孔検出装置を示す光路図である。
【符号の説明】
【0050】
L(L1 ,L2 ,L12),21a~21d…光源、C(C1 ,C2)…カメラ、EB…眼球、M,M1,M2…(ダイクロイック,ハーフ)ミラー、F(F1 ,F2 )…フィルタ。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16