TOP > 国内特許検索 > 2種類の光源を用いる瞳孔検出方法および装置 > 明細書

明細書 :2種類の光源を用いる瞳孔検出方法および装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4613315号 (P4613315)
公開番号 特開2007-111315 (P2007-111315A)
登録日 平成22年10月29日(2010.10.29)
発行日 平成23年1月19日(2011.1.19)
公開日 平成19年5月10日(2007.5.10)
発明の名称または考案の名称 2種類の光源を用いる瞳孔検出方法および装置
国際特許分類 A61B   3/113       (2006.01)
FI A61B 3/10 B
請求項の数または発明の数 7
全頁数 12
出願番号 特願2005-306961 (P2005-306961)
出願日 平成17年10月21日(2005.10.21)
審査請求日 平成19年3月16日(2007.3.16)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】後藤 順也
参考文献・文献 特開平10-221016(JP,A)
特開2005-266868(JP,A)
調査した分野 A61B 3/113
特許請求の範囲 【請求項1】
カメラ手段,光源,光路形成手段,および演算手段を含み、前記光路形成手段により、被験者が、その顔面を前記カメラ手段側から前記光源により照射され、瞳孔を含む顔面の像が前記カメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源とを含み、前記第2の照明光源の強度が前記第1の照明光源との関係で調整され、
前記カメラ手段は、
前記第1の照明光源による第1の画像データ獲得手段と、
前記第2の照明光源による第2の画像データ獲得手段とを含み、
前記光路形成手段は、
前記カメラ手段の第1の画像データ獲得手段と第2の画像データ獲得手段とを前記顔面に対して共通光軸で対向させ、
前記第1の照明光源からの光が前記顔面側から見て前記共通光軸の開口部内から発射され、前記第2の照明光源からの光が前記共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段であり、
前記第1の照明光源は、前記光路形成手段により、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して前記共通光軸の開口部内から発射される瞳孔検出装置。
【請求項2】
前記第2の照明光源は、前記光路形成手段により、前記照射角調整光学手段の外周に配置された1以上の長波長用の発光素子の発光を前記共通光軸の開口部外から発射される請求項記載の瞳孔検出装置。
【請求項3】
前記第1および第2の照明光源からの光は前記共通光軸に配置された光分割手段を介して結合されるように構成されている請求項記載の瞳孔検出装置。
【請求項4】
前記第2の照明光源は、前記共通光軸の開口部外に直接設けられた複数の長波長用の発光素子の発光を前記共通光軸の開口部外から発射される請求項記載の瞳孔検出装置。
【請求項5】
カメラ手段,光源,光路形成手段,および演算手段を含み、前記光路形成手段により、被験者が、その顔面を前記カメラ手段側から前記光源により照射され、瞳孔を含む顔面の像が前記カメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については前記第1の照明光源と同等の照明効果を呈する第2の照明光源とを含み、前記第2の照明光源の強度が前記第1の照明光源との関係で調整され、
前記カメラ手段は、
前記第1の照明光源による第1の画像データ獲得手段と、
前記第2の照明光源による第2の画像データ獲得手段とを含み、
前記光路形成手段は、
前記カメラ手段の第1の画像データ獲得手段と第2の画像データ獲得手段とを前記顔面に対して共通光軸で対向させ、
前記第1の照明光源からの光が前記顔面側から見て前記共通光軸の開口部内から発射され、前記第2の照明光源からの光が前記共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
前記演算手段は、前記第1の画像データと前記第2の画像データを演算処理して瞳孔を検出する手段であり、
前記第1および第2の照明光源は、複数の短波長用の発光素子と前記発光素子の外側に配置された1以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段を介して結合されるように構成されている瞳孔検出装置。
【請求項6】
明瞳孔像を発生させる第1の波長成分を含む第1の照明光源と、
暗瞳孔像を発生させる第2の波長成分を含み瞳孔以外については前記第1の照明光源と同等の照明効果を呈する強度の第2の照明光源と、
前記各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第1および第2の撮像手段とを準備して、
前記第1の照明光源を共通光軸の関係にある前記第1および第2の撮像手段の開口内から、前記第2の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
前記第1の照明光源を起動して照明する第1の照明ステップと、
前記第2の照明光源を起動して照明する第2の照明ステップと、
前記各照明下に前記各照明像をそれぞれ撮像して第1の画像データと第2の画像データを獲得するデータ獲得ステップと、
前記第1の画像データと前記第2の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
前記配置ステップでは、前記第1の照明光源が、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して前記共通光軸の開口部内から発射されるように配置される瞳孔検出方法。
【請求項7】
明瞳孔像を発生させる第1の波長成分を含む第1の照明光源と、
暗瞳孔像を発生させる第2の波長成分を含み瞳孔以外については前記第1の照明光源と同等の照明効果を呈する強度の第2の照明光源と、
前記各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第1および第2の撮像手段とを準備して、
前記第1の照明光源を共通光軸の関係にある前記第1および第2の撮像手段の開口内から、前記第2の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
前記第1の照明光源を起動して照明する第1の照明ステップと、
前記第2の照明光源を起動して照明する第2の照明ステップと、
前記各照明下に前記各照明像をそれぞれ撮像して第1の画像データと第2の画像データを獲得するデータ獲得ステップと、
前記第1の画像データと前記第2の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
前記配置ステップでは、前記第1および第2の照明光源が、複数の短波長用の発光素子と前記発光素子の外側に配置された1以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段を介して結合されるように配置される瞳孔検出方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、CCDカメラ等を用いた遠隔の瞳孔を検出する技術において、光源の位置の違いと、光源の波長の違いによる網膜反射量の違いの両方を利用することにより、瞳孔の位置等を検出する瞳孔検出装置および方法に関する。
【背景技術】
【0002】
瞳孔は、それ自体が小さいことと、基本的にどの方向から見ても円もしくは楕円に見えるだけでなく、黒目と違ってまぶたに隠れにくいため、頭部の姿勢を測定するための特徴点として利用されている。それを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させたのが「瞳孔マウス」であり、頭部の動きによりカーソルを動かすことができる技術に関する出願がなされている(特許文献1(特開2005-182247))。
【0003】
非特許文献1は、瞳孔を安定して高精度に検出するために、設置位置の異なる2つの同波長の光源を交互に点灯させて、それらによって生ずる瞳孔から明るい画像(明瞳孔画像)と暗い画像(暗瞳孔画像)を得てそれらを差分することにより、瞳孔を検出しやすくする技術を開示している。明瞳孔画像を得るためには、カメラの光軸上もしくはその近傍に光源を設置し、暗瞳孔画像を得るためには、カメラの光軸から離れたところに光源を設置する必要がある。この文献の方法では、これら2つの光源をビデオカメラの奇数フィールドと偶数フィールドに同期させて、交互に点燈させ、明瞳孔画像と暗瞳孔画像を交互に得て、画像差分を行なうことで、瞳孔以外の背景部を相殺させ、瞳孔部だけを浮き彫りにし、瞳孔を検出しやすくしている。しかし、その効果は、ひとつにカメラの光軸からどれだけ離れた光源を、どれだけ離れたところに設置するかにかかっており、効果をできるだけ大きくするためには、光軸からかなり離れたところに設置する必要があり、装置全体が大きくなる傾向があり、汎用性に欠ける結果となっている。
さらに、光軸から離れたところにある光源を分散して配置することは、光源が眼鏡反射として写りやすく、それも瞳孔検出に際して大きな問題となっている。
【0004】
さらに、特許文献2(特許第2988235号)はカメラの光軸上の光源(共軸系照明)のほかに、光軸から大きくずれた左右の位置にそれぞれ1個ずつ光源(非共軸系照明)を配置する方法を提示している。この方法によれば、明瞳孔画像と暗瞳孔画像を差分したときに、カメラの共軸系照明の角膜反射像と非共軸系照明の角膜反射が互いに打ち消し合わないため、差分画像から角膜反射を検出でき、その角膜反射が視線方向を検出するのに役立つという利点がある。
しかし、このように共軸系照明と非共軸系照明を大きく離していると、それらによる眼鏡反射像同士も互いに打ち消しあわないため、眼鏡反射による雑音像が現れ、これを取り除くのが困難である。
【0005】
アジレントテクノロジーズ社の出願に係る特許文献3(特開2004-261598)は、明瞳孔画像を得るために、波長の異なる光源の一方をカメラの光軸に近い位置に配置し、暗瞳孔画像を得るためにもう一方をカメラの光軸から離れた位置に配置する構成を開示している。この文献では、これらの光源をほぼ同時に点燈させ、光学系にて波長分離を行い、明瞳孔画像と暗瞳孔画像を得てそれらの差分を行い、瞳孔像を抽出する方法について述べている。ここで2波長を用いたのは、同時に明瞳孔画像と暗瞳孔画像を得るためであり、2波長のうちどちらを光軸に近くすべきかについての示唆はない。なおこの文献の段落(0035)の最後に、「従来のシリコン・ベースの検出器で測定すると、レチナール・リターン信号は、一般に、950nmの波長に比べて、800nmのほうが強くなり、従って、この場合、短いほうの波長と軸上光源を関連づけるのが望ましい。」と述べられている。しかしこれは、カメラの感度に関する記述であり、カメラの感度が高ければ、瞳孔以外の部分の画像も明るくなるため、画像差分による瞳孔検出のしやすさへの効力はない。
【0006】
また、特許文献4(特開平2-224637)は、波長の異なるLEDを2重リング状に並べて、内側のリングを点燈させたとき明瞳孔画像を得て、外側のリングを点燈させて暗瞳孔画像を得る方法を提案している。
この文献は、前述の特許文献3(特開2004-261598)の場合と同様に、単に異なる波長によって得た画像を波長の相違によって分離するために用いており、後述する本願発明で利用する「網膜反射量の波長による違い」については考慮されていない。
【0007】
本件発明者の提案に係る特許文献5(特願2005-241728)記載の発明は、カメラの開口部の中から2つの波長の光を発射させる方法である。この場合、分岐ファイバを用いて2波長の光を混合して発射させるため、2つの波長のそれぞれの光源による光をほぼ同一の輝度プロファイルを持たせることが可能であり、顔の各部において両波長によってほとんど同じ輝度分布を得ることができるので、見事に相殺させることが可能であること、さらに、角膜反射や眼鏡反射も同様に差分により相殺させやすい点で瞳孔検出においては有利である。
【0008】
しかし、角膜反射が消えてしまうため、視線検出など角膜反射を検出する用途では使用しにくい。その他にも、眼球中心位置や角膜球中心を求める必要のある場合にも、角膜反射像の検出が必要なため同様のことが言える。また、瞳孔検出のみを目的とした例えば中心波長が850nmのLEDと950nmのLEDによる瞳孔輝度の差は非常に大きいわけではない。特に周囲が非常に明るい環境下では、カメラの画像において瞳孔画像自体が飽和しないようにするためには、絞りを絞る、アンプゲインを下げる、シャッタ速度を短くするなどの方法により対応するが、それはどれもゲインを下げることにほぼ等価であり、差分画像の瞳孔画像の輝度が下がるため、瞳孔検出が難しくなる。したがって、波長の違いからだけではなく、明瞳孔と暗瞳孔の効果を強く出す方法が必要である。
【0009】
特許文献6(特表2002-513176)記載の発明は、2波長の反射率が顔や目の表面では同じであるが、網膜では異なることを利用している点は、後述する本発明の提案と共通する。しかし、2種類の波長のLEDをカメラの開口部の周りにリング状に並べた(カメラの光軸から同距離に2種類の波長のLEDをならべた)構成であり本発明の構成とは異なる。

【特許文献1】特開2005-182247
【特許文献2】特許第2988235号
【特許文献3】特開2004-261598
【特許文献4】特開平2-224637
【特許文献5】特願2005-241728
【特許文献6】特表2002-513176
【非特許文献1】「多光源による瞳孔検出と追跡(Pupil detection and tracking using multiple light sources )」,著者 C.H.モリモト他(C.H. Morimoto, D. Koons, A. Amir, M. Flickner ),イメージおよびビジョンのコンピューティング18(2000)331-335(Image and Vision Computing 18 (2000) 331-335)
【0010】
前述した瞳孔検出に重要な関連をもつ技術として角膜反射の測定技術があり、瞳孔の検出と関連してまたは独立して、姿勢とか視線の検出に利用できる。後述する3つの特許文献はいずれも本願発明者の発明に係るものであり、角膜反射に関連し、視線の検出等に利用されている。特許文献7記載の発明は視線検出方法および視線検出装置、特許文献8記載の発明は三次元視点計測装置、特許文献9に係る発明は距離イメージセンサを用いた視線検出装置を開示している。角膜の位置はカメラと光源の位置に密接に関連しているが、これらの発明では、光源について、明瞳孔と暗瞳孔照明に関連する分析はなされていない。

【特許文献7】特開2005-185431
【特許文献8】特開2005-198743
【特許文献9】特開2005-230049
【発明の開示】
【発明が解決しようとする課題】
【0011】
本発明の主たる目的は、カメラ手段側から2種類の光源により瞳孔を含む顔面を照射して画像を獲得し、瞳孔を検出する瞳孔検出装置において、光源の質と配置に改良を加え瞳孔検出を確実にする瞳孔検出装置を提供することにある。
本発明の他の目的は瞳孔検出を確実に実施できる瞳孔検出方法を提供することにある。
本発明のさらに他の実用上の目的は前述した装置や方法の検出結果の信頼性を向上させるとともに、従来障害と成り得た高い輝度に原因する雑音性の反射の除去を可能にするとともに、同様に高い輝度に原因する角膜反射を瞳孔検出と同時に可能にすることにある。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本発明による請求項1記載の瞳孔検出装置は、
カメラ手段,光源,光路形成手段,および演算手段を含み、光路形成手段により、被験者が、その顔面をカメラ手段側から光源により照射され、瞳孔を含む顔面の像がカメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
光源は、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については第1の照明光源と同等の照明効果を呈する第2の照明光源とを含み、第2の照明光源の強度が第1の照明光源との関係で調整され、
カメラ手段は、
第1の照明光源による第1の画像データ獲得手段と、
第2の照明光源による第2の画像データ獲得手段とを含み、
光路形成手段は、
カメラ手段の第1の画像データ獲得手段と第2の画像データ獲得手段とを顔面に対して共通光軸で対向させ、
第1の照明光源からの光が顔面側から見て共通光軸の開口部内から発射され、第2の照明光源からの光が共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
演算手段は、第1の画像データと第2の画像データを演算処理して瞳孔を検出する手段であり、
第1の照明光源は、光路形成手段により、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して共通光軸の開口部内から発射される
【0013】
本発明による請求項記載の瞳孔検出装置は、請求項記載の瞳孔検出装置において、
前記第2の照明光源は、前記光路形成手段により、前記照射角調整光学手段の外周に配置された1以上の長波長用の発光素子の発光を前記共通光軸の開口部外から発射されるように構成されている。
本発明による請求項記載の瞳孔検出装置は、請求項記載の瞳孔検出装置において、
前記第1および第2の照明光源からの光は前記共通光軸に配置された光分割手段、ハーフミラー等を介して結合されるように構成されている。
本発明による請求項記載の瞳孔検出装置は、請求項記載の瞳孔検出装置において、
前記第2の照明光源は、前記共通光軸の開口部外に直接設けられた複数の長波長用の発光素子の発光を前記共通光軸の開口部外から発射されるように構成されている。
本発明による請求項記載の瞳孔検出装置は、
カメラ手段,光源,光路形成手段,および演算手段を含み、光路形成手段により、被験者が、その顔面をカメラ手段側から光源により照射され、瞳孔を含む顔面の像がカメラ手段に結像される関係を保って配置され、結像されたデータを演算して瞳孔を検出する瞳孔検出装置であって、
光源は、
被験者の瞳孔内反射が明瞳孔となる第1の波長成分を含む第1の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第2の波長成分を含み、瞳孔以外については第1の照明光源と同等の照明効果を呈する第2の照明光源とを含み、第2の照明光源の強度が第1の照明光源との関係で調整され、
カメラ手段は、
第1の照明光源による第1の画像データ獲得手段と、
第2の照明光源による第2の画像データ獲得手段とを含み、
光路形成手段は、
カメラ手段の第1の画像データ獲得手段と第2の画像データ獲得手段とを顔面に対して共通光軸で対向させ、
第1の照明光源からの光が顔面側から見て共通光軸の開口部内から発射され、第2の照明光源からの光が共通光軸の開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から発射するように配置し、
演算手段は、第1の画像データと第2の画像データを演算処理して瞳孔を検出する手段であり、
前記第1および第2の照明光源は、複数の短波長用の発光素子と前記発光素子の外側に配置された1以上の長波長用の発光素子の発光を前記共通光軸に配置された光分割手段、ハーフミラー等を介して結合されるように構成されている。
【0014】
本発明による請求項記載の瞳孔検出方法は、
明瞳孔像を発生させる第1の波長成分を含む第1の照明光源と、
暗瞳孔像を発生させる第2の波長成分を含み瞳孔以外については第1の照明光源と同等の照明効果を呈する強度の第2の照明光源と、
各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第1および第2の撮像手段とを準備して、
第1の照明光源を共通光軸の関係にある第1および第2の撮像手段の開口内から、第2の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
第1の照明光源を起動して照明する第1の照明ステップと、
第2の照明光源を起動して照明する第2の照明ステップと、
各照明下に各照明像をそれぞれ撮像して第1の画像データと第2の画像データを獲得するデータ獲得ステップと、
第1の画像データと第2の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
配置ステップでは、第1の照明光源が、複数の短波長用の発光素子の発光を結合して照射角調整光学手段を介して共通光軸の開口部内から発射されるように配置される
また、本発明による請求項7記載の瞳孔検出方法は、
明瞳孔像を発生させる第1の波長成分を含む第1の照明光源と、
暗瞳孔像を発生させる第2の波長成分を含み瞳孔以外については第1の照明光源と同等の照明効果を呈する強度の第2の照明光源と、
各光源による照明像をそれぞれ撮像する、光学系が実質的に同一であり共通光軸に配置される第1および第2の撮像手段とを準備して、
第1の照明光源を共通光軸の関係にある第1および第2の撮像手段の開口内から、第2の照明光源を共通光軸の関係にある開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から照明光が射出されるように配置する配置ステップと、
第1の照明光源を起動して照明する第1の照明ステップと、
第2の照明光源を起動して照明する第2の照明ステップと、
各照明下に各照明像をそれぞれ撮像して第1の画像データと第2の画像データを獲得するデータ獲得ステップと、
第1の画像データと第2の画像データを差分演算処理して瞳孔を検出する演算ステップとを含み、
配置ステップでは、第1および第2の照明光源が、複数の短波長用の発光素子と発光素子の外側に配置された1以上の長波長用の発光素子の発光を共通光軸に配置された光分割手段を介して結合されるように配置される。
【発明の効果】
【0015】
本発明装置および方法によれば、従来の同種装置や方法と比較して、小形にかかわらず瞳孔および角膜反射を検出しやすくなった。
同波長を同じサイズで2重リング状に並べるのに対して、使用環境が明るい場合にも瞳孔および角膜反射をロバストに検出できる。
また、眼鏡をしている場合に対する対処も画像処理が容易となり、眼鏡を掛けている場合にも、眼光反射を瞳孔と誤判断することなく、瞳孔が検出できる。
2波長分離することにより、ほぼ同時に2波長の光源を瞬間的に点灯させることで振動に対して強くすることができる。角膜反射点(領域)の検出が瞳孔検出と同時に可能となる。
【発明を実施するための最良の形態】
【0016】
本発明の原理は、照明用の光源として短波長(たとえば850nm)と長波長(たとえば950nm)の2種類を準備し、それらの配置をイメージセンサを用いる2つのカメラの共通光軸およびレンズ開口との関係を考慮して決定する。
これにより、短波長による明瞳孔画像データと長波長による暗瞳孔画像データを確実に取得して、瞳孔検出を行うものである。長波長の光源を開口に近接して配置することにより好ましくない雑音光の発生を防止している。
【0017】
(瞳孔検出の第1の実施形態)
図1は、本発明による瞳孔検出装置の第1の実施形態を示す光路図である。
図において、対物レンズ9,レンズ8,短波長用バンドパスフィルタ5,レンズ3,および短波長用イメージセンサ1は、第1のカメラの主要部を形成している。
対物レンズ9,レンズ8,長波長用バンドパスフィルタ6,レンズ4,および長波長用イメージセンサ2は、第2のカメラの主要部を形成している。
これら2つのカメラの光軸にハーフミラー(もしくはダイクロイックミラー)7が配置され、外見上は2つのカメラが光軸を共有した配置になっている。
対物レンズ9の物体側に照明光源結合用のハーフミラー10が設けられている。
【0018】
短波長用光源(開口部内)21は、短波長用発光素子21a~21dから構成されており、分岐ファイバ23a~23dにより結合部24に接続されている。結合部24の前面に照射角調整用レンズ25が配置されている。照射角調整用レンズ25の周囲に長波長用光源26を形成する複数の長波長用発光素子26a~が配置されている。この長波長用発光素子26a~の個数は、短波長用光源との関係で調整される。図中、正面図の示す矢印の方向から照射角調整用レンズ25と長波長用発光素子26n方向を見た図を正面図として拡大して示してある。この例は、長波長用発光素子26a~を14個配置した例と長波長用発光素子26j~を4個配置した例と、また、長波長用発光素子26k~を4個十字に配置した例の3例を示してある。
【0019】
短波長用光源と長波長用光源を同時に起動すると、各照明光はハーフミラー10で反射されて、顔を照射する。このとき、顔の方からみると短波長用光源の光は、カメラの共通光軸を含む開口内から照射され、長波長用光源の光は、カメラの共通光軸から離れた開口内に外接する位置から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラー10を透過してレンズ9,8を透過し、ハーフミラー7により分離され、短波長(850nm)を含む光は、バンドパスフィルタ5を透過し、レンズ3により短波長用イメージセンサ1上に結像される。ハーフミラー10を透過してハーフミラー7により反射分離された長波長(950nm)を含む光は、バンドパスフィルタ6を透過し、レンズ4により長波長用イメージセンサ2上に結像される。
【0020】
各イメージセンサ1,2の出力は、図示しない演算回路により画素単位で差分演算が行われ、瞳孔像が検出される。この状態と同時角膜検出の原理を図4を参照して説明する。図4は、各イメージセンサ1,2の出力の差分画像を形成する1走査線を取り出して示した図である。
短波長用イメージセンサ1上に結像される明瞳孔のレベルは周囲の部分より高く角膜反射のレベルはさらに高い。長波長用イメージセンサ2上に結像される暗瞳孔のレベルは明瞳孔のレベルより小さくその領域は明瞳孔の領域と略等しい。長波長用イメージセンサ2上の角膜反射の中心は明瞳孔のそれと一致し、角膜反射の領域は明瞳孔の角膜反射の領域よりも広くなり、反射のレベルは明瞳孔の場合よりも低くなる。これらを差分した結果、図4に示す走査波形が得られることになる。
すなわち、角膜反射は、短波長用光源と長波長用光源の位置が異なるため、明瞳孔画像と暗瞳孔画像の差分によって相殺されない。その結果、図4において差分画像中に高輝度部分(短波長用光源による角膜反射)および、低輝度部分(長波長用光源による角膜反射)として残る。
図4から理解できるように、明瞳孔画像や暗瞳孔画像から角膜反射を検出するよりも、差分画像から検出したほうが閾値の設定が容易となる。これにより角膜反射検出のロバスト性が高まる。特に、被験者の周囲に明るいものが存在するときには、角膜の表面にはそれら外乱が写るため、角膜反射と区別しにくいが、差分をすることで、それら外乱は消失するため、非常に有利である。なお、角膜反射像は瞳孔像の内部(前述の例)か、ごく近傍に常に存在することと、ほぼ小さな点として写る。それに対して高輝度の眼鏡反射の領域は形状的に大きい。したがって、瞳孔の近傍の小さな点を探索することで、眼鏡反射との区別ができる。
また、図4に示すように、明瞳孔画像から暗瞳孔画像を差分したときの輝度部分布を一次元的に表現するとわかるように、瞳孔は、正の閾値で検出する。それに対して、短波長用(開口部内)光源による角膜反射を検出しようとすると、瞳孔の輝度がそれの面積にほぼ比例して変化するため、閾値設定が多少難しい面があるが、負の閾値を設定し、それにより長波長用(開口部外)光源による角膜反射像の中心(重心)を検出することで、閾値の設定が容易にでき、ロバスト性が向上する。
長波長用(開口部外)光源による角膜反射を用いた場合でも、その角膜反射を生じさせる光源がカメラの光軸上に存在するとみなすことができるため、前述した特許文献7~9に示したような視線検出などに応用できる。
【0021】
(瞳孔検出の第2の実施形態)
図2に示す瞳孔検出の第2の実施形態においては、第1のカメラと第2のカメラおよび短波長用光源の構成は、前述した第1の実施形態のそれと異ならないので、同一の数字を付して説明を省略する。ハーフミラー10の物体側に各カメラの開口に対応する円形孔を有する支持板29を設けてある。この円形孔の外周に沿って長波長用光源28を形成する長波長用の発光素子28a~を配置してある。
図中、正面図を付した矢印方向からカメラ側を見た図を正面図として示す。
この例は、長波長用発光素子28a~を14個配置した例と長波長用発光素子28j~を4個配置した例と、また、長波長用発光素子28k~を4個十字に配置した例の3例を示してある。
【0022】
短波長用光源と長波長用光源を同時に起動すると、短波長照明光はハーフミラー10で反射されて、顔を照射する。一方、長波長照明光は、直接顔に向けて発射される。顔の方からみると短波長用光源の光は、カメラの共通光軸を含む開口内から照射され、長波長用光源の光は、カメラの共通光軸から離れた開口に外接する位置から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラー10を透過し、レンズ9,8を透過し、ハーフミラー7により分離され、短波長(850nm)を含む光は、バンドパスフィルタ5を透過し、レンズ3により短波長用イメージセンサ1上に結像される。ハーフミラー10を透過してハーフミラー7により反射分離された長波長(950nm)を含む光は、バンドパスフィルタ6を透過し、レンズ4により長波長用イメージセンサ2上に結像される。
【0023】
各イメージセンサ1,2の出力は、図示しない演算回路により画素単位で差分演算が行われ、瞳孔像が検出される。このとき、角膜反射領域または反射点も前述と同様に検出可能である。
【0024】
(瞳孔検出の第3の実施形態)
図3に示す瞳孔検出の第3の実施形態においては、第1のカメラと第2のカメラの構成は、前述した第1および第2の実施形態のそれと異ならないので、同一の数字を付して説明を省略する。ハーフミラー10の下側に基板32を配置し、この基板上に図中正面図に示すように長波長用光源31を形成する長波長用の発光素子31a~を7個配置してある。この長波長用の発光素子31a~の内側に短波長用の発光素子30a~を7個配置してある。
【0025】
短波長用光源と長波長用光源を同時に起動すると、短波長用照明光と長波長用照明光は、ハーフミラー10で反射されて、顔を照射する。顔の方からみると短波長用光源の光は、カメラの共通光軸を含む開口内から照射され、長波長用光源の光は、カメラの共通光軸から離れた開口に外接する位置から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラー10を透過し、レンズ9,8を透過し、ハーフミラー7により分離され、短波長(850nm)を含む光は、バンドパスフィルタ5を透過し、レンズ3により短波長用イメージセンサ1上に結像される。ハーフミラー10を透過してハーフミラー7により反射分離された長波長(950nm)を含む光は、バンドパスフィルタ6を透過し、レンズ4により長波長用イメージセンサ2上に結像される。
【0026】
各イメージセンサ1,2の出力は、図示しない演算回路により画素単位で差分演算が行われ、瞳孔像が検出される。このとき、角膜反射領域または反射点も前述と同様に検出可能である。
【産業上の利用可能性】
【0027】
本発明による瞳孔検出装置によれば、瞳孔の検出が正確にできる。これを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させるヒューマンインターフェイスの開発の分野に利用することができる。また照明環境の極端に異なる所でも瞳孔検出が可能であるから、乗用車,トラックの運転者の視線を検出したり、眠気を検知したり、余所見運転を検出する運転援助の機器開発の産業分野にも利用できる。
【図面の簡単な説明】
【0028】
【図1】本発明による瞳孔検出装置の第1の実施形態を示す光路図である。
【図2】本発明による瞳孔検出装置の第2の実施形態を示す光路図である。
【図3】本発明による瞳孔検出装置の第3の実施形態を示す光路図である。
【図4】瞳孔像の検出と同時角膜検出の原理を説明するための波形図である。
【符号の説明】
【0029】
1 短波長用イメージセンサ
2 長波長用イメージセンサ
3,4 レンズ
5 短波長用バンドパスフィルタ
6 長波長用バンドパスフィルタ
7 ハーフミラー(またはダイクロイックミラー)
8 レンズ
9 対物レンズ
10 ハーフミラー
11 平行光
21 短波長用光源(開口部内用)
21a~21d 短波長用発光素子
23a~23d 分岐ファイバ
24 結合部(シリンドリカルレンズ)
25 照射角調整用レンズ
26 長波長用光源(開口部外用)
26a 長波長用発光素子
30 短波長用光源(開口部内用)
31 長波長用光源(開口部外用)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3