Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL > Specification

Specification :(In Japanese)瞳孔を検出する方法及び装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4452836
Publication number P2008-029702A
Date of registration Feb 12, 2010
Date of issue Apr 21, 2010
Date of publication of application Feb 14, 2008
Title of the invention, or title of the device (In Japanese)瞳孔を検出する方法及び装置
IPC (International Patent Classification) A61B   3/113       (2006.01)
FI (File Index) A61B 3/10 B
Number of claims or invention 5
Total pages 15
Application Number P2006-208355
Date of filing Jul 31, 2006
Date of request for substantive examination Mar 22, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100139000、【弁理士】、【氏名又は名称】城戸 博兒
Examiner (In Japanese)【審査官】後藤 順也
Document or reference (In Japanese)特表2006-507054(JP,A)
特開平11-056782(JP,A)
Field of search A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
Scope of claims (In Japanese)【請求項1】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置を検出し、両画像の前記撮影の時点の間に顔が移動したことに伴う前記角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を移動する位置補正を行い、位置補正後の両画像を差分した後に、瞳孔を検出する方法。
【請求項2】
前記位置補正において移動する前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像は、瞳孔及び角膜反射位置を含むように設定したウインドウ領域の画像であることを特徴とする請求項1に記載の瞳孔を検出する方法。
【請求項3】
前記位置補正は、先に撮影した画像を後に撮影した画像の位置へ移動するものであることを特徴とする請求項1又は2に記載の瞳孔を検出する方法。
【請求項4】
前記位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いるものであることを特徴とする請求項1~3のいずれかに記載の瞳孔を検出する方法。
【請求項5】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置のずれ量を検出する手段と、両画像の前記撮影の時点の間に顔が移動したことに伴う前記角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を移動する位置補正を行う手段と、位置補正後の両画像を差分した後に、瞳孔を検出する手段とを備える、瞳孔を検出する装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。
【背景技術】
【0002】
対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献2では、2台のカメラと2個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。
【0003】
これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。
【0004】
このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献3では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。

【特許文献1】特開2005-182247号公報
【特許文献2】特開2005-198743号公報
【特許文献3】特開平09-251539号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、これらの瞳孔検出の技術では、明瞳孔撮影用の光源と暗瞳孔撮影用の光源を交互に点灯して撮影することから、明瞳孔画像と暗瞳孔画像の撮影は時間差を伴っており、その間に対象者の顔が動くと、両画像における明瞳孔と暗瞳孔の位置にずれが生じることになり、画像差分によって瞳孔の位置を正確に検出できない場合がある。例えば、NTSC方式のカメラ撮影における1/30秒毎の1フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像とした場合、両画像の撮影には、1/60秒の時間差があり、その間の顔の移動によって、両画像における瞳孔の位置にずれが生じる。それでも、両画像における瞳孔部分が一部分重なっていれば、その重なり部分には、両画像の差分を取った効果が現れて、重なり部分が輝度の高い箇所となって検知できる。しかしながら、この場合でも、この重なり部分を瞳孔の位置とすると、明瞳孔撮影時の瞳孔の位置とも暗瞳孔撮影時の瞳孔の位置とも異なるその中間時の位置となり、正確な瞳孔位置を表さないことになる。
【0006】
さらに、両画像における瞳孔の位置が重なることのない状態までにずれてしまうと、画像を差分する効果がないことになり、瞳孔の位置の検出が困難になる。また、瞳孔の近くでメガネの反射等の高輝度の部分があると、明瞳孔画像と暗瞳孔画像におけるそれらの高輝度部分の位置が一致していれば差分を取ることで消去されるにもかかわらず、両画像がずれていると差分をしても高輝度部分として残るために瞳孔と区別が付かなくなることもある。このように、明瞳孔を撮影した画像と暗瞳孔を撮影した画像がずれると、瞳孔を精度よく検出することが困難になる。
【0007】
そのために、本発明者は、明瞳孔を撮影した画像及び暗瞳孔を撮影した画像のそれぞれにおける鼻孔の位置を検出し、その間の鼻孔の位置のずれを顔の移動量として、そのずれの量の分だけ先の画像を後の画像の位置にずらす位置補正をした上で、両画像の差分をとって瞳孔の位置を検出する技術を開発し、特願2006-98512号として出願している。しかし、瞳孔とともに鼻孔を撮影するためには、カメラの位置を下方に設置して対象者の顔を下方から見上げる方向に撮影せざるを得ない制約がある。また、鼻孔と瞳孔の位置が離れていることから、鼻孔の移動と瞳孔の移動が必ずしも同じでないことや、鼻孔が比較的に大きいことから、両画像での精密な鼻孔の位置を特定しづらい場合も生じる。さらに、対象者の視線を検知しようとする場合は、瞳孔中心の位置と、光源からの光が角膜で反射した角膜反射位置との相対位置から視線を求めることになるため、これに加えて鼻孔の位置検出を行うと、瞳孔、角膜反射位置、鼻孔の3つの位置検出が必要となり、演算負担が大きくなる問題もある。
【0008】
本発明は、これらの問題を解決するためになされたものであり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを容易に解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置を検出し、両画像の撮影の時点の間に顔が移動したことに伴う角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を移動する位置補正を行い、位置補正後の両画像を差分するようにしたものである。
【0010】
本発明によれば、明瞳孔と暗瞳孔を撮影した2つの画像における角膜反射位置のずれ量を検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。角膜反射位置をずれの検出のための基準とすることから、瞳孔とともに角膜部の撮影ができればよいことから、鼻孔のように必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされ、顔のずれに伴う瞳孔の位置合わせの精度が高いものになる。また、ずれ検知の基準とする角膜反射位置と検出しようとする瞳孔とが極めて位置が近いことから、互いの位置の誤認の可能性が低下する。さらに、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。
【0011】
ここで、両画像の撮影の時点の間に顔が移動したことに伴う角膜反射位置のずれ量に対応する分とは、両画像における角膜反射位置のずれが、顔が移動したことによる瞳孔のずれ量とほぼ同じと考えられるときは、両画像における角膜反射位置のずれ量と同じ量とすればよい。しかし、例えば、明瞳孔撮影時と暗瞳孔撮影時の光源の構成や配置位置によっては、顔が移動しないときでも、明瞳孔を撮影した画像と暗瞳孔を撮影した画像において、角膜反射位置に一定のずれが生じることがあり、そのような場合は、顔が移動しない場合の角膜反射位置のずれ量を補正した上で、角膜反射位置のずれ量に対応する分とすることは当然である。また、位置補正のために移動して差分を行う画像は、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像の全体であっても、瞳孔周辺の一部であってもよい。
【0012】
また、本発明において、位置補正において移動する明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、瞳孔及び角膜反射位置を含むように設定したウインドウ領域の画像であることとする場合は、角膜反射位置のずれに対応して位置補正をして、瞳孔検出のための解析を行う画像領域を、瞳孔及び角膜反射位置を含む必要最小限の画像領域とできることから、瞳孔検出の演算効率を高めることができる。
【0013】
また本発明において、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動するものであることとする場合は、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。
【0014】
また、本発明において、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いるものであることとする場合は、瞳孔の検出の基準とするために求めた角膜反射位置を、検出された瞳孔の位置とともに、視線の検知に使用することができ、演算の負担をさらに少なくすることができる。また、結果的に、得られる角膜反射位置と瞳孔位置との取得時間が同一であると見なせるため、それらの中心座標から検出する視線精度も向上する。
【0015】
また、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置のずれ量を検出する手段と、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔の位置を求める手段とを備える。
【0016】
本発明の瞳孔を検出する装置によれば、撮影手段によって明瞳孔と暗瞳孔を撮影した2つの画像における角膜反射位置のずれ量を検出手段によって検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を位置補正手段によって行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をすることにより瞳孔の位置を求めることができる。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて瞳孔が周囲から浮き彫りにされ瞳孔位置検出が精度良くなされる。
【0017】
なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した2つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。
【発明の効果】
【0018】
本発明は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを容易に解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することができる。
【発明を実施するための最良の形態】
【0019】
以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。図1は、本実施形態の瞳孔検出に使用する装置の概念図である。瞳孔検出装置1には、撮影手段としてのカメラ2と光源3が含まれる。カメラ2としては、NTSC方式のCCDカメラを用いることができる。NTSC方式では、1秒間に30枚得られる1フレームは、奇数ラインだけの奇数フィールドと偶数ラインだけの偶数フィールドから構成されることから、奇数フィールドの画像と偶数フィールドの画像とが1/60秒の間隔で交互に得られる。対象者の顔を照明する近赤外線の光源3は、カメラの開口(又は開口の延長部分)21の周囲の近い位置にリング状に配置した多数のLEDから構成するリング状光源31と、カメラの開口21から遠い位置にリング状光源31の外周に配置した多数のLEDから構成するリング状光源32からなる。LEDから発光される光は、例えば850nm程度の近赤外線としておくことで、照明を受ける対象者の瞳孔の収縮等の影響を与えない。カメラ2の奇数フィールドの撮影時にカメラの開口21に近い位置の光源31を点灯するようにし、偶数フィールドの撮影時にカメラの開口21から遠い位置の光源32を点灯するようにすると、奇数フィールドでは明瞳孔が撮影され、偶数フィールドでは暗瞳孔が撮影されることになる。
【0020】
撮影手段の制御と撮影された画像の解析には、コンピュータ4を用いている。明瞳孔画像と暗瞳孔画像は、60分の1秒ごとに交互に撮影されるが、それぞれの画像の撮影時にシャッターが長く開いていると、その間の顔の移動によってぶれが生じることから、シャッター速度は、例えば2000分の1秒程度以下の短い時間にすることが望ましい。そのため、奇数フィールドの撮影時と偶数フィールドの撮影時のそれぞれにおいて、シャッターが開いている期間に合わせて、光源31と光源32を点灯させるように制御する。図1の例では、カメラ2からのビデオ信号によって、奇数フィールド,偶数フィールドの判定を行う。次に、奇数、偶数フィールド信号発生回路5からの信号によって、ファンクションシンセサイザ6から、それぞれのフィールドの開始からの遅延信号を発生させて、シャッターが開く時刻に合わせて、ストロボ調光ユニット7によって、光源31,32を発光させる。
【0021】
次に、図2により、瞳孔Pと角膜反射位置Cについて説明する。カメラ2によって撮影された瞳孔Pについては、カメラ開口21に近い光源31からの光による照明では、網膜で反射してカメラ開口21に入射することから、撮影された瞳孔Pは明瞳孔となり、カメラ開口21から遠い光源32からの照明では、網膜で反射した光がカメラ開口21に入射しないことから、暗瞳孔となる。そして、明瞳孔と暗瞳孔のそれぞれの画像からは、瞳孔Pを検出することが困難であるが、これらを重ね合わせて、明瞳孔画像から暗瞳孔画像を輝度によって差し引くと、瞳孔Pを浮き彫りにして検出することができる。一方、角膜反射位置Cは、各光源31,32からの光が、ほぼ球面状をなす角膜で反射してカメラ開口21に入射した場合の、角膜での反射点の位置を表している。この角膜反射位置Cは、面積では瞳孔Pよりも小さなものであるが、輝度が高く、明瞳孔画像と暗瞳孔画像のそれぞれ単独の画像においても、識別可能である。
【0022】
また、光源31と光源32は、ともにリング状でその中心が同じであることから、どちらの光源によって撮影した場合でも、顔の移動や視線の移動がなければ、角膜反射位置Cは同じ箇所に現れる。なお、このようなリング状の光源を用いず、カメラ開口21から近い位置と遠い位置に2つの光源を設けた場合には、顔の移動も視線の移動もない場合であっても、角膜反射位置Cは異なった箇所に現れることになるため、後述する瞳孔検出のための位置補正においては、さらにこの初期的な位置ずれを補正しておく必要がある。
【0023】
ここで、撮影された時点の対象者の視線ベクトルと、カメラ-瞳孔中心Paのベクトルとの関係については、前記特許文献2に詳述しているため、ここでは簡単に述べると、視線ベクトルと、カメラ-瞳孔中心Paのベクトルのなす角度は、瞳孔中心Paと角膜反射位置Cの間隔と線形関係にあり、視線ベクトルの、カメラ-瞳孔中心Paベクトルの周りにおける水平面からの角度は、瞳孔中心Paと角膜反射位置Cとを結ぶ直線が水平面となす角度φと等しい。例えば、視線がカメラの開口21を向いているときは、角膜反射位置Cが瞳孔中心Paと一致する。このように、瞳孔中心Paと角膜反射位置Cの座標が分かれば、視線を検知することができ、また、左右の視線から視点を検知することもできる。なお、角膜反射位置Cは、瞳孔Pに重なって撮影される場合もあるが、以下の図では、見易いように、角膜反射位置Cは、瞳孔Pから外れた場所に図示をする。
【0024】
図3により、本実施形態の瞳孔検出に関する基本的な考え方を説明する。図3は、対象者の明瞳孔と暗瞳孔を交互に撮影する60分の1秒の間に、顔がF1からF2に移動し、次の60分の1秒の間にF2からF3に移動し、さらに次の60分の1秒の間にF3からF4に移動した場合の概念図である。なお、左右の目とも同様の検出を行うが、簡単のために、右目だけについて説明する。奇数フィールドの画像において、明瞳孔P1と角膜反射位置C1を含む明瞳孔画像1が得られている。ここで、角膜反射位置C1は、ある程度位置の予測がついていれば、1つの画像からでも判別分析法などによって画像明るさを2値化して検出することができるが、瞳孔P1については、この1つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの暗瞳孔画像2における暗瞳孔P2と画像差分を行って、瞳孔を検出するのであるが、1/60秒の間に顔がF1からF2の位置に矢印のように移動していると、明瞳孔P1と暗瞳孔P2とが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。
【0025】
ところが、この暗瞳孔画像2でも角膜反射位置C2の位置は検出できることから、2つの画像の撮影の間に角膜反射位置がC1からC2に矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔P1を撮影した画像を暗瞳孔P2を撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、後に撮影された偶数フィールドの画像位置である差分画像上で、浮き彫りになって検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図に示すように、瞳孔が含まれていると予測される部分にウインドウW1、W2を取り、明瞳孔P1のウインドウW1の画像を暗瞳孔P2のウインドウW2の画像に、角膜反射位置のずれ量だけ移動する補正を行って、その領域の差分を演算すればよい。
【0026】
なお、図2において説明したことから理解できるように、顔がF1からF2に移動する間に、カメラ2と瞳孔中心Paのベクトルを基準として、視線のベクトルが変わらない場合、すなわち対象者の視線に変化がなければ、F1での角膜反射位置C1と瞳孔P1の中心との位置関係と、F2での角膜反射位置C2と瞳孔P2の中心の位置関係とは相対的に同じであることから、C1からC2へのずれ量は瞳孔のP1からP2へのずれ量と全く同じ量となって、完全な位置補正ができる。ただし、対象者の視線に変化がある場合でも、顔の移動に対して角膜反射位置と瞳孔中心間の相対位置の変化が小さいことから、瞳孔検出のための十分な位置補正となり得る。
【0027】
図3において、明瞳孔画像1と暗瞳孔画像2との間で顔の移動に伴う位置補正を行って、瞳孔の検出を行った後は、同じ作業を明瞳孔画像3と暗瞳孔画像4との間で行えばよい。この場合、1フレーム単位中の後の画像である暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が1/30秒間隔で得られるものなら、瞳孔の検出もその間隔でなされることになる。あるいは、図3において、明瞳孔画像1と暗瞳孔画像2との間での位置補正と瞳孔検出処理と、明瞳孔画像3と暗瞳孔画像4との間の位置補正と瞳孔検出処理との間に、さらに、暗瞳孔画像2と明瞳孔画像3との間で、角膜反射位置がC2からC3にずれた量に基づいて、明瞳孔画像3における角膜反射位置C3を基準として暗瞳孔画像2のウインドウW2を明瞳孔画像3のウインドウW3に移動させる位置補正と明瞳孔画像3から暗瞳孔画像2を差し引く画像差分による瞳孔検出処理を行ってもよい。このように、隣接する各画像間での連続的な処理を行う場合は、暗瞳孔画像2での瞳孔位置が求まった後には、次の明瞳孔画像3での瞳孔位置、またその次の暗瞳孔画像4での瞳孔位置というように、最新の瞳孔位置を連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像の間隔が1/60秒で得られるものなら、瞳孔の位置も同じ間隔で得られることになる。
【0028】
次に、本実施形態において、瞳孔を検出する具体的な手順を、図4,5によって説明する。瞳孔検出作業の立ち上がり時点では、角膜反射位置も瞳孔も未だ検出されていないことから、かなり広い画像から瞳孔又は角膜反射位置を探索しなければならない。その場合、顔が1/60秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、面積の小さな角膜反射位置を検出するよりも容易である。そのため、顔がほとんど移動しないという条件の下で、先ず瞳孔検出を行う。この瞳孔検出は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって2値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。
【0029】
角膜反射位置は瞳孔の近傍や瞳孔に重なる場所にあることから、検出された瞳孔の位置によって角膜反射位置が存在すると予測される範囲にウインドウを設けることができる。角膜反射点は輝度が高いことから、ウインドウ内の画像において、Pタイル法などによって輝度の閾値を決定し、2値化を行うことで、角膜反射位置を探索することができる。図4(A)に示すように、明瞳孔画像において、ウインドウWC1内の画像に前記処理を施すことで角膜反射位置C1の位置座標を決定できる。なお、この際に、ウインドウWC1内での角膜反射と考えられる最大輝度の部分に、さらに小さな例えば縦横10画素程度のウインドウを設けて、その中で、2値化を行って角膜反射に相当する画素を特定して、それらの画素の輝度と座標を用いて輝度重心を求めることにより角膜反射位置C1の決定を行ってもよい。前の時点で角膜反射位置が求まっていれば、次の時点の角膜反射位置は、カルマンフィルターなどの予測モデルによって、予測可能なことからその予測される範囲に次のウインドウを設けることができる。そして、そのウインドウ内の画像に前記の処理を行って、角膜反射位置を決定することができる。
【0030】
図4は、先の時点の明瞳孔画像(A)において、角膜反射位置C1を探索するためのウインドウWC1が設けられ、また、その後の暗瞳孔画像(B)において角膜反射位置C2を探索するためのウインドウWC2が設けられたことを示している。そして、それぞれの角膜反射位置C1,C2の位置座標が決定されると、その差をとることで、両画像の撮影時の間における顔の移動量を求めることができる。
【0031】
次に、図5のとおり、後の時点の暗瞳孔画像(B)において、暗瞳孔が含まれていると予測される部分に暗瞳孔探索のためのウインドウWP2を設ける。なお、このウインドウWP2は、図4におけるウインドウWC2と同じでもよい。この暗瞳孔画像における角膜反射位置C2の座標に先の時点の明瞳孔画像(A)の角膜反射位置C1の座標が一致し、かつ暗瞳孔画像(B)の角膜反射位置C2とウインドウWP2との関係位置と同じになるように、角膜反射位置C1との位置関係でウインドウWP1を明瞳孔画像(A)に設ける。これによって、先の時点の明瞳孔画像(A)を、角膜反射位置がずれた分だけずれを解消するように、後の時点の暗瞳孔画像(B)に一致させることができる。このような位置補正を行った後に、明瞳孔画像(A)から暗瞳孔画像(B)の輝度を差し引く差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することができる。瞳孔の中心座標を求める場合は、例えばモーメント法などで輝度重心を演算することで決定することができる。決定された瞳孔位置と既に分かっている角膜反射位置の座標から、前記のとおり、対象者の視線を求めることもできる。
【0032】
本実施形態によれば、角膜反射位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、対象者の顔が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置がほぼ一致した状態で差分されて周囲から浮き彫りにされ、瞳孔検出がロバスト性と精度がよくなされる。
【0033】
また、本実施形態によれば、角膜反射位置を検出してこれを位置補正の基準としているために、鼻孔を基準とするような場合に比べて、必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされることから、顔のずれに伴う瞳孔の位置合わせの精度が高いものになり、さらに、互いの位置の誤認の可能性が低下する。また、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。
【0034】
また、解析を行う領域は、ウインドウを設定した画像領域とすることで、瞳孔検出の演算効率を高めることができる。また、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動することにより、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。さらに、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いることもでき、その場合は、演算の負担をさらに少なくすることができる。
【0035】
本実施形態では、奇数フィールドにおいて明瞳孔を撮影し、偶数フィールドにおいて暗瞳孔を撮影したが、この逆であってもよい。また、カメラについては、NTSC方式のカメラを使用する場合について主に説明したが、カメラは奇数フィールドと偶数フィールドに分かれることのないノンインターレース方式等のものでもよく、その場合は1フレーム毎に明瞳孔と暗瞳孔のそれぞれを撮影する画像とすればよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、850nm程度と950nm程度の波長の異なる光源を用いると、網膜反射率が異なることから、850nm程度の光源で撮影した画像が明瞳孔で、950nm程度の光源で撮影した画像が暗瞳孔となる。
【実施例1】
【0036】
本実施形態に沿って行った実験結果について、以下、説明する。実験は、図1の装置によって行った。対象者とカメラ2の距離を約70cmとし、対象者は、約60cm離れたディスプレイ上の指標に視線を固定しつつ、頭を左右に動かした。そのときの動画を100フレーム分撮影し、各フレームにおける奇数フィールドと偶数フィールドの画像を差分して瞳孔中心を求めた。その際に、本発明の実施例として角膜反射位置による位置補正を行った場合と、比較例としての位置補正を行わなかった場合との比較をした。図6は、1つのフレームにおける縦横40画素のウインドウ内の差分画像である。位置補正を行わなかった差分画像(A)においては、角膜反射位置Cが明瞳孔画像と暗瞳孔画像で一致していないことから、差分画像において輝度の高い箇所として残っており、瞳孔Pも明瞳孔画像と暗瞳孔画像で完全に重なっていないことから輪郭がかすんでいる。それに対して、位置補正を行った差分画像(B)においては、明瞳孔画像と暗瞳孔画像の角膜反射位置Cどうしが重なっていることから、高い輝度であっても輝度が相殺しており、瞳孔Pも明瞳孔画像と暗瞳孔画像が重なっていることから、比較的明確になっている。
【0037】
図7は、求めた瞳孔中心のX座標(水平方向座標)を縦軸に取り、横軸には1番目のフレームから100番目のフレームまでを取っており、瞳孔中心座標の時間変化を示している。位置補正をしなかった場合は、位置補正を行った場合に比べて位相が遅れている。これは、位置補正において、前記のとおり、時間的に後のフィールドの画像に先のフィールドの画像を一致させるようにしているために、後のフィールドにおける瞳孔中心が求められているのに対し、位置補正なしの場合は、明瞳孔画像と暗瞳孔画像における瞳孔の位置に差があれば、その一部重なる部分は両画像の中間的な位置になること、あるいは重なりのない部分については、暗瞳孔があまり暗くないのに対して明瞳孔が非常に明るいこと等に起因すると考えられる位相の遅れが生じている。しかし、一般には、明瞳孔があまり明るくないのに対して暗瞳孔が非常に暗いという場合もあり、検出される瞳孔中心座標は、不確定な位相遅れを生じることになることが容易に予想できる。
【0038】
図8は、瞳孔中心と角膜反射位置の中心との相対座標の時間変化を示している。この実験では、対象者は頭を動かしても視線は変えていないために、瞳孔中心と角膜反射位置中心の相対座標は、ほぼ一定のはずである。位置補正を行った場合は、そのとおりに、ほぼ一定を示しているが、補正を行わなかった場合は、頭の動きに伴って大きく変化している。このことは、視線検出を行ったとすると視線が動いていないにもかかわらず、動いたと判断されてしまうことになる。
以上のとおり、本実施例により、顔が移動する場合において、角膜反射位置による位置補正を行って、瞳孔の位置を検出する本発明の有効性が確認できた。
【図面の簡単な説明】
【0039】
【図1】本発明の実施形態の瞳孔検出のための装置を示す概念図である。
【図2】瞳孔中心と角膜反射位置についての説明図である。
【図3】本発明の実施形態の基本的な概念を示す図である。
【図4】本発明の実施形態での角膜反射位置の探索を示す図である。
【図5】本発明の実施形態での瞳孔の探索を示す図である。
【図6】本発明の実施例及び比較例での差分画像の一例を示す図である。
【図7】本発明の実施例及び比較例での瞳孔中心の時間変化を示す図である。
【図8】本発明の実施例及び比較例での瞳孔中心と角膜反射位置の相対座標の時間変化を示す図である。
【符号の説明】
【0040】
1‥瞳孔検出装置、2‥カメラ、21‥カメラの開口中心、3‥光源、31‥カメラ開口に近い光源、32‥カメラ開口から遠い光源、4‥コンピュータ、5‥奇数偶数フィールド信号発生回路、6‥ファンクションシンセサイザ、7‥ストロボ調光ユニット、P‥瞳孔、C‥角膜反射位置
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7