Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL > Specification

Specification :(In Japanese)瞳孔を検出する方法及び装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4452832
Publication number P2007-268026A
Date of registration Feb 12, 2010
Date of issue Apr 21, 2010
Date of publication of application Oct 18, 2007
Title of the invention, or title of the device (In Japanese)瞳孔を検出する方法及び装置
IPC (International Patent Classification) A61B   3/113       (2006.01)
FI (File Index) A61B 3/10 B
Number of claims or invention 5
Total pages 14
Application Number P2006-098512
Date of filing Mar 31, 2006
Date of request for substantive examination Mar 22, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100139000、【弁理士】、【氏名又は名称】城戸 博兒
Examiner (In Japanese)【審査官】後藤 順也
Document or reference (In Japanese)特表2006-507054(JP,A)
特開平11-056782(JP,A)
Field of search A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
Scope of claims (In Japanese)【請求項1】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出し、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を、前記鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行い、位置補正後の両画像を差分することにより、瞳孔を検出する方法。
【請求項2】
前記位置補正において移動する前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像は、瞳孔周囲に設定したウインドウ領域の画像であることを特徴とする請求項1に記載の瞳孔を検出する方法。
【請求項3】
前記位置補正は、先に撮影した画像を後に撮影した画像の位置へ移動するものであることを特徴とする請求項1又は2に記載の瞳孔を検出する方法。
【請求項4】
前記鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔を検出し、検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、前記ウインドウ内を探索することで鼻孔を検出する処理を伴うことを特徴とする請求項1~3のいずれかに記載の瞳孔を検出する方法。
【請求項5】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出する手段と、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を、前記鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔を検出する手段とを備える、瞳孔を検出する装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。
【背景技術】
【0002】
対象者の瞳孔を検出する技術は、例えば、自動車を運転中の対象者の視線や視線変化を検知することで居眠り運転を予防することや、また、対象者の瞳孔の動きによって指を用いることなくコンピュータへの入力を行う瞳孔マウスにも活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、瞳孔と角膜反射点との関係位置から対象者の視線を検出する技術を開示している。特許文献2では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献3では、瞳孔と鼻孔の位置を検出して頭部の方向を決定する技術を開示している。特許文献4では、瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。
【0003】
これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔又は暗瞳孔のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができ、瞳孔検出の低コスト化とロバスト性向上を図ることができる。
【0004】
なお、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した2つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。
【0005】
さらに、本発明者は、2つの光源での点灯を切り替えて照射を行うことなく、網膜での反射率の異なる波長の光源を同時に点灯させた状態で、対象者の顔の撮影を行い、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得て、それらの画像の差分を行う技術についての特許出願1,2をしている。
[特許文献1]特開2005-185431号公報
[特許文献2]特開2005-182247号公報
[特許文献3]特開2005-266868号公報
[特許文献4]特開2005-198743号公報
[特許出願1]特願2005-241728号
[特許出願2]特願2005-306961号
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1~4の技術では、明瞳孔撮影用の光源と暗瞳孔撮影用の2つの光源を交互に点灯して撮影することから、明瞳孔画像と暗瞳孔画像の撮影は時間差を伴っており、その間に対象者の顔が動くと、両画像における明瞳孔と暗瞳孔の位置にずれが生じることになり、画像差分によって瞳孔の位置を正確に検出できない場合がある。例えば、NTSC方式のカメラ撮影における1/30秒毎の1フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像とした場合、両画像の撮影には、1/60秒の時間差があり、その間の顔の移動によって、両画像における瞳孔の位置が重なることのない状態までにずれてしまうと、画像を差分する効果がないことになる。図12(A)に示すように、明瞳孔の画像P1と暗瞳孔の画像P2が一部ずれた場合、その重なった斜線の部分だけにしか差分の効果が現れない。これがさらにずれると、重なり部分が無くなって全く差分の効果が出ず、瞳孔検出が困難になる。また、明瞳孔、暗瞳孔撮影時のシャッターを開いている間に顔が移動すると、図12(B)のように瞳孔画像がぶれることになる。(C)のようにぶれた明瞳孔画像P1と暗瞳孔画像P2でも、一部が重なれば、斜線部分には一応の差分効果は現れる。しかし、図13に示すように、瞳孔の近くでメガネの反射等の高輝度の部分があると、その画像d1、d2は、両画像が一致していれば差分を取ることで消去されるにもかかわらず、両画像がずれていると差分をしても斜線部分のように高輝度部分として残るために瞳孔の画像P1、P2と区別が付かなくなることもある。このように、明瞳孔の画像と暗瞳孔の画像がずれると、瞳孔を精度よく検出することが困難になる。
また、特許出願1,2の技術によれば、異なる波長の光を同時に照射して、それぞれの波長による明瞳孔画像と暗瞳孔画像を同時に得ることから、時間差を生じないが、波長分離をするための設備や2つの波長での撮影用の2台のカメラが必要なことや、波長分離のための作業が必要等の問題が生じる。
【0007】
本発明は、これらの問題を解決するためになされたものであり、特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを解消して、ロバスト性の高い瞳孔の検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出し、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行い、位置補正後の両画像を差分するようにしたものである。
【0009】
本発明によれば、明瞳孔と暗瞳孔を撮影した2つの画像における鼻孔の位置のずれ量を検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。鼻孔をずれの検出のための基準とする理由は、鼻孔の場合は、まぶたによって閉じられたり明るさによって小さくなったり、めがねが存在したりする瞳孔の場合と異なり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像のそれぞれにおいて、周囲に対して暗い部分として安定的に検出することが可能で、顔を移動したときには瞳孔とほぼ同じ並行的な移動をすることから、鼻孔を利用することで、顔に検出基準のためのマーカ等を付ける必要もないためである。ここで、位置補正を行う量である鼻孔の位置のずれ量に対応する分とは、鼻孔の位置のずれ量と同じ量であってもよく、鼻孔部分のずれと瞳孔部分のずれに1対1以外の対応関係があれば、それを考慮した量であってもよい。また、位置補正のために移動してその後差分を行う画像は、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像の全体である必要はない。
【0010】
また、本発明において、位置補正において移動する明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、瞳孔周囲に設定したウインドウ領域の画像であることとする場合は、鼻孔の位置のずれに対応して位置補正をして、瞳孔検出のための解析を行う画像領域を、瞳孔周囲の必要最小限の画像領域とできることから、瞳孔検出の演算効率を高めることができる。
【0011】
また本発明において、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動するものであることとする場合は、後に撮影した画像における瞳孔が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。
【0012】
また、本発明において、鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔の位置を検出し、この検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、ウインドウ内を探索することで鼻孔を検出する処理を伴うこととする場合は、当初の鼻孔検出が容易となる。すなわち、鼻孔は一旦検出できれば、画像の差分を利用することなく安定的に検出可能であるが、顔の位置がほぼ安定している等の一定の条件においては、画像の差分を利用して瞳孔を検出する方が容易な場合があることから、その場合、検出できた瞳孔の位置を基準にして、鼻孔の位置が予想される箇所にウインドウを設定して、その領域内で鼻孔探索することが効率的である。
【0013】
また、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける鼻孔の位置のずれ量を検出する手段と、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔の位置を求める手段とを備える。
【0014】
本発明によれば、撮影手段によって明瞳孔と暗瞳孔を撮影した2つの画像における鼻孔の位置のずれ量を検出手段によって検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、鼻孔の位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を位置補正手段によって行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をすることにより瞳孔の位置を求めることができる。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔位置検出が精度よくなされる。
【発明の効果】
【0015】
本発明によれば、特段に複雑な装置や作業を要することなく、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを解消して、ロバスト性の高い瞳孔の検出方法及び装置を提供することができる。
【発明を実施するための最良の形態】
【0016】
以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。先ず、図1により、本実施形態の基本的な技術を説明する。図1(A)は、対象者の明瞳孔と暗瞳孔を撮影した画像を示す概念図である。対象者の顔を照明する近赤外線の光源として、カメラの開口に近い位置と遠い位置に配置した2つの光源を用いる。撮影手段としてNTSC方式のカメラを用いると、NTSC方式では、1秒間に30枚得られる1フレームは、奇数ラインだけの奇数フィールドと偶数ラインだけの偶数フィールドから構成されることから、奇数フィールドの画像と偶数フィールドの画像とが1/60秒の間隔で交互に得られる。そこで、奇数フィールドの撮影時にカメラの開口に近い位置の光源を点灯するようにし、偶数フィールドの撮影時にカメラの開口に遠い位置の光源を点灯するようにすると、奇数フィールドでは明瞳孔が撮影され、偶数フィールドでは暗瞳孔が撮影されることになる。
【0017】
図1(A)では、このようにして、撮影した奇数フィールドの画像において、対象者の顔1aが撮影されており、この中には明瞳孔である左右の瞳孔21a、22a、左右の鼻孔31a,32aが存在している。ここで、鼻孔31a,32aについては、ある程度位置の予測がついていれば、1つの画像からでも判別分析法などによって画像明るさを2値化して検出することができるが、瞳孔21a,22aについては、この1つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの画像における暗瞳孔である左右の瞳孔21b、22bと画像差分を行って、瞳孔を検出するのであるが、1/60秒の間に顔が1bの位置に矢印のように移動していると、明瞳孔21a,22aと暗瞳孔21b、22bとが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。
【0018】
ところが、この暗瞳孔21b、22bを撮影した画像でも鼻孔31b,31bの位置は検出できることから、2つの画像の撮影の間に鼻孔が31a,32aから31b、32bに矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔21a、22aを撮影した画像を暗瞳孔22a,22bを撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、偶数フィールドの画像位置において求められた差分画像上で、浮き彫りになってを検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図1(B)に示すように、明瞳孔21a,22aが含まれていると予測されるウインドウ41a,42a内の画像だけを、鼻孔のずれ量だけ41b、42bのように移動する補正を行って、その領域の差分を演算すればよい。
【0019】
この場合、補正値とする鼻孔のずれ量としては、左右の鼻孔のずれ量の平均値を用いても、右の鼻孔のずれ量は、右の瞳孔の位置補正に、左の鼻孔のずれ量は左の瞳孔の位置補正に用いてもよく、あるいは片方の鼻孔のずれ量を検出して、両方の瞳孔の位置補正に用いてもよい。また、鼻孔と瞳孔の移動量がほぼ等しいことが予測されている場合は、鼻孔のずれの方向とずれの値をそのまま瞳孔の位置の補正に用いてもよい。また、鼻孔の位置を容易に検出するためには、カメラの位置を下方として、鼻孔を下方側から撮影することが好ましいが、そのような撮影等を行うと、画像上での鼻孔のずれの方向とずれの値が、瞳孔の位置のずれとは完全には一致せずにある傾向を持つこともあるため、そのような傾向を考慮して位置補正を行ってもよい。また、奇数フィールドと偶数フィールドのどちらで、明瞳孔又は暗瞳孔の撮影を行ってもよい。また、画像がぶれないためには、カメラのシャッターを開口している時間は短いこと、すなわちシャッター速度が速いことが好ましい。
【0020】
図1においては、明瞳孔21a,22aを撮影した画像と次の時点での暗瞳孔21b、22bを撮影した画像を1つの単位として、これらの間の位置補正と画像差分することについて説明した。その後に続くステップにおいても、明瞳孔を撮影した画像と暗瞳孔を撮影した画像とを、1つの単位として同様に処理を行えばよい。この場合、1単位中の後の画像である例えば暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が1/30秒で得られるものなら、瞳孔の検出もその間隔でなされることになる。
【0021】
あるいは、図2に示すように、明瞳孔21a,22aを撮影した画像と次の時点での暗瞳孔21b、22bを撮影した画像との間で、前記のとおりの位置補正と画像差分の処理を行った後、次の時点の明瞳孔21c、22cを撮影した画像については、暗瞳孔21b、22bを撮影した画像との間で、鼻孔が31b、32bから31c、32cにずれた量に基づいて、位置補正と画像差分の処理を行ってもよい。この場合は、明瞳孔21c、22cの画像の位置における瞳孔が求まることになる。このように、明瞳孔と次の暗瞳孔の画像の組み合わせだけを1単位とすることなく、隣接する時点での画像同士での処理を連続的に行うと、暗瞳孔21b、22bの画像での瞳孔位置が求まった後には、次の明瞳孔21c、22cの画像での瞳孔位置、またその次の暗瞳孔の画像での瞳孔位置というように、連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像がそれぞれ、1/30秒で得られるものなら、瞳孔の位置はその倍の1/60秒間隔で得られることになる。
【0022】
次に、本実施形態の具体的例を図3以下によって説明する。この例においては、NTSC方式のカメラを用い、奇数フィールドで明瞳孔を撮影して偶数フィールドでは暗瞳孔を撮影することとする。そして、ある時点で明瞳孔を撮影した画像とその次の1/60秒後の時点で暗瞳孔を撮影した画像の2枚の画像によって1単位(1フレーム)を構成して、図1において説明したような画像処理を行って瞳孔の位置を検出し、その処理が終了すると、その処理中に既にコンピュータ中に取り込んでいた次の1フレームのデータについて画像処理を行って新たな瞳孔の位置を検出する処理を繰り返すものである。
【0023】
図3では、画像を解析する全体的な手順を示している。ステップS0においては、前のフレームの処理において、鼻孔と瞳孔が検出できていたか否かによって、現フレームのデータ解析についての処理を、ケース1~4に分けている。なお、この例では、瞳孔、鼻孔とも左右両方が検出できるかは問題にせず、片方でも検出できれば検出できたことにする。前のフレームのデータ解析の結果、瞳孔の位置が検出できていれば、S0において、フラグP=1になっており、瞳孔の位置が検出できていなければ、P=0となっている。同様に、鼻孔についても位置が検出できていなければフラグN=0であり、できていればN=1となっている。これらのフラグを識別して、以下のケース1~4に区別される。
【0024】
前のフレームにおいて、鼻孔も瞳孔も検出されていない場合は、ステップS1におけるケース1の処理が実行される。なお、この瞳孔検出作業の立ち上がり時点では、鼻孔も瞳孔も未だ検出されていないことから、このケース1の処理が実行される。ケース1の処理手順を図4に示す。ケース1の場合、ステップ11において、画像全体から瞳孔を探索する。鼻孔も瞳孔も位置が予測不明であるときは、広い画像からそれぞれの画像の明暗や大きさ、画面の左右に現れた左右瞳孔又は左右鼻孔候補の部分の位置関係等から、検出することになるが、顔が1/60秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、暗い鼻孔を検出するよりも容易である。そのため、S11では、先ず瞳孔検出を行う。この瞳孔検出は、図1において説明したような方法によって、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって2値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。なお、S11の処理では、図1で説明したずれに関する位置補正を行わないことはいうまでもない。そして、S12において、瞳孔を検出できたかどうかを判別し、できたときはフラグPを1とし、できなかった場合はP=0のままで、次のフレームのデータの解析に移る。
【0025】
次に、前のフレームで瞳孔は検出できたが鼻孔は検出できなかった場合は、ステップS2においてケース2の処理を行う。このケースは、例えば、ケース1の処理で瞳孔を検出した場合が該当する。ケース2の手順を図5に示す。前のフレームで瞳孔だけは検出できており、現在のフレームにおける瞳孔の位置もそれから大きくは変わっていない筈であるから、ステップS21では、前のフレームにおける瞳孔の位置を基準にして、それよりも下方に存在する鼻孔があると予測される周辺に図6に示すように大ウインドウ5を設定し、この領域内において、鼻孔を探索する。なお、前のフレームで左右2個の瞳孔が検出されていたときには、図6(A)のとおり、左右の瞳孔21,22の中間位置から下方に大ウインドウ5を設定する。瞳孔が1個しか検出されていなかったときには、(B)~(D)のとおり、検出された瞳孔21,22に基づいて大ウインドウ5を設定して鼻孔探索を行う。鼻孔の探索は、現フレームの明瞳孔撮影画像、暗瞳孔撮影画像の両フィールドについて同様に行う。S22で鼻孔の検出ができたか否かを判別し、検出ができていなければ、フラグN=0のままで、S24で瞳孔探索を行う。なお、ここで、鼻孔が検出できたかどうかとは、明瞳孔画像と暗瞳孔画像の差分を行う際のずれの補正の規準とする鼻孔のずれ量が検知できたことが必要であることから、現フレーム中の両フィールドの画像において鼻孔が検出されている必要がある。S24の瞳孔探索では、鼻孔のずれ量による位置の補正ができないことから、従来どおりに位置補正なしでの瞳孔検出を行う。このケースでは、前のフレームで瞳孔位置は分かっているから、その瞳孔の位置に基づいて、カルマンフィルターなどの予測モデルを用いて、現フレームにおける瞳孔の位置を予測することができる。そのため、予測された部分に図7のように小ウインドウ6を設定し、その領域内において瞳孔を探索する。
【0026】
S21で鼻孔の検出ができた場合は、S25でフラグN=1として、S26の瞳孔探索を行う。このS26の処理は、基本的には、図1で説明したものである。図1(B)において、奇数フィールドである明瞳孔撮影画像中の鼻孔31a,32aから偶数フィールドである暗瞳孔撮影画像中の鼻孔31b、32bに位置がずれた量を求め、このずれ量の分だけ明瞳孔21a、22aが存在していると予測されるウインドウ41aを暗瞳孔21b、22bが存在する筈の方に、41b、42bのように移動させる補正を行って、瞳孔の位置を一致させた上で、画像の差分を行い瞳孔を検出する。ところで、図3で説明する例では、画像の差分を取って瞳孔の位置を求める場合には、常に、奇数フィールドの明瞳孔を偶数フィールドの暗瞳孔側に移動して、偶数フィールドにおける瞳孔位置として決定している。図1(B)に示す解析すべき領域を決定するための、現フレームにおける瞳孔が含まれると予測されるウインドウは、予測の基準とするそれ以前のフレームの瞳孔位置が偶数フィールドであることから、カルマンフィルターで予測して設定するウインドウは、偶数フィールドにおけるウインドウ41b、42bの方が先に決められる。そして、偶数フィールドのウインドウ41b、42bから鼻孔のずれ量を解消する分をずらして、奇数フィールドにおけるウインドウ41a,42aを設定し、この41a,42aの領域を偶数フィールドの座標に移動してウインドウ41b、42bに重ねた上で、差分画像を求めて、瞳孔を検出するようにすればよい。S24,S26において瞳孔の位置を検出できなかった場合、S28においてフラグP=0とし、検出できた場合はS29でP=1として次のフレームの解析に移行する。
【0027】
次に、前のフレームで瞳孔も鼻孔も検出できた場合は、ステップS3においてケース3の処理を行う。ケース3の処理の手順を図8に示す。ケース3では、先ず、S31において、鼻孔の探索を行う。これは、前のフレームで鼻孔の位置が分かっていれば検出のロバスト性が高いことと、最初に鼻孔の位置を検出できれば、後の瞳孔の検出において、鼻孔のずれ量を基にした位置補正によって瞳孔を探索できるためである。この場合、前のフレームにおいて鼻孔の検出ができていることから、現フレームにおける鼻孔の探索には、図9のとおり、前フレームの鼻孔の位置に基づいて、カルマンフィルター等の予測モデルによって、現フレームにおける鼻孔位置を予測して、小ウインドウ7を鼻孔31,32周囲に設定して、その領域内で探索をする。なお、現フレームの奇数フィールドにおいて鼻孔の位置が検出できた場合、その位置データを利用して、次の偶数フィールドにおける鼻孔位置の予測を行って、小ウインドウを設定してもよい。S32で鼻孔の検出ができたか否かを判別し、できていなければS33でフラグN=0として、S34において瞳孔の探索を行う。この場合は、現フレームでは鼻孔位置が検出できないために鼻孔ずれによる位置の補正はできないが、前のフレームにおける瞳孔の位置は検出されていることから、その値を基準にカルマンフィルター等の予測モデルによって瞳孔位置を予測して、図7と同様に瞳孔用小ウインドウ6を設定して、瞳孔探索を行う。
【0028】
一方、S32において鼻孔検出ができたと判別した場合は、S35でN=1として、S36において、S26と同様の鼻孔のずれによる位置を補正して差分画像による瞳孔探索の処理を行う。S34,S36において瞳孔の検出ができなかった場合は、S38でフラグP=0とし、瞳孔の検出ができた場合はS39でP=1として、次のフレームの解析に移行する。
【0029】
次に、前のフレームで鼻孔は検出できたが、瞳孔は検出できていない場合は、ステップS4においてケース4の処理を行う。ケース4の処理の手順を図10に示す。ケース4では、先ず、S41において、鼻孔の探索を行う。前のフレームにおいて鼻孔の検出ができていることから、ステップ31と同様に現フレームにおける鼻孔の探索には、図11のとおり、前フレームの鼻孔の位置に基づいて、カルマンフィルター等の予測モデルによって、現フレームにおける鼻孔位置を予測して、小ウインドウ7を鼻孔31,32周囲に設定して、その領域内で探索をする。現フレームの奇数フィールドにおいて鼻孔の位置が検出できた場合、その位置データを利用して、次の偶数フィールドにおける鼻孔位置の予測を行って、小ウインドウを設定してよいことも、S31と同様である。S42で鼻孔の検出ができたか否かを判別し、できていなければS43でフラグN=0とし、検出できていれば、S44でN=1とする。
【0030】
S45では、瞳孔の探索を行うが、前のフレームにおいて瞳孔の位置が検出できていないことから、図11に示すように、前のフレーム(又は前のフィールド)において検出できている鼻孔の位置よりも上側に、瞳孔用の大ウインドウ8を設定して、その領域内で瞳孔を探索する。なお、前のフレームにおいて、両鼻孔が検出されているときには、図11(A)のとおり、鼻孔31,32より上の位置でかつ、両鼻孔31,32の中間位置に左右対称となる大ウインドウ8を与える。図11(B)~(D)のとおり、片側の鼻孔しか検出できていないときには、両鼻孔間は両瞳孔間に比較して大きく離れていないため、検出できている鼻孔を中心に、左右対称となる位置に大ウインドウ8を与えればよい。特に、(D)のように、対象者が横を向いているときは、普通、手前の鼻孔31しか検出できないが、このような場合でも、同様の方法で両方の瞳孔が大ウインドウ8の領域に入る。
【0031】
本実施形態によれば、鼻孔の位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、各種輸送機の運転者やコンピュータの瞳孔マウス使用者等である対象者の頭部が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。
【0032】
また、本実施形態によれば、鼻孔の位置を検出してこれを位置補正の基準としているために、顔に何らかの位置基準のためのマーカ等を施すこともなく、瞳孔が移動した位置を補正することができる。
【0033】
また、本実施形態によれば、位置の補正を行うために、移動を行う画像領域は、カルマンフィルター等の予測モデルによってウインドウを設定した領域のみであることから、瞳孔検出のための解析を行う画像領域を、瞳孔周囲の必要最小限の画像領域とできて瞳孔検出の演算効率を高めることができる。また、解析する領域が狭いことから、この領域に瞳孔に紛らわしい他の画像が入る可能性を少なくできる。さらに、このような前のフレーム又は前のフィールドの位置データに基づく予測モデルによるウインドウの設定は、鼻孔の検出や鼻孔検出による位置補正ができない場合の瞳孔検出にも使用しており、本実施形態における瞳孔検出作業の効率化と高精度化を達成している。
【0034】
また本実施形態におよれば、位置補正において先に撮影した画像を後に撮影した画像の位置に対して移動するものであることから、最新の画像における瞳孔位置を基準として、その後に続く瞳孔の検出を行うことができる。
【0035】
また、本実施形態によれば、鼻孔の位置のずれ量の検出に先立って、明瞳孔画像と暗瞳孔画像を差分することによって瞳孔の位置を検出し、この検出した瞳孔の位置を基準にして、鼻孔周囲にウインドウを設定し、ウインドウ内を探索することで鼻孔を検出する。瞳孔検出の全体作業開始時には、頭の位置がほぼ安定していることが多いことが想定されるところ、そのような条件においては、画像の差分を利用して瞳孔を検出する方が、鼻孔検出よりも容易であることから、これを先にして検出できた瞳孔の位置を基準にして、鼻孔の位置が予想される箇所にウインドウを設定して、その領域内で鼻孔探索することで効率化を達成している。
【0036】
本実施形態では、NTSC方式のカメラを使用する場合について主に説明したが、カメラは奇数フィールドと偶数フィールドに分かれることのないノンインターレース方式等のものでもよく、その場合は1フレーム毎に明瞳孔を撮影する画像と暗瞳孔を撮影する画像とすればよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、850nm程度と950nm程度の波長の異なる光源を用いると、網膜反射率が異なることから、850nm程度の光源で撮影した画像が明瞳孔で、950nm程度の光源で撮影した画像が暗瞳孔となる。
【図面の簡単な説明】
【0037】
【図1】本発明の実施形態の明瞳孔と暗瞳孔を撮影した画像の概念図である。
【図2】本発明の実施形態の明瞳孔と暗瞳孔を撮影した画像の概念図である。
【図3】本発明の実施形態の全体的処理手順を示す図である。
【図4】本発明の実施形態の一部の処理手順を示す図である。
【図5】本発明の実施形態の一部の処理手順を示す図である。
【図6】本発明の実施形態の画像処理の一部を示す図である。
【図7】本発明の実施形態の画像処理の一部を示す図である。
【図8】本発明の実施形態の一部の処理手順を示す図である。
【図9】本発明の実施形態の画像処理の一部を示す図である。
【図10】本発明の実施形態の一部の処理手順を示す図である。
【図11】本発明の実施形態画像処理の一部を示す図である。
【図12】瞳孔画像がずれた場合の説明図である。
【図13】瞳孔画像とメガネの反射部等の画像がずれた場合の説明図である。
【符号の説明】
【0038】
1‥顔、2‥瞳孔、21‥右の瞳孔、22‥左の瞳孔、3‥鼻孔、31‥右の鼻孔、32‥左の鼻孔、4‥ウインドウ、41‥右瞳孔のウインドウ、42‥左瞳孔のウインドウ、5‥鼻孔の大ウインドウ、6‥瞳孔用小ウインドウ、7‥鼻孔用小ウインドウ、8‥瞳孔用大ウインドウ
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12