Top > Search of Japanese Patents > METHOD AND DEVICE FOR DETECTING PUPIL > Specification

Specification :(In Japanese)瞳孔を検出する方法及び装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4452835
Publication number P2008-029701A
Date of registration Feb 12, 2010
Date of issue Apr 21, 2010
Date of publication of application Feb 14, 2008
Title of the invention, or title of the device (In Japanese)瞳孔を検出する方法及び装置
IPC (International Patent Classification) A61B   3/113       (2006.01)
FI (File Index) A61B 3/10 B
Number of claims or invention 4
Total pages 19
Application Number P2006-208338
Date of filing Jul 31, 2006
Date of request for substantive examination Mar 22, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
Examiner (In Japanese)【審査官】後藤 順也
Document or reference (In Japanese)特開平11-056782(JP,A)
特開2005-182247(JP,A)
特開平02-122769(JP,A)
特開2000-216997(JP,A)
Field of search A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
医学中央雑誌WEB
Scope of claims (In Japanese)【請求項1】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、
ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成するステップと、
前記フレーム中の奇数番目又は偶数番目の画素ラインで構成される第1画素ライン群における隣接画素ラインを抽出して、前記隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するステップと、
前記フレーム中の第1画素ライン群を除いた残りの画素ラインで構成される第2画素ライン群のうちの、前記隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、前記平均画素ライン上の対応する位置の画素の輝度とを差分するステップと、
を備えることを特徴とする瞳孔を検出する方法。
【請求項2】
前記平均画素ラインと前記隣接画素ラインのうちの1つとの間の輝度平均をとって、再平均画素ラインとして算出するステップを更に備え、
前記平均画素ライン及び前記再平均画素ラインを含む画像に基づいて瞳孔を検出することを特徴とする請求項1に記載の瞳孔を検出する方法。
【請求項3】
前記明瞳孔画像又は前記暗瞳孔画像を用いて角膜反射位置を検出し、前記角膜反射位置及び検出された瞳孔の位置を、視線の検知に用いるものであることを特徴とする請求項1又は2に記載の瞳孔を検出する方法。
【請求項4】
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、
ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成する撮像手段と、
前記フレーム中の奇数番目又は偶数番目の画素ラインで構成される第1画素ライン群における隣接画素ラインを抽出して、前記隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するとともに、前記フレーム中の第1画素ライン群を除いた残りの画素ラインで構成される第2画素ライン群のうちの、前記隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、前記平均画素ライン上の対応する位置の画素の輝度とを差分する処理手段と、
を備える瞳孔を検出する装置。

Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。
【背景技術】
【0002】
対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献1では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献2では、2台のカメラと2個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。
【0003】
これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。
【0004】
このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献3では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。

【特許文献1】特開2005-182247号公報
【特許文献2】特開2005-198743号公報
【特許文献3】特開平09-251539号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、これらの瞳孔検出の技術においては、奇数フィールドと偶数フィールドとを交互に走査させた画像を生成するインターレース方式が多く用いられる。この場合、明瞳孔画像と暗瞳孔画像とは、奇数フィールドと偶数フィールドとして得られる。例えば、NTSC方式のカメラ撮影においては、1/30秒毎の1フレームを構成する奇数フィールドと偶数フィールドとが、それぞれ明瞳孔画像と暗瞳孔画像となり、両画像の撮影タイミングには1/60秒の時間差が生じるとともに、両画像の画素ラインは交互に一定の間隔で並ぶことになる。従って、明瞳孔画像と暗瞳孔画像の差分から瞳孔を検出すると、位置が異なる画素を差分することになってしまい、例えば、顔の輪郭や眼鏡の淵のような輝度が変化する箇所の差分が大きくなる。このような場合、その箇所を瞳孔として誤って検出する可能性があり、瞳孔を精度よく検出することが困難になる。
【0006】
本発明は、これらの問題を解決するためになされたものであり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分をとる際の位置ずれを解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成するステップと、フレーム中の奇数番目又は偶数番目の画素ラインで構成される第1画素ライン群における隣接画素ラインを抽出して、隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するステップと、そのフレーム中の第1画素ライン群を除いた残りの画素ラインで構成される第2画素ライン群のうちの当該隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、平均画素ライン上の対応する位置の画素の輝度とを差分するステップとを備える。
【0008】
或いは、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、ある時点に明瞳孔を撮影した明瞳孔画像と、その後の時点又はその前の時点に暗瞳孔を撮影した暗瞳孔画像とを、フレーム中の画素ラインに交互に並ぶように生成する撮像手段と、フレーム中の奇数番目又は偶数番目の画素ラインで構成される第1画素ライン群における隣接画素ラインを抽出して、隣接画素ライン間の輝度平均をとって平均画素ラインとして算出するとともに、そのフレーム中の第1画素ライン群を除いた残りの画素ラインで構成される第2画素ライン群のうちの当該隣接画素ライン間の位置に相当する画素ライン上の画素の輝度と、平均画素ライン上の対応する位置の画素の輝度とを差分する処理手段とを備える。
【0009】
本発明によれば、明瞳孔画像とそれとは時間的にずれた暗瞳孔画像とが、フレーム中の奇数フィールドと偶数フィールドとに分離して生成され、その奇数フレーム又は偶数フレームのいずれかである第1画素ライン群中の隣接画素ライン間の平均画素ラインが生成される。さらに、その平均画素ラインと、第2画素ライン群中の平均画素ラインと同じ位置に相当する画素ラインとの差分がとられ、その差分をもとに瞳孔の位置が検出される。なお、ここでいう「フレーム」とは、カメラから直接取得される1画像に限られず、その1画像の中に設定されたウインドウをも含む概念であり、「奇数フィールド」とは、フレーム画像のうち、奇数番目の画素ラインからなる集合体のことを指し、「偶数フィールド」とは、フレーム画像のうち、偶数番目の画素ラインからなる集合体のことを指す。これにより、明瞳孔画像と暗瞳孔画像との差分をとる位置における画素のずれが無いため、画像中に顔の輪郭や眼鏡の淵等の輝度が大きく変化する箇所が存在した場合であっても、その箇所の差分値が大きくなることを防止できる。従って、インターレース方式の撮影によって瞳孔を検出する際にも、誤った箇所を瞳孔として検出することを防止して、ロバスト性と精度の高い瞳孔の検出を実現することができる。
【0010】
本発明において、平均画素ラインと隣接画素ラインのうちの1つとの間の輝度平均をとって、再平均画素ラインとして算出するステップを更に備え、平均画素ライン及び再平均画素ラインを含む画像に基づいて瞳孔を検出することが好ましい。この場合、フレームの画像をさらに細密化することによって、瞳孔の検出精度の向上及び高分解能化を図ることができる。
【0011】
また、本発明において、明瞳孔画像又は暗瞳孔画像を用いて角膜反射位置を検出し、角膜反射位置及び検出された瞳孔の位置を、視線の検知に用いるものであることも好ましい。こうすれば、瞳孔の検出精度が高くなるとともに、画像の細密化により角膜反射位置の検出精度も向上するので、これらの結果を視線の検知に利用することで、正確な視線検知が可能になる。また、瞳孔及び角膜反射位置の検出を同時に行うことができ、処理効率が向上する。
【0012】
なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した2つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。
【発明の効果】
【0013】
本発明は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の差分をとる際の位置ずれを解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することができる。
【発明を実施するための最良の形態】
【0014】
以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。図1は、本実施形態の瞳孔検出に使用する装置の概念図である。瞳孔検出装置1には、撮影手段としてのカメラ2と光源3が含まれる。カメラ2としては、インターレース方式の1つであるNTSC方式のCCDカメラを用いることができる。NTSC方式では、1秒間に30枚得られる1フレームは、奇数番目の画素ラインで構成される奇数フィールド(第1画素ライン群)と奇数フィールドを除く偶数番目の画素ラインで構成される偶数フィールド(第2画素ライン群)から構成され、奇数フィールドの画像と偶数フィールドの画像とが1/60秒の間隔で交互に撮影される。具体的には、1フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。対象者の顔を照明する近赤外線の光源3は、カメラの開口(又は開口の延長部分)21の周囲の近い位置にリング状に配置した多数のLEDから構成するリング状光源31と、カメラの開口21から遠い位置にリング状光源31の外周に配置した多数のLEDから構成するリング状光源32からなる。LEDから発光される光は、例えば850nm程度の近赤外線としておくことで、照明を受ける対象者の瞳孔の収縮等の影響を与えない。カメラ2の奇数フィールドの撮影時にカメラの開口21に近い位置の光源31を点灯するようにし、偶数フィールドの撮影時にカメラの開口21から遠い位置の光源32を点灯するようにすると、奇数フィールドではある時点の明瞳孔が撮影され、偶数フィールドではある時点から1/60秒前又は1/60秒後の暗瞳孔が撮影されることになる。
【0015】
撮影手段の制御と撮影された画像の解析には、コンピュータ(処理手段)4を用いている。明瞳孔画像と暗瞳孔画像は、60分の1秒ごとに交互に撮影されるが、それぞれの画像の撮影時にシャッターが長く開いていると、その間の顔の移動によってぶれが生じることから、シャッター速度は、例えば2000分の1秒程度以下の短い時間にすることが望ましい。そのため、奇数フィールドの撮影時と偶数フィールドの撮影時のそれぞれにおいて、シャッターが開いている期間に合わせて、光源31と光源32を点灯させるように制御する。図1の例では、カメラ2からのビデオ信号によって、奇数フィールド,偶数フィールドの判定を行う。次に、奇数、偶数フィールド信号発生回路5からの信号によって、ファンクションシンセサイザ6から、それぞれのフィールドの開始からの遅延信号を発生させて、シャッターが開く時刻に合わせて、ストロボ調光ユニット7によって、光源31,32を発光させる。以下に説明する奇数フィールド及び偶数フィールドからなるフレーム画像に関するデータ処理は、コンピュータ4によって実行される。
【0016】
次に、図2により、瞳孔Pと角膜反射位置Cについて説明する。カメラ2によって撮影された瞳孔Pについては、カメラ開口21に近い光源31からの光による照明では、網膜で反射してカメラ開口21に入射することから、撮影された瞳孔Pは明瞳孔となり、カメラ開口21から遠い光源32からの照明では、網膜で反射した光がカメラ開口21に入射しないことから、暗瞳孔となる。そして、明瞳孔と暗瞳孔のそれぞれの画像からは、瞳孔Pを検出することが困難であるが、これらを重ね合わせて、明瞳孔画像から暗瞳孔画像を輝度によって差し引くと、瞳孔Pを浮き彫りにして検出することができる。一方、角膜反射位置Cは、各光源31,32からの光が、ほぼ球面状をなす角膜で反射してカメラ開口21に入射した場合の、角膜での反射点の位置を表している。この角膜反射位置Cは、面積では瞳孔Pよりも小さなものであるが、輝度が高く、明瞳孔画像と暗瞳孔画像のそれぞれ単独の画像においても、識別可能である。
【0017】
また、光源31と光源32は、ともにリング状でその中心が同じであることから、どちらの光源によって撮影した場合でも、顔の移動や視線の移動がなければ、角膜反射位置Cは同じ箇所に現れる。なお、このようなリング状の光源を用いず、カメラ開口21から近い位置と遠い位置に2つの光源を設けた場合には、顔の移動も視線の移動もない場合であっても、角膜反射位置Cは異なった箇所に現れることになるため、後述する瞳孔検出のための位置補正においては、さらにこの初期的な位置ずれを補正しておく必要がある。
【0018】
ここで、撮影された時点の対象者の視線ベクトルと、カメラ-瞳孔中心Paのベクトルとの関係については、前記特許文献2に詳述しているため、ここでは簡単に述べると、視線ベクトルと、カメラ-瞳孔中心Paのベクトルのなす角度は、瞳孔中心Paと角膜反射位置Cの間隔と線形関係にあり、視線ベクトルの、カメラ-瞳孔中心Paベクトルの周りにおける水平面からの角度は、瞳孔中心Paと角膜反射位置Cとを結ぶ直線が水平面となす角度φと等しい。例えば、視線がカメラの開口21を向いているときは、角膜反射位置Cが瞳孔中心Paと一致する。このように、瞳孔中心Paと角膜反射位置Cの座標が分かれば、視線を検知することができ、また、左右の視線から視点を検知することもできる。なお、角膜反射位置Cは、瞳孔Pに重なって撮影される場合もあるが、以下の図では、見易いように、角膜反射位置Cは、瞳孔Pから外れた場所に図示をする。
【0019】
図3により、本実施形態の瞳孔検出に関する基本的な考え方を説明する。図3は、対象者の明瞳孔と暗瞳孔を交互に撮影する60分の1秒の間に、顔がF1からF2に移動し、次の60分の1秒の間にF2からF3に移動し、さらに次の60分の1秒の間にF3からF4に移動した場合の概念図である。なお、左右の目とも同様の検出を行うが、簡単のために、右目だけについて説明する。奇数フィールドの画像において、明瞳孔P1と角膜反射位置C1を含む明瞳孔画像1が得られている。ここで、角膜反射位置C1は、ある程度位置の予測がついていれば、1つの画像からでも判別分析法などによって画像明るさを2値化して検出することができるが、瞳孔P1については、この1つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの暗瞳孔画像2における暗瞳孔P2と画像差分を行って、瞳孔を検出するのであるが、1/60秒の間に顔がF1からF2の位置に矢印のように移動していると、明瞳孔P1と暗瞳孔P2とが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。
【0020】
ところが、この暗瞳孔画像2でも角膜反射位置C2の位置は検出できることから、2つの画像の撮影の間に角膜反射位置がC1からC2に矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔P1を撮影した画像を暗瞳孔P2を撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、後に撮影された偶数フィールドの画像位置である差分画像上で、浮き彫りになって検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図に示すように、瞳孔が含まれていると予測される部分にウインドウW1、W2を取り、明瞳孔P1のウインドウW1の画像を暗瞳孔P2のウインドウW2の画像に、角膜反射位置のずれ量だけ移動する補正を行って、その領域の差分を演算すればよい。
【0021】
ここで、位置補正後のウインドウW1とウインドウW2との画像差分を行う際には、ウインドウW1内の奇数フィールドに明瞳孔P1が、ウインドウW2内の偶数フィールドに暗瞳孔P2が現れるため、そのまま差分したのでは、差分対象の画素ラインに位置ずれが生じているため精度の高い瞳孔の検出が困難である。この場合は、図4に示すように、ウインドウW1の奇数フィールドにおける隣接画素ラインを抽出して、その隣接画素ライン間の輝度平均をとって平均画素ラインを算出して、その平均画素ラインと、ウインドウW2の偶数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとればよい(平均差分法)。具体的には、ウインドウW1が画素ラインOdd1,Odd2,…Oddkからなり、ウインドウW2が画素ラインEven1,Even2,…Evenkからなる場合を考える。ウインドウW1の2つの隣接画素ラインOdd1,Odd2を順に抽出し、その2つの画素ラインの平均をとって平均画素ラインAve1,Ave2,…Avek-1を算出することができる。そして、平均画素ラインAve1,Ave2,…Avek-1と、ウインドウW2内でその画素ラインと同じ位置に相当する画素ラインEven1,Even2,…Evenk-1との差分を、それぞれの画素ライン上の対応する画素の輝度を引き算することにより計算して、差分画素ラインDif1,Dif2,…,Difkからなる差分ウインドウWdを得ることができる。この差分ウインドウWdに基づいて瞳孔を検出することで、上記の位置ずれの問題が生じなくなる。同様にして、ウインドウW2においても平均画素ラインを算出して、その平均画素ラインと、ウインドウW1内の当該平均画素ラインと同じ位置の画素ラインとの差分をとれば、高精度での瞳孔検出が行える。
【0022】
なお、図2において説明したことから理解できるように、顔がF1からF2に移動する間に、カメラ2と瞳孔中心Paのベクトルを基準として、視線のベクトルが変わらない場合、すなわち対象者の視線に変化がなければ、F1での角膜反射位置C1と瞳孔P1の中心との位置関係と、F2での角膜反射位置C2と瞳孔P2の中心の位置関係とは相対的に同じであることから、C1からC2へのずれ量は瞳孔のP1からP2へのずれ量と全く同じ量となって、完全な位置補正ができる。ただし、対象者の視線に変化がある場合でも、顔の移動に対して角膜反射位置と瞳孔中心間の相対位置の変化が小さいことから、瞳孔検出のための十分な位置補正となり得る。
【0023】
図3において、明瞳孔画像1と暗瞳孔画像2との間で顔の移動に伴う位置補正を行って、瞳孔の検出を行った後は、同じ作業を明瞳孔画像3と暗瞳孔画像4との間で行えばよい。この場合、1フレーム単位中の後の画像である暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が1/30秒間隔で得られるものなら、瞳孔の検出もその間隔でなされることになる。あるいは、図3において、明瞳孔画像1と暗瞳孔画像2との間での位置補正と瞳孔検出処理と、明瞳孔画像3と暗瞳孔画像4との間の位置補正と瞳孔検出処理との間に、さらに、暗瞳孔画像2と明瞳孔画像3との間で、角膜反射位置がC2からC3にずれた量に基づいて、明瞳孔画像3における角膜反射位置C3を基準として暗瞳孔画像2のウインドウW2を明瞳孔画像3のウインドウW3に移動させる位置補正と明瞳孔画像3から暗瞳孔画像2を差し引く画像差分による瞳孔検出処理を行ってもよい。この場合、明瞳孔画像3と暗瞳孔画像2との画像差分をとる場合にも、平均差分法を用いてもよい。具体的には、ウインドウW2の偶数フィールドにおける隣接画素ラインを抽出して、その隣接画素ライン間の輝度平均をとって平均画素ラインを算出して、その平均画素ラインと、ウインドウW3の奇数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとる。このように、隣接する各画像間での連続的な処理を行う場合は、暗瞳孔画像2での瞳孔位置が求まった後には、次の明瞳孔画像3での瞳孔位置、またその次の暗瞳孔画像4での瞳孔位置というように、最新の瞳孔位置を連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像の間隔が1/60秒で得られるものなら、瞳孔の位置も同じ間隔で得られることになる。
【0024】
次に、本実施形態において、瞳孔を検出する具体的な手順を、図5,6によって説明する。瞳孔検出作業の立ち上がり時点では、角膜反射位置も瞳孔も未だ検出されていないことから、かなり広い画像から瞳孔又は角膜反射位置を探索しなければならない。その場合、顔が1/60秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、面積の小さな角膜反射位置を検出するよりも容易である。そのため、顔がほとんど移動しないという条件の下で、先ず瞳孔検出を行う。この瞳孔検出は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって2値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。この場合の差分画像の形成は、図7に示すように、カメラ2によって生成された1フレームFL1の画像を対象に平均差分法を用いる。フレームFL1の奇数フィールドにおける隣接画素ラインを抽出して、その隣接画素ライン間の輝度平均をとって平均画素ラインを算出して、その平均画素ラインと、フレームFL1の偶数フィールドにおける当該隣接画素ライン間に位置する画素ラインとの差分をとればよい。具体的には、フレームFL1が画素ラインOdd1,Even1,Odd2,Even2,…,Evenmからなる場合を考える。フレームFL1の奇数フィールドの2つの隣接画素ラインOdd1,Odd2を順に抽出し、その2つの画素ラインの平均をとって平均画素ラインAve1,Ave2,…Avem-1を算出する。そして、平均画素ラインAve1,Ave2,…Avem-1と、フレームFL1の偶数フィールド内でその画素ラインと同じ位置に相当する画素ラインEven1,Even2,…Evenm-1との差分を、それぞれの画素ライン上の対応する画素の輝度を引き算することにより計算して、差分画素ラインDif1,Dif2,…,Difmからなる差分フレーム画像FL2を得ることができる。
【0025】
角膜反射位置は瞳孔の近傍や瞳孔に重なる場所にあることから、検出された瞳孔の位置によって角膜反射位置が存在すると予測される範囲にウインドウを設けることができる。角膜反射点は輝度が高いことから、ウインドウ内の画像において、Pタイル法などによって輝度の閾値を決定し、2値化を行うことで、角膜反射位置を探索することができる。図5(A)に示すように、明瞳孔画像において、ウインドウWC1内の画像に前記処理を施すことで角膜反射位置C1の位置座標を決定できる。なお、この際に、ウインドウWC1内での角膜反射と考えられる最大輝度の部分に、さらに小さな例えば縦横10画素程度のウインドウを設けて、その中で、2値化を行って角膜反射に相当する画素を特定して、それらの画素の輝度と座標を用いて輝度重心を求めることにより角膜反射位置C1の決定を行ってもよい。前の時点で角膜反射位置が求まっていれば、次の時点の角膜反射位置は、カルマンフィルターなどの予測モデルによって、予測可能なことからその予測される範囲に次のウインドウを設けることができる。そして、そのウインドウ内の画像に前記の処理を行って、角膜反射位置を決定することができる。また、角膜反射位置を検出する対象のウインドウには、図4を参照して説明したように、ウインドウ内で隣接画素ライン間の平均画素ラインを算出して付加することで、解像度を縦方向に2倍にすることができるので、より正確に角膜反射位置を決定することができる。
【0026】
図5は、先の時点の明瞳孔画像(A)において、角膜反射位置C1を探索するためのウインドウWC1が設けられ、また、その後の暗瞳孔画像(B)において角膜反射位置C2を探索するためのウインドウWC2が設けられたことを示している。そして、それぞれの角膜反射位置C1,C2の位置座標が決定されると、その差をとることで、両画像の撮影時の間における顔の移動量を求めることができる。
【0027】
次に、図6のとおり、後の時点の暗瞳孔画像(B)において、暗瞳孔が含まれていると予測される部分に暗瞳孔探索のためのウインドウWP2を設ける。なお、このウインドウWP2は、図5におけるウインドウWC2と同じでもよい。この暗瞳孔画像における角膜反射位置C2の座標に先の時点の明瞳孔画像(A)の角膜反射位置C1の座標が一致し、かつ暗瞳孔画像(B)の角膜反射位置C2とウインドウWP2との関係位置と同じになるように、角膜反射位置C1との位置関係でウインドウWP1を明瞳孔画像(A)に設ける。これによって、先の時点の明瞳孔画像(A)を、角膜反射位置がずれた分だけずれを解消するように、後の時点の暗瞳孔画像(B)に一致させることができる。このような位置補正を行った後に、明瞳孔画像(A)から暗瞳孔画像(B)の輝度を差し引く差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することができる。この差分画像を求める場合は、上述したような平均差分法を用いる。瞳孔の中心座標を求める場合は、例えばモーメント法などで輝度重心を演算することで決定することができる。決定された瞳孔位置と既に分かっている角膜反射位置の座標から、前記のとおり、対象者の視線を求めることもできる。
【0028】
本実施形態によれば、明瞳孔画像と暗瞳孔画像との差分をとる位置における画素のずれが無いため、画像中に顔の輪郭や眼鏡の淵等の輝度が大きく変化する箇所が存在した場合であっても、その箇所の差分値が大きくなることを防止できる。従って、インターレース方式の撮影によって瞳孔を検出する際にも、誤った箇所を瞳孔として検出することを防止して、ロバスト性と精度の高い瞳孔の検出を実現することができる。
【0029】
また、平均差分法を採用することによって、瞳孔の検出精度が高くされるとともに、ウインドウ画像の細密化により角膜反射位置の検出精度も向上するので、これらの結果を視線の検知に利用することで、正確な視線検知が可能になる。また、瞳孔及び角膜反射位置の検出を同時に行うことができ、処理効率が向上する。
【0030】
また、本実施形態によれば、角膜反射位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、対象者の顔が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置がほぼ一致した状態で差分されて周囲から浮き彫りにされ、瞳孔検出がロバスト性と精度がよくなされる。
【0031】
また、本実施形態によれば、角膜反射位置を検出してこれを位置補正の基準としているために、鼻孔を基準とするような場合に比べて、必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされることから、顔のずれに伴う瞳孔の位置合わせの精度が高いものになり、さらに、互いの位置の誤認の可能性が低下する。また、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。
【0032】
また、解析を行う領域は、ウインドウを設定した画像領域とすることで、瞳孔検出の演算効率を高めることができる。また、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動することにより、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。さらに、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いることもでき、その場合は、演算の負担をさらに少なくすることができる。
【0033】
なお、本発明は、上述した実施形態に限定されるものではない。例えば、本実施形態では、奇数フィールドにおいて明瞳孔を撮影し、偶数フィールドにおいて暗瞳孔を撮影したが、この逆であってもよい。また、カメラについては、NTSC方式のカメラを使用する場合について主に説明したが、インターレース方式であれば他の方式のものであってもよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、850nm程度と950nm程度の波長の異なる光源を用いると、網膜反射率が異なることから、850nm程度の光源で撮影した画像が明瞳孔で、950nm程度の光源で撮影した画像が暗瞳孔となる。
【0034】
また、フレーム又はウインドウ中の2つの隣接画素ラインから平均画素ラインを生成する際には、その平均画素ラインと、それぞれの2つの隣接画素ラインとの間の再平均画素ラインを更に算出して、もとのフレームに平均画素ライン及び再平均画素ラインを付加した画像データに基づいて、瞳孔及び角膜反射を検出するようにしてもよい。さらに、画素ラインに垂直な方向における平均値を算出するのみではなく、画素ラインに水平な方向における画素間の輝度平均値を算出して画素間に挿入するようにしてもよい。このようにすれば、フレームの画像をさらに細密化することによって、瞳孔の検出精度の向上及び高分解能化を図ることができる。具体的には、図8に示すように、2つの隣接画素ラインの画素G1と画素G2との平均をとることにより平均画素ラインにおける画素G3が生成され、その画素G3と画素G1,G2のそれぞれとの平均をとることにより再平均画素ライン上の画素G4,G5が得られる。また、画素G1と画素ラインに沿って隣接する画素G6との平均をとることにより画素G7が得られる。以下、同様の処理を繰り返すことで2次元的に細密化されたフレーム画像を生成することができる。
【実施例1】
【0035】
本実施形態に沿って行った実験結果について、以下、説明する。実験は、図2の装置によって行った。対象者とカメラ2の距離を約70cmとし、対象者は、約60cm離れたディスプレイ上の指標に視線を固定しつつ、頭を左右に動かした。このときカメラ2から得られた1フレームを対象に平均差分法により仮の瞳孔位置を検出し、その瞳孔位置を中心にして偶数フィールド及び奇数フィールドに60×30画素のウインドウを設定した。そのウインドウに対して平均画素ラインを追加することによって、ウインドウを60×60画素のウインドウに細密化した。図9(a)は、このようにして得られたウインドウ内の明瞳孔画像の一例、図9(b)は、暗瞳孔画像の一例を示し、それぞれ、左側が細密化処理前、右側が細密化処理後である。そして、そのウインドウの中心の40×40画素の小ウインドウを対象に瞳孔中心を検出した。このようにウインドウの細密化により、角膜反射位置による位置補正における位置のずらし量も高分解能化できるので、瞳孔検出のロバスト性および瞳孔位置検出の高精度化がさらに図れることになる。
【0036】
上記の瞳孔中心の検出を100フレーム分繰り返した。その際に、本発明の実施例として角膜反射位置による位置補正を行った場合と、比較例としての位置補正を行わなかった場合との比較をした。図10は、1つのフレームにおける40×40画素のウインドウ内の差分画像である。位置補正を行わなかった差分画像(A)においては、角膜反射位置Cが明瞳孔画像と暗瞳孔画像で一致していないことから、差分画像において輝度の高い箇所として残っており、瞳孔Pも明瞳孔画像と暗瞳孔画像で完全に重なっていないことから輪郭がかすんでいる。それに対して、位置補正を行った差分画像(B)においては、明瞳孔画像と暗瞳孔画像の角膜反射位置Cどうしが重なっていることから、高い輝度であっても輝度が相殺しており、瞳孔Pも明瞳孔画像と暗瞳孔画像が重なっていることから、比較的明確になっている。
【0037】
図11は、求めた瞳孔中心のX座標(水平方向座標)を縦軸に取り、横軸には1番目のフレームから100番目のフレームまでを取っており、瞳孔中心座標の時間変化を示している。位置補正をしなかった場合は、位置補正を行った場合に比べて位相が遅れている。これは、位置補正において、前記のとおり、時間的に後のフィールドの画像に先のフィールドの画像を一致させるようにしているために、後のフィールドにおける瞳孔中心が求められているのに対し、位置補正なしの場合は、明瞳孔画像と暗瞳孔画像における瞳孔の位置に差があれば、その一部重なる部分は両画像の中間的な位置になること、あるいは重なりのない部分については、暗瞳孔があまり暗くないのに対して明瞳孔が非常に明るいこと等に起因すると考えられる位相の遅れが生じている。しかし、一般には、明瞳孔があまり明るくないのに対して暗瞳孔が非常に暗いという場合もあり、検出される瞳孔中心座標は、不確定な位相遅れを生じることになることが容易に予想できる。
【0038】
図12は、瞳孔中心と角膜反射位置の中心との相対座標の時間変化を示している。この実験では、対象者は頭を動かしても視線は変えていないために、瞳孔中心と角膜反射位置中心の相対座標は、ほぼ一定のはずである。位置補正を行った場合は、そのとおりに、ほぼ一定を示しているが、補正を行わなかった場合は、頭の動きに伴って大きく変化している。このことは、視線検出を行ったとすると視線が動いていないにもかかわらず、動いたと判断されてしまうことになる。
以上のとおり、本実施例により、顔が移動する場合において、角膜反射位置による位置補正を行って、瞳孔の位置を検出する本発明の有効性が確認できた。
【0039】
また、図13は、本実施形態において平均差分法により細密化した画素ラインの輝度分布を、細密化を施していない輝度分布と比較して示すグラフである。この輝度分布は、瞳孔付近を通る画素ラインにおける分布を示しており、ここでの輝度値は、実際の差分値に60を足して示している。この結果より、細密化処理を施した場合は瞳孔付近の2つの輝度のピークを除いては、輝度の変動が比較的抑えられていることがわかった。また、図14は、実際のフレーム画像を対象に平均差分法を用いて生成した差分フレーム画像の例である。図14(a)は、左側が明瞳孔画像、右側が暗瞳孔画像、図14(b)は、左側が平均差分法を用いないでこれらの画像をそのまま差分した差分フレーム画像、右側が平均差分法を用いた場合の差分フレーム画像である。この結果により、平均差分法を用いた差分画像においては、顔の輪郭、眼鏡のフレーム、鼻や口の窪み部分等における輝度差があまり現れていないことがわかる。
【図面の簡単な説明】
【0040】
【図1】本発明の実施形態の瞳孔検出のための装置を示す概念図である。
【図2】瞳孔中心と角膜反射位置についての説明図である。
【図3】本発明の実施形態の基本的な概念を示す図である。
【図4】ウインドウ内における画像の差分処理を説明する図である。
【図5】本発明の実施形態での角膜反射位置の探索を示す図である。
【図6】本発明の実施形態での瞳孔の探索を示す図である。
【図7】フレーム内における画像の差分処理を説明する図である。
【図8】本発明の変形例における画素の細密化処理を説明する図である。
【図9】ウインドウ内の明瞳孔画像及び暗瞳孔画像の一例を示す図である。
【図10】本発明の実施例及び比較例での差分画像の一例を示す図である。
【図11】本発明の実施例及び比較例での瞳孔中心の時間変化を示す図である。
【図12】本発明の実施例及び比較例での瞳孔中心と角膜反射位置の相対座標の時間変化を示す図である。
【図13】本実施形態において平均差分法により細密化した画素ラインの輝度分布を示す図である。
【図14】本実施形態において平均差分法により生成した差分画像を、平均差分法を用いない場合と比較して示す図である。
【符号の説明】
【0041】
1‥瞳孔検出装置、2‥カメラ、21‥カメラの開口中心、3‥光源、31‥カメラ開口に近い光源、32‥カメラ開口から遠い光源、4‥コンピュータ、5‥奇数偶数フィールド信号発生回路、6‥ファンクションシンセサイザ、7‥ストロボ調光ユニット、P‥瞳孔、C‥角膜反射位置
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図13】
8
(In Japanese)【図9】
9
(In Japanese)【図10】
10
(In Japanese)【図11】
11
(In Japanese)【図12】
12
(In Japanese)【図14】
13