Top > Search of Japanese Patents > (In Japanese)瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法

(In Japanese)瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法

Patent code P160012769
File No. (S2012-0758-N0)
Posted date Feb 10, 2016
Application number P2014-516870
Patent number P6083761
Date of filing May 24, 2013
Date of registration Feb 3, 2017
International application number JP2013064511
International publication number WO2013176265
Date of international filing May 24, 2013
Date of international publication Nov 28, 2013
Priority data
  • P2012-120312 (May 25, 2012) JP
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title (In Japanese)瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法
Abstract (In Japanese)本発明の瞳孔検出方法は、左カメラ2A及び右カメラ2Bにより対象者の顔を撮影して画像を取得するステップと、画像から対象者の瞳孔の候補となる1以上の画像内候補点を抽出するステップと、3次元空間内の同一点に対応する画像内候補点の組合せについて、当該組合せに対応する点を空間内候補点として抽出するステップと、抽出された空間内候補点から2個の空間内候補点の対を選択し、選択された対の間の距離を複数の対について算出するステップと、算出された距離が所定範囲内にない空間内候補点の対を除外するステップと、除外されなかった対の中から一以上の空間内候補点の対を決定し、その位置に対象者の瞳孔の対が存在すると決定するステップと、を備える。
Outline of related art and contending technology (In Japanese)

対象者の瞳孔を検出する技術は、例えば、医療検査やマンマシンインターフェースのための視線検知(下記特許文献1参照)、自動車を運転中の対象者の眠気検知(下記特許文献2参照)や顔方向検出(下記特許文献3、4参照)、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス(下記特許文献5参照)などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。

特許文献1~5に記載の技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、この画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、この画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、対象者が眼鏡着用者である場合には、瞳孔近傍の眼鏡の一部が反射を起こし、眼鏡反射が映り込むことから、瞳孔の検出を単独の画像から行うことは、明瞳孔画像又は暗瞳孔画像のいずれを用いても困難を伴う。しかし、明瞳孔画像から暗瞳孔画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。

ただし、一般のカメラを使用した場合には、明瞳孔画像と暗瞳孔画像を取得する時刻に差があるため、二枚の画像を取得する間に顔が高速に移動した場合には、明瞳孔画像と暗瞳孔画像との間に位置のずれが生じ、画像差分の効果が十分に得られない場合があった。特に、このような現象は対象者が眼鏡を着用している場合に顕著であり、眼鏡のレンズやフレームによって反射された光の像である眼鏡反射が、画像の差分処理後にも残りやすく、残った眼鏡反射像と瞳孔との区別がつきにくい場合があった。

そこで、上記の眼鏡反射に起因する瞳孔の誤検出を防止するため、いったん瞳孔を検出したら、その後に撮影された画像においては、検出された瞳孔を含む小領域に解析ウィンドウを与え、その小領域内のみから瞳孔を探索することにより瞳孔を追尾することにより、瞳孔の誤検出率の低下を図った(例えば特許文献6参照)。

また、明瞳孔画像と暗瞳孔画像の取得時間差により瞳孔の位置がずれて瞳孔検出が難しくなる問題への対策として、鼻孔の移動量を利用した差分位置補正法(例えば特許文献7参照)、及び角膜反射の移動量を利用した差分位置補正法(例えば特許文献8参照)を提案し、その有効性を示した。

さらに、鼻孔の移動量を利用した差分位置補正法において、対象者の頭部を前後方向に貫通する軸の周りに対象者の頭部が回転する場合には、鼻孔の移動量と瞳孔の移動量が必ずしも一致せず、瞳孔の検出精度が不十分な場合があった。そこで、本発明者は、顔姿勢を利用した差分位置補正法を提案した(例えば特許文献9参照)。

Field of industrial application (In Japanese)

本発明は、撮影した画像によって対象者の瞳孔、角膜反射及び顔姿勢を検出するための瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び、対象者の瞳孔を追尾するための瞳孔追尾方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
第1カメラにより対象者の顔を撮影して第1画像を取得する第1ステップと、
第2カメラにより前記対象者の顔を撮影して第2画像を取得する第2ステップと、
前記第1画像から前記対象者の瞳孔の候補となる1個以上の第1画像内候補点を抽出する第3ステップと、
前記第2画像から前記対象者の瞳孔の候補となる1個以上の第2画像内候補点を抽出する第4ステップと、
前記第1画像内候補点のうち1点及び前記第2画像内候補点のうち1点からなる組み合わせについて、当該組み合わせが3次元空間における同一の点に対応するか否かを判定する第5ステップと、
3次元座標における同一の点に対応すると判定された前記第1画像内候補点と前記第2画像内候補点との組み合わせについて、当該組み合わせに対応する3次元空間における点を空間内候補点とすることにより、2個以上の空間内候補点を抽出する第6ステップと、
前記抽出された空間内候補点の中から2個の空間内候補点の対を選択し、選択された2個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第7ステップと、
前記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第8ステップと、
前記除外されなかった空間内候補点の対の中から、一以上の空間内候補点の対を決定し、決定された一以上の空間内候補点の対の位置に前記対象者の瞳孔の対が存在すると決定する第9ステップと、
を備える瞳孔検出方法。

【請求項2】
 
前記第5ステップは、
前記第1画像及び前記第2画像に基づいて、前記第1画像内候補点のうち1点及び前記第2画像内候補点のうち1点からなる組み合わせから、ステレオマッチングにより3次元座標を算出する第10ステップと、
前記算出された3次元座標の値が所定の範囲にない場合に、前記組み合わせを、3次元座標における同一の点に対応しないものとして除外する第11ステップと、
を含む請求項1に記載の瞳孔検出方法。

【請求項3】
 
前記第5ステップは、
第1画像における第1画像内候補点の座標に基づいて、第1画像内候補点と第1カメラとを結ぶ第1直線を決定する第12ステップと、
第2画像における第2画像内候補点の座標に基づいて、第2画像内候補点と第2カメラとを結ぶ第2直線を決定する第13ステップと、
前記第1直線と前記第2直線との共通垂線を決定する第14ステップと、
前記共通垂線の長さが所定の閾値より小さく、かつ前記共通垂線の中点の3次元座標の値が所定の範囲内にない場合に、前記組み合わせを、3次元座標における同一の点に対応しないものとして除外する第15ステップと、
を有する請求項1又は2に記載の瞳孔検出方法。

【請求項4】
 
少なくとも3個のカメラによって対象者の顔を撮影する第16ステップと、
前記少なくとも3個のカメラの中から、少なくとも2組の第1カメラ及び第2カメラの組を選択する第17ステップと、
前記選択された第1カメラ及び第2カメラの組のそれぞれを用いて、請求項1~3のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔を検出する第18ステップと、を備える瞳孔検出方法。

【請求項5】
 
請求項1~4のいずれか一項に記載の瞳孔検出方法により、複数人の瞳孔対を検出する瞳孔検出方法。

【請求項6】
 
少なくとも3個のカメラのうち2個のカメラの組み合わせであるカメラペアを少なくとも3組決定するステップと、
前記決定された少なくとも3組のカメラペアのそれぞれについて、前記カメラペアの一方のカメラを第1カメラとし、前記カメラペアの他方のカメラを第2のカメラとして、請求項1~3のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔の対を瞳孔対の候補として決定するステップと、
前記少なくとも3組のカメラペアにより決定された瞳孔対の候補のそれぞれについて、前記瞳孔対の候補の一方と他方とを結ぶ方向ベクトルを求めるステップと、
一のカメラペアにより決定された瞳孔対の候補について前記求められた方向ベクトルの向きが、他の複数のカメラペアで決定された瞳孔対の候補について前記求められた方向ベクトルの向きと所定の閾値以上の角度をなす場合に、前記一のカメラペアにより決定された瞳孔対の候補を除去するステップと、
前記除去するステップにより除去されずに残った対象者の瞳孔対の候補について座標の平均値をとり、前記平均値を最終的な瞳孔の位置として決定するステップと、を備える瞳孔検出方法。

【請求項7】
 
請求項1~3のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔を検出する第19ステップと、
前記第1画像から前記対象者の角膜反射の候補となる1個以上の第1画像内角膜反射候補点を抽出する第20ステップと、
前記第2画像から前記対象者の角膜反射の候補となる1個以上の第2画像内角膜反射候補点を抽出する第21ステップと、
前記抽出された第1画像内角膜反射候補点及び第2画像内角膜反射候補点からそれぞれ1点ずつを選択する第22ステップと、
前記第1画像における前記選択された第1画像内角膜反射候補点の画像内座標及び前記第2画像における前記選択された第2画像内角膜反射候補点の画像内座標に基づいて、前記選択された第1画像内角膜反射候補点及び第2画像内角膜反射候補点の組み合わせに対応する3次元座標を計算する第23ステップと、
前記計算された3次元座標と前記検出された瞳孔の3次元座標との位置が所定の範囲内にある場合に、前記計算された3次元座標を前記対象者の角膜反射であると判定する第24ステップと、を備える角膜反射検出方法。

【請求項8】
 
請求項1~6のいずれか一項に記載の瞳孔検出方法により検出された対象者の一対の瞳孔の3次元座標に基づいて前記対象者の顔姿勢を検出する、顔姿勢検出方法。

【請求項9】
 
請求項1~6のいずれか一項に記載の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第25ステップと、
前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第26ステップと、
前記一対の瞳孔対を検出するステップが実行された後の第1の時刻、及び前記第1の時刻より後の第2の時刻における前記対象者の一対の瞳孔対を検出する第27ステップと、
前記第1の時刻及び前記第2の時刻において検出された前記一対の瞳孔対の絶対位置及び相対位置を計算する第28ステップと、
前記計算された前記第1の時刻及び前記第2の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第2の時刻より後の第3の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第29ステップと、
前記推定された前記第3の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第3の時刻における一対の瞳孔対の各々の瞳孔の画像内座標を推定する第30ステップと、
前記第3の時刻における前記第1カメラ及び前記第2カメラにより撮影された画像のそれぞれにおいて、前記推定された瞳孔の画像内座標の周囲に小領域を設定する第31ステップと、
前記第3の時刻における前記第1カメラ及び前記第2カメラにより撮影された画像のそれぞれにおいて、前記設定された小領域において所定の画像処理により瞳孔の位置を決定して、前記第3の時刻における瞳孔の画像内座標を算出する第32ステップと、
を備える瞳孔追尾方法。

【請求項10】
 
請求項1~6のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第33ステップと、
前記第33ステップが実行された後の一の時刻に、前記第1カメラ及び前記第2カメラの両方により対象者の第1の瞳孔を検出するとともに、前記第1カメラ又は前記第2カメラのいずれか一方のカメラにより前記対象者の第2の瞳孔を検出する第34ステップと、
前記第1カメラ及び前記第2カメラのそれぞれにおける前記第1の瞳孔の画像内座標に基づいて前記第1の瞳孔の3次元座標を計算する第35ステップと、
前記一方のカメラにより取得した前記第2の瞳孔の画像内座標に基づいて、前記一方のカメラ及び前記第2の瞳孔を通る直線を計算する第36ステップと、
前記計算された直線上に存在し、かつ前記第1の瞳孔との3次元空間における距離が、瞳孔間距離に基づいて与えられる所定の値となる点を、対象者の第2の瞳孔として決定する第37ステップと、
を備える瞳孔追尾方法。

【請求項11】
 
請求項1~6のいずれか一項に記載の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第38ステップと、
前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第39ステップと、
前記第38ステップが実行された後の第1の時刻、及び前記第1の時刻より後の第2の時刻における前記対象者の一対の瞳孔対を検出する第40ステップと、
前記第1の時刻及び前記第2の時刻において検出された前記一対の瞳孔対の絶対位置及び相対位置を計算する第41ステップと、
前記計算された前記第1の時刻及び前記第2の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第2の時刻より後の第3の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第42ステップと、
前記推定された前記第3の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第3の時刻における一対の瞳孔対の各々の瞳孔の3次元座標を推定する第43ステップと、
前記第3の時刻に、前記第1カメラ又は前記第2カメラのいずれか一方のカメラにより前記対象者の第1の瞳孔を検出するとともに、前記一方のカメラと異なる他方のカメラにより前記対象者の第2の瞳孔を検出する第44ステップと、
前記第3の時刻に前記一方のカメラにより検出した前記第1の瞳孔の画像内座標に基づいて、前記一方のカメラ及び前記第1の瞳孔を通る第3直線を計算する第45ステップと、
前記第2の時刻に前記他方のカメラにより検出した前記第2の瞳孔の画像内座標に基づいて、前記他方のカメラ及び前記第2の瞳孔を通る第4直線を計算する第46ステップと、
前記第1の時刻における第1の瞳孔と第2の瞳孔とを結ぶ第5直線を計算する第47ステップと、
前記第3直線と前記第5直線との両方に接近する接近点を、前記第2の時刻における前記第1の瞳孔として決定する第48ステップと、
前記第4直線と前記第5直線との両方に接近する接近点を、前記第2の時刻における前記第2の瞳孔として決定する第49ステップと、
を備える瞳孔追尾方法。

【請求項12】
 
請求項1~5のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第50ステップと、
前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第51ステップと、
前記第50ステップが実行された後の第1の時刻における前記対象者の一対の瞳孔対のそれぞれの3次元座標を取得する第52ステップと、
前記第1の時刻における前記一対の瞳孔対の相対位置を計算する第53ステップと、
前記第1の時刻より後の第2の時刻において、対象者の第1の瞳孔又は第2の瞳孔のいずれか一方を前記第1カメラ及び前記第2カメラのいずれによっても検出できなかった場合に、前記第1カメラ及び前記第2カメラのそれぞれにおける前記一方と異なる他方の瞳孔の画像内座標に基づいて前記第2の時刻における前記他方の瞳孔の3次元座標を計算する第54ステップと、
前記第53ステップで計算した前記第1の時刻における前記一対の瞳孔対の相対位置及び前記第54ステップで計算した前記第2の時刻における前記他方の瞳孔の3次元座標に基づいて前記第2の時刻における前記一方の瞳孔の3次元座標を計算する第55ステップと、
を備える瞳孔追尾方法。

【請求項13】
 
請求項1~6のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第56ステップと、
前記第56ステップが実行された後の一の時刻に前記第1カメラ及び前記第2カメラのそれぞれによって対象者の顔を撮影して画像を取得する第57ステップと、
前記第57ステップにおいて取得した画像から前記対象者の角膜反射の候補となる画像内角膜反射候補点を抽出する第58ステップと、
前記第58ステップにおいて取得した画像内角膜反射候補点に基づいて前記対象者の左右の角膜球中心の3次元座標を計算する第59ステップと、
前記第59ステップにおいて計算された前記対象者の左右の角膜球中心の3次元座標の位置に基づいて、前記第1カメラ及び前記第2カメラのそれぞれによって取得された画像内に小領域を設定する第60ステップと、
前記第60ステップにおいて設定された小領域において所定の画像処理により瞳孔の位置を決定して、瞳孔の画像内座標を算出する第61ステップと、を備える瞳孔追尾方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2014516870thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close