Top > Search of Japanese Patents > METHOD FOR DETECTING DIRECTION OF HEAD PART USING PUPIL AND NOSTRIL

METHOD FOR DETECTING DIRECTION OF HEAD PART USING PUPIL AND NOSTRIL

Patent code P07A009879
File No. ShIP‐P04042
Posted date May 25, 2007
Application number P2004-073998
Publication number P2005-266868A
Patent number P4765008
Date of filing Mar 16, 2004
Date of publication of application Sep 29, 2005
Date of registration Jun 24, 2011
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title METHOD FOR DETECTING DIRECTION OF HEAD PART USING PUPIL AND NOSTRIL
Abstract PROBLEM TO BE SOLVED: To provide a method for detecting a direction of a head part by detecting a pupil and nostril.
SOLUTION: In a camera preparation step, a pair of cameras 1, 2 are arranged by maintaining a known base line length D with respect to the head part 10 of a subject. In a lighting means preparation step, light sources 5, 6 as lighting means are arranged by maintaining positional relation for providing luminous hole lighting and dark hole lighting to the respective cameras in a relation between the respective cameras 1, 2 and the head part 10 of the subject. In an image acquisition step for acquiring an image of each of the pupils and at least one of the nostrils is acquired by the luminous hole lighting and dark hole lighting, the cameras 1, 2 and the light sources 5, 6 as the lighting means are interlocked and operated to photograph the head part of the subject. In a hole coordinate calculation step, the image obtained in the image acquisition step is subject to difference operation process and a center coordinate of each of the holes is calculated. In a direction plane calculation step, a direction plane of a face determined by the center coordinate is calculated.
Outline of related art and contending technology (In Japanese)


顔のおよその向きを検出することは、乗り物の運転手の顔の向きを監視するなどの目的で重要な意味を持ち、視線を監視するのと同様に大切である。
顔の向きの検出方法として代表的なものとしては、2台のカメラ(ステレオカメラ配置)のそれぞれにより捉えた顔の目尻,目頭,鼻先,唇の両端など、多くの特徴点を画像処理の一種であるテンプレートマッチング法によるもので、テンプレートと類似した部分として顔画像より検出しその座標を求め、さらに、両カメラでの各特徴点の座標をマッチングさせ、各特徴点の3次元座標を求める方法がある。
しかし、テンプレートマッチングを使用した画像処理法の場合、あらかじめ、テンプレート画像を用意する必要があるため、カメラの前に座ってすぐには使用できない。また、テンプレートマッチング法では、画像処理に時間がかかるため、高価な画像処理ボードを使用する必要があるなどの問題がある。このような方法で、周囲の明るい環境では照明は必要ないが、暗いところでは不可視光を顔に照射する必要がある。



一方で、目の瞳孔は、一般に、照明を用いないと画像処理によって検出しづらい。
しかし、照明を当てると突然容易になり、画像処理コストは減少する。たとえば、カメラのレンズの開口部の中もしくは近傍から照明器により光を顔に対して照射し、それをカメラで写すと、瞳孔が他の部分よりも明るく写る(明瞳孔)傾向が生じる。この現象が起こる理由は、照明器の光源からの光が瞳孔を通り網膜に達し、そこで乱反射をした光が瞳孔を通り戻ってくる際に、水晶体、角膜を通るため、強い指向性を持って光源の方へ戻る性質があるからである。よって光源がカメラの開口の近くにあると、一部の光が開口部に入射し、瞳孔部が明るくうつる。



それに対して、顔に当たった光は、乱反射をし、カメラの開口以外の方向にも戻る傾向があるために、相対的に瞳孔に比べて暗く写る。しかしながら、このような現象があったとしても、額やそのほか、瞳孔よりも明るく写る部分は多々生じ、現実には、周囲の暗い環境下などでなければ瞳孔検出は簡単ではない。一方で、カメラの開口部から離れた位置から照明する方法があるが、その場合も瞳孔から戻る光は光源の方に戻るため、カメラ開口部には入射しにくいため、瞳孔は周囲よりも暗く写る傾向が生じる(暗瞳孔)。この場合も、まつげなどが瞳孔と区別しにくく、安定した瞳孔検出は困難である。そのためカメラの開口部の近くと遠くに光源を設置し、それらをビデオのフィールドもしくはフレームに同期させ、交互に点灯させ、それによって得られる明瞳孔画像と暗瞳孔画像を画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔だけが浮き彫りになるという効果が得られる。しかし、この効果は、明瞳孔現象を強く生じさせるほど大きくなり、瞳孔検出が容易になるので、カメラの開口部のできるだけ近くに光源を配置することが重要である。特許文献1はカメラの開口部の中央に置く方法を提案している。
【特許文献1】
特開平11-56782号公報



頭部全体を写す必要があるため、広角のカメラレンズを使用しなければならない。広角のカメラレンズの場合は、光源が画像の中央に黒い影として写り込んでしまい、開口部の中央に設置する方法は用いることができない。その対処法として特許文献2記載の発明はカメラの開口部の周辺に光源を並べる方法を提案している。
本件出願人も視線検出方法および視線検出装置を特許文献3により提案している。この提案は、2つのカメラにより、瞳孔の座標点を求め、瞳孔と角膜反射の関係から視線を導くものである。
【特許文献2】
特開平2-134130号公報(登録第2739331号)
【特許文献3】
特願2003-429344号

Field of industrial application (In Japanese)


本発明は、ステレオ測定により、瞳孔と鼻孔の座標位置を特定し、それらに基づいて、頭部の位置と方向を検出する方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
既知の基線長を保って配置された一対のカメラと、前記各カメラと被検者の頭部との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置され照明手段と、を備えた装置における頭部の方向を検出する方法であって、
前記装置が、前記カメラと前記照明手段を連動動作させ、被検者の頭部を撮影して、各瞳孔と少なくとも何れかの鼻孔の像を明孔照明および暗孔照明で獲得する像獲得ステップと、
前記装置が、前記像を差分演算処理して各孔の中心座標を演算する孔座標演算ステップと、
前記装置が、前記中心座標で決まる顔の方向平面を演算する方向平面演算ステップと、
を実行する頭部の方向を検出する方法。

【請求項2】
 
前記方向平面は瞳孔の中心と鼻孔の重心を含む3角平面であり、前記装置が、前記3角平面の重心の法線を頭部の方向として検出するものである請求項1記載の頭部の方向を検出する方法。

【請求項3】
 
前記一対のカメラとそれらの照明光源が、被検者の頭部を前方下方から照明し撮影する配置である請求項1記載の頭部の方向を検出する方法。

【請求項4】
 
前記照明手段は各カメラの光軸に近接する近接光源であり、当該カメラの明孔照明光源として利用され、他方のカメラの暗孔照明光源として利用されるものである請求項1記載の頭部の方向を検出する方法。

【請求項5】
 
前記照明手段は各カメラ光軸に近接して設けられた近接光源であり当該カメラの明孔照明光源として利用され、他方の光源は光軸から所定の距離離れた離隔光源であり、当該カメラの暗孔照明光源として利用されるものである請求項1記載の頭部の方向を検出する方法。

【請求項6】
 
請求項5記載の頭部の方向を検出する方法において、
前記近接光源は、カメラ開口に隣接する領域またはカメラ開口に近接する円環内に設けられた発光素子群を含み、前記離隔光源はカメラの開口から離れた領域または円環内に設けられた発光素子群を含むものである頭部の方向を検出する方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2004073998thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close