Top > Search of Japanese Patents > FACE POSTURE DETECTION SYSTEM

FACE POSTURE DETECTION SYSTEM

Patent code P07A009911
File No. ShIP‐5005C-EB11
Posted date May 25, 2007
Application number P2005-207090
Publication number P2007-026073A
Patent number P4501003
Date of filing Jul 15, 2005
Date of publication of application Feb 1, 2007
Date of registration Apr 30, 2010
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title FACE POSTURE DETECTION SYSTEM
Abstract PROBLEM TO BE SOLVED: To provide a face posture detection system for detecting the spatial positions of pupils and nostrils by using an illumination means relevant to a pair of separately arranged cameras, and for showing the position of the face and the direction of the face from the positional relation.
SOLUTION: This face posture detection system is configured to calculate the right normal vectors of a triangle plane constituted of two pupils and a right nostril, and to calculate the left normal vectors of the triangle plane constituted of the two pupils and the left nostril in the same way, and to calculate the composite vectors of the right and the left normal vectors, and to arrange in advance the head of a testee at a fixed calibration position determined in advance for the pair of cameras, and to record pairs of distances between the two pupils and two nostrils on a two-dimensional image and the rates of the distances in a calibration step which is used for the position estimation of the nostrils.
Outline of related art and contending technology (In Japanese)


顔の向きの検出は、人間が注意の方向を計測する上で重要であり、自動車のドライバーの余所見運転の防止にも役立つと考えられ、多くの出願(特許文献1~7)や研究がなされている。
また本件発明者も同種の目的のために、ステレオ測定により、瞳孔と鼻孔の座標位置を特定し、それらに基づいて、頭部の位置と方向を検出する方法の発明(特許文献8)および瞳孔の検出を容易にするために明瞳孔および暗瞳孔のデータを得て、瞳孔の2次元座標を高精度に検出する実時間瞳孔位置検出システムの発明(特許文献9)をしている。
【特許文献1】
特開平05-215531
【特許文献2】
特開平09-251342
【特許文献3】
再公表WO02/007095
【特許文献4】
特開2004-94491
【特許文献5】
特開2004-234367
【特許文献6】
特開平8-106519
【特許文献7】
特開2000-210270
【特許文献8】
特願2004-73998
【特許文献9】
特願2004-170506



これまで、顔の全体の輝度分布のおおよそをビデオカメラで検出し、その変化から顔の方向を推定したり、顔全体の形状に楕円を当てはめてその楕円の扁平度から顔の方向を検出する方法がある。しかし、精度は期待できない。また、顔の特徴点(たとえば、目頭,目じり,鼻孔,唇の両端など)をカメラで捉えて、それらの位置関係から顔の方向を推定する方法、さらに、精度を上げるために、2台のカメラによって三角測量の原理から、上述の顔の特徴点の3次元位置を計測し、それらの位置関係から顔の方向を捉える方法がある(非特許文献1) 。
しかし、顔の特徴点の画像をテンプレートマッチング法で探索するために、テンプレートを予め準備しなければならない点で面倒である。さらに環境光変動に弱い。その問題を比較的解決できる方法として、顔の特徴点として最も検出しやすいと考えられる黒目と鼻孔(2つの鼻孔の中心)を検出し、それらの位置関係から顔の方向を検出方法がある(非特許文献2)。
この方法は、照明条件がよければある程度の精度とロバスト性が望めると同時に、黒目や鼻孔が円形に近い形状をしているということを利用して、それらを検出するためにテンプレート画像が必要なく、それらのもっともらしい位置関係(たとえば、黒目の下に鼻孔がある;黒目どうしは大きく離れている、など)を検出条件に含めておくことで、特に学習の必要がない。しかし、黒目の検出精度や安定性は必ずしも高くなく精度を求めると難しい面がある。
【非特許文献1】
松本 吉央 および A.ゼリンスキー 著 「頭部の方向と視線方向の実時間計測のアルゴリズム」(Y.Matsumoto and A.Zelinsky. An Algorithm for Realtime Stereo Vision Implementation of Head Pose and Gaze Direction Measurement.In Proc. of Fourth Int. Conf. on Automatic Face and Gesture Recognition (FG'2000), pages 499-505, 2000)
【非特許文献2】
林 健太郎、橋本 学、鷲見 和彦 著 「頑健性と精緻性を備えた顔特徴点追跡による顔方向推定」電子情報通信学会,Vol.J84-D2 No.8 ,pp.1762-1771

Field of industrial application (In Japanese)


本発明は、瞳孔と鼻孔の3次元位置を獲得し、それに基づいて顔の向きを代表することができる顔の方向ベクトルを得ることができる顔姿勢検出システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
離間されて配置された一対のカメラと関連する照明手段を用いて、瞳孔と鼻孔の空間位置の検出をおこない、それらの位置関係より顔の位置と顔の向きを示す顔姿勢検出システムであって、
2個の瞳孔と2個の鼻孔の中心点に対応する瞳孔と鼻孔の三次元位置に相当する空間座標を測定算出する鼻孔と瞳孔位置を測定または推定により獲得する鼻孔と瞳孔位置獲得ステップと、
2個の瞳孔と右鼻孔からなる三角形平面の法線ベクトルを算出する右法線ベクトル算出ステップと、
2個の瞳孔と左鼻孔からなる三角形平面の法線ベクトルを算出する左法線ベクトル算出ステップと、
前記左右の法線ベクトルの合成ベクトルを算出する合成ベクトル算出ステップと
から構成した顔姿勢検出システム。

【請求項2】
 
請求項1記載の顔姿勢検出システムにおいて、
予め被験者の頭部を前記一対のカメラに対して予め定めた一定のキャリブレーション位置に配置して2次元画像上の2個の瞳孔と2個の鼻孔間に形成される対の間の距離と距離間の比率を記録するキャリブレーションステップおよび、
当該被験者の任意の鼻孔が検出できなかった場合は前記キャリブレーションデータに基づいて検出できなかった鼻孔を推定するステップを設けた顔姿勢検出システム。

【請求項3】
 
請求項1または2記載の顔姿勢検出システムにおいて、
前記一対のカメラ、関連する照明手段、および被験者の位置関係は、
前記照明手段が、被験者が正常姿勢または前記キャリブレーション位置にあるときに、鼻孔が斜め下方向から照射される位置とした顔姿勢検出システム。

【請求項4】
 
請求項1または2記載の顔姿勢検出システムにおいて、
前記照明手段は瞳孔に対して暗照明および明照明を可能とする照明手段である顔姿勢検出システム。

【請求項5】
 
請求項2記載の顔姿勢検出システムにおいて、
一度、左右の鼻孔が検出されたら、予測モデルを使用して鼻孔の存在すると予測される位置にウインドウを設け追尾して、片方の鼻孔が検出できなくなっても、検出できている鼻孔が左右、どちらのものかを特定するステップを設けた顔姿勢検出システム。

【請求項6】
 
請求項1記載の顔姿勢検出システムにおいて、
前記各三角形平面の重心の重心を求めるステップをさらに設け、前記合成ベクトルの方向を、前記重心の重心を顔の位置とするときの顔の方向とした顔姿勢検出システム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005207090thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close