TOP > 国内特許検索 > 顔姿勢検出方法 > 明細書

明細書 :顔姿勢検出方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4431749号 (P4431749)
公開番号 特開2007-271554 (P2007-271554A)
登録日 平成22年1月8日(2010.1.8)
発行日 平成22年3月17日(2010.3.17)
公開日 平成19年10月18日(2007.10.18)
発明の名称または考案の名称 顔姿勢検出方法
国際特許分類 G01B  11/26        (2006.01)
G06T   1/00        (2006.01)
G06T   7/60        (2006.01)
FI G01B 11/26 H
G06T 1/00 340A
G06T 7/60 150P
請求項の数または発明の数 5
全頁数 11
出願番号 特願2006-100211 (P2006-100211)
出願日 平成18年3月31日(2006.3.31)
審査請求日 平成19年3月22日(2007.3.22)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】後藤 昌夫
参考文献・文献 特開平10-307923(JP,A)
特開2004-038531(JP,A)
特開2005-182247(JP,A)
国際公開第2005/114553(WO,A1)
特表2007-536064(JP,A)
調査した分野 G01B 11/00-11/30
G06T 1/00- 1/40
G06T 3/00- 9/40

特許請求の範囲 【請求項1】
対象者の左右の瞳孔及び左右の鼻孔のうちの3つの組み合わせである第1基準部位群における部位間の距離を求める距離導出ステップと、
1台の撮像手段によって前記対象者の顔画像を生成し、前記顔画像に基づいて前記顔画像上における前記第1基準部位群の2次元的位置を検出する位置検出ステップと、
前記距離導出ステップにおいて求められた前記距離と、前記位置検出ステップにおいて検出された前記2次元的位置とに基づいて、前記第1基準部位群を含む平面の法線方向を算出することによって、前記対象者の顔姿勢を導出する姿勢導出ステップと、
を備え、
前記距離導出ステップでは、前記左右の瞳孔及び前記左右の鼻孔のうちの第1基準部位群以外の3つの組み合せである第2基準部位群における部位間の距離を併せて求め、
前記位置検出ステップでは、前記顔画像に基づいて前記顔画像上における前記第2基準部位群の2次元的位置を併せて検出し、
前記姿勢導出ステップでは、前記距離導出ステップにおいて求められた前記第2基準部位群に関する前記距離と、前記位置検出ステップにおいて検出された前記第2基準部位群に関する前記2次元的位置とに基づいて、前記第2基準部位群を含む平面の法線方向を更に算出し、該法線方向と前記第1基準部位を含む平面の法線方向とを用いて前記対象者の顔姿勢を導出する、
ことを特徴とする顔姿勢検出方法。
【請求項2】
前記距離導出ステップでは、2台の撮像手段を用いてステレオ計測により前記第1基準部位群における部位間の距離を求め、
前記位置検出ステップでは、前記2台の撮像手段のうちの一方の撮像手段を用いて前記第1基準部位群の2次元的位置を検出する、
ことを特徴とする請求項1記載の顔姿勢検出方法。
【請求項3】
位置検出ステップでは、前記撮像手段に取り付けられた第1の光源から前記対象者に向けて照明光を照射させると同時に第1の顔画像を生成する一方、前記撮像手段の光軸からの距離が前記第1の光源よりも大きくなるように設けられた第2の光源から、前記対象者に向けて照明光を照射させると同時に第2の顔画像を生成し、前記第1の顔画像と前記第2の顔画像との差分を取ることによって第1基準部位群のうちの瞳孔の2次元的位置を検出する、
ことを特徴とする請求項1又は2に記載の顔姿勢検出方法。
【請求項4】
位置検出ステップでは、第1の光源から前記対象者に向けて照明光を照射させると同時に第1の顔画像を生成する一方、発光波長が前記第1の光源と異なる第2の光源から、前記対象者に向けて照明光を照射させると同時に第2の顔画像を生成し、前記第1の顔画像と前記第2の顔画像との差分を取ることによって第1基準部位群のうちの瞳孔の2次元的位置を検出する、
ことを特徴とする請求項1又は2に記載の顔姿勢検出方法。
【請求項5】
前記第1及び第2の光源は、前記撮像手段の光軸からの距離が等しくなるように設けられている、
ことを特徴とする請求項記載の顔姿勢検出方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、観察対象者の顔姿勢を検出する顔姿勢検出方法に関するものである。
【背景技術】
【0002】
従来から、自動車等において運転者の顔方向を検出する機能を搭載してよそ見運転をモニターすることが検討されている。このような機能は、自動車の安全運転のために重要な情報を提供する。この種の顔方向検出の技術としては、2台のカメラによって対象者の顔画像を撮像して、三角測量の原理から顔の特徴点の3次元的位置を計測し、それらの特徴点の位置関係から顔の方向を捉える方法が開示されている(下記非特許文献1参照)。また、2台のカメラを使って対象者の瞳孔及び鼻孔の座標を演算して、演算結果に応じて顔方向を求める方法も開示されている(特許文献1参照)。

【特許文献1】特開2005-266868号公報
【非特許文献1】Yoshio Matsumoto, Alexander Zelinsky, 「頭部の方向と視線方向の実時間計測のアルゴリズム(An Algorithm forReal-time Stereo Vision Implementation of Head Pose and Gaze DirectionMeasurement)」,Proceedings of IEEE Fourth International Conference on Face and GestureRecognition (FG'2000), pp.499-505, 2000
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上述した従来の顔方向の検出方法においては、2台のカメラを利用して顔方向を検出する場合にその顔方向の検出範囲が所定範囲(例えば±40度)に限られるため、検出範囲を拡げたい場合は別の一組のカメラが必要になる。しかしながら、カメラを複数組設けることは、検出システムの構成を複雑にすると同時にコスト上昇を招くおそれがある。
【0004】
そこで、本発明は、かかる課題に鑑みて為されたものであり、複雑な撮像系システムを必要とすることなく、効率的に顔姿勢の方向を検出することが可能な顔姿勢検出方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明の顔姿勢検出方法は、対象者の左右の瞳孔及び左右の鼻孔のうちの3つの組み合わせである第1基準部位群における部位間の距離を求める距離導出ステップと、1台の撮像手段によって対象者の顔画像を生成し、顔画像に基づいて顔画像上における第1基準部位群の2次元的位置を検出する位置検出ステップと、距離導出ステップにおいて求められた距離と、位置検出ステップにおいて検出された2次元的位置とに基づいて、第1基準部位群を含む平面の法線方向を算出することによって、対象者の顔姿勢を導出する姿勢導出ステップとを備え、距離導出ステップでは、左右の瞳孔及び左右の鼻孔のうちの第1基準部位群以外の3つの組み合せである第2基準部位群における部位間の距離を併せて求め、位置検出ステップでは、顔画像に基づいて顔画像上における第2基準部位群の2次元的位置を併せて検出し、姿勢導出ステップでは、距離導出ステップにおいて求められた第2基準部位群に関する距離と、位置検出ステップにおいて検出された第2基準部位群に関する2次元的位置とに基づいて、第2基準部位群を含む平面の法線方向を更に算出し、該法線方向と第1基準部位を含む平面の法線方向とを用いて対象者の顔姿勢を導出する

【0006】
このような顔姿勢検出方法によれば、対象者の左右の瞳孔及び鼻孔のうちの3部位間の距離を求めておいて、1台の撮像手段によって撮像された顔画像からその3部位の2次元的位置を検出し、3部位間の距離と3部位の2次元的位置から3部位を含む平面の法線方向を算出することによって顔姿勢を特定するので、1組の撮像手段によって特徴点を捉えることができる角度よりも1台の撮像手段によって捉えることができる角度の方が広くなり、簡易な撮像系によって効率的な顔姿勢の検出が可能となる。さらに、左右の瞳孔及び鼻孔のうちの3つの組み合わせを2組選択して、それぞれの組み合わせの部位を含む2つの平面の法線方向から顔姿勢を検出するので、顔姿勢の検出精度がより向上する。

【0007】
距離導出ステップでは、2台の撮像手段を用いてステレオ計測により第1基準部位群における部位間の距離を求め、位置検出ステップでは、2台の撮像手段のうちの一方の撮像手段を用いて第1基準部位群の2次元的位置を検出することが好ましい。この場合、対象者ごとの特徴点間の距離が容易に把握されると同時に、検出可能な顔姿勢の範囲をより効率的に拡げることができる。
【0009】
さらに、位置検出ステップでは、撮像手段に取り付けられた第1の光源から対象者に向けて照明光を照射させると同時に第1の顔画像を生成する一方、撮像手段の光軸からの距離が第1の光源よりも大きくなるように設けられた第2の光源から、対象者に向けて照明光を照射させると同時に第2の顔画像を生成し、第1の顔画像と第2の顔画像との差分を取ることによって第1基準部位群のうちの瞳孔の2次元的位置を検出することも好ましい。このような構成により、対象者に対して第1の光源から照明光を照射することによって得られた顔画像は瞳孔が明るく光る画像(明瞳孔画像)となり、対象者に対して第2の光源から照明光を照射することによって得られた顔画像は瞳孔が暗く写る画像(暗瞳孔画像)となり、両者の画像の差分を取ることによって、ロバスト性の高い瞳孔の検出を行うことができる。
【0010】
またさらに、位置検出ステップでは、第1の光源から対象者に向けて照明光を照射させると同時に第1の顔画像を生成する一方、発光波長が第1の光源と異なる第2の光源から、対象者に向けて照明光を照射させると同時に第2の顔画像を生成し、第1の顔画像と第2の顔画像との差分を取ることによって第1基準部位群のうちの瞳孔の2次元的位置を検出することも好ましい。対象者に対して異なる波長領域の照明光を照射することによって得られた顔画像の差分を取ることによって、ロバスト性の高い瞳孔の検出を行うことができる。
【0011】
さらにまた、第1及び第2の光源は、撮像手段の光軸からの距離が等しくなるように設けられていることも好ましい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【発明の効果】
【0012】
本発明による顔姿勢検出方法によれば、複雑な撮像系システムを必要とすることなく、効率的に顔姿勢の方向を検出することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照しつつ本発明に係る顔姿勢検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0014】
(第1実施形態)
本発明の第1実施形態について説明する。まず、本発明にかかる顔姿勢検出方法を実施するための撮像系の構成について、図1を参照しながら説明する。
【0015】
図1は、撮像系と対象者との位置関係を示す平面図である。同図に示すように、撮像系1は、対象者Aの顔画像を撮像する1台のカメラ(撮像手段)2と、カメラ2の前面2aの撮像レンズの近傍に設けられた光源3aと、カメラ2の前面2aから離れた位置に設けられた光源3bとを備えている。
【0016】
カメラ2は、対象者Aの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、CCD、CMOS等の撮像素子を内蔵するデジタルカメラを用いる。対象者Aは、顔姿勢の検出時にこのカメラ2の撮像レンズの光軸L1上に位置する。
【0017】
光源3aは、カメラ2の光軸L1に沿って、光軸L1上に位置する対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源3bは、光軸L1からの距離が光源3aよりも離れた位置に固定され、光軸L1に沿って対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、光源3a,3bから照射される照明光は、瞳孔の部分に輝度差を生じさせるような異なる波長成分(例えば、中心波長が850nmと950nm)を有する光であり、かつ、光源3bは光軸L1からの距離が光源3aと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【0018】
なお、カメラ2及び光源3a,3bは、対象者Aが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Aの鼻孔を検出し易くする目的で、対象者Aの顔の高さよりも低い位置(例えば、光軸L1の水平面に対する傾斜角20度~30度)に設けられることが好ましい。
【0019】
次に、上述した撮像系1を用いた顔姿勢検出方法について説明する。
【0020】
まず、対象者Aの左右の瞳孔中心及び左の鼻孔中心(第1基準部位群)の3つの各部位間の距離を実測する。また、対象者Aの左右の瞳孔中心及び右の鼻孔中心(第2基準部位群)の3つの各部位間の距離、及び左右の鼻孔中心間の距離も併せて実測する(以上、距離導出ステップ)。
【0021】
次に、対象者Aをカメラ2の光軸L1上に位置させ、任意の方向を向いた対象者Aの顔画像を撮像する。このようにしてカメラ2によって生成された顔画像に基づいて、顔画像上の左右の瞳孔中心の2次元座標、及び左右の鼻孔中心の2次元座標を検出する(位置検出ステップ)。以下、瞳孔中心及び鼻孔中心の検出方法について詳細に説明する。
【0022】
(瞳孔中心の検出)
顔画像の撮像時には、光源3a,3bを交互に点灯させて、それぞれの点灯に同期した顔画像を生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源3aの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源3bの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの2種類の画像は、2つの光源3a,3bからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。例えば、フィールド走査を採用するカメラの場合は、光源3a,3bをカメラ2のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離することができる。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
【0023】
その後、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施された画像を用いて、その画像を2値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開2005-348832号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
【0024】
(鼻孔中心の検出)
左右の鼻孔中心の2次元座標は、明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Aが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、画像の大ウィンドウ内を対象にP-tile法により輝度が低いほうから0.8%の画素を検出し、HIGH画素及びLOW画素からなる2値化画像に変換する。その後、検出された2値化画像の膨張処理及び収縮処理(モルフォロジー処理)を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから2つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、2値画像中で対象画素の近傍の8画素の1つでもHIGH画素がある場合に、対象画素をHIGH画素に変換する処理であり、収縮処理とは、2値画像中で対象画素の近傍の8画素の1つでもLOW画素がある場合に、対象画素をLOW画素に変換する処理である。そして、縦横比が0.5より小さいか0.7より大きく、かつ、全体の画像サイズが640×240画素に対して面積が100画素より小さいか300画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に30×30画素の小ウィンドウを設定し、もとの画像の小ウィンドウ内を対象に、P-tile法により輝度が低いほうから5%の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が130画素以上か70画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、2つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
【0025】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる2つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。
【0026】
このような鼻孔検出時において左右どちらかの鼻孔のみしか検出できなかった場合は、距離導出ステップで実測された距離と、検出された左右の瞳孔中心の位置及び片方の鼻孔中心の位置とを用いて、他方の鼻孔中心の位置を推定する。今、右瞳孔中心の座標を(xRP,yRP)、左瞳孔中心の座標を(xLP,yLP)、右鼻孔中心の座標を(xRN,yRN)、左鼻孔中心の座標を(xLN,yLN)、左右の瞳孔中心間の実測距離をDP0、左右の鼻孔中心間の実測距離をDN0とし、左鼻孔を検出できなかった場合を考える。このときの顔画像における左右の瞳孔間の傾斜率IP、及び瞳孔中心間距離Dは、下記式(1)及び(2);
=(yRP-yLP)/(xRP-xLP) …(1)
={(xRP-xLP+(yRP-yLP1/2 …(2)
と考えることができる。
【0027】
ここで、左右の瞳孔中心を結ぶ線と左右の鼻孔中心を結ぶ線とは常に平行であると考えられるので、左右の鼻孔間の傾斜率I=Iとなる。また、顔画像上の鼻孔中心間距離Dは、左右の瞳孔中心間の実測距離DP0、左右の鼻孔中心間の実測距離DN0、及び瞳孔中心間距離Dから、下記式(3);
=(DN0/DP0)×D…(3)
により求まる。鼻孔中心間距離Dは下記式(4);
={(xRN-xLN+(yRN-yLN1/2 …(4)
と表されるので、左の鼻孔中心の座標(xLN,yLN)は、下記式(5)及び(6);
LN=xRN-{D/(1+I)}1/2 …(5)
LN=yRN-{(D.I)/(1+I)}1/2 …(6)
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式(7)及び(8);
RN=xLN+{D/(1+I)}1/2 …(7)
RN=yLN+{(D.I)/(1+I)}1/2 …(8)
によって求めることができる。
【0028】
(顔姿勢の検出)
上述の位置検出ステップにおいて検出された顔画像の左右の瞳孔中心の位置及び左右の鼻孔中心の位置、及び距離導出ステップにおいて実測された距離に基づいて、現実の左右の鼻孔中心の3次元座標及び左右の鼻孔中心の3次元座標を算出し、対象者Aの姿勢を導出する(姿勢導出ステップ)。以下、対象者の姿勢の導出方法について詳細に説明する。
【0029】
図2は、カメラ2の撮像レンズの主点を原点とした2次元座標系における画像平面PLと対象者Aとの位置関係を示す図である。同図に示すように、3次元座標系(X,Y,Z)をZ軸がカメラ2の光軸に一致する方向に設定すると、2次元座標系(x、y)の画像平面PLは、原点Oからの距離がカメラ2の焦点距離fとなり、かつZ軸に垂直な平面として捉えることができる。また、対象者Aの画像平面PL上における左右の瞳孔中心及び左右の鼻孔中心の4つの特徴点をP=(X,Y,Z)(n=1,2,3,4)とおくと、3次元空間における各特徴点間の距離Lij(i,j=1,2,3,4)は、下記式(9);
ij={(X-X+(Y-Y+(Z-Z1/2 …(9)
で与えられる。このような特徴点Pの画像平面PL上の投影像の2次元座標をQ(x,y)(n=1,2,3,4)とすると、Pは原点Oと投影像Qとを通る延長線上に存在すると考えることができる。よって、Pの位置ベクトルpは、直線OQの方向を向く単位ベクトルuとスカラーaを用いて、下記式(10);
=a・u …(10)
によって表せる。単位ベクトルuは投影像Qの座標値(x,y)を用いてu=(x,y,f)/(x+y+f1/2と計算され、投影像Qの座標が既知であるので、aが求まればPの3次元座標を求めることができる。
【0030】
ここで、4つの特徴点Pのうちの左右の瞳孔中心及び左の鼻孔中心(第1基準部位群)間の距離Lij(i,j=1,2,3)は予め実測されており、特徴点Pの位置ベクトルpを用いて下記式(11);
|p-p|=Lij (i,j=1,2,3) …(11)
の関係が成立するので、式(10)及び式(11)に基づいて、下記式(12)~(14);
+a-2a(u,u)=L12 …(12)
+a-2a(u,u)=L23 …(13)
+a-2a(u,u)=L31 …(14)
が導かれる。これらの式(12)~式(14)からスカラーa,a,aを解くことによって、第1基準部位群の3次元座標P,P,Pを算出することができる。
【0031】
また、同様にして、4つの特徴点Pのうちの左右の瞳孔中心及び右の鼻孔中心(第2基準部位群)の実測距離Lij(i,j=1,2,4)に基づいて、3次元座標Pを算出する。このようにして求められた3次元座標P(XPR,YPR,ZPR),P(XPL,YPL,ZPL),P(XNL,YNL,ZNL),P(XNR,YNR,ZNR)を用いて、第1基準部位群を含む平面の法線ベクトルn=(nLX,nLY,nLZ)を下記式(15)~(17);
LX=(YNL-YPL)(ZPR-ZPL)-(YPR-YPL)(ZNL-ZPL)…(15)
LY=(ZNL-ZPL)(XPR-XPL)-(ZPR-ZPL)(XNL-XPL)…(16)
LZ=(XNL-XPL)(YPR-YPL)-(XPR-XPL)(YNL-YPL)…(17)
によって導出する。さらに、同様の算出方法で第2基準部位群を含む平面の法線ベクトルn=(nRX,nRY,nRZ)を導出する。最後に、求めた法線ベクトルn,nの合成ベクトルn=n+n=(n,n,n)を最終的な顔姿勢の方向を示す顔方向ベクトルとして導き出す。
【0032】
また、上述したようにして求められた第1及び第2基準部位群を含む2つの三角形のそれぞれの重心(XGR,YGR,ZGR),(XGL,YGL,ZGL)を下記式(18),(19);
(XGR,YGR,ZGR)={(XPR+XPL+XNR)/3,(YPR+YPL+YNR)/3,(ZPR+ZPL+ZNR)/3} …(18)
(XGL,YGL,ZGL)={(XPR+XPL+XNL)/3,(YPR+YPL+YNL)/3,(ZPR+ZPL+ZNL)/3} …(19)
によって算出し、さらに2つの重心間の重心(XGC,YGC,ZGC)を、下記式(20);
(XGC,YGC,ZGC)={(XGR+XGL)/2,(YGR+YGL)/2,(ZGR+ZGL)/2} …(20)
によって求める。
【0033】
最終的に、対象者Aの顔姿勢は、重心(XGC,YGC,ZGC)を通り、方向がベクトルnで表される方向であると特定する。これにより、対象者の顔の位置と顔の方向を決定することができる。なお、顔の位置として計算される重心(XGC,YGC,ZGC)は、4つの特徴点の重心として計算してもよい。
【0034】
以上説明した顔姿勢検出方法によれば、対象者Aの左右の瞳孔及び鼻孔のうちの3部位間の距離を求めておいて、1台のカメラ2によって撮像された顔画像からその3部位の2次元的位置を検出し、3部位間の距離と3部位の2次元的位置から3部位を含む平面の法線方向を算出することによって顔姿勢を特定するので、1組のカメラを用いたステレオ計測等によって特徴点を捉えることができる角度よりも、1台のカメラによって捉えることができる角度の方が広くなり、簡易な撮像系によって効率的な顔姿勢の検出が可能となる。例えば、1台のカメラで対象者の特徴点を捉えることができる水平方向の範囲を±45度とすると、互いの光軸の傾斜角が10度程度である2台のカメラを用いて顔姿勢を検出した場合の検出範囲が±40度程度であるのに対して(図4参照)、本発明の検出方法によれば、1台のカメラで±45度程度の顔姿勢の検出範囲を実現することができる(図1参照)。
【0035】
また、左右の瞳孔及び鼻孔のうちの3つの組み合わせを、第1及び第2基準部位群として2組選択して、それぞれの部位群を含む2つの平面の法線方向から顔姿勢を検出するので、顔姿勢の検出精度がより向上する。
【0036】
(第2実施形態)
次に、本発明の第2実施形態について説明する。図3は、本発明の第2実施形態にかかる撮像系101と対象者Aとの位置関係を示す平面図である。同図に示すように、撮像系101は、対象者Aの顔画像を撮像する2台のカメラ(撮像手段)102,112と、カメラ102,112の前面102a,112aのそれぞれの撮像レンズの近傍に設けられた光源103a,113aと、カメラ2の前面102a,112aから離れた位置に設けられた光源103b,113bとを備えている。すなわち、2台のカメラを用いて対象者Aの顔姿勢を検出する。
【0037】
カメラ102とカメラ112とは、それらの光軸L2,L3が互いに直交するように配置される。対象者Aは、顔姿勢の検出時にこの光軸L2と光軸上L2との交点上に位置する。光源103a,103bの機能及びカメラ102との位置関係、及び光源113a,113bの機能及びカメラ112との位置関係は、第1実施形態において説明した光源3a,3bと同様である。
【0038】
以下、上記撮像系101を用いた顔姿勢検出方法について、第1実施形態との相違点を中心に説明する
【0039】
まず、対象者Aにカメラ102の光軸L2又はカメラ112の光軸L3に沿った方向に顔を向けさせた状態で顔画像を撮像し、左右の瞳孔中心の位置及び左右の鼻孔中心の位置を検出した後、顔画像上における左右の瞳孔中心間の距離DP1、左右の鼻孔中心間の距離DN1を計算しておく。その上で、対象者Aに、光軸L2と光軸L3との交点、及びカメラ102とカメラ112との間の中点を通る直線L4の方向に、顔を向けさせる。そこで、2台のカメラ102,112のそれぞれで同時に顔画像を撮像し顔画像上の4点の特徴点の2次元位置を検出する。ここで、カメラ102,112の光軸L2,L3が対象者Aの顔の向きに対して45度傾いているため、カメラ102,112が鼻孔を検出できないおそれがある。このようにどちらかの鼻孔が検出できなかった場合は、予め計算しておいた左右の瞳孔中心間の距離DP1及び左右の鼻孔中心間の距離DN1と、既に検出した瞳孔中心間の距離Dとから、上述した方法と同様の方法で、鼻孔中心の2次元位置を推定する。その後、2つの顔画像における特徴点の2次元位置から、ステレオ計測により4つの特徴点Pn(n=1,2,3,4)の3次元座標を求め、これらの3次元座標から各特徴点間の距離Lij(i,j=1,2,3,4)を算出する(以上、距離導出ステップ)。
【0040】
その後、対象者Aに検出したい方向に顔を向けてもらい、2台のカメラ102,112のうちのどちらかのカメラで生成された顔画像に基づいて、顔画像上の左右の瞳孔中心の2次元座標Q,Q、及び左右の鼻孔中心の2次元座標Q,Qを検出する(位置検出ステップ)。このとき、どちらのカメラの顔画像を選択するかは、対象者Aの特徴点の検出が成功したか否かにより判断する。
【0041】
最後に、位置検出ステップにおいて検出された顔画像上の4つの特徴点の2次元位置Q(n=1,2,3,4)、及び距離導出ステップにおいて計算された距離Lij(i,j=1,2,3,4)に基づいて、現実の左右の鼻孔中心の3次元座標P,P及び左右の鼻孔中心の3次元座標P,Pを算出した後に、第1基準部位群又は第2基準部位群を含む平面の法線ベクトルn,nを求めることによって、対象者Aの姿勢を導出する(姿勢導出ステップ)。
【0042】
以上説明した顔姿勢検出方法によれば、対象者Aごとの特徴点P間の距離が容易に把握されると同時に、検出可能な顔姿勢の範囲を、少ないカメラで効率的に拡げることができる。例えば、2台のカメラ102,112の光軸L2,L3の成す角が90度の場合は、±90度の範囲で顔方向が検出できることになる(図3参照)。
【0043】
なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の顔姿勢検出方法においては、法線ベクトルを算出する対象の対象者Aの基準部位群として、どちらかの鼻孔中心を除いた3つの特徴点を選択していたが、3つの特徴点の組合せとして様々な組合せを選択することができる。例えば、瞳孔中心を除いた特徴点を基準部位群としてもよい。
【図面の簡単な説明】
【0044】
【図1】本発明の第1実施形態にかかる撮像系と対象者との位置関係を示す平面図である。
【図2】図1のカメラの撮像レンズの主点を原点とした2次元座標系における画像平面と対象者との位置関係を示す図である。
【図3】本発明の第2実施形態にかかる撮像系と対象者との位置関係を示す平面図である。
【図4】本発明の比較例にかかる撮像系と対象者との位置関係を示す平面図である。
【符号の説明】
【0045】
1,101…撮像系、2,102,112…カメラ、3a,3b,103a,103b,113a,113b…光源、A…対象者。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3