TOP > 国内特許検索 > 顔姿勢検出システム > 明細書

明細書 :顔姿勢検出システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4501003号 (P4501003)
公開番号 特開2007-026073 (P2007-026073A)
登録日 平成22年4月30日(2010.4.30)
発行日 平成22年7月14日(2010.7.14)
公開日 平成19年2月1日(2007.2.1)
発明の名称または考案の名称 顔姿勢検出システム
国際特許分類 G06T   1/00        (2006.01)
G01B  11/26        (2006.01)
G06T   7/00        (2006.01)
FI G06T 1/00 340A
G06T 1/00 315
G01B 11/26 H
G06T 7/00 C
請求項の数または発明の数 6
全頁数 17
出願番号 特願2005-207090 (P2005-207090)
出願日 平成17年7月15日(2005.7.15)
審査請求日 平成19年3月16日(2007.3.16)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】岡本 俊威
参考文献・文献 特開平05-215531(JP,A)
特開平09-251342(JP,A)
特表2002-007095(JP,A)
特開2004-094491(JP,A)
特開2004-234367(JP,A)
特開平08-106519(JP,A)
特開2000-210270(JP,A)
特開2005-266868(JP,A)
特開2005-348832(JP,A)
調査した分野 G06T 1/00- 7/60
G01B 11/00-11/30
特許請求の範囲 【請求項1】
離間されて配置された一対のカメラと関連する照明手段を用いて、瞳孔と鼻孔の空間位置の検出をおこない、それらの位置関係より顔の位置と顔の向きを示す顔姿勢検出システムであって、
2個の瞳孔と2個の鼻孔の中心点に対応する瞳孔と鼻孔の三次元位置に相当する空間座標を測定算出する鼻孔と瞳孔位置を測定または推定により獲得する鼻孔と瞳孔位置獲得ステップと、
2個の瞳孔と右鼻孔からなる三角形平面の法線ベクトルを算出する右法線ベクトル算出ステップと、
2個の瞳孔と左鼻孔からなる三角形平面の法線ベクトルを算出する左法線ベクトル算出ステップと、
前記左右の法線ベクトルの合成ベクトルを算出する合成ベクトル算出ステップと
から構成した顔姿勢検出システム。
【請求項2】
請求項1記載の顔姿勢検出システムにおいて、
予め被験者の頭部を前記一対のカメラに対して予め定めた一定のキャリブレーション位置に配置して2次元画像上の2個の瞳孔と2個の鼻孔間に形成される対の間の距離と距離間の比率を記録するキャリブレーションステップおよび、
当該被験者の任意の鼻孔が検出できなかった場合は前記キャリブレーションデータに基づいて検出できなかった鼻孔を推定するステップを設けた顔姿勢検出システム。
【請求項3】
請求項1または2記載の顔姿勢検出システムにおいて、
前記一対のカメラ、関連する照明手段、および被験者の位置関係は、
前記照明手段が、被験者が正常姿勢または前記キャリブレーション位置にあるときに、鼻孔が斜め下方向から照射される位置とした顔姿勢検出システム。
【請求項4】
請求項1または2記載の顔姿勢検出システムにおいて、
前記照明手段は瞳孔に対して暗照明および明照明を可能とする照明手段である顔姿勢検出システム。
【請求項5】
請求項2記載の顔姿勢検出システムにおいて、
一度、左右の鼻孔が検出されたら、予測モデルを使用して鼻孔の存在すると予測される位置にウインドウを設け追尾して、片方の鼻孔が検出できなくなっても、検出できている鼻孔が左右、どちらのものかを特定するステップを設けた顔姿勢検出システム。
【請求項6】
請求項1記載の顔姿勢検出システムにおいて、
前記各三角形平面の重心の重心を求めるステップをさらに設け、前記合成ベクトルの方向を、前記重心の重心を顔の位置とするときの顔の方向とした顔姿勢検出システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、瞳孔と鼻孔の3次元位置を獲得し、それに基づいて顔の向きを代表することができる顔の方向ベクトルを得ることができる顔姿勢検出システムに関する。
【背景技術】
【0002】
顔の向きの検出は、人間が注意の方向を計測する上で重要であり、自動車のドライバーの余所見運転の防止にも役立つと考えられ、多くの出願(特許文献1~7)や研究がなされている。
また本件発明者も同種の目的のために、ステレオ測定により、瞳孔と鼻孔の座標位置を特定し、それらに基づいて、頭部の位置と方向を検出する方法の発明(特許文献8)および瞳孔の検出を容易にするために明瞳孔および暗瞳孔のデータを得て、瞳孔の2次元座標を高精度に検出する実時間瞳孔位置検出システムの発明(特許文献9)をしている。

【特許文献1】特開平05-215531
【特許文献2】特開平09-251342
【特許文献3】再公表WO02/007095
【特許文献4】特開2004-94491
【特許文献5】特開2004-234367
【特許文献6】特開平8-106519
【特許文献7】特開2000-210270
【特許文献8】特願2004-73998
【特許文献9】特願2004-170506
【0003】
これまで、顔の全体の輝度分布のおおよそをビデオカメラで検出し、その変化から顔の方向を推定したり、顔全体の形状に楕円を当てはめてその楕円の扁平度から顔の方向を検出する方法がある。しかし、精度は期待できない。また、顔の特徴点(たとえば、目頭,目じり,鼻孔,唇の両端など)をカメラで捉えて、それらの位置関係から顔の方向を推定する方法、さらに、精度を上げるために、2台のカメラによって三角測量の原理から、上述の顔の特徴点の3次元位置を計測し、それらの位置関係から顔の方向を捉える方法がある(非特許文献1) 。
しかし、顔の特徴点の画像をテンプレートマッチング法で探索するために、テンプレートを予め準備しなければならない点で面倒である。さらに環境光変動に弱い。その問題を比較的解決できる方法として、顔の特徴点として最も検出しやすいと考えられる黒目と鼻孔(2つの鼻孔の中心)を検出し、それらの位置関係から顔の方向を検出方法がある(非特許文献2)。
この方法は、照明条件がよければある程度の精度とロバスト性が望めると同時に、黒目や鼻孔が円形に近い形状をしているということを利用して、それらを検出するためにテンプレート画像が必要なく、それらのもっともらしい位置関係(たとえば、黒目の下に鼻孔がある;黒目どうしは大きく離れている、など)を検出条件に含めておくことで、特に学習の必要がない。しかし、黒目の検出精度や安定性は必ずしも高くなく精度を求めると難しい面がある。

【非特許文献1】松本 吉央 および A.ゼリンスキー 著 「頭部の方向と視線方向の実時間計測のアルゴリズム」(Y.Matsumoto and A.Zelinsky. An Algorithm for Realtime Stereo Vision Implementation of Head Pose and Gaze Direction Measurement.In Proc. of Fourth Int. Conf. on Automatic Face and Gesture Recognition (FG'2000), pages 499-505, 2000)
【非特許文献2】林 健太郎、橋本 学、鷲見 和彦 著 「頑健性と精緻性を備えた顔特徴点追跡による顔方向推定」電子情報通信学会,Vol.J84-D2 No.8 ,pp.1762-1771
【発明の開示】
【発明が解決しようとする課題】
【0004】
本件発明者は、人間の頭部に関する発明として、前述の特許文献8,9記載の発明をし、出願をしている。すでに出願済みの「瞳孔と鼻孔を用いた頭部の方向を検出する方法」(特許文献8)の発明は、顔の向きによって生ずる問題を解決するものである。この特許文献8記載の発明では、各カメラの画像中においてそれぞれ2個の鼻孔の中間位置の座標と2個の瞳孔位置の座標から、三角測量により、それら3点の3次元座標を求める。それらの3点を通る平面の法線ベクトルを求め、それを顔の方向とした。
しかし前記方法では顔の向きが左右に±15度を超えると、どちらかの鼻孔が検出できなくなる傾向がある。
【0005】
本件発明者の出願に係る(特許文献9)の「実時間瞳孔位置検出システム」によれば、瞳孔の位置を極めて安定に検出することができる。
カメラを少なくとも2台用意し、三角測量法ができるようにステレオカメラとして設置する。それら各カメラの光軸上もしくは開口部の周辺に近赤外線光源(LED)を並べる。それら2組の光源を、カメラのフィールド信号に同期させて交互に点滅させる。各カメラにおいて、それ自体に取り付けた光源が点灯するフィールドでは、瞳孔が明るく写る画像(明瞳孔画像)を得ることができる。これは、光源がカメラの開口部に近いからであり、いわゆる赤目現象に相当する。それに対して、互いに反対側の光源が点灯するフィールドでは瞳孔は暗く写る(暗瞳孔画像)。したがって、各カメラにおいて、明瞳孔画像と暗瞳孔画像が交互に得られる。これらを差分することにより、瞳孔だけが浮き彫りになり、画像処理によりロバスト性の高い瞳孔中心検出ができる。
【0006】
しかし、前述の瞳孔検出に比較して、鼻孔の検出は容易ではなく何れかの鼻孔の検出が困難になるとか、両方の鼻孔を識別できない等の問題がある。前記問題を解決するために、本発明では鼻孔の検出に改善を加え、両方の鼻孔の中心を得ることができるようにする。
そして、得られた鼻孔の位置に基づいて、2個の瞳孔と右鼻孔による平面における三角形の重心からの右法線ベクトルを算出し、同様にして2個の瞳孔と左鼻孔による平面における三角形の重心からの左法線ベクトルを算出する。
これらの法線ベクトルの合成により顔の方向ベクトルを得ようとするものである。
すなわち本発明の目的は、両瞳孔と両鼻孔のデータに基づいてより良く被験者の方向を代表することができ、かつ確実に取得できる(ロバスト性をもつ)ベクトルを検出することができる顔姿勢検出システムを提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本発明による請求項1記載の顔姿勢検出システムは、
離間されて配置された一対のカメラと関連する照明手段を用いて、瞳孔と鼻孔の空間位置の検出をおこない、それらの位置関係より顔の位置と顔の向きを示す顔姿勢検出システムであって、
2個の瞳孔と2個の鼻孔の中心点に対応する瞳孔と鼻孔の三次元位置に相当する空間座標を測定算出する鼻孔と瞳孔位置を測定または推定により獲得する鼻孔と瞳孔位置獲得ステップと、
2個の瞳孔と右鼻孔からなる三角形平面の法線ベクトルを算出する右法線ベクトル算出ステップと、
2個の瞳孔と左鼻孔からなる三角形平面の法線ベクトルを算出する左法線ベクトル算出ステップと、
前記左右の法線ベクトルの合成ベクトルを算出する合成ベクトル算出ステップと
から構成されている。
【0008】
本発明による請求項2記載の顔姿勢検出システムは、請求項1記載の顔姿勢検出システムにおいて、
予め被験者の頭部を前記一対のカメラに対して予め定めた一定のキャリブレーション位置に配置して2次元画像上の2個の瞳孔と2個の鼻孔間に形成される対の間の距離と距離間の比率を記録するキャリブレーションステップおよび、
当該被験者の任意の鼻孔が検出できなかった場合は前記キャリブレーションデータに基づいて検出できなかった鼻孔を推定するステップを設けたものである。
【0009】
本発明による請求項3記載の顔姿勢検出システムは、請求項1または2記載の顔姿勢検出システムにおいて、
前記一対のカメラ、関連する照明手段、および被験者の位置関係は、
前記照明手段が、被験者が正常姿勢または前記キャリブレーション位置にあるときに、鼻孔が斜め下方向から照射される位置としたものである。
本発明による請求項4記載の顔姿勢検出システムは、請求項1または2記載の顔姿勢検出システムにおいて、
前記照明手段は瞳孔に対して暗照明および明照明を可能とする照明手段とするものである。
【0010】
本発明による請求項5記載の顔姿勢検出システムは、請求項2記載の顔姿勢検出システムにおいて、
一度、左右の鼻孔が検出されたら、予測モデルを使用して鼻孔の存在すると予測される位置にウインドウを設け追尾して、片方の鼻孔が検出できなくなっても、検出できている鼻孔が左右、どちらのものかを特定するステップを設けたものである。
本発明による請求項6記載の顔姿勢検出システムは、請求項1記載の顔姿勢検出システムにおいて、
前記各三角形平面の重心の重心を求めるステップをさらに設け、前記合成ベクトルの方向を、前記重心の重心を顔の位置とするときの顔の方向としたものである。
【発明の効果】
【0011】
瞳孔と両方の鼻孔という明確な特徴点の3次元位置を検出でき、これを利用して顔の方向ベクトルを検出することができる。
なお片方の鼻孔が検出できない場合でも、その位置を推定して、両瞳孔および両鼻孔に基づく顔の方向ベクトルの検出を行なうことができるので、システムを複雑にしないでロバスト性の高い顔の方向ベクトルの検出が可能になる。顔の位置を代表する点も同様に検出でき、前記ベクトルをその点での方向とすることができる。なお実験によれば、左右角度にして±45度の広範囲の顔方向検出、垂直方向は上下±15度以上にわたって正しい検出が可能であることが実証されている。
【発明を実施するための最良の形態】
【0012】
以下図面等を参照して本発明による顔姿勢検出システムの実施の形態を説明する。図1は、本発明によるシステムでカメラと被験者の配置を示す略図的平面図であり、第20図に関連する斜視図を示してある。図2に、被験者またはユーザが斜め横方向に顔と眼を向けているときの鼻孔中心が撮影されている状態を示す。なお、瞳孔は暗瞳孔となっている。
離間されて配置された一対のカメラ1,2は被験者またはユーザを斜め下方向から照射するように照明手段5,6が配置されている(図20参照)。
照明手段5,6は各カメラの光軸上もしくは開口部の周辺に近赤外線光源(LED)を並べて構成する。それら2組の光源を、カメラのフィールド信号に同期させて交互に点滅させる。各カメラにおいて、それ自体に取り付けた光源が点灯するフィールドでは、瞳孔が明るく写る画像(明瞳孔画像)を得ることができる。これは、光源がカメラの開口部に近いからであり、いわゆる赤目現象に相当する。それに対して、互いに反対側の光源が点灯するフィールドでは瞳孔は暗く写る(暗瞳孔画像)。したがって、各カメラにおいて、明瞳孔画像と暗瞳孔画像が交互に得られる。これらを差分することにより、瞳孔だけが浮き彫りになり、画像処理によりロバスト性の高い瞳孔中心検出ができる。
【0013】
前述したように、鼻孔が写りやすくするためにカメラの位置を下げて配置する。例えば、20度~30度程度が適当である。ディスプレイの下方にワイドカメラを配置する。
カメラ1,2間の距離は100mmであり、カメラ前面に取り付けた多光源LEDをフィールド単位で交互に点滅させている。
この実施例では瞳孔の位置の検出を容易にするために、前記各カメラと被験者(ユーザ)の頭部10との関係において各カメラ1,2に対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される照明手段5,6等を準備する。前記カメラと前記照明手段を連動動作させ、被験者の頭部を撮影して、各瞳孔と鼻孔の像を明孔照明および暗孔照明で獲得する。なお明孔照明と暗孔照明を必須の構成要件とするものではない。
被験者(ユーザ)がカメラから50cm~80cm程の場所に座り、被験者(ユーザ)がカメラの存在する方向に顔を向けている場合を想定している。これらの配置は前述した引用文献8の場合と、照明手段の位置を除き共通する。
【0014】
本発明による顔姿勢検出システムは、基本的には前述の装置により、取得した2つの瞳孔と2つの鼻孔のデータを得る。このデータは何れか一方の鼻孔のデータが後述するステップで推定される場合を含んでいる。その他前記特許文献8と異なる点は顔の方向ベクトル検出ステップが、前記特許文献8の場合は唯一の三角形に基づくのに対して、本発明の場合は2個の瞳孔と右鼻孔による三角平面の重心からの右法線ベクトルを算出し、2個の瞳孔と左鼻孔による平面の重心からの左法線ベクトルを算出し、これらに基づいて、顔の方向ベクトルを求めることにより、測定の範囲とロバスト性を高めた点にある。以下何れか一方の鼻孔のデータが後述するステップで推定される場合を中心に説明する。
【0015】
顔以外の背景や顔の中にも鼻孔と同様に暗い部分があることが多く、その中から鼻孔を検出するには長い計算時間を要するか、ロバスト性に欠ける。そこで、次のようにロバスト性が高い瞳孔検出技術を活かして、鼻孔を検出する。まず、2個の瞳孔の中点を求める。そこからやや下に(瞳孔を含まないように)正面を向いているときにそれの中心がほぼ鼻孔位置に一致するように方形の大ウインドウを設定する。解析するのは、より鼻孔が暗く写る暗瞳孔画像からであり、明瞳孔画像や差分画像ではない。暗瞳孔画像に、上述の大ウインドウを設定し、その中だけを探索対象画像とする。まず、P-tile法により輝度が低いほうから0.8%の画素を検出する。0.8%という値は、鼻孔以外の部分が誤検出されないように故意に小さめに選んでいる。ただし、この値では鼻孔がかすれたような画像になる。そこで、画像の膨張と収縮(モルフォロジー処理)を繰り返し、かすれた画像から実際の鼻孔形状に類似した領域を作り出す。さらにラベリングを行い、大きなほうから2つの塊を選び出し、それぞれにおいて、上下左右端点より形成される長方形の中心と長方形の縦横比と面積を求める。縦横比が0.5より小さいか0.7より大きく、面積が100画素より小さいか300画素より大きい場合は鼻孔像ではないと判断し(画像全体を640×240画素としたとき)、そうではないときには、上述の長方形の中心を中心に30画素×30画素の小ウインドウを元の暗瞳孔画像に適用し、各小ウインドウ内において、P-tile法において輝度の低いほうから5%の画素を抽出する。さらに同様に、モルフォロジー処理を繰り返し、ラベリングを行い最大の塊を求める。その塊の面積が130画素以上か70画素以下の場合は鼻孔ではないと判断し、それ以外の場合は鼻孔であると判断し、その上下左右端点より形成される長方形の中心を鼻孔の中心として求める。
【0016】
上述のように大ウインドウと小ウインドウを設けて鼻孔検出を行なう理由のひとつは、先述の大ウインドウの中で単一の閾値で鼻孔を検出すると、顔を正面から回転させたときに、2つの鼻孔のそれぞれを検出するのに最適な閾値が変わってくるためであり、2個の鼻孔のそれぞれに別々に最適な閾値を与えるためである。
あるフレームにおいて、2つの鼻孔が検出された場合には、それらの中心のx座標の大きさから左右を判断する。いったん鼻孔が検出されたら、カルマンフィルタを用いて、次のフレームにおけるそれぞれの鼻孔位置を予測し、次のフレームの暗瞳孔画像におけるそれらの位置に初めから小ウインドウを与え、その中だけを上述の小ウインドウ内解析と同様に鼻孔探索を行なう。
【0017】
2つの小ウインドウの両方において、鼻孔がないと判断された場合には、次のフレームでは2つの小ウインドウを解除して、再度、大ウインドウを設定して、その中で前述の方法で鼻孔を検出する。片方の小ウインドウにおいて鼻孔がないと判断されたなら、先述のように、ないと判断された鼻孔の中心座標を推定する。さらに、鼻孔があると判断されたのが左右のどちらの鼻孔であるかを示す情報を維持しながら、カルマンフィルタによりその位置を次のフレームにおける同側鼻孔位置を予測し、予測された位置に小ウインドウを予め設定し、その中において、鼻孔探索を行なう。(ないと判断された鼻孔に関しては、設定された小ウインドウ以外の大ウインドウ中において、前述の同じ方法により閾値を設定し(P-tile法、0.4%)鼻孔を検出することを試みることもできる。)
【0018】
測定の基本的な流れを、図面等を参照して説明する。図2は、ユーザが斜め横方向に顔と眼を向けているときに、鼻孔中心が検出されている例を示している。
図3は大ウインドウの与え方を説明する略図である。図4に画像処理に用いる(a)暗瞳孔画像と、(b)明瞳孔画像を示してある。
鼻孔は、暗瞳孔画像から検出する。理由は、眼瞳孔を得るための光源は、カメラの光軸の近くにあるため、鼻孔の奥を照らしやすく、カメラから見たときに鼻孔以外のところとの輝度差が出にくいためである。なお、1枚のフィールドの画像は640H×240Vの分解能で得るものとする。
【0019】
(両瞳孔および鼻孔検出の基本的な流れ)
ステップ1.両瞳孔の各中心座標を取得する。
ステップ2.両瞳孔の中心座標の平均座標を計算し、それを基準に頭部が回転しても鼻孔が外れない位置に(ただし、2個の瞳孔よりも下の範囲)、大ウインドウを設定する(図3)。その中において鼻孔像探索を行う。
ステップ3.大ウインドウ内で鼻孔中心座標を取得する。
ステップ4.取得した鼻孔中心座標を中心として、30H×30Vの小ウインドウを適用する。
ステップ5.小ウインドウを適用した後は、カルマンフィルタにより次フレームの鼻孔位置を予測して、鼻孔に小ウインドウを適用しながら追尾する。
左右鼻孔ともに存在しないと判断されたら、小ウインドウを解除して再度ステップ1から4までを繰り返す。小ウインドウが左右鼻孔どちらかひとつが外れたとき(存在しないと判断されたとき)、または、大ウインドウで左右鼻孔どちらかひとつしか検出されなかったとき、ユーザキャリブレーションから得たデータを利用して、その鼻孔像中心座標を推定し鼻孔像探索を行う。
小ウインドウを与えるのは、その中で閾値を設定するために、より確実に鼻孔が検出できるためである。
上記の考えに基づいて構築した画像処理による鼻孔像検出アルゴリズムを実行した。
このように、ウインドウを鼻孔領域、左右鼻孔に適用し追尾していくことによりウインドウ外(鼻孔以外)のノイズの影響を受けずに安定して鼻孔を検出できる。この画像処理アルゴリズムの詳細については後述する。
【0020】
瞳孔像を検出した後に鼻孔像を検出する。画像処理による瞳孔検出は明瞳孔画像と暗瞳孔画像の差分画像から行う。
画像処理による鼻孔像検出では、瞳孔像検出の差分画像では鼻孔像を検出できない。また、明瞳孔画像では鼻孔像内に高輝度部が存在することがあり、安定して検出できない。そのため、鼻孔検出は鼻孔像がより低輝度となる暗瞳孔画像から行う。
【0021】
実際の画像では、照明条件が悪く背景部分の輝度値や対象部分の輝度値が画像全体で一定していない。そのため、固定閾値処理ではなく可変閾値処理を用いる。まず、Even画像の備考領域内の2値化を行うために輝度分布を作成する。図5に大ウインドウ、図6に小ウインドウの鼻孔領域を白線で示す。
【0022】
ウインドウ内における鼻孔像の面積は、およそ70~130画素であり、鼻孔領域の面積は大ウインドウ(60×160)では9600画素、小ウインドウ(30×30)では900画素である。これより、Pタイル法によりウインドウ内を2値化する。この実施例では面積比率を大ウインドウでは0.8%、小ウインドウでは5%とした。このときの大ウインドウ、小ウインドウの輝度分布および閾値を図7,8,9に示す。また、大ウインドウ、小ウインドウを2値化した画像を図10,11に示す(ただし、明るいところを黒(LOW)とし、暗いところを白(HIGH)としている。
元の画像と同じであるが、大ウインドウと小ウインドウでは、閾値が異なってくるため、両者間で鼻孔の2値化画像が変わり、小ウインドウのほうが確実に鼻孔が検出できることが予想できる。
【0023】
(モルフォロジ-処理)
図10および図11に大ウインドウ、小ウインドウにおける2値画像を示す。このような2値画像から正確な鼻孔中心を検出するのは難しい。そこでモルフォロジー処理を2値画像に施した後に中心を求める。ここで使用する処理は、膨張処理と縮小処理である。膨張処理とは、ここでは2値画像で注目する画像の8近傍に1つでもHIGH画素がある場合、注目する画像をHIGH画素に変換する処理であり、縮小処理とは2値画像で注目する画素の8近傍に1つでもLOW画素がある場合、注目する画素をLOW画素に変換する処理のことである。
はじめに、膨張を行った後に縮小処理を行う。この処理はクロージング処理と呼ばれる。図12~14に、大ウインドウにおける上記の処理を行なう過程を示す。
図12はクロージング処理後の画像を示す。次に、図13に示すように膨張処理を行う。最後に、再度、クロージング処理を行なう(図14)。
上記のようにして、鼻孔の中心を正確に求める。
【0024】
(鼻孔かどうかの判断方法と鼻孔中心座標の算出)
はじめに2値画像のHIGH領域を集合ごとに分けて考えるためラベル付けを行う。ラベル付けによって分けられた各集合に対して上下左右点より形成される長方形を考える。各長方形領域の縦横比が0.5より小さいか0.7より大きく、各長方形面積が100より小さいか300より大きい場合は鼻孔像ではないと判断する。鼻孔像であると判断した場合には、長方形の中心を求め、それを鼻孔像の中心座標とする。図15Aに、大ウインドウにおける鼻孔像中心算出の結果例を示し、図15Bに、2つの小ウインドウ内における鼻孔像中心算出の結果例を示す。
【0025】
(カルマンフィルタの適用)
検出された鼻孔中心座標を用いて、次フレームの鼻孔位置をカルマンフィルタにより推定する。
ステレオカメラにおける鼻の追尾は、ウインドウを適用して場所を限定して解析することにより、鼻孔検出の精度と処理速度を向上させている。しかし、頭部の移動が大きな場合や速く動く場合にはウインドウサイズを大きくしなければ追尾できなくなってしまうという問題があった。そこで、小さなウインドウサイズにおいても追尾が行えるようにカルマンフィルタを用いて、鼻孔の位置変化を予測して追尾させることにより、頭部の移動がある場合においても、安定した鼻孔検出が行えるようにした。
【0026】
(ユーザキャリブレーション)
次に図16を参照してユーザキャリブレーションについて説明する。
ユーザによって瞳孔位置、鼻孔位置、鼻孔形状は異なる。また、顔方向においてもユーザによって正面と考える方向が異なるため、ユーザにおける瞳孔位置、鼻孔位置、鼻孔形状、ユーザ自身が正面と考える顔方向をあらかじめ把握(以下、ユーザキャリブレーション)しておく必要がある。図16に示すようにディスプレイの中心に例えば直径1cmの円を表示する。次に、この円を注視し(視線を向ける)、ディスプレイに対してユーザ自身が正面と考える方向に5秒間顔を向ける。この間鼻孔検出処理と顔方向算出処理を行い、ユーザ自身が正面と考える顔方向をユーザの正面方向とする。このときの各カメラの画像中の2つの瞳孔中心座標と2つの鼻孔中心座標を求めておくことがユーザキャリブレーションである。これらの情報を片方の鼻孔が検出できないときに使用され、両方の鼻孔が検出できるときは不要である。
【0027】
(鼻孔推定法)
ユーザが頭部を回転させるとき、常に左右両方の鼻孔像を検出するのは困難である。そこで、片方の鼻孔像(以下、片鼻孔)のみ検出されたとき、検出されなかった鼻孔像を推定する。
鼻孔領域から鼻孔を検出する際、鼻孔面積が130より大きいか70より小さい場合は、鼻孔対象から除外する。これは鼻孔には際立った特徴がなく、誤って雑音を鼻孔像として検出する可能性があるためである。そこで、1つの鼻孔しか検出されなかった場合、もう1つの鼻孔の中心を求める。
ユーザキャリブレーションより取得した右瞳孔中心を(XRP0 ,YRP0 )、左瞳孔中心(XLP0 ,YLP0 )、右鼻孔中心(XRN0 ,YRN0 )、左鼻孔中心(XLN0 ,YLN0 )とする(図17(a))。次に、顔を動かしたある時点の右瞳孔中心を(XRP,YRP)、左瞳孔中心(XLP,YLP)、右鼻孔中心(XRN,YRN)、左鼻孔中心(XLN,YLN)とする(図17(b))。図17(b)では左鼻孔が検出されなかった場合を示している。
【0028】
キャリブレーションの瞳孔間距離DP0、鼻孔間距離DN0を求める。

P0={(XRP0 -XLP02 +(YRP0 -YLP021/2 (1)

N0={(XRN0 -XLN02 +(YRN0 -YLN021/2 (2)

次に、顔を動かしたある時点の瞳孔傾斜IP 、瞳孔間距離DP を求める。

P =(YRP-YLP)/(XRP-XLP) (3)

P ={(XRP-XLP2 +(YRP-YLP21/2 (4)

両瞳孔と両鼻孔は常に平行であると考える。このとき鼻孔傾斜IN は式(6)のようになる。
N =IP (6)

顔を動かしたある時点の鼻孔間距離を、ユーザキャリブレーションにより求めた瞳孔間距離と鼻孔間距離と顔を動かしたある時点の瞳孔間距離より求める。
P :DN =DP0:DN0

N =(DN0/DP0)×DP (5)

N 、DN は式(6),(7)のようになる。

N =(YRN-YLN)/(XRN-XLN) (6)

N ={(XRN-XLN2 +(YRN-YLN21/2 (7)

左の鼻孔の中心座標は次式で表すことができる。

LN=XRN-{DN2 /(1+IN2 )}1/2 (8)

LN=YRN-{(DN2・IN2 )/(1+IN2 )}1/2 (9)

【0029】
しかし、ここで、左の鼻孔が検出できなかったとすると、(XLN,YLN)が不明なため(6)式と(7)式からは,IN とDN が求まらないため、代わりに、(3)式と(6)式からIN を算出し、(3)式と(5)式からDN を算出し、これらを(8)式と(9)式に代入して,左鼻孔の中心座標(XLN,YLN)を推定する。
逆に、右鼻孔が検出できなかったとすると、(XRN,YRN)は次の2式で求める。

RN=XLN+{DN2 /(1+IN2 )}1/2 (10)

RN=YLN+{(DN2・IN2 )/(1+IN2 )}1/2 (11)
【0030】
(顔方向算出法)
左瞳孔中心、右瞳孔中心、左鼻孔中心、右鼻孔中心の4点の三次元座標を求める。今、右瞳孔中心、左瞳孔中心、左鼻孔中心、右鼻孔中心の三次元座標をそれぞれ、(XPR,YPR,ZPR)、(XPL,YPL,ZPL)、(XNL,YNL,ZNL)、(XNR,YNR,ZNR)と算出されたとする。
左瞳孔中心と右瞳孔中心と左鼻孔中心を通る平面の法線
【数1】
JP0004501003B2_000002t.gif
は、次の(12)式で与えられる。
LX=(YNL-YPL)(ZPR-ZPL)-(YPR-YPL)(ZNL-ZPL
LY=(ZNL-ZPL)(XPR-XPL)-(ZPR-ZPL)(XNL-XPL) (12)
LZ=(XNL-XPL)(YPR-YPL)-(XPR-XPL)(YNL-YPL

同様に、左瞳孔中心と右瞳孔中心と右鼻孔中心を通る平面の法線ベクトル
【数2】
JP0004501003B2_000003t.gif
が求められる。これらの合成ベクトルを、最終的な顔方向ベクトルとして
【数3】
JP0004501003B2_000004t.gif
によって求める。
【0031】
図18は、各平面の法線ベクトルと顔方向ベクトルの関係を示す。
顔の水平角αH と垂直角βV
αH =-tan-1(nX /nZ ) (13)
βV =-tan-1{nY /(nX 2 +nZ 21/2 } (14)
で与えられる。

図19は、図18に示すベクトルと被験者の写真との対応を示す。
また、顔の位置は次のように求めることもできる。図18において2つの三角形のそれぞれの重心(XR,R,R ),(XL,L,L )はそれぞれ次式で与えられる。

(XR,R,R
={(XPR+XPL+XNR)/3,(YPR+YPL+YNR)/3,(ZPR+ZPL+ZNR)/3} (15)

(XL,L,L
={(XPR+XPL+XNL)/3,(YPR+YPL+YNL)/3,(ZPR+ZPL+ZNL)/3} (16)

さらに、これらの重心(XC,C,C )は次式で与えられる。

(XC,C,C
={(XR +XL )/2,(YR +YL )/2,(ZR +ZL )/2 }
(17)

最終的に、顔の位置と顔の方向の情報を合わせた顔姿勢は(XC,C,C )を通り、
【数4】
JP0004501003B2_000005t.gif
すなわち、前記ベクトルは空間内の一点(XC,C,C )における方向を示すことになり、顔の位置と顔の方向を示すものとなる。
なお、顔の位置(XC,C,C )として、次式のように2個の瞳孔位置と2個の鼻孔位置の重心を用いても良いことは自明である。
(XC,C,C
={(XPR+XPL+XNR+XNL)/4,(YPR+YPL+YNR+YNL)/4,
(ZPR+ZPL+ZNR+ZNL)/4} (18)
【0032】
(鼻孔検出率測定実験)
ユーザキャリブレーションを行った後、被験者にカメラの前から60cmほどの場所に座ってもらった。被験者には、図20のように、ほぼ垂直角度が0度の高さに、水平角度にして0度(正面)、±15度、±30度、±45度に相当する位置に取り付けたマーカの方向に顔を向けてもらい、400フレーム分を撮影した。その間、被験者には頭を動かさないように指示した。
この実験では3人の被験者に実験を行った。表1に400フレームの鼻孔検出の成功、失敗、瞬き、片鼻孔推定を行った回数、成功率(成功/(成功+失敗))を1台のカメラの画像処理について示した。ここで、瞬きをした場合には、顔方向は求められないので、成功率を求めるときに除外してある。
【0033】
【表1】
JP0004501003B2_000006t.gif

【0034】
被験者3名の鼻孔形状は異なったが、表1からわかるように被験者A、B、Cともに水平方向の頭部回転運動で-45度から45度において鼻孔像検出率が97.9%以上であった(平均:99.5%)。
回転角が-30度→-45度、または、30度→45度となるにつれて、いずれの被験者においても片鼻孔推定が多くなっていた。片鼻孔推定により推定された鼻孔中心が実際の画像における鼻孔中心とほぼ同じ位置であったため、鼻孔像の検出に成功したものと考えられる。
また、顔方向を検出する上で両瞳孔、両鼻孔の4点が検出される必要がある。そのため、被験者が瞬きを行ったときのフレーム数は鼻孔検出成功率には影響を受けないものと考えた。各被験者の1回における瞬きのフレーム数は、今回の瞳孔検出システムにおいては4~5フレームであった。
この結果から、鼻形状や鼻孔形状が変化しても鼻孔像検出において問題はなく、水平方向回転運動においても-45度~45度の範囲では鼻孔像検出が可能であることが示せた。
【0035】
(顔方向検出実験)
図21Aは、ユーザキャリブレーションを行った後、被験者にカメラの前から60cmほどの場所に座ってもらい、顔の方向を中央(0度)から右45度まで動かしてさらに0度まで戻してもらったときの水平顔方向の推定値を示している。また、図21Bは正面を中心に上下±15度の範囲で頭部を動かしてもらったときの垂直顔方向の推定値を示している。
図からわかるように、今回の実験で行った各指標までの水平方向、垂直方向における顔方向の回転角度は、多少のばらつきはあったものの各被験者の顔方向を検出できたことがわかる。
また、各指標まで頭部の回転運動を行ったが、目標とする回転角度を下回っていたり、上回っていた。これは、各被験者が指標まで回転運動したと考える角度が目標とする角度と異なっていた可能性も考えられる。
【産業上の利用可能性】
【0036】
本発明による顔姿勢検出システムは、顔の方向を代表する顔の方向ベクトルを確実に相当な範囲内で算出することができるので、自動車等の運転支援システムの運転者の運転状態の検出やその他のユーザの指向方向の検出などに広く利用できる。
【図面の簡単な説明】
【0037】
【図1】本発明によるシステムでカメラと被験者の配置を示す平面図である。
【図2】ユーザが斜め横方向に顔と眼を向けているときの鼻孔中心が撮影されている状態を示す図である。なお、瞳孔は暗瞳孔となっている。
【図3】大ウインドウの付与状態を説明するための略図である。
【図4】画像処理に用いる(a)暗瞳孔画像と、(b)明瞳孔画像を示す図である。
【図5】暗瞳孔画像に大ウインドウを適用した状態を示す図である。
【図6】暗瞳孔画像に小ウインドウを適用した状態を示す図である。
【図7】暗瞳孔画像の大ウインドウ内の輝度ヒストグラムを示すグラフである。
【図8】暗瞳孔画像において左鼻孔に与えられた小ウインドウ内の輝度ヒストグラムを示すグラフである。
【図9】暗瞳孔画像において右鼻孔に与えられた小ウインドウ内の輝度ヒストグラムを示すグラフである。
【図10】大ウインドウ内を2値化した後の画像である。
【図11】2つの小ウインドウにおける2値化画像であって、左は左鼻孔の2値化画像、右は右鼻孔の2値化画像を示す。
【図12】クロージング処理後の画像を示す。
【図13】膨脹処理後の画像を示す。
【図14】再度クロージング処理を行った後の画像を示す。
【図15A】大ウインドウにおける鼻孔像中心を算出した状態を示す図である。
【図15B】小ウインドウにおける鼻孔像中心を算出した状態を示す図である。
【図16】ユーザキャリブレーションの原理を説明するための略図である。
【図17】(a)はユーザキャリブレーション時の瞳孔と鼻孔の位置関係、(b)は顔を回転させたときの瞳孔と鼻孔の位置関係を説明するための略図である。
【図18】左右瞳孔と左鼻孔を含む平面、左右瞳孔と右鼻孔を含む平面の各法線ベクトルと顔方向ベクトル(合成ベクトル)を示す略図である。
【図19】図18に示すベクトルと被験者の写真との対応を示す略図である。
【図20】鼻孔検出率測定実験における視標の方向を示す略図である。
【図21A】頭部を水平方向に回転させた顔方向検出実験における水平方向の回転角度の変移を示すグラフである。
【図21B】頭部を垂直方向に回転させた顔方向検出実験における垂直方向の回転角度の変移を示すグラフである。
【符号の説明】
【0038】
1,2 カメラ
3,4 カメラの開口
5,6 照明手段
10 被験者(ユーザ)の頭部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15A】
14
【図15B】
15
【図16】
16
【図17】
17
【図18】
18
【図19】
19
【図20】
20
【図21A】
21
【図21B】
22