Top > Search of Japanese Patents > (In Japanese)特徴点追跡方法及び特徴点追跡装置 > Specification

Specification :(In Japanese)特徴点追跡方法及び特徴点追跡装置

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5429885
Date of registration Dec 13, 2013
Date of issue Feb 26, 2014
Title of the invention, or title of the device (In Japanese)特徴点追跡方法及び特徴点追跡装置
IPC (International Patent Classification) G06T   7/20        (2006.01)
FI (File Index) G06T 7/20 B
Number of claims or invention 6
Total pages 19
Application Number P2010-521735
Date of filing Jul 23, 2009
International application number PCT/JP2009/063197
International publication number WO2010/010926
Date of international publication Jan 28, 2010
Application number of the priority 2008191136
Priority date Jul 24, 2008
Claim of priority (country) (In Japanese)日本国(JP)
Date of request for substantive examination Jul 19, 2012
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】海老澤 嘉伸
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
Examiner (In Japanese)【審査官】千葉 久博
Document or reference (In Japanese)特開2007-268026(JP,A)
特開2007-172237(JP,A)
特開2007-026073(JP,A)
特開2005-309992(JP,A)
特開2003-015816(JP,A)
国際公開第02/007095(WO,A1)
Field of search G06T 7/20
G06T 1/00
H04N 5/225
Scope of claims (In Japanese)【請求項1】
対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、
前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出ステップと、
過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、
当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測ステップと、
当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出ステップとを備え、
前記位置検出ステップでは、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡方法。
【請求項2】
前記位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、前記特徴部位群用のウィンドウのサイズを調整する、
ことを特徴とする請求項1記載の特徴点追跡方法。
【請求項3】
前記位置検出ステップでは、過去の撮像タイミングにおいて前記特徴部位群の画像の検出が失敗した場合には、前記特徴部位群用の前記ウィンドウのサイズを大きくする、
ことを特徴とする請求項1又は2に記載の特徴点追跡方法。
【請求項4】
前記位置検出ステップでは、前記ウィンドウを対象にして所定の閾値を用いて前記画像フレームを2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記2値化画像内の連結エリアの最大面積の微分値が、最大になるような前記所定の閾値との関係に基づいて、前記所定の閾値を決定する、
ことを特徴とする請求項1~3のいずれか1項に記載の特徴点追跡方法。
【請求項5】
前記位置検出ステップでは、前記ウィンドウを対象にして前記画像フレームの所定割合の画素を2値化することで2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記変換係数予測ステップで予測された前記顔座標系の前記回転角度に基づいて前記特徴部位群のいずれかの前記画像フレーム上の推定像を予測し、前記推定像を基に前記所定割合の値を決定する、
ことを特徴とする請求項1~4のいずれか1項に記載の特徴点追跡方法。
【請求項6】
対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、
前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出手段と、
過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、
当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測手段と、
当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出手段とを備え、
前記位置検出手段は、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡装置。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、対象者の画像に基づいて対象者の特徴点を追跡する特徴点追跡方法及び特徴点追跡装置に関するものである。
【背景技術】
【0002】
従来から、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させたり、運転者の眠気を検知したりする目的において、対象者の瞳孔等の特徴点を追跡する技術が開発されている。例えば、時系列のフレーム画像から瞳孔等の特徴点を検出する技術が知られている(下記特許文献1及び下記特許文献2参照)。
【0003】
下記特許文献1に開示された瞳孔検出方法では、瞳孔を検出するために時間的に連続する2つの画像の差分を取る際に、鼻孔の位置のずれ量を検出してそのずれ量に対応する分だけずれを打ち消す方向に画像の位置補正を行った後に2つの画像を差分するとするものである。また、下記特許文献2に開示された瞳孔検出方法では、角膜反射位置のずれ量に対応する分だけ画像の位置補正を行った後に上記と同様にして2つの画像を差分するというものである。これらの位置補正は画像を撮影するタイミング間の時間差の補正を目的としている。
【先行技術文献】
【0004】

【特許文献1】特開2007-268026号公報
【特許文献2】特開2008-029702号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、鼻孔の位置のずれ量を利用して画像補正する場合には、頭部の回転時には鼻孔の移動量と瞳孔の移動量が一致しないために瞳孔の検出精度が十分でない場合がある。また、角膜反射のずれ量を利用して画像補正する場合は、視線方向がカメラの光軸方向と大きくずれていると角膜反射が現れないため、画像の補正が機能しない傾向にあった。
【0006】
そこで、本発明は、かかる課題に鑑みて為されたものであり、時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることが可能な特徴点追跡方法及び特徴点追跡装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の特徴点追跡方法は、対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、特徴部位群の3次元位置を時系列で検出する位置検出ステップと、過去の撮像タイミングにおける特徴部位群の3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、当該算出された顔座標系の基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける顔座標系の回転角度及び変位を予測する変換係数予測ステップと、当該予測された回転角度及び変位に基づいて、現在の撮像タイミングの特徴部位群の3次元予測位置を算出する予測位置算出ステップとを備え、位置検出ステップでは、当該算出された特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの特徴部位群用のウィンドウを設定し、それぞれのウィンドウを対象にして特徴部位群の画像を検出する。
【0008】
或いは、本発明の特徴点追跡装置は、対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、特徴部位群の3次元位置を時系列で検出する位置検出手段と、過去の撮像タイミングにおける特徴部位群の3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、当該算出された顔座標系の基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける顔座標系の回転角度及び変位を予測する変換係数予測手段と、当該予測された回転角度及び変位に基づいて、現在の撮像タイミングの特徴部位群の3次元予測位置を算出する予測位置算出手段とを備え、位置検出手段は、当該算出された特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの特徴部位群用のウィンドウを設定し、それぞれのウィンドウを対象にして特徴部位群の画像を検出する。
【0009】
このような特徴点追跡方法及び特徴点追跡装置によれば、対象者の3つの特徴点の組み合わせである特徴部位群が撮像されてその3次元位置が時系列で検出され、過去の撮像タイミングでの特徴部位群の3次元位置に基づいて、特徴部位群を基準にした顔座標系の基準座標系からの回転角度及び変位が算出され、この回転角度及び変位に基づいて現在の撮影タイミングでの顔座標系の回転角度及び変位が予測されて特徴部位群の現在の撮影タイミングでの3次元予測位置が算出された後、現在の特徴部位群の画像の検出に際しては、この算出された3次元予測位置に基づいて画像フレーム上にウィンドウが設定される。これにより、対象者の頭部の任意の動きに対しても時系列の画像フレーム中の特徴部位群の位置を予測することができ、時系列の画像フレーム中の特徴部位群を正確に追跡することが可能になる。その結果、対象者の頭部を対象にした特徴点追跡処理のロバスト性を向上させることができる。
【発明の効果】
【0010】
本発明による特徴点追跡方法及び特徴点追跡装置によれば、時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の好適な一実施形態である特徴点追跡装置を示す平面図である。
【図2】図1のカメラの撮像レンズの主点を原点とした2次元座標系における画像平面と特徴点の3次元座標との関係を示す図である。
【図3】図1の画像処理装置で設定されるカメラ座標系と顔座標系との位置関係を示す図である。
【図4】図3のカメラ座標系から顔座標系への座標変換を説明するための図である。
【図5】図3のカメラ座標系から顔座標系への座標変換を説明するための図である。
【図6】図3のカメラ座標系から顔座標系への座標変換を説明するための図である。
【図7】図3のカメラ座標系から顔座標系への座標変換を説明するための図である。
【図8】本実施形態の特徴点追跡方法による左右の瞳孔の検出結果を示すグラフである。
【図9】従来の瞳孔検出方法による左右の瞳孔の検出結果を示すグラフである。
【図10】図1の画像処理装置で設定される2値化閾値と、検出される連結成分の最大面積との関係を示すグラフである。
【図11】顔座標系における鼻孔方向ベクトルの方向及び位置を示す図である。
【図12】顔座標系における鼻孔方向ベクトルの方向及び位置を示す図である。
【図13】顔座標系における鼻孔方向ベクトルの方向及び位置を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ本発明に係る特徴点追跡方法及び特徴点追跡装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0013】
まず、本発明にかかる特徴点追跡方法を実施するための特徴点追跡装置の構成について、図面を参照しながら説明する。本発明の特徴点追跡装置は、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させるポインティングデバイスや、瞳孔の動きを監視して運転者の眠気を検知する眠気検知システム等として利用される。

【0014】
図1は、本発明の好適な一実施形態である特徴点追跡装置10を示す平面図である。同図に示すように、特徴点追跡装置10は、対象者Aの顔画像を撮像する1台のカメラ(撮像手段)2と、カメラ2の前面2aの撮像レンズの近傍に設けられた光源3aと、カメラ2の前面2aから離れた位置に設けられた光源3bと、カメラ2及び光源3a,3bと接続された画像処理装置1とを備えている。この画像処理装置1は、特徴点追跡処理における位置検出手段、変換係数算出手段、変換係数予測手段、予測位置算出手段として機能する。

【0015】
カメラ2は、対象者Aの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、CCD、CMOS等の撮像素子を内蔵するデジタルカメラを用いる。このカメラ2は、対象者Aがカメラ2の撮像レンズ(図示せず)の光軸L1上に位置するように配置されている。

【0016】
光源3aは、カメラ2の光軸L1に沿って、光軸L1上に位置する対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源3bは、光軸L1からの距離が光源3aよりも離れた位置に固定され、光軸L1に沿って対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、2つの光源3a,3bから照射される照明光が瞳孔の部分に輝度差を生じさせるような異なる波長成分(例えば、中心波長が850nmと950nm)を有するように設定され、かつ、光源3bは光軸L1からの距離が光源3aと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。

【0017】
なお、カメラ2及び光源3a,3bは、対象者Aが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Aの鼻孔を検出し易くする目的で、対象者Aの顔の高さよりも低い位置(例えば、光軸L1の水平面に対する傾斜角が20~35度となり、光軸L1が対象者Aの方向を向くような位置)に設けられることが好ましい。

【0018】
画像処理装置1は、カメラ2による撮像、及び光源3a,3bによる照明光の照射を制御するとともに、カメラ2によって取得された対象者Aの頭部画像に基づいて、対象者Aの瞳孔、鼻孔等の特徴点を追跡する処理を実行する(詳細は後述する。)。

【0019】
次に、上述した特徴点追跡装置10の動作について説明するとともに特徴点追跡装置10を用いた特徴点追跡方法について説明する。

【0020】
まず、対象者Aの左右の瞳孔中心及び左右の鼻孔中心の4つの各特徴点(特徴部位群)間の距離を実測しておく。次に、対象者Aをカメラ2の光軸L1上に位置させ、画像処理装置1によって撮像タイミング及び照明タイミングが制御されることにより、任意の方向を向いた対象者Aの顔画像が時系列で撮像される。このようにしてカメラ2によって生成された時系列の画像フレームは画像処理装置1に送られ、画像処理装置1によってそれぞれのフレーム画像上の左右の瞳孔中心の2次元座標、及び左右の鼻孔中心の中間点の2次元座標が検出される。その後、画像処理装置1によって、これらの2次元座標が3次元座標に変換される(以上、位置検出ステップ)。

【0021】
ここで、位置検出ステップにおける処理について、詳細に説明する。

【0022】
(位置検出ステップ)
対象者Aの撮像時には、画像処理装置1は、光源3a,3bを交互に点灯させて、それぞれの点灯に同期した顔画像を交互に生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源3aの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源3bの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの2種類の画像は、2つの光源3a,3bからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。例えば、フィールド走査を採用するカメラの場合は、光源3a,3bをカメラ2のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離することができる。そして、画像処理装置1は、明瞳孔画像と暗瞳孔画像のそれぞれの所定位置にウィンドウを設定し、互いのウィンドウ内の画像間で明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。これらのウィンドウは、後述するように、過去の撮像タイミングにおける瞳孔中心の3次元位置に基づいてその位置が設定される。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。

【0023】
その後、画像処理装置1は、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施された画像を用いて、その画像を2値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開2005-348832号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。

【0024】
さらに、画像処理装置1は、左右の鼻孔中心の2次元座標及びそれらの中間点の2次元座標を、明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Aが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、画像の大ウィンドウ内を対象にP-tile法により輝度が低いほうから0.8%の画素を検出し、HIGH画素及びLOW画素からなる2値化画像に変換する。その後、検出された2値化画像の膨張処理及び収縮処理(モルフォロジー処理)を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから2つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、2値画像中で対象画素の近傍の8画素の1つでもHIGH画素がある場合に、対象画素をHIGH画素に変換する処理であり、収縮処理とは、2値画像中で対象画素の近傍の8画素の1つでもLOW画素がある場合に、対象画素をLOW画素に変換する処理である。そして、縦横比が0.5より小さいか0.7より大きく、かつ、全体の画像サイズが640×240画素に対して面積が100画素より小さいか300画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に30×30画素の小ウィンドウを設定し、もとの画像の小ウィンドウ内を対象に、P-tile法により輝度が低いほうから5%の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が130画素以上か70画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、2つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。

【0025】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる2つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。

【0026】
ここで、対象者Aを撮像する特徴点追跡装置10におけるカメラ光学系は、図2に示すように焦点距離fのピンホールモデルと仮定することができる。同図に示すように、画像処理装置1が検出したフレーム画像上の右瞳孔、左瞳孔、左鼻孔、及び右鼻孔の中心点の2次元座標を、それぞれ、Q1(x1,y1)、Q2(x2,y2)、Q3(x3,y3)、及びQ4(x4,y4)とする。この場合、ピンホールを原点Oとしたカメラ座標系(基準座標系)X-Y-Zにおける各特徴点の3次元座標Qnは、(xn,yn,f)(n=1,2,3,4)で表される。また、ピンホールOから各特徴点へ向かう位置ベクトルに対応した単位ベクトルは、下記式(1);
【数1】
JP0005429885B2_000002t.gif

で表され、各特徴点の位置ベクトルは定数an(n=1,2,3,4)を用いて下記式(2);
【数2】
JP0005429885B2_000003t.gif

で表される。

【0027】
なお、各特徴点間の距離Lmn(m,n=1,2,3,4)は予め測定され既知であるので、両瞳孔P1,P2と左鼻孔P3を組み合わせた三角形について考えると、下記式(3);
【数3】
JP0005429885B2_000004t.gif

が成立する。従って、画像処理装置1は、3つの特徴点P1,P2,P3についての次の連立方程式(4)を解くことにより、カメラ座標系における位置ベクトルP1,P2,P3を求めることができる。同様に、位置ベクトルP4及び左右の鼻孔中心の中間点の位置ベクトルP0も算出することができる。さらに、画像処理装置1は、特徴点P0,P1,P2の重心G(xG,yG,zG)、及び特徴点P0,P1,P2を通る平面の法線ベクトルVF=(nx,ny,nz)を求める。この法線ベクトルVFは、対象者Aの顔方向を示している。
【数4】
JP0005429885B2_000005t.gif

【0028】
上記位置検出ステップを時間的に連続した画像フレームで実行する毎に、画像処理装置1は、過去の画像フレームで検出した特徴点P0,P1,P2の3次元位置に基づいて顔座標系のカメラ座標系からの回転角度及び変位を算出する(変換係数算出ステップ)。

【0029】
(変換係数算出ステップ)
図3に示すように、カメラ座標系XYZに対して特徴点P0,P1,P2及びそれらの重心Gを基準にした顔座標系xyzを定義する。このx軸、y軸、z軸は、顔座標系の原点が重心Gとなるように設定される。また、同図に示すように、y軸上にあって負値をとるように設定された鼻孔間中点P00、及びxy平面上に位置するように設定された瞳孔位置P10,P20に対応する姿勢を顔座標系xyzに対応する基準姿勢と定義する。

【0030】
画像処理装置1は、以下のようにして、ある撮像タイミングにおける特徴点P0,P1,P2に対応した顔座標系を求めることができる。まず、図4に示すように、法線ベクトルVFのY軸のまわりの回転角αは、Z軸からX軸へ向かう角度を正とすると、下記式(5);
【数5】
JP0005429885B2_000006t.gif

によって求まる。

【0031】
次に、図5に示すように、Y軸周りに回転角αだけ回転させたX軸及びZ軸をX’軸及びZ’軸とすると、法線ベクトルVFのX’軸周りの回転角βは、Y軸からZ’軸へ向かう角度を正とすると、下記式(6);
【数6】
JP0005429885B2_000007t.gif

によって求まる。

【0032】
さらに、図6に示すように、X’軸周りに回転角βだけ回転させたY軸及びZ’軸をY’軸及びZ’’軸とすると、Z’’軸と法線ベクトルVFは一致することになる。このようにして得られたX’軸,Y’軸Z’’軸が任意の時点での法線ベクトルVFに対応する顔座標系となる。画像処理装置1は、上記のようにして、顔座標系のカメラ座標系からの回転角度α、β及び原点の変位を算出することができる。

【0033】
従って、画像処理装置1は、カメラ座標系の特徴点の3次元座標Pn(n=0,1,2)を、下記式(7);
【数7】
JP0005429885B2_000008t.gif

を用いて顔座標系における座標Pn’に変換することができる。ここで、Tx(β)及びTy(α)は下記式(8);
【数8】
JP0005429885B2_000009t.gif

によって定義される。

【0034】
このようにして得られた顔座標系における対象者Aの基準姿勢の特徴点座標をP00,P10,P20とすると、対象者Aの特徴点座標P0’,P1’,P2’は顔座標系のxy平面上に位置するため、画像処理装置1は、任意のタイミングでの対象者Aの姿勢に関する基準姿勢からのz軸周りの回転角γを算出することができる。顔座標系のz軸の正方向から見た基準姿勢の特徴点座標と、対象者Aの特徴点座標との関係を図7に示す。なお、回転角γは、x軸からy軸へ向かう方向を正とする。例えば、基準姿勢の特徴点座標P00と検出された対象者Aの特徴点座標P0’に基づいて、下記式(9);
【数9】
JP0005429885B2_000010t.gif

を用いて回転角γを算出する。

【0035】
これにより、画像処理装置1は、顔座標系における顔重心Gの周りの任意の点の位置ベクトルを、下記式(10)及び(11)で計算される変換行列を用いて、カメラ座標系における位置ベクトルに変換できる。
【数10】
JP0005429885B2_000011t.gif

【数11】
JP0005429885B2_000012t.gif

また、画像処理装置1は、カメラ座標系上の任意点の位置ベクトルを、下記式(12);
【数12】
JP0005429885B2_000013t.gif

により顔座標系上の位置ベクトルに変換することもできる。

【0036】
上記変換係数算出ステップの後に、画像処理装置1は、過去のタイミングの画像フレームに対して算出された回転角度(α,β,γ)及び重心位置Gに基づいて、処理対象の撮像タイミングにおける顔座標系の回転角度(α,β,γ)及び原点の変位を予測する(変換係数予測ステップ)。

【0037】
(変換係数予測ステップ)
具体的には、画像処理装置1は、時間的に連続するフィールド画像間で対象者Aの顔方向と顔重心は連続的に変化するので、処理対象の画像フレームの顔姿勢の回転角度及び顔重心を、過去のフィールド画像から予測することができる。例えば、画像処理装置1は、m番目のフィールド画像の回転角度(α,β,γ)及び重心位置Gと、その直前のm-1番目のフィールド画像の回転角度(α,β,γ)及び重心位置Gとを利用して、カルマンフィルター等の予測手法を用いることによって、m+1番目のフィールド画像の予測回転角度(αp,βp,γp)及び予測重心位置Gpを予測する。

【0038】
(予測位置算出ステップ)
その後、画像処理装置1は、変換係数予測ステップによって予測された処理対象のフィールド画像の予測回転角度(αp,βp,γp)及び予測重心位置Gpを参照して顔座標系の基準姿勢における特徴点座標を求めることによって、左右の瞳孔中心及び左右の鼻孔中心の3次元予測位置の座標を算出する。さらに、画像処理装置1は、算出した3次元予測位置の座標に対して、式(10)により与えられる変換行列を適用した後重心Gだけ変位させることにより、カメラ座標系における特徴点の予測3次元座標Pn1を算出する。

【0039】
(位置検出ステップでの瞳孔検出用ウィンドウの設定)
画像処理装置1は、位置検出ステップでm+1番目のフィールド画像における瞳孔画像を検出するために、連続するm番目及びm+1番目のフィールド間で明瞳孔画像と暗瞳孔画像とを差分する際には、m+1番目のフィールド画像上のウィンドウに対して、左右の瞳孔中心の予測3次元座標P11,P21の移動分に応じた位置補正を施す。すなわち、画像処理装置1は、カメラ座標系における特徴点の予測3次元座標Pn1=(Xn1,Yn1,Zn1)を、下記式(13);
【数13】
JP0005429885B2_000014t.gif

を用いて、撮像平面PL(図2参照)上の予測2次元座標Qn1に変換する。そして、画像処理装置1は、m+1番目のフィールド画像の予測2次元座標Q11,Q21を中心にして、左右の瞳孔検出用の小ウィンドウを設定する。一方、m番目のフィールド画像に関しては、既に位置検出ステップで検出された2次元座標Q1,Q2を中心にして正方形の小ウィンドウを設定し、2つの小ウィンドウ間で差分画像を生成することによって、瞳孔画像の検出を行う。

【0040】
この際、画像処理装置1は、設定する小ウィンドウのサイズを、直前のフィールド画像において検出した瞳孔像の直径に応じて調整する。例えば、瞳孔の直径が16ピクセルであった場合は、小ウィンドウの幅として16+50=66ピクセルと設定される。

【0041】
また、画像処理装置1は、m番目のフィールド画像で一方の瞳孔像の検出が失敗した場合は、すぐにウィンドウサイズを大きくするのではなくて、瞳孔の予測座標をそのフィールド画像での位置と仮定して、m+1番目のフィールド画像での顔姿勢を予測する。ただし、2回連続して一方の瞳孔像の検出が失敗した場合は、該当する瞳孔用のウィンドウのサイズを少しずつ大きくして次フレーム画像での検出を試みる。例えば、1つのフィールドを処理する度に1画素ずつウィンドウサイズを大きくし、10回連続して検出が失敗した場合は、150×60ピクセル等の大きさの中ウィンドウによる瞳孔の検出を行う。

【0042】
また、m番目のフィールド画像で両方の瞳孔像の検出が失敗した場合(例えば、瞬きをした場合)は、瞳孔の予測座標をそのフィールド画像での位置と仮定して、m+1番目のフィールド画像での顔姿勢を予測する。ただし、10回連続して検出が失敗した場合は、中ウィンドウより大きいサイズの大ウィンドウによる瞳孔の検出を行う。

【0043】
以上説明した特徴点追跡装置10及び特徴点追跡装置10を用いた特徴点追跡方法によれば、対象者Aの3つの特徴点P0,P1,P2の組み合わせである特徴部位群が撮像されてその3次元位置P0,P1,P2が時系列で検出され、過去の撮像タイミングでの特徴部位群の3次元位置P0,P1,P2に基づいて、特徴部位群を基準にした顔座標系x-y-zのカメラ座標系X-Y-Zからの回転角度(α,β,γ)及び変位が算出される。そして、この回転角度(α,β,γ)及び変位に基づいて現在の撮影タイミングでの顔座標系x-y-zの予測回転角度(αp,βp,γp)及び原点Gpが予測されて特徴部位群の現在の撮影タイミングでの予測3次元座標Pn1が算出される。その後、現在の特徴部位群の画像の検出に際しては、この算出された予測3次元座標Pn1に基づいて画像フレーム上にウィンドウが設定される。これにより、対象者Aの頭部の任意の動きに対しても時系列の画像フレーム中の特徴部位群の位置を予測することができ、時系列の画像フレーム中の特徴部位群を正確に追跡することが可能になる。その結果、対象者Aの頭部を対象にした特徴点追跡処理のロバスト性を向上させることができる。

【0044】
より具体的に言えば、対象者Aがカメラ2の方向から大きくずれた方向を向いた場合であって角膜反射が検出しにくい場合であっても、異なる撮影タイミング間での位置補正が機能するので、画像差分により特徴点を追跡する際の精度が向上する。

【0045】
また、瞳孔と鼻孔の位置が正確に予測されるため、特徴点検出用の小ウィンドウのサイズを小さくしても瞳孔の一部がウィンドウからはみ出す確率が小さくなり、特徴点の中心及び面積の検出のロバスト性が向上するとともに、処理速度も向上する。

【0046】
また、各特徴点のウィンドウが残りの3個の特徴点のウィンドウに、いわば引っ張られるために、個々のウィンドウが分離されてしまう現象が低減する。その結果、眼鏡フレームにおける反射光等のノイズが瞳孔の近傍を横切った時でも、それに引きずられることなく実際の瞳孔に近い位置にウィンドウが付与されて、瞳孔の誤検出が極めて少なくなる。

【0047】
さらに、ある画像フレームで片方の瞳孔が何らかの理由で検出できなくなっても、そのまま瞳孔が検出できるまで瞳孔位置を予測しながら小ウィンドウを付与し続けることで、特徴点の誤検出が少なくなる。特に、眼鏡における反射光が瞳孔近辺を横切っても、その後に即座に瞳孔に小ウィンドウを与えることができる。

【0048】
また、過去に検出された瞳孔像の大きさに合わせて小ウィンドウのサイズを設定することで、より効率的かつ高速な追跡処理が実現できる。

【0049】
また、特徴点の画像の検出が連続して失敗した場合にはウィンドウのサイズが大きくされるので、特徴点の検出率を効果的に向上させることができる。

【0050】
なお、最初に与えられる対象者Aの特徴点間距離は,厳密に実測する必要はない。正確でない特徴点間距離が与えられると、各特徴点の3次元位置は誤って決定されるため顔重心も顔方向も誤って検出される。しかし、その誤って検出された値に基づいて与えられる2次元画像上のウィンドウ位置は正しく与えられる。具体的には、与えた特徴点間距離よりもすべてが一定割合だけ短い対象者Aの場合、顔方向はほとんど変わらず顔重心だけがカメラから実際よりも離れた位置に認識される。このように顔重心が遠くにあると認識されると、各特徴点間距離も2次元画像上では短く換算されるために、結果的にウィンドウ位置は2次元画像上で正しく与えられる。また,2つの瞳孔間の距離が与えた値よりも短い対象者Aの場合も、実際の顔方向よりも顔が上向き気味に認識されるだけであって、ウィンドウ位置は正しく与えられる。このように、特徴点間距離の誤差は、顔重心位置や顔方向のずれに吸収されてしまい、ウィンドウ位置の誤差を生じさせることはない。極端に言えば、カメラレンズを25mmから16mmに変えるなどして顔画像のサイズが変化しても、提案する方法は問題なく機能する。

【0051】
図8は、本実施形態の特徴点追跡方法による左右の瞳孔の検出結果を示すグラフ、図9は、従来の瞳孔検出方法によるによる左右の瞳孔の検出結果を示すグラフである。なお、この従来法では、特開2008-029702号公報に開示されたように、鼻孔移動量を利用した差分位置補正及び角膜反射移動量を利用した差分位置補正を用いている。また、小ウィンドウの大きさは、一辺が70,66,56,46,36ピクセルで固定の正方形とした。測定に際しては、被験者が眼鏡をかけた状態で顔を左右に3往復振る、上下に3往復振る、斜めに3往復振るという動作を26秒間行った。測定結果における「正検出率」とは、全フィールド数に対する、瞳孔像がウィンドウ内に収まっており、かつ、瞳孔が正しく検出されているフィールド数の割合である。また、「ウィンドウ外率」とは、瞳孔は正しく検出されているが、瞳孔像がウィンドウ内に収まっていないフィールド数の割合であり、「誤検出率」とは、瞳孔でないもの(眼鏡反射や白目反射)を瞳孔として検出しているフィールド数の割合である。

【0052】
この結果により、本実施形態によれば、従来法に比してあらゆるウィンドウサイズにおいて正検出率が高く保たれていることが分かる。また、ウィンドウサイズが大きくなっても、誤検出率が大きく低減されており、ウィンドウサイズが小さくなっても、ウィンドウ外率が大きく低減されていることが分かる。

【0053】
なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の特徴点追跡装置10においては、左右の瞳孔中心及び左右の鼻孔中心の中間点を基準にして顔座標系が設定されているが、左右の鼻孔中心の中間点に代えて左右の鼻孔中心を基準にしてもよい。

【0054】
また、本発明の特徴点追跡装置10においては、現在の撮影タイミングにおいて予測された左右の鼻孔中心の予測3次元座標P31,P41を用いて、左右の鼻孔中心を中心にして小ウィンドウを設定した後に、鼻孔像を検出するようにしてもよい。

【0055】
また、本発明の特徴点追跡装置10においては、位置検出ステップで、ウィンドウを対象にしてp-tile法により所定の閾値を用いて画像フレームを2値化画像に変換して、2値化画像を基に左右の鼻孔画像を検出し、そのとき用いる閾値を、2値化画像内の連結エリアの最大面積の微分値が最大になるような閾値との関係に基づいて自動決定してもよい。このようにして鼻孔画像を検出することで、対象者Aに最も適した閾値を決定することができる。つまり、鼻孔の形状には対象者毎に個人差があり、全ての対象者に同一の比率の画素を2値化するように閾値を決定する場合には検出が不安定になる場合がある。また、同一の対象者の場合でも顔が動くと鼻孔の見え方が変化し、画像中の鼻孔の形状や面積が変動するため、一定の比率を用いる場合では顔の角度が基準姿勢からずれるほど鼻孔検出が不安定になることがある。上述のように閾値を決定することで、対象者の違いや顔の動きに対しても、鼻孔検出を最適化することができる。

【0056】
詳細には、画像処理装置1は、対象者Aに関する明瞳孔画像又は暗瞳孔画像中に設定されたウィンドウ内の画像に対し、閾値を255から1まで1ずつ減らしながらその閾値と画素値を比較することにより2値化画像に変換した後に、各閾値に対応して得られた2値化画像に孤立点除去処理、膨張処理、収縮処理、及びラベリング処理を施す。そこで、画像処理装置1は、2値化画像内の同一画素値からなる連結成分(連結エリア)の最大面積を閾値毎に算出し、その最大面積の閾値に関する微分値が最大値をとる場合の閾値Thmaxを特定する。また、閾値Thmaxから閾値を上げていった時に最初に最大面積が0になる閾値Thminも特定する。例えば、図10に示すような閾値と最大面積との関係が得られた場合には、Thmax=176、Thmin=227と求められる。そして、画像処理装置1は、閾値Thmaxと閾値Thminとの関係から下記式(14);
Th = (Thmax+Thmin)/2 …(14)
を用いて閾値Thを決定し、この閾値を用いてウィンドウ内から2値化画像を得て左右の鼻孔像を検出する。なお、閾値Thのときの鼻孔2値化画像から検出された最大面積を持つラベルの面積をSmax[pixel]、2値化画像全体の面積をSw[pixel]とすると、鼻孔を検出する際の2値化閾値を決定する基準となるPタイル値Pは、P=Smax/Swで求めることができる。

【0057】
一方、上記のような閾値の自動決定処理は、255個の閾値に対して2値化、孤立点除去、膨張収縮、およびラベリングを行うので処理に時間がかかり、1フレームごとにこの処理を行おうとすると処理時間が長くなりリアルタイム性に欠ける。そのため、処理は最初に一度、例えば、後述するような鼻孔基準画像の取得時に行うことが好適である。

【0058】
また、本発明の特徴点追跡装置10においては、位置検出ステップで、ウィンドウを対象にしてp-tile法により画像フレームの所定割合(Pタイル値)の画素を2値化することで2値化画像に変換して、その2値化画像を基に鼻孔画像を検出し、変換係数予測ステップで予測された顔座標系の予測回転角度(αp,βp,γp)に基づいて鼻孔の画像フレーム上の鼻孔推定像を予測し、鼻孔推定像を基にp-tile法におけるPタイル値を決定してもよい。これにより、対象者Aの顔の動きによって画像中の鼻孔の形状や面積が変動しても、鼻孔検出を安定化させることができる。

【0059】
以下、鼻孔推定像によるPタイル値の決定の原理及びその処理の詳細について説明する。

【0060】
まず、鼻孔を孔状ではなく鼻孔の部分に黒い平面が張り付いているようなモデルを考える。このときの鼻孔が張り付いている平面を鼻孔平面PL1と定義する。瞳孔と鼻孔の位置関係は対象者Aに関して一定であり、それらが作る顔平面に対する鼻孔平面PL1の角度も一定である。図11,図12に示すように、鼻孔平面PL1は顔平面を顔座標系のx軸周りに一定角度δだけ回転し、鼻孔間中点P0を通る平面と考えることができる。また、鼻孔平面PL1の法線ベクトルで鼻孔間中点P0を通るものを鼻孔方向ベクトルkFと定義する。鼻孔方向ベクトルkFは顔平面と鼻孔平面PL1との関係と同様に顔方向ベクトルVFをx軸周りに角度δだけ回転したものを鼻孔間中点P0を通るように平行移動させたものである(図13)。顔座標系xyzでの鼻孔方向ベクトルkFは、顔座標系での顔方向ベクトルVF=(0,0,1)より下記式(15);
【数14】
JP0005429885B2_000015t.gif

により求めることができる。さらに、顔座標系xyzでの鼻孔方向ベクトルkFから、座標変換によりカメラ座標系XYZでの鼻孔方向ベクトルkCを求めることができる。すなわち、鼻孔方向ベクトルkCは、顔座標系の回転角度(α,β,γ)を反映した式(10),式(11)で計算される変換行列を用いて計算することができる。また、鼻孔方向ベクトルkCの水平角αN、垂直角βN、および回転角γNは、下記式(16);
【数15】
JP0005429885B2_000016t.gif

によって求めることができる。

【0061】
そこで、画像処理装置1は、上述した2値化閾値の自動決定処理時に対象者Aに関する鼻孔像を保存する。このとき、画像処理装置1は、2値化閾値自動決定時の鼻孔像を変形することで、鼻孔方向ベクトルがカメラ座標系のZ軸と平行になる状態、つまり鼻孔が最大面積に見える状態の鼻孔像を取得する。具体的には、2値化閾値自動決定処理を行うとき、対象者Aはカメラ2に対して正対し、カメラ2の光軸L1より角度ζ(約60度)だけ上方を向いているとする。ただし、画像処理装置1が対象者Aに自分の正面と思われる方向を向いてもらった時に計測した回転角度βから、ζ=-βとして角度ζを求めてもよい。そして、鼻孔方向ベクトルの水平角αおよび回転角γは0度であると仮定する。この場合、画像処理装置1は、変形前の鼻孔ラベル内の画素(鼻孔画素)の座標を(X1,Y1)とすると、変形後の鼻孔画素の座標(X2,Y2)を、下記式(17);
【数16】
JP0005429885B2_000017t.gif

によって算出する。すなわち、画像処理装置1は、鼻孔像のy成分を1/cos(δ-ζ)倍に拡大する。

【0062】
このようにして変形した鼻孔像は鼻孔基準像とされ、鼻孔方向ベクトルの水平角αN、垂直角βN、および回転角γNがそれぞれ0度であるときの鼻孔像であると捉えることができる。よって、画像処理装置1は、変換係数予測ステップで予測された顔座標系の予測回転角度(αp,βp,γp)に基づいて鼻孔方向ベクトルの水平角αN、垂直角βN、および回転角γNを算出し、鼻孔基準像を三次元空間で回転させることによって次フレームの鼻孔像を推定することができる。具体的には、まず、画像処理装置1は、二次元座標系の鼻孔標準像を三次元座標系に展開する。すなわち、鼻孔像の2値化画像における重心を原点とした二次元画像上の画素の座標をN2D(X1,Y1)とし、それを三次元座標系のXY平面上に展開した座標をN3D(x1,y1,z1)とすると、(x1,y1,z1)=(X1,Y1,0)と表すことができる。ここで、画像処理装置1は、鼻孔方向ベクトルの水平角αN、垂直角βN、および回転角γNを用いて、三次元画像系の鼻孔標準像を三次元空間で回転させる。回転後の鼻孔標準像の座標N’3Dは、式(10),式(11)の変換行列を用いて、下記式(18);
N’3D(x2,y2,z2)=T(-α,-β,-γ)N3D(x1,y1,z1) …(18)
によって求められる。さらに、画像処理装置1は、得られた鼻孔標準像の画素の座標N’3Dを撮像平面PLに投影することにより、座標N’2D(X2,Y2)=(x2×f/z2,y2×f/z2)を得る。この変換処理を鼻孔標準像中の画素全てに対して行うことにより、鼻孔標準像から次フィールドの左右の鼻孔の推定像を予測することができる。なお、このようにして得られた鼻孔推定像は、カメラ2から鼻孔までの距離による鼻孔サイズの変化についても考慮されている。そして、画像処理装置1は、鼻孔推定像を基に鼻孔領域の画素数を算出し、その画素数とウィンドウサイズの関係に基づいて、実際に鼻孔を検出する際のPタイル値を決定する。例えば、Pタイル値がP[%]の場合には、ウィンドウ内の画像を対象に、輝度の低いほうから割合P[%]までの画素を検出して2値化閾値を設定する。

【0063】
ここで、位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、特徴部位群用のウィンドウのサイズを調整する、ことが好ましい。この場合、過去の特徴部位群の画像の大きさに合わせてウィンドウを設定することで、より効率的かつ高速な追跡処理が実現できる。

【0064】
また、位置検出ステップでは、過去の撮像タイミングにおいて特徴部位群の画像の検出が失敗した場合には、特徴部位群用のウィンドウのサイズを大きくする、ことも好ましい。こうすれば、特徴部位群の検出率を効果的に向上させることができる。
【産業上の利用可能性】
【0065】
本発明は、対象者の画像に基づいて対象者の特徴点を追跡する特徴点追跡方法及び特徴点追跡装置を使用用途とし、時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることができるものである。
【符号の説明】
【0066】
10…特徴点追跡装置、1…画像処理装置、2…カメラ(撮像手段)、A…対象者、P0,P1,P2…特徴点(特徴部位群)、Qn…2次元位置、α,β,γ…回転角度、XYZ…カメラ座標系(基準座標系)、xyz…顔座標系。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12