Top > Search of International Patents > FEATURE-POINT TRACKING METHOD AND FEATURE-POINT TRACKING DEVICE

FEATURE-POINT TRACKING METHOD AND FEATURE-POINT TRACKING DEVICE

Foreign code F110002924
File No. S2008-0790-C0
Posted date May 9, 2011
Country WIPO
International application number 2009JP063197
International publication number WO 2010/010926
Date of international filing Jul 23, 2009
Date of international publication Jan 28, 2010
Priority data
  • P2008-191136 (Jul 24, 2008) JP
Title FEATURE-POINT TRACKING METHOD AND FEATURE-POINT TRACKING DEVICE
Abstract To improve the robustness of feature-point tracking by predicting the movement of feature points in time-series image frames with a high accuracy. A feature-point tracking device (10) detects the three-dimensional positions (P0, P1, P2) of the three feature points of an object person (A) on a time-series basis, calculates the rotational angles (.alpha., .beta., .gamma.) and displacement of a face coordinate system from a camera coordinate system on the basis of the three-dimensional positions (P0, P1, P2) at the past imaging timing, predicts the rotational angles (.alpha.p, .beta.p, .gamma.p) and displacement of a face coordinate system at the current imaging timing on the basis of the rotational angles (.alpha., .beta., .gamma.) and displacement of the face coordinate system from the camera coordinate system, and calculates the three-dimensional prediction position (Pn1) of a feature point at the current imaging timing on the basis of the rotational angles (.alpha.p, .beta.p, .gamma.p) and the displacement. When detecting the positions of feature points, the feature-point tracking device (10) sets windows on the object image frames on the basis of the three-dimensional prediction position (Pn1) and detects the feature points with respective windows as objects.
Scope of claims (In Japanese)
【請求項1】 対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、
 前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出ステップと、
 過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、
 当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測ステップと、
 当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出ステップとを備え、
 前記位置検出ステップでは、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡方法。

【請求項2】 前記位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、前記特徴部位群用のウィンドウのサイズを調整する、
ことを特徴とする請求項1記載の特徴点追跡方法。

【請求項3】 前記位置検出ステップでは、過去の撮像タイミングにおいて前記特徴部位群の画像の検出が失敗した場合には、前記特徴部位群用の前記ウィンドウのサイズを大きくする、
ことを特徴とする請求項1又は2に記載の特徴点追跡方法。

【請求項4】 前記位置検出ステップでは、前記ウィンドウを対象にして所定の閾値を用いて前記画像フレームを2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記2値化画像内の連結エリアの最大面積の微分値が、最大になるような前記所定の閾値との関係に基づいて、前記所定の閾値を決定する、
ことを特徴とする請求項1~3のいずれか1項に記載の特徴点追跡方法。

【請求項5】 前記位置検出ステップでは、前記ウィンドウを対象にして前記画像フレームの所定割合の画素を2値化することで2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記変換係数予測ステップで予測された前記顔座標系の前記回転角度に基づいて前記特徴部位群のいずれかの前記画像フレーム上の推定像を予測し、前記推定像を基に前記所定割合の値を決定する、
ことを特徴とする請求項1~4のいずれか1項に記載の特徴点追跡方法。

【請求項6】 対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、
 前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出手段と、
 過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、
 当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測手段と、
 当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出手段とを備え、
 前記位置検出手段は、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡装置。
  • Applicant
  • ※All designated countries except for US in the data before July 2012
  • NATIONAL UNIVERSITY CORPORATION SHIZUOKA UNIVERSITY
  • Inventor
  • EBISAWA Yoshinobu
IPC(International Patent Classification)
Specified countries AE(UTILITY MODEL),AG,AL(UTILITY MODEL),AM(PROVISIONAL PATENT)(UTILITY MODEL),AO(UTILITY MODEL),AT(UTILITY MODEL),AU,AZ(UTILITY MODEL),BA,BB,BG(UTILITY MODEL),BH(UTILITY MODEL),BR(UTILITY MODEL),BW(UTILITY MODEL),BY(UTILITY MODEL),BZ(UTILITY MODEL),CA,CH,CL(UTILITY MODEL),CN(UTILITY MODEL),CO(UTILITY MODEL),CR(UTILITY MODEL),CU(INVENTOR'S CERTIFICATE),CZ(UTILITY MODEL),DE(UTILITY MODEL),DK(UTILITY MODEL),DM,DO(UTILITY MODEL),DZ,EC(UTILITY MODEL),EE(UTILITY MODEL),EG(UTILITY MODEL),ES(UTILITY MODEL),FI(UTILITY MODEL),GB,GD,GE(UTILITY MODEL),GH(UTILITY CERTIFICATE),GM,GT(UTILITY MODEL),HN,HR(CONSENSUAL PATENT),HU(UTILITY MODEL),ID,IL,IN,IS,JP(UTILITY MODEL),KE(UTILITY MODEL),KG(UTILITY MODEL),KM,KN,KP(INVENTOR'S CERTIFICATE)(UTILITY MODEL),KR(UTILITY MODEL),KZ(PROVISIONAL PATENT)(UTILITY MODEL),LA,LC,LK,LR,LS(UTILITY MODEL),LT,LU,LY,MA,MD(UTILITY MODEL),ME,MG,MK,MN,MW,MX(UTILITY MODEL),MY(UTILITY-INNOVATION),MZ(UTILITY MODEL),NA,NG,NI(UTILITY MODEL),NO,NZ,OM(UTILITY MODEL),PE(UTILITY MODEL),PG,PH(UTILITY MODEL),PL(UTILITY MODEL),PT(UTILITY MODEL),RO,RS(PETTY PATENT),RU(UTILITY MODEL),SC,SD,SE,SG,SK(UTILITY MODEL),SL(UTILITY MODEL),SM,ST,SV(UTILITY MODEL),SY,TJ(UTILITY MODEL),TM(PROVISIONAL PATENT),TN,TR(UTILITY MODEL),TT(UTILITY CERTIFICATE),TZ,UA(UTILITY MODEL),UG(UTILITY CERTIFICATE),US,UZ(UTILITY MODEL),VC(UTILITY CERTIFICATE),VN(PATENT FOR UTILITY SOLUTION),ZA,ZM,ZW,EP(AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,SE,SI,SK,SM,TR),OA(BF(UTILITY MODEL),BJ(UTILITY MODEL),CF(UTILITY MODEL),CG(UTILITY MODEL),CI(UTILITY MODEL),CM(UTILITY MODEL),GA(UTILITY MODEL),GN(UTILITY MODEL),GQ(UTILITY MODEL),GW(UTILITY MODEL),ML(UTILITY MODEL),MR(UTILITY MODEL),NE(UTILITY MODEL),SN(UTILITY MODEL),TD(UTILITY MODEL),TG(UTILITY MODEL)),AP(BW(UTILITY MODEL),GH(UTILITY MODEL),GM(UTILITY MODEL),KE(UTILITY MODEL),LS(UTILITY MODEL),MW(UTILITY MODEL),MZ(UTILITY MODEL),NA(UTILITY MODEL),SD(UTILITY MODEL),SL(UTILITY MODEL),SZ(UTILITY MODEL),TZ(UTILITY MODEL),UG(UTILITY MODEL),ZM(UTILITY MODEL),ZW(UTILITY MODEL)),EA(AM,AZ,BY,KG,KZ,MD,RU,TJ,TM)
Please contact us by E-mail or facsimile if you have any interests on this patent.

PAGE TOP

close
close
close
close
close
close