Top > Search of Japanese Patents > (In Japanese)特徴点追跡方法及び特徴点追跡装置

(In Japanese)特徴点追跡方法及び特徴点追跡装置

Patent code P120007114
File No. ShIP-8011N-EB45
Posted date Mar 29, 2012
Application number P2010-521735
Patent number P5429885
Date of filing Jul 23, 2009
Date of registration Dec 13, 2013
International application number JP2009063197
International publication number WO2010010926
Date of international filing Jul 23, 2009
Date of international publication Jan 28, 2010
Priority data
  • P2008-191136 (Jul 24, 2008) JP
Inventor
  • (In Japanese)海老澤 嘉伸
Applicant
  • (In Japanese)国立大学法人静岡大学
Title (In Japanese)特徴点追跡方法及び特徴点追跡装置
Abstract (In Japanese)時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることを目的とする。
この特徴点追跡装置10は、対象者Aの3つの特徴点の3次元位置P0,P
1,P2を時系列で検出し、過去の撮像タイミングにおける3次元位置P0,P1,P2に基づいて顔座標系のカメラ座標系からの回転角度α,β,γ及び変位を算出し、顔座標系のカメラ座標系からの回転角度α,β,γ及び変位に基づいて、現在の撮像タイミングにおける顔座標系の回転角度αp,βp,γp及び変位を予測し、回転角度αp,βp,γp及び変位に基づいて、現在の撮像タイミングの特徴点の3次元予測位置Pn1を算出する。特徴点の位置を検出する際には、3次元予測位置Pn1に基づいて対象の画像フレーム上にウィンドウを設定し、それぞれのウィンドウを対象にして特徴点を検出する。
Outline of related art and contending technology (In Japanese)

従来から、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させたり、運転者の眠気を検知したりする目的において、対象者の瞳孔等の特徴点を追跡する技術が開発されている。例えば、時系列のフレーム画像から瞳孔等の特徴点を検出する技術が知られている(下記特許文献1及び下記特許文献2参照)。

下記特許文献1に開示された瞳孔検出方法では、瞳孔を検出するために時間的に連続する2つの画像の差分を取る際に、鼻孔の位置のずれ量を検出してそのずれ量に対応する分だけずれを打ち消す方向に画像の位置補正を行った後に2つの画像を差分するとするものである。また、下記特許文献2に開示された瞳孔検出方法では、角膜反射位置のずれ量に対応する分だけ画像の位置補正を行った後に上記と同様にして2つの画像を差分するというものである。これらの位置補正は画像を撮影するタイミング間の時間差の補正を目的としている。

Field of industrial application (In Japanese)

本発明は、対象者の画像に基づいて対象者の特徴点を追跡する特徴点追跡方法及び特徴点追跡装置に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、
前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出ステップと、
過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、
当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測ステップと、
当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出ステップとを備え、
前記位置検出ステップでは、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡方法。

【請求項2】
 
前記位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、前記特徴部位群用のウィンドウのサイズを調整する、
ことを特徴とする請求項1記載の特徴点追跡方法。

【請求項3】
 
前記位置検出ステップでは、過去の撮像タイミングにおいて前記特徴部位群の画像の検出が失敗した場合には、前記特徴部位群用の前記ウィンドウのサイズを大きくする、
ことを特徴とする請求項1又は2に記載の特徴点追跡方法。

【請求項4】
 
前記位置検出ステップでは、前記ウィンドウを対象にして所定の閾値を用いて前記画像フレームを2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記2値化画像内の連結エリアの最大面積の微分値が、最大になるような前記所定の閾値との関係に基づいて、前記所定の閾値を決定する、
ことを特徴とする請求項1~3のいずれか1項に記載の特徴点追跡方法。

【請求項5】
 
前記位置検出ステップでは、前記ウィンドウを対象にして前記画像フレームの所定割合の画素を2値化することで2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記変換係数予測ステップで予測された前記顔座標系の前記回転角度に基づいて前記特徴部位群のいずれかの前記画像フレーム上の推定像を予測し、前記推定像を基に前記所定割合の値を決定する、
ことを特徴とする請求項1~4のいずれか1項に記載の特徴点追跡方法。

【請求項6】
 
対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、
前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出手段と、
過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、
当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測手段と、
当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出手段とを備え、
前記位置検出手段は、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡装置。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2010521735thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close