TOP > 国内特許検索 > 特徴点追跡方法及び特徴点追跡装置

特徴点追跡方法及び特徴点追跡装置

国内特許コード P120007114
整理番号 ShIP-8011N-EB45
掲載日 2012年3月29日
出願番号 特願2010-521735
登録番号 特許第5429885号
出願日 平成21年7月23日(2009.7.23)
登録日 平成25年12月13日(2013.12.13)
国際出願番号 JP2009063197
国際公開番号 WO2010010926
国際出願日 平成21年7月23日(2009.7.23)
国際公開日 平成22年1月28日(2010.1.28)
優先権データ
  • 特願2008-191136 (2008.7.24) JP
発明者
  • 海老澤 嘉伸
出願人
  • 国立大学法人静岡大学
発明の名称 特徴点追跡方法及び特徴点追跡装置
発明の概要 時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることを目的とする。
この特徴点追跡装置10は、対象者Aの3つの特徴点の3次元位置P,P
,Pを時系列で検出し、過去の撮像タイミングにおける3次元位置P,P,Pに基づいて顔座標系のカメラ座標系からの回転角度α,β,γ及び変位を算出し、顔座標系のカメラ座標系からの回転角度α,β,γ及び変位に基づいて、現在の撮像タイミングにおける顔座標系の回転角度α,β,γ及び変位を予測し、回転角度α,β,γ及び変位に基づいて、現在の撮像タイミングの特徴点の3次元予測位置Pn1を算出する。特徴点の位置を検出する際には、3次元予測位置Pn1に基づいて対象の画像フレーム上にウィンドウを設定し、それぞれのウィンドウを対象にして特徴点を検出する。
従来技術、競合技術の概要



従来から、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させたり、運転者の眠気を検知したりする目的において、対象者の瞳孔等の特徴点を追跡する技術が開発されている。例えば、時系列のフレーム画像から瞳孔等の特徴点を検出する技術が知られている(下記特許文献1及び下記特許文献2参照)。





下記特許文献1に開示された瞳孔検出方法では、瞳孔を検出するために時間的に連続する2つの画像の差分を取る際に、鼻孔の位置のずれ量を検出してそのずれ量に対応する分だけずれを打ち消す方向に画像の位置補正を行った後に2つの画像を差分するとするものである。また、下記特許文献2に開示された瞳孔検出方法では、角膜反射位置のずれ量に対応する分だけ画像の位置補正を行った後に上記と同様にして2つの画像を差分するというものである。これらの位置補正は画像を撮影するタイミング間の時間差の補正を目的としている。

産業上の利用分野



本発明は、対象者の画像に基づいて対象者の特徴点を追跡する特徴点追跡方法及び特徴点追跡装置に関するものである。

特許請求の範囲 【請求項1】
対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、
前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出ステップと、
過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、
当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測ステップと、
当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出ステップとを備え、
前記位置検出ステップでは、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡方法。

【請求項2】
前記位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、前記特徴部位群用のウィンドウのサイズを調整する、
ことを特徴とする請求項1記載の特徴点追跡方法。

【請求項3】
前記位置検出ステップでは、過去の撮像タイミングにおいて前記特徴部位群の画像の検出が失敗した場合には、前記特徴部位群用の前記ウィンドウのサイズを大きくする、
ことを特徴とする請求項1又は2に記載の特徴点追跡方法。

【請求項4】
前記位置検出ステップでは、前記ウィンドウを対象にして所定の閾値を用いて前記画像フレームを2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記2値化画像内の連結エリアの最大面積の微分値が、最大になるような前記所定の閾値との関係に基づいて、前記所定の閾値を決定する、
ことを特徴とする請求項1~3のいずれか1項に記載の特徴点追跡方法。

【請求項5】
前記位置検出ステップでは、前記ウィンドウを対象にして前記画像フレームの所定割合の画素を2値化することで2値化画像に変換して、前記2値化画像を基に前記特徴部位群のいずれかを検出し、前記変換係数予測ステップで予測された前記顔座標系の前記回転角度に基づいて前記特徴部位群のいずれかの前記画像フレーム上の推定像を予測し、前記推定像を基に前記所定割合の値を決定する、
ことを特徴とする請求項1~4のいずれか1項に記載の特徴点追跡方法。

【請求項6】
対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、
前記対象者の3つの特徴点の組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出手段と、
過去の撮像タイミングにおける前記特徴部位群の前記3次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、
当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測手段と、
当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の3次元予測位置を算出する予測位置算出手段とを備え、
前記位置検出手段は、当該算出された前記特徴部位群の3次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
ことを特徴とする特徴点追跡装置。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2010521735thum.jpg
出願権利状態 登録
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください。


PAGE TOP

close
close
close
close
close
close
close