Top > Search of Japanese Patents > OBJECT TRACKING METHOD AND ITS DEVICE AND PROGRAM

OBJECT TRACKING METHOD AND ITS DEVICE AND PROGRAM

Patent code P110001598
File No. 4080
Posted date Mar 7, 2011
Application number P2005-041822
Publication number P2006-227973A
Patent number P4625949
Date of filing Feb 18, 2005
Date of publication of application Aug 31, 2006
Date of registration Nov 19, 2010
Inventor
  • (In Japanese)江島 俊朗
  • (In Japanese)榎田 修一
  • (In Japanese)林 豊洋
Applicant
  • (In Japanese)国立大学法人九州工業大学
Title OBJECT TRACKING METHOD AND ITS DEVICE AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To provide an object tracking method having high accuracy and stability and robust effects on the movement, rotation and deformation of a tracked object and a change in lighting conditions, and to provide its device and program.
SOLUTION: The device comprises a similarity degree calculating means 2 for calculating a similarity degree between the feature quantity of partial images at a plurality of positions belonging to one frame of a moving image and the feature quantity of the image of the tracked object and calculating the distribution of the similarity degree on one screen, a region extracting means 3 for extracting a region similar to the image of the object from one frame in accordance with the distribution of the similarity degree, and a position calculating means 4 for calculating the gravity center coordinate of the region and setting the gravity center coordinate as the position coordinate of the tracked object on one frame.
Outline of related art and contending technology (In Japanese)


物体追跡とは、動画像中の追跡対象物体の位置座標を順次検出する技術であり、追跡対象物体の一部領域又は全領域の画像（追跡対象画像）の特徴量を求め、特徴量が前記追跡対象画像の特徴量と一致または近似する領域を各フレームから探し出して、その領域の位置座標を追跡対象物体の位置座標に決定することによって行われる。物体追跡には、テンプレートマッチングを行うもの、物体領域の色ヒストグラムと入力フレーム中の色ヒストグラムを比較して、色ヒストグラムの類似性が高い領域の位置を対象物体の位置とするものなどがある。



テンプレートマッチングによる物体追跡は、追跡対象画像の形状的特徴を抽出したテンプレート画像を作成して、入力フレームからそのテンプレート画像と形状的特徴が一致する領域を検出するものであるが、追跡対象物体の画像の形状的特徴は追跡対象物体の移動、回転、変形あるいは照明の変動等によって変化するので、追跡精度や安定性が低いという問題がある。そこで、一のフレームで追跡対象物体の検出に成功する度に、テンプレート画像を更新して、次のフレームの入力に備える方法、あるいは、入力画像とテンプレート画像の類似度が所定の閾値を下回る場合にテンプレート画像を更新する方法などが採られている（特許文献1）。



色ヒストグラムは追跡対象物体の移動・回転等によって変化しないので、物体追跡に適している。例えば特許文献2には、参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成し、処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出し、算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合した統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する画像処理方法が開示されている。



また、色ヒストグラムによる物体追跡を更にロバストにするために、追跡対象物体の検出に成功する度に、色ヒストグラムを更新して、次のフレームの入力に備えることが行われていた。このような物体追跡方法、つまり、最初のフレームの追跡対象物体の画像から参照領域ヒストグラムを作成し、入力フレームから候補領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムの間のヒストグラムインターセクションを算出し、ヒストグラムインターセクションが最大となる候補領域の位置座標を入力画像中の追跡対象物体の位置座標に決定するともに、前記候補領域の色ヒストグラムを新たな参照領域ヒストグラムにして、次の入力フレームを待つ操作を繰り返す物体追跡方法を「従来方法」と呼ぶことにする。



【特許文献1】
特開2004－118485号公報
【特許文献2】
特開2004－348273号公報
Field of industrial application (In Japanese)


本発明は、動画像中の追跡対象物体の位置座標を順次検出する物体追跡方法および物体追跡装置およびプログラムに関する。
Scope of claims (In Japanese)
【請求項1】
 
動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像である追跡対象画像に対応する部分画像の位置座標を決定する対応位置決定ステップを、前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡方法において、
前記対応位置決定ステップは、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度分布算出ステップと、
前記一のフレームにおける前記各部分画像について、前記類似性尺度が所定の閾値以上である部分画像を抽出し、又は前記類似性尺度が最大になる部分画像から類似性尺度がk（kは2以上の自然数）番目に大きい部分画像までのk個の部分画像を抽出することにより、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域である類似領域を抽出する領域抽出ステップと、
前記類似領域内の前記各部分画像の座標の相加平均である重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出ステップと、を有し、
前記特徴量は、画像のある領域内の各画素に出現する各色成分の頻度分布である色ヒストグラムであり、
前記対応位置決定ステップは、前記追跡対象画像の前記色ヒストグラムH0を算出するステップを有し、
前記類似性尺度算出ステップは、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の前記色ヒストグラムH1を算出するステップと、
当該部分画像の前記色ヒストグラムH1と前記追跡対象画像の前記色ヒストグラムH0との間の前記類似性尺度であるヒストグラムインターセクションを次式（1）により算出するステップと、を有し、
前記色ヒストグラムは、前記画像の色空間を次式（2）で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用い、且つ次式（3）で定義される（r’，g’）が（1／3，1／3）から半径0．02以内にある画素を除外して作成される2次元ヒストグラムであることを特徴とする物体追跡方法。
【数1】
 


【数2】
 


【数3】
 



【請求項2】
 
前記対応位置決定ステップは、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出ステップを有し、
前記領域抽出ステップにおいては、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする請求項1に記載の物体追跡方法。

【請求項3】
 
動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像である追跡対象画像に対応する部分画像の位置座標を決定する操作を前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡装置において、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度分布算出手段と、
前記一のフレームにおける前記各部分画像について、前記類似性尺度が所定の閾値以上である部分画像を抽出し、又は前記類似性尺度が最大になる部分画像から類似性尺度がk（kは2以上の自然数）番目に大きい部分画像までのk個の部分画像を抽出することにより、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域である類似領域を抽出する領域抽出手段と、
前記類似領域内の前記各部分画像の座標の相加平均である重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出手段と、を備え、
前記特徴量は、画像のある領域内の各画素に出現する各色成分の頻度分布である色ヒストグラムであり、
前記類似性尺度分布算出手段は、
前記追跡対象画像の前記色ヒストグラムH0を算出する手段と、
前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の前記色ヒストグラムH1を算出する手段と、
当該部分画像の前記色ヒストグラムH1と前記追跡対象画像の前記色ヒストグラムH0との間の前記類似性尺度であるヒストグラムインターセクションを次式（1）により算出する手段と、を備え、
前記色ヒストグラムは、前記画像の色空間を次式（2）で定義されるrg色空間に変換する色空間変換により色空間変換された色相成分を用い、且つ次式（3）で定義される（r’，g’）が（1／3，1／3）から半径0．02以内にある画素を除外して作成される2次元ヒストグラムであることを特徴とする物体追跡装置。
【数4】
 


【数5】
 


【数6】
 



【請求項4】
 
釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出手段を有するとともに、
前記領域抽出手段は、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする請求項3に記載の物体追跡装置。

【請求項5】
 
コンピュータに読み込んで実行させることにより、請求項1又は2に記載の物体追跡方法をコンピュータに実行させることを特徴とするプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005041822thum.jpg
State of application right Registered
※ Please contact us by E-mail or facsimile if you have any interests on this patent.

Contact Information for " OBJECT TRACKING METHOD AND ITS DEVICE AND PROGRAM"


  • Kyushu Institute of Technology Organization for Promotion of Research and innovation
  • URL: http://www.ccr.kyutech.ac.jp/
  • E-mail: e-mail address
  • Address: 1-1 Sensui-cho, Tobata-ku, Kitakyushu-shi, Fukuoka, JAPAN , 804-8550
  • Fax: 81-93-884-3531

Contact



※ It is possible to retrieve in J-STORE by the same key word. → Retrieval result of J-STORE

PAGE TOP

Contact Information for " OBJECT TRACKING METHOD AND ITS DEVICE AND PROGRAM "


  • Kyushu Institute of Technology Organization for Promotion of Research and innovation
  • URL: http://www.ccr.kyutech.ac.jp/
  • E-mail: e-mail address
  • Address: 1-1 Sensui-cho, Tobata-ku, Kitakyushu-shi, Fukuoka, JAPAN , 804-8550
  • Fax: 81-93-884-3531

Contact

Page for print

Related data

Technology seeds
Specification P4625949
Publication of unexamined applications P2006-227973A(PDF,444KB) PDF
Patent Gazette P4625949(PDF,450KB) PDF

Category

Applicant
IPC
F-term
close
close
close
close
close
close
close