Top > Search of Japanese Patents > IMAGE RECOGNITION DEVICE, MOBILE DEVICE, AND IMAGE RECOGNITION PROGRAM

IMAGE RECOGNITION DEVICE, MOBILE DEVICE, AND IMAGE RECOGNITION PROGRAM meetings

Patent code P170014661
File No. KIT15051
Posted date Oct 31, 2017
Application number P2016-068436
Publication number P2017-182437A
Patent number P6656987
Date of filing Mar 30, 2016
Date of publication of application Oct 5, 2017
Date of registration Feb 7, 2020
Inventor
  • (In Japanese)山田 英夫
  • (In Japanese)久野 和宏
  • (In Japanese)榎田 修一
  • (In Japanese)橋本 達哉
Applicant
  • (In Japanese)株式会社エクォス・リサーチ
  • (In Japanese)国立大学法人九州工業大学
Title IMAGE RECOGNITION DEVICE, MOBILE DEVICE, AND IMAGE RECOGNITION PROGRAM meetings
Abstract PROBLEM TO BE SOLVED: To perform an image recognition high in robustness.
SOLUTION: An image recognition device 2 sets an entire observation area 5 surrounding an entire body of an object person 3 and partial observation areas 6 a to 6 g surrounding feature portions of the object person 3 to a site at which the object person 3 presumably appears in an image 4. The image recognition device 2 cuts out the entire observation area 5 and the partial observation areas 6 a to 6 g of the image and calculates the similarity between these cut-out images and the previously learned images by combining two image feature amounts of a HOG feature amount and a color distribution feature amount. The image recognition device 2 individually calculates an optimum percentage (ratio) in which the HOG feature amount and the color distribution feature amount are combined, regarding the entire observation area 5 and the partial observation areas 6 a to 6 g. This percentage is determined by including a weight parameter αi for setting a weight combining the HOG feature amount and the color distribution feature amount in a state vector so as to be made an object of the exhaustive search by a particle filter.
Outline of related art and contending technology (In Japanese)

近年、画像に写った対象を認識し、その移動を追跡する画像認識装置の需要が高まっている。
このような画像認識装置は、例えば、車両やロボットに搭載されて、歩行者や障害物を避けたり、あるいは、監視カメラに搭載されて、不審者を追跡したりするのに用いられる。

画像中に対象を認識・追跡する技術は、各種提案されているが、特に優れたものに特許文献1の「物体識別装置、方法及びプログラム」で使用されているDPM(Deformable Part Model)がある。
この技術は、追跡対象人物の全身を認識するための全体的な領域と、追跡対象人物の特徴的な一部分(頭部、腰部、・・・など)を認識するための複数の部分的な領域を組合せることにより、例え追跡対象人物が姿勢変化して全体的な領域での認識が困難になった場合でも、部分的な領域での認識でこれを補い、画像中の追跡対象人物を特定するものである。

ところで、移動体(例えば人物)を追跡する場合、追跡対象が人混みに紛れたり、照明環境が変化したりなど、追跡対象の撮影状態は時間と共に様々に変化する。
一方、追跡対象を画像で認識する方法には、HOG特徴量と呼ばれる対象のエッジ検出を用いた方法や対象の色分布特徴量を用いた方法など各種のものがあるが、これらは認識が得意なシーン(場面)と不得意なシーンがあり、これらの方法を単独で用いると、追跡対象の撮影状態の変化に対応できず、追跡が破綻するという問題があった。

Field of industrial application (In Japanese)

本発明は、画像認識装置、移動体装置、及び画像認識プログラムに関し、例えば、画像に含まれる追跡対象を認識するものに関する。

Scope of claims (In Japanese)
【請求項1】
 
画像を取得する画像取得手段と、
前記取得した画像において追跡対象を観測する観測領域を、一時刻前の画像で前記追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定手段と、
前記設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得手段と、
前記取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得手段と、
前記取得した画像特徴量ごとの特徴相関係数を組合せる割合を、一時刻前の画像で前記追跡対象の検出に用いた割合に基づいて設定する割合設定手段と、
前記設定した割合で前記特徴相関係数を組合せて前記観測領域に対する領域相関係数を取得する領域相関係数取得手段と、
前記観測領域設定手段が設定する観測領域と、前記割合設定手段が設定する割合を変化させながら、前記領域相関係数取得手段が取得する領域相関係数を用いて前記観測領域で観測している対象の尤度を繰り返し取得する尤度取得手段と、
前記尤度取得手段で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で前記追跡対象を検出する検出手段と、
を具備したことを特徴とする画像認識装置。

【請求項2】
 
前記観測領域設定手段は、前記観測領域として、前記追跡対象の全体を観測する全体観測領域と、前記追跡対象の部分を観測する複数の部分観測領域の組を設定し、
前記画像特徴量取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記複数種類の画像特徴量を取得し、
前記特徴相関係数取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記画像特徴量ごとの特徴相関係数を取得し、
前記割合設定手段は、前記全体観測領域、及び前記部分観測領域ごとに前記割合を設定し、
前記領域相関係数取得手段は、前記全体観測領域、及び前記部分観測領域ごとに前記領域相関係数を取得し、
前記尤度取得手段は、前記全体観測領域、及び前記部分観測領域ごとの領域相関係数を用いて前記尤度を取得することを特徴とする請求項1に記載の画像認識装置。

【請求項3】
 
前記全体観測領域、及び前記部分観測領域ごとの領域相関係数に、一時刻前の画像で前記追跡対象の検出に用いた重みに基づいて重みを設定する重み設定手段を具備し、
前記尤度取得手段は、前記重みも変化させながら、前記尤度を繰り返し取得することを特徴とする請求項2に記載の画像認識装置。

【請求項4】
 
前記尤度取得手段は、前記領域相関係数が所定の閾値を下回る場合は、当該領域相関係数を除外して前記尤度を取得することを特徴とする請求項3に記載の画像認識装置。

【請求項5】
 
前記重みの総和が小さい前記全体観測領域と前記部分観測領域の組ほど前記尤度を小さく補正する尤度補正手段を具備したことを特徴とする請求項3、又は請求項4に記載の画像認識装置。

【請求項6】
 
前記割合設定手段が設定する割合が一方に偏るほど前記尤度が小さくなるように補正を行う偏り補正手段を具備したことを特徴とする請求項3、請求項4、又は請求項5に記載の画像認識装置。

【請求項7】
 
前記割合設定手段と前記重み設定手段は、前記追跡対象の検出に失敗した場合に、それぞれ前記割合と前記重みを一時刻前の画像とは無関係な任意の値に設定することを特徴とする請求項3から請求項6までのうちの何れか1の請求項に記載の画像認識装置。

【請求項8】
 
前記複数種類の画像特徴量は、前記取得した画像の輝度勾配分布特徴量と、色分布特徴量であることを特徴とする請求項1から請求項7に記載の画像認識装置。

【請求項9】
 
前記尤度が満たす所定の条件は、尤度の最大値であることを特徴とする請求項1から請求項8までのうちの何れか1の請求項に記載の画像認識装置。

【請求項10】
 
前記領域相関係数取得手段は、前記設定した割合による線形和によって、前記取得した特徴相関係数を組合せることを特徴とする請求項1から請求項9までのうちの何れか1の請求項に記載の画像認識装置。

【請求項11】
 
請求項1から請求項10までのうちの何れか1の請求項に記載の画像認識装置を用いて対象を検出する検出手段と、
前記検出した対象に対して所定の位置に移動する移動手段と、
を具備したことを特徴とする移動体装置。

【請求項12】
 
画像を取得する画像取得機能と、
前記取得した画像において追跡対象を観測する観測領域を、一時刻前の画像で前記追跡対象の検出に用いた観測領域に基づいて設定する観測領域設定機能と、
前記設定した観測領域から複数種類の画像特徴量を取得する画像特徴量取得機能と、
前記取得した画像特徴量ごとに基準特徴量との特徴相関係数を取得する特徴相関係数取得機能と、
前記取得した画像特徴量ごとの特徴相関係数を組合せる割合を、一時刻前の画像で前記追跡対象の検出に用いた割合に基づいて設定する割合設定機能と、
前記設定した割合で前記特徴相関係数を組合せて前記観測領域に対する領域相関係数を取得する領域相関係数取得機能と、
前記観測領域設定機能が設定する観測領域と、前記割合設定機能が設定する割合を変化させながら、前記領域相関係数取得機能が取得する領域相関係数を用いて前記観測領域で観測している対象の尤度を繰り返し取得する尤度取得機能と、
前記尤度取得機能で得られた複数の尤度のうち、所定の条件を満たす尤度の取得元となった観測領域で前記追跡対象を検出する検出機能と、
をコンピュータで実現する画像認識プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2016068436thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close