Top > Search of Japanese Patents > OPERATION RECOGNITION METHOD FOR MOVING OBJECT

OPERATION RECOGNITION METHOD FOR MOVING OBJECT meetings

Patent code P09A014884
Posted date Dec 4, 2009
Application number P2008-014124
Publication number P2009-176059A
Patent number P5078017
Date of filing Jan 24, 2008
Date of publication of application Aug 6, 2009
Date of registration Sep 7, 2012
Inventor
  • (In Japanese)石川 聖二
  • (In Japanese)タン ジュークイ
Applicant
  • (In Japanese)国立大学法人九州工業大学
Title OPERATION RECOGNITION METHOD FOR MOVING OBJECT meetings
Abstract PROBLEM TO BE SOLVED: To provide an operation recognizing method for a moving object for automatically and quickly recognizing the operation of a target moving object regardless of an observation direction.
SOLUTION: This operation recognizing method for a moving object comprises: an inherent space data preparation process for preparing inherent space data A in which the frame image data A of each basic operation of the moving object are displayed with dots, and for integrating the data into a database in advance; and a recognition process for comparing inherent space data B in which the frame image data B of the target moving object B are displayed with dots with the inherent space data A for each basic operation, and for selecting the inherent space data A whose distance from the inherent space data B is the shortest, and for recognizing the operation of the moving object B. The frame image data A for each basic operation are obtained from a compressed image prepared by making the moving object A perform a basic operation, and photographing the moving object A performing a basic operation from multi-directions by using a plurality of image input means, and overlapping a plurality of continuous frame images obtained for each image input means after weighting the frame images.
Outline of related art and contending technology (In Japanese)


人とロボットが共存する社会では、人のQOL(Quality of Life)を高めるような機能を持つロボットが求められている。具体的には、例えば、重い荷物を持って移動する人、具合が悪くなって座り込む人、又は足元のおぼつかない高齢者等に近づき、適切な支援を与えることが可能な機能を持つロボットである。このようなロボットが、基本的に備えるべき機能は、観察方向によらずに、例えば、人の姿勢、動作、又は挙動を認識する機能である。
そこで、動作を認識する方法として、以下の方法が提案されている。



例えば、特許文献1には、3次元復元又は3次元モデルフィッティングに基づいて、3次元で処理する方法が提案されている。
また、特許文献2には、少数の典型的な画像パターンを観測するのみで、簡易に物体認識の学習を行う装置が提案されている。
そして、特許文献3には、画像データベースなどに蓄積された画像の中から、利用者の指定により、必要な画像を選択的に取り出し、不必要な画像を排除する画像フィルタリングシステムが提案されている。
更に、特許文献4には、基本動作の画像データを、仮想カメラ群を用い多方向から観察した動作画像から得て、動体の動作を認識する方法が提案されている。



【特許文献1】
特開2003-58906号公報
【特許文献2】
特開平9-237340号公報
【特許文献3】
特開平11-306322号公報
【特許文献4】
特開2007-52665号公報

Field of industrial application (In Japanese)


本発明は、任意方向から観察した動体、特に人の動作を認識可能な動体の動作認識方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
予め疑似人モデル又は人である動体Aの基本動作ごとの複数のフレーム画像データAがそれぞれ点で表示される固有空間データAを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データAを、前記動体Aの基本動作が保有している情報ごとに木構造内に分配し、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Bのフレーム画像データBが点で表示された固有空間データBと前記基本動作ごとの複数の前記固有空間データAを比較して、前記固有空間データBからの距離が最も近い固有空間データAを選び、前記動体Bの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は静止した姿勢であり、該基本動作ごとの各フレーム画像データAは、前記動体Aに該基本動作を行わせ、該基本動作を行う前記動体Aを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記姿勢を最もよく現す1のフレーム画像の前記重みを1とし、他のフレーム画像の前記重みを0とした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得ることを特徴とする動体の動作認識方法。

【請求項2】
 
予め疑似人モデル又は人である動体Aの基本動作ごとの複数のフレーム画像データAがそれぞれ点で表示される固有空間データAを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データAを、前記動体Aの基本動作が保有している情報ごとに木構造内に分配し、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Bのフレーム画像データBが点で表示された固有空間データBと前記基本動作ごとの複数の前記固有空間データAを比較して、前記固有空間データBからの距離が最も近い固有空間データAを選び、前記動体Bの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は一連の動作であり、該基本動作ごとの各フレーム画像データAは、前記動体Aに該基本動作を行わせ、該基本動作を行う前記動体Aを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記動作の特徴が現れたフレーム画像の前記重みよりも、他のフレーム画像の前記重みを小さくした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得ることを特徴とする動体の動作認識方法。

【請求項3】
 
請求項2記載の動体の動作認識方法において、前記動作の特徴が現れたフレーム画像は、前記一連の動作の最初と最後のフレーム画像であることを特徴とする動体の動作認識方法。

【請求項4】
 
請求項2又は3記載の動体の動作認識方法において、前記圧縮画像は、前記複数のフレーム画像のうち連続する又は間隔を有する2つずつのフレーム画像を重ね合わせ、変化のない背景を削除して得られる複数の差分画像を、それぞれ重ね合わせることで得られることを特徴とする動体の動作認識方法。

【請求項5】
 
請求項1~4のいずれか1項に記載の動体の動作認識方法において、前記複数の画像入力手段は、前記動体Aが擬似人モデルの場合は仮想カメラ群、前記動体Aが人の場合はカメラ群であることを特徴とする動体の動作認識方法。

【請求項6】
 
請求項1~5のいずれか1項に記載の動体の動作認識方法において、前記動体Aは前記擬似人モデルであって、該疑似人モデルの行う基本動作は、モーションキャプチャー法によって得られたものであることを特徴とする動体の動作認識方法。

【請求項7】
 
請求項1~6のいずれか1項に記載の動体の動作認識方法において、前記固有空間データAは、前記フレーム画像データAに微分処理を行って作成されることを特徴とする動体の動作認識方法。

【請求項8】
 
請求項1~7のいずれか1項に記載の動体の動作認識方法において、前記固有空間データAは、前記フレーム画像データAをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成される固有空間に投影して得られ、前記固有空間データBは、前記フレーム画像データBを前記固有空間に投影して得られることを特徴とする動体の動作認識方法。

【請求項9】
 
請求項1~8のいずれか1項に記載の動体の動作認識方法において、認識した前記動体Bの動作を、擬似人モデル又はロボットを用いて再現することを特徴とする動体の動作認識方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2008014124thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close