Top > Search of Japanese Patents > SYSTEM FOR RECOGNIZING POSITION AND POSTURE OF OBJECT USING STEREOSCOPIC IMAGE, METHOD OF RECOGNIZING POSITION AND POSTURE OF OBJECT, AND PROGRAM FOR EXECUTING METHOD

SYSTEM FOR RECOGNIZING POSITION AND POSTURE OF OBJECT USING STEREOSCOPIC IMAGE, METHOD OF RECOGNIZING POSITION AND POSTURE OF OBJECT, AND PROGRAM FOR EXECUTING METHOD meetings achieved

Patent code P09A014789
Posted date Nov 13, 2009
Application number P2006-239190
Publication number P2008-065368A
Patent number P4765075
Date of filing Sep 4, 2006
Date of publication of application Mar 21, 2008
Date of registration Jun 24, 2011
Inventor
  • (In Japanese)宮本 弘之
Applicant
  • (In Japanese)国立大学法人九州工業大学
Title SYSTEM FOR RECOGNIZING POSITION AND POSTURE OF OBJECT USING STEREOSCOPIC IMAGE, METHOD OF RECOGNIZING POSITION AND POSTURE OF OBJECT, AND PROGRAM FOR EXECUTING METHOD meetings achieved
Abstract PROBLEM TO BE SOLVED: To provide a system for recognizing a position and a posture of an object, using a stereoscopic image, capable of recognizing the position and the posture of the object, without searching a corresponding point requiring a calculation cost and having completely unavoidable erroneous recognition, a method of recognizing the position and the posture of the object using the system, and a program for executing the method.
SOLUTION: This system 10 for recognizing the position and the posture of the object has an imaging part 11, a space model setting part 16 for setting a space model based on a rough shape of the object, a rectangular area setting part 19 for setting a virtual rectangular area set on the space model, a comparison window setting part 22 for projecting the rectangular area on the stereoscopic image, a partial image generating part 29 for extracting a partial image within a comparison window, and a matching computation part 33 for matching the stereoscopic image while changing a position and a posture of the space model.
Outline of related art and contending technology (In Japanese)


物体の3次元的な位置および姿勢の検出は、各種ロボットの視覚システム、監視システム、マンマシンインターフェース、ゲーム機器等の幅広い分野への応用が期待されている。
近年、福祉施設や家庭内で人間の役に立つロボットの開発が盛んに行われているが、ここで問題になるのはロボットの教示方法である。従来、プログラム言語による動作制御やジョイスティック等を用いた教示が行われているが、これらは専門知識を要するとともに多大な手間を要する。したがって、誰でも簡単にロボットを扱うためには、例えば、音声や身振り等によるロボットとのコミュニケーション手法の確立が望まれている。



ロボットに身振りを認識させるためには、カメラ等により撮像された画像データに基づき腕等の3次元的な位置および姿勢の認識を行う必要がある。
画像を用いて人間の腕の位置および姿勢を認識する1つの方法として、肩および肘関節を有し、上腕および前腕を線分(リンク)で表した腕モデルを用い、肩部分でこの腕モデルと人間の腕画像との位置合わせを行った後、各関節を少しずつ回転させて、画面上で腕画像の中心と腕モデルの重なり具合が最大となるよう各関節の角度を決定する方法がある。背景差分をとった上で肌色ピクセル領域を抽出することにより、画像より腕の領域のみを切り出す方法との組み合わせも試みられている。
しかし、従来のエッジ検出等の画像処理技術のみでは、腕画像と腕モデルの重なり具合の評価が困難である。さらに、肌色ピクセル領域を抽出して腕の領域のみを切り出す方法には、ロボットが移動していて背景が常に変化している場合には、腕の領域のみを切り出すのは非常に困難であるし、例えば長袖シャツを着用している人間の腕は認識できなくなるという問題もある。



物体の3次元的な位置および姿勢を検出する方法として、複数のカメラを用いたステレオ画像方式が古くから知られている。ステレオ画像方式では、複数のカメラで撮像された画像データ間で、特定部位の像の対応関係を定める、いわゆる「対応付け」により、対応点間の視差を求め、2次元画像より物体とカメラとの距離(奥行き)に関する情報を抽出している。そして、対応付けにより得られる距離情報を基に物体の3次元モデルを構築し、その位置および姿勢を求める方法が、ステレオ画像を利用した物体の位置および姿勢認識方法の主流である(例えば、特許文献1)。



【特許文献1】
特開平9-237348号公報

Field of industrial application (In Japanese)


本発明は、ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
ステレオ画像を利用した、概略形状が既知である物体の位置および姿勢認識システムであって、
(1)被写対象となる前記物体を含む領域について前記ステレオ画像を構成する第1および第2の画像の撮像をそれぞれ行う第1および第2のカメラを有するステレオカメラよりなる撮像部と、
(2)前記物体の概略形状に基づいて設定されるa)空間モデルの形状、およびb)該空間モデルのワールド座標系における位置、またはこの位置および姿勢を表す空間モデルパラメータの初期値を設定する空間モデル設定部と、
(3)それぞれ固有の識別子を有する仮想的な矩形領域の各辺の長さ、および該矩形領域のワールド座標系における位置を表す矩形領域パラメータの初期値を、前記空間モデル上に前記物体の概略形状に基づいて設定する矩形領域設定部と、
(4)前記矩形領域のワールド座標系における3次元座標を、前記第1および第2の画像のローカル座標系における2次元座標に変換し、前記第1および第2の画像上に、それぞれ前記矩形領域と同一の識別子を有する比較ウインドウを設定する比較ウインドウ設定部と、
(5)前記比較ウインドウ設定部により前記第1および第2の画像上に設定された、前記比較ウインドウ内部の部分画像を抽出し、前記比較ウインドウと同一の識別子を有する部分画像を生成する部分画像生成部と、
(6)前記部分画像生成部により生成された、同一の識別子を有する前記部分画像同士の全ての組について、前記部分画像同士の一致度が高いほど値が大きくなるよう定義された評価関数の演算を行い、前記評価関数が最大値に収束するまで前記空間モデルパラメータおよび前記矩形領域パラメータの更新、前記比較ウインドウの設定、前記部分画像の抽出、ならびに前記評価関数の演算を反復し、前記空間モデルと前記第1および第2の画像のマッチングを行うマッチング演算部とを有することを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項2】
 
請求項1記載のステレオ画像を利用した物体の位置および姿勢認識システムにおいて、前記マッチング演算部における前記評価関数の演算は、同一の識別子を有する前記部分画像同士についてのエッジ特徴の一致度およびテクスチュアの一致度に関する評価演算を含むことを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項3】
 
請求項1または2記載のステレオ画像を利用した物体の位置および姿勢認識システムにおいて、前記部分画像生成部は、同一の識別子を有する前記部分画像間の視差による大きさの違いを補正する部分画像視差補正手段をさらに有することを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項4】
 
請求項1~3のいずれか1項に記載のステレオ画像を利用した物体の位置および姿勢認識システムにおいて、前記第1および第2の画像に対してエッジおよび肌色ピクセル領域の抽出処理を行う前処理部をさらに有することを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項5】
 
ステレオ画像を利用した、概略形状が既知である物体の位置および姿勢認識方法を実行するプログラムであって、
前記物体の概略形状に基づいて設定されるa)空間モデルの形状、およびb)該空間モデルのワールド座標系における位置、またはこの位置および姿勢を表す空間モデルパラメータの初期値を設定する第1のステップと、
それぞれ固有の識別子を有する仮想的な矩形領域の各辺の長さ、および該矩形領域のワールド座標系における位置を表す矩形領域パラメータの初期値を、前記空間モデル上に前記物体の概略形状に基づいて設定する第2のステップと、
前記物体を含む領域を撮像した第1および第2のカメラからの画像をそれぞれ取り込む第3のステップと、
前記矩形領域のワールド座標系における3次元座標を、前記第1および第2の画像のローカル座標系における2次元座標に変換し、前記第1および第2の画像上に、それぞれ前記矩形領域と同一の識別子を有する比較ウインドウを設定する第4のステップと、
前記第4のステップで前記第1および第2の画像上に設定された前記比較ウインドウ内部の部分画像を抽出し、前記比較ウインドウと同一の識別子を有する部分画像を生成する第5のステップと、
前記第5のステップで生成された同一の識別子を有する前記部分画像同士の全ての組について、前記部分画像同士の一致度が高いほど値が大きくなるよう定義された評価関数の演算を行い、前記評価関数が最大値に収束するまで前記空間モデルパラメータおよび前記矩形領域パラメータの更新、前記第1~第5のステップ、ならびに前記評価関数の演算を反復し、前記空間モデルと前記第1および第2の画像のマッチングを行う第6のステップとをコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項6】
 
請求項5記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第6のステップにおける前記評価関数の演算は、同一の識別子を有する前記部分画像同士についてのエッジ特徴の一致度およびテクスチュアの一致度に関する評価演算を含むことを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項7】
 
請求項5または6記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記矩形領域は、前記第1および第2の画像のローカル座標系における座標面と平行になるように設定されることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項8】
 
請求項5~7のいずれか1項に記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第5のステップと第6のステップの間に、同一の識別子を有する前記部分画像間の視差による大きさの違いを補正するステップAをさらにコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項9】
 
請求項5記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記物体は人間の腕であって、
前記第1のステップにおいて設定される前記空間モデルは、ワールド座標系における肩の3次元座標xS、yS、zS、肩関節の屈曲角度θ1、肩関節の内転角度θ2、肘関節の内旋角度θ3、および肘関節の屈曲角度θ4からなる前記空間モデルパラメータを有し、前腕および上腕部分をそれぞれ一定の長さを有するリンクで表現した、肩部および肘部に関節を有する前記人間の腕の空間モデルであり、
前記第2のステップにおいて、前記矩形領域は前記第1および第2の画像のローカル座標系における座標面と平行になるように設定され、該矩形領域は、手先部のエッジ特徴および肌色ピクセルの一致度の評価を行う手先部矩形領域と、前腕部および上腕部における輪郭の内側の領域についてテクスチュアの一致度の評価を行う腕中心部矩形領域と、前腕部および上腕部におけるエッジ特徴の一致度の評価を行う腕外側部矩形領域とからなり、
前記第6のステップにおける前記評価関数の演算は、前記エッジ特徴、テクスチュア、および肌色ピクセルの一致度の評価演算を含み、
前記第5のステップと第6のステップの間に、前記第1および第2の画像上に設定された同一の識別子を有する前記比較ウインドウ間の視差による大きさの違いを補正するステップAをさらにコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項10】
 
請求項9記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第3のステップの後に前記第1および第2の画像に対して、前処理としてエッジおよび肌色ピクセル領域の抽出処理を行うステップBをさらにコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項11】
 
請求項9または10記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第6のステップにおいて、まず、前記空間モデルパラメータのうちxS、ySおよびzSの1または複数の更新および前記評価関数の演算を反復し、前記人間の腕の空間モデルの肩位置と前記第1および第2の画像のマッチングを行い、次に、前記肩関節の屈曲角度θ1、および前記肩関節の内転角度θ2の1または複数の更新および前記評価関数の演算を反復し、前記人間の腕の空間モデルの上腕部および肘位置と前記第1および第2の画像のマッチングを行い、最後に前記肘関節の内旋角度θ3、および前記肘関節の屈曲角度θ4の1または複数の更新および前記評価関数の演算を反復し、前記人間の腕の空間モデルの前腕部と前記第1および第2の画像のマッチングを行うことを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項12】
 
請求項9または10記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、
前記第1のステップにおいて設定される前記人間の腕の空間モデルは、そのワールド座標系における3次元座標xH、yH、zHからなる前記空間モデルパラメータで表される頭部の中心をさらに有しており、
前記第2のステップにおいて設定される前記矩形領域は、前記頭部の中心点上に設定され、前記頭部のエッジ特徴および肌色ピクセルの一致度の評価を行う頭部矩形領域をさらに有しており、
前記第6のステップにおいて、前記空間モデルパラメータのうちxH、yHおよびzHの1または複数の更新および前記評価関数の演算を反復し、頭部位置について前記人間の腕の空間モデルと前記第1および第2の画像のマッチングを行い、前記空間モデルの頭部と肩部との位置関係から、前記空間モデルの肩部および前記第1および第2の画像とのマッチングを行うことを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2006239190thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close