TOP > 国内特許検索 > ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム

ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム 新技術説明会 実績あり

国内特許コード P09A014789
掲載日 2009年11月13日
出願番号 特願2006-239190
公開番号 特開2008-065368
登録番号 特許第4765075号
出願日 平成18年9月4日(2006.9.4)
公開日 平成20年3月21日(2008.3.21)
登録日 平成23年6月24日(2011.6.24)
発明者
  • 宮本 弘之
出願人
  • 国立大学法人九州工業大学
発明の名称 ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム 新技術説明会 実績あり
発明の概要

【課題】計算コストを要し、誤認識を完全に回避できない対応点探索を行わずに物体の位置および姿勢の認識を行うことができるステレオ画像を利用した物体の位置および姿勢認識システム、このシステムを用いた物体の位置および姿勢認識方法、およびこの方法を実行するプログラムを提供する。
【解決手段】物体の位置および姿勢認識システム(10)は、撮像部(11)と、物体の概略形状に基づいて空間モデルを設定する空間モデル設定部(16)と、空間モデル上に設定された仮想的な矩形領域を設定する矩形領域設定部(19)と、矩形領域をステレオ画像上に投影する比較ウインドウ設定部(22)と、比較ウインドウ内部の部分画像を抽出する部分画像生成部(29)と、空間モデルの位置および姿勢を変化させつつステレオ画像のマッチングを行うマッチング演算部(33)とを有する。
【選択図】図1

従来技術、競合技術の概要


物体の3次元的な位置および姿勢の検出は、各種ロボットの視覚システム、監視システム、マンマシンインターフェース、ゲーム機器等の幅広い分野への応用が期待されている。
近年、福祉施設や家庭内で人間の役に立つロボットの開発が盛んに行われているが、ここで問題になるのはロボットの教示方法である。従来、プログラム言語による動作制御やジョイスティック等を用いた教示が行われているが、これらは専門知識を要するとともに多大な手間を要する。したがって、誰でも簡単にロボットを扱うためには、例えば、音声や身振り等によるロボットとのコミュニケーション手法の確立が望まれている。



ロボットに身振りを認識させるためには、カメラ等により撮像された画像データに基づき腕等の3次元的な位置および姿勢の認識を行う必要がある。
画像を用いて人間の腕の位置および姿勢を認識する1つの方法として、肩および肘関節を有し、上腕および前腕を線分(リンク)で表した腕モデルを用い、肩部分でこの腕モデルと人間の腕画像との位置合わせを行った後、各関節を少しずつ回転させて、画面上で腕画像の中心と腕モデルの重なり具合が最大となるよう各関節の角度を決定する方法がある。背景差分をとった上で肌色ピクセル領域を抽出することにより、画像より腕の領域のみを切り出す方法との組み合わせも試みられている。
しかし、従来のエッジ検出等の画像処理技術のみでは、腕画像と腕モデルの重なり具合の評価が困難である。さらに、肌色ピクセル領域を抽出して腕の領域のみを切り出す方法には、ロボットが移動していて背景が常に変化している場合には、腕の領域のみを切り出すのは非常に困難であるし、例えば長袖シャツを着用している人間の腕は認識できなくなるという問題もある。



物体の3次元的な位置および姿勢を検出する方法として、複数のカメラを用いたステレオ画像方式が古くから知られている。ステレオ画像方式では、複数のカメラで撮像された画像データ間で、特定部位の像の対応関係を定める、いわゆる「対応付け」により、対応点間の視差を求め、2次元画像より物体とカメラとの距離(奥行き)に関する情報を抽出している。そして、対応付けにより得られる距離情報を基に物体の3次元モデルを構築し、その位置および姿勢を求める方法が、ステレオ画像を利用した物体の位置および姿勢認識方法の主流である(例えば、特許文献1)。




【特許文献1】特開平9-237348号公報

産業上の利用分野


本発明は、ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラムに関する。

特許請求の範囲 【請求項1】
ステレオ画像を利用した、概略形状が既知である物体の位置および姿勢認識システムであって、
(1)被写対象となる前記物体を含む領域について前記ステレオ画像を構成する第1および第2の画像の撮像をそれぞれ行う第1および第2のカメラを有するステレオカメラよりなる撮像部と、
(2)前記物体の概略形状に基づいて設定されるa)空間モデルの形状、およびb)該空間モデルのワールド座標系における位置、またはこの位置および姿勢を表す空間モデルパラメータの初期値を設定する空間モデル設定部と、
(3)それぞれ固有の識別子を有する仮想的な矩形領域の各辺の長さ、および該矩形領域のワールド座標系における位置を表す矩形領域パラメータの初期値を、前記空間モデル上に前記物体の概略形状に基づいて設定する矩形領域設定部と、
(4)前記矩形領域のワールド座標系における3次元座標を、前記第1および第2の画像のローカル座標系における2次元座標に変換し、前記第1および第2の画像上に、それぞれ前記矩形領域と同一の識別子を有する比較ウインドウを設定する比較ウインドウ設定部と、
(5)前記比較ウインドウ設定部により前記第1および第2の画像上に設定された、前記比較ウインドウ内部の部分画像を抽出し、前記比較ウインドウと同一の識別子を有する部分画像を生成する部分画像生成部と、
(6)前記部分画像生成部により生成された、同一の識別子を有する前記部分画像同士の全ての組について、前記部分画像同士の一致度が高いほど値が大きくなるよう定義された評価関数の演算を行い、前記評価関数が最大値に収束するまで前記空間モデルパラメータおよび前記矩形領域パラメータの更新、前記比較ウインドウの設定、前記部分画像の抽出、ならびに前記評価関数の演算を反復し、前記空間モデルと前記第1および第2の画像のマッチングを行うマッチング演算部とを有することを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項2】
請求項1記載のステレオ画像を利用した物体の位置および姿勢認識システムにおいて、前記マッチング演算部における前記評価関数の演算は、同一の識別子を有する前記部分画像同士についてのエッジ特徴の一致度およびテクスチュアの一致度に関する評価演算を含むことを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項3】
請求項1または2記載のステレオ画像を利用した物体の位置および姿勢認識システムにおいて、前記部分画像生成部は、同一の識別子を有する前記部分画像間の視差による大きさの違いを補正する部分画像視差補正手段をさらに有することを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項4】
請求項1~3のいずれか1項に記載のステレオ画像を利用した物体の位置および姿勢認識システムにおいて、前記第1および第2の画像に対してエッジおよび肌色ピクセル領域の抽出処理を行う前処理部をさらに有することを特徴とするステレオ画像を利用した物体の位置および姿勢認識システム。

【請求項5】
ステレオ画像を利用した、概略形状が既知である物体の位置および姿勢認識方法を実行するプログラムであって、
前記物体の概略形状に基づいて設定されるa)空間モデルの形状、およびb)該空間モデルのワールド座標系における位置、またはこの位置および姿勢を表す空間モデルパラメータの初期値を設定する第1のステップと、
それぞれ固有の識別子を有する仮想的な矩形領域の各辺の長さ、および該矩形領域のワールド座標系における位置を表す矩形領域パラメータの初期値を、前記空間モデル上に前記物体の概略形状に基づいて設定する第2のステップと、
前記物体を含む領域を撮像した第1および第2のカメラからの画像をそれぞれ取り込む第3のステップと、
前記矩形領域のワールド座標系における3次元座標を、前記第1および第2の画像のローカル座標系における2次元座標に変換し、前記第1および第2の画像上に、それぞれ前記矩形領域と同一の識別子を有する比較ウインドウを設定する第4のステップと、
前記第4のステップで前記第1および第2の画像上に設定された前記比較ウインドウ内部の部分画像を抽出し、前記比較ウインドウと同一の識別子を有する部分画像を生成する第5のステップと、
前記第5のステップで生成された同一の識別子を有する前記部分画像同士の全ての組について、前記部分画像同士の一致度が高いほど値が大きくなるよう定義された評価関数の演算を行い、前記評価関数が最大値に収束するまで前記空間モデルパラメータおよび前記矩形領域パラメータの更新、前記第1~第5のステップ、ならびに前記評価関数の演算を反復し、前記空間モデルと前記第1および第2の画像のマッチングを行う第6のステップとをコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項6】
請求項記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第6のステップにおける前記評価関数の演算は、同一の識別子を有する前記部分画像同士についてのエッジ特徴の一致度およびテクスチュアの一致度に関する評価演算を含むことを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項7】
請求項5または6記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記矩形領域は、前記第1および第2の画像のローカル座標系における座標面と平行になるように設定されることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項8】
請求項5~7のいずれか1項に記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第5のステップと第6のステップの間に、同一の識別子を有する前記部分画像間の視差による大きさの違いを補正するステップAをさらにコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項9】
請求項記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記物体は人間の腕であって、
前記第1のステップにおいて設定される前記空間モデルは、ワールド座標系における肩の3次元座標x、y、z、肩関節の屈曲角度θ、肩関節の内転角度θ、肘関節の内旋角度θ、および肘関節の屈曲角度θからなる前記空間モデルパラメータを有し、前腕および上腕部分をそれぞれ一定の長さを有するリンクで表現した、肩部および肘部に関節を有する前記人間の腕の空間モデルであり、
前記第2のステップにおいて、前記矩形領域は前記第1および第2の画像のローカル座標系における座標面と平行になるように設定され、該矩形領域は、手先部のエッジ特徴および肌色ピクセルの一致度の評価を行う手先部矩形領域と、前腕部および上腕部における輪郭の内側の領域についてテクスチュアの一致度の評価を行う腕中心部矩形領域と、前腕部および上腕部におけるエッジ特徴の一致度の評価を行う腕外側部矩形領域とからなり、
前記第6のステップにおける前記評価関数の演算は、前記エッジ特徴、テクスチュア、および肌色ピクセルの一致度の評価演算を含み、
前記第5のステップと第6のステップの間に、前記第1および第2の画像上に設定された同一の識別子を有する前記比較ウインドウ間の視差による大きさの違いを補正するステップAをさらにコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項10】
請求項記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第3のステップの後に前記第1および第2の画像に対して、前処理としてエッジおよび肌色ピクセル領域の抽出処理を行うステップBをさらにコンピュータに実行させることを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項11】
請求項9または10記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、前記第6のステップにおいて、まず、前記空間モデルパラメータのうちx、yおよびzの1または複数の更新および前記評価関数の演算を反復し、前記人間の腕の空間モデルの肩位置と前記第1および第2の画像のマッチングを行い、次に、前記肩関節の屈曲角度θ、および前記肩関節の内転角度θの1または複数の更新および前記評価関数の演算を反復し、前記人間の腕の空間モデルの上腕部および肘位置と前記第1および第2の画像のマッチングを行い、最後に前記肘関節の内旋角度θ、および前記肘関節の屈曲角度θの1または複数の更新および前記評価関数の演算を反復し、前記人間の腕の空間モデルの前腕部と前記第1および第2の画像のマッチングを行うことを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。

【請求項12】
請求項9または10記載のステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラムにおいて、
前記第1のステップにおいて設定される前記人間の腕の空間モデルは、そのワールド座標系における3次元座標x、y、zからなる前記空間モデルパラメータで表される頭部の中心をさらに有しており、
前記第2のステップにおいて設定される前記矩形領域は、前記頭部の中心点上に設定され、前記頭部のエッジ特徴および肌色ピクセルの一致度の評価を行う頭部矩形領域をさらに有しており、
前記第6のステップにおいて、前記空間モデルパラメータのうちx、yおよびzの1または複数の更新および前記評価関数の演算を反復し、頭部位置について前記人間の腕の空間モデルと前記第1および第2の画像のマッチングを行い、前記空間モデルの頭部と肩部との位置関係から、前記空間モデルの肩部および前記第1および第2の画像とのマッチングを行うことを特徴とするステレオ画像を利用した物体の位置および姿勢認識方法を実行するプログラム。
産業区分
  • 計算機応用
  • 工業用ロボット
  • 測定
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2006239190thum.jpg
出願権利状態 権利存続中
詳細は、下記「問合せ先」まで直接お問い合わせください。


PAGE TOP

close
close
close
close
close
close
close