TOP > 国内特許検索 > 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法

画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 コモンズ

国内特許コード P07A012641
整理番号 B26P02
掲載日 2008年1月11日
出願番号 特願2003-357082
公開番号 特開2005-122492
登録番号 特許第4060261号
出願日 平成15年10月16日(2003.10.16)
公開日 平成17年5月12日(2005.5.12)
登録日 平成19年12月28日(2007.12.28)
発明者
  • 星野 聖
  • 小渡 悟
出願人
  • 国立研究開発法人科学技術振興機構
発明の名称 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 コモンズ
発明の概要 【課題】従来よりも身体形状の判定精度が高い画像に含まれた身体形状を判定する方法及び該方法を用いた非接触型ポインティング・デバイスの実現方法を提供する。
【解決手段】特徴抽出ステップにおいて、セルの画素に含まれる情報として濃度を用いる。複数種類の局所パターンの演算条件としてセルに含まれる画素間の濃度差を強調する条件を用いる。局所パターンの演算条件には、1つの画素の濃度を示す値を累乗する条件を含まる。判定ステップS2では、ニューラルネットを用いて高次局所相関パターンを自己組織化することにより身体形状を判定する。
【選択図】図1
従来技術、競合技術の概要


マウス、トラックボール、タブレットなどのポインティング・デバイスは、Graphical User Interface(以下、GUI)を構成する上で不可欠な要素であり、その中でも現在は操作が直感的で分かりやすいということでマウスが広く利用されている。しかし、人間から計算機への意思伝達を自然に行なえるマン・マシンインターフェースという観点からみると、マウスをはじめとする一般的なポインティング・デバイスは、操作を行なうにはユーザがデバイスに直接触れる必要がある。一方、コンピュータの利用分野は、仮想環境、モバイル環境、ユビキタス環境などと実生活全般に大きく拡大しつつあり、また、計算機の急速な普及に伴いユーザがより良い操作性や自然な操作感覚をえられるインターフェースが求められている。これらの環境で用いられるポインティング・デバイスは、ユーザを空間内に固定するものであってはならない。また、モバイル環境においては、計算機の小型化により機器の表面積が減少するため、従来のユーザの指先やスタイラスペンなどが機器に接することによるポインティング・デバイスを実装することは困難になってきている。一般にポインティング・デバイスは、ポインティング機構とスイッチ機構から成り立つことから、これらの機構をユーザの身体動作から推定できれば、上記の制限から解放されるものと思われる。



ユーザの身体動作からポインティング・デバイスを実現する手法としては、腕の筋収縮信号を用いたEMG制御型デバイス(辻敏夫、福田修、村上満、金子真、“ニューラルネットを利用したEMG制御型ポインティングデバイス、”計測自動制御学会論文集、vol.37、no.5、pp.425-431、2001.)[非特許文献1]、両足で板を傾斜させて操作する両足操作型デバイス(久米祐一郎、井上啓、“両足操作型ポインティングデバイスの検討、”映像情報メディア学会誌、vol.54、no.6、pp.871-874、2000.)[非特許文献2]、3系統のセンサを組み合わせた「Ubi-Finger」(塚田浩二、安村通晃、“Ubi-Finger:モバイル指向ジェスチャ入力デバイスの研究、”情報処理学会論文誌、vol.43、no.12、pp.3675-3684、2002.)[非特許文献3]などが提案されている。その他にも身振り手ぶりなどのジェスチャ識別までを含めると、データグローブ、磁気式モーションキャプチャ、加速度センサ、関節角度検出センサといったセンサを体に装着することで身体動作を計測することでジェスチャ識別を行なう各種の手法が提案されている(澤田秀之、橋本周司、“加速度センサを用いたジェスチャ認識と音楽制御への応用、”信学論A、vol.79-A、no.2、pp.452-459、1996.)[非特許文献4]、(宮尾淳一、“手話学習システムのための手話単語特徴に基づく教授法”、信学論D-I、vol.J83-D-I、no.10、pp.1120-1128、2000.)[非特許文献5]。これらはセンサを直接体に装着することと専用の機材を用いることで処理の高速性、安定性、計測精度を実現できるが、特殊な機材を装着することになるためユーザに対して拘束感や不自然な使用感を与えてしまい、快適とは言いがたい。これに対して非接触型の手法としては、超音波の位相差を用いた位置計測手法(野中秀俊、伊達惇、“超音波の位相差を利用したポインティング装置(SPD)の開発、”計測自動制御学会論文集、vol.29、no.7、pp.735-744、1993.)[非特許文献6]、複数のカメラを用いる手法(渡辺博己、本郷仁志、安本護、山本和彦、“マルチカメラを用いた全方位ポインティングジェスチャの方向推定、”電学論C、vol.121、no.9、pp.1388-1394、2001.)[非特許文献7]などがある。しかしこれらは特殊な機材を使用することになるため、一般のユーザが利用するのは難しい。通常のカメラを用いて追跡領域の低次のモーメント特徴を用いる手法(高松亮、佐藤誠、“最適視点視野による掌の追跡と手指形状認識に基づくポインティングデバイスの提案、”ヒューマンインターフェース学会、vol.1、no.1、pp.45-52、1999.)[非特許文献8]も提案されているが、低次のモーメントは対象の大きさや各方向の広がりなどの情報程度しか持たないため、対象が回転すると広がりの方向が変わり誤認識を起こす、細かな形状が扱えないなどの欠点を有する。そのため、一般のユーザが快適に利用することを考慮すると、このときのポインティング・デバイスは、非接触でリアルタイム処理が可能で、取り付け箇所や空間を自由に設定できること、また、十分に小型で軽量で安価であることが必要である。



このような事情から、発明者等は非接触型デバイスである単眼カメラを用い、画像からユーザの手の位置と形状を推定することで、ユーザに対して拘束感や不自然な使用感を与えないポインティング・デバイスの構築を検討した。本システムでは、取り込み画像を直交座標系から対数極座標系に変換することで、画像のデータ量を減らし計算コストを削減することで、通常のカメラ以外の専用ハードウェアを用いずにリアルタイム性を実現し、対数極座標空間の高次局所自己相関特徴を用いることで背景の変化や手の回転に対しての頑健性を実現する方法を先に提案した(小渡悟、星野聖、“単眼動画像からの手の位置と形状の推定に基づくポインティングデバイスの提案、”電子情報通信学会技術研究報告、HIP2002-76、pp.79-84、2003.)[非特許文献9]。
【非特許文献1】
辻敏夫、福田修、村上満、金子真、“ニューラルネットを利用したEMG制御型ポインティングデバイス、”計測自動制御学会論文集、vol.37、no.5、pp.425-431、2001.
【非特許文献2】
久米祐一郎、井上啓、“両足操作型ポインティングデバイスの検討、”映像情報メディア学会誌、vol.54、no.6、pp.871-874、2000.
【非特許文献3】
塚田浩二、安村通晃、“Ubi-Finger:モバイル指向ジェスチャ入力デバイスの研究、”情報処理学会論文誌、vol.43、no.12、pp.3675-3684、2002.
【非特許文献4】
澤田秀之、橋本周司、“加速度センサを用いたジェスチャ認識と音楽制御への応用、”信学論A、vol.79-A、no.2、pp.452-459、1996.
【非特許文献5】
宮尾淳一、“手話学習システムのための手話単語特徴に基づく教授法”、信学論D-I、vol.J83-D-I、no.10、pp.1120-1128、2000.
【非特許文献6】
野中秀俊、伊達惇、“超音波の位相差を利用したポインティング装置(SPD)の開発、”計測自動制御学会論文集、vol.29、no.7、pp.735-744、1993.
【非特許文献7】
渡辺博己、本郷仁志、安本護、山本和彦、“マルチカメラを用いた全方位ポインティングジェスチャの方向推定、”電学論C、vol.121、no.9、pp.1388-1394、2001.
【非特許文献8】
高松亮、佐藤誠、“最適視点視野による掌の追跡と手指形状認識に基づくポインティングデバイスの提案、”ヒューマンインターフェース学会、vol.1、no.1、pp.45-52、1999.
【非特許文献9】
小渡悟、星野聖、“単眼動画像からの手の位置と形状の推定に基づくポインティングデバイスの提案、”電子情報通信学会技術研究報告、HIP2002-76、pp.79-84、2003.

産業上の利用分野


本発明は、画像に含まれる身体形状を判定する方法及びこの方法を用いて非接触型ポインティング・デバイスを実現する方法に関するものである。

特許請求の範囲 【請求項1】
予め所定の複数種類の身体動作についての学習用の動画像の各フレームについて対数極座標変換を行って対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての高次局所自己相関特徴を抽出し、抽出した複数の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の高次局所自己相関パターンを抽出し、前記高次局所自己相関パターンに基づいて前記動画像に含まれる各フレームに示された前記身体形状を判定するための判定基準を定める学習ステップと、
実際の身体動作についての動画像の各フレームについて対数極座標変換を行って実際の対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての実際の高次局所自己相関特徴を抽出し、抽出した複数の実際の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の実際の高次局所自己相関パターンを抽出し、前記実際の高次局所自己相関パターンと前記判定基準を用いて前記フレームに示された前記身体形状を判定する判定ステップとをコンピュータにより実施し、
前記学習ステップの前記高次局所自己相関特徴及び前記判定ステップの前記実際の高次局所自己相関特徴を抽出するための特徴抽出ステップでは、前記セルに含まれる点画像または線画像成分を強調するための複数種類の局所パターンを予め定めておき、前記セルの画素に含まれる情報と前記複数種類の局所パターンに示された前記情報との演算条件とに基づいて、1つの前記セルの情報について前記局所パターンの数に対応した複数の演算値を求め、該複数の演算値により前記高次局所自己相関特徴を構成し、
前記高次局所自己相関パターンを抽出する相関パターン抽出ステップでは、前記フレームから切り出した複数の前記セルについて求めた前記複数の演算値を前記局所パターンに対応して加算して得た複数の加算値により前記高次局所自己相関パターンを抽出することによりコンピュータ上で画像に含まれた身体形状を判定する方法において、
前記特徴抽出ステップでは、前記セルの画素に含まれる情報として濃度を用い、前記複数種類の局所パターンの前記演算条件として前記セルに含まれる画素間の濃度差を強調する条件を用いることを特徴とする画像に含まれた身体形状を判定する方法。

【請求項2】
前記複数種類の局所パターンの前記演算条件には、前記1つの画素の前記濃度を示す値を累乗する条件が含まれている請求項1に記載の画像に含まれた身体形状を判定する方法。

【請求項3】
前記セルをn×n個(nは2以上の整数)の画素の集合から構成し、
前記フレームから前記セルを切り分ける際に、前に切り分けたセルと後から切り分けるセルとが一部重なるように切り分けることを特徴とする請求項1に記載の画像に含まれた身体形状を判定する方法。

【請求項4】
前記判定ステップでは、ニューラルネットを用いて前記高次局所相関パターンを自己組織化することにより前記身体形状を判定することを特徴とする請求項1または2に記載の画像に含まれる身体形状を判定する方法。

【請求項5】
請求項1,2,3または4に記載の画像に含まれる身体形状を判定する方法をコンピュータで実施して、人間の手形形状を判定し、コンピュータ上で前記手形形状をポインティングとすることを特徴とする非接触型ポインティング・デバイスの実現方法。

【請求項6】
予め所定の複数種類の身体動作についての学習用の動画像の各フレームについて対数極座標変換を行って対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての高次局所自己相関特徴を抽出し、抽出した複数の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の高次局所自己相関パターンを抽出し、前記高次局所自己相関パターンに基づいて前記動画像に含まれる前記各フレームに示された前記身体形状を判定するための判定基準を定める学習ステップと、
実際の身体動作についての動画像の各フレームについて対数極座標変換を行って実際の対数極座標画像を取得し、前記各フレームについての前記対数極座標画像を複数の画素からなるセルに切り分けて各セルについての実際の高次局所自己相関特徴を抽出し、抽出した複数の実際の高次局所自己相関特徴に基づいて前記各フレームに示された身体形状の実際の高次局所自己相関パターンを抽出し、前記実際の高次局所自己相関パターンと前記判定基準を用いて前記フレームに示された前記身体形状を判定する判定ステップと、
前記対数極座標画像に基づいて前記身体動作のジェスチャの始点と終点とを認識するジェスチャ認識ステップとをコンピュータにより実施し
前記学習ステップの前記高次局所自己相関特徴及び前記判定ステップの前記実際の高次局所自己相関特徴を抽出するための特徴抽出ステップでは、前記セルに含まれる点画像または線画像成分を強調するための複数種類の局所パターンを予め定めておき、前記セルの画素に含まれる情報と前記複数種類の局所パターンに示された前記情報との演算条件とに基づいて1つの前記セルの情報について前記局所パターンの数に対応した複数の演算値を求め、該複数の演算値により前記高次局所自己相関特徴を構成し、
前記高次局所自己相関パターンを抽出する相関パターン抽出ステップでは、前記フレームから切り出した複数の前記セルについて求めた前記複数の演算値を前記局所パターンに対応して加算して得た複数の加算値により前記高次局所自己相関パターンを抽出し、
前記判定ステップの判定結果と前記ジェスチャ認識ステップの認識結果とに基づいて前記身体動作により示されたポインティングをコンピュータ上で判別する非接触型ポインティング・デバイスの実現方法であって、
前記特徴抽出ステップでは、前記セルの画素に含まれる情報として濃度を用い、前記複数種類の局所パターンの前記演算条件として前記セルに含まれる画素間の濃度差を強調する条件を用いることを特徴とする非接触型ポインティング・デバイスの実現方法。

【請求項7】
前記複数種類の局所パターンの前記演算条件には、前記1つの画素の前記濃度を示す値をべき乗する条件が含まれている請求項6に記載の非接触型ポインティング・デバイスの実現方法。

【請求項8】
前記判定ステップでは、ニューラルネットを用いて前記高次局所相関パターンを自己組織化することにより前記身体形状を判定することを特徴とする請求項7に記載の非接触型ポインティング・デバイスの実現方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2003357082thum.jpg
出願権利状態 登録
参考情報 (研究プロジェクト等) SORST 平成13年度採択課題
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close