TOP > 国内特許検索 > 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム

手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム

国内特許コード P150012562
整理番号 S2013-1338-N0
掲載日 2015年11月20日
出願番号 特願2013-255105
公開番号 特開2015-114762
出願日 平成25年12月10日(2013.12.10)
公開日 平成27年6月22日(2015.6.22)
発明者
  • 星野 聖
  • 浜松 慶多
出願人
  • 国立大学法人 筑波大学
発明の名称 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
発明の概要 【課題】仮想物体の操作を、手指の動作により、より直感的に行えるようにする。
【解決手段】
本発明の手指動作検出装置は、手指の形状及び高さの情報を有する画像を取得する画像取得部41と、画像から手指の所定動作に対応する手指の第1の形状、又は、手指の所定動作以外の動作に対応する手指の第2の形状を検出する手指形状検出部44と、手指形状検出部44で検出された第1の形状の情報又は第2の形状の情報に基づいて、手指の3次元空間上の位置及び手指の姿勢の少なくとも一方の情報と、手指形状検出部44の検出結果に対応する情報とを検出する手指動作検出部46とを備える。
【選択図】図2
従来技術、競合技術の概要


従来、3DCAD(three-dimensional Computer Aided Design)や3DCG(Computer Graphics)ソフトウェア等のツールを用いて、情報処理装置上で仮想的な3次元物体を生成したり、生成した仮想3次元物体を操作したりする技術が存在する。これらのツールでは、一般的に、入力インターフェースとしてマウスと呼ばれるポインティングデバイスが使用されている。ところが、マウスは2次元の平面上を移動するものであるため、仮想3次元物体を操作する場合にも、その操作は2次元上で行う必要がある。したがって、仮想3次元物体を直感的に操作したい場合においては、マウスは最適な入力インターフェースであるとは言い難い。



また近年、例えば3Dディスプレイ技術の一般化や安価な3Dプリンタの登場など、出力装置への3D技術の適用が普及しており、直感的に使える3次元空間操作用の入力インターフェースへの需要が高まっている。このような3次元空間操作用の入力インターフェースでは、直感性を損なわないためにも、人間が現実世界で行うような動きを、特別な入力装置を介することなく入力できることが望ましい。



非特許文献1及び非特許文献2には、例えば親指と人差し指等の、少なくとも2本の指の指先同士を接触させる「つまみ動作」を認識し、その認識結果を操作入力として用いる入力インターフェースが記載されている。

産業上の利用分野


本発明は、手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システムに関する。

特許請求の範囲 【請求項1】
手指の形状及び高さの情報を有する画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する手指形状検出部と、
前記手指形状検出部で検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記手指形状検出部の検出結果に対応する情報とを検出する手指動作検出部とを備えた
手指動作検出装置。

【請求項2】
前記手指の所定動作は、前記手指のつまみ動作である
請求項1に記載の手指動作検出装置。

【請求項3】
前記画像取得部で取得された前記画像内において、つまみ動作に関与する2本の指により形成される手指領域に囲まれた内部領域を抽出する内部領域抽出部をさらに備え、
前記手指形状検出部は、前記内部領域抽出部で前記内部領域が検出された場合の前記画像内の手指の形状を前記第1の形状として検出し、前記内部領域抽出部で前記内部領域が検出されなかった場合の前記画像内の手指の形状を前記第2の形状として検出する
請求項2に記載の手指動作検出装置。

【請求項4】
前記手指領域に含まれる複数の画素の情報に基づいて、前記手指領域の近似平面を抽出し、該近似平面内において、前記画像内の手指形状に関する少なくとも一つの特徴点を抽出する特徴点抽出部をさらに備え、
前記手指動作検出部は、前記特徴点抽出部により抽出された前記近似平面内の前記少なくとも一つの特徴点の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報を検出する
請求項3に記載の手指動作検出装置。

【請求項5】
つまみ動作時には、前記特徴点抽出部は、前記画像内における、つまみ動作に関与する2本の指の指先同士の接触点が前記近似平面に投影された点を、第1の特徴点として抽出し、前記手指動作検出部は、前記第1の特徴点を前記手指の3次元空間上の位置として検出し、
非つまみ動作には、前記特徴点抽出部は、前記画像内における、前記2本の指の指先間の中間点が前記近似平面に投影された点を、第2の特徴点として抽出し、前記手指動作検出部は、前記第2の特徴点を前記手指の3次元空間上の位置として検出する
請求項4に記載の手指動作検出装置。

【請求項6】
前記特徴点抽出部は、前記内部領域に対応する凸包領域を生成し、該凸包領域の重心が前記近似平面に投影された点を、第3の特徴点として抽出し、
前記手指動作検出部は、前記特徴点抽出部により抽出された、前記第1の特徴点又は第2の特徴点の情報、前記第3の特徴点の情報、及び、前記近似平面に関する情報に基づいて、前記手指の姿勢を検出する
請求項5に記載の手指動作検出装置。

【請求項7】
前記内部領域抽出部は、前記画像を構成する各画素において、隣接する画素との深度の差を算出して、前記算出した深度の差をその画素の勾配値とし、前記勾配値を所定の閾値を用いて2値化することにより前記手指の輪郭部分に対応する勾配領域を抽出し、該勾配領域の情報に基づいて、前記内部領域を抽出する
請求項3~6のいずれか一項に記載の手指動作検出装置。

【請求項8】
前記内部領域抽出部は、前記内部領域が抽出されなかった場合には、前記画像内において、前記手指の複数の指先の位置を検出し、該複数の指先の位置から、前記2本の指先の位置を特定し、該特定された前記2本の指先の位置及び前記勾配領域の情報に基づいて、前記内部領域に対応する擬似内部領域を抽出する
請求項7に記載の手指動作検出装置。

【請求項9】
前記特徴点抽出部は、前記画像において、前記内部領域に対応する凸包領域を生成し、該凸包領域を所定の比率で膨張させて膨張凸包領域を生成し、該膨張凸包領域から該膨張凸包領域内の該凸包領域と重なる領域を除去した差分領域を生成し、該差分領域から該差分領域内の前記勾配領域と重なる領域を除去して前記手指領域を抽出する
請求項7又は8に記載の手指動作検出装置。

【請求項10】
手指の形状及び高さの情報を有する画像を取得する処理と、
前記取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する処理と、
前記検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記検出結果に対応する情報とを検出する処理とを含む
手指動作検出方法。

【請求項11】
手指の形状及び高さの情報を有する画像を取得する処理と、
前記取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する処理と、
前記検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記検出結果に対応する情報とを検出する処理とを、情報処理装置に実装して実行させる
手指動作検出プログラム。

【請求項12】
手指の形状及び高さの情報を有する画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する手指形状検出部と、
前記手指形状検出部で検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記手指形状検出部の検出結果に対応する情報とを検出する手指動作検出部と、
処理対象となる仮想物体を表示するディスプレイ装置と、
前記手指動作検出部で検出された、前記手指の3次元空間上の位置及び前記手指の姿勢の少なくとも一方の情報と、前記手指形状検出部の検出結果に対応する情報とを用いて、前記ディスプレイ装置に表示された前記仮想物体に所定の処理を施す仮想物体処理部とを備えた
仮想物体処理システム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2013255105thum.jpg
出願権利状態 公開
この特許について質問等ある場合は、電子メールによりご連絡ください。


PAGE TOP

close
close
close
close
close
close
close