Top > Search of Japanese Patents > FINGER OPERATION DETECTION DEVICE, FINGER OPERATION DETECTION METHOD, FINGER OPERATION DETECTION PROGRAM, AND VIRTUAL OBJECT PROCESSING SYSTEM

FINGER OPERATION DETECTION DEVICE, FINGER OPERATION DETECTION METHOD, FINGER OPERATION DETECTION PROGRAM, AND VIRTUAL OBJECT PROCESSING SYSTEM

Patent code P150012562
File No. S2013-1338-N0
Posted date Nov 20, 2015
Application number P2013-255105
Publication number P2015-114762A
Patent number P6425299
Date of filing Dec 10, 2013
Date of publication of application Jun 22, 2015
Date of registration Nov 2, 2018
Inventor
  • (In Japanese)星野 聖
  • (In Japanese)浜松 慶多
Applicant
  • (In Japanese)国立大学法人筑波大学
Title FINGER OPERATION DETECTION DEVICE, FINGER OPERATION DETECTION METHOD, FINGER OPERATION DETECTION PROGRAM, AND VIRTUAL OBJECT PROCESSING SYSTEM
Abstract PROBLEM TO BE SOLVED: To intuitively operate a virtual object with a finger operation.
SOLUTION: A finger operation detection device of the present invention includes: an image acquiring unit 41 for acquiring an image having the information of the shape and height of a finger; a finger shape detection unit 44 for detecting, from the image, a first shape of the finger corresponding to a predetermined operation of the finger or a second shape of the finger corresponding to an operation other than the predetermined operation of the finger; and a finger operation detection unit 46 for detecting the information of at least one of the finger position on a three-dimensional space and the finger attitude and the information corresponding to the detection result of the finger shape detection unit 44, on the basis of the information of the first shape or the information of the second shape detected by the finger shape detection unit 44.
Outline of related art and contending technology (In Japanese)

従来、3DCAD(three-dimensional Computer Aided Design)や3DCG(Computer Graphics)ソフトウェア等のツールを用いて、情報処理装置上で仮想的な3次元物体を生成したり、生成した仮想3次元物体を操作したりする技術が存在する。これらのツールでは、一般的に、入力インターフェースとしてマウスと呼ばれるポインティングデバイスが使用されている。ところが、マウスは2次元の平面上を移動するものであるため、仮想3次元物体を操作する場合にも、その操作は2次元上で行う必要がある。したがって、仮想3次元物体を直感的に操作したい場合においては、マウスは最適な入力インターフェースであるとは言い難い。

また近年、例えば3Dディスプレイ技術の一般化や安価な3Dプリンタの登場など、出力装置への3D技術の適用が普及しており、直感的に使える3次元空間操作用の入力インターフェースへの需要が高まっている。このような3次元空間操作用の入力インターフェースでは、直感性を損なわないためにも、人間が現実世界で行うような動きを、特別な入力装置を介することなく入力できることが望ましい。

非特許文献1及び非特許文献2には、例えば親指と人差し指等の、少なくとも2本の指の指先同士を接触させる「つまみ動作」を認識し、その認識結果を操作入力として用いる入力インターフェースが記載されている。

Field of industrial application (In Japanese)

本発明は、手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
手指の形状及び高さの情報を有する画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する手指形状検出部と、
前記手指形状検出部で検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の情報と、前記手指形状検出部の検出結果に対応する情報とを検出する手指動作検出部とを備えた
手指動作検出装置。

【請求項2】
 
前記手指の所定動作は、前記手指のつまみ動作である
請求項1に記載の手指動作検出装置。

【請求項3】
 
前記画像取得部で取得された前記画像内において、つまみ動作に関与する2本の指により形成される手指領域に囲まれた内部領域を抽出する内部領域抽出部をさらに備え、
前記手指形状検出部は、前記内部領域抽出部で前記内部領域が検出された場合の前記画像内の手指の形状を前記第1の形状として検出し、前記内部領域抽出部で前記内部領域が検出されなかった場合の前記画像内の手指の形状を前記第2の形状として検出する
請求項2に記載の手指動作検出装置。

【請求項4】
 
前記手指領域に含まれる複数の画素の情報に基づいて、前記手指領域の近似平面を抽出し、該近似平面内において、前記画像内の手指形状に関する少なくとも一つの特徴点を抽出する特徴点抽出部をさらに備え、
前記手指動作検出部は、前記特徴点抽出部により抽出された前記近似平面内の前記少なくとも一つの特徴点の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の情報を検出する
請求項3に記載の手指動作検出装置。

【請求項5】
 
つまみ動作時には、前記特徴点抽出部は、前記画像内における、つまみ動作に関与する2本の指の指先同士の接触点が前記近似平面に投影された点を、第1の特徴点として抽出し、前記手指動作検出部は、前記第1の特徴点を前記手指の3次元空間上の位置として検出し、
非つまみ動作には、前記特徴点抽出部は、前記画像内における、前記2本の指の指先間の中間点が前記近似平面に投影された点を、第2の特徴点として抽出し、前記手指動作検出部は、前記第2の特徴点を前記手指の3次元空間上の位置として検出する
請求項4に記載の手指動作検出装置。

【請求項6】
 
前記特徴点抽出部は、前記内部領域に対応する凸包領域を生成し、該凸包領域の重心が前記近似平面に投影された点を、第3の特徴点として抽出し、
前記手指動作検出部は、前記特徴点抽出部により抽出された、前記第1の特徴点又は第2の特徴点の情報、前記第3の特徴点の情報、及び、前記近似平面に関する情報に基づいて、前記手指の姿勢を検出する
請求項5に記載の手指動作検出装置。

【請求項7】
 
前記内部領域抽出部は、前記画像を構成する各画素において、隣接する画素との深度の差を算出して、前記算出した深度の差をその画素の勾配値とし、前記勾配値を所定の閾値を用いて2値化することにより前記手指の輪郭部分に対応する勾配領域を抽出し、該勾配領域の情報に基づいて、前記内部領域を抽出する
請求項4~6のいずれか一項に記載の手指動作検出装置。

【請求項8】
 
前記内部領域抽出部は、前記内部領域が抽出されなかった場合には、前記画像内において、前記手指の複数の指先の位置を検出し、該複数の指先の位置から、前記2本の指先の位置を特定し、該特定された前記2本の指先の位置及び前記勾配領域の情報に基づいて、前記内部領域に対応する擬似内部領域を抽出する
請求項7に記載の手指動作検出装置。

【請求項9】
 
前記特徴点抽出部は、前記画像において、前記内部領域に対応する凸包領域を生成し、該凸包領域を所定の比率で膨張させて膨張凸包領域を生成し、該膨張凸包領域から該膨張凸包領域内の該凸包領域と重なる領域を除去した差分領域を生成し、該差分領域から該差分領域内の前記勾配領域と重なる領域を除去して前記手指領域を抽出する
請求項7又は8に記載の手指動作検出装置。

【請求項10】
 
手指の形状及び高さの情報を有する画像を取得する処理と、
前記取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する処理と、
前記検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の情報と、前記検出結果に対応する情報とを検出する処理とを含む
手指動作検出方法。

【請求項11】
 
手指の形状及び高さの情報を有する画像を取得する処理と、
前記取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する処理と、
前記検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の情報と、前記検出結果に対応する情報とを検出する処理とを、情報処理装置に実装して実行させる
手指動作検出プログラム。

【請求項12】
 
手指の形状及び高さの情報を有する画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像から、前記手指の所定動作に対応する前記手指の第1の形状、又は、前記手指の所定動作以外の動作に対応する前記手指の第2の形状を検出する手指形状検出部と、
前記手指形状検出部で検出された前記第1の形状の情報又は第2の形状の情報に基づいて、前記手指の3次元空間上の位置及び前記手指の姿勢の情報と、前記手指形状検出部の検出結果に対応する情報とを検出する手指動作検出部と、
処理対象となる仮想物体を表示するディスプレイ装置と、
前記手指動作検出部で検出された、前記手指の3次元空間上の位置及び前記手指の姿勢の情報と、前記手指形状検出部の検出結果に対応する情報とを用いて、前記ディスプレイ装置に表示された前記仮想物体に所定の処理を施す仮想物体処理部とを備えた
仮想物体処理システム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2013255105thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close