Top > Search of Japanese Patents > (In Japanese)クリック動作検出装置,方法およびプログラム

(In Japanese)クリック動作検出装置,方法およびプログラム

Patent code P170014002
File No. (S2013-1364-N0)
Posted date Apr 7, 2017
Application number P2015-534370
Patent number P6524589
Date of filing Aug 29, 2014
Date of registration May 17, 2019
International application number JP2014073415
International publication number WO2015030264
Date of international filing Aug 29, 2014
Date of international publication Mar 5, 2015
Priority data
  • P2013-179269 (Aug 30, 2013) JP
Inventor
  • (In Japanese)豊浦 正広
  • (In Japanese)杉浦 篤志
  • (In Japanese)茅 暁陽
Applicant
  • (In Japanese)国立大学法人山梨大学
Title (In Japanese)クリック動作検出装置,方法およびプログラム
Abstract (In Japanese)あらかじめ作成された仮想物体(31)の画像と撮像装置(11)から入力される動画像とを合成して表示装置に表示し(31A),動画像を構成する各フレーム画像内に現われる手領域の少なくとも一部を抽出し,時間的に隣接するフレーム間の,抽出した手領域の特定部分に関する差分量を求め,そして差分量によって表わされる状態の時間遷移を調べることによって,前記手領域の前記特定部分の動きによって表わされるクリック動作を検出する。
Outline of related art and contending technology (In Japanese)

AR(Augmented Reality:拡張現実)においては,仮想物体と実際の映像を合成して表示し,あたかも仮想物体が現実に存在するかのような印象を利用者に与えることが要求される。単純に仮想物体を表示するだけでは不十分であり,仮想物体に対し利用者が何らかの操作をすることが求められる。
クリックはコンピュータなどを操作するための基本的な動作である。透過型ヘッドマウントディスプレイなどの実体を伴わない表示画面を用いる場合に,その表示画面に表示したボタンなどの仮想物体をクリック操作することは,空中でクリック動作を行うことになり,このクリック動作を検出することは難しかった。
1台のカメラからの映像に基づいて空中でのクリック動作を検出しようとすると,指先の正確な三次元位置を推定することが困難で,三次元空間における動きである仮想物体との接触を判定することができない。
従来技術として,指に付されたマーカから指の三次元位置を推定し,仮想物体との三次元的な衝突を判定するものがある。たとえば特許文献1では,肌色検出やエッジ抽出などを行い,指を検出することができるとされている。しかしながら,二次元画像上の手指の領域から推定できる奥行位置には精度の限界があり,仮想物体との衝突を正しく判定することは難しいので,指にマーカなどを付して検出することが開示されている。この場合にはマーカの画像上の大きさによってある程度正しく奥行き位置を推定できると考えられるが,指先にマーカをつけることが装置利用上の制約となることがある。
特許文献2では,複数台のカメラから出力される画像に基づいて得られる指先位置から指の三次元位置を獲得し,仮想物体と三次元位置との衝突を判定している。この場合にも,大きさを持った手指の領域から三角測量の原理で指先位置を推定することになり,高い精度で奥行き位置を推定することは望めない。複数台のカメラを用いることが装置利用上の制約となることもある。
また非特許文献1では,画像上で検出しやすいジェスチャである「親指と人差し指で挟む」(pinch,ピンチ)ことに着目して,指先の三次元位置を推定することなく,仮想物体指定を実現している。このジェスチャは理解しやすいものの,一般に行われている現実物体を指定する方法とは異なるために,仮想物体とのやり取りをしている印象が強くなり,自然なインタフェースを実現する上で用途によっては不十分であることがある。

Field of industrial application (In Japanese)

この発明は,仮想物体(virtual objects)を手(指,指先を含む)でクリックする動作(操作)(click gesture,click operation)を検出する装置,方法およびプログラムに関し,たとえばカメラ付携帯端末装置,ヘッドマウントディスプレイ(特に透過型),大型,中型,小型を問わず表示装置を有する各種機器またはカメラを備えた各種機器において利用される。

Scope of claims (In Japanese)
【請求項1】
 
あらかじめ作成された仮想物体の画像と1台の撮像装置から入力される動画像とを合成し,表示装置に表示する表示制御手段,
前記動画像を構成する各フレーム画像内に現われる指領域を抽出する指領域抽出手段,
前記指領域抽出手段が抽出した指領域における指の太さを算出する手段,
時間的に隣接するフレーム間の,抽出した指領域のX方向,Y方向および算出した指の太さによって表わされる3次元パラメータの差分量に基づいて3次元の速度情報および加速度情報を求める差分算出手段,ならびに
前記差分算出手段が求めた前記指領域の速度情報および加速度情報に基づいて,前記指領域が,動いている状態から,急減速して表示されている仮想物体の画像の所定領域内で停止したときにクリック動作と判断するクリック動作検出手段,
を備えるクリック動作検出装置。

【請求項2】
 
前記表示装置に表示されている仮想物体の画像の所定領域内で,前記抽出された指領域が,所定時間以上,動きを停止していることを検出してクリック可能状態と判断するクリック可能状態検出手段をさらに備える,請求項1に記載のクリック動作検出装置。

【請求項3】
 
前記クリック可能状態検出手段がクリック可能状態と判断したときに,前記表示制御手段は前記仮想物体の画像の所定領域に関連する部分の表示態様を変化させる,請求項2に記載のクリック動作検出装置。

【請求項4】
 
前記クリック動作検出手段がクリック動作を検出したときにその旨を報知する報知手段をさらに備える,請求項2または3に記載のクリック動作検出装置。

【請求項5】
 
あらかじめ作成された仮想物体の画像と1台の撮像装置から入力される動画像とを合成して,表示装置に表示し,
前記動画像を構成する各フレーム画像内に現われる手領域の少なくとも一部を抽出し,
抽出した手領域における指の太さを算出し,
時間的に隣接するフレーム間の,抽出した手領域の特定部分のX方向,Y方向および算出した指の太さによって表わされる3次元パラメータの差分量に基づいて3次元の速度情報および加速度情報を求め,
前記表示装置に表示されている仮想物体の画像の所定領域内で,前記抽出された手領域の前記特定部分が,所定時間以上,動きを停止していることを検出してクリック可能状態と判断し,
前記速度情報および加速度情報に基づいて,前記手領域の前記特定部分が,前記クリック可能状態から運動状態に入り,その後急減速して表示されている仮想物体の画像の所定領域内で停止したときにクリック動作と判断する,
クリック動作検出方法。

【請求項6】
 
あらかじめ作成された仮想物体の画像と1台の撮像装置から入力される動画像とを合成して,表示装置に表示させ,
前記動画像を構成する各フレーム画像内に現われる手領域の少なくとも一部を抽出し,
抽出した手領域における指の太さを算出し,
時間的に隣接するフレーム間の,抽出した手領域の特定部分のX方向,Y方向および算出した指の太さによって表わされる3次元パラメータの差分量に基づいて3次元の速度情報および加速度情報を求め,
前記表示装置に表示されている仮想物体の画像の所定領域内で,前記抽出された手領域の前記特定部分が,所定時間以上,動きを停止していることを検出してクリック可能状態と判断し,そして
前記速度情報および加速度情報に基づいて,前記手領域の前記特定部分が,前記クリック可能状態から運動状態に入り,その後急減速して表示されている仮想物体の画像の所定領域内で停止したときにクリック動作と判断するようにコンピュータを制御する,
クリック動作検出のためのプログラム。

【請求項7】
 
請求項6に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
IPC(International Patent Classification)
F-term
  • 5E555AA04
  • 5E555AA62
  • 5E555BA02
  • 5E555BB02
  • 5E555BC01
  • 5E555BE17
  • 5E555CA42
  • 5E555CB05
  • 5E555CB66
  • 5E555DA09
  • 5E555EA14
  • 5E555FA30
Drawing

※Click image to enlarge.

JP2015534370thum.jpg
State of application right Registered
Please feel free to contact us by email or facsimile if you have any interests in this patent.


PAGE TOP

close
close
close
close
close
close
close