Top > Search of Japanese Patents > POINTING SYSTEM AND POINTING METHOD

POINTING SYSTEM AND POINTING METHOD

Patent code P06P003714
File No. KP04-082
Posted date Sep 22, 2006
Application number P2005-054276
Publication number P2006-243784A
Patent number P4686708
Date of filing Feb 28, 2005
Date of publication of application Sep 14, 2006
Date of registration Feb 25, 2011
Inventor
  • (In Japanese)塚本 昌彦
Applicant
  • (In Japanese)国立大学法人神戸大学
Title POINTING SYSTEM AND POINTING METHOD
Abstract PROBLEM TO BE SOLVED: To provide a pointing system and a pointing method reducing a risk of generating an erroneous operation.
SOLUTION: A mode is switched from a standing-by mode to an input mode, when an operator changes from a condition that he/she is not watching carefully a display into a condition that he/she is watching carefully it, in the head mount display. An operation corresponding to the moving of a pointer is executed when an acceleration applied onto a head part of the operator is smaller than a threshold value (a) in any direction, under the condition watching carefully the display. On the other hand, an operation corresponding to a right click is executed when a right direction acceleration applied onto the head part of the operator is the threshold value (a) or more, and an operation corresponding to a left click is executed when a left direction acceleration applied onto the head part of the operator is the threshold value (a) or more.
Outline of related art and contending technology (In Japanese)


近年、コンピュータを衣服のように身に付けて使用するウェアラブルコンピューティングが注目されている。このウェアラブルコンピューティングでは、歩きながら利用されたり、作業をしながら利用されるという利用形態が多い。



ウェアラブルコンピューティングの一例としては、頭部装着型の表示装置と、それに接続されたPCカードとを有する頭部装着型表示システムがある(例えば、特許文献1参照)。このシステムでは、PCカードが携帯用コンピュータのPCカードスロットに装填されることによって、表示装置と携帯用コンピュータとが接続される。そして、この表示装置には、携帯用コンピュータから伝送された画像信号に基づく画像が表示される。



ここで、表示装置の表示画面にアイコン等のGUIが表示される場合には、ポインタを利用して種々の操作が必要になるので、ポインティングシステムが不可欠である。ポインティングシステムとしては、片手で操作可能なマウスが用いらたものが一般的であるが、手を利用して操作を行うことが困難な場合には、頭部の動きや視線の変化が検出されることによってポインティングが行われることがある(例えば、特許文献2、3参照)。
【特許文献1】
特開2001-166253号公報
【特許文献2】
特開2001-67179号公報
【特許文献3】
特開2000-89905号公報

Field of industrial application (In Japanese)


本発明は、例えばディスプレイに表示されたポインタの位置を移動させると共に、種々の操作を行うために用いられるポインティングシステム及びポインティング方法に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
ディスプレイと、
前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードとを記憶する第1の記憶手段と、
前記第1の記憶手段に記憶された2つのモードのうちのいずれか1つのモードを記憶する第2の記憶手段と、
操作者の目を撮影可能な撮影機構と、
前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知手段と、
前記第1の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較手段と、
操作者の体の一部の動きを検出可能な検出手段と、
前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第2モードから前記第1モードに切り換えると共に、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第1モードから前記第2モードに切り換える切り換え手段と、
前記第2の記憶手段に記憶されたモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えることを特徴とするポインティングシステム。

【請求項2】
 
前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であることを特徴とする請求項1に記載のポインティングシステム。

【請求項3】
 
前記検出手段は、操作者の頭部の動きを検出可能である特徴とする請求項1または2に記載のポインティングシステム。

【請求項4】
 
前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであることを特徴とする請求項3に記載のポインティングシステム。

【請求項5】
 
前記制御手段は、前記加速度センサにより検知された加速度に基づいて、前記ディスプレイに表示されたポインタの位置を変更することを特徴とする請求項4に記載のポインティングシステム。

【請求項6】
 
前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第2の比較手段をさらに備えており、
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行うことを特徴とする請求項4に記載のポインティングシステム。

【請求項7】
 
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、その加速度の方向にしたがって互いに異なる操作を行うことを特徴とする請求項6に記載のポインティングシステム。

【請求項8】
 
ディスプレイと、
前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードとを記憶する第1の記憶手段と、
前記第1の記憶手段に記憶された2つのモードのうちのいずれか1つのモードを記憶する第2の記憶手段と、
操作者の目を撮影可能な撮影機構と、
前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知手段と、
前記第1の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較手段と、
操作者の体の一部に加えられる加速度を検出可能な検出手段と、
前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第2の比較手段と、
前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第2モードから前記第1モードに切り換えると共に、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記第2の記憶手段に記憶された1つのモードを、前記第1モードから前記第2モードに切り換える切り換え手段と、
前記第2の記憶手段に記憶されたモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えることを特徴とするポインティングシステム。

【請求項9】
 
前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であることを特徴とする請求項8に記載のポインティングシステム。

【請求項10】
 
前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであることを特徴とする請求項8または9に記載のポインティングシステム。

【請求項11】
 
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、
前記第1の比較手段により前記第1の検知手段により検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行うことを特徴とする請求項8~10のいずれか1項に記載のポインティングシステム。

【請求項12】
 
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、前記第1の検知手段により検知された操作者の視線の方向にしたがって互いに異なる操作を行うことを特徴とする請求項11に記載のポインティングシステム。

【請求項13】
 
前記ディスプレイ、前記撮影機構及び前記検出手段の全てを保持し且つこれらを操作者の頭部に装着する保持部材をさらに備えていることを特徴とする請求項1~10のいずれか1項に記載のポインティングシステム。

【請求項14】
 
操作者の目を撮影する撮影ステップと、
前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知ステップと、
前記第1の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較ステップと、
前記第1の比較ステップにより前記第1の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードに切り換える切り換えステップと、
操作者の体の一部の動きを検出する検出ステップと、
ポインティングシステムのモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えていることを特徴とするポインティング方法。

【請求項15】
 
操作者の目を撮影する撮影ステップと、
前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知ステップと、
前記第1の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較ステップと、
操作者の体の一部の動きを検出する検出ステップと、
前記検出ステップにより検知された加速度とあらかじめ設定された所定値とを比較する第2の比較ステップと、
前記第1の比較ステップにより前記第1の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較ステップにより前記検出ステップで検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードに切り換える切り換えステップと、
ポインティングシステムのモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えていることを特徴とするポインティング方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005054276thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close