TOP > 国内特許検索 > ポインティングシステム及びポインティング方法 > 明細書

明細書 :ポインティングシステム及びポインティング方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4686708号 (P4686708)
公開番号 特開2006-243784 (P2006-243784A)
登録日 平成23年2月25日(2011.2.25)
発行日 平成23年5月25日(2011.5.25)
公開日 平成18年9月14日(2006.9.14)
発明の名称または考案の名称 ポインティングシステム及びポインティング方法
国際特許分類 G06F   3/033       (2006.01)
G06F   3/038       (2006.01)
G06F   3/01        (2006.01)
FI G06F 3/033 310Y
G06F 3/038 310Y
G06F 3/01 310A
請求項の数または発明の数 15
全頁数 19
出願番号 特願2005-054276 (P2005-054276)
出願日 平成17年2月28日(2005.2.28)
審査請求日 平成19年9月20日(2007.9.20)
特許権者または実用新案権者 【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
発明者または考案者 【氏名】塚本 昌彦
個別代理人の代理人 【識別番号】100089196、【弁理士】、【氏名又は名称】梶 良之
【識別番号】100104226、【弁理士】、【氏名又は名称】須原 誠
【識別番号】100129377、【弁理士】、【氏名又は名称】瀬川 耕司
審査官 【審査官】山崎 慎一
参考文献・文献 特開平04-205617(JP,A)
特開平09-016315(JP,A)
特開平09-044297(JP,A)
特開平06-012206(JP,A)
特開平07-248872(JP,A)
特開平10-091324(JP,A)
特開平05-241767(JP,A)
特開平10-091326(JP,A)
特開2001-100903(JP,A)
特開2002-268815(JP,A)
特開2000-250699(JP,A)
特開2002-318652(JP,A)
特開2002-312117(JP,A)
特開2002-042172(JP,A)
調査した分野 G06F 3/033
G06F 3/01
G06F 3/038
特許請求の範囲 【請求項1】
ディスプレイと、
前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードとを記憶する第1の記憶手段と、
前記第1の記憶手段に記憶された2つのモードのうちのいずれか1つのモードを記憶する第2の記憶手段と、
操作者の目を撮影可能な撮影機構と、
前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知手段と、
前記第1の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較手段と、
操作者の体の一部の動きを検出可能な検出手段と、
前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第2モードから前記第1モードに切り換えると共に、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第1モードから前記第2モードに切り換える切り換え手段と、
前記第2の記憶手段に記憶されたモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えることを特徴とするポインティングシステム。
【請求項2】
前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であることを特徴とする請求項1に記載のポインティングシステム。
【請求項3】
前記検出手段は、操作者の頭部の動きを検出可能である特徴とする請求項1または2に記載のポインティングシステム。
【請求項4】
前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであることを特徴とする請求項3に記載のポインティングシステム。
【請求項5】
前記制御手段は、前記加速度センサにより検知された加速度に基づいて、前記ディスプレイに表示されたポインタの位置を変更することを特徴とする請求項4に記載のポインティングシステム。
【請求項6】
前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第2の比較手段をさらに備えており、
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行うことを特徴とする請求項4に記載のポインティングシステム。
【請求項7】
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、その加速度の方向にしたがって互いに異なる操作を行うことを特徴とする請求項6に記載のポインティングシステム。
【請求項8】
ディスプレイと、
前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードとを記憶する第1の記憶手段と、
前記第1の記憶手段に記憶された2つのモードのうちのいずれか1つのモードを記憶する第2の記憶手段と、
操作者の目を撮影可能な撮影機構と、
前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知手段と、
前記第1の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較手段と、
操作者の体の一部に加えられる加速度を検出可能な検出手段と、
前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第2の比較手段と、
前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第2モードから前記第1モードに切り換えると共に、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記第2の記憶手段に記憶された1つのモードを、前記第1モードから前記第2モードに切り換える切り換え手段と、
前記第2の記憶手段に記憶されたモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えることを特徴とするポインティングシステム。
【請求項9】
前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であることを特徴とする請求項8に記載のポインティングシステム。
【請求項10】
前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであることを特徴とする請求項8または9に記載のポインティングシステム。
【請求項11】
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、
前記第1の比較手段により前記第1の検知手段により検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行うことを特徴とする請求項8~10のいずれか1項に記載のポインティングシステム。
【請求項12】
前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、前記第1の検知手段により検知された操作者の視線の方向にしたがって互いに異なる操作を行うことを特徴とする請求項11に記載のポインティングシステム。
【請求項13】
前記ディスプレイ、前記撮影機構及び前記検出手段の全てを保持し且つこれらを操作者の頭部に装着する保持部材をさらに備えていることを特徴とする請求項1~10のいずれか1項に記載のポインティングシステム。
【請求項14】
操作者の目を撮影する撮影ステップと、
前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知ステップと、
前記第1の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較ステップと、
前記第1の比較ステップにより前記第1の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードに切り換える切り換えステップと、
操作者の体の一部の動きを検出する検出ステップと、
ポインティングシステムのモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えていることを特徴とするポインティング方法。
【請求項15】
操作者の目を撮影する撮影ステップと、
前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知ステップと、
前記第1の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較ステップと、
操作者の体の一部の動きを検出する検出ステップと、
前記検出ステップにより検知された加速度とあらかじめ設定された所定値とを比較する第2の比較ステップと、
前記第1の比較ステップにより前記第1の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較ステップにより前記検出ステップで検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードに切り換える切り換えステップと、
ポインティングシステムのモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えていることを特徴とするポインティング方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えばディスプレイに表示されたポインタの位置を移動させると共に、種々の操作を行うために用いられるポインティングシステム及びポインティング方法に関するものである。
【背景技術】
【0002】
近年、コンピュータを衣服のように身に付けて使用するウェアラブルコンピューティングが注目されている。このウェアラブルコンピューティングでは、歩きながら利用されたり、作業をしながら利用されるという利用形態が多い。
【0003】
ウェアラブルコンピューティングの一例としては、頭部装着型の表示装置と、それに接続されたPCカードとを有する頭部装着型表示システムがある(例えば、特許文献1参照)。このシステムでは、PCカードが携帯用コンピュータのPCカードスロットに装填されることによって、表示装置と携帯用コンピュータとが接続される。そして、この表示装置には、携帯用コンピュータから伝送された画像信号に基づく画像が表示される。
【0004】
ここで、表示装置の表示画面にアイコン等のGUIが表示される場合には、ポインタを利用して種々の操作が必要になるので、ポインティングシステムが不可欠である。ポインティングシステムとしては、片手で操作可能なマウスが用いらたものが一般的であるが、手を利用して操作を行うことが困難な場合には、頭部の動きや視線の変化が検出されることによってポインティングが行われることがある(例えば、特許文献2、3参照)。

【特許文献1】特開2001-166253号公報
【特許文献2】特開2001-67179号公報
【特許文献3】特開2000-89905号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述した頭部の動きや視線によるポインティングシステムでは、ポインタの位置が頭部の動きや視線の変化に基づいて常に変更されると共に、別に設けられたスイッチが押下されることによって決定操作が行われる。そのため、操作者が無意識のうちに頭部を動かしたり視線を変化させた場合でも、それに伴って、ポインタの位置が変更されてしまう。また、ポインタの位置が操作者が実行しようとする操作に対応したアイコン上に変更される前に、例えば物がスイッチ上に落下することによってスイッチが誤って押下された場合には、操作者の意図とは異なる操作が行われてしまう。
【0006】
そこで、本発明の主な目的は、誤操作が発生する可能性が少ないポインティングシステム及びポインティング方法を提供することである。
【課題を解決するための手段および発明の効果】
【0007】
本発明のポインティングシステムは、ディスプレイと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードとを記憶する第1の記憶手段と、前記第1の記憶手段に記憶された2つのモードのうちのいずれか1つのモードを記憶する第2の記憶手段と、操作者の目を撮影可能な撮影機構と、前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知手段と、前記第1の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較手段と、操作者の体の一部の動きを検出可能な検出手段と、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第2モードから前記第1モードに切り換えると共に、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第1モードから前記第2モードに切り換える切り換え手段と、前記第2の記憶手段に記憶されたモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えるものである。
【0008】
本発明のポインティング方法は、操作者の目を撮影する撮影ステップと、前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知ステップと、前記第1の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較ステップと、前記第1の比較ステップにより前記第1の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードに切り換える切り換えステップと、操作者の体の一部の動きを検出する検出ステップと、ポインティングシステムのモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えているものである。

【0009】

【0010】

【0011】
この構成によると、操作者の視線が、所定視線状態と一致しない状態から一致する状態に変化した場合に、ポインティングシステムのモードが、ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換えられる。そのため、操作者は、視線を所定視線状態と一致する状態に変更することによってポインティングシステムのモードを第1モードに切り換えた後で、体の一部の動きに基づいて、ポインタの移動及びポインタを用いた操作を制御することができる。従って、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのをより確実に抑制することが可能となる。
【0012】
本発明のポインティングシステムにおいて、前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であってもよい。
【0013】
この構成によると、操作者の視線がディスプレイに向かっている状態で、ポインタの移動及びポインタを用いた操作が可能となるので、これらの操作を容易に行うことができる。
【0014】
本発明のポインティングシステムにおいて、前記検出手段は、操作者の頭部の動きを検出可能であってもよい。
【0015】
この構成によると、ポインタの移動及びポインタを用いた操作が容易になる。
【0016】
本発明のポインティングシステムにおいて、前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであってもよい。
【0017】
この構成によると、操作者の頭部の動きが頭部に加えられる加速度によって検出されるので、操作者の頭部の動きを容易に検知することができる。
【0018】
本発明のポインティングシステムにおいて、前記制御手段は、前記加速度センサにより検知された加速度に基づいて、前記ディスプレイに表示されたポインタの位置を変更してもよい。
【0019】
この構成によると、ディスプレイに表示されたポインタの位置を変更する操作を容易に行うことができる。
【0020】
本発明のポインティングシステムにおいて、前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第2の比較手段をさらに備えており、前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行ってもよい。
【0021】
この構成によると、操作者の頭部に加えられる加速度の大きさに基づいて、ディスプレイに表示されたポインタの位置を変更する操作及びポインタを用いた操作の両方を行うことができる。
【0022】
本発明のポインティングシステムにおいて、前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、その加速度の方向にしたがって互いに異なる操作を行ってもよい。
【0023】
この構成によると、操作者の頭部に加えられる加速度の方向を変更することによって、種々のポインタを用いた操作を行うことができる。
【0024】
本発明のポインティングシステムは、ディスプレイと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードとを記憶する第1の記憶手段と、前記第1の記憶手段に記憶された2つのモードのうちのいずれか1つのモードを記憶する第2の記憶手段と、操作者の目を撮影可能な撮影機構と、前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知手段と、前記第1の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較手段と、操作者の体の一部に加えられる加速度を検出可能な検出手段と、前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第2の比較手段と、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第2の記憶手段に記憶された1つのモードを、前記第2モードから前記第1モードに切り換えると共に、前記第1の比較手段により前記第1の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記第2の記憶手段に記憶された1つのモードを、前記第1モードから前記第2モードに切り換える切り換え手段と、前記第2の記憶手段に記憶されたモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えるものである。
また、本発明のポインティング方法は、操作者の目を撮影する撮影ステップと、 前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第1の検知ステップと、前記第1の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第1の比較ステップと、操作者の体の一部の動きを検出する検出ステップと、前記検出ステップにより検知された加速度とあらかじめ設定された所定値とを比較する第2の比較ステップと、前記第1の比較ステップにより前記第1の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第2の比較ステップにより前記検出ステップで検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第2モードに切り換える切り換えステップと、ポインティングシステムのモードが前記第1モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えている
この構成によると、操作者の視線が、所定視線状態と一致しない状態から一致する状態に変化した場合に、ポインティングシステムのモードが、ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第1モードに切り換えられる。そのため、操作者は、視線を所定視線状態と一致する状態に変更することによってポインティングシステムのモードを第1モードに切り換えた後で、体の一部の動きに基づいて、ポインタの移動及びポインタを用いた操作を制御することができる。従って、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのをより確実に抑制することが可能となる。
本発明のポインティングシステムにおいて、前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であってもよい。
この構成によると、操作者の視線がディスプレイに向かっている状態で、ポインタの移動及びポインタを用いた操作が可能となるので、これらの操作を容易に行うことができる。
本発明のポインティングシステムにおいて、前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであってもよい。
この構成によると、操作者の頭部の動きが頭部に加えられる加速度によって検出されるので、操作者の頭部の動きを容易に検知することができる。
本発明のポインティングシステムにおいて、前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第1の比較手段により前記第1の検知手段により検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後に所定時間が経過する前に、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行ってもよい。

【0025】
この構成によると、操作者の頭部に加えられる加速度の大きさに基づいて、ディスプレイに表示されたポインタの位置を変更する操作及びポインタを用いた操作の両方を行うことができる。
【0026】
本発明のポインティングシステムにおいて、前記制御手段は、前記第2の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、前記第1の検知手段により検知された操作者の視線の方向にしたがって互いに異なる操作を行ってもよい。
【0027】
この構成によると、操作者の視線の方向を変更することによって、種々のポインタを用いた操作を行うことができる。
【0028】
本発明のポインティングシステムにおいて、前記ディスプレイ、前記撮影機構及び前記加速度センサの全てを保持し且つこれらを操作者の頭部に装着する保持部材をさらに備えていてもよい。
【0029】
この構成によると、ディスプレイ及び撮影機構は操作者の頭部の動きに伴って移動するので、ポインティングシステムの操作性がよくなる。
【発明を実施するための最良の形態】
【0030】
以下、本発明の第1の実施の形態について、図面を参照しつつ説明する。図1は、本発明の第1の実施の形態に係るヘッドマウントディスプレイを示す図である。図2は、図1のヘッドマウントディスプレイの構成を示すブロック図である。
【0031】
図1に示すヘッドマウントディスプレイ1(以下、HMDと称する)は、小型の液晶パネルを内蔵したディスプレイ11と、カメラ12と、加速度センサ13と、これらを保持し且つ頭部へ装着するための保持部14と、コントローラ30(図2参照)とを有している。
【0032】
ディスプレイ11は、例えば複数のアイコン等のGUIを含む表示画面など種々の表示画面を表示可能である。また、この表示画面には、例えばクリック操作に用いられるポインタが表示される。カメラ12は、操作者の目(ここでは左目)を撮影可能な位置に配置されており、操作者の目を撮影する。加速度センサ13は、カメラ12の先端部に取り付けられており、操作者の頭部が動かされた場合に、その動きに対応した(操作者の頭部に加えられた)加速度を検出する。
【0033】
保持部14は、略U型形状であり、その前側においてディスプレイ11を保持すると共に、その横側から前方に向かって突出する支持部材14aの先端部においてカメラ12を支持している。従って、保持部14が操作者の頭部に装着されると、図1に示すように、ディスプレイ11が左目の高さよりも少しだけ上方に配置されると共に、カメラ12が左目に向かって配置される。
【0034】
コントローラ30は、HMD1に係る各種動作の制御プログラムやデータなどが格納されたROM、HMD1の各部の動作を制御する信号を生成するために各種演算を実行するCPU、CPUでの演算結果などのデータを一時保管するRAMなどの部材が含まれている。そして、コントローラ30には、これら各種部材およびソフトウェアによって、モード記憶部31と、実モード記憶部32と、画像処理部33と、視線検知部34と、視線比較部35と、パラメータ記憶部36と、加速度検知部37と、加速度比較部38と、切り換え部39と、制御部40とが形成されている。
【0035】
モード記憶部31は、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作に関する2つのモードを記憶する。本実施の形態では、モード記憶部31は、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作が可能な入力モードと、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作が不可能な待機モードとを記憶している。
【0036】
実モード記憶部32は、モード記憶部31に記憶された入力モード及び待機モードのいずれか一方を記憶する。つまり、実モード記憶部32は、操作者がポインタの移動及びポインタを用いた操作を行う場合には入力モードを記憶し、操作者がポインタの移動及びポインタを用いた操作を行わない場合には待機モードを記憶する。
【0037】
画像処理部33は、カメラ12で撮影された画像データに対する種々の画像処理を行う。本実施の形態では、画像処理部33は、カメラから送信された画像データに含まれる各画素の画素値を二値化する処理が行われる。
【0038】
視線検知部34は、画像処理部33で画像処理が行われた後の画像データに基づいて、操作者の視線の方向を検知する。
【0039】
視線比較部35は、視線検知部34で検知された操作者の視線と、操作者の視線がディスプレイ11に向かっている視線状態とを比較する。ここで、視線比較部35での視線検知部34で検知された操作者の視線と操作者の視線がディスプレイ11に向かっている視線状態との比較結果は、実モード記憶部32に記憶されたモードを切り換えるタイミングが決定されるために利用される。
【0040】
パラメータ記憶部36は、HMD1に係る各種動作に関する種々のパラメータを記憶する。本実施の形態では、パラメータ記憶部36には、ポインタを用いた操作が行われたと判断するために用いられる加速度である閾値aなどのパラメータが記憶されている。
【0041】
加速度検知部37は、加速度センサ13により検出された検出結果に基づいて、操作者の頭部に加えられた加速度を検知する。本実施の形態では、加速度検知部37は、操作者の頭部に加えられた加速度を、右方向、左方向、下方向及び上方向のそれぞれに方向毎に検知することができる。
【0042】
加速度比較部38は、加速度検知部37で検知された加速度とパラメータ記憶部36に記憶された閾値aとを比較する。ここで、加速度比較部38での加速度検知部37で検知された加速度と閾値aと比較結果は、ポインタを用いた操作が行われたことを判断するために利用される。
【0043】
切り換え部39は、実モード記憶部32に記憶されたモードが待機モードである場合において、操作者がディスプレイ11を注視していない状態からディスプレイ11を注視している状態に変化した場合(視線検知部34で検知された操作者の視線がディスプレイ11に向かっていない状態からディスプレイ11に向かっている状態に変化した場合)に、実モード記憶部32に記憶されているモードを待機モードから入力モードに切り換える。また、切り換え部39は、実モード記憶部32に記憶されたモードが入力モードである場合において、視線検知部34で検知された操作者の視線が表示画面の外に移動した場合(視線検知部34で検知された操作者の視線がディスプレイ11に向かっている状態からディスプレイ11に向かっていない状態に変化した場合)に、実モード記憶部32に記憶されているモードを入力モードから待機モードに切り換える。
【0044】
制御部40は、実モード記憶部32に記憶されたモードが入力モードである場合において、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作を行う。従って、制御部40は、実モード記憶部32に記憶されたモードが待機モードである場合には、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作を行うことはできない。
【0045】
ここで、制御部40は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者の頭部が比較的遅く動かされているとき、つまり、操作者の頭部に加えられる加速度がどの方向にも閾値aより小さいときには、ポインタの移動に対応した操作を行う。
【0046】
一方、制御部40は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者の頭部が右方向に速く動かされた場合、つまり、操作者の頭部に加えられる右方向の加速度が閾値a以上である場合には、右クリックに対応した操作を行う。また、制御部40は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者の頭部が左方向に速く動かされた場合、つまり、操作者の頭部に加えられる左方向の加速度が閾値a以上である場合には、左クリックに対応した操作を行う。
【0047】
また、制御部40は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者の頭部が下方向に速く動かされた場合、つまり、操作者の頭部に加えられる下方向の加速度が閾値a以上である場合には、ドラッグに対応した操作を行う。また、制御部40は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者の頭部が上方向に速く動かされた場合、つまり、操作者の頭部に加えられる上方向の加速度が閾値a以上である場合には、ドロップに対応した操作を行う。
【0048】
次に、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順について、図3及び図4を参照して説明する。図3は、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。図4は、ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。
【0049】
まず、実モード記憶部32に記憶されたモードが待機モードに切り換えられる(ステップS101)。そして、操作者がディスプレイ11を注視しているか否かの判断が繰り返される(ステップS102)。操作者が、図4(a)に示すように、ディスプレイ11を注視していると判断された場合には(S102:YES)、実モード記憶部32に記憶されたモードが待機モードから入力モードに切り換えられる(ステップS103)。
【0050】
そして、実モード記憶部32に記憶されたモードが入力モードである場合において、加速度検知部37で検知された加速度、つまり、操作者の頭部の動きに基づいて、ディスプレイ11の表示画面に表示されたポインタの位置が変更される(ステップS104)。ここで、ポインタの位置が変更されている間は、加速度検知部37で検知された加速度の大きさは、どの方向に関しても閾値aより小さい。
【0051】
その後、加速度比較部38では、加速度検知部37で検知された右方向の加速度が閾値a以上であるか否かが判断される(ステップS105)。ここで、図4(b)に示すように、操作者がディスプレイ11を注視した状態を維持しつつ頭部を右方向に速く動かすことによって、加速度検知部37で検知された右方向の加速度が閾値a以上であると判断された場合には(S105:YES)、制御部40は右クリックに対応した操作を行う(ステップS106)。
【0052】
一方、加速度検知部37で検知された右方向の加速度が閾値aより小さいと判断された場合には(S105:NO)、ステップS107に進む。そして、加速度比較部38では、加速度検知部37で検知された左方向の加速度が閾値a以上であるか否かが判断される(ステップS107)。ここで、図4(c)に示すように、操作者がディスプレイ11を注視した状態を維持しつつ頭部を左方向に速く動かすことによって、加速度検知部37で検知された左方向の加速度が閾値a以上であると判断された場合には(S107:YES)、制御部40は左クリックに対応した操作を行う(ステップS108)。
【0053】
一方、加速度検知部37で検知された左方向の加速度が閾値aより小さいと判断された場合には(S107:NO)、ステップS109に進む。そして、加速度比較部38では、加速度検知部37で検知された下方向の加速度が閾値a以上であるか否かが判断される(ステップS109)。ここで、図4(d)に示すように、操作者がディスプレイ11を注視した状態を維持しつつ頭部を下方向に速く動かすことによって、加速度検知部37で検知された下方向の加速度が閾値a以上であると判断された場合には(S109:YES)、制御部40はドラッグに対応した操作を行う(ステップS110)。
【0054】
その後、加速度比較部38では、加速度検知部37で検知された上方向の加速度が閾値a以上であるか否かが判断される(ステップS111)。ここで、図4(e)に示すように、操作者がディスプレイ11を注視した状態を維持しつつ頭部を上方向に速く動かすことによって、加速度検知部37で検知された上方向の加速度が閾値a以上であると判断された場合には(S111:YES)、制御部40はドロップに対応した操作を行う(ステップS112)。
【0055】
また、上述のように、右クリック、左クリック、ドロップのいずれかに対応した操作が行われた場合(S106、S108、S110)及び加速度検知部37で検知された下方向の加速度が閾値aより小さいと判断された場合には(S109:NO)、その後、ステップS113に進む。
【0056】
そして、視線検知部34で検知された操作者の視線がディスプレイ11の表示画面の外に移動したか否か(操作者がディスプレイ11を注視しなくなったか否か)が判断される(ステップS113)。ここで、操作者の視線がディスプレイ11の表示画面の外に移動していない(操作者がディスプレイ11を注視している)と判断された場合には(S113:NO)、ステップS104に戻って、ポインタの位置の変更が継続される。一方、操作者の視線がディスプレイ11の表示画面の外に移動した(操作者がディスプレイ11を注視しなくなった)と判断された場合には(S113:YES)、ステップS101に戻って、実モード記憶部32に記憶されたモードが入力モードから待機モードに切り換えられる。
【0057】
以上説明したように、本実施の形態に係るHMD1では、操作者がディスプレイ11を注視していない状態からディスプレイ11を注視している状態に変化した場合に、実モード記憶部32に記憶されたモードが待機モードから入力モードに切り換えられる。そのため、操作者は、視線を変更することによって、実モード記憶部32に記憶されたモードを入力モードに切り換えた後で、操作者の頭部の動きに基づいて、ポインタの移動及びポインタを用いた操作を制御することができる。従って、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのを抑制することが可能となる。
【0058】
また、操作者がディスプレイ11を注視している状態で、頭部の動きに基づいて、ポインタの移動及びポインタを用いた操作の両方が可能となるので、これらの操作を容易に行うことができる。また、操作者の頭部に加えられる加速度の方向を変更することによって、種々のポインタを用いた操作を行うことができる。また、ディスプレイ11、カメラ12及び加速度センサ13は、いずれも操作者の頭部に装着される保持部材14に保持されているので、ディスプレイ11及びカメラ12は操作者の頭部の動きに伴って移動する。そのため、HMD1の操作性がよくなる。
【0059】
次に、本発明の第2の実施の形態について、図面を参照しつつ説明する。本発明の第2の実施の形態に係るHMD101が、第1の実施の形態のHMD1と大きく異なる点は、HMD1では、カメラ12で撮影された画像は、操作者がディスプレイ11を注視しているか否かを判断する場合にだけ利用されているが、本実施の形態のHMD101では、カメラ12で撮影された画像は、操作者がディスプレイ11を注視しているか否かを判断する場合に利用される他、ポインタを用いた操作を行う場合にも利用される点である。
【0060】
図5は、本発明の第2の実施の形態に係るヘッドマウントディスプレイの構成を示すブロック図である。コントローラ130には、モード記憶部31と、実モード記憶部32と、画像処理部33と、視線検知部134と、視線比較部135と、パラメータ記憶部136と、加速度検知部137と、加速度比較部38と、切り換え部139と、制御部140とが形成されている。これらの構成のうち第1の実施の形態と同様のものについては詳細な説明は省略する。
【0061】
視線検知部134は、画像処理部33で画像処理が行われた後の画像データに基づいて、操作者の視線の方向を検知する。また、視線検知部134は、操作者が目を見開いている(通常の状態より大きく開いている状態である)か否かを検知する。
【0062】
視線比較部135は、視線検知部34で検知された操作者の視線と、操作者の視線がディスプレイ11に向かっている視線状態とを比較する。ここで、視線比較部135での視線検知部34で検知された操作者の視線と操作者の視線がディスプレイ11に向かっている視線状態と比較結果は、実モード記憶部32に記憶されたモードを切り換えるタイミングが決定されるために利用される。
【0063】
パラメータ記憶部136は、HMD101に係る各種動作に関する種々のパラメータを記憶する。本実施の形態では、パラメータ記憶部136には、実モード記憶部32に記憶されたモードを入力モードから待機モードに切り換えるタイミングが決定される際に用いられる所定時間T、ポインタを用いた操作が行われたことを判断するために用いられる加速度である閾値aなどのパラメータが記憶されている。
【0064】
加速度検知部137は、加速度センサ13により検出された検出結果に基づいて、操作者の頭部に加えられた加速度を検知する。
【0065】
切り換え部139は、実モード記憶部32に記憶されたモードが待機モードである場合において、操作者がディスプレイ11を注視していない状態からディスプレイ11を注視している状態に変化した場合(視線検知部134で検知された操作者の視線がディスプレイ11に向かっていない状態からディスプレイ11に向かっている状態に変化した場合)に、実モード記憶部32に記憶されているモードを待機モードから入力モードに切り換える。また、切り換え部139は、実モード記憶部32に記憶されたモードが入力モードである場合において、視線検知部134で検知された操作者の視線が表示画面の外に移動し(視線検知部134で検知された操作者の視線がディスプレイ11に向かっている状態からディスプレイ11に向かっていない状態に変化し)、且つ、その後、所定時間Tが経過する前に、加速度検知部137で検知された加速度が閾値a以上にならない場合に、実モード記憶部32に記憶されたモードを入力モードから待機モードに切り換える。
【0066】
制御部140は、実モード記憶部32に記憶されたモードが入力モードである場合において、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作を行う。従って、制御部39は、実モード記憶部32に記憶されたモードが待機モードである場合には、ディスプレイ11の表示画面に表示されたポインタの移動及びポインタを用いた操作を行うことはできない。
【0067】
ここで、制御部140は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者の頭部が比較的遅く動かされている場合、つまり、操作者の頭部に加えられる加速度がどの方向にも閾値aより小さい場合には、ポインタの移動に対応した操作を行う。
【0068】
一方、制御部140は、実モード記憶部32に記憶されたモードが入力モードである場合において、視線検知部134で検知された操作者の視線が表示画面の外の右下に移動し、且つ、その後、所定時間Tが経過する前に、操作者の頭部が右方向に速く動かされた場合、つまり、操作者の頭部に加えられる右方向の加速度が閾値a以上である場合には、右クリックに対応した操作を行う。また、制御部140は、実モード記憶部32に記憶されたモードが入力モードである場合において、視線検知部134で検知された操作者の視線が表示画面の外の左下に移動し、且つ、その後、所定時間Tが経過する前に、操作者の頭部が左方向に速く動かされた場合、つまり、操作者の頭部に加えられる左方向の加速度が閾値a以上である場合には、左クリックに対応した操作を行う。
【0069】
このように、制御部140は、操作者の視線が表示画面の外に移動しただけでは、右クリック(左クリック)に対応した操作を行わないで、操作者の視線が表示画面の外の右下(左下)に移動し、且つ、その後、所定時間Tが経過する前に、操作者の頭部が右方向(左方向)に速く動かされた場合に、右クリック(左クリック)に対応した操作を行う。従って、操作者が右クリックまたは左クリックに対応した操作を行う意図を持たない状態で、操作者の視線が表示画面の外に移動した場合でも、右クリックまたは左クリックに対応した操作が誤って行われることはない。
【0070】
また、制御部140は、実モード記憶部32に記憶されたモードが入力モードである場合において、操作者が目を見開いた場合には、ドラッグに対応した操作を行う。また、制御部140は、実モード記憶部32に記憶されたモードが入力モードである場合において、ドラッグに対応した操作が行われているときに、操作者が目を見開かなくなった場合には、ドロップに対応した操作を行う。
【0071】
次に、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順について、図6及び図7を参照して説明する。図6は、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。図7は、ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。
【0072】
まず、実モード記憶部32に記憶されたモードが待機モードに切り換えられる(ステップS201)。そして、操作者がディスプレイ11を注視しているか否かの判断が繰り返される(ステップS202)。操作者が、図7(a)に示すように、ディスプレイ11を注視していると判断された場合には(S202:YES)、実モード記憶部32に記憶されたモードが待機モードから入力モードに切り換えられる(ステップS203)。
【0073】
そして、実モード記憶部32に記憶されたモードが入力モードである場合において、加速度検知部37で検知された加速度、つまり、操作者の頭部の動きに基づいて、ディスプレイ11の表示画面に表示されたポインタの位置が変更される(ステップS204)。ここで、ポインタの位置が変更されている間は、加速度検知部37で検知された加速度の大きさは、どの方向に関しても閾値aより小さい。
【0074】
その後、操作者が目を見開いているか否かが判断される(ステップS205)。ここで、操作者が目を見開いていないと判断された場合には(S205:NO)、引き続き、視線検知部134で検知された操作者の視線がディスプレイ11の表示画面の外に移動したか否か(操作者がディスプレイ11を注視しなくなったか否か)が判断される(ステップS206)。
【0075】
そして、操作者の視線がディスプレイ11の表示画面の外に移動した(操作者がディスプレイ11を注視しなくなった)と判断された場合には(S206:YES)、引き続き、操作者の視線が左下方向を向いているか否かが判断される(ステップS207)。ここで、図7(b)に示すように、操作者の視線が左下方向を向いていると判断された場合には(S207:YES)、操作者の視線がディスプレイ11の表示画面の外に移動した後で、所定時間Tが経過する前に、加速度検知部137で検知された加速度が閾値a以上になったか否かが判断される(ステップS208)。
【0076】
ここで、図7(c)に示すように、操作者がその視線が左下方向を向いている状態を維持しつつ頭部を左方向に速く動かすことによって、加速度検知部137で検知された加速度が閾値a以上であると判断された場合には(S208:YES)、制御部140は左クリックに対応した操作を行う(ステップS209)。一方、加速度検知部137で検知された加速度が閾値aより小さいと判断された場合には(S208:NO)、ステップS201に戻って、実モード記憶部32に記憶されたモードが入力モードから待機モードに切り換えられる。
【0077】
また、ステップS206において、操作者の視線がディスプレイ11の表示画面の外に移動していない(操作者がディスプレイ11を注視している)と判断された場合には(S206:NO)、ステップS204に戻って、ポインタの位置の変更が継続される。
【0078】
また、ステップS207において、操作者の視線が左下方向を向いていないと判断された場合には(S207:NO)、その後、引き続き、操作者の視線が右下方向を向いているか否かが判断される(ステップS210)。ここで、図7(d)に示すように、操作者の視線が右下方向を向いていると判断された場合には(S210:YES)、操作者の視線がディスプレイ11の表示画面の外に移動した後で、所定時間Tが経過する前に、加速度検知部137で検知された加速度が閾値a以上になったか否かが判断される(ステップS211)。
【0079】
ここで、図7(e)に示すように、操作者がその視線が右下方向を向いている状態を維持しつつ頭部を右方向に速く動かすことによって、加速度検知部137で検知された加速度が閾値a以上であると判断された場合には(S211:YES)、制御部140は右クリックに対応した操作を行う(ステップS212)。一方、加速度検知部137で検知された加速度が閾値aより小さいと判断された場合には(S211:NO)、ステップS201に戻って、実モード記憶部32に記憶されたモードが入力モードから待機モードに切り換えられる。
【0080】
また、ステップS210において、操作者の視線が右下方向を向いていないと判断された場合には(S210:NO)、ステップS201に戻って、実モード記憶部32に記憶されたモードが入力モードから待機モードに切り換えられる。
【0081】
一方、ステップS205において、操作者が目を見開いていると判断された場合には(S205:YES)、制御部140はドラッグに対応した操作を行う(ステップS213)。そして、再度、操作者が目を見開いているか否かが判断される(ステップS214)。ここで、操作者が目を見開いていると判断された場合には(S214:YES)、ステップS213に戻って、ドラッグに対応した操作が継続される。一方、操作者が目を見開いていないと判断された場合には(S214:NO)、制御部140はドロップに対応した操作を行う(ステップS215)。
【0082】
また、上述のように、左クリック、右クリック、ドロップのいずれかに対応した操作が行われた場合(S209、S212、S215)には、ステップS201に戻って、実モード記憶部32に記憶されたモードが入力モードから待機モードに切り換えられる。
【0083】
以上説明したように、本実施の形態に係るHMD101では、上述の第1の実施の形態と同様に、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのを抑制することが可能となる。また、操作者の視線の方向を変更することによって、種々のポインタを用いた操作を行うことができる。
【0084】
以上、本発明の好適な一実施の形態について説明したが、本発明は上述の実施の形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な設計変更が可能なものである。例えば、上述の第1及び第2の実施の形態では、実モード記憶部32に記憶されたモードが待機モードである場合において、操作者の視線がディスプレイ11に向かっている視線状態と比較され、操作者がディスプレイ11を注視していない状態からディスプレイ11を注視している状態に変化した場合に、実モード記憶部32に記憶されているモードが待機モードから入力モードに切り換えられるが、操作者の視線がディスプレイ11に向かっている視線状態以外のその他の視線状態と比較され、操作者の視線がその他の視線状態と一致しない状態から一致する状態に変化した場合に、実モード記憶部32に記憶されたモードが待機モードから入力モードに切り換えられてもよい。つまり、操作者の視線が所定視線状態(操作者の視線がディスプレイ11に向かっている視線状態及びその他の視線状態を含む)と一致する状態から一致しない状態に変化した場合、または、操作者の視線が所定視線状態と一致しない状態から一致する状態に変化した場合に、実モード記憶部32に記憶されたモードが待機モード及び入力モードの他方のモードに切り換えられてもよい。
【0085】
また、上述の第1及び第2の実施の形態では、加速度センサ13で検出された加速度によって操作者の頭部の動きが検知されることによって、ポインタの移動及びポインタを用いた操作が制御されているが、操作者の頭部とは異なる体の一部(例えば、手、口、目蓋など)の動きが検出されることによって、ポインタの移動及びポインタを用いた操作が制御されてもよい。また、操作者の頭部の動きを検出する検出手段としては、加速度センサの他に、例えばジャイロや地磁気センサを用いてもよいし、頭部の動きを検出可能なものであれば、どのようなものであってもよい。
【0086】
また、上述の第2の実施の形態では、操作者の視線が表示画面の外の右下に移動し、且つ、その後、所定時間Tが経過する前に、操作者の頭部が右方向に速く動かされた場合に、右クリックに対応した操作が行われているが、操作者の視線が表示画面の外の右下に移動し、且つ、その後、所定時間Tが経過する前に、操作者の頭部が右方向以外の方向に速く動かされた場合に、右クリックに対応した操作が行われてもよい。なお、左クリックに対応した操作についても同様である。
【図面の簡単な説明】
【0087】
【図1】本発明の第1の実施の形態に係るヘッドマウントディスプレイを示す図である。
【図2】図1のヘッドマウントディスプレイの構成を示すブロック図である。
【図3】ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。
【図4】ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。
【図5】本発明の第2の実施の形態に係るヘッドマウントディスプレイの構成を示すブロック図である。
【図6】ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。
【図7】ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。
【符号の説明】
【0088】
1 ヘッドマウントディスプレイ(ポインティングシステム)
11 ディスプレイ
12 カメラ(撮影機構)
13 加速度センサ(検出手段)
14 保持部材
31 モード記憶部(第1の記憶手段)
32 実モード記憶部(第2の記憶手段)
33 画像処理部
34、134 視線検知部(第1の検知手段)
35、135 視線比較部(第1の比較手段)
36、136 パラメータ記憶部
37、137 加速度検知部
38 加速度比較部(第2の比較手段)
39、139 切り換え部(切り換え手段)
40、140 制御部(制御手段)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6