TOP > 国内特許検索 > 対話型インターフェース方式および対話型インターフェース用プログラム > 明細書

明細書 :対話型インターフェース方式および対話型インターフェース用プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4665172号 (P4665172)
公開番号 特開2007-156857 (P2007-156857A)
登録日 平成23年1月21日(2011.1.21)
発行日 平成23年4月6日(2011.4.6)
公開日 平成19年6月21日(2007.6.21)
発明の名称または考案の名称 対話型インターフェース方式および対話型インターフェース用プログラム
国際特許分類 G06F   3/038       (2006.01)
G06F   3/041       (2006.01)
A63F  13/04        (2006.01)
FI G06F 3/038 310Y
G06F 3/041 320G
A63F 13/04
請求項の数または発明の数 4
全頁数 13
出願番号 特願2005-351531 (P2005-351531)
出願日 平成17年12月6日(2005.12.6)
審査請求日 平成20年11月7日(2008.11.7)
特許権者または実用新案権者 【識別番号】504155293
【氏名又は名称】国立大学法人島根大学
発明者または考案者 【氏名】田部 ちえみ
【氏名】平川 正人
個別代理人の代理人 【識別番号】100116861、【弁理士】、【氏名又は名称】田邊 義博
審査官 【審査官】羽鳥 友哉
参考文献・文献 特開2005-100391(JP,A)
特開2000-298544(JP,A)
特開平05-189484(JP,A)
特開2005-322088(JP,A)
調査した分野 G06F 3/033
G06F 3/038
G06F 3/041
G06F 3/048
A63F 13/04


特許請求の範囲 【請求項1】
ランダムに移動する複数の選択対象を視認可能なように出力する選択対象出力手段と、
前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段と、
前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段と、
前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段と、
前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段と、
前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段と、
を備え、
前記領域指定検知手段は、
前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段と、
前記差込両手検知手段により検知された人の両手が、物を囲う際の初期の手の形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段と、
を含み、
前記決定領域検知手段は、
前記領域指定検知手段により検知された前記所定領域中に存在する人の両手を検知する領域中両手検知手段と、
前記領域中両手検知手段により検知された人の両手が、手のひらが小指側で略平らに合わさった際の形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段と、
を含んだことを特徴とするコンピュータシステムに導入して掬う操作を実現する対話型インターフェース方式。

【請求項2】
前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、
前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする請求項1に記載の対話型インターフェース方式。

【請求項3】
コンピュータを、
ランダムに移動する複数の選択対象を視認可能なように出力する選択対象出力手段、
前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段、
前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段、
前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段、
前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段、および、
前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段、
として機能させ、このうち、
前記領域指定検知手段を、
前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段、および、
前記差込両手検知手段により検知された人の両手が、物を囲う際の初期の手の形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段、として機能させ、
前記決定領域検知手段を、
前記領域指定検知手段により指定された前記所定領域中に存在する人の両手を検知する領域中両手検知手段、および、
前記領域中両手検知手段により検知された人の両手が、手のひらが小指側で略平らに合わさった際の形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段、
として機能させることを特徴とする掬う操作を実現する対話型インターフェース用プログラム。
【請求項4】
前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、
前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする請求項3に記載の対話型インターフェース用プログラム。


発明の詳細な説明 【技術分野】
【0001】
本発明は、対話型インターフェース方式および対話型インターフェース用プログラムに関し、特に、表示画面を直に操作し、対象の一括指定が可能な新規インターフェースを構築する対話型インターフェース方式および対話型インターフェース用プログラムに関する。
【背景技術】
【0002】
従来、コンピュータの周辺機器として、キーボードやマウスなどのインターフェース装置が知られている。特に、マウスは、操作画面上でポインタを移動させ、クリック、ダブルクリックなどの入力操作に欠かせないものとなっている。また、タッチパネルも実現されており、これらは、操作画面と表示画面が同一である点でより直感的なインターフェース装置ということができる。
【0003】
近年では、タッチパネルを更に進化させ、操作面を操る手が表示画面に表示され、自分の手の影像が操作画面に入り込んで実際に操作対象を操作するインターフェース装置も開発されている(Tactiva社製TactaPad)。
【0004】

【非特許文献1】[平成17年11月1日検索]、インターネット<http://www.tactiva.com/tactapad.html>
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では以下の問題点があった。
すなわち、タッチパネルは、点指定であり、選択したいオブジェクト(選択対象)が複数ある場合には、一括指定(同時指定)ができないという問題点があった。特に、選択対象が移動するような場合には、いわゆる取りこぼしが発生してしまう、という問題点があった。
【0006】
本発明は上記に鑑みてなされたものであって、選択対象を取りこぼしなくかつ直感的な操作により選択できる新規インターフェースを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、請求項1に記載の対話型インターフェース方式は、ランダムに移動する複数の選択対象を視認可能なように出力する選択対象出力手段と、前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段と、前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段と、前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段と、前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段と、前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段と、を備え、前記領域指定検知手段は、前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段と、前記差込両手検知手段により検知された人の両手が、物を囲う際の初期の手の形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段と、を含み、前記決定領域検知手段は、前記領域指定検知手段により検知された前記所定領域中に存在する人の両手を検知する領域中両手検知手段と、前記領域中両手検知手段により検知された人の両手が、手のひらが小指側で略平らに合わさった際の形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段と、
を含んだことを特徴とするコンピュータシステムに導入して掬う操作を実現する対話型インターフェース方式である。
【0008】
すなわち、請求項1に係る発明は、選択と確定という作業を領域指定によりおこなう。なお、出力とは、2次元面であってもよく3次元空間であってもよい。すなわち、出力とは、表示、投影等の視覚的に認識できる態様をすべて含む。かつ、請求項1にかかる発明は、取りこぼしを防止する。特に、選択対象が表示画面ないし表示空間中にランダムに移動するような場合であっても、領域の一括指定および選択対象の移動制限により取りこぼしが防止できる。なお、この移動制限とは、所定領域内にある選択対象のすべての移動を当該領域内に制限する態様の他、例えば、当該領域の中央付近に存在している選択対象の移動を制限し、周縁部に存在している選択対象は領域外に逃れてもよいように一部制限をおこなうような態様であってもよい。かつ、請求項1にかかる発明は、手の形状に従って領域指定を可能とする。かつ、請求項1にかかる発明は、掬い取るないし掬い上げるインターフェースを簡便に実現できる。
【0009】
また、請求項2に記載の対話型インターフェース方式は、請求項1に記載の対話型インターフェース方式において、選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、領域指定検知手段および決定領域検知手段により検知をおこなう方向が同じ方向であることを特徴とする。
【0010】
すなわち、請求項2に係る発明は、直感的な操作を可能とする。なお、投影面と操作面が距離的に離れていてもよく、座標の完全一致が必要であるか否かは使用の態様による。
【0011】
また、請求項3に記載の対話型インターフェース用プログラムは、コンピュータを、ランダムに移動する複数の選択対象を視認可能なように出力する選択対象出力手段、前記選択対象出力手段により出力された選択対象の所定領域が一括して指定されたことを検知する領域指定検知手段、前記領域指定検知手段により検知された前記所定領域のうち、最終的な領域が決定されたことを検知する決定領域検知手段、前記領域指定検知手段により検知された前記所定領域内に存在する選択対象の移動を当該領域内に制限する移動制限手段、前記決定領域検知手段により検知された最終的な領域に存在する選択対象が最終的に選択された旨を入力する選択対象入力手段、および、前記選択対象入力手段により入力された選択対象に基づいて処理をおこなう処理手段、として機能させ、このうち、前記領域指定検知手段を、前記選択対象出力手段により選択対象が出力された領域中に直に差し込まれた人の両手を検知する差込両手検知手段、および、前記差込両手検知手段により検知された人の両手が、物を囲う際の初期の手の形状となったときに、当該形状に基づいて前記所定領域を設定する所定領域設定手段、として機能させ、前記決定領域検知手段を、前記領域指定検知手段により指定された前記所定領域中に存在する人の両手を検知する領域中両手検知手段、および、前記領域中両手検知手段により検知された人の両手が、手のひらが小指側で略平らに合わさった際の形状となったときに、当該形状に基づいて前記最終的な領域を設定する最終領域設定手段、として機能させることを特徴とする掬う操作を実現する対話型インターフェース用プログラムである。
【0012】
すなわち、請求項3に係る発明は、選択と確定という作業を領域指定によりおこなう。かつ、請求項3に係る発明は、取りこぼしを防止する。特に、選択対象が表示画面ないし表示空間中にランダムに移動するような場合であっても、領域の一括指定および選択対象の移動制限により取りこぼしが防止される。かつ、請求項3に係る発明は、手の形状に従って領域指定を可能とする。かつ、請求項3に係る発明は、掬い取るないし掬い上げるインターフェースを簡便に実現できる。
【0013】
また、請求項4に記載の対話型インターフェース用プログラムは、請求項3に記載の対話型インターフェース用プログラムにおいて、前記選択対象出力手段により出力される画面ないし画像の表示方向ないし投影方向と、前記領域指定検知手段および決定領域検知手段により検知がおこなわれる方向が同じ方向であることを特徴とする。
【0014】
すなわち、請求項4に係る発明は、直感的な操作を可能とする。
【発明の効果】
【0015】
以上説明したように、本発明の対話型インターフェース方式(請求項1)は、選択と確定という作業を領域指定によりおこなうので、目的とすべき選択対象を取りこぼしなくかつ直感的に選択することが可能となる。また、最初の粗い領域指定により、目的とすべき選択対象がその領域から逃れられないようにするので、取りこぼしを防止でき、かつ、最終的な選択対象の確定を容易にすることが可能となる。また、手の形状に従って領域指定が可能となるため、操作者の設定に従って、より直感的な選択を実現することができる。また、手で囲むことにより粗い領域を設定し、手の平をあわせてお椀形状を作ることにより、最終領域を設定するので、掬い上げる操作を簡便に実装できる。また、本発明の対話型インターフェース方式(請求項2)は、座標を一致させるので、直感的な操作を実現できる。
【0016】
また、本発明の対話型インターフェース用プログラム(請求項3)は、選択と確定という作業を領域指定によりおこなわせるので、目的とすべき選択対象を取りこぼしなくかつ直感的に選択させることが可能となる。また、最初の粗い領域指定により、目的とすべき選択対象がその領域から逃れられないようにさせるので、取りこぼしを防止させ、かつ、最終的な選択対象の確定を容易ならしめることができる。また、手の形状に従って領域指定を可能とさせるため、操作者の設定に従って、より、直感的な選択を実現させることができる。また、手で囲むことにより粗い領域を設定させ、手の平をあわせてお椀形状を作ることにより、最終領域を設定させるので、掬い上げる操作を簡便に実装させることができる。また、本発明の対話型インターフェース用プログラム(請求項4)は、座標を一致させるので、直感的な操作を実現させることができる。
【0017】
なお、本発明によれば、パーソナルユースのタッチパネルと異なり、複数人が一つの画面を共有して、共同して作業が可能となるという作用効果も奏する。
【発明を実施するための最良の形態】
【0018】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
実施の形態1.
実施の形態1では、本発明の対話型インターフェース用プログラムを汎用のコンピュータシステムに導入して対話型インターフェース方式を実現し、これをバーチャル金魚掬い装置として適用した例について説明する。ここでは、まず、バーチャル金魚掬い装置の外観を説明し、ついで、ハードウェア構成、機能的構成、処理流れについて説明していく。
【0019】
(バーチャル金魚掬い装置の外観構成)
図1は、バーチャル金魚掬い装置の外観構成の一例を示した図である。図示したように、バーチャル金魚掬い装置100は、いわゆるコンピュータと同様な構成を採用し、各種の情報を入力するキーボード101およびマウス102と、バーチャル金魚を泳がせ、バーチャル金魚のうちどれが選ばれ、その選ばれた金魚に従って次の処理などをおこなう本体部103と、バーチャル金魚を投影するプロジェクタ104と、水槽となる投影パネル105と、投影パネル105上に差し込まれた手を認識するカメラ106と、投影方向を偏向する鏡107と、を備える。なお、図示した例は、デスクトップタイプコンピュータであるが、これに限ることなく、ノートブックタイプコンピュータであってもよい。
【0020】
(バーチャル金魚掬い装置のハードウェア構成)
図2は、バーチャル金魚掬い装置100のハードウェア構成の一例を示した説明図である。バーチャル金魚掬い装置100は、そのハードウェア構成として、CPU201と、ROM202と、RAM203と、ハードディスク(HD)204と、グラフィックスカード205と、プロジェクタ206と、キーボード(K/B)207と、マウス(MOUSE)208と、カメラ209と、を有する。なお説明の便宜上、キーボード101、マウス102、プロジェクタ104、およびカメラ106を図2ではそれぞれキーボード207、マウス208、プロジェクタ206、カメラ209と表記している。
【0021】
CPU201は、OSと共にバーチャル金魚掬い装置100全体を制御し、また、直感的な掬う操作を実現する表示処理および手の挿入等の認識処理といった各種のプログラムの処理制御をおこなう。具体的には、例えば、CPU201は、ハードディスク204に格納されているプログラムに従って、投影パネル105上における操作者の手の動きを認識し、投影されているバーチャル金魚のうちどれが選択されたかを認識し、その後の処理をおこなう。この際、まずは、両手で大きく囲まれた領域を認識し、次に徐々に絞り込まれる領域を認識し、最終的に両手を略水平にあわせて掬い取る動作を認識し、その際手のひらに投影されているバーチャル金魚が最終的に選択されたと認識して、掬い取られた金魚に従って以降の処理をおこなう(例えば、手桶への移動)。この他CPU201は、ハードディスク204に格納されている作業データをRAM203に一時保存する制御等もおこなう。
【0022】
ROM202は、ブートプログラム等を記憶する。使用の態様によっては、ROM202は、バーチャル金魚掬い装置100の制御プログラムを格納しておいてもよい。RAM203は、CPU201のワークエリアとして使用する。具体的には、ハードディスク204から読み出されたデータベースの内容やプログラム内容などを一時的に格納する。また、両手で大きく囲まれた際にその領域に存在するバーチャル金魚にフラグを立てたり、移動を制限する際のデータ群を一時的に格納する処理もおこなう。
【0023】
ハードディスク204は、オペレーティング装置(OS)、アプリケーションプログラム、各種のデータを記憶する。ハードディスクの構成については後述する。
【0024】
グラフィックスカード205は、プロジェクタ206へ出力すべき画像信号を送出する。グラフィックスカード205は、出力すべき画像信号を格納するVRAMと、処理された画像信号をプロジェクタ206へ出力する画像出力インターフェース(画像出力I/F)を備える。画像出力I/Fは、VRAMに展開されたRGB画像データをプロジェクタ206へ出力する。
【0025】
この他、図示は省略するが、バーチャル金魚掬い装置100は、コンピュータをネットワークへ接続するNIC、フレキシブルディスクドライブ装置、CD-ROMドライブ装置、MOドライブ装置等を搭載することも可能である。
【0026】
ハードディスク204に格納されているプログラムないしソフトウェアについて説明する。ハードディスク204は、バーチャル金魚掬い装置100全体を制御するOS241と、プロジェクタ206による表示を制御する投影プログラム242と、カメラ209による撮像を制御する撮像プログラム243と、プロジェクタ206とカメラ209の座標を一致させる座標制御プログラム244と、投影パネル105上空へ差し込まれる人間の手を認識する人手認識プログラム245と、領域の設定や決定を制御する領域制御プログラム246と、複数あるバーチャル金魚の表示や移動などを制御するバーチャル金魚制御プログラム247と、最終的に選択されたバーチャル金魚に基づいて手桶への移動や得点表示など次の処理をおこなう掬取要素実行プログラム248と、を有する。なお、以上説明した各種プログラムのうち、掬取要素実行プログラム248(場合によってはバーチャル金魚制御プログラム247)は、アプリケーションソフトと言うことができ、それ以外のプログラムは、掬い取りのインターフェースを実現するハードウェアよりのプログラムということができる。
【0027】
また、以上説明したプログラムは、バーチャル金魚掬い装置100が実現するインターフェース方式という観点から集約されたプログラム集合を説明したに過ぎず、実際のプログラムは多数のコンポーネントやDLLなどにより構成される。後述する機能的構成は、これらのプログラムが単体もしくは複数で、場合によっては他の構成要素と協働して各種実現されるものである。
【0028】
(バーチャル金魚掬い装置の機能的構成)
次に、バーチャル金魚掬い装置100の機能的構成について説明する。図3は、バーチャル金魚掬い装置100の機能的構成例を示した説明図である。図示したように、バーチャル金魚掬い装置100は、アプリケーション実行部301と、選択対象出力部302と、領域指定検知部303と、決定領域検知部304と、選択対象入力部305と、移動制御部306と、を備える。また、領域指定検知部303は、差込両手検知部331と、所定領域設定部332とを含む。また、決定領域検知部304は、領域中両手検知部341と、最終領域設定部342とを含む。
【0029】
アプリケーション実行部301は、実際の金魚や水槽、手桶を用いることなく、画像の投影により金魚の動きや水の陰影、手桶などを表示する制御をおこなう。また、手が水槽に差し込まれた際に、金魚の群れを逃げさせたり、掬い上げようとする際に手の像の認識や手のひらから金魚が逃げようとする動作をおこなう。また、競技的な趣向やゲーム的な趣向を取り入れる場合には、金魚の大きさや数によって得点配分したりする制御をおこなう。すなわち、アプリケーション実行部301は、掬い取りのインターフェース以外の処理を中心におこなう。アプリケーション実行部301は、例えば、OS241と、掬取要素実行プログラム248と、RAM203などによりその機能を実現することができる。
【0030】
選択対象出力部302は、多数のバーチャル金魚を投影パネル105上で視認可能なように表示する。なお、バーチャル金魚の動き自体は、アプリケーション実行部301がおこなう。選択対象出力部302は、例えば、投影プログラム242と、バーチャル金魚制御プログラム247と、グラフィックスカード205と、プロジェクタ206と、投影パネル105などによりその機能を実現することができる。
【0031】
領域指定検知部303は、選択対象出力部302により表示されたバーチャル金魚の集合の所定領域が一括して指定されたことを検知する。指定に際しては、まず、差込両手検知部331がバーチャル金魚が投影されている領域中(投影パネル105直上)に直に差し込まれた人の両手を検知することによりおこない、続いて、所定領域設定部332が、差込両手検知部331により検知された人の両手が図4に示した手の形状となったときに、当該形状に基づいて所定領域を設定する。図示したように、手の形は、金魚を掬い取るときに、水に手を差し込む際の形状であり、その際に指定される領域(領域A)は、補助線で示したように、両手の手先と手元が描く領域に即して設定される。なお、図では、金魚の移動方向もあわせて図示してある。なお、設定に際しては、手の親指と小指の距離(撮像方向から見た場合の見かけの距離)、および、肌色抽出した手の形状認識技術を用いることにより、実現可能である。
【0032】
領域指定検知部303は、例えば、投影プログラム242と、撮像プログラム243と、座標制御プログラム244と、人手認識プログラム245と、領域制御プログラム246と、カメラ209と、掬取要素実行プログラム248などによりその機能を実現することができる。また、差込両手検知部331は、例えば、投影プログラム242と、撮像プログラム243と、座標制御プログラム244と、人手認識プログラム245と、プロジェクタ206と、カメラ209などによりその機能を実現することができる。また、所定領域設定部332は、例えば、撮像プログラム243と、領域制御プログラム246と、カメラ209などによりその機能を実現することができる。なお、設定された領域の輪郭は明示的に投影パネル105上に投影してもよい。
【0033】
決定領域検知部304は、領域指定検知部303により検知された所定領域のうち、最終的な領域が決定されたことを検知する。領域の決定に際しては、まず、領域中両手検知部341が領域指定検知部303により検知された領域A中にある人の両手を検知し、最終領域設定部342が領域中両手検知部341により検知された人の両手がお椀形状となったときにその形状に基づいて最終的な領域(領域B)を設定する。図5は、最終的な領域が決定されるときの手の形状を表した図である。図では最終的に選択された金魚の他、選択されなかった金魚に関しても矢印で移動方向もあわせて図示している。なお、領域Bは、両手で形成される手の外縁形状である。最終的な領域と決定されるタイミングは、両手の小指がつながったことを検知しておこなう。これは、形状認識および肌色でない内側の領域の消滅により判断する。
【0034】
決定領域検知部304は、例えば、投影プログラム242と、撮像プログラム243と、座標制御プログラム244と、人手認識プログラム245と、領域制御プログラム246と、カメラ209と、掬取要素実行プログラム248などによりその機能を実現することができる。領域中両手検知部341は、例えば、投影プログラム242と、撮像プログラム243と、座標制御プログラム244と、人手認識プログラム245と、プロジェクタ206と、カメラ209などによりその機能を実現することができる。最終領域設定部342は、例えば、撮像プログラム243と、領域制御プログラム246と、カメラ209などによりその機能を実現することができる。
【0035】
選択対象入力部305は、決定領域検知部304により検知された最終領域中にいるバーチャル金魚が選択された旨をアプリケーション実行部301へ通知する。これにより、アプリケーション実行部301は、選択された金魚に従って次の処理(得点計算など)をおこなう。選択対象入力部305は、例えば、撮像プログラム243と、バーチャル金魚制御プログラム247と、カメラ209と、投影パネル105などによりその機能を実現することができる。
【0036】
移動制御部306は、領域指定検知部303により検知された領域B内にあるバーチャル金魚の移動を当該領域内に制限する。これにより、囲った金魚が領域外に漏出することがない。ただし、使用の態様によっては、両手が閉じて掬い「上げる」動作に至るまでは、両手からこぼれ落ちるようにアプリケーション実行部301で制御してもよい。移動制御部306は、例えば、バーチャル金魚制御プログラム247と、掬取要素実行プログラム248と、人手認識プログラム245、領域制御プログラム246、RAM203などによりその機能を実現することができる。
【0037】
(バーチャル金魚掬い装置の処理の流れ)
次に、バーチャル金魚掬い装置100の処理の流れについて図6を用いて説明する。まず、投影パネル105とプロジェクタ104、カメラ106と、鏡107との光軸、焦点、座標の調整をおこなう(ステップS601)。次に、掬取要素実行プログラム248を実行し、水槽、水面の揺らぎ、金魚、手桶などを投影パネル105に投影する(ステップS602)。
【0038】
次に、両手が差し込まれたかまたは両手が差し込まれた状態であるかを判定する(ステップS603)。両手が差し込まれていると検知された場合(ステップS603:Yes)、手が掬い初めの形状(図4参照)となったかを検知する(ステップS604)。一方、両手が差し込まれていないと判断された場合(ステップS603:No)、ステップS603の判断を繰り返す。
【0039】
掬い初めの形状が形成されたと判断された場合(ステップS604:Yes)、第1の領域(粗い領域)である領域A(図4参照)を設定する(ステップS605)。一方、掬い初めの形状が形成されていない場合(ステップS604:No)、ステップS603に戻り、両手の存在を検知し続ける。
【0040】
領域Aが設定された場合には、当該領域からのバーチャル金魚の移動制限を開始する(ステップS606)。これにより、領域Aからのバーチャル金魚の移動が制限される。続いて、領域A中に両手が存在し続けているかを判断する(ステップS607)。両手が存在する場合(ステップS607:Yes)、両手が閉じたか(両手がお椀形状になったか(図5参照))を判定する(ステップS608)。一方、領域Aの外に手が移動した場合には(ステップS607:No)、取りこぼしがあった、もしくは、所望の金魚を囲えなかったということであるので、ステップS605で設定された領域Aを解除して(ステップS609)、ステップS603に戻る。
【0041】
両手が閉じた場合には(ステップS608:Yes)、その領域を最終領域(図5:領域B参照)と設定し(ステップS610)、その後の処理(得点加算、捉えた金魚の手桶移動)をおこなう(ステップS611)。一方、両手が閉じていない場合には(ステップS608:No)、ステップS607に移動し、領域A中で両手が閉じられたか否かの判定を続行する。
【0042】
以上説明したように、バーチャル金魚掬い装置100により掬う操作を実現できる。なお、本実施の形態では、本発明である対話型インターフェース用プログラムを汎用のコンピュータシステムに導入して対話型インターフェース方式を実現し、これをバーチャル金魚掬い装置として適用した例について説明したまでであって、金魚掬いに本発明は限定されず、広く、掬う操作のインターフェースを構築できる。
【0043】
例えば、バーチャル金魚掬いでなく、例えば、思考支援ツールとしても適用できる。図7は、思考支援ツールとして本発明を適用した例を示した説明図である。掬い取る操作自体は同じである。図では操作者が、画面上で表示された多数のきっかけアイコンを掬い取り、所定位置に移動させた様子が示されている。図では、デートと海を連想させるアイコンを同時に掬い取って、デート予定を考えた様子と、時計と歩く様子を連想させるアイコンを掬い取り、帰りに時計屋に立ち寄ることを考えた様子が示されている。なお、アイコンはあらかじめ意図した概念を万人が想起できるようなもの(例えば、図7に示したような時計)であってもよいが、想像が膨らむような抽象的なアイコンであってもよい(図7に示した波形のアイコンは必ずしも、万人が海と想起するものではない)。このようなソフトウェアは、上述したように、思考支援ツールとして用いることができるし、この他、心理テストとしても適用できる。
【産業上の利用可能性】
【0044】
本発明は、上述した、掬い取る、という実施の形態に限ることなく、選択と決定というアクションを、領域設定によりおこなう、という観点からも、種々応用が利く。例えば、障害者支援ツールとして適用することも可能である。ここでは、目の移動のみの自由が利く寝たきりの身体障害者のコミュニケーションツールを説明する。
【0045】
図8は、画面に動作と対象を示した表示画面を表している。図示したように、画面左上に、「かゆい」という状態と、何処がかゆいかという「場所」を示した画面が表示されている。このツールでは、画面の左側を見ることにより領域設定して、焦点を合わせるなどして最終的な領域を決定する(図では、図4および図5に示したように、粗い領域を領域Aと、最終的な領域を領域Bとして示している)。従って、このツールでは、従来のように「かゆい」と意思表示して、次に、何処がかゆいかを別のページに移動して選択する、といような多段階でおこなう手順を省略することができる。
【図面の簡単な説明】
【0046】
【図1】バーチャル金魚掬い装置の外観構成の一例を示した図である。
【図2】バーチャル金魚掬い装置のハードウェア構成の一例を示した説明図である。
【図3】バーチャル金魚掬い装置の機能的構成例を示した説明図である。
【図4】バーチャル金魚掬い装置で検知される第1の領域設定の際の両手の様子を示した説明図である。
【図5】バーチャル金魚掬い装置で検知される第2の領域設定の際の両手の様子を示した説明図である。
【図6】バーチャル金魚掬い装置の処理の流れを説明した説明図である。
【図7】思考支援ツールとして本発明を適用した例を示した説明図である。
【図8】目の移動のみの自由が利く寝たきりの身体障害者のコミュニケーションツールを説明する説明図である。
【符号の説明】
【0047】
100 バーチャル金魚掬い装置
103 本体部
104 プロジェクタ
105 投影パネル
106 カメラ
107 鏡
204 ハードディスク
205 グラフィックスカード
206 プロジェクタ
209 カメラ
242 投影プログラム
243 撮像プログラム
244 座標制御プログラム
245 人手認識プログラム
246 領域制御プログラム
247 バーチャル金魚制御プログラム
248 掬取要素実行プログラム
301 アプリケーション実行部
302 選択対象出力部
303 領域指定検知部
304 決定領域検知部
305 選択対象入力部
306 移動制御部
331 差込両手検知部
332 所定領域設定部
341 領域中両手検知部
342 最終領域設定部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7