TOP > 国内特許検索 > キーボード制御プログラム、キーボード及びキーボード制御システム > 明細書

明細書 :キーボード制御プログラム、キーボード及びキーボード制御システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2021-033888 (P2021-033888A)
公開日 令和3年3月1日(2021.3.1)
発明の名称または考案の名称 キーボード制御プログラム、キーボード及びキーボード制御システム
国際特許分類 G06F   3/0489      (2013.01)
G06F   3/01        (2006.01)
G06F   3/02        (2006.01)
G09B  13/04        (2006.01)
FI G06F 3/0489
G06F 3/01 510
G06F 3/02 430
G06F 3/02 480
G09B 13/04
請求項の数または発明の数 6
出願形態 OL
全頁数 16
出願番号 特願2019-156230 (P2019-156230)
出願日 令和元年8月29日(2019.8.29)
発明者または考案者 【氏名】長谷川 達人
出願人 【識別番号】504145320
【氏名又は名称】国立大学法人福井大学
個別代理人の代理人 【識別番号】100180758、【弁理士】、【氏名又は名称】荒木 利之
審査請求 未請求
テーマコード 5B020
5E555
Fターム 5B020CC01
5B020DD02
5B020DD22
5B020DD42
5B020GG13
5E555AA64
5E555BA02
5E555BA29
5E555BB02
5E555BC19
5E555CA18
5E555CA42
5E555CB20
5E555CB65
5E555CC19
5E555DA01
5E555DB41
5E555DC11
5E555DC31
5E555FA00
要約 【課題】使用者の習熟度に応じてキーボードの表示を制御するキーボード制御プログラム、キーボード及びキーボード制御システムを提供する。
【解決手段】キーボード1は、PC2のアプリケーションプログラム210がキーボード1の操作を指示する内容の表示を表示部22に表示した際に、キーボード1を操作する利用者3の視線VLを検出して得られた視線情報111又は視線情報111から算出された視線状態情報に基づいてキーボード1のキー群12の印字を表示制御する印字表示制御手段102を有する。
【選択図】図1
特許請求の範囲 【請求項1】
キーボードを、
アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段として機能させるキーボード制御プログラム。
【請求項2】
前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、前記キーボードの印字を表示しないように表示制御する請求項1に記載のキーボード制御プログラム。
【請求項3】
前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、次に操作するべき前記キーボードのキーの印字を強調して表示するように表示制御する請求項1に記載のキーボード制御プログラム。
【請求項4】
前記視線情報又は前記視線状態情報と、前記アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に当該表示に対して前記キーボードから受信した操作信号を測定した測定情報とに基づいて評価値を算出する評価手段としてさらに機能させ、
当該評価手段が算出した当該評価値に基づいて前記印字表示制御手段の動作を切り替える請求項1‐3のいずれか1項に記載のキーボード制御プログラム。
【請求項5】
アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段を有するキーボード。
【請求項6】
アプリケーションを実行するとともに、当該アプリケーションの実行内容を表示部に表示制御する情報処理装置と、
操作に応じた操作信号を前記情報処理装置に出力するとともに、キーの印字の表示内容を制御するキーボードとを有し、
前記キーボードは、前記情報処理装置の前記アプリケーションが前記キーボードの操作を指示する内容の表示を前記表示部に表示した際に、当該キーボードを操作する利用者の視線が当該キーボードに向かっているか否かを検出し、前記利用者の視線の内容と、前記アプリケーションの表示内容に応じて前記キーボードが操作された際に測定される測定情報とに基づいて前記キーボードの印字を表示制御するキーボード制御システム。

発明の詳細な説明 【技術分野】
【0001】
本発明は、キーボード制御プログラム、キーボード及びキーボード制御システムに関する。
【背景技術】
【0002】
従来の技術として、タイピングの練習としてキーボードの次に操作するべきキーを示して入力を補助するキーボード制御プログラムが提案されている(例えば、特許文献1参照)。
【0003】
特許文献1に開示されたキーボード制御プログラムは、コンピュータの表示部にタイピング練習用の文字列を表示するとともに、各キーのキートップにLEDが設けられたキーボードに対して、使用者が次に操作するべきキーのLEDを点灯するよう制御して使用者の操作を促す。
【先行技術文献】
【0004】

【特許文献1】特開2003‐91230号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上記した特許文献1のキーボード制御プログラムは、キーを点灯させて使用者が次に操作するべきキーのLEDを点灯制御するものであって、使用者の視線をキーボードに誘導するものであり、キーボードに視線を移すことなくタイピングをするタイピング方法(以降、「タッチタイピング」という。)の練習にとっては必ずしも適したものであるとは言えなかった。つまり、キーボードの配列を覚えていない使用者が配列を覚える際には有用であるが、キーボード配列を覚えた使用者にとってはタッチタイピングの練習を妨げるものであり、使用者の習熟度に応じてキーボードの表示を制御しているものとは言えなかった。
【0006】
本発明の目的は、使用者の習熟度に応じてキーボードの表示を制御するキーボード制御プログラム、キーボード及びキーボード制御システムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様は、上記目的を達成するため、以下のキーボード制御プログラム、キーボード及びキーボード制御システムを提供する。
【0008】
[1]キーボードを、
アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段として機能させるキーボード制御プログラム。
[2]前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、前記キーボードの印字を表示しないように表示制御する前記[1]に記載のキーボード制御プログラム。
[3]前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、次に操作するべき前記キーボードのキーの印字を強調して表示するように表示制御する前記[1]に記載のキーボード制御プログラム。
[4]前記視線情報又は前記視線状態情報と、前記アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に当該表示に対して前記キーボードから受信した操作信号を測定した測定情報とに基づいて評価値を算出する評価手段としてさらに機能させ、
当該評価手段が算出した当該評価値に基づいて前記印字表示制御手段の動作を切り替える前記[1]‐[3]のいずれかに記載のキーボード制御プログラム。
[5]アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段を有するキーボード。
[6]アプリケーションを実行するとともに、当該アプリケーションの実行内容を表示部に表示制御する情報処理装置と、
操作に応じた操作信号を前記情報処理装置に出力するとともに、キーの印字の表示内容を制御するキーボードとを有し、
前記キーボードは、前記情報処理装置の前記アプリケーションが前記キーボードの操作を指示する内容の表示を前記表示部に表示した際に、当該キーボードを操作する利用者の視線が当該キーボードに向かっているか否かを検出し、前記利用者の視線の内容と、前記アプリケーションの表示内容に応じて前記キーボードが操作された際に測定される測定情報とに基づいて前記キーボードの印字を表示制御するキーボード制御システム。
【発明の効果】
【0009】
請求項1、5又は6に係る発明によれば、使用者の習熟度に応じてキーボードの表示を制御することができる。
請求項2に係る発明によれば、アプリケーションの表示内容に応じて利用者がキーボードを操作する際に、利用者の視線がキーボードに向かっていた場合、キーボードの印字を表示しないように表示制御することができる。
請求項3に係る発明によれば、アプリケーションの表示内容に応じて利用者がキーボードを操作する際に、利用者の視線がキーボードに向かっていた場合、次に操作するべきキーボードのキーの印字を表示するように表示制御することができる。
請求項4に係る発明によれば、利用者の視線の内容と、測定情報とに基づいて評価値を算出し、算出した当該評価値に基づいて印字表示の動作を切り替えることができる。
【図面の簡単な説明】
【0010】
【図1】図1は、実施の形態に係るキーボード制御システムの構成の一例を示す概略図である。
【図2】図2は、実施の形態に係るキーボードの構成例を示すブロック図である。
【図3】図3は、実施の形態に係るPCの構成例を示すブロック図である。
【図4】図4は、キーボードとPCによって通信される情報を示す構成図である。
【図5】図5は、キーボードのモード選択動作の一例を示すフローチャートである。
【図6】図6(a)‐(c)は、サポートモード動作の一例を説明するためのキーボードの平面図である。
【図7】図7(a)‐(c)は、サポートモード動作の変形例を説明するためのキーボードの平面図である。
【図8】図8は、キーボードのサポートモード動作の一例を示すフローチャートである。
【図9】図9(a)‐(c)は、ペナルティモード動作の一例を説明するためのキーボードの平面図である。
【図10】図10(a)‐(c)は、サポートモード動作の変形例を説明するためのキーボードの平面図である。
【図11】図11は、キーボードのサポートモード動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
[実施の形態]
(キーボード制御システムの構成)
図1は、実施の形態に係るキーボード制御システムの構成の一例を示す概略図である。

【0012】
このキーボード制御システムは、キーボード1と、PC(Personal Computer)2とをUSB(Universal Serial Bus)ケーブル又は無線等によって互いに通信可能に接続することで構成される。

【0013】
PC2は、本体内に情報を処理するための機能を有するCPUやフラッシュメモリ等の電子部品を備えるとともに、文字や画像等を表示するLCD(Liquid Crystal Display)等の表示部22を備える。

【0014】
キーボード1は、利用者3の操作内容に応じて操作信号をPC2に出力し、視線VL(VLd及びVLk)から得られる視線情報及び/又は視線情報に基づく情報(詳細については後述する。)に応じてキー上の表示を変化させるものであって、本体内に情報を処理するための機能を有するCPU(Central Processing Unit)やフラッシュメモリ等の電子部品を備えるとともに、複数のキーからなり利用者3の手31l及び31rによって操作されるキー群12、キー群12のキーのそれぞれに文字や画像を表示する印字表示手段としてのプロジェクタ13、利用者3の視線VLを検出する視線検出デバイスとしての視線検出カメラ14、利用者3の手31l及び31rの動作を検出する腕動作検出デバイスとしての腕動作検出カメラ15を備える。なお、キーボード1が有するプロジェクタ13、視線検出カメラ14及び腕動作検出カメラ15の一部又は全部をPC2に備えるように又はPC2と兼用するように構成してもよいし、独立した装置として構成してもよい。また、プロジェクタ13をPC2に備えるように又はPC2と兼用するように構成してもよいし、独立した装置として構成してもよい。

【0015】
キーボード1は、一例として、利用者3のキーボード操作に関する熟練度を評価して評価値を算出し、評価値と利用者3の視線VLから得られる視線情報及び/又は視線情報に基づく情報とに応じてキー群12上への文字や画像の表示/非表示を変更する。

【0016】
(キーボードの構成)
図2は、実施の形態に係るキーボード1の構成例を示すブロック図である。

【0017】
キーボード1は、CPU等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部10と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部11と、キー群12と、プロジェクタ13と、視線検出カメラ14と、腕動作検出カメラ15、PC2と通信する通信部16とを備える。

【0018】
制御部10は、後述するキーボード制御プログラム110を実行することで、タイピング検出手段100、操作信号出力手段101、印字表示制御手段102、視線検出手段103、腕動作検出手段104、アプリケーション通信手段105及びタイピング評価手段106等として機能する。

【0019】
タイピング検出手段100は、キー群12に対する操作を検出する。

【0020】
操作信号出力手段101は、タイピング検出手段100が検出した操作内容に基づいてPC2に対し通信部16を介して操作信号を出力する。

【0021】
印字表示制御手段102は、視線情報111、当該視線情報111から算出される視線状態情報、腕動作情報112、アプリケーション測定情報113の少なくとも1つの情報に基づいてキー群12への文字又は画像の表示を制御する。

【0022】
視線検出手段103は、視線検出カメラ14で検出した利用者3の視線VLを時系列とともに視線情報111として記録する。

【0023】
腕動作検出手段104は、腕動作検出カメラ15利用者3の手31l及び31rの動作を時系列とともに腕動作情報112として記録する。

【0024】
アプリケーション通信手段105は、通信部16を介してPC2上で動作するタイピングアプリケーション(210、図3)と通信し、タイピングアプリケーション210が測定したアプリケーション測定情報(211、図3)を取得し、アプリケーション測定情報113として記憶部11に格納する。

【0025】
タイピング評価手段106は、視線情報111、当該視線情報111から算出される視線状態情報、腕動作情報112、アプリケーション測定情報113の少なくとも1つの情報に基づいて利用者3のキーボード1の操作に関する習熟度を評価して評価情報114として記憶部11に格納する。

【0026】
記憶部11は、制御部10を上述した各手段100‐106として動作させるキーボード制御プログラム110、視線情報111、当該視線情報111から算出される視線状態情報、腕動作情報112、アプリケーション測定情報113、評価情報114等を記憶する。

【0027】
(PCの構成)
図3は、実施の形態に係るPC2の構成例を示すブロック図である。

【0028】
PC2は、CPU等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部20と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部21と、表示部22と、キーボード1と通信する通信部23とを備える。

【0029】
制御部20は、後述するタイピングアプリケーション210を実行することで、問題表示手段200、操作信号入力手段201、操作完了時間測定手段202、スコア測定手段203及びキーボード通信手段204等として機能する。

【0030】
問題表示手段200は、タイピング練習用の問題としてキーボード1で入力可能な文字列を表示部22に表示する。なお、表示内容に必要に応じて画像等を含めても良い。

【0031】
操作信号入力手段201は、通信部23を介してキーボード1から操作信号の入力を受け付ける。

【0032】
操作完了時間測定手段202は、問題表示手段200が表示部22に問題を表示してから、当該問題に対して全ての操作信号が入力されるまでの操作完了時間を測定し、アプリケーション測定情報211に記録する。

【0033】
スコア測定手段203は、問題に対する操作信号の正誤及び正誤の割合からスコアを測定し、アプリケーション測定情報211に記録する。

【0034】
キーボード通信手段204は、キーボード1と通信し、キーボード1の要求に応じてアプリケーション測定情報211を送信する。

【0035】
記憶部21は、制御部20を上述した各手段200‐204として動作させるタイピングアプリケーション210、アプリケーション測定情報211等を記憶する。

【0036】
図4は、キーボード1とPC2によって通信される情報を示す構成図である。

【0037】
キーボード1はキーボード制御プログラム110を実行することでアプリケーション通信手段105として機能し、アプリケーション通信手段105は通信部16を介してPC2と通信し、主に操作信号を出力する。PC2はタイピングアプリケーション210を実行することでキーボード通信手段204として機能し、キーボード通信手段204は通信部23を介してキーボード1と通信し、主にアプリケーション測定情報を出力する。

【0038】
なお、キーボード1の印字表示制御手段102、視線検出手段103、腕動作検出手段104及びタイピング評価手段106の一部又は全部をPC2で機能させるものであってもよいし、PC2の問題表示手段200、操作完了時間測定手段202及びスコア測定手段203の一部又は全部をキーボード1で機能させるものであってもよい。また、キーボード1又はPC2のいずれかにすべての手段を集約するように構成してもよい。つまり、キーボード制御プログラム110とタイピングアプリケーション210は互いに連携し、変形例においては一方が他方の一部又は全部を含む場合がある。

【0039】
(キーボードの動作)
次に、本実施の形態の作用を、(1)基本動作、(2)モード選択動作、(3)サポートモード動作、(4)ペナルティモード動作に分けて説明する。

【0040】
(1)基本動作
まず、キーボード1の印字表示制御手段102は、プロジェクタ13を制御し、初期状態としてキー群12のキートップに所定の文字や画像を表示制御する。

【0041】
利用者3は、タイピングを練習するためキーボード1を操作する。キーボード1のタイピング検出手段100は、キー群12に対する操作を検出し、操作信号出力手段101は、利用者3の操作内容に応じて操作信号をPC2に出力する。PC2は、キーボード1から入力される操作信号に基づいてタイピングアプリケーション210を実行する。

【0042】
PC2はタイピングアプリケーション210を実行することで、問題表示手段200として動作し、タイピング練習用の問題として文字列を表示部22に表示する。

【0043】
利用者3は、表示部22に表示されたタイピング練習用の文字列を確認し、表示された文字列を入力すべくキーボード1を操作する。この際、一般的に、利用者3のタイピング(主にタッチタイピング)の習熟度が低ければキーボード1に視線VLkが向かうことが多くなり、習熟度が高ければ表示部22に視線VLdが向かうことが多くなる。習熟度に応じて視線VLkの頻度を減少し、視線VLdの頻度を増加させるためキーボード制御プログラム110及びタイピングアプリケーション210が以降説明するように動作する。

【0044】
(2)モード選択動作
図5は、キーボード1のモード選択動作の一例を示すフローチャートである。

【0045】
まず、印字表示制御手段102は、評価情報114を参照し、評価値が存在しない場合(S1;Yes)は、印字表示制御手段102の動作モードとして「サポートモード」に設定する(S2)。ここで、評価値が存在しない場合とは、利用者3がキーボード1及びPC2を初めて操作する場合である。また、「サポートモード」とは、習熟度が低い利用者3の視線VLkの頻度、滞在時間、視線VLdから視線VLkに対する移動速度、移動加速度、移動方向等を減少し、視線VLdの頻度、滞在時間、視線VLkから視線VLdに対する移動速度、移動加速度、移動方向等を増加させるための動作モードである。また、手31l及び31rがキー操作後にホームポジションに戻るように促すための動作モードであってもよい。

【0046】
次に、PC2の問題表示手段200は、「(1)基本動作」で説明したように、問題を表示し、利用者3はキーボード1を操作する。キーボード1及びPC2は、以下に説明するように動作して利用者3の習熟度を評価する(S3)。

【0047】
PC2の操作完了時間測定手段202は、問題表示手段200が表示部22に問題を表示してから、当該問題に対して全ての操作信号が入力されるまでの操作完了時間を測定し、アプリケーション測定情報211に記録する。なお、操作完了時間が短いほど習熟度が高いものと評価する。

【0048】
また、PC2のスコア測定手段203は、問題に対する操作信号の正誤及び正誤の割合からスコアを測定し、アプリケーション測定情報211に記録する。なお、正解の割合が多いほど習熟度が高いものと評価する。

【0049】
PC2のキーボード通信手段204は、キーボード1のアプリケーション通信手段105の要求に応じて、操作完了時間測定手段202及びスコア測定手段203によって記録されたアプリケーション測定情報211をキーボード1に送信する。なお、アプリケーション測定情報211の送信タイミングは、予め定めた時間毎でもよいし、問題表示手段200の出題する問題の単位毎でもよいし、予め定めた問題数毎であってもよい。アプリケーション通信手段105は、アプリケーション測定情報211を取得し、アプリケーション測定情報113として記憶部11に格納する。

【0050】
また、キーボード1の視線検出手段103は、利用者3の視線VLを検出して時系列とともに視線情報111として記録する。なお、タイピング評価手段106は、視線情報111及びキーボードの位置情報(視線検出カメラ14との相対位置が予め登録されているものとする。)から、又は視線情報111のみから、視線のある位置に対する滞在時間、視線の移動速度、視線の加速度、視線の移動方向のいずれか若しくは任意の組み合わせ又はこれらの変化率等(以降、「視線状態情報」という。)から評価するが、例えば、単純に視線VLが表示部22への視線VLdである時間が長いほど習熟度が高いものと評価してもよい。

【0051】
キーボード1の腕動作検出手段104は、利用者3の手31l及び31rの動作を検出して時系列とともに腕動作情報112として記録する。なお、タイピング評価手段106は、腕動作情報112及びキーボードの位置情報(腕動作検出カメラ15との相対位置が予め登録されているものとする。)から、又は視線情報111のみから、手31l及び31rのある位置に対する滞在時間、移動速度、加速度、移動方向のいずれか若しくは任意の組み合わせ又はこれらの変化率等(以降、「腕動作状態情報」という。)から評価するが、例えば、単純に手31l及び31rが正しいホームポジションにあり、正しい指で操作している割合が多いほど習熟度が高いものと評価してもよい。

【0052】
次に、タイピング評価手段106は、視線情報111及び腕動作情報112、又は視線状態情報及び腕動作状態情報並びにアプリケーション測定情報113の少なくとも1つの情報に基づいて利用者3のキーボード1の操作に関する習熟度を評価して(S3)、評価情報114として記憶部11に格納する。

【0053】
印字表示制御手段102は、評価情報114を参照し(S4)、評価値が予め定めた閾値以上である場合(S4;Yes)、印字表示制御手段102の動作モードとして「ペナルティモード」に設定する(S5)。「ペナルティモード」とは、習熟度が高い利用者3の視線VLkの頻度、滞在時間、視線VLdから視線VLkに対する移動速度、移動加速度、移動方向等をさらに減少し、視線VLdの頻度、滞在時間、視線VLkから視線VLdに対する移動速度、移動加速度、移動方向等をさらに増加させるための動作モードである。また、手31l及び31rがキー操作後にホームポジションに戻らないことを減少するための動作モードであってもよい。

【0054】
また、評価値が予め定めた閾値より小さい場合(S4;No)、印字表示制御手段102の動作モードとして「サポートモード」に設定する(S5)。

【0055】
次に、各モードにおける印字表示制御手段102の動作についてそれぞれ説明する。

【0056】
(3)サポートモード動作
図8は、キーボード1のサポートモード動作の一例を示すフローチャートである。また、図6(a)‐(c)は、サポートモード動作の一例を説明するためのキーボード1の平面図である。

【0057】
まず、サポートモードになると、図6(a)に示すように、キーボード1の印字表示制御手段102は、プロジェクタ13を制御し、初期状態としてキー群12のキートップの文字や画像を表示しないよう表示制御する。これは、利用者3がキーボード1をなるべく見ないようにするための表示制御である。

【0058】
次に、PC2の問題表示手段200は、タイピング練習用の問題として文字列を表示部22に表示する。同時に、キーボード1のアプリケーション通信手段105は、問題文のテキスト情報をPC2から受信する(S10)。

【0059】
キーボード1の印字表示制御手段102は、n=1文字目から(S11)順に1文字ずつ制御し、図6(b)に示すように、視線検出手段103が利用者3の視線VLk1がキーボード1にあることを検出した場合(S12;Yes)、入力すべきn文字目のキー、例えば、キー120sに文字130sとして「S」を表示制御する(S13)。

【0060】
また、利用者3の視線VLdが表示部22であってキーボード1にない場合(S12;No)、入力すべきn文字目のキー、例えば、キー120sに文字130sとして「S」を表示しないよう表示制御する(S14)。しかし、一定時間入力が完了しない場合は(S15;No)、キー120sに文字130sとして「S」を表示制御する(S13)。なお、初期状態としてキー群12のキートップの文字や画像を表示せずにキー120sに文字130sとして「S」を表示する表示制御は、他のキーに対してキー120sの表示が強調されることを目的としているため、例えば、初期状態としてキー群12のキートップの文字や画像を通常表示し、キー120sに文字130sをより明るく表示したり、異なる色で表示したりすることで強調表示をしてもよい。

【0061】
上記動作を問題文の全てを入力完了していなければ(S16;No)、次の文字であるn=n+1文字目についても行い(S17)、問題文の全てを入力するまで行う(S16;Yes)。

【0062】
また、サポートモードは以下の変形例に説明するように動作するものであってもよい。

【0063】
図7(a)‐(c)は、サポートモード動作の変形例を説明するためのキーボード1の平面図である。

【0064】
まず、事前に、印字表示制御手段102は、図7(a)に示すように、利用者3が頻繁に視線VLk2をキーボード1に向けながら入力するキーを苦手キー120qとして記憶する。

【0065】
次に、キーボード1の印字表示制御手段102は、プロジェクタ13を制御し、初期状態としてキー群12のキートップの文字や画像を表示しないよう表示制御する。

【0066】
次に、PC2の問題表示手段200は、タイピング練習用の問題として文字列を表示部22に表示する。同時に、キーボード1のアプリケーション通信手段105は、問題文のテキスト情報をPC2から受信する。

【0067】
キーボード1の印字表示制御手段102は、n=1文字目から順に1文字ずつ制御し、図7(b)に示すように、n文字目である出題キーが苦手キー120qであった場合、図7(c)に示すように、入力すべきn文字目のキー、キー120qに文字130qとして「Q」を表示制御する。なお、初期状態としてキー群12のキートップの文字や画像を通常表示し、キー120qに文字130qをより明るく表示したり、異なる色で表示したりすることで強調表示をしてもよい。

【0068】
(4)ペナルティモード動作
図11は、キーボード1のサポートモード動作の一例を示すフローチャートである。また、図9(a)‐(c)は、ペナルティモード動作の一例を説明するためのキーボード1の平面図である。

【0069】
まず、ペナルティモードになると、図9(a)に示すように、キーボード1の印字表示制御手段102は、プロジェクタ13を制御し、初期状態としてキー群12のキートップの文字や画像をすべて表示するよう表示制御する。これは、利用者3がキーボード1を見ないことを前提とした表示制御である。

【0070】
次に、PC2の問題表示手段200は、タイピング練習用の問題として文字列を表示部22に表示する。同時に、キーボード1のアプリケーション通信手段105は、問題文のテキスト情報をPC2から受信する(S20)。

【0071】
キーボード1の印字表示制御手段102は、n=1文字目から(S21)順に1文字ずつ制御し、図9(b)に示すように、視線検出手段103が利用者3の視線VLk3がキーボード1にあることを検出した場合(S22;Yes)、入力すべきn文字目のキー、例えば、キー120dの文字130dである「D」の表示をオフに表示制御する(S23)。これは、タッチタイピングができなかったことに対するペナルティとして行われる。なお、表示がオフになった文字は次の文字で表示をしてもよいし、一定の時間経過後に表示をしてもよい。なお、キー120dの文字130dをより暗く表示したり、異なる色で表示したりすることで見づらくなるよう表示を制御してもよい。

【0072】
また、利用者3の視線VLdが表示部22であってキーボード1にない場合(S22;No)、入力すべきn文字目のキー、例えば、キー120dの文字130dである「D」の表示を継続して表示制御する(S24)。しかし、一定時間入力が完了しない場合は(S25;No)、キー120dの文字130dである「D」の表示をオフに表示制御する(S23)。

【0073】
上記動作を問題文の全てを入力完了していなければ(S26;No)、次の文字であるn=n+1文字目についても行い(S27)、問題文の全てを入力するまで行う(S26;Yes)。

【0074】
また、ペナルティモードは以下の変形例に説明するように動作するものであってもよい。

【0075】
図10(a)‐(c)は、サポートモード動作の変形例を説明するためのキーボード1の平面図である。

【0076】
まず、図10(a)に示すように、キーボード1の印字表示制御手段102は、プロジェクタ13を制御し、初期状態としてキー群12のキートップの文字や画像をすべて表示するよう表示制御する。

【0077】
次に、PC2の問題表示手段200は、タイピング練習用の問題として文字列を表示部22に表示する。同時に、キーボード1のアプリケーション通信手段105は、問題文のテキスト情報をPC2から受信する。

【0078】
キーボード1の印字表示制御手段102は、n=1文字目から順に1文字ずつ制御し、図10(b)に示すように、視線検出手段103が利用者3の視線VLk3がキーボード1にあることを検出し、かつ、指310l1でキー操作した場合、図10(c)に示すように、入力したn文字目のキー、例えば、キー120d並びにキー120dの周辺のキー120e、120s、120f及び120cの文字の表示をオフに表示制御する。これは、タッチタイピングができなかったことに対するペナルティとして行われ、印字を確認したと思われる周辺の文字についても表示をオフにするものである。表示をオフにする範囲はさらに広範囲にしてもよい。なお、表示がオフになった文字は次の文字で表示をしてもよいし、一定の時間経過後に表示をしてもよい。なお、キー120d並びにキー120dの周辺のキー120e、120s、120f及び120cをより暗く表示したり、異なる色で表示したりすることで見づらくなるよう表示を制御してもよい。

【0079】
(実施の形態の効果)
上記した実施の形態によれば、視線情報111及び腕動作情報112、又は視線状態情報及び腕動作状態情報並びにアプリケーション測定情報113の少なくとも1つの情報に基づいて利用者3のキーボード1の操作に関する習熟度を評価し、評価結果によりキーボード1の印字表示制御手段102の動作モードを「サポートモード」又は「ペナルティモード」から選択できるようにして、「サポートモード」では必要な状況でのみ印字を表示してタッチタイピングの習得を支援し、「ペナルティモード」では状況に応じて印字をオフにしてタッチタイピングができなかった場合にペナルティを課すようにしたため、利用者3の習熟度に応じて利用者3のタッチタイピングが上達するようにキーボード1の表示を制御することができる。

【0080】
また、タイピングアプリケーション210と、キーボード制御プログラム110を互いに通信可能に構成したため、キーボード1のキーボード制御プログラム110の仕様に合わせることでタイピングアプリケーション210は自由に仕様変更が可能である。キーボード制御プログラム110についても基本仕様が共通していれば自由に仕様変更できるようにしてもよい。

【0081】
[他の実施の形態]
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、モードは「サポートモード」と「ペナルティモード」の2つに限定されず、3以上のモードを用意して評価値によって切り替えるようにしてもよい。また、評価値に変えて、利用者3の視線及び操作内容から任意の特徴量を算出し、当該特徴量に基づいてモードを切り替えるようにしてもよいし、モードを用いずにキーの印字内容を変更するようにしてもよい。

【0082】
また、キーの印字のオン/オフだけでなく、利用者3の視線VLに基づいて印字内容を変更するようにしてもよい。印字内容は、通常のQWETY配列の文字や記号、ファンクションキーを押した場合の機能、シフトキーを押した場合の文字や記号、ショートカットキーの内容等のキーに割り当て可能な内容であればよい。

【0083】
また、印字表示デバイスとしてプロジェクタ13を例に挙げて説明したが、印字表示制御手段102の制御内容に基づいてキーボードの印字表示を変化させることができるものであればよく、例えば、表示機能を持たせたキートップを採用してもよい。

【0084】
また、視線検出デバイスとして視線検出カメラ14を例に挙げて説明したが、視線を検出して視線検出手段103へ視線位置情報を伝えることができるものであればよく、例えば、眼鏡型ウェアラブルデバイス等を採用してもよい。

【0085】
また、腕動作検出デバイスとして腕操作検出カメラ15を例に挙げて説明したが、手31l、31rの動作を検出して腕動作検出手段104へ腕動作動作情報112を伝えることができるものであればよく、例えば、モーションキャプチャ用グローブやセンサ付指サック等を採用してもよい。

【0086】
上記実施の形態では制御部10の各手段100‐106、200‐204の機能をプログラムで実現したが、各手段の全て又は一部をASIC等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをCD‐ROM等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【0087】
1 :キーボード
2 :PC
3 :利用者
10 :制御部
11 :記憶部
12 :キー群
13 :プロジェクタ
14 :視線検出カメラ
15 :腕動作検出カメラ
16 :通信部
20 :制御部
21 :記憶部
22 :表示部
23 :通信部
31l、31r :手
100 :タイピング検出手段
101 :操作信号出力手段
102 :印字表示制御手段
103 :視線検出手段
104 :腕動作検出手段
105 :アプリケーション通信手段
106 :タイピング評価手段
110 :キーボード制御プログラム
111 :視線情報
112 :腕動作情報
113 :アプリケーション測定情報
114 :評価情報
200 :問題表示手段
201 :操作信号入力手段
202 :操作完了時間測定手段
203 :スコア測定手段
204 :キーボード通信手段
210 :タイピングアプリケーション
211 :アプリケーション測定情報

図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10