TOP > 国内特許検索 > インターフェース提示方法及びインターフェース提示システム > 明細書

明細書 :インターフェース提示方法及びインターフェース提示システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4546125号 (P4546125)
公開番号 特開2005-275710 (P2005-275710A)
登録日 平成22年7月9日(2010.7.9)
発行日 平成22年9月15日(2010.9.15)
公開日 平成17年10月6日(2005.10.6)
発明の名称または考案の名称 インターフェース提示方法及びインターフェース提示システム
国際特許分類 G06F   3/048       (2006.01)
FI G06F 3/048 654A
G06F 3/048 656A
G06F 3/048 657A
請求項の数または発明の数 9
全頁数 44
出願番号 特願2004-086903 (P2004-086903)
出願日 平成16年3月24日(2004.3.24)
審査請求日 平成19年3月20日(2007.3.20)
特許権者または実用新案権者 【識別番号】506301140
【氏名又は名称】公立大学法人会津大学
発明者または考案者 【氏名】ニコライ・ミレンコフ
【氏名】廣冨 哲也
個別代理人の代理人 【識別番号】100070150、【弁理士】、【氏名又は名称】伊東 忠彦
審査官 【審査官】山崎 慎一
参考文献・文献 特開2003-022154(JP,A)
特開平05-088832(JP,A)
特開2002-366969(JP,A)
特開平06-202836(JP,A)
特開平05-100815(JP,A)
特開平06-083554(JP,A)
特開2001-117688(JP,A)
特開平06-161628(JP,A)
特開平07-182128(JP,A)
特開2001-027944(JP,A)
特開昭59-017630(JP,A)
特開2003-084876(JP,A)
特開平11-120177(JP,A)
調査した分野 G06F 3/048
特許請求の範囲 【請求項1】
仮想世界および実世界のオブジェクトおよびプロセスの一つ以上の特徴を表すデータ群からユーザに適応したデータを操作または閲覧させるインターフェースを、ユーザが操作または閲覧するコンピュータに提示させるインターフェース提示方法であって、
前記コンピュータが、
前記ユーザに関するプロファイル情報,動作情報,場所情報,時間情報,理由情報および手段・方法情報の少なくとも一つから成る特異情報が格納された第1格納手段から、前記特異情報を呼び出す第1ステップと、
前記インターフェースを表すフレームと、前記フレームを意味および機能の少なくとも一つでグループ化したシーンと、前記シーンをまとめたフィルムとを有する、前記インターフェースの集合であるインターフェース群が格納された第2格納手段から、前記特異情報に基づき、前記ユーザに適した前記フィルム、前記シーンおよび前記フレームを選択する第2ステップと、
前記第2ステップで選択した前記フレームに対し、前記特異情報に基づき、一度に提示する前記オブジェクトおよびプロセスの数、配置、提示順序、および提示時間の少なくとも一つを定める前記ユーザに対する適応処理を行う第3ステップと、
前記第3ステップで適応処理の結果に従い、前記第2ステップで選択した前記フレームを前記ユーザから入力される入力情報に係わらず提示するか、または、前記入力情報に応じ、前記フレームを変化させて提示する第4ステップと
実行すること
を特徴とするインターフェース提示方法。
【請求項2】
前記データは、
五感による知覚情報と、
内部構造や素材に関する情報と、
外部構造もしくはその一部に関する情報と、
使用方法や動作・作用の様子,制御,履歴に関する情報と、
意味的、空間的、時間的に関連の強い仮想世界および実世界のオブジェクトやプロセスに関する情報と、
意味的、空間的、時間的に反対の意味を持つ仮想世界および実世界のオブジェクトやプロセスに関する情報と、
文化や言語に依存した説明情報と
のうちの少なくとも一つの情報から成ること
を特徴とする請求項1記載のインターフェース提示方法。
【請求項3】
前記コンピュータが、前記手段・方法情報に指定した入出力装置、センサー、およびネットワークの少なくとも一つから取得する情報に基づき、前記特異情報を随時更新することを特徴とする請求項1記載のインターフェース提示方法。
【請求項4】
前記コンピュータが、ユーザの操作履歴、システム状態およびセンサーからの情報に応じて、前記特異情報を随時更新することを特徴とする請求項1記載のインターフェース提示方法。
【請求項5】
前記インターフェースは、前記コンピュータが使用可能な入出力装置に基づき、前記データ群が格納された第3格納手段から前記入出力装置に対応したデータを選択し、そのデータを用いて前記入出力装置を制御し、前記コンピュータと前記ユーザとの間で情報のやり取りを行わせることを特徴とする請求項1記載のインターフェース提示方法。
【請求項6】
前記インターフェースを構成する仮想世界および実世界のオブジェクトは、前記インターフェース群における分類情報を持ち、検索可能であることを特徴とする請求項1記載のインターフェース提示方法。
【請求項7】
記仮想世界および実世界のオブジェクトは、その特徴を表す第3格納手段に格納されている前記データ群へのポインタを持ち、前記ユーザからの要求に応じて、前記ユーザに適応を行ったデータによる説明を提供することを特徴とする請求項1記載のインターフェース提示方法。
【請求項8】
前記インターフェースは、前記ユーザの意志を主語、述語、場所、時間、理由・条件・目標、手段・方法の少なくとも一つの観点で表現させ、前記観点で表現されたユーザの意志に応じて前記コンピュータを介して前記人間または機械との間で情報のやり取りを行わせることを特徴とする請求項1記載のインターフェース提示方法。
【請求項9】
請求項1乃至8何れか一項記載のインターフェース提示方法を実行することを特徴とするインターフェース提示システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、インターフェース提示方法及びインターフェース提示システムに関する。
【背景技術】
【0002】
コンピュータを介した情報伝達方法は、電子メール,チャット,ビデオ会議,機械の遠隔制御等がある。また、情報を入出力する主体としては、仮想世界および実世界のオブジェクト(人間,コンピュータ,ロボット,電子機器,画面内のキャラクタ等)が考えられる。
【0003】
上記の主体とコンピュータとの中間には、情報を入出力するためのインターフェースが設けられている。インターフェースとは、上記の主体とコンピュータとが対話を行うためのハードウェア又はソフトウェア的な接点をいう。例えば特許文献1には、コンピュータを介して、人間と人間とが意志伝達を行う方法およびインターフェースの技術的内容が記載されている。

【特許文献1】特開2003-84876号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
従来、コンピュータに設けられているインターフェースは、そのコンピュータを操作するユーザの操作履歴,ユーザによるカスタマイズ要求などにより、各ユーザへの適応を図る機能が採用されている。
【0005】
しかしながら、従来のインターフェースに採用されている各ユーザへの適応を図る機能は、情報伝達を行う主体の汎用性,カスタマイズ要求の煩雑さ,主体に提示する情報の系統的な適応,主体に提示するインターフェースの系統的な適応,主体に提示する情報およびインターフェースの系統的な説明など、上記の何れかの点で問題があった。
本発明は、上記の点に鑑みなされたもので、仮想世界および実世界の多様な主体を対象とすることができ、系統的に主体への適応が図られたインターフェースの提示を容易に実現できる、インターフェース提示方法及びインターフェース提示システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明は仮想世界および実世界のオブジェクトおよびプロセスの一つ以上の特徴を表すデータ群からユーザに適応したデータを操作または閲覧させるインターフェースを、ユーザが操作または閲覧するコンピュータに提示させるインターフェース提示方法であって、前記コンピュータが、前記ユーザに関するプロファイル情報,動作情報,場所情報,時間情報,理由情報および手段・方法情報の少なくとも一つから成る特異情報が格納された第1格納手段から、前記特異情報を呼び出す第1ステップと、前記インターフェースを表すフレームと、前記フレームを意味および機能の少なくとも一つでグループ化したシーンと、前記シーンをまとめたフィルムとを有する、前記インターフェースの集合であるインターフェース群が格納された第2格納手段から、前記特異情報に基づき、前記ユーザに適した前記フィルム、前記シーンおよび前記フレームを選択する第2ステップと、前記第2ステップで選択した前記フレームに対し、前記特異情報に基づき、一度に提示する前記オブジェクトおよびプロセスの数、配置、提示順序、および提示時間の少なくとも一つを定める前記ユーザに対する適応処理を行う第3ステップと、前記第3ステップで適応処理の結果に従い、前記第2ステップで選択した前記フレームを前記ユーザから入力される入力情報に係わらず提示するか、または、前記入力情報に応じ、前記フレームを変化させて提示する第4ステップとを実行することを特徴とする。
【0008】
また、本発明は上記記載のインターフェース提示方法を実行するインターフェース提示システムであることを特徴とする。
【0010】
発明では第1格納手段にユーザに関する特異情報,第2格納手段に仮想世界および実世界のオブジェクトの少なくとも一つから成るインターフェース群が格納されており、ユーザに関する特異情報に基づき、ユーザに適したインターフェースの決定及び適応処理を行うことにより、系統的にユーザへの適応が図られたインターフェースをユーザに提示する。
【0011】
本発明は、仮想世界および実世界の多様な主体として人間または機械を対象とすることができ、系統的に人間または機械への適応が図られたインターフェースの提示を容易に実現できる。また、本発明は煩雑なカスタマイズ要求を不要とすることができる。さらに、本発明は系統的に人間または機械への適応が図られたインターフェースの説明を容易に提示できる。
【0012】
この結果、系統的に主体への適応が図られたインターフェースを用いて人間または機械とコンピュータとの間で情報をやり取りできる。
【発明の効果】
【0013】
本発明によれば、仮想世界および実世界の多様な主体を対象とすることができ、系統的に主体への適応が図られたインターフェースの提示を容易に実現できる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の一実施形態に係るインターフェース提示方法について説明する。まず、この方法の実施に用いるデータおよびインターフェースを提示するシステムの概要を図1により説明する。
(システム構成)
このシステムの構成する要素について説明する。このシステムは、特異情報DB1、データ提示機能ブロック2、インターフェース提示機能ブロック3及び各機能要素を結ぶバスを備えている。
【0015】
特異情報DB1は、人間または機械8に関する特異情報を格納する部分である。人間または機械8に関する特異情報は、ユーザ14に関する特異情報も含む。特異情報とは、人間または機械自身の情報およびそれらを取り巻く環境に関する情報である。
【0016】
データ提示機能ブロック2は、人間または機械8に適応を図ったデータの提示を行う部分であり、データ群DB4、データフィルタリング装置5、データ編成装置6、コンピュータ7により構成される。データ群DB4は、仮想世界および実世界のオブジェクトやプロセス(以下、サイバーオブジェクトおよびサイバープロセスと記述する)の一つ以上の特徴を表すデータ群を格納する。データフィルタリング装置5は、特異情報DB1に格納されている特異情報に基づき、データ群DB4から、主体である人間または機械8に必要なデータを呼び出す。データ編成装置6は、主体に関する特異情報に基づき、フィルタリングにより呼び出したデータを編成し、主体に提示する順序を決定する。コンピュータ7は、編成され順序を決定されたデータを主体に提示し、その提示に関して主体から与えられる情報を処理し、特異情報DB1にフィードバックする。
【0017】
インターフェース提示機能ブロック3は、提示されたデータを操作・閲覧するため、ユーザ14に適応を図ったインターフェースの提示を行う部分であり、インターフェース群DB9、インターフェースフィルタリング装置10、インターフェース編成装置11、コンピュータ12、入出力装置13により構成される。インターフェース群DB9は、少なくとも一つのサイバーオブジェクトから成るインターフェース群に関するデータを格納する。インターフェースフィルタリング装置10は、特異情報DB1に格納されている特異情報に基づき、インターフェース群DB9からユーザ14に適したインターフェースに関するデータを呼び出す。インターフェース編成装置11は、ユーザ14に関する特異情報に基づき、フィルタリングにより呼び出したデータに対し、ユーザ14に適応を行い、ユーザ14に適したインターフェースを編成する。コンピュータ12は、編成されたインターフェースをユーザ14に提供するため、制御情報を入出力装置13に供給し、また入出力装置13から与えられる情報を処理し、特異情報DB1にフィードバックする。入出力装置13は、与えられた制御情報に基づきインターフェースをユーザ14に提示し、コンピュータ12とユーザ14の間で情報のやり取りを行わせる。
【0018】
これらの構成要素は、互いに離間した位置に存在しても良い。その場合、これらの構成要素はネットワークにより接続される。
【0019】
以下、特異情報DB1に格納されている特異情報、データ提示機能ブロック2を用いたデータ提示方法およびインターフェース提示機能ブロック3を用いたインターフェース提示方法について詳細に説明する。
(特異情報)
人間または機械に関する特異情報は、プロファイル情報、動作情報、場所情報、時間情報、理由情報および手段・方法情報の少なくとも一つを備えている。
【0020】
プロファイル情報は、人間や機械の固有情報を表し、名前や所属、認知能力などのデータ項目で構成される。動作情報は、人間や機械の活動に関する情報を表し、現在行っている活動の種類や活動の履歴などのデータ項目で構成される。場所情報は、人間や機械の地理的な情報を表し、緯度、経度、高度、屋内・屋外などのデータ項目で構成される。時間情報は、人間や機械の日時に関する情報を表し、実世界および仮想世界における現在時などのデータ項目で構成される。理由情報は、人間や機械が活動を行う動機に関する情報を表し、理由、目的、条件、状況などのデータ項目で構成される。手段・方法情報は、プロファイル情報、動作情報、場所情報、時間情報、理由情報に含まれない人間や機械が活動を行うために必要な情報を表し、使用している入出力装置やセンサ、ネットワーク、言語などのデータ項目で構成される。
【0021】
これらのデータ項目は、人間が操作した入出力装置、もしくはそれ以外の装置、例えば、ロボット、GPS、センサなどによって入力されたデータ、履歴、統計などのコンピュータによって収集されたデータにより決定される。例えば、名前や所属、使用言語は人間が直接入力、現在地の緯度、経度はGPSによって入力、活動の履歴はコンピュータが自動収集することにより与えられる。
【0022】
なお、特異情報を構成するプロファイル情報、動作情報など各情報に含まれるデータ項目、その入力方法および更新頻度などは、ユーザが実行を指示したアプリケーションに応じて、変化するようにしても良い。
【0023】
本発明のインターフェース提示方法では、人間または機械に関する特異情報をプロファイル情報、動作情報など、上記枠組みで管理し、随時、参照または更新することにより、人間または機械への適応が図られたインターフェースの提示を容易に実現することが出来る。
【0024】
例えば、プロファイル情報の認知能力を参照することにより、視覚障害者には聴覚情報を、聴覚障害者には視覚情報を主としたデータおよびインターフェースを提示することが可能である。また、手段・方法情報の使用しているセンサやネットワークを参照することにより、機械に気温を調べる命令を与える場合、温度センサを接続していればセンサから情報を取得、ネットワークが使用可能であればインターネット上の情報から取得、両方利用可能であれば双方の情報を比較検討することで気温を決定など、それぞれの機械とそれらを取り巻く環境に適した命令を容易に与えることが可能である。
(データ提示方法)
以下、データ提示方法について図1を用いて説明する。まず、データ群DB4について説明を行う。
【0025】
サイバーオブジェクトや、その動作の手順などを表すサイバープロセスは、見方、捉え方、または表現方法の違いにより、一つ以上の特徴で表すことが出来る。このようなサイバーオブジェクトまたはサイバープロセスの特徴は、それぞれ個別のデータとして表現される。このデータは、人間または機械用のデータである。
【0026】
つまり、一つのオブジェクトまたはプロセスは、その特徴を表す人間または機械用のデータの集合であるデータ群により表現され、データ群DB4に格納される。
【0027】
なお、このデータ群は、五感による知覚情報、内部構造や素材に関する情報、外部構造もしくはその一部に関する情報、使用方法や動作・作用の様子、制御、履歴に関する情報、意味的、空間的、時間的に関連の強いサイバーオブジェクトやサイバープロセスに関する情報、文化や言語に依存した説明情報のうちの少なくとも一つの情報から成ることを特徴とする。
【0028】
五感による知覚情報とは、例えば、食べ物の画像、音、触覚、匂い、味に関する情報である。内部構造や素材に関する情報とは、例えば、自動車はエンジンやシャーシから構成されるといった情報である。外部構造もしくはその一部に関する情報とは、例えば、エンジンは自動車の一部であり、他の部品とどのように連結されているかといった情報である。使用方法や動作・作用の様子、制御、履歴に関する情報とは、例えば、自動車をどのように運転するか、エンジンはどのように動くのかといった情報である。意味的、空間的、時間的に関連の強いサイバーオブジェクトやサイバープロセスに関する情報とは、例えば、食べる道具であるフォークに対してナイフやスプーン、あるいは福島県に対して山形県や新潟県、ブリに対して成長過程であるメジロやハマチといった情報である。文化や言語に依存した情報とは、例えば、吐くと掃くが「はく」という同音異義語であるといった情報である。
【0029】
次に、このデータ群を主体である人間または機械に適応させ、提示する方法について説明する。以下、データフィルタリング装置5、データ編成装置6、およびコンピュータ7で行う処理について順に説明を行う。
(ステップ1 データのフィルタリング)
データフィルタリング装置5は、特異情報DB1にアクセスし、データの提示を行う対象である、人間または機械8に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、サイバーオブジェクトもしくはサイバープロセスに関連するデータをデータ群DB4から呼び出す。この時、提示を行う対象である、人間または機械8の特異情報に基づき、データの取捨選択が行われる。ここで取捨選択を行ったデータはデータ編成装置6に出力される。
(ステップ2 データの編成)
データ編成装置6は、特異情報DB1にアクセスし、データの提示を行う対象である、人間または機械8に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、データフィルタリング装置5によって入力されたデータの提示順序を決定する。この時、提示を行う対象である、人間または機械8の特異情報に基づき、一度に提示するデータ量、提示順序、および提示時間の少なくとも一つについて決定し、その決定内容を編成データとして保存する。保存された編成データは、データフィルタリング装置5により入力されたデータに付与され、コンピュータ7に出力される。ここで、編成データにより定義される提示方法は、人間または機械8の反応に係らず編成データ通りの提示を保障する静的提示方法、人間または機械8の反応により振る舞いを変える動的提示方法、およびそれらの組み合わせのいずれかである。
(ステップ3 データの提示)
コンピュータ7は、データ編成装置6によって入力された編成データ付のデータを人間または機械8に提示する。ここでデータの提示方法は、編成データの指定に従う。編成データが動的提示方法を含む場合、コンピュータ7は、人間または機械8からの反応を受け取り、その反応に応じてインタラクティブにデータの提示を行う。例えば、人間の要求に応じて、提示するデータの早送り、巻き戻し、停止をすることが可能である。また、機械からデータ受け取り完了の信号が送信されるまで待ち、次のデータを送信することも可能である。さらに、人間または機械8がより多くのデータを要求した場合、人間または機械8に関する特異情報に反映させ、データフィルタリング装置5およびデータ編成装置6に追加データの提示を要求することも可能である。これらの人間または機械8からの反応およびデータの提示終了などコンピュータ7が管理するデータ提示情報は、特異情報DB1に出力され、人間または機械8に関する特異情報に反映される。
【0030】
ここで、「鉛筆を持ちあげる」という指示を与える場合を考える。相手に応じて、指示を書いた文を見せる。声で命令する、ビデオを見せる、制御プログラムを走らせるなど様々な方法が考えられる。指示を与える相手、つまり人間や機械8といった主体に関する情報は、特異情報DB1に格納されており、「鉛筆を持ち上げる」というプロセスを表現する、テキスト文、音声、ビデオ、プログラムといったデータ群はデータ群DB4に格納されている。
【0031】
例えば、主体が聴覚障害者の場合、まず、データフィルタリング装置5は特異情報DB1を参照し、音やプログラムに関する情報は不要なので、テキスト文とビデオとを選択する。次にデータ編成装置6は、同様に特異情報DB1を参照し、ビデオとテキスト文とを同時に提示するのか、テキスト文、ビデオの順で順次提示するのかなどを決定する。その決定に従い、コンピュータ7はテキスト文とビデオとを主体に提示する。また、主体がロボットの場合、同様に制御プログラムを提示する。特異情報DB1には使用可能なセンサ情報も含まれるため、プログラムだけでなく画像データなども合わせて提示することでより正確な指示を与えることが可能である。
【0032】
指示の結果、主体からのフィードバック情報をコンピュータ7は特異情報DB1に反映させ、主体に次の指示を送る、より詳細な指示を再送するなどの処理を行うことが出来る。
(インターフェース提示方法)
以下、本発明のインターフェース提示方法について図1を用いて説明する。まず、インターフェース群DB9について説明を行う。
【0033】
データ群を閲覧、操作、および検索するためのコンピュータのインターフェースは、少なくとも一つのサイバーオブジェクトとその動作により構成される。ここで、サイバーオブジェクトとは、入出力装置13に含まれるモニタ、スピーカー、ヘッドマウンティングディスプレー、フォースフィードバック付き触覚装置などの仮想現実機器により提示が行われる仮想世界のオブジェクト、もしくは入出力装置13に含まれるロボットや人間などの実世界のオブジェクトである。インターフェースを構成する全てのサイバーオブジェクトは、一意のID、各インターフェースとの関連付けを表す分類情報、およびデータ群DB4に格納されているサイバーオブジェクトおよびその動作の特徴を表すデータ群へのポインタを持つ。
【0034】
つまり、任意のシステムのインターフェース情報は、サイバーオブジェクトに関する上記情報の集合である。一つのシステムは、少なくとも一つのインターフェース情報を持ち、提示対象であるユーザ14の特異情報に応じて使い分ける。一つのシステムに関するインターフェース情報の集合は、インターフェース群と呼ばれ、インターフェース群DB9に格納される。
【0035】
提示されるインターフェースにおいて、ユーザは入出力装置13を介してサイバーオブジェクトとインタラクションを行う。インタラクションで行う処理の種類は、3つのインタラクションモードに分類される。「オペレーションモード」では、サイバーオブジェクトの検索、閲覧、および操作を行う。「説明モード」では、サイバーオブジェクトまたはインターフェース自体の説明である、データの呼び出しを行う。「制御モード」では、インターフェースの提示順序の制御を行う。
【0036】
インターフェースを構成するサイバーオブジェクトの少なくとも一つは、スクリーンペットである。スクリーンペットは上記インタラクションモードの切り替え機能、およびユーザに操作の指示を与える機能を持つ。
【0037】
次に、本発明のインターフェース提示方法により実現されるインターフェースの一実施例について説明する。図2は、本発明のインターフェース提示方法により実現される一実施例のイメージ図である。スクリーン20は、(図1図示)入出力装置13に含まれるモニタまたはヘッドマウンティングディスプレーなどの仮想現実機器により表示される。スクリーン20は、例えば平面、3次元空間およびそれらを組み合わせた画面であり、入出力装置13に含まれる複数の機器により表示が行われてもよい。
【0038】
スクリーン20は、仮想世界のオブジェクト21a~21eを有する。仮想世界のオブジェクト21eは、スクリーンペット21eである。また、センサー21f、触覚装置21g、スピーカー21h、ロボット21i、先生21jなどは実世界のオブジェクトであり、入出力装置13の一部である。つまり、図2のインターフェースは、仮想世界のオブジェクト21a~21e、実世界のオブジェクト21f~21jとそれらの動作により構成される。
【0039】
図3は、本発明のインターフェース提示方法により実現されるインターフェースの具体的なイメージ図である。スクリーン30は、(図1図示)入出力装置13に含まれるモニタや仮想現実機器により表示される。仮想世界のオブジェクトとしての選択欄31、マルチメディアヒエログリフ32、スクリーンペット33はスクリーン30内に表示される。また、実世界のオブジェクトとしての犬のロボット34は、入出力装置13の一部である。つまり、図3のインターフェースは、仮想世界のオブジェクトとしての選択欄31、マルチメディアヒエログリフ32、スクリーンペット33、および実世界のオブジェクト34とそれらの動作により構成されている。マルチメディアヒエログリフ32の詳細は特開2003-84876に記載されているため省略するが、犬のロボット34が実行する動作の内容が表現されている。このように、仮想世界のオブジェクトと実世界のオブジェクトを関連付け、組み合わせて提示するため、(図1図示)ユーザ14は提示されるデータおよびインターフェースとその意味を従来のインターフェース手法と比べより直感的に理解できる。
【0040】
例えば図3のインターフェースは、犬のロボット34の実行したアクションがユーザ14の予期したものであったか否かを表す「○」または「×」を選択欄31からポインティングデバイス等で選択させるものである。ユーザ14は、犬のロボット34の実行したアクションが予期したものであれば選択欄31にある「○」を選択する。「○」が選択されると、スクリーンペット33はユーザ14の成功を祝福する動作を行う。なお、犬のロボット34は前述したようなデータ提示機能ブロック2からの指示によりアクションを実行する。一方、ユーザ14は、犬のロボット34の実行したアクションが予期したものでなければ選択欄31にある「×」を選択する。「×」が選択されると、スクリーンペット33はユーザ14の失敗を残念がる動作を行う。
【0041】
ユーザ14は、スクリーンペット33が持つインタラクションモードの切り替え機能を利用して、前述した「オペレーションモード」に係る図4のようなインターフェースを実現できる。図4は、オペレーションモードに係るインターフェースの一実施例のイメージ図である。
【0042】
スクリーン41には、メールの受信者候補を表す仮想世界のオブジェクト42a~42cが表示されている。なお、スクリーン41は(図1図示)入出力装置13としてジョイスティックを利用する例を表している。(図1図示)ユーザ14は、入出力装置13を操作してサイバーオブジェクトの検索、閲覧、および操作を行う。例えばユーザ14は、ジョイスティックを上、下または左に倒すことで、仮想世界のオブジェクト42a~42cの何れか一つを選択する。選択された仮想世界のオブジェクト42a~42cの何れか一つは、メールの受信者として表示欄44に設定される。なお、表示欄43にはメールの送信者を表す仮想世界のオブジェクトが設定されている。スクリーン45は、選択された仮想世界のオブジェクト42aが表示欄46に設定された例である。
【0043】
また、ユーザ14はスクリーンペット33が持つインタラクションモードの切り替え機能を利用して、前述した「説明モード」に係る図5のようなインターフェースを実現できる。図5は、説明モードに係るインターフェースの一実施例のイメージ図である。例えば(図1図示)ユーザ14は、(図1図示)入出力装置13を操作してスクリーン56の「絵を描いている」というサイバーオブジェクトを選択する。
【0044】
インターフェース提示機能ブロック3は、スクリーン56の「絵を描いている」というサイバーオブジェクトが選択されると、そのサイバーオブジェクトを説明するデータをデータ提示ブロックより取得する。スクリーン群57はそのデータを提示する一連の画面であり、入出力装置13に表示される。なお、スクリーン群57はユーザ14の特異情報に応じて取捨選択される。
【0045】
また、ユーザ14はスクリーンペット33が持つインタラクションモードの切り替え機能を利用して、前述した「制御モード」に係る以下のようなインターフェースを実現できる。
【0046】
例えばユーザ14は、入出力装置13を操作して、行った動作の取り消し(Undo)、動作のやり直し(Redo)、サイバーオブジェクトの動作の停止などを行うことができる。
【0047】
次に、このインターフェース群を主体であるユーザ14に適応させ、提示する方法について図1を参照しながら説明する。以下、インターフェースフィルタリング装置10、インターフェース編成装置11、コンピュータ12、および入出力装置13で行う処理について順に説明を行う。
(ステップ1 インターフェースのフィルタリング)
インターフェースフィルタリング装置10は、特異情報DB1にアクセスし、インターフェースの提示を行う対象である、ユーザ14に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、動作情報および理由情報をもとにインターフェース群を決定、さらにその他の情報によりインターフェース群の中から一つのインターフェースを選択する。そして、選択したインターフェースに関するインターフェース情報をインターフェース群DB9から呼び出す。この時、提示を行う対象である、ユーザ14の特異情報に基づき、インターフェースに含まれるサイバーオブジェクトの取捨選択が行われる。ここで、取捨選択を行ったインターフェース情報はインターフェース編成装置11に出力される。
(ステップ2 インターフェースの編成)
インターフェース編成装置11は、特異情報DB1にアクセスし、インターフェースの提示を行う対象であるユーザ14に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、インターフェースフィルタリング装置10によって入力されたインターフェースの提示順序を決定する。この時、提示を行う対象である、ユーザ14の特異情報に基づき、一度に提示するサイバーオブジェクトの数、提示順序、および提示時間の少なくとも一つについて決定し、その決定内容を編成データとして保存する。保存された編成データは、インターフェースフィルタリング装置10によって入力されたインターフェース情報に付与され、コンピュータ12に出力される。ここで、編成データにより定義される提示方法は、ユーザ14の反応に係らず編成データ通りの提示を保障する静的提示方法、ユーザの反応により振る舞いを変える動的提示方法、およびそれらの組み合わせのいずれかである。
(ステップ3 インターフェースの提示)
コンピュータ12は、インターフェース編成装置11によって入力された編成データ付のインターフェース情報を入出力装置13に提供する。この時、提示を行うサイバーオブジェクトとその動作を表すインターフェース情報について、提示を担当する入出力装置13に対して振り分けを行う。例えば、サイバーオブジェクトのうち、仮想オブジェクトとその動作は入出力装置13に含まれるモニタ上に表示されるか、又はヘッドマウンティングディスプレーなどの仮想現実機器により実世界の映像と合成されて表示される。ここでサイバーオブジェクトの動作の指示は、前記データ提示方法に基づいて行われる。
【0048】
編成データが動的提示方法を含む場合、コンピュータ12は、入出力装置13を介し、ユーザ14からの反応を受け取り、その反応に応じてインタラクティブにインターフェースの提示を行う。ユーザの反応として入出力装置13から送られる入力情報は、例えば、テンキーボードによる数字情報、ジョイスティックの制御棒を倒すことによる方向情報、読取装置によるRF-IDタグの情報、カメラによる画像情報、マイクによる音情報などがある。コンピュータ12は、それらの入力情報を処理する変換関数を持つ。例えば、図4のインターフェースが提示されている時、変換関数は入力情報「ジョイスティックを下に倒した」を「サイバーオブジェクト42cの選択」、「ジョイスティックを左に倒した」を「サイバーオブジェクト42bの選択」と処理する。変換関数はコンピュータ12の内部およびネットワークで接続された外部機器に格納されており、入力装置毎あるいはその組み合わせにより異なる変換関数を使用することが出来る。さらに、提示するインターフェースおよびユーザの特異情報に応じて、変換関数を選択するようにしても良い。変換関数によって処理されたユーザ14の反応およびインターフェースの提示終了などコンピュータ12が管理するインターフェース提示情報は、特異情報DB1に出力され、ユーザ14に関する特異情報に反映される。
(サイバーフィルム)
データ群およびインターフェース群を表す一実施形態として、サイバーフィルムについて説明する。図7は、サイバーフィルムの概念を説明するためのイメージ図である。
【0049】
対象などを表す仮想世界および実世界のオブジェクトや手順などを表すプロセスは、見方、捉え方または表現方法の違いにより一つ以上の特徴で表すことが出来る。このようなオブジェクトまたはプロセスの特徴は、人間または機械用のデータで表すことができる。この特徴を表現するデータをビュー60と呼ぶ。すなわち、オブジェクトまたはプロセスは、少なくとも一つのビュー60の集合であるマルチビュー61により表すことができる。
【0050】
例えば図7のビュー60は、触覚情報、テキスト、ロボット制御情報、音、静止画、動画のデータである。また、図7のマルチビュー61は触覚情報、テキスト、ロボット制御情報、音、静止画、動画のデータのうちの少なくとも一つのデータから成る。
【0051】
マルチビュー61は、オブジェクトやプロセスの特徴を少なくとも一つのビュー60で表現しているが、類似するビュー60も含まれている。そこで、マルチビュー61から類似するビュー60を削除する。自己説明型マルチビュー62は、マルチビュー61から類似するビュー60を削除することで冗長性を削除したビュー60の集合である。
【0052】
サイバーフィルム64は、自己説明型マルチビュー62に含まれるビュー60の集合に部分的な提示順序を持たせ、サイバーフレーム63という単位でビュー60を提供する。サイバーフィルム64は、ビュー60の数を増やすことにより、オブジェクトやプロセスのより多くの特徴を表すことが可能である。サイバーフレーム64は、少なくとも一つのビュー60が含まれており、そのビュー60の間に部分的な提示順序を持たせることが出来る。なお、サイバーフレーム64は意味や機能別にグループ化される。そのグループをサイバーシーンと呼ぶ。
【0053】
サイバーフィルムの例として、サイバーコミュニケーションフィルム(以下、CCFという)とサイバーインターフェースフィルム(以下、CIFという)がある。
【0054】
CCFは、ユーザの意思(指示を含む)を「主語」、「述語」、「場所」、「時間」、「理由・条件・目的」、「手段・方法」の少なくとも一つの観点で表現することにより、コンピュータを介して人間または機械にユーザの意志を容易に伝達するための手段を提供するものである。
【0055】
CIFは、様々な(図1図示)入出力装置13を介してユーザ14がマルチビュー62を容易に検索、閲覧、または操作するためのインターフェースを提供するものである。
【0056】
さらに、サイバーフィルムについて詳細に説明する。図8は、サイバーフィルムの一例のイメージ図である。
【0057】
サイバーフィルム群65は、ユーザが実行を指示したOSやアプリケーション等のプログラム(以下、サブシステムという)を表すサイバーフィルム64の集合である。例えば、サイバーフィルム群65はF1~F6のサブシステムを有する。サイバーフィルム64はサブシステムF2を拡大したものである。
【0058】
サイバーフィルム64は少なくとも一つから成る一連のサイバーフレーム83から構成される。一連のサイバーフレーム83は、サブシステムが有する機能や意味を表すサイバーシーン82a~82e毎に分割されている。サイバーシーン82a~82eは、少なくとも一つのフレーム83から成るサイバーフレーム群83a~83eが対応付けられている。例えば、一連のサイバーフレーム83は、ログイン,メール閲覧などの機能や意味を表すサイバーシーン82a~82e毎に分割される。
【0059】
データ群DB又はインターフェース群DBは、様々な形態のデータベースおよびフィルムシステム、例えばリレーショナルデータベース、階層型データベース、ネットワーク型データベース、分散データベースなどが使用できる。一実施形態としてのフィルムDBは、図8のようなサイバーフィルム64,サイバーシーン82a~82eおよびサイバーフレーム83を例えばフィルムテーブル,シーンテーブル,フレームテーブルにより管理している。図9は、フィルムテーブルの一例の構成図である。図10は、シーンテーブルの一例の構成図である。図11は、フレームテーブルの一例の構成図である。
【0060】
図9のフィルムテーブルは、フィルムID,シーンID及びシーン番号をデータ項目として有している。フィルムIDは、サイバーフィルムの識別子を表している。シーンIDはサイバーシーンの識別子を表している。シーン番号は、データ項目「シーンID」が表すサイバーシーンがサイバーフィルム内で何番目のサイバーシーンかを表している。つまり、フィルムテーブルはサイバーフィルムとサイバーシーンとの関係を表している。
【0061】
図10のシーンテーブルは、シーンID,フレームID及びフレーム番号をデータ項目として有している。シーンIDは、サイバーシーンの識別子を表している。フレームIDは、サイバーフレームの識別子を表している。また、フレーム番号はデータ項目「フレームID」が表すサイバーフレームがサイバーシーン内で何番目のサイバーフレームかを表している。つまり、シーンテーブルはサイバーシーンとサイバーフレームとの関係を表している。
【0062】
図11のフレームテーブルは、フレームID,サイバーオブジェクトID,位置情報,アクション情報およびユーザ入力対応処理情報をデータ項目として有している。フレームIDは、サイバーフレームの識別子を表している。サイバーオブジェクトIDは、サイバーオブジェクトの識別子を表している。位置情報は、データ項目「サイバーオブジェクトID」が表すサイバーオブジェクトの位置を表している。
【0063】
アクション情報は、データ項目「サイバーオブジェクトID」が表すサイバーオブジェクトのアクションを表している。また、ユーザ入力対応処理情報は3つのインタラクションモードのそれぞれにおいて、ユーザからの入力に対する対応処理を表している。
【0064】
つまり、フレームテーブルは、サイバーフレームとサイバーオブジェクト,ユーザからの入力に対する対応処理との関係を表している。サイバーフィルムは、サイバーオブジェクトに対して検索,閲覧,操作などの処理を行うためのインターフェースの表現形式である。
【0065】
サイバーフレームは、幾つかのサイバーオブジェクトを持つ。各サイバーフレームにおいて、サイバーオブジェクトのうち仮想世界のオブジェクトは、3次元空間もしくは平面を多層的に組み合わせた疑似3次元空間等に配置される。実世界のオブジェクトは、入出力装置として現実世界に配置される。すなわち、サイバーフレームは仮想世界のオブジェクトを持つ前記(図2図示)スクリーンと現実世界の入出力装置を組み合わせた枠組みである。これらのサイバーオブジェクトは、入出力装置に含まれるマウス,タッチパネル,ジョイスティック,触覚デバイスなどによりユーザから入力された情報を受け付け、サイバーオブジェクトの動作または状態でユーザに情報を出力する。
【0066】
図12は、サイバーフィルムの適応処理の一例について説明するための図である。フィルムDBは、サイバーフレームをサブシステム(F1~F6)及びサイバーシーン(S1~S5)毎に管理している。
【0067】
ステップS1では、ユーザが実行を指示したOSやアプリケーション等のプログラムに応じてサイバーフィルム(F2)が選択され、サイバーフィルム(F2)のフィルムIDを用いてフィルムテーブルから一連のサイバーシーンS1~S3及びS5のシーンIDが取得される。
【0068】
ステップS2では、特異情報DB1の一実施形態としてのユーザ環境モデルに基づき、サイバーフィルム(F2)に含まれるサイバーシーンS1~S3及びS5からサイバーシーンS2,S3及びS5が選択され、サイバーシーンS2,S3及びS5のシーンIDを用いてシーンテーブルから一連のフレームIDが取得される。
【0069】
ステップS3では、ステップS2で取得されたフレームIDを用いて図11のようなフレームテーブルからサイバーフレーム群を選択する。サイバーシーンS2,S3及びS5にそれぞれ対応付けられているサイバーフレーム群は、ユーザ環境モデルに基づき、必要なサイバーフレームが選択され、サイバーシーンS2′,S3′及びS5′となる。
【0070】
次に、選択されたサイバーフレームのフレームIDに関連付けられている一連のサイバーオブジェクトIDをフレームテーブルからサイバーフレーム毎に取得する。取得したサイバーオブジェクトIDは、ユーザ環境モデルに基づき、必要なサイバーオブジェクトIDがサイバーフレーム毎に選択される。例えばユーザ環境モデルに基づき、2つのサイバーオブジェクトIDが選択された場合、ステップS4に進み、5つのサイバーオブジェクトを表示可能なサイバーフレーム91から2つのサイバーオブジェクトを表示可能なサイバーフレーム92に変更する。
【0071】
次に、各サイバーフレームに関連付けられているサイバーオブジェクトの調整を行う。例えばサイバーフレーム91,92に表示されるサイバーオブジェクトの配置は、コンピュータ12が使用可能な入出力装置13に応じて変化する。
【0072】
図13は、入出力装置に応じてサイバーフレームに提示させるサイバーオブジェクトの配置を変化させたサイバーフレームの一例のイメージ図である。例えば(図1図示)入出力装置13としてマウスを使用する場合、サイバーオブジェクトが図13(a)のように配置される。これにより、マウスポインタでサイバーオブジェクトを指示することによりサイバーオブジェクトの選択を行うことができる。
【0073】
また、入出力装置13としてテンキーを使用する場合、テンキーのキー配列にそって図13(b)のようにサイバーオブジェクトを配置し、各サイバーオブジェクトの上に対応するキーの数字を表示する。これにより、テンキーで数字を入力することでサイバーオブジェクトの選択を行うことができる。
【0074】
また、入出力装置13としてジョイスティックを使用する場合、図13(c)のようにサイバーオブジェクトを円周上に配置し、各サイバーオブジェクトの上に円の中心からサイバーオブジェクトへの向きを示す矢印を配置する。これにより、ジョイスティックを矢印の方向に倒すことでサイバーオブジェクトの選択を行うことができる。なお、入出力装置13に入力される入力データとサイバーオブジェクトとの関連付けも、ユーザ環境モデルに応じて適応が図られたサイバーフレームのデータに基づき自動的に変更される。
【0075】
上記の処理により、多様な入出力装置13に対応し、且つ直感的に選択などの操作を行うことのできるサイバーフレームをユーザに適応させて提供できる。この結果、ユーザへの適応が図られたインターフェースにより、ユーザはプログラムとの間で情報をやり取りしながらコンピュータを操作できる。
【0076】
なお、サイバーフィルムを用いてデータおよびインターフェースを表現した場合、以下のような利点を有する。
(インターフェースの簡素化)
CIFを用いることにより、一度に提示する機能やインターフェースを構成するオブジェクトの数を少なくすることができる。
【0077】
OSや各種アプリケーションなど従来のシステムでは、高機能になるに従い、一度に画面上に表示されるボタンやメニューなどオブジェクトの数が飛躍的に増大していた。CIFでは、時間の概念を取り入れ、操作をサイバーフレームもしくはサイバーシーン単位のステップに分割している。各ステップで必要なサイバーオブジェクトのみをユーザに提示するため、システムが高機能であってもインターフェースの複雑化を抑制することが出来る。また、機械的なデザインであるボタンやメニューの集合ではなく、全体として自然な画像に見えるようなインターフェースを設計することが出来る。そのため、映画やテレビのドラマに用いられる提示手法を容易に用いることが出来、コンピュータにとって不慣れな人でも抵抗感無く操作を行えるインターフェースの提供が可能である。さらに、現実世界と仮想世界のオブジェクトやプロセスを効果的に組み合わせることにより、直感的にわかりやすいインターフェースの提供が可能である。
(インターフェース提示の制御)
CIFにより、前述した「制御モード」に係る図6のようなインターフェースを表現できる。図6は、制御モードに係るインターフェースの一実施例のイメージ図である。
【0078】
例えば(図1図示)ユーザ14は、(図1図示)入出力装置13を操作して、サイバーフレーム毎あるいはサイバーシーン毎の早送り、巻き戻し、スキップ、再生、および停止などのインターフェース提示の制御を行うことができる。例えば図6では、早送り、巻き戻し、スキップ、再生、停止などの提示制御により、図6中の矢印で表したように、一連のサイバーフレームおよびサイバーシーン間を自由に移動できる。
【0079】
このため、複雑なキーボードは必要が無く、早送り、巻き戻し、再生、停止ボタンを備えるポータブルオーディオ機器のコントローラと同程度の機能を持つ簡易な入力機器でコンピュータを操作することが出来る。また、特異情報を用いることで、インターフェースの適応を図り、より簡易な入力装置、例えば一つのボタンのみによる操作などを実現することも可能である。
(サイバーオブジェクトの検索)
CIFにより、サブシステムを構成する全てのサイバーオブジェクトの検索が実現できる。
【0080】
例えば前記フィルムテーブル、シーンテーブル、フレームテーブルを参照することにより、任意のシーン内およびフレーム内に使われるサイバーオブジェクトの一覧を検索することができる。これにより、現在提示しているフレーム外のサイバーオブジェクトについても検索を行い、説明を提示することが可能である。
(提示対象への適応)
CIFを用いることにより、データ提示に際してきめ細かな提示対象への適応が実現できる。
【0081】
まず、CIFは提示対象に応じてインターフェースの適応処理を行い、ユーザとその使用環境、例えば、入出力装置の種類に応じて適した操作環境を提示する。さらに、そのインターフェースにより提供されるデータは、サイバーフィルム形式で提供されるため、データ自身についても適応処理を施すことが出来る。これにより、データと操作を行うインターフェース両方による適応が可能である。
(意思伝達の効率化)
CCFを用いることにより、意思伝達の効率を高めることができる。従来の自然言語およびプログラム言語では、「主語」、「述語」、「場所」などの意味的な切り分けは、理解を行う主体である人間もしくは機械が行っていた。しかし、CCFでは意味的な切り分けを表現時に明示することにより、意味の切り分け処理を行う必要がない。また、意味的に切り分けられた部分情報、例えば「述語」を表す情報はサイバーフィルムで表現されており、理解を行う主体に応じて適したデータが提示される。さらに、理解および指示の実行により多くの情報が必要であればフィルムDBから追加情報を引き出すことが可能である。これにより、CCFは、人間又は機械が表現された意思(指示を含む)を理解する処理を簡略化し、負担を軽減することが出来る。
【0082】
また従来は意思を伝達する対象に応じて、英語や日本語、あるいはプログラミング言語など異なる言語と文法を習得し、使用する必要があった。しかし、CCFでは「主語」「述語」「場所」などの前記観点で情報を表現することで人だけでなく、ロボットやコンピュータなど多種多様な対象に意思(指示を含む)を伝達することが可能である。これにより、伝達する対象に係らず同一の形式で意思を表現すれば良く、CCFは表現を行う負担を軽減することが出来る。
【0083】
これらの機能を実現するためには、伝達対象に関する特異情報が必須である。この特異情報は必要に応じて変更・追加することが出来、CCFの利用範囲は容易に拡張または制限することが出来る。
(効果的な知識獲得)
CIFおよびCCFで用いられる全てのサイバーオブジェクトおよびサイバープロセスはサイバーフィルムによる説明を持つことが出来る。また、サイバーフィルムの中で用いられるサイバーオブジェクトおよびサイバープロセスはさらに他のサイバーフィルムによる説明を持つことが出来る。この時、サイバーフィルムは、ユーザの特異情報に応じて適応され、さらに実世界のオブジェクトと仮想世界のオブジェクトおよびそれらのプロセスを組み合わせた説明を提供する。そのサイバーフィルムを閲覧、検索、操作するインターフェースはCIFで表現され、それぞれのユーザとその使用環境に適したインターフェースが提供される。よってユーザは操作方法の習得などの知識獲得を効果的に行うことが出来る。
【0084】
なお、本発明は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更を加え得るものである。
【0085】
例えば、データはサイバーフィルムだが、それを閲覧・検索・操作するインターフェースに従来のGUIを用いたり、サイバーフィルム以外のデータの閲覧・検索・操作を行うインターフェースにCIFを用いても構わない。特異情報、データ、インターフェースを格納するデータベースは、連想記憶装置やニューラルネットワーク装置などを用いても構わない。本発明を適用することで、文書作成ソフト、ウェブブラウザ、メール、チャット、およびインスタントメッセージを行うソフト、画像処理ソフト、プログラム開発ソフトなどのアプリケーション、ネットワークサービス、オペレーティングシステム、あるいはロボットやその他ハードウェアなどに、多様な人間や機械とその環境に対して高度な適応機能を持たせることが出来る。
【0086】
また、前記実施形態を実現するための構成要素(機能ブロックを含む)の具体的手段は、ハードウェア、ソフトウェア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができる。さらに、機能ブロック同士が複合して一つの機能ブロックまたは装置に集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックまたは装置の協働により実現されても良い。さらに、機能ブロック同士はネットワークで連結されて相互に通信可能なものでもよい。
【0087】
以下、本発明のインターフェース提示方法を実施する一実施例として、CIF又はCCFを利用する以下の実施例に基づき図面を参照しつつ説明していく。
【実施例1】
【0088】
(システム構成)
図14は、本発明によるインターフェース提示システムの一実施例のシステム構成図である。図14のインターフェース提示システム100は、クライアント101と,フィルムDBサーバ102と,認証サーバ103と、コンテンツサーバ104とが、LAN(Local Area Network)やインターネットなどのネットワーク108を介して接続されている。
【0089】
クライアント101は、ユーザが操作するパソコン等であって、ユーザ環境モデルDB105を保持している。クライアント101は、フィルムDBサーバ102,認証サーバ103等からユーザ環境モデルDB105に格納する情報を取得してもよい。クライアント101は、人間又は機械との間で情報のやり取りをする入出力装置を備えている。クライアント101は、CIFを利用して入出力装置を制御することで、ユーザ又は機械への適応が図られた各種インターフェース又はデータの提示を実現している。
【0090】
フィルムDBサーバ102は、CIFのデータが格納されているフィルムDBの管理を行う。また、フィルムDBサーバ102はクライアント101等からの要求に応じて、CIFのデータをクライアント101に送信する。認証サーバ103は、例えばユーザ認証に利用される。コンテンツサーバ104は、CIFで用いられる画像、音、触覚データなどのコンテンツデータを管理している。
【0091】
なお、インターフェース提示システム100のシステム構成は一例であって、ユーザ環境モデルDB105をクライアント101以外に保持させるシステム構成,フィルムDBをクライアント101に保持させるシステム構成,認証サーバ103を省略したシステム構成、フィルムDBサーバ102,認証サーバ103及びコンテンツサーバ104をWWWサーバで実現するシステム構成など、様々な形態が考えられる。
(ハードウェア構成)
図15は、クライアントの一実施例のハードウェア構成図である。クライアント101は、それぞれバスBで相互に接続されている入力装置111,出力装置112,ドライブ装置113,補助記憶装置115,メモリ装置116,演算処理装置117およびネットワーク接続装置118などのデバイスを含むように構成されている。なお、図15のクライアント101を構成する各種デバイスは、1つの筐体に収容してもよいし、複数の筐体に分散して収容してもよい。
【0092】
入力装置111はマウスやタッチパネル、ジョイスティック、カメラ、RF-IDタグの読み取り装置などで構成され、各種情報を入力するために用いられる。出力装置112はモニタやスピーカおよびロボットなどのコンピュータの制御可能な装置で構成され、各種情報を出力するために用いられる。例えば出力装置112は、サイバーオブジェクト等を含むフレームを表示するために用いられる。ネットワーク接続装置118はモデムやターミナルアダプタなどで構成され、ネットワーク108に接続する為に用いられる。
【0093】
クライアント101の処理に係るインターフェース提示プログラムは、記録媒体114の配布やネットワーク108からのダウンロードなどによって提供される。なお、記録媒体114は、CD-ROM、フレキシブルディスク、光磁気ディスク(MO)等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプを用いることができる。
【0094】
インターフェース提示プログラムを記録した記録媒体114がドライブ装置113にセットされると、インターフェース提示プログラムは記録媒体114からドライブ装置113を介して補助記憶装置115にインストールされる。また、ネットワーク108からダウンロードされたインターフェース提示プログラムはネットワーク接続装置118を介して補助記憶装置115にインストールされる。
【0095】
補助記憶装置115は、インストールされたインターフェース提示プログラムを格納すると共に、必要なファイル,データ等を格納する。メモリ装置116は、コンピュータの起動時などに補助記憶装置115からインターフェース提示プログラムを読み出して格納する。演算処理装置117はメモリ装置116に格納されているインターフェース提示プログラムに従って、本発明のインターフェース提示方法に係る各種機能を実現する。
【0096】
なお、データ提示プログラムの場合も同様に、演算処理装置117はメモリ装置116に格納されているデータ提示プログラムに従って、データ提示方法に係る各種機能を実現する。
(機能構成)
図16は、クライアントの一実施例の機能構成図である。クライアント101は、本発明によるインターフェース提示プログラムの他、OSやアプリケーションによって実現される通信制御部131,CIF処理部132,コンピュータ134および入出力装置135,ユーザ環境モデルDB105を有するように構成される。
【0097】
通信制御部131は、フィルムDBサーバ102,認証サーバ103,コンテンツサーバ104など、ネットワーク108を介して接続されている他のネットワーク機器との通信を制御する。CIF処理部132はコンピュータ134からの要求に応じて、CIFのデータを通信制御部131経由でフィルムDBサーバ102やコンテンツサーバ104から受信する。CIF処理部132は、サブシステム及びユーザ環境モデルDB105に応じて、CIFのデータの適応を図る。なお、CIF処理部132は,データフィルタリング装置5,データ編成装置6,インターフェースフィルタリング装置10およびインターフェース編成装置11に相当する。
【0098】
ユーザ環境モデルDB105は、コンピュータ134からの要求により更新される。例えばユーザや管理者は、入出力装置135を操作してコンピュータ134にユーザ環境モデルDB105の設定や更新を要求することでユーザ環境モデルDB105を手動で更新できる。
【0099】
また、コンピュータ134は後述するようなユーザ環境モデルDB105のデータ項目「活動の履歴」に基づくユーザの操作履歴,データ項目「プラットフォーム」に基づくシステム状態又は各種センサーからの情報などに応じて、ユーザ環境モデル104を自動的に更新してもよい。
【0100】
コンピュータ134は、ユーザが実行を指示したサブシステムのプログラムであって、CIF処理部132が選択したフレームを受信し、そのフレームに基づくインターフェースを実現する。そのインターフェースにより、コンピュータ134は、入出力装置135を介してユーザ又は機械との間で情報のやり取りを行い、必要な処理を行う。
(クライアントの処理)
以下、図16に表したクライアント101の処理について、フローチャートを参照しつつ説明していく。図17は、本発明によるCIFを用いるクライアントの処理の一例のフローチャートである。
【0101】
入出力装置135を介してユーザからログイン要求を受信すると、コンピュータ134はステップS10に進み、認証サーバ103に対してログイン処理を行う。ログイン処理に利用するユーザID及びパスワードは、例えば入出力装置135を介して取得される。ここで言う入出力装置135には、フロッピー(登録商標)ディスクドライブの他、RF-IDタグなどデータを格納したハードウェア,バイオメトリクスの読み取りを行う装置などが含まれる。コンピュータ134は、通信制御部131経由でユーザID及びパスワードを認証サーバ103に送信して、認証サーバ103にログインする。
【0102】
ログインした後、コンピュータ134はステップS11に進み、ユーザ環境モデルDB105のデータ更新を行う。ユーザ環境モデルDB105を保持していなければ、コンピュータ134は例えばフィルムDBサーバ102,認証サーバ103等からユーザ環境モデルDB105に格納する情報を取得する。
【0103】
図18は、ユーザ環境モデルDBの一例の構成図である。ユーザ環境モデルDB105はユーザに関する情報を、いわゆる5W1H分類(WHO,WHAT,WHERE,WHEN,WHY,HOW)の観点で分類している。
【0104】
5W1H分類(WHO)はプロファイル情報を表しており、プロファイル情報に関連するデータ項目を含む。5W1H分類(WHAT)は、動作情報を表しており、動作情報に関連するデータ項目を含む。5W1H分類(WHERE)は場所情報を表しており、場所情報に関連するデータ項目を含む。
【0105】
5W1H分類(WHEN)は時間情報を表しており、時間情報に関連するデータ項目を含む。5W1H分類(WHY)は理由情報を表しており、理由情報に関連するデータ項目を含む。5W1H分類(HOW)は手段・方法情報を表しており、手段・方法に関連するデータ項目を含んでいる。
【0106】
なお、ユーザ環境モデルDB105を構成するデータ項目は、ユーザが実行を指示したサブシステムに応じて、変化するようにしてもよい。ユーザ環境モデルDB105の具体例は、後述するフローチャートと共に説明する。
【0107】
ステップS11では、ユーザ環境モデルDB105のデータのうち、例えば場所情報に含まれるデータ項目の住所や時間情報に含まれるデータ項目の時間のように、ログインの度に更新が必要なデータを更新する。ステップS11の処理が終了すると、コンピュータ134はステップS12に進み、次に行う処理がログアウト処理でなければループ1の処理を開始する。ループ1の処理では、コンピュータ134がステップS13に進み、CIF処理部132に対してCIFの適応処理を要求する。
【0108】
CIF処理部132は、コンピュータ134からの要求に応じて、CIFのデータを通信制御部131経由でフィルムDBサーバ102およびコンテンツサーバ104から受信する。CIF処理部132は、ユーザが実行を指示したサブシステム及びユーザ環境モデルDB105に応じて、CIFの適応処理を行う。すなわち、ステップS13ではユーザへの適応を図る為のCIFのデータのフィルタリング及び編成が行われる。なお、ステップS13の適応処理の詳細は、後述する。
【0109】
ステップS14に進み、CIF処理部132はステップS13の適応処理で選択されたフレームをビューのデータでレンダリングする。CIF処理部132は、レンダリングしたフレームをコンピュータ134に送信する。
【0110】
ステップS15に進み、コンピュータ134はCIF処理部132から受信したレンダリングしたフレームを入出力装置135経由でユーザに提示する。次に、コンピュータ134はCIF処理部132から受信したフレームがサイバーオブジェクトを有している場合に、そのサイバーオブジェクトのアクションの有無を判定する。
【0111】
サイバーオブジェクトのアクションが有ると判定すると(S15において有り)、コンピュータ134はステップS16に進み、サイバーオブジェクトのアクションを実行する。ステップS16では、サイバーオブジェクトのアクションを実行することで、仮想世界または実世界のオブジェクトの動作または状態により、ユーザに情報を提示できる。
【0112】
サイバーオブジェクトのアクションを実行したあと、コンピュータ134はステップS17に進む。なお、サイバーオブジェクトのアクションが無いと判定すると(S15において無し)、コンピュータ134はステップS17に進む。ステップS17では、全てのアクションが完了していなければループ2の処理を開始する。
【0113】
ループ2では、コンピュータ134が、ユーザからの入力の有無を判定する。ユーザからの入力が有ると判定すると(S18において有り)、コンピュータ134はステップS19に進み、ユーザからの入力に対する対応処理を行う。なお、ユーザからの入力が無いと判定すると(S18において無し)、コンピュータ134はステップS20に進み、全てのアクションが完了していなければステップS17に戻り、全てのアクションが完了していればステップS21に進む。ステップS19の処理が終了したときも、コンピュータ134はステップS21に進む。
【0114】
ステップS21では、コンピュータ134が、ステップS19で行ったユーザからの入力に対する対応処理に応じてユーザ環境モデルDB105のデータ更新を行う。ユーザ環境モデルDB105は、データを更新される。ステップS21では、ユーザ環境モデルDB105に格納されているデータのうち、動作情報に含まれるデータ項目の活動の履歴のように、ユーザからの入力に対する対応処理の度に更新が必要なデータを更新する。
【0115】
ステップS21の処理が終了すると、コンピュータ134はステップS22に進み、次に行う処理がログアウト処理でなければステップS12に戻り、次に行う処理がログアウト処理であればステップS23に進む。ステップS23では、コンピュータ134が、認証サーバ103に対してログアウト処理を行ったあと処理を終了する。
【0116】
次に、ユーザ環境モデルDB105の一例として、意思伝達支援システム(以下、単にFCSという)で利用するユーザ環境モデルDB105を用いて、ステップS13のCIFの適応処理を詳細に説明する。
【0117】
図19は、CIFの適応処理の一例のフローチャートである。まず、CIF処理部132はCIFのデータを、通信制御部131経由でフィルムDBサーバ102,コンテンツサーバ104から受信する。ステップS31に進み、CIF処理部132はユーザが実行を指示したサブシステムによりフィルムIDを一意に決定し、そのフィルムIDを用いて図9のようなフィルムテーブルから一連のシーンIDを取得する。
【0118】
ステップS32に進み、CIF処理部132はステップS31で取得したシーンIDを用いて図10のようなシーンテーブルからシーンを選択する。さらに、CIF処理部132はユーザ環境モデルDB105に応じてシーンを選択し、そのシーンのシーンIDを用いて図10のようなシーンテーブルから一連のフレームIDを取得する。
【0119】
以下、サイバーフィルムコミュニケーションシステム(cyber-Film Communication System:以下、FCSという)を一例として説明する。FCSは、意思の伝達媒体としてCCFを用い、データの閲覧、検索、操作を行うインターフェースとしてCIFを用いているシステムである。FCSは、コンピュータを用いることにより、障害者や高齢者をはじめとする所謂情報弱者の生活を支援する一連のサブシステムにより構成される。FCSは、(図8図示)サイバーフィルム群65により表現される。FCSのサブシステムは例えば、意思伝達サブシステム、会話補助サブシステム、マルチメディア単語辞書サブシステム、ヒエログリフ学習サブシステムで構成される。各サブシステムは、(図8図示)サイバーフィルム64により表現される。
【0120】
図20は、FCSで利用するユーザ環境モデルDBの一例の構成図である。FCSで利用するユーザ環境モデルDB105は、前述したような5W1H分類(WHO,WHAT,WHERE,WHEN,WHY,HOW)で構成されている。
【0121】
5W1H分類(WHO)はプロファイル情報を表しており、氏名,所属,生年月日,性別,システムにおける役割,障害の種類,発達段階,言語の習熟度,家族,友人,先生及び趣味・嗜好などのデータ項目で構成される。5W1H分類(WHAT)は動作情報を表しており、システムを使って行う活動の種類及び活動の履歴などのデータ項目で構成される。5W1H分類(WHERE)は場所情報を表しており、住所,使用地域,使用場所及び使用施設などのデータ項目で構成される。5W1H分類(WHEN)は時間情報を表しており、時間,曜日,年月日,平日/休日,スケジュール(時間割)及びシステム内の仮想時間などのデータ項目で構成される。
【0122】
5W1H分類(WHY)は理由情報を表しており、操作を行う理由,天気などのデータ項目で構成される。5W1H分類(HOW)は手段・方法情報を表しており、プラットフォーム,ネットワーク,インタラクションモード,使用入出力装置,使用センサー機器および使用言語などのデータ項目で構成される。
【0123】
ステップS32に続いてステップS33に進み、CIF処理部132はステップS32で取得したフレームIDを用いて、図11のようなフレームテーブルからフレームを選択する。CIF処理部132は、ユーザ環境モデルDB105に応じてフレームを選択し、そのフレームのフレームIDに関連付けられている一連のサイバーオブジェクトIDをフレームテーブルから取得する。ステップS34に進み、CIF処理部132はステップS33で取得した一連のサイバーオブジェクトIDから、ユーザ環境モデルDB105に応じた一連のサイバーオブジェクトIDを選択する。
【0124】
ステップS35に進み、CIF処理部132は選択した一連のサイバーオブジェクトIDに関連付けられている位置情報,アクション情報およびユーザ入力対応処理情報を取得し、その位置情報,アクション情報およびユーザ入力対応処理情報を用いてアニメーションのスピードや効果音の有無などのパラメータの調整を行う。
【0125】
図19のフローチャートで表したCIFの適応処理では、ユーザ環境モデルDB105に基づき、CIF及びそのCIFに関連付けられているサイバーオブジェクトの選択及び調整を行うことができる。なお、ステップS32,S33,S34で行うユーザ環境モデルDB105に応じたシーンID,フレームID,サイバーオブジェクトIDの選択は図21のようなユーザ環境モデルDB105のデータ項目とCIFの適応処理との関連を表したテーブルに応じて行われる。
【0126】
例えば図21のテーブルは、CIFの適応処理を行うときに参照するユーザ環境モデルDB105のデータ項目が「○」で表されている。ステップS32で行うユーザ環境モデルDB105に応じたシーンIDの選択では、ユーザ環境モデルDB105のうち、所属,システムにおける役割,障害の種類,発達段階,システムを使って行う活動の種類,使用場所,使用施設,スケジュール(時間割),システム内の仮想時間,操作を行う理由,ネットワークおよび使用入出力装置などのデータ項目が参照される。
【0127】
すなわち、シーンID,フレームID,サイバーオブジェクトIDの選択は、CIFの適応処理を行うときに参照するユーザ環境モデルDB105のデータ項目に応じて一義的に行われる。
【0128】
このように、プロファイル情報,操作履歴,各種センサー情報,プラットフォームなどを5W1H分類の枠組みで管理するユーザ環境モデルDB105を参照することで、CIF処理部132は各ユーザへの適応が図られたCIFを容易に実現することができる。
【0129】
次に、FCSを構成する意思伝達サブシステムの一例として、一文から成るメッセージ(以下、単文メールという)を送受信するプログラム(以下、F-Mailという)におけるCIFの適応処理を説明する。
【0130】
例えばユーザ環境モデルDB105のデータ項目「システムを使って行う活動の種類」が「コミュニケーション」であり,データ項目「操作を行う理由」が「単文メールを作成するため」である場合の、F-MailにおけるCIFの適応処理を、前述した図12を用いて説明する。
【0131】
フィルムDBサーバ102は、フレームをサブシステム(F1~F6)及びシーン(S1~S5)毎に管理している。ステップS1では、CIF処理部132が、ユーザ環境モデルDB105のデータ項目「システムを使って行う活動の種類」およびデータ項目「操作を行う理由」に応じてCIF(F2)を選択する。CIF処理部132は、CIF(F2)のフィルムIDを用いてフィルムテーブルから一連のシーンS1~S3及びS5のシーンIDを取得する。このCIF(F2)は、ユーザが実行を指示したサブシステムに対応するものである。ステップS1の処理は、図19のステップS31に相当する処理である。
【0132】
ステップS2に進み、CIF処理部132はステップS1で取得したシーンIDを用いてシーンS1~S3及びS5を選択する。そして、CIF処理部132はユーザ環境モデルDB105のデータ項目「システムにおける役割」,「障害の種類」,「発達段階」,「使用入出力装置」に応じてシーンS1~S3及びS5からシーンS2,S3及びS5を選択する。CIF処理部132は、シーンS2,S3及びS5のシーンIDを用いてシーンテーブルから一連のフレームIDを取得する。ステップS2の処理は、図19のステップS32に相当する処理である。
【0133】
ステップS3に進み、CIF処理部132はステップS2で取得したフレームIDを用いてフレームテーブルからフレームを選択する。CIF処理部132は、ユーザ環境モデルDB105のデータ項目「障害の種類」,「発達段階」等に応じてシーンS2,S3及びS5に対応付けられているフレーム群から必要なフレームを選択し、シーンS2′,S3′及びS5′とする。
【0134】
例えばシーンS3では、ユーザ環境モデルDB105のデータ項目「発達段階」からヒエログリフの使用セルが「いつ」,「どこで」,「だれが」,「なにをしている」の4つであるとした場合、シーンS3に対応付けられているフレーム群から4枚のパネルフレームが選択されてシーンS3′となる。CIF処理部132は、選択されたフレームのフレームIDに関連付けられている一連のサイバーオブジェクトIDをフレームテーブルからフレーム毎に取得する。ステップS3の処理は、図19のステップS33に相当する処理である。
【0135】
次に、CIF処理部132はユーザ環境モデルDB105のデータ項目「障害の種類」,「発達段階」,「使用入出力装置」等に応じて、ステップS3で取得したサイバーオブジェクトIDから必要なサイバーオブジェクトIDをフレーム毎に選択する。例えばユーザ環境モデルDB105の「発達段階」からユーザが一度に2つのものまで対応できる場合、ステップS4に進み、標準で5つのサイバーオブジェクトを表示可能なフレーム91から2つのサイバーオブジェクトを表示可能なフレーム92に変更する。ステップS4の処理は図19のステップS34に相当する処理である。
【0136】
次に、CIF処理部132は各フレームに関連付けられているサイバーオブジェクトの調整を行う。CIF処理部132は、ユーザ環境モデルDB105のデータ項目「天気」,「時間」に応じてフレームの背景を変化させたり、データ項目「趣味・嗜好」,「使用場所」に応じてフレーム91,92に表示させるサイバーオブジェクトを変化させたり、データ項目「言葉の習熟度」に応じて使用する漢字の範囲を変化させたり、データ項目「使用センサー情報」に応じてユーザの脈拍が速い場合に、アニメーション等をゆったりとしたスピードに変化させたり、データ項目「使用入出力装置」に応じてフレーム91,92等に表示させるサイバーオブジェクトの配置を変化させたりできる。
【0137】
ここで、図17及び図19のフローチャートで表したクライアント101の処理を、より具体的に説明する。ステップS10では、ログイン処理が行われる。ステップS11では、ユーザ環境モデルDB105が更新される。ステップS11において更新されたユーザ環境モデルDB105の一部は例えば図22のように構成される。
【0138】
ステップS13では、CIFの適応処理が行われる。フィルムテーブルは、例えば図23のように構成される。図19のステップS31では、ユーザ環境モデルDB105のデータ項目「システムを使って行う活動の種類」が「メールの送受信」であるため、フィルムID「1」のCIFを選択する。
【0139】
このCIFには7つ以上のシーンが含まれているが、ユーザ環境モデルDB105のデータ項目「システムにおける役割」が「ユーザー」であるため、フィルタリングによりシーン番号「2」-「7」のシーンへのアクセスが許可される。なお、データ項目「システムにおける役割」が「スーパーユーザー」である場合はシーン番号「1」-「7」の他、より多くのシーンにアクセスが許可される。
【0140】
また、ユーザ環境モデルDB105のデータ項目「使用入出力装置」に「プリンター」が無いため、さらにフィルタリングを行い、シーン番号「2」-「5」,「7」へのアクセスが最終的に許可される。ステップS32では、ユーザ環境モデルDB105のデータ項目「操作を行う理由」が「メールを作成するため」である為、メール作成を行うシーン番号「3」に対応するシーンID「100003」のシーンが選択される。
【0141】
シーンテーブルは、例えば図24のように構成される。ユーザ環境モデルDB105のデータ項目「発達段階」が「主語,述語,場所,時間の概念は理解可能、選択肢の数は9まで」であるため、フィルタリングによりフレーム番号「1」-「6」のフレームへのアクセスが許可される。また、ユーザ環境モデルDB105のデータ項目「システム内の仮想時間」に応じて更にフィルタリングを行い、フレームを選択する。
【0142】
ステップS34では、ステップS33で選択したフレームのフレームIDに対応付けられているサイバーオブジェクトの選択を、ユーザ環境モデルDB105に応じて行う。ステップS35では、ステップS34で選択したサイバーオブジェクトのサイバーオブジェクトIDに関連付けられているパラメータの調整を行った後、図17のステップS14でレンダリングしたフレームが表示される。
【0143】
例えばステップS33でフレーム番号「3」のフレームが選択された場合、ステップS34ではフレーム番号「3」のフレームのフレームIDに対応付けられているサイバーオブジェクトをフレームテーブルから選択し、図17のステップS14で図25のフレームが表示される。
【0144】
図25のフレームは、スクリーンペット251,差出人252,宛先253,ヒエログリフ254,背景255,回答候補の打ち上げオブジェクト256,回答候補257を表すサイバーオブジェクトを含むように構成されている。なお、図25のフレームに含まれる回答候補257を表すサイバーオブジェクトは、主語の選択を行うための質問、データ項目「活動の履歴」に含まれる既にヒエログリフ254に入力されているサイバーオブジェクトおよび頻度情報に基づき、膨大な数のサイバーオブジェクトをフィルタリング及び編成して選択されたものである。
【0145】
また、ステップS35では、ステップS34で選択したサイバーオブジェクトに対して以下のようなパラメータの調整を行う。例えばステップS35では、ユーザ環境モデルDB105のデータ項目「性別」に基づき異なるスクリーンペットを選択できる。また、ユーザ環境モデルDB105のデータ項目「使用言語」に基づきセリフの言語を選択できる。
【0146】
また、ユーザ環境モデルDB105のデータ項目「氏名」に基づき表示する名前や写真を選択できる。また、ユーザ環境モデルDB105のデータ項目「発達段階」に基づき使用不可のセルを灰色で表示し、現在選択を行っているセルをハイライト表示できる。また、ユーザ環境モデルDB105のデータ項目「天気」,「時間」に基づき背景を選択できる。
【0147】
また、ユーザ環境モデルDB105のデータ項目「性別」に基づき異なるサイバーオブジェクトを選択できる。また、ユーザ環境モデルDB105のデータ項目「発達段階」,「使用入出力装置」に基づき一度に表示するサイバーオブジェクトの数を選択できる。また、ユーザ環境モデルDB105のデータ項目「使用センサー情報」の脈拍,「活動の履歴」の反応速度に基づき回答候補打ち上げオブジェクト256からの回答候補の打ち上げ速度を選択させることができる。
【0148】
例えば反応速度が遅い場合は、回答候補打ち上げオブジェクト256からの回答候補の打ち上げ速度を落とす。また、反応速度が速い場合であっても、脈拍が上がってきた場合は回答候補打ち上げオブジェクト256からの回答候補の打ち上げ速度を落とす。また、ユーザ環境モデルDB105のデータ項目「氏名」に基づきサイバーオブジェクトを選択できる。
【0149】
さらに、テキスト表示部を持つ全てのサイバーオブジェクトについて、ユーザ環境モデルDB105のデータ項目「使用言語」,「言語の習熟度」に基づき、日本語表示または英語表示の何れを表示するか、日本語表示の場合に何年生までの漢字を使うかを選択させることができる。
【0150】
以上のCIFの適応処理の結果、図17のステップS14でフレームのレンダリング処理が行われる。このとき、サイバーオブジェクトを表示する位置は、フレームテーブルの位置情報に従う。位置情報は、座標で直接指定されている場合と、ユーザ環境モデルDB105に基づき決定されるサイバーオブジェクトの表示順および一度に表示するサイバーオブジェクトの数などに応じて動的に決定する場合とがある。
【0151】
図25のフレームの場合、スクリーンペット251,差出人252,宛先253,ヒエログリフ254,背景255,回答候補の打ち上げオブジェクト256を表すサイバーオブジェクトの位置情報は座標で直接指定されている。回答候補257を表すサイバーオブジェクトの位置情報は、サイバーオブジェクトの表示順および一度に表示するサイバーオブジェクトの数などに応じて動的に決定される。
【0152】
また、入出力装置135に応じてサイバーオブジェクトを選択する処理が異なるため、レンダリング処理を行うときに、サイバーオブジェクトの選択方法を示すマーカ(例えば矢印や数字)を付与する。
【0153】
図26はデータ項目「使用入出力装置」が図27のようなワンボタンスイッチのときのサイバーオブジェクトの配置を表したフレームの一例のイメージ図である。図26では回答候補を表すサイバーオブジェクトが1つずつ順番に表示され、ワンボタンスイッチが押下されているときにフレームに表示されているサイバーオブジェクトが選択される。
【0154】
データ項目「使用入出力装置」がマウスやタッチパネルのときのサイバーオブジェクトの配置を表したフレームは、前述した図13(a)のようになる。また、データ項目「使用入出力装置」がテンキーのときのサイバーオブジェクトの配置を表したフレームは、前述した図13(b)のようになる。また、データ項目「使用入出力装置」がジョイスティックのときのサイバーオブジェクトの配置を表したフレームは、前述した図13(c)のようになる。なお、前述したヒエログリフ,マルチメディア単語,スクリーンペットの詳細は特開2003-84876に記載されているため、説明を省略する。
【0155】
次に、FCSを構成するマルチメディア単語辞典サブシステムにおけるCIFの適応処理を説明する。マルチメディア単語辞典サブシステムは、幼児,小学生,障害児や失語症の人を対象としたコンピュータ版絵辞典である。マルチメディア単語辞典サブシステムでは、サイバーオブジェクトを使用したマルチビューによる説明によって、意味を直感的且つ深く理解させることでユーザの語彙を増やすことを目的としている。
【0156】
例えばユーザ環境モデルDB105のデータ項目「システムを使って行う活動の種類」が「語彙学習」である場合、マルチメディア単語辞典サブシステムのCIFの適応処理は前述した図5に示すように行われる。各フレームでは、フレームテーブルのフレームID,サイバーオブジェクトIDに応じてサイバーオブジェクトの位置が決定されてレンダリングが行われる。ここまでの処理は、例えば図17のステップS10~S14に相当する。
【0157】
また、フレームテーブルのアクション情報に応じてサイバーオブジェクトのアクションの有無を判定し、アクションが有ればアクション情報に応じたサイバーオブジェットのアクションが実行される。ここまでの処理は、例えば図17のステップS15,S16に相当する。
【0158】
図5のフレーム53では、女の子が絵を描くアクションとお母さんが電話をかけるアクションとが実行される。各サイバーオブジェクトはユーザからのクリックに応じてフレームテーブルのユーザ入力対応処理情報を参照し、インタラクションモードによって異なる対応処理を行う。ここまでの処理は、例えば図17のステップS17~S20の処理に相当する。
【0159】
また、図5のフレーム51では、オペレーションモードで家をクリックすると家の中を表すフレーム53~55を表示するが、説明モードで家をクリックすると家に関するマルチビューによる説明を画像や音声,触覚情報などで提示するフレーム52を表示する。
【0160】
マルチビューによる説明には、特開2003-84876に記載されている複数のヒエログリフによる説明も含まれる。例えばフレーム53で女の子をクリックした場合、説明として「女の子がクレヨンで絵を描いている」というヒエログリフが呼び出される。このヒエログリフからユーザ環境モデルDB105のデータ項目「発達段階」に応じて使用可能なヒエログリフセルを判別し、サイバーオブジェクトを提示しているのがフレーム56である。
【0161】
フレーム56では、「女の子(Who)」,「絵を描いている(What)」,「クレヨンで(How)」のうち、「女の子(Who)」と「絵を描いている(What)」とを提示している。さらに、フレーム56では、必要に応じて各サイバーオブジェクトの詳細な説明を表すパネルフレーム群57を呼び出すことも可能である。
【0162】
実施例1によれば、インターフェース提示システムの全てのサイバーオブジェクトをマルチビューにより説明できる。また、ユーザ環境モデルDB105に応じてCIFのフィルタリングを行うことにより、適応が図られたインターフェースをユーザ又は機械に提示できる。また、ユーザ環境モデルDB105に応じてCIFの編成を行うことにより、時間の概念を取り入れたインターフェースをユーザ又は機械に提示できる。さらに、ユーザ環境モデルDB105を利用して、ユーザ又は機械に提示するインターフェースを簡素化できる。
【実施例2】
【0163】
(マルチメディアヒエログリフ)
まず、CCFの一例としてのマルチメディアヒエログリフについて説明する。本発明で用いるマルチメディアヒエログリフとは、文章を所謂5W1Hのデータ形式で表すためのものであり、いつ(時間),どこで(場所),誰が(主語),何をどうする(述語),なぜ(理由),どのように(手段)を表す6つのヒエログリフセルで構成される。
【0164】
また、サイバーオブジェクトの一例としてのマルチメディア単語について説明する。マルチメディア単語は、触覚情報,テキスト,ロボット制御情報,音,静止画,動画などの人間用または機械用のデータから成るビューの総称をいい、事物や動作の過程などを様々な形態により多面的に表している。マルチメディア単語は、例えば事物や動作の過程を直感的に理解させる為に少なくとも一つのビューが組み合わされたマルチビューで構成されている。
【0165】
なお、マルチメディアヒエログリフ,マルチメディア単語の詳細は特開2003-84876に記載されているため、説明を省略する。図28は、マルチメディア単語を配置したマルチメディアヒエログリフの一例のイメージ図である。図28のマルチメディアヒエログリフは、いつ(時間),どこで(場所),誰が(主語),何をどうする(述語),なぜ(理由),どのように(手段)を表すマルチメディア単語が配置されることで、意味を持つようになる。
【0166】
図28のようなマルチメディアヒエログリフは、ユーザが伝達したい意思に応じた文章を所謂5W1Hのデータ形式で表している。したがって、図28のようなマルチメディアヒエログリフをユーザに表現させ、マルチメディアヒエログリフに配置されたマルチメディア単語を構成するマルチビューを利用することで、ユーザや機械などのサイバーオブジェクトにユーザの意思を容易に伝達することが可能である。
【0167】
サイバーオブジェクトが人間の場合、テキストだけでなく静止画,動画,音などのマルチビューを提供することで、ユーザの意志を容易に伝達することができる。サイバーオブジェクトが機械の場合、触覚情報,テキスト,ロボット制御情報,音,静止画,動画などのマルチビューを提供することで、より多くの情報を提示でき、ユーザの意思を効果的に実行させることが可能である。
【0168】
例えば主語「ロボット」,述語「移動する」,場所「人Aの所」を表すマルチメディアヒエログリフの場合、人Aに関する情報を写真,声紋,背格好などのマルチビューでユーザの意志をロボットに与えることで、ロボットの持つ多様なセンシング技術を用いて人Aの特定精度を向上させ、ユーザの意思を確実に実行させることが可能となる。
【0169】
本発明の学習システムはマルチメディアヒエログリフを用いて文章を作成し、その文章に応じた動作を、実世界に存在するオブジェクト(例えばおもちゃのロボット,先生や友達)又は仮想世界に存在するオブジェクト(例えば画面上の2D又は3Dのキャラクタ)に行わせることで、仮想世界と実世界とを関連付けてユーザに学習させている。
【0170】
特に知的障害を持つユーザは、マルチメディアヒエログリフを用いて作成した文章に応じて実世界又は仮想世界に存在するサイバーオブジェクトが動作するため、直感的に文章の意味を理解でき、意思伝達能力を効果的に向上させることが可能である。
【0171】
以下、本発明によるインターフェース提示システムの一例として、マルチメディアヒエログリフを用いた学習システムについて説明する。マルチメディアヒエログリフを用いた学習システムのシステム構成は、図14のシステム構成と同様である。
【0172】
クライアント101は、CCFを利用して入出力装置13を制御することで、系統的にユーザ又は機械への適応が図られた各種インターフェースを実現している。フィルムDBサーバ102は、CCFのデータが格納されているフィルムDBの管理を行う。また、フォルムDBサーバ102はクライアント101等からの要求に応じて、CCFのデータをクライアント101に送信する。認証サーバ103は、ユーザ認証に利用される。コンテンツサーバ104は、CCFで用いられる画像、音、触覚データなどのコンテンツデータを管理している。
(機能構成)
図29は、クライアントの一実施例の機能構成図である。クライアント101は、本発明によるインターフェース提示プログラムの他、OSやアプリケーションによって実現される通信制御部131,コンピュータ134,入出力装置135,CCF処理部351およびユーザ環境モデルDB105を有するように構成される。なお、図29のクライアント101の機能構成のうち図16の機能構成図と同一部分には同一符号を付して説明を省略する。なお、CCF処理部351は,データフィルタリング装置5,データ編成装置6,インターフェースフィルタリング装置10およびインターフェース編成装置11に相当する。
【0173】
CCF処理部351は、フレーム処理部352,マルチメディアヒエログリフ処理部353およびマルチメディアヒエログリフ提示部354を有している。フレーム処理部352は、コンピュータ134からの要求に応じて、CCFのデータを通信制御部131経由でフィルムDBサーバ102やコンテンツサーバ104から受信する。フレーム処理部352は、ユーザが実行を指示したサブシステムおよびユーザ環境モデルDB105に応じて、CCFのデータの適応を図る。
【0174】
マルチメディアヒエログリフ処理部353は、フレーム処理部352が適応を図ったフレームにマルチメディアヒエログリフが含まれるとき、マルチメディアヒエログリフの作成に関する処理を行う。マルチメディアヒエログリフ提示部354は、作成されたマルチメディアヒエログリフがフレームに含まれるときに、マルチメディアヒエログリフの提示に関する処理を行う。なお、マルチメディアヒエログリフの作成又は提示に関する処理の詳細は後述する。
【0175】
コンピュータ134は、ユーザが実行を指示したサブシステムのプログラムであって、CCF処理部351からフレームを受信し、そのフレームに基づくインターフェースを実現する。そのインターフェースにより、コンピュータ134は、入出力装置135を介してユーザ又は機械との間で情報のやり取りを行い、必要な処理を行う。
(クライアントの処理)
以下、図29に表したクライアント101の処理について、フローチャートを参照しつつ説明していく。図30は、マルチメディアヒエログリフを用いた学習方法を実現するクライアントの処理の一例のフローチャートである。なお、図30のフローチャートは図17のフローチャートと一部を除いて同様であるため、適宜説明を省略する。
【0176】
ステップS100,S101の処理は、図17のステップS10,S11と同様であるため説明を省略する。コンピュータ134はステップS102に進み、次に行う処理がログアウト処理でなければループ1の処理を開始する。ループ1の処理では、コンピュータ134がステップS103に進み、CCF処理部351のフレーム処理部352に対してCCFの適応処理を要求する。
【0177】
フレーム処理部352は、コンピュータ134からの要求に応じて、CCFのデータを通信制御部131経由でフィルムDBサーバ102およびコンテンツサーバ104から受信する。次に、フレーム処理部352はユーザが実行を指示したサブシステム及びユーザ環境モデルDB105に応じてCCFの適応処理を行う。すなわち、ステップS103ではユーザへの適応を図る為のCCFのデータのフィルタリング及び編成が行われる。ステップS104~S106の処理は、図17のステップS14~S16と同様であるため説明を省略する。
【0178】
ステップS107では、全てのアクションが完了していなければステップS108に進み、ループ2の処理を開始する。ステップS108では、コンピュータ134が、ユーザからの入力の有無を判定する。
【0179】
ユーザからの入力が有ると判定すると(S108において有り)、コンピュータ134はステップS109に進み、ユーザからの入力に対する対応処理を行う。例えばユーザからの入力がマルチメディアヒエログリフの作成に関するものであれば、マルチメディアヒエログリフ処理部353はマルチメディアヒエログリフの作成に関する処理を行う。ユーザからの入力がマルチメディアヒエログリフの提示に関するものであれば、マルチメディアヒエログリフ提示部354はマルチメディアヒエログリフの提示に関する処理を行う。
【0180】
ユーザからの入力が無いと判定した場合(S108において無し)、コンピュータ134はステップS110に進み、全てのアクションが完了しているか否かを判定する。コンピュータ134は、全てのアクションが完了していなければステップS107に戻り、全てのアクションが完了していればステップS111に進む。また、ステップS109の処理が終了したときも、コンピュータ134はステップS111に進む。なお、ステップS111~S113の処理は、図17のステップS21~S23と同様であるため説明を省略する。
【0181】
図30のフローチャートの処理を行うことで、図28のようなマルチメディアヒエログリフを作成するヒエログリフ作成処理及びマルチメディアヒエログリフを提示するヒエログリフ提示処理を次のように行うことができる。
【0182】
ステップS100~S106の処理では、マルチメディア単語が配置されていないマルチメディアヒエログリフを含むフレームがユーザに提示される。ステップS107~S110の処理では、ユーザからの入力に応じてマルチメディアヒエログリフにマルチメディア単語が配置される。ステップS111の処理では、ヒエログリフセルに対するマルチメディア単語の配置に応じてユーザ環境モデルDB105のデータが更新される。
【0183】
例えばステップS111の処理では、動作情報に含まれるデータ項目「活動の履歴」や時間情報に含まれるデータ項目の「システム内の仮想時間」のように、ステップS109で行ったユーザからの入力に対する対応処理に応じて更新が必要なデータを更新する。
【0184】
クライアント101は、上述のステップS102~S112を繰り返し行うことでマルチメディア単語が配置されたマルチメディアヒエログリフを作成する。マルチメディア単語が配置されたマルチメディアヒエログリフが作成されたあと、ステップS109の処理ではユーザからヒエログリフ提示処理の開始が指示されたとする。
【0185】
ステップS111の処理では、ステップS109で指示のあったヒエログリフ提示処理に応じてユーザ環境モデルDB105のデータが更新される。次のステップS102~S106の処理では、例えばユーザが実行を指示したサブシステム及びユーザ環境モデルDB105に応じてマルチメディアヒエログリフを含むフレームをユーザに提示する。
【0186】
ステップS105,S106の処理では、作成されたマルチメディアヒエログリフの内容に応じて、後述するようにサイバーオブジェクトのアクションが実行される。ステップS107~110の処理では、サイバーオブジェクトのアクションがユーザの予期したアクションだったか否かをユーザから入力される。ステップS111の処理では、入力された内容に応じてユーザ環境モデルDB105のデータが更新される。
【0187】
この後、ステップS109で入力された内容に応じてヒエログリフ提示処理を繰り返すようにしてもよいし、次のヒエログリフ作成処理を開始するようにしてもよいし、ログアウトするようにしてもよい。
【0188】
次に、図30のフローチャートの処理により実現されるマルチメディアヒエログリフを用いた学習方法の手順について説明する。図31は、マルチメディアヒエログリフを用いた学習方法の一実施例のフローチャートである。
【0189】
ステップS131では、ユーザからの指示により、サイバーオブジェクトの動作をマルチメディアヒエログリフで記述するヒエログリフ作成処理が行われる。ステップS132では、ステップS131で記述されたマルチメディアヒエログリフをユーザに提示し、そのマルチメディアヒエログリフの内容を音声で読み上げ、さらにマルチメディアヒエログリフの内容に応じてサイバーオブジェクトのアクションを実行させるヒエログリフ提示処理が行われる。
【0190】
ステップS133では、ステップS132でサイバーオブジェクトの実行したアクションがユーザの予期したものであったか否かをユーザに確認する評価処理が行われる。ステップS133の評価処理では、サイバーオブジェクトの実行したアクションが予期したものであったか否かを、例えば入出力装置135を介して取得する。
【0191】
ステップS134では、サイバーオブジェクトの実行したアクションがユーザの予期したものであったか否かに応じて、もう一度ステップS132のヒエログリフ提示処理を行うか否かを判定する。ヒエログリフ提示処理をもう一度行うと判定した場合(S134においてYES)、ステップS132に進む。一方、ヒエログリフ提示処理をもう一度行わないと判定した場合(S134においてNO)、ステップS135に進む。
【0192】
ステップS135では、処理を終了するか継続するかをユーザに確認し、処理を終了する旨の指示があれば(S135においてYES)処理を終了する。また、処理を継続する旨の指示があれば(S135においてNO)、ステップS131に戻り処理を継続する。
【0193】
以下、図31のフローチャートのステップS131~133の処理について図面を参照しつつ詳細に説明していく。ステップS131のヒエログリフ作成処理では、サイバーオブジェクトの動作を1つ以上のマルチメディア単語で記述したマルチメディアヒエログリフを作成する。サイバーオブジェクトは、それぞれ固有の動作を持っている。
【0194】
したがって、サイバーオブジェクトが実行可能なマルチメディアヒエログリフを作成させる為には、予めサイバーオブジェクトと、そのサイバーオブジェクトが実行可能なマルチメディア単語との関連付けを必要とする。図32は、サイバーオブジェクトとマルチメディア単語とを関連付けた単語リストテーブルの一例の構成図である。
【0195】
図32の単語リストテーブルは、サイバーオブジェクトID,単語ID,5W1H情報などのデータ項目を含むように構成されている。サイバーオブジェクトIDは、主語となるサイバーオブジェクトの識別子である。単語IDは、サイバーオブジェクトに対する動作命令に使用可能なマルチメディア単語の識別子である。5W1H情報は、マルチメディア単語がマルチメディアヒエログリフのどのヒエログリフセルで使用可能かを表す情報である。
【0196】
ステップS131のヒエログリフ作成処理では、例えば図32の単語リストテーブルを用いて図33のフローチャートに表す手順で行われる。図33は、ヒエログリフ作成処理の一例のフローチャートである。
【0197】
ステップS141に進み、CCF処理部351のマルチメディアヒエログリフ処理部353はユーザ環境モデルDB105及び表示中のフレームに応じて使用可能なサイバーオブジェクトのサイバーオブジェクトIDを取得する。
【0198】
ステップS141では、手段・方法情報に含まれるデータ項目「使用入出力装置」などに応じて、マルチメディアヒエログリフ処理部353が、使用可能なサイバーオブジェクトのサイバーオブジェクトIDを取得する。ステップS142に進み、マルチメディアヒエログリフ処理部353はマルチメディアヒエログリフで使用されているマルチメディア単語の解析を行い、マルチメディア単語の単語IDとそのマルチメディア単語が配置されているヒエログリフセルの位置情報を取得する。
【0199】
マルチメディアヒエログリフ処理部353は、ステップS141で取得したサイバーオブジェクトIDとステップS142で取得した単語ID及びヒエログリフセルの位置情報を用いて単語リストテーブルの検索を行い、作成中のマルチメディアヒエログリフで実行可能なサイバーオブジェクトのサイバーオブジェクトIDを取得する。
【0200】
ステップS143に進み、マルチメディアヒエログリフ処理部353はステップS142で取得したサイバーオブジェクトIDと入出力装置135を介してユーザの指定したヒエログリフセルの位置情報とに基づき、単語リストテーブルから使用可能なマルチメディア単語の単語IDを取得し、その単語IDのマルチメディア単語を入出力装置135経由でユーザに提示する。
【0201】
ステップS144に進み、ユーザは入出力装置135を操作し、ステップS143で提示されたマルチメディア単語を選択する。ユーザは、ポインティングデバイスによるクリックと、実物,ミニチュア又はカードの提示(RF-IDタグの読み込み,カメラによる撮影など)と、音声入力との少なくとも1つの方法により、提示されたマルチメディア単語を選択する。マルチメディアヒエログリフ処理部353は、ユーザにより選択されたマルチメディア単語の単語IDを入出力装置135経由で取得する。
【0202】
ステップS145に進み、マルチメディアヒエログリフ処理部353はユーザにより選択されたマルチメディア単語を、ユーザの指定したヒエログリフセルに配置する。ステップS146に進み、マルチメディアヒエログリフ処理部353は、マルチメディアヒエログリフが完成したか否かを判定する。マルチメディアヒエログリフが完成したと判定すると(S146においてYES)、マルチメディアヒエログリフ処理部353は、ヒエログリフ作成処理を終了する。一方、マルチメディアヒエログリフが完成していないと判定すると(S146においてNO)、マルチメディアヒエログリフ処理部353は、ステップS142に戻り、ヒエログリフ作成処理を継続する。
【0203】
図33のヒエログリフ作成処理を具体例を挙げて説明する。例えば単語リストテーブルのサイバーオブジェクトIDには、「おもちゃの犬」,「スクリーンペットのペンギン」,「先生」を表すサイバーオブジェクトIDが登録されているものとする。つまり、マルチメディアヒエログリフの主語は「おもちゃの犬」,「スクリーンペットのペンギン」,「先生」を表すマルチメディア単語の何れかを用いることができる。
【0204】
また、単語リストテーブルの単語IDには、おもちゃの犬に対応させて「走る」,「吠える」,「お手をする」を表すマルチメディア単語が登録され、スクリーンペットのペンギンに対応させて「走る」,「ジャンプする」,「宙返りをする」を表すマルチメディア単語が登録され、先生に対応させて「走る」,「ジャンプする」,「歌う」を表すマルチメディア単語が登録されている。
【0205】
このような単語リストテーブルを用いて主語と述語からなるマルチメディアヒエログリフを作成するヒエログリフ作成処理は次のようになる。ステップS141では、マルチメディアヒエログリフ処理部353が、使用可能なサイバーオブジェクトとして、おもちゃの犬,スクリーンペットのペンギン及び先生のサイバーオブジェクトIDを取得する。
【0206】
ステップS142に進み、マルチメディアヒエログリフ処理部353はマルチメディアヒエログリフのヒエログリフセルが空白であるので、ステップS143に進む。ステップS143では、マルチメディアヒエログリフ処理部353が、ステップS141で取得したサイバーオブジェクトIDに基づき、使用可能なマルチメディア単語として、走る,吠える,お手をする,ジャンプする,宙返りをする,歌うの単語IDを単語リストテーブルから取得し、その単語IDのマルチメディア単語を入出力装置135経由でユーザに提示する。
【0207】
ステップS144に進み、ユーザは入出力装置135を操作し、ステップS143で提示されたマルチメディア単語のうち、「ジャンプする」を選択したものとする。マルチメディアヒエログリフ処理部353は、ユーザにより選択された「ジャンプする」を表すマルチメディア単語の単語IDを入出力装置135経由で取得する。
【0208】
ステップS145に進み、マルチメディアヒエログリフ処理部353はユーザにより選択された「ジャンプする」を表すマルチメディア単語をユーザの指定したヒエログリフセルに配置する。ステップS146に進み、マルチメディアヒエログリフ処理部353はマルチメディアヒエログリフが完成していないと判定し(S146においてNO)、ステップS142に戻る。
【0209】
ステップS142では、マルチメディアヒエログリフ処理部353が、マルチメディアヒエログリフの述語として「ジャンプする」を表すマルチメディア単語が配置されているため、使用可能なサイバーオブジェクトIDと、述語として「ジャンプする」を表すマルチメディア単語を取りうるサイバーオブジェクトIDとを条件に単語リストテーブルの検索を行い、スクリーンペットのペンギンおよび先生のサイバーオブジェクトIDを取得する。
【0210】
ステップS143では、マルチメディアヒエログリフ処理部353が、ステップS142で取得したサイバーオブジェクトIDに基づき、主語の候補としてスクリーンペットのペンギンおよび先生を表すマルチメディア単語を入出力装置135経由でユーザに提示する。例えばマルチメディアヒエログリフの述語として「歌う」を表すマルチメディア単語が配置されていた場合、ステップS143では先生を表すマルチメディア単語が入出力装置135経由でユーザに提示される。
【0211】
ステップS144に進み、ユーザはステップS143で提示されたマルチメディア単語からスクリーンペットのペンギンを選択したものとする。マルチメディアヒエログリフ処理部353は、ユーザにより選択されたスクリーンペットのペンギンを表すマルチメディア単語の単語IDを入出力装置135経由で取得する。
【0212】
ステップS145に進み、マルチメディアヒエログリフ処理部353はユーザにより選択されたスクリーンペットのペンギンを表すマルチメディア単語をユーザの指定したヒエログリフセルに配置する。ステップS146に進み、マルチメディアヒエログリフ処理部353はマルチメディアヒエログリフが完成したと判定し(S146においてYES)、ヒエログリフ作成処理を終了する。
【0213】
以上、図33のヒエログリフ作成処理によれば、「ペンギンがジャンプする」というマルチメディアヒエログリフを作成することができる。なお、マルチメディアヒエログリフは述語以外のヒエログリフセルにマルチメディア単語を配置することにより、サイバーオブジェクトの動作を詳細に記述することが可能である。
【0214】
次に、ステップS132のヒエログリフ提示処理について説明する。ステップS132のヒエログリフ提示処理では、ステップS131のヒエログリフ作成処理で記述されたマルチメディアヒエログリフをユーザに表示し、そのマルチメディアヒエログリフの内容を音声で読み上げ、さらにマルチメディアヒエログリフの内容に応じてサイバーオブジェクトのアクションを実行させる。
【0215】
ステップS132のヒエログリフ提示処理は、例えば図34のフローチャートに表す手順で行われる。図34は、ヒエログリフ提示処理の一例のフローチャートである。ステップS151に進み、CCF処理部351のマルチメディアヒエログリフ提示部354はステップS131のヒエログリフ作成処理で作成したマルチメディアヒエログリフを例えば入出力装置135に表示してユーザに提示し、そのマルチメディアヒエログリフの内容を音声で読み上げる。
【0216】
ステップS152に進み、マルチメディアヒエログリフ提示部354はサイバーオブジェクトの一例として画面上のスクリーンペットが音声又は画面表示の少なくとも1つの方法により、これからアクションを行うサイバーオブジェクトへユーザを誘導する。ステップS153に進み、マルチメディアヒエログリフに記述された全てのサイバーオブジェクトのアクションが終了していなければ、マルチメディアヒエログリフ提示部354はステップS154に進む。
【0217】
ステップS154では、マルチメディアヒエログリフ提示部354が、マルチメディアヒエログリフの主語として配置されているマルチメディア単語のサイバーオブジェクトIDを取得する。ステップS155に進み、マルチメディアヒエログリフ提示部354はステップS154で取得したサイバーオブジェクトIDを用いて動作命令変換関数テーブルの検索を行い、動作命令変換関数を取得する。
【0218】
図35は、動作命令変換関数テーブルの一例の構成図である。図35の動作命令変換関数テーブルは、サイバーオブジェクトID,動作命令変換関数などのデータ項目を含むように構成されている。サイバーオブジェクトIDは、動作命令を送信するサイバーオブジェクトの識別子である。動作命令変換関数は、マルチメディアヒエログリフを動作命令に変換する関数である。
【0219】
ステップS156に進み、マルチメディアヒエログリフ提示部354はステップS155で取得した動作命令変換関数を用いて、後述するようにマルチメディアヒエログリフをサイバーオブジェクトの動作命令に変換する。ここで、サイバーオブジェクトに応じて変換される動作命令の種類は、次のようになる。
【0220】
例えばサイバーオブジェクトが人間の場合、動作命令は人間に実行させるアクションの内容を視覚,聴覚,触覚情報の少なくとも一つで表現可能な機器に、アクションの内容を表現させる為のものとなる。また、サイバーオブジェクトがコンピュータから操作可能なロボットやミニチュア等の機械や機器の場合、動作命令は機器や機器を動作させる為の信号(例えば赤外線,Bluetoothなど)となる。また、サイバーオブジェクトが画面上の2D又は3Dのキャラクターなどのオブジェクトの場合、動作命令はオブジェクトを動作させるためのコンピュータ命令(例えばビデオの演者の場合、該当するビデオクリップの取得と再生を行うコンピュータ命令)となる。
【0221】
ステップS157に進み、マルチメディアヒエログリフ提示部354はステップS156で変換した動作命令をサイバーオブジェクトに直接又は間接的に送信する。ステップS158に進み、サイバーオブジェクトは直接又は間接的に受信した動作命令に応じてアクションを実行する。
【0222】
そして、ステップS159に進み、マルチメディアヒエログリフ提示部354はマルチメディアヒエログリフに記述されている全てのサイバーオブジェクトのアクションが終了していなければ、ステップS153に戻り、ヒエログリフ提示処理を継続する。なお、マルチメディアヒエログリフ提示部354は、マルチメディアヒエログリフ321に記述されている全てのサイバーオブジェクトのアクションが終了していれば、ヒエログリフ提示処理を終了する。
【0223】
図34のヒエログリフ提示処理を具体例を挙げて説明する。例えばコンピュータから赤外線で操作可能なおもちゃの犬34に動作命令を与える図3のようなマルチメディアヒエログリフ32のヒエログリフ提示処理を一例として説明する。マルチメディアヒエログリフ32には、主語に「犬」を表すマルチメディア単語,述語に「あるく」を表すマルチメディア単語が配置されているものとする。
【0224】
このようなマルチメディアヒエログリフ32を提示するヒエログリフ提示処理は以下のようになる。ステップS151に進み、CCF処理部351のマルチメディアヒエログリフ提示部354は、「犬があるく」というマルチメディアヒエログリフ32と、「犬が歩きます」という日本語のテキストとを例えば入出力装置135に表示することでユーザに提示し、スクリーンペット33が「犬が歩きます」という内容を音声で読み上げる。
【0225】
ステップS152に進み、マルチメディアヒエログリフ提示部354はスクリーンペット33に音声又は画面表示の少なくとも1つの方法により、「さあ、犬を見て」という指示を出させ、これからアクションを行うおもちゃの犬34へユーザを誘導する。ユーザがヘッドマウンティングディスプレイを装着している場合、スクリーンペット33が実際におもちゃの犬34の近くに移動して指差しを行うといった拡張現実感を用いた誘導を行うことも可能である。
【0226】
ステップS153に進み、マルチメディアヒエログリフ提示部354はマルチメディアヒエログリフ32に記述されている全てのサイバーオブジェクトのアクションが終了していないので、ステップS154に進む。ステップS154では、マルチメディアヒエログリフ提示部354が、マルチメディアヒエログリフ321の主語として配置されているマルチメディア単語に応じておもちゃの犬34のサイバーオブジェクトIDを取得する。
【0227】
ステップS155に進み、マルチメディアヒエログリフ提示部354はステップS154で取得したおもちゃの犬34のサイバーオブジェクトIDを用いて動作命令変換関数テーブルの検索を行い、おもちゃの犬34の動作命令変換関数fdog(h)を取得する。ここで、hはマルチメディアヒエログリフ32を表す。
【0228】
例えば動作命令変換関数fdog(h)はマルチメディアヒエログリフ32のヒエログリフIDに応じて、動作命令対応テーブルから動作命令を検索する関数であるとする。図36は、動作命令対応テーブルの一例の構成図である。動作命令対応テーブルは、ヒエログリフID,動作命令などのデータ項目を含むように構成されている。ヒエログリフIDは、マルチメディアヒエログリフ32の識別子である。動作命令は、サイバーオブジェクトに動作命令を行うための情報である。
【0229】
この場合、ステップS156に進み、マルチメディアヒエログリフ提示部354は「犬が歩く」というマルチメディアヒエログリフ32のヒエログリフIDから犬のおもちゃ34を歩かせる赤外線の信号を取得する。ステップS157に進み、マルチメディアヒエログリフ提示部354はステップS156で取得した赤外線の信号を例えば入出力装置135経由で犬のおもちゃ34に送信する。
【0230】
ステップS158に進み、犬のおもちゃ34は例えば入出力装置135から赤外線の信号を受信し、その赤外線の信号に応じて「歩く」というアクションを実行する。ステップS159に進み、マルチメディアヒエログリフ提示部354はマルチメディアヒエログリフ32に記述されている全てのサイバーオブジェクトのアクションが終了したため、ヒエログリフ提示処理を終了する。図34のヒエログリフ提示処理は、「犬が歩く」というマルチメディアヒエログリフ32の内容に応じて、犬のおもちゃ34を実際に歩かせることができる。
【0231】
そして、図31のステップS133の評価処理では図3の評価画面を用いて、ステップS132でサイバーオブジェクトの実行したアクションがユーザの予期したものであったか否かをユーザに確認できる。
【0232】
以上、ステップS133の評価処理ではユーザに明快な成功又は失敗のフィードバックを提供できる。この評価処理があることで、ユーザの近くにいる者(例えば、先生や両親など)もスクリーンペット33に合わせて「どうだった?」と尋ねるなど、学習に参加することができ、より高い学習効果が期待できる。
【0233】
実施例2によれば、仮想世界と実世界とを関連付けてユーザに学習させることができるので、学習効果を向上させることが可能である。
【図面の簡単な説明】
【0234】
【図1】データおよびインターフェースを提示するシステムの一例の概要図である。
【図2】本発明のインターフェース提示方法により実現されるインターフェースの一実施例のイメージ図である。
【図3】本発明のインターフェース提示方法により実現されるインターフェースの具体的なイメージ図である。
【図4】オペレーションモードに切り替えられたフレームの一例のイメージ図である。
【図5】説明モードに切り替えられたフレームの一例のイメージ図である。
【図6】コントロールモード時のサイバーフィルムの制御を表したイメージ図である。
【図7】サイバーフィルムの概念を説明するためのイメージ図である。
【図8】入出力装置に含まれるモニタを利用したインターフェースの一例のイメージ図である。
【図9】フィルムテーブルの一例の構成図である。
【図10】シーンテーブルの一例の構成図である。
【図11】フレームテーブルの一例の構成図である。
【図12】サイバーフィルムの適応処理の一例について説明するための図である。
【図13】入出力装置に応じてフレームに表示させるサイバーオブジェクトの配置を変化させたフレームの一例のイメージ図である。
【図14】本発明によるインターフェース提示システムの一実施例のシステム構成図である。
【図15】クライアントの一実施例のハードウェア構成図である。
【図16】クライアントの一実施例の機能構成図である。
【図17】本発明によるCIFを用いるクライアントの処理の一例のフローチャートである。
【図18】ユーザ環境モデルの一例の構成図である。
【図19】CIFの適応処理の一例のフローチャートである。
【図20】FCSで利用するユーザ環境モデルの一例の構成図である。
【図21】ユーザ環境モデルのデータ項目とCIFの適応処理との関連を表したテーブルである。
【図22】ユーザ環境モデルの具体例を表した構成図である。
【図23】フィルムテーブルの具体例を表した構成図である。
【図24】シーンテーブルの具体例を表した構成図である。
【図25】フレームの具体例を表したイメージ図である。
【図26】データ項目「使用入出力装置」がワンボタンスイッチのときのサイバーオブジェクトの配置を表したフレームの一例のイメージ図である。
【図27】ワンボタンスイッチの一例のイメージ図である。
【図28】マルチメディア単語を配置したマルチメディアヒエログリフの一例のイメージ図である。
【図29】クライアントの一実施例の機能構成図である。
【図30】マルチメディアヒエログリフを用いた学習方法を実現するクライアントの処理の一例のフローチャートである。
【図31】マルチメディアヒエログリフを用いた学習方法の一実施例のフローチャートである。
【図32】サイバーオブジェクトとマルチメディア単語とを関連付けた単語リストテーブルの一例の構成図である。
【図33】ヒエログリフ作成処理の一例のフローチャートである。
【図34】ヒエログリフ提示処理の一例のフローチャートである。
【図35】動作命令変換関数テーブルの一例の構成図である。
【図36】動作命令対応テーブルの一例の構成図である。
【符号の説明】
【0235】
1 特異情報DB
2 データ提示機能ブロック
3 インターフェース提示機能ブロック
4 データ群DB
5 データフィルタリング装置
6 データ編成装置
7,12 コンピュータ
8 人間又は機械
9 インターフェース群DB
10 インターフェースフィルタリング装置
11 インターフェース編成装置
13 入出力装置
14 ユーザ
60 ビュー
61,62 マルチビュー
63 フレーム
64 サイバーフィルム
100 インターフェース提示システム
101 クライアント
102 フィルムデータベースサーバ(フィルムDBサーバ)
103 認証サーバ
104 コンテンツサーバ
105 ユーザ環境モデルデータベース(ユーザ環境モデルDB)
108 ネットワーク
111 入力装置
112 出力装置
113 ドライブ装置
114 記録媒体
115 補助記憶装置
116 メモリ装置
117 演算処理装置
118 ネットワーク接続装置
131 通信制御部
132 CIF処理部
134 コンピュータ
135 入出力装置
351 CCF処理部
352 フレーム処理部
353 マルチメディアヒエログリフ処理部
354 マルチメディアヒエログリフ提示部
B バス
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35