Top > Search of Japanese Patents > COMMUNICATION DEVICE, COMMUNICATION METHOD AND PROGRAM > Specification

Specification :(In Japanese)意思伝達装置及び意思伝達用プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P5673989
Publication number P2011-013871A
Date of registration Jan 9, 2015
Date of issue Feb 18, 2015
Date of publication of application Jan 20, 2011
Title of the invention, or title of the device (In Japanese)意思伝達装置及び意思伝達用プログラム
IPC (International Patent Classification) G06F   3/048       (2013.01)
FI (File Index) G06F 3/048 656C
Number of claims or invention 2
Total pages 9
Application Number P2009-156517
Date of filing Jul 1, 2009
Appeal or trial number (In Japanese)不服 2013-020071(P2013-020071/J1)
Date of request for substantive examination Feb 23, 2012
Date of appeal or demand for trial Oct 16, 2013
Patentee, or owner of utility model right (In Japanese)【識別番号】301021533
【氏名又は名称】独立行政法人産業技術総合研究所
Inventor, or creator of device (In Japanese)【氏名】長谷川 良平
【氏名】長谷川 由香子
Document or reference (In Japanese)特開2006-350375(JP,A)
特開2004-295578(JP,A)
特開2004-139427(JP,A)
国際公開第2009/057278(WO,A1)
特開2001-344070(JP,A)
Field of search G06F 3/01
G06F 3/048
Scope of claims (In Japanese)【請求項1】
会話の構成要素を階層的にデータベース化して蓄積する手段と、前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示する表示手段と、前記選択画面の選択肢を選択させる入力手段とを備え、
前記表示手段は、第1階層の選択画面でシンボル表示された複数の構成要素のうちの一つが選択されると、該選択された構成要素の第2階層の選択画面を表示し、前記第2階層の選択画面でシンボル表示された複数の構成要素のうちの一つが選択されると、該選択された第2階層の構成要素の第3階層の選択画面を表示する表示手段であり、
前記入力手段は、事象関連脳波の計測による入力手段であり、
各階層で選択された構成要素の組み合わせに対応するメッセージを表示するとともに音声出力することを特徴とする意思伝達装置。
【請求項2】
コンピュータを
会話の構成要素を階層的にデータベース化して蓄積する手段
前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示し、該表示は、第1階層の選択画面でシンボル表示された複数の構成要素のうちの一つが事象関連脳波の計測により選択されると、該選択された構成要素の第2階層の選択画面を表示し、前記第2階層の選択画面でシンボル表示された複数の構成要素のうちの一つが事象関連脳波の計測により選択されると、該選択された第2階層の構成要素の第3階層の選択画面を表示するものであり、各階層で選択された構成要素の組み合わせに対応するメッセージを表示する手段
前記メッセージの表示とともに音声出力する手段
として機能させるためのプログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、発話障害のある障害者や老人や病人等が簡単に操作して意思を伝達することができる階層的入力によりメッセージを出力する意思伝達装置、方法及びプログラムに関する。
【背景技術】
【0002】
現在、ロボット工学、介護福祉機器開発、エンターテインメントの分野では、各種スイッチ、ジョイスティック、マウス、タッチパネル等よる入力操作が行われている。介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、直観的に簡単な操作で意思を伝えることができる機器が望まれている。特に、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。
【0003】
従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献1および2に示されている。特許文献1には、五十音の文字盤に加え身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献2には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。
【先行技術文献】
【0004】

【特許文献1】特開2004-268768号公報
【特許文献2】特開2003-255825号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の文字盤を用いる場合、メッセージを伝えるのに一文字ずつ指差す必要がある。同様に電子機器の場合でも、発話障害の患者などが人工音声を使って相手に意思を伝えるための装置は、通常キーボードを用いて一文字ずつ入力して発話内容を生成する必要がある。しかし、メッセージが複雑になると文字入力に時間がかかるという問題がある。特許文献1は、文字盤とメッセージボードを用いているので、同様の問題がある。
【0006】
一方、メッセージ自身を表した絵を複数種類見せたり、カードあるいはボード上の各区画に選択肢として表示する従来技術では、日常生活で必要な多様なメッセージの多くを同時に表示するのはほぼ不可能である。また、特殊な電子装置が必要になるとコストがかかる。また、使用する障害者等にとって、たくさん提示される中から目標となるものを一つ見つけるのは困難であるという問題がある。また、入力装置の操作が複雑であると習得するのに時間がかかるという問題もある。これらの装置の利用者は、発話が不可能だけでなく細かな手の動作等の機能が不十分であり、また記憶や言葉の理解力も不十分であることが多いので、福祉介護用の装置はその入力方法がより分かりやすく簡便であることが要求されている。
【0007】
日常的に頻度が高い多数の(数百個程度)のメッセージを効率よく管理するためにはデータベースが必要である。しかも、必要となるメッセージは、利用者の障害の程度、特性、環境、状況等に依存して変化する。同じ使用者でも、使用するメッセージは時間とともに変化する。このように、利用者に応じて、データベースにメッセージの追加や変更をする必要があり、その場合には、迅速に反映する必要がある。また、これらの条件を満たしつつ、さらに、インターネット閲覧環境にあるたくさんの介護者を含む利用者がメッセージの追加反映等を行うことのできる汎用性のある装置が望まれている。
【0008】
本発明は、これらの問題を解決しようとするものであり、発話障害のある障害者や老人や病人等の操作者が簡単に操作して意思を伝達することができることを目的とする。本発明は、少ない回数の操作で迅速に意思を伝達することを目的とする。本発明は、メッセージの変更追加が可能で簡単にできるように汎用性があるとともに、利用者毎のカスタマイズが簡単であることを目的とする。
【課題を解決するための手段】
【0009】
本発明は、前記目的を達成するために、以下の特徴を有するものである。
【0010】
本発明の意思伝達装置は、会話の構成要素を階層的にデータベース化して蓄積する手段と、前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示する表示手段とを備え、各階層で選択された構成要素の組み合わせに対応するメッセージを表示するとともに音声出力することを特徴とする。
【0011】
本発明の方法は、会話の構成要素を階層的にデータベース化して蓄積するとともに、前記構成要素をシンボル表示した視覚記号を各階層の選択画面で複数表示し、各階層で選択された構成要素の組み合わせに対応するメッセージを表示するとともに音声出力することを特徴とする。また、本発明のプログラムは、本発明の前記方法を実行するための意思伝達用であることを特徴とする。
【発明の効果】
【0012】
本発明によれば、多様なメッセージをたった数回の選択動作によって生成することができる。また本発明によれば、発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。また本発明は、ソフトおよびデータベースがWEB形式なのでインターネットブラウザで利用可能であり、メッセージの追加や変更が容易で、介護者等が障害者の状況に応じた様々なカスタマイズをすることが可能であり、汎用性が高い。
【0013】
具体的には、本発明によれば、例えば8種類の選択枝から一つを選ぶ動作を3回行う簡単な入力操作で、512種のメッセージから1つを選ぶことができる。従来技術の文字盤入力では、一文字ずつ文字入力で3文字しか選べないことや、絵カード方式によって512種類のメッセージを並べるには非常に広いスペースを要するものに比して、本発明は、入力操作が簡単でかつ早くメッセージを伝えることができる。
【図面の簡単な説明】
【0014】
【図1】本発明の第1の実施の形態の入力場面を説明する図。
【図2】本発明の第1の実施の形態を説明する概念図。
【図3】本発明の第1の実施の形態の第1階層の表示画面を示す図。
【図4】本発明の第1の実施の形態の第2階層の表示画面を示す図。
【図5】本発明の第1の実施の形態の第3階層の表示画面を示す図。
【図6】本発明の第1の実施の形態の最終画面を示す図。
【図7】本発明のデータベースを説明する図。
【発明を実施するための形態】
【0015】
本発明は、WEBページ形式等で階層的にデータベース化された会話の構成要素を複数回連続的に選択することによって複雑な内容のメッセージを簡便に生成する装置でありその方法を実行するシステムのためのプログラムである。会話の構成要素とは、会話を構成する意味のあるかたまりを言い、動詞や名詞等の意味のある語彙から主になる。会話の構成要素をシンボル表示した視覚記号とは、絵、写真、絵文字、従来から用いられている単語的絵カードやピクトグラム等をいう。

【0016】
(第1の実施の形態)
本発明の第1の実施の形態について、図1乃至図7を参照して以下説明する。図1は、本発明の装置を利用している様子を説明する図で、選択入力場面を示す。図2は、各階層での選択と、最終メッセージの関係を説明する図である。図3から図6は、表示手段の表示画面及び選択入力の様子を説明する図であり、会話の構成要素をシンボル表示した視覚記号が複数表示されている。図3は、第1階層の表示画面を示す図である。図4は、第2階層の表示画面を示す図である。図5は、第3階層の表示画面を示す図である。図6は、最終画面を説明する図である。

【0017】
利用者は、図1のように、会話の構成要素がシンボル表示された表示選択画面のうちの1つのシンボル表示を選択する操作をする。図3の第1階層のシンボル表示の例は、「飲食する」「移動する」「各種活動」「気持ち」「体のケア」「時間」「遊ぶ」「テレビ」「人物」等である。中央の多方向の矢印は、選択を指示する表示であるが、特定のシンボル表示でもよい。図1に示すようにタッチパネル付きパソコン画面上で本システムを稼働させる。まず、利用者は、伝えたいメッセージを第1階層の選択肢から選ぶ。

【0018】
1つのシンボル表示が選択されると、次にその動作の対象となる第2階層が図4のように表示される。例えば、図3のように第1階層で「移動する」が選択されたとき、「移動する」の対象となる第2階層の選択肢として、図4のような画面が表示される。図4のように、「洗面所」「風呂場」「他の部屋」「他の階」「病院」「公共施設」「方角」「屋外」等が表示される。

【0019】
次に利用者が第2階層の選択肢の中から伝えたいものを選ぶ。第2階層の中の1つのシンボル表示が選択されると、動作の対象や目的などの会話の構成要素の詳細内容となる第3階層が、図5のように表示される。例えば、第2階層で「洗面所」が選択されると、さらにその動作の目的に関して第3階層が図5のように表示される。図5のように、「トイレ」「手洗い」「洗顔」「歯磨き」「化粧」「ひげそり」「整髪」等が表示される。

【0020】
利用者が第3階層の選択肢の中から伝えたいものを選ぶ。第3階層の中の1つのシンボル表示が選択されると、第1、第2、第3の階層で選択された構成要素から1つのまとまりのあるメッセージが、最終画面に表示されるとともに音声出力される。図6は、メッセージが出力される最終画面を示している。このように、最終的にメッセージが決定され、パソコン画面上の文字とスピーカからの音声によってそのメッセージが出力される。図6では、パソコン画面上のキャラクターが音声出力する様子を示している。最終画面上のキャラクターは利用者毎に登録したアバター(CGキャラクター)でもよい。また、表示画面には、図6画面上部のように各階層での選択肢も表示されると、選択内容が確認できる。

【0021】
各図に示したように、選択肢が簡単なシンボル表示の視覚記号で示されている上に、各階層毎の選択画面が簡単であるように作成されているので、理解力の衰えている利用者でも分かりやすく、また細かな指の動作が困難な障害者でもキーボードを使わずに多様なメッセージを作成でき音声出力がされることから、リアルタイムの迅速な意思伝達ができる。特に、階層構造で、自然な会話をする感覚で選択入力していくことができるので、言葉を自然に話すように、ピクトグラム等の単語的絵カードを数回選んでメッセージの文章を構成することができる。さらに、構成された文章は、パソコンモニタ上のアバターの会話動作とリンクした文字表出および人工音声によって伝達可能であるので実用的である。また、患者とナースセンター等、離れた場所に出力装置を設置すれば、離れた場所間での意思伝達が容易である。

【0022】
このように、本発明は、簡単な選択動作を複数回繰り返すことによって最終的に複雑なメッセージを生成し、人工音声と文字の両方によって表出する装置であり、システム(パソコン等で可動するソフトウェア)を実行するためのプログラムである。多様なメッセージを階層的なカテゴリーに分類可能であるので、各メッセージを階層的なカテゴリーに位置させておき、それを選ぶ方式を構築するものである。例えば図3乃至6に図示したような3階層の場合、「第1階層(大カテゴリー)」、「第2階層(小カテゴリー)」、「第3階層(最終選択肢)」の順序で表示し選択させるようにする。この際、最終結果にたどり着くまでの各階層での選択結果を蓄積することが可能なので、複数の階層の選択を合わせて複雑なメッセージを生成することができる。特に、階層の違いを文法的なことばの構成要素に割り当てることで、自然な言語表出に近い状況をつくることができるものである。例えば、各階層で8種類の選択肢から一つを選ぶ動作を3回行うことで、512種類(8の3乗)のメッセージから一つを選ぶことができる。日常的な生活動作を階層的に分類されたデータベースが本発明の装置を支えている。福祉介護の分野では、512種類のメッセージで、日常的な生活動作の会話をほぼ充足することができる。3階層の例を示したが、必要に応じ、4階層やそれ以上でも本発明を実施することができる。

【0023】
本発明の装置のためのプログラムは、WEBページ形式で作成されており、ネット上のどのパソコンでも利用可能とすることができる。選択肢の選択および選択されたメッセージの表示を、WEBページ形式(HTML言語やJava(登録商標)スクリプト)で制御する。本発明のデータベースの例を図7に示す。データベースは、一部が共通する識別番号を用いて、全表示画面、全階層の選択肢(文字とピクトグラム)、選択肢の位置、最終メッセージの表示及び人工音声データを管理する。これらを統一的に管理するための識別番号は、マップIDと呼ぶことができる。新たな選択肢(文字とピクトグラム)を登録するとき、既存の選択肢の画面提示位置などの変更などのカスタマイズは、識別番号の番号付けによって容易に行うことができる。マップIDは、特に階層間での画面遷移の情報を表現することに優れていて、桁の違いが階層の違いを、その桁の数字の違いが所属カテゴリーの違いを表現している。

【0024】
マップIDの具体的構造は、図7に示すように、左1桁目を「1」とし、そこから例えば2桁毎に区切って各階層の識別子とした。2桁の場合、各階層において2桁で表せる数の選択枝を設定可能である。例えば、第1階層は「100・・・」(図7では「1000000」)、第2階層は第1階層で選択された選択肢をaaとして「1aa00・・・」(図7では「1aa0000」)、第3階層は第1階層でaaが選ばれた後に第2階層でbbが選ばれた場合、「1aabb00・・・」(図7では「1aabb00」)となる。また、選択画面全体はHTML言語で作成し、マップIDに拡張子「.html」をつけたファイル名にするとよい。

【0025】
本システムはWEBブラウザがインストールされている標準的パソコンであれば実施でき、ハードディスクに1セットのファイル群(プログラムおよびデータベース)があれば、実際にインターネットに接続されていなくてもフォルダーのコピーのみで利用可能である。

【0026】
さらに、WEBサーバー上にプログラムを置くことで、個別のパソコンのハードディスク内にファイルがなくてもインターネットにアクセス可能であれば、本発明のプログラムを用いて本発明の利用が可能である。インターネット経由で本発明を利用するユーザーが多数ある場合、サーバー上のシステムにアクセスする人の利用履歴を解析することによって、各メッセージの使用頻度を調べ、頻度の高いものを残して、頻度の低いものを他のメッセージ候補と差し替えるなど、品質の維持改善を行うことが可能である。

【0027】
データベースは、利用者の障害の状態、特性や環境に応じて必要だと予想されるメッセージ群を初期設定で切り替えることができる。例えば、身体機能の障害のために本発明を利用する場合でも、重病で常時病院のベッドでケアされている患者と、家庭で介護されているが車いすで移動が可能な患者には、異なるデータベースを用意する。

【0028】
(第2の実施の形態)
第1の実施の形態では、表示画面をタッチパネルとして画面を選択する入力手段を例示したが、入力手段として、多様な入力が可能である。入力手段には、利用者の障害のレベルに合わせることが重要で、タッチパネルの他に、矢印キー、マウス、視線入力などがある。また、頭部の左右及び前後又は上下の動作をジョイスティック的動作として検出して、本発明の表示画面の選択肢を選択させる入力手段を用いてもよい。また、脳波を用いて入力を行うことができる。表示画面上の各シンボル表示を順にまたはランダムに光らせて光る箇所を変更しながら、利用者の脳波、特にP300と呼ばれる事象関連脳波(刺激提示後300ミリ秒後の陽性の電位変化)を計測することにより、利用者の伝えたいシンボル表示を検出してこれを入力とする。これは、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。

【0029】
なお、上記実施の形態で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
【産業上の利用可能性】
【0030】
本発明の装置、方法及びプログラムは、発話障害者や重度障害者や老人介護を支援する福祉機器として有用である。
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6