TOP > 国内特許検索 > 意思疎通支援装置 > 明細書

明細書 :意思疎通支援装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4385163号 (P4385163)
公開番号 特開2005-148959 (P2005-148959A)
登録日 平成21年10月9日(2009.10.9)
発行日 平成21年12月16日(2009.12.16)
公開日 平成17年6月9日(2005.6.9)
発明の名称または考案の名称 意思疎通支援装置
国際特許分類 G06T   7/20        (2006.01)
G06T   1/00        (2006.01)
G06T   7/00        (2006.01)
G09B  21/06        (2006.01)
FI G06T 7/20 300B
G06T 1/00 340A
G06T 7/00 300G
G09B 21/06
請求項の数または発明の数 8
全頁数 36
出願番号 特願2003-383168 (P2003-383168)
出願日 平成15年11月12日(2003.11.12)
審査請求日 平成18年11月10日(2006.11.10)
特許権者または実用新案権者 【識別番号】803000089
【氏名又は名称】株式会社 鹿児島TLO
発明者または考案者 【氏名】渡邊 睦
【氏名】西 奈津子
個別代理人の代理人 【識別番号】100064458、【弁理士】、【氏名又は名称】田中 正治
審査官 【審査官】松永 稔
参考文献・文献 特開2000-68882(JP,A)
特開2002-197465(JP,A)
特開平6-311220(JP,A)
特開昭60-3793(JP,A)
特開2005-100366(JP,A)
特開2003-187232(JP,A)
特開2002-269544(JP,A)
特開2004-280301(JP,A)
特開2001-117700(JP,A)
調査した分野 G06T 7/20
G06T 1/00
G06T 7/00
G09B 21/06
特許請求の範囲 【請求項1】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文を表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項2】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を視覚表示し、その会話文列中の選択表示されている会話文を音声表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項3】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、(i)その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始時点から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、(ii)上記視覚表示が得られてから、上記口唇パターン識別結果表示情報の内容が上記予定の時間を経過する前の時点から変われば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項4】
人の顔を撮像し、人の顔画像信号を得る撮像手段と、
上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、
上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、
上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報と上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報とを用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、(i)その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始時点から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、(ii)上記視覚表示が得られてから、上記明度ヒストグラム表示情報の内容が予定の閾値以上に変化すれば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有することを特徴とする意思疎通支援装置。
【請求項5】
請求項1、請求項2または請求項3記載の意思疎通支援装置において、
上記口唇パターン識別手段が、
上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、
上記明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、
上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、
上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有することを特徴とする意思疎通支援装置。
【請求項6】
請求項4記載の意思疎通支援装置において、
上記口唇パターン識別手段が、
上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、
上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、
上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有することを特徴とする意思疎通支援装置。
【請求項7】
請求項5または請求項6記載の意思疎通支援装置において、
上記明度特徴解析手段における顔画像信号の明度特徴の解析を、上記明度ヒストグラム表示情報が表している明度ヒストグラム上でみた予定の明度範囲での画素数の総和がどのような値をとるのかの解析を以って行うことを特徴とする意思疎通支援装置。
【請求項8】
請求項1、請求項2、請求項3または請求項4記載の意思疎通支援装置において、
上記撮像手段から得られる顔画像信号から、人の口唇領域の画像信号を口唇領域画像信号として抽出する口唇領域画像信号抽出手段を有し、
上記口唇パターン識別手段において用いる上記撮像手段から得られる顔画像信号を、上記口唇領域画像信号抽出手段で抽出された口唇領域画像信号とすることを特徴とする意思疎通支援装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、身体の自由な動きのとれず且つ会話及び手の不自由な人であっても、その人の意思の疎通ができるように支援することができる意思疎通支援装置に関する。
【背景技術】
【0002】
従来、互いに異なる疎通せんとする人の意思をそれぞれ表している複数の会話文が、人に対して、順次視覚表示されるようになされ、そして、人が意図する疎通せんとする意思を表している会話文が視覚表示されるとき、人が、その人の身体上に予め装着されているセンサに対して、それから予定のセンサ出力が出力されるように操作することによって、そのセンサからセンサ出力が出力されるようになされ、それによって、いま人が意図する疎通せんとする意思を表している会話文が視覚または音声表示されるようになされている、という意思疎通支援装置(これを第1の意思疎通支援装置と称す)が提案されている。
また、従来、人の視線を検出し、そして、その検出出力に応じた、予め用意された互いに異なる疎通せんとする人の意思を表している複数の会話文中の人が意図する意思を表している会話文が、視覚または音声表示されるようになされている、という意思疎通支援装置(これを第2の意思疎通支援装置と称す)も提案されている。
【発明の開示】
【発明が解決しようとする課題】
【0003】
上述した従来の第1の意思疎通支援装置の場合、人が意図する疎通せんとする人の意思を表している会話文を視覚または音声表示するにつき、人に、その人の身体にセンサを予め装着させることを要するとともに、そのように人の身体に装着されたセンサを操作させることを要し、そこに、人に負担をかけさせるとともに、人の操作誤りが生じたりして、人が意図する意思を正しく疎通させることができなかったりする、という欠点を有していた。
また、上述した従来の第2の意思疎通支援装置の場合、人の視線の検出が、人の意図的な視線以外に人の非意図的な視線まで検出されるのを余儀なくされるため、人が意図する意思を表している会話文を正しく視覚または音声表示させることができなかったりし、よって人が意図する意思を正しく疎通させることができなかったりし、また、それを回避せんとすれば、人に非意図的な視線をとることのないように強いたりして、人に負担をかけたりする、という欠点を有していた。
よって、本発明は、上述した欠点のない新規な意思疎通支援装置を提案せんとするものである。
【課題を解決するための手段】
【0004】
本願第1番目の発明による意思疎通支援装置は、(a) 人の顔を撮像し、人の顔画像信号を得る撮像手段と、(b)上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、(c)上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文を表示する会話文表示手段とを有する。
【0005】
本願第2番目の発明による意思疎通支援装置は、(a)人の顔を撮像し、人の顔画像信号を得る撮像手段と、(b)上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、(c)上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を視覚表示し、その会話文列中の選択表示されている会話文を音声表示する会話文表示手段とを有する。
【0006】
本願第3番目の発明による意思疎通支援装置は、(a)人の顔を撮像し、人の顔画像信号を得る撮像手段と、(b)上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、(c)上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報を用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、(i)その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始時点から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、(ii)上記視覚表示が得られてから、上記口唇パターン識別結果表示情報の内容が上記予定の時間を経過する前の時点から変われば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有する。
【0007】
本願第4番目の発明による意思疎通支援装置は、(a)人の顔を撮像し、人の顔画像信号を得る撮像手段と、(b)上記撮像手段から得られる顔画像信号を用い、それが表している口唇パターンが複数の参照用口唇パターン中のいずれの参照用口唇パターンに一致しているかまたは最も近いかを識別し、その識別結果を表している口唇パターン識別結果表示情報を得る口唇パターン識別手段と、(c)上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、(d)上記口唇パターン識別手段から得られる口唇パターン識別結果表示情報と上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報とを用い、上記顔画像信号が表している口唇パターンが一致しているかまたは最も近い上記複数の参照用口唇パターン中の参照用口唇パターンに対応している会話文に対する選択表示を伴っている会話文列を、その会話文列中の選択表示されている会話文を是認するか否かを表している確認文とともに視覚表示し、(i)その視覚表示が得られてから、上記口唇パターン識別結果表示情報がいままでの内容を上記視覚表示開始時点から予定の時間を経過する時点まで持続すれば、人が上記会話文列中の選択表示されている会話文を是認しているとして、上記選択表示されている会話文を音声表示し、(ii)上記視覚表示が得られてから、上記明度ヒストグラム表示情報の内容が予定の閾値以上に変化すれば、人が上記会話文列中の選択表示されている会話文を是認していないとして、上記会話文列と同様の新たな会話文を、上記確認文とともに視覚表示する会話文表示手段とを有する。

【0008】
なお、本願第1、第2または第3番目の発明による意思疎通支援装置において、上記口唇パターン識別手段が、(a)上記顔画像信号から、その画像表示画面上でみた明度ヒストグラムを表している明度ヒストグラム表示情報を生成する明度ヒストグラム表示情報生成手段と、(b)上記明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、(c)上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、(d)上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有し、上記明度特徴解析手段における顔画像信号の明度特徴の解析を、上記明度ヒストグラム表示情報が表している明度ヒストグラム上でみた予定の明度範囲での画素数の総和がどのような値をとるのかの解析を以って行うようにするのを可とする。
【0009】
また、本願第4番目の発明による意思疎通支援装置において、上記口唇パターン識別手段が、(a)上記明度ヒストグラム表示情報生成手段から得られる明度ヒストグラム表示情報を用い、上記顔画像信号の画像表示画面上でみた明度特徴を解析し、その解析された明度特徴を表している明度特徴表示情報を生成する明度特徴解析手段と、(b)上記顔画像信号の明度特徴に対する複数の参照用明度特徴をそれぞれ表している複数の参照用明度特徴表示情報を記憶している参照用明度特徴表示情報記憶手段と、(c)上記明度特徴表示情報と上記複数の参照用明度特徴表示情報とを用い、上記顔画像信号の明度特徴が上記複数の参照用明度特徴中のいずれの内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を上記口唇パターン識別結果表示情報として生成する明度特徴識別手段とを有し、上記明度特徴解析手段における顔画像信号の明度特徴の解析を、上記明度ヒストグラム表示情報が表している明度ヒストグラム上でみた予定の明度範囲での画素数の総和がどのような値をとるのかの解析を以って行うようにするのを可とする。
さらに、本願第1、第2、第3または第4番目の発明による意思疎通支援装置において、上記口唇パターン識別手段において用いる上記撮像手段から得られる顔画像信号を、上記撮像手段から得られる顔画像信号から、人の口唇領域の画像信号を口唇領域画像信号として抽出する口唇領域画像信号抽出手段で抽出された口唇領域画像信号とするようにするのを可とする。
【発明の効果】
【0010】
本願第1番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と会話文表示手段とを有する構成で、人が意図的にとる口唇パターンに応じた会話文を、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【0011】
また、本願第2番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と会話文表示手段とを有する構成で、視覚表示された複数の会話文を有する会話文列中の人が意図的にとる口唇パターンに応じて選択された会話文を、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【0012】
また、本願第3番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と会話文表示手段とを有する構成で、視覚表示された複数の会話文を有する会話文列中の人が意図的にとる口唇パターンに応じて選択された会話文を、視覚表示された確認文による是認の下で、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【0013】
さらに、本願第4番目の発明による意思疎通支援装置によれば、撮像手段と口唇パターン識別手段と明度ヒストグラム表示情報生成手段と会話文表示手段とを有する構成で、視覚表示された複数の会話文を有する会話文列中の人が意図的にとる口唇パターンに応じて選択された会話文を、視覚表示された確認文による是認の下で、人が意図する意思として、正しく表示することができ、そこに、人に、意図的な口唇パターンをとらせる負担をかけさせるとしても、人にそれ以上の負担をかけさせなくてすみ、よって、人が意図する意思を、容易に、正しく疎通させることができる。
【実施例1】
【0014】
次に、図を伴って、本発明による意思疎通支援装置の第1の実施例を述べよう。
本発明による意思疎通支援装置の第1の実施例においては、スタートボタンSBを操作することによって得られるスタート信号STに基づき、動作を開始し、次で、終了ボタンEBを操作することによって得られる終了信号EDに基づき動作を終了する、コンピュータを用いて構成された意思疎通支援手段Gを有する。
【0015】
[撮像手段]
この意思疎通支援手段Gは、図1に示すように、人Mの顔Fを撮像し、人Mの顔画像信号S1を得る撮像手段Q1を有する。この撮像手段Q1としては、いわゆるビデオカメラ、テレビカメラと称されているようなそれ自体公知の種々の撮像手段を用い得る。
【0016】
[口唇領域画像抽出手段]
また、意思疎通支援手段Gは、図1に示すように、上述した撮像手段Q1から得られる顔画像信号S1から、人Mの口唇のパターン(これを一般に口唇パターンDPとする)を含む領域(これを一般に口唇領域ELとする)の画像を表している口唇領域画像信号S2を抽出する口唇領域画像抽出手段Q2を有する。
【0017】
ここで、口唇パターンDPは、人Mが、口を開けたり、歯をみせたり、口をつぼめたり、舌を出したりする、ということをせずに、自然の口の状態を保っている場合に得られる、図9に示すような、「自然状態のときの口唇パターンDP-A」をとる外、例えば、
(1)人Mに、例えば(i)「あいさつ」、(ii-1)「おはよう」、(ii-2)「飲み物が欲しい」、(ii-3)「トイレに行きたい」、(ii-4)「外へ行きたい」の表示を看取すれば、「歯を見せずに口を開ける」ということをしなさいと予め言い聞かせておくことによって、人Mがそうする場合に得られる、図5Aに示すような、「歯を見せずに口を開けているときの口唇パターンDP-1」とか、
(2)人Mに、例えば(i)「飲食関係」、(ii-1)「こんにちは」、(ii-2)「お腹が空いた」、(ii-3)「あつい」、(ii-4)「テレビを見たい」の表示を看取すれば、「歯を見せる」ということをしなさいと予め聞かせておくことによって、人Mがそうする場合に得られる、図6Aに示すような、「歯を見せているときの口唇パターンDP-2」とか、
(3)人Mに、例えば(i)「訴え」、(ii-1)「こんばんは」、(ii-2)「お菓子が欲しい」、(ii-2)「さむい」、(ii-4)「音楽が聴きたい」の表示を看取すれば、「口をつぼめる」ということをしなさいと予め聞かせておくことによって、人Mがそうする場合に得られる、図7Aに示すような、「口をつぼめているときの口唇パターンDP-3」とか、
(4)人Mに、例えば(i)「他の要望」、(ii-1)「ありがとう」、(ii-2)「何も食べたくない」、(ii-3)「痛い」、(ii-4)「眠りたい」の表示を看取すれば、「舌を出す」ということをしなさいと予め聞かせておくことによって、人Mがそうする場合に得られる、図8Aに示すような、「舌を出しているときの口唇パターンDP-4」とか、
の口唇の輪郭形状からみてもまた口唇の輪郭内の模様からみても互いに異なるパターンをとり得ることは注意すべきである。
【0018】
口唇領域画像抽出手段Q2としては、図2に示すような、
(イ)画像信号V10を用い、その画像表示画面でみて、その画像表示画面内に表されているエッジを検出し、その検出されたエッジを表しているエッジ表示情報H21を得るエッジ検出手段K21と、
(ロ)画像信号V10及びエッジ検出手段K21から得られるエッジ表示情報H21を用い、画像信号V10の表示画面でみて、エッジ表示情報H21が表しているエッジ中から、抽出画像信号H20の画像表示画面上で予定の面積範囲内の面積を有する閉領域を画成することができるエッジ群を選択し、その選択されたエッジ群を表している選択エッジ群表示情報H22を得るエッジ群選択手段K22と、
(ハ)画像信号V10とエッジ群選択手段K22から得られる選択エッジ群表示情報H22とを用い、画像信号V10の画像表示画面でみて、その画像表示画面内でのエッジ群選択手段K22から得られる選択エッジ群表示情報H22が表しているエッジ群が画成する閉領域に輪郭が外接する長方形またはそれより一回り大きな長方形を生成し、その長方形を表している長方形表示情報H23を生成する長方形生成手段K23と、
(ニ)画像信号V10と長方形生成手段K23で生成される長方形表示情報H23とを用い、画像信号V10から、その画像表示画面でみて、その画像表示画面内の長方形生成手段K23で生成された長方形表示情報H23が表している長方形の領域の画像を抽出し、その抽出された長方形の領域の画像を表している長方形領域画像信号H24を抽出画像信号V20として生成する長方形領域抽出手段K24とを有する、それ自体公知のコンピュータを用いた画像抽出手段K20を用い得る。
ただし、この場合、
(イ)′上記(イ)で用いる画像信号V10を、撮像手段Q1から得られる顔画像信号S1とし、
(ロ)′上記(ロ)での予定の面積範囲内の面積を、顔画像信号S1の画像表示画面でみて、その画像表示画面が表わしている口唇パターンDPがとる口唇パターン中の最小口唇パターンまたはそれよりも一周り小さな口唇パターンの面積から、口唇パターンDPがとる口唇パターン中の最大口唇パターンまたはそれよりも一周り大きな口唇パターンの面積までの面積が含まれる面積範囲の面積として、用いる。
【0019】
口唇領域画像抽出手段Q2として上述した画像抽出手段K20を用いれば、
(イ)エッジ検出手段K21によって、顔画像信号S1の画像表示画面でみてその画像表示画面内の人Mの口唇の輪郭線上においてエッジを検出することができ、よって、そのように検出されるエッジを表わしているエッジ表示情報H21′を、エッジ表示情報H21として得ることができ、また、
(ロ)エッジ群選択手段K22によって、顔画像信号S1の画像表示画面でみて、エッジ検出手段K21からエッジ表示情報H21として得られるエッジ表示情報H21′が表しているエッジ中から、顔画像信号S1の画像表示画面内で、口唇パターンDPがとる口唇パターンの面積を有する閉領域を画成することができる、というエッジ群を選択することができ、よって、そのように選択されるエッジ群を表わしている選択エッジ群表示情報H22′を、選択エッジ群表示情報H22として得ることができ、さらに、
(ハ)長方形生成手段K23によって、顔画像信号S1の画像表示画面でみて、その画像表示画面上で、エッジ群選択手段K22から選択エッジ群表示情報H22として得られる選択エッジ群表示情報H22′が表しているエッジ群が画成する閉領域に外接する長方形またはそれより一回り大きな長方形を生成することができ、そして、そのように生成される長方形の領域内に口唇パターンDPがとる口唇パターンが含まれ、よって、そのように生成される口唇パターンDPがとる口唇パターンが含まれる長方形を表わしている長方形表示情報H23′を、長方形表示情報H23として得ることができ、また、
(ニ)長方形領域抽出手段K24によって、顔画像信号S1から、その画像表示画面でみて、その画像表示画面内の長方形生成手段K23から長方形表示情報H23として得られる長方形表示情報H23′が表している口唇パターンDPがとる口唇パターンが含まれる長方形の領域の画像、従って口唇領域ELの画像を抽出して得ることができ、よって、そのように抽出される口唇領域ELの画像を表わしている口唇領域画像信号S2を、長方形領域画像信号H24または抽出画像信号V20として得ることができる、ということは明らかである。
【0020】
[口唇パターン識別手段]
さらに、意思疎通支援手段Gは、図1に示すように、上述した口唇領域画像抽出手段Q2から得られる口唇領域画像信号S2を用い、それが表わしている口唇パターンDPが、複数の参照用口唇パターンRP-1、RP-2、……中のいずれの参照用口唇パターン(これを一般にRPとする)に一致するかまたは最も近いかを識別し、その識別結果を表わしている口唇パターン識別結果表示情報S3を得る口唇パターン識別手段Q3を有する。
【0021】
ここで、複数の参照用口唇パターンRP-1、RP-2……は、人Mの口唇の輪郭形状からみてもまた口唇の輪郭内の模様からみても互いに異なる標準的な複数の口唇パターンであるが、いま、複数の参照用口唇パターンRP-1、RP-2……を4つの参照用口唇パターンRP-1、RP-2、RP-3及びRP-4とするとき、それら4つの参照用口唇パターンRP-1、RP-2、RP-3及びRP-4としては、それぞれ顔画像信号S1が表わしている口唇パターンDPがとり得るとして[口唇領域画像抽出手段]の項で上述した、図5A、図6A、図7A及び図8Aにそれぞれ示すような4つの口唇パターンDP-1、DP-2、DP-3及びDP-4の標準的な口唇パターンとし得る。
【0022】
以下、口唇パターン識別手段Q3における、複数の参照用口唇パターンRP-1、RP-2……が、4つの参照用口唇パターンRP-1、RP-2、RP-3及びRP-4であるとし、そして、それら4つの参照用口唇パターンRP-1、RP-2、RP-3及びRP-4が、上述した、図5A、図6A、図7A及び図8Aにそれぞれ示すような4つの口唇パターンDP-1、DP-2、DP-3及びDP-4の標準的な口唇パターンであるとして述べる。
【0023】
口唇パターン識別手段Q3としては、図3に示すような、
(イ)画像信号V20を用い、その画像信号V20から、その画像表示画面上でみたその画像表示画面の明度ヒストグラム(明度値に対する画素数を表わしている)LHを表わしている明度ヒストグラム表示情報H31を生成する明度ヒストグラム表示情報生成手段K31と、
(ロ)その明度ヒストグラム表示情報生成手段K31で生成される明度ヒストグラム表示情報H31を用い、画像信号V20の画像表示画面でみたその画像表示画面の明度特徴DLを解析し、その解析された明度特徴DLを表わしている明度特徴表示情報H32を生成する明度特徴解析手段K32と、
(ハ)複数の参照用明度特徴RL-1、RL-2……をそれぞれ表示している複数の参照用明度特徴表示情報H33-1、H33-2……を記憶している参照用明度特徴表示情報記憶手段K33と、
(ニ)明度特徴解析手段K32から得られる明度特徴表示情報H32と参照用明度特徴表示情報記憶手段K33に記憶されている複数の参照用明度特徴表示情報H33-1、H33-2……とを用い、明度特徴表示情報H32が表わしている明度特徴DLが、複数の参照用明度特徴表示情報H33-1、H33-2……中のいずれの参照用明度特徴表示情報H33が表している参照用明度特徴の内容を一致してまたは最も近いとして満足しているかを識別し、その識別結果を表わしている明度特徴識別結果表示情報H34を画像識別結果表示情報H30として生成する明度特徴識別手段K34とを有する、それ自体公知のコンピュータを用いた画像識別手段K30を用い得る。
【0024】
ただし、この場合、
(イ)′上記(イ)における画像信号V20を、上述した口唇領域画像抽出手段Q2から得られる口唇領域画像信号S2とする。また、
(ロ)′上記(ロ)における、画像信号V20の画像表示画面でみたその画像表示画面の明度特徴DLの解析を、次に述べるように行う。
【0025】
すなわち、画像信号V20を上述した口唇領域画像信号S2としている場合、口唇領域画像信号S2から生成される明度ヒストグラム表示情報H31が表わしている明度ヒストグラムLHは、口唇領域画像信号S2が、(1)図5Aに示すような口唇パターンDP-1を表わしているか、(2)図6Aに示すような口唇パターンDP-2を表わしているか、(3)図7Aに示すような口唇パターンDP-3を表わしているか、(4)図8Aに示すような口唇パターンDP-4を表わしているかで、互いに異なる明度特徴DL-1、DL-2、DL-3及びDL-4をそれぞれ表わしていることは明らかであるが、いま、明度ヒストグラムLHを、横軸に明度値LVを、縦軸に画素数Nをとって表わし、そして、口唇領域画像信号S2が、口唇パターンDP-1、DP-2、DP-3及びDP-4の標準としての参照用口唇パターンRP-1、RP-2、RP-3及びRP-4だけを各別に表しているとした場合、明度ヒストグラム表示情報H31が表わしている明度ヒストグラムLHは、
(1)口唇領域画像信号S2が参照用口唇パターンRP-1を表わしている場合のみ、図5Bに示すような、(i)明度ヒストグラムLH上の、明度値Lα(ただし、明度値LVの最小値を0に、最大値を255に規定した場合でみて、明度値Lαは、0≦Lα≦5を可とし、望ましくは例えばLα=0)から、明度値Lαよりも大きな明度値Lβ(ただし、明度値LVの最小値を同じ0に、最大値を同じ255に規定した場合でみて、明度値Lβは、40≦Lβ≦60を可とし、望ましくはLβ=50)までの明度値範囲Aでの画素数Nの総和SA(明度値Lαに対する画素数Nα、明度値L(α+1)に対する画素数N(α+1)……明度値L(β-1)に対する画素数N(β-1)、明度値Lβに対する画素数Nβの総和)が、値RSAV-1以下でない、または、(ii)明度ヒストグラムLH上の、(ア)明度値Lαを通る縦線と(イ)明度値Lβを通る縦線と(ウ)明度値Lαから明度値Lβまでの間での各明度値に対する画素数をそれぞれ表わしている多数の点を結んだ包絡線と(エ)横軸線とで囲まれた領域の面積GAが、値RGAV-1以下でない、という参照用明度特徴RL-1を表わして得られ、
(2)口唇領域画像信号S2が参照用口唇パターンRP-2を表わしている場合のみ、図6Bに示すような、(a)(i)上述した画素数の総和SAが、上述した値RSAV-1よりも小さな値RSAV-2以下であり、または、(ii)上述した面積GAが、上述した値RGAV-1よりも小さな値RGAB-2以下であり、且つ(b)(i)明度ヒストグラムLH上の上述した明度値Lβと同じまたはそれに近い明度値Lγ(ただし、明度値LVの最小値を同じ0に、最大値を同じ255に規定した場合でみて、明度値Lγは、20≦Lγ≦40を可とし、望ましくは例えばLγ=30)から明度値Lγよりも大きな明度値Lδ(ただし、明度値LVの最小値を同じ0に、最大値を同じ255に規定した場合でみて、明度値Lδは、80≦Lδ≦100を可とし、望ましくは例えばLδ=90)までの明度値範囲Bでの画素数の総和SBが、値RSBV以下でなく、または、(ii) 明度ヒストグラムLH上の、(ア)明度値Lγを通る縦線と(イ)明度値Lδを通る縦線と(ウ)明度値Lγから明度値Lδまでの間での各明度値に対する画素数をそれぞれ表わしている多数の点を結んだ包絡線と(エ)横軸線とで囲まれた領域の面積GBが、値RGBV以下でない、という参照用明度特徴RL-2を表わして得られ、
(3)口唇領域画像信号S2が参照用口唇パターンRP-3を表わしている場合のみ、図7Bに示すような、(a)(i)上述した画素数の総和SAが、上述した値RSAV-2以下であり、または、(ii)上述した面積GAが、上述した値RGAV-2以下であり、且つ(b)(i)上述した画素数の総和SBが、値RSBV以下であり、または、(ii)上述した面積GBが、上述した値RGBV以下である、という参照用明度特徴RL-3を表わして得られ、
(4)口唇領域画像信号S2が参照用口唇パターンRP-4を表わしている場合のみ、図8Bに示すような、(i)上述した画素数の総和SAが、値RSAV-1以下であって且つ値RSAV-2以下でない、または(ii)上述した面積GAが、上述した値RGAV-1以下であって且つ値RGAV-2以下でない、という参照用明度特徴RL-4を表わして得られる、
ということを確認したことから、画像信号V20の画像表示画面上でみたその画像表示画面の明度特徴DLの解析を、明度ヒストグラム表示情報H31が表わしている明度ヒストグラムLH上でみた上述した画素数の総和SA及びSB、または面積GA及びGBが、どのような値をとるかの解析を以って行う。
【0026】
さらに、
(ハ)′上記(ハ)における複数の参照用明度特徴RL-1、RL-2……をそれぞれ表している複数の参照用明度特徴表示情報H33-1、H33-2………を、複数4つの参照用明度特徴RL-1、RL-2、RL-3及びRL-4をそれぞれ表している参照用明度特徴表示情報H33-1、H33-2、H33-3及びH33-4とする。また、
(ニ)′上記(ニ)における複数の参照用明度特徴表示情報H33-1、H33-2………を、複数4つの参照用明度特徴表示情報H33-1、H33-2、H33-3及びH33-4とする。
【0027】
口唇パターン識別手段Q3として上述した画像識別手段K30を用いれば、
(イ)明度ヒストグラム表示情報生成手段K31によって、口唇領域画像抽出手段Q2から得られる口唇領域画像信号S2から、その画像表示画面でみたその画像表示画面の明度ヒストグラムLHを表わしている明度ヒストグラム表示情報H31′を生成することができ、よって、そのように生成される明度ヒストグラム表示情報H31′を、明度ヒストグラム表示情報H31として得ることができ、また、
(ロ)明度特徴解析手段K32によって、明度ヒストグラム表示情報生成手段K31で明度ヒストグラム表示情報H31として生成される明度ヒストグラム表示情報H31′を用い、その明度ヒストグラム表示情報H31′が表わしている明度ヒストグラムLH上の、上述した画素数Nの総和SA及びSBまたは面積GA及びGBが、それぞれどのような値をとるかの解析を以って、口唇領域画像信号S2の画像表示画面上でみたその画像表示画面の明度特徴DLの解析とし、その解析された明度特徴DLを表わしている明度特徴表示情報H32′を生成することができ、よって、そのように生成された明度特徴表示情報H32′を明度特徴表示情報H32として得ることができ、さらに、
(ハ)明度特徴識別手段K34によって、明度特徴解析手段K32で明度特徴表示情報H32として生成される明度特徴表示情報H32′が表わしている明度特徴DL(上述した画素数Nの総和SA及びSBまたは面積GA及びGBがどのような値をとっているかを表している)が、4つの参照用明度特徴表示情報H33-1、H33-2、H33-3及びH33-4中のいずれの参照用明度特徴表示情報H33の参照用明度特徴RLを一致してまたは最も近いとして満足しているかを識別することができ、そして、その識別結果を表わしている情報を口唇パターン識別結果表示情報S3として生成することができ、よって、その口唇パターン識別結果表示情報S3を明度特徴識別結果表示情報H34従って画像識別結果表示情報H30として生成することができる、ということは明らかである。
【0028】
ここで、明度特徴識別手段K34によって、明度特徴表示情報H32′が表している明度特徴DLが、4つの参照用明度特徴表示情報H33-1、H33-2、H33-3及びH33-4中のいずれの参照用明度特徴表示情報H33の参照用明度特徴RLを一致してまたは最も近いとして満足しているかの識別結果を表している情報を口唇パターン識別結果表示情報S3として生成することができ、よって、その口唇パターン識別結果表示情報S3を明度特徴識別結果表示情報H34従って画像識別結果表示情報H30として生成することができる、と上述したことの詳細について述べれば次のとおりである。
【0029】
すなわち、
(1)明度特徴識別手段K34によって、いま、明度特徴表示情報H32′が表している明度特徴DLが参照用明度特徴表示情報H33-1が表している参照用明度特徴RL-1の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴DLに係る上述した画素数Nの総和SAまたは面積GAの値が、参照用明度特徴RL-1が「画素数Nの総和SAが値RSAV-1以下でないまたは面積GAが値RGAV-1以下でない」と上述した、その値RSAV-1または値RGAV-1と一致するまたはそれに近い値以下でない、とすれば、そのことを以って、明度特徴DLが参照用明度特徴RL-1の内容を一致してまたは最も近いとして満足している、従って、人Mの口唇パターンDPが参照用口唇パターンRP-1と一致しているまたはそれに最も近い口唇パターンDP-1である、と識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報S3-1として生成することができ、よって、その口唇パターン識別結果表示情報S3-1を、口唇パターン識別結果表示情報S3として、且つ明度特徴識別結果表示情報H34従って画像識別結果表示情報H30として生成することができ、また、
(2)明度特徴識別手段K34によって、いま、明度特徴表示情報H32′が表している明度特徴DLが参照用明度特徴表示情報H33-2が表している参照用明度特徴RL-2の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴DLに係る上述した画素数Nの総和SAまたは面積GAの値が、参照用明度特徴RL-2が「画素数Nの総和SAが値RSAV-2以下でありまたは面積GAが値RGAV-2以下であり、且つ画素数Nの総和SBが値RSBV以下でなくまたは面積GBが値RGBV以下でない」と上述した、その値RSAV-2または値RGAV-2と一致するまたはそれに近い値以下でなり、且つ値RSBVまたは値RGBVと一致するまたはそれに近い値でないとすれば、そのことを以って、明度特徴DLが参照用明度特徴RL-2の内容を一致してまたは最も近いとして満足している、従って、人Mの口唇パターンDPが参照用口唇パターンRP-2と一致しているまたはそれに最も近い口唇パターンDP-2である、と識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報S3-2として生成することができ、よって、その口唇パターン識別結果表示情報S3-2を、口唇パターン識別結果表示情報S3として、且つ明度特徴識別結果表示情報H34従って画像識別結果表示情報H30として生成することができ、さらに、
(3)明度特徴識別手段K34によって、いま、明度特徴表示情報H32′が表している明度特徴DLが参照用明度特徴表示情報H33-3が表している参照用明度特徴RL-3の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴DLに係る画素数Nの総和SAまたは面積GAの値が、上述した値RSAV-2または上述した値RGAV-2と一致するまたはそれに近い値以下であり、且つ上述した値RSBVまたは値RGBVと一致するまたはそれに近い値以下であるとすれば、そのことを以って、明度特徴DLが参照用明度特徴RL-3の内容を一致してまたは最も近いとして満足している、従って、人Mの口唇パターンDPが参照用口唇パターンRP-3と一致しているまたはそれに最も近い口唇パターンDP-3であると識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報S3-3として生成することができ、よって、その口唇パターン識別結果表示情報S3-3を、口唇パターン識別結果表示情報S3として、且つ明度特徴識別結果表示情報H34従って画像識別結果表示情報H30として生成することができ、また、
(4)明度特徴識別手段K34によって、いま、明度特徴表示情報H32′が表している明度特徴DLが参照用明度特徴表示情報H33-4が表している参照用明度特徴RL-4の内容を一致してまたは最も近いとして満足しているとすれば、すなわち、明度特徴DLに係る画素数Nの総和SAまたは面積GAの値が、上述した値RSAV-1または上述した値RGAV-1と一致するまたはそれに近い値以下であり、且つ上述した値RSAV-2または値RGAV-2と一致するまたはそれに近い値以下であるとすれば、そのことを以って、明度特徴DLが参照用明度特徴RL-4の内容を一致してまたは最も近いとして満足している、従って、人Mの口唇パターンDPが参照用口唇パターンRP-4と一致しているまたはそれに最も近い口唇パターンDP-3である、と識別し、そして、その識別結果を表している情報を口唇パターン識別結果表示情報S3-4として生成することができ、よって、その口唇パターン識別結果表示情報S3-4を、口唇パターン識別結果表示情報S3として、且つ明度特徴識別結果表示情報H34従って画像識別結果表示情報H30として生成することができる。
【0030】
[会話文等表示手段]
また、意思疎通支援手段Gは、図1に示すように、口唇パターン識別手段Q3から得られる口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報H31′を用いる会話文等表示手段Q4を有する。
【0031】
この会話文等表示手段Q4は、図4に示すように、会話文等情報出力・表示手段K41と制御手段K42とを有する。
【0032】
[会話文等情報出力・表示手段]
会話文等情報出力・表示手段K41は、会話文等視覚表示情報出力手段M1と会話文等視覚表示手段M2と会話文音声表示情報出力手段M3と会話文音声表示手段M4とを有する。
【0033】
[会話文等視覚表示情報出力手段]
会話文等視覚表示情報出力手段M1は、短文視覚表示情報出力手段M11と会話文視覚表示情報出力手段M12と確認文視覚表示情報出力手段M13とを有する。
【0034】
[短文視覚表示情報出力手段]
短文視覚表示情報出力手段M11は、短文視覚表示情報B11を記憶する短文記憶手段(図示せず)を有し、後述する制御手段K42によって後述するように制御されることによって、短文記憶手段に記憶されている短文視覚表示情報B11を、会話文等情報出力・表示手段K41の出力として出力するようになされている。
ここで、短文視覚表示情報B11は、[口唇パターン識別手段]の項で上述した参照用口唇パターンRP-1、RP-2、RP-3及びRP-4、または口唇パターンDP-1、DP-2、DP-3及びDP-4にそれぞれ対応している短文C1-1、C1-2、C1-3及びC1-4が、例えば表形式に、配列されている短文列C1が、会話文等視覚表示手段M2の表示面上において、短文列C1を構成している短文C1-1~C1-4中の選択された1つの短文に対する例えば枠付けによる選択表示mを伴って、図10に示すように、視覚表示され得る、という内容を表している。
【0035】
この場合、短文列C1を構成している短文C1-1、C1-2、C1-3及びC1-4の内容としては、図10に示すような、それぞれ、[口唇領域画像抽出手段]において上述した、「あいさつ」、「飲食関係」、「訴え」及び「他への要望」とし得る。
また、いま述べた「あいさつ」、「飲食関係」、「訴え」及び「他への要望」に、それぞれ[口唇領域画像抽出手段]の項で上述した、口唇パターンDP-1、DP-2、DP-3及びDP-4を得るときの人Mの口唇状態をそれぞれ表している短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」を添えて置くのを可とする。
以下、簡単のため、短文C1-1、C1-2、C1-3及びC1-4が、それぞれ短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」のそれぞれ添えられた「あいさつ」、「飲食関係」、「訴え」及び「他への要望」の内容を有するとして述べる。
【0036】
[会話文視覚表示情報出力手段]
また、会話文等視覚表示情報出力手段M1が有する会話文視覚表示情報出力手段M12は、会話文視覚表示情報B12-1、B12-2、B12-3及びB12-4を記憶する会話文記憶手段(図示せず)を有し、後述する制御手段K42によって後述するように制御されることによって、会話文記憶手段に記憶されている会話文視覚表示情報B12-1、B12-2、B12-3及びB12-4を、各別に、会話文視覚表示情報出力手段M12の出力として出力するようになされている。
【0037】
(1)ここで、会話文視覚表示情報B12-1は、上述した参照用口唇パターンRP-1、RP-2、RP-3及びRP-4、または口唇パターンDP-1、DP-2、DP-3及びDP-4にそれぞれ対応している会話文C21-1、C21-2、C21-3及びC21-4が、例えば表形式に、配列されている会話文列C21が、会話文等視覚表示手段M2の表示面上において、会話文列C21を構成している会話文C21-1~C21-4中の選択された1つの会話文に対する例えば枠付けによる選択表示mを伴って、図11に示すように視覚表示され得る、という内容を表している。
この場合、会話文列C21を構成している会話文C21-1、C21-2、C21-3及びC21-4の内容としては、図11に示すように、それぞれ、[口唇領域画像抽出手段]において上述した、「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」とし得る。
また、いま述べた「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」に、それぞれ[口唇領域画像抽出手段]の項で上述した、口唇パターンDP-1、DP-2、DP-3及びDP-4を得るときの人Mの口唇状態をそれぞれ表している短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」を添えて置くのを可とする。
【0038】
以下、簡単のため、会話文C21-1、C21-2、C21-3及びC21-4が、それぞれ短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」の添えられた「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」の内容を有するとして述べる。
【0039】
(2)また、上述した会話文視覚表示情報B12-2は、上述した参照用口唇パターンRP-1、RP-2、RP-3及びRP-4、または口唇パターンDP-1、DP-2、DP-3及びDP-4にそれぞれ対応している会話文C22-1、C22-2、C22-3及びC22-4が、例えば表形式に、配列されている会話文列C22が、会話文等視覚表示手段M2の表示面上において、会話文列C22を構成している会話文C22-1~C22-4中の選択された1つの会話文に対する例えば枠付けによる選択表示mを伴って、図12に示すように視覚表示され得る、という内容を表している。
【0040】
この場合、会話文列C22を構成している会話文C22-1、C22-2、C22-3及びC22-4の内容としては、図12に示すように、それぞれ、[口唇領域画像抽出手段]において上述した、「飲み物が欲しい」、「お腹が空いている」、「お菓子が欲しい」及び「何も食べたくない」とし得る。
また、いま述べた「飲み物が欲しい」、「お腹が空いている」、「お菓子が欲しい」及び「何も食べたくない」に、それぞれ[口唇領域画像抽出手段]の項で上述した、口唇パターンDP-1、DP-2、DP-3及びDP-4を得るときの人Mの口唇状態をそれぞれ表している短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」を添えて置くのを可とする。
【0041】
以下、簡単のため、会話文C22-1、C22-2、C22-3及びC22-4が、それぞれ会話文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」の添えられた「飲み物が欲しい」、「お腹が空いている」、「お菓子が欲しい」及び「何も食べたくない」の内容を有するとして述べる。
【0042】
(3)さらに、上述した会話文視覚表示情報B12-3は、上述した参照用口唇パターンRP-1、RP-2、RP-3及びRP-4、または口唇パターンDP-1、DP-2、DP-3及びDP-4にそれぞれ対応している会話文C23-1、C23-2、C23-3及びC23-4が、例えば表形式に、配列されている会話文列C23が、会話文等視覚表示手段M2の表示面上において、会話文列C23を構成している会話文C23-1~C23-4中の選択された1つの会話文に対する例えば枠付けによる選択表示mを伴って、図12に示すように視覚表示され得る、という内容を表している。
【0043】
この場合、会話文C23を構成している会話文C23-1、C23-2、C23-3及びC23-4の内容としては、図13に示すように、それぞれ、[口唇領域画像抽出手段]において上述した、「トイレに行きたい」、「あつい」、「さむい」及び「痛い」とし得る。
また、いま述べた「トイレに行きたい」、「あつい」、「さむい」及び「痛い」に、それぞれ[口唇領域画像抽出手段]の項で上述した、口唇パターンDP-1、DP-2、DP-3及びDP-4を得るときの人Mの口唇状態をそれぞれ表している短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」を添えて置くのを可とする。
【0044】
以下、簡単のため、会話文C23-1、C23-2、C23-3及びC23-4が、それぞれ短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」の添えられた「トイレに行きたい」、「あつい」、「さむい」及び「痛い」の内容を有するとして述べる。
【0045】
(4)また、会話文視覚表示情報B12-4は、上述した参照用口唇パターンRP-1、RP-2、RP-3及びRP-4、または口唇パターンDP-1、DP-2、DP-3及びDP-4にそれぞれ対応している会話文C24-1、C24-2、C24-3及びC24-4が、例えば表形式に、配列されている会話文列C24が、会話文等視覚表示手段M2の表示面上において、会話文列C24を構成している会話文C24-1~C24-4中の選択された1つの会話文に対する例えば枠付けによる選択表示mを伴って、図14に示すように視覚表示され得る、という内容を表している。
【0046】
この場合、会話文列C24を構成している会話文C24-1、C24-2、C24-3及C24-4の内容としては、図14に示すように、それぞれ、[口唇領域画像抽出手段]において上述した、「外へ行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」とし得る。
また、いま述べた「外へ行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」に、それぞれ[口唇領域画像抽出手段]の項で上述した口唇パターンDP-1、DP-2、DP-3及びDP-4を得るときの人Mの口唇状態をそれぞれ表している短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」を添えて置くのを可とする。
【0047】
以下、簡単のため、会話文C24-1、C24-2、C24-3及びC24-4が、それぞれ短文「(口を開ける)」、「(歯を見せる)」、「(口をつぼめる)」及び「(舌を出す)」の添えられた「外へ行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」の内容を有するとして述べる。
【0048】
[確認文視覚表示情報出力手段]
さらに、上述した会話文等視覚表示情報出力手段M1が有する確認文視覚表示情報出力手段M13は、確認文視覚表示情報B13を記憶する確認文記憶手段(図示せず)を有し、後述する制御手段K42によって後述するように制御されることによって、確認文記憶手段に記憶されている確認文視覚表示情報B13を、会話文等視覚表示情報出力手段M1の出力として出力するようになされている。
ここで、確認文視覚表示情報B13は、確認文C3が、会話文等視覚表示手段M2の表示面上において、上述した短文列C1;会話文C21、C22、C23、C24の各別の視覚表示に添えられている態様で、視覚表示される、という内容を表している。
確認文C3の内容としては、「これでいいですか?」とし得る。
以下、簡単のため、確認文C3が「これでいいですか?」の内容を有するとして述べる。
【0049】
[会話文等視覚表示手段]
また、上述した会話文等情報出力・表示手段K41が有する会話文等視覚表示手段M2は、それ自体公知の種々の画像表示手段を用い得、後述する制御手段K42によって後述するように制御されることによって、会話文等視覚表示情報出力手段M1の短文視覚表示情報出力手段M11及び会話文視覚表示情報出力手段M12から各別に出力される短文視覚表示情報B11、及び会話文視覚表示情報B12-1、B12-2、B12-3及びB12-4を各別に用いて、それに、会話文等視覚表示情報出力手段M1の確認文視覚表示情報出力手段M13から出力される確認文視覚表示情報B13を添わせた状態で、または添わせていない状態で、視覚表示するようになされている。
【0050】
[会話文音声表示情報出力手段]
さらに、上述した会話文等情報出力・表示手段K41が有する会話文音声表示情報出力手段M3は、会話文音声表示情報B31-1、B31-2、B31-3、B31-4、B32-1、B32-2、B32-3、B32-4;B33-1、B33-2、B33-3、B33-4;B34-1、B34-2、B34-3、B34-4を記憶する音声会話文記憶手段(図示せず)を有し、後述する制御手段K42によって後述するように制御されることによって、音声会話文記憶手段に記憶されている会話文音声表示情報B31-1、B31-2、B31-3、B31-4、B32-1、B32-2、B32-3、B32-4;B33-1、B33-2、B33-3、B33-4;B34-1、B34-2、B34-3、B34-4を各別に出力するようになされている。
【0051】
(1)ここで、会話文音声表示情報B31-1、B31-2、B31-3及びB31-4は、上述した会話文C21-1、C21-2、C21-3、C21-4にそれぞれ対応している会話文C21-1′、C21-2′、C21-3′、C21-4′が、会話文音声表示手段M4によって音声表示(放声)され得る、という内容をそれぞれ表している。
この場合、会話文C21-1′、C21-2′、C21-3′及びC21-4′の内容としては、それぞれ上述した会話文C21-1、C21-2、C21-3及びC21-4の内容である「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」の内容、またはそれらとそれぞれ同旨の4つの内容とそれぞれし得る。
以下、簡単のため、会話文C21-1′、C21-2′、C21-3′及びC21-4′が、「おはよう」、「こんにちは」、「こんばんは」及び「ありがとう」の内容をそれぞれ有するとして述べる。
【0052】
(2)また、会話文音声表示情報B32-1、B32-2、B32-3及びB32-4は、上述した会話文C22-1、C22-2、C22-3、C22-4にそれぞれ対応している会話文C22-1′、C22-2′、C22-3′、C22-4′が、会話文音声表示手段M4によって音声表示(放声)され得る、という内容をそれぞれ表している。
この場合、会話文C22-1′、C22-2′、C22-3′及びC22-4′の内容としては、それぞれ上述した会話文C22-1、C22-2、C22-3及びC22-4の内容である「飲み物が欲しい」、「お腹が空いた」、「お菓子が欲しい」及び「何も食べたくない」の内容、またはそれらとそれぞれ同旨の4つの内容とそれぞれし得る。
以下、簡単のため、会話文C22-1′、C22-2′、C22-3′及びC22-4′が、「飲み物が欲しい」、「お腹が空いた」、「お菓子が欲しい」及び「何も食べたくない」の内容をそれぞれ有するとして述べる。
(3)さらに、会話文音声表示情報B33-1、B33-2、B33-3及びB33-4は、上述した会話文C23-1、C23-2、C23-3、C23-4にそれぞれ対応している会話文C23-1′、C23-2′、C23-3′、C23-4′が、会話文音声表示手段M4によって音声表示(放声)され得る、という内容をそれぞれ表している。
この場合、会話文C23-1′、C23-2′、C23-3′及びC23-4′の内容としては、それぞれ上述した会話文C23-1、C23-2、C23-3及びC23-4の内容である「トイレに行きたい」、「あつい」、「さむい」及び「痛い」の内容、またはそれらとそれぞれ同旨の4つの内容とそれぞれし得る。
以下、簡単のため、会話文C23-1′、C23-2′、C23-3′及びC23-4′が、「トイレに行きたい」、「あつい」、「さむい」及び「痛い」の内容をそれぞれ有するとして述べる。
(4)また、会話文音声表示情報B34-1、B34-2、B34-3及びB34-4は、上述した会話文C24-1、C24-2、C24-3、C24-4にそれぞれ対応している会話文C24-1′、C24-2′、C24-3′、C24-4′が、会話文音声表示手段M4によって音声表示(放声)され得る、という内容をそれぞれ表している。
この場合、会話文C24-1′、C24-2′、C24-3′及びC24-4′の内容としては、それぞれ上述した会話文C24-1、C24-2、C24-3及びC24-4の内容である「外に行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」の内容、またはそれらとそれぞれ同旨の4つの内容とそれぞれし得る。
以下、簡単のため、会話文C24-1′、C24-2′、C24-3′及びC24-4′が、「外に行きたい」、「テレビを見たい」、「音楽が聴きたい」及び「眠りたい」の内容をそれぞれ有するとして述べる。
【0053】
[会話文音声表示手段]
また、上述した会話文等情報出力・表示手段K41が有する会話文音声表示手段M4は、それ自体公知のスピーカなどでなり、後述する制御手段K42によって後述するように制御されることによって、会話文音声表示情報出力手段M3から出力される会話文音声表示情報B31-1、B31-2、B31-3、B31-4;B32-1、B32-2、B32-3、B32-4;B33-1、B33-2、B33-3、B33-4;B34-1、B34-2、B34-3、B34-4;を各別に用いて、会話文を音声表示(放声)する。
【0054】
[制御手段]
また、会話文等表示手段Q4が有する制御手段K42は、支援者がスタートボタンSBを操作することによってそのタートボタンSBから得られるスタート信号STに基づき、意思疎通支援手段Gが起動することによって、口唇パターン識別手段Q3で生成される口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報H31′を入力する、という初期制御モードをとり、その初期制御モードをとってから、その初期制御モードをとっている状態で、会話文等情報出力・表示手段K41を、口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報H31′の内容に応じて、次のように制御するようになされている。
【0055】
[第1の短文視覚表示制御モード]
制御手段K42は、上述した初期制御モードをとってから、その初期制御モードをとっている状態で、制御手段K42に入力されている口唇パターン識別結果表示情報S3が口唇パターン識別結果表示情報S3-a(a=1、2、3、4)であるとすれば、(a)会話文等情報出力・表示手段K41が有する会話文等視覚表示情報出力手段M1の短文視覚表示情報出力手段M11を、その短文視覚表示情報出力手段M11から、短文視覚表示情報B11が、会話文等視覚表示手段M2の表示面上で短文C1-aに対する選択表示mを伴っている短文列C1が視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま短文視覚表示情報出力手段M11が出力している短文視覚表示情報B11を入力し、会話文等視覚表示手段M2の表示面上に、図15の第1段に示すように、いま会話文等視覚表示手段M2が入力している短文視覚表示情報B11が表している、短文C1-aに対する選択表示mを伴っている短文列C1を視覚表示するように、制御する、という第1の短文視覚表示制御モードをとるようになされている。
【0056】
[第1の短文視覚表示制御モードに続く第2の短文視覚表示制御モード]
また、制御手段K42は、(i)上述した第1の短文視覚表示制御モードの開始時点から計時を開始するタイマ(図示せず)と、(ii)制御手段K42に入力されている口唇パターン識別結果表示情報S3が、いままでの口唇パターン識別結果表示情報S3-aであるという状態から口唇パターン識別結果表示情報S3-b(b=1、2、3、4)であるという状態になることを検出する状態検出手段(図示せず)と、(iii)その状態検出手段の検出出力が、タイマで計時する予定の時間T1(例えば3秒)前の時点で得られれば、そのことを表すトリガ信号を出力するトリガ信号出力手段(図示せず)とを有する第1の状態判知手段(図示せず)を有し、そして、その第1の状態判知手段を用いることで、上述した第1の短文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、第1の短文視覚表示制御モードの開始時点から予定の時間T1(例えば3秒)を経過する前の時点から、いままで口唇パターン識別結果表示情報S3-aであるという状態から口唇パターン識別結果表示情報S3-b(b=1、2、3、4)であるという状態になることが判知されれば、(a)短文視覚表示情報出力手段M11を、その短文視覚表示情報出力手段M11から、短文視覚表示情報B11が、会話文等視覚表示手段M2の表示面上で短文C1-bに対する選択表示mを伴っている短文列C1が視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2の表示面上に、図15の第2の段に示すように、いま会話文等視覚表示手段M2が入力している短文視覚表示情報B11が表している、短文C1-bに対する選択表示mを伴っている短文列C1を視覚表示するように、制御する、という第2の短文視覚表示制御モードをとるようになされている。
【0057】
[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]
さらに、制御手段K42は、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、いままでの口唇パターン識別結果表示情報S3-aであるという状態が、上述したタイマで計時する上述した予定の時間T1を経過すれば、そのことを表すトリガ信号を出力するトリガ信号出力手段(図示せず)を有する第2の状態判知手段(図示せず)を有し、そして、その第2の状態判知手段を用いることで、上述した第1の短文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-aであるという状態が、第1の短文視覚表示制御モードの開始時点から予定の時間T1を経過する時点まで持続することが判知されれば、第1の短文視覚表示モードをとっている状態で、(a)会話文等視覚表示情報出力手段M1が有する確認文視覚表示情報出力手段M13を、その確認文視覚表示情報出力手段M13から確認文視覚表示情報B13が出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま確認文視覚表示情報B13が出力している確認文視覚表示情報B13を入力し、会話文等視覚表示手段M2の表示面上に、図15の第3段に示すように、いま会話文等視覚表示手段M2が入力している確認文視覚表示情報B13が表している確認文(「これでいいですか?」)を視覚表示するように、制御する、という第3の短文視覚表示制御モードをとるようになされている。
【0058】
[第2の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]
また、制御手段K42は、[第1の短文視覚表示制御モードに続く第2の短文視覚表示制御モード]の項で上述した第1の状態判知手段に準じた第1の状態判知手段を用いることで、上述した第2の短文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、第2の短文視覚表示制御モードの開始時点から予定の時間T1を経過する前の時点から、いままで口唇パターン識別結果表示情報S3-bであるという状態から口唇パターン識別結果表示情報S3-c(c=1、2、3、4)であるという状態になることが判知されれば、(a)短文視覚表示情報出力手段M11を、その短文視覚表示情報出力手段M11から、短文視覚表示情報B11が、会話文等視覚表示手段M2の表示面上で短文C1-cに対する選択表示mを伴っている短文列C1が視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、いま会話文等視覚表示手段M2が入力している短文視覚表示情報B11が表している、短文C1-cに対する選択表示mを伴っている短文列C1を視覚表示するように、制御する、という短文視覚表示制御モードを、新たな第2の短文視覚表示モードとして、とるようになされている。
【0059】
[第2の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]
さらに、制御手段K42は、[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述した第2の状態判知手段に準じた第2の状態判知手段を用いることで、上述した第2の短文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報(これをS3-d;d=1、2、3、4とする)であるという状態が、第2の短文視覚表示制御モードの開始時点から予定の時間T1を経過する時点まで持続することが判知されれば、上述した第2の短文視覚表示モードをとっている状態で、(a)確認文視覚表示情報出力手段M13を、その確認文視覚表示情報出力手段M13から、確認文視覚表示情報B13が、会話文等視覚表示手段M2に出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま確認文視覚表示情報B13が出力している確認文視覚表示情報B13を入力し、会話文等視覚表示手段M2の表示面上に、図15の第3段に示すように、いま会話文等視覚表示手段M2が入力している確認文視覚表示情報B13が表している確認文YN(「これでいいですか?」)を視覚表示するように、制御する、という第3の短文視覚表示制御モードをとるようになされている。
【0060】
[第3の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]
また、制御手段K42は、いま、上述した第3の短文視覚表示制御モードの実行開始時点から予定の時間T1を経過する時点までの期間内で順次とるクロック時点をti、そのクロック時点tiの直前のクロック時点をt(i-1)とし、また、制御手段K42が入力している明度ヒストグラム表示情報H31′が表している、明度ヒストグラム上の全明度範囲または一部明度範囲に亘る、時点ti及びt(i-1)での画素数を、それぞれNi及びN(i-1)とするとき、制御手段K42は、上述した第3の短文視覚表示制御モードをとってから、その制御手段K42が入力している明度ヒストグラム表示情報H31′が、上述したクロック時点tiで、上述したクロック時点tiでの画素数Niと、上述したクロック時点t(i-1)での画素数N(i-1)との差が予定の閾値TH以上で得られれば、そのことを表すトリガ信号を出力するトリガ信号出力手段(図示せず)を有し、そして、そのトリガ信号出力手段からトリガ信号が出力されれば、(a)確認文視覚表示情報出力手段M13を、その確認文視覚表示出力手段M13から確認文視覚表示情報B13を出力しないように制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、確認文視覚表示情報B13が表している確認文を視覚表示しないように制御し、且つ(c)短文視覚表示情報出力手段M11を、いま口唇パターン識別結果表示情報S3が口唇パターン識別結果表示情報S3-e(e=1、2、3、4)であるとすれば、短文視覚表示情報出力手段M11から、短文視覚表示情報B11が、会話文等視覚表示手段M2の表示面上で短文C1-eに対する選択表示mを伴っている短文列C1が視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように、制御するとともに、(d)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま短文視覚表示情報出力手段M11が出力している短文視覚表示情報B11を入力し、会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、いま会話文等視覚表示手段M2が入力している短文視覚表示情報B11が表している、短文C1-eに対する選択表示mを伴っている短文列C1を視覚表示するように、制御する、という短文視覚表示制御モードを、新たな第2の短文視覚表示制御モードとしてとるようになされている。
【0061】
[第3の短文視覚表示制御モードに続く第1の会話文視覚表示制御モード]
また、制御手段K42は、[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述した第2の状態判知手段に準じた第2の状態判知手段を用いることで、上述した第3の短文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、いままでの口唇パターン識別結果表示情報(これをS3-f;f=1、2、3、4とする)であるという状態が、第3の短文視覚表示制御モードの開始時点から予定の時間T1を持続することが判知されれば、(a)会話文等視覚表示情報出力手段M1が有する会話文視覚表示情報出力手段M12を、その会話文視覚表示情報出力手段M12から、会話文視覚表示情報B12が、会話文等視覚表示手段M2の表示面上で会話文C2f-fに対する選択表示mを伴っている会話文列C2fが視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2の表示面上に、図15の第4段に示すように、いま会話文等視覚表示手段M2が入力している会話文視覚表示情報B1f-fが表している、会話文C2f-fに対する選択表示mを伴っている会話文列C2fを視覚表示するように、制御する、という第1の会話文視覚表示制御モードをとるようになされている。
【0062】
[第1の会話文視覚表示制御モードに続く第2の会話文視覚表示制御モード]
また、制御手段K42は、[第1の短文視覚表示制御モードに続く第2の短文視覚表示制御モード]の項で上述した第1の状態判知手段に準じた第1の状態判知手段を用いることで、上述した第1の会話文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、第1の会話文視覚表示制御モードの開始時点から予定の時間T1を経過する前の時点から、いままで口唇パターン識別結果表示情報S3-fであった状態から口唇パターン識別結果表示情報S3-g(g=1、2、3、4)である状態になることが判知されれば、(a)会話文視覚表示情報出力手段M12を、その会話文視覚表示情報出力手段M12から、会話文視覚表示情報B1f-gが、会話文等視覚表示手段M2の表示面上で会話文C2f-gに対する選択表示mを伴っている会話文列C2fが視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2の表示面上に、図15の第5段に示すように、いま会話文等視覚表示手段M2が入力している会話文視覚表示情報B1f-gが表している、会話文C2f-gに対する選択表示mを伴っている会話文列C2fを視覚表示するように、制御する、という第2の会話文視覚表示制御モードをとるようになされている。
【0063】
[第1の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]
さらに、制御手段K42は、[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述した第2の状態判知手段に準じた第2の状態判知手段を用いることで、上述した第1の会話文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-fであるという状態が、第1の会話文視覚表示制御モードの開始時点から予定の時間T1を経過する時点まで持続することが判知されれば、第1の会話文視覚表示モードをとっている状態で、(a)確認文視覚表示情報出力手段M13を、その確認文視覚表示情報出力手段M13から確認文視覚表示情報B13が出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま確認文視覚表示情報B13が出力している確認文視覚表示情報B13を入力し、会話文等視覚表示手段M2の表示面上に、図15の第6段に示すように、いま会話文等視覚表示手段M2が入力している確認文視覚表示情報B13が表している確認文YN(「これでいいですか?」)を視覚表示するように、制御する、という第3の会話文視覚表示制御モードをとるようになされている。
【0064】
[第2の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]
また、制御手段K42は、[第1の短文視覚表示制御モードに続く第2の短文視覚表示制御モード]の項で上述した第1の状態判知手段に準じた第1の状態判知手段を用いることで、上述した第2の会話文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、第2の会話文視覚表示制御モードの開始時点から予定の時間T1を経過する前の時点から、いままで口唇パターン識別結果表示情報S3-gであった状態から口唇パターン識別結果表示情報S3-h(h=1、2、3、4)である状態になることが判知されれば、(a)会話文視覚表示情報出力手段M12を、その会話文視覚表示情報出力手段M12から、会話文視覚表示情報B1f-hが、会話文等視覚表示手段M2の表示面上で会話文C2f-hに対する選択表示mを伴っている会話文列C2fが視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2の表示面上に、図15の第5段に示すように、いま会話文等視覚表示手段M2が入力している会話文視覚表示情報B1f-hが表している、会話文C2f-hに対する選択表示mを伴っている会話文列C2fを視覚表示するように、制御する、という会話文視覚表示制御モードを、新たな第2の会話文視覚表示モードとして、とるようになされている。
【0065】
[第2の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]
さらに、制御手段K42は、[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述した第2の状態判知手段に準じた第2の状態判知手段を用いることで、上述した第2の会話文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報(これをS3-jとする)であるという状態が、第2の会話文視覚表示制御モードの開始時点から予定の時間T1を経過する時点まで持続することが判知されれば、上述した第2の会話文視覚表示モードをとっている状態で、(a)確認文視覚表示情報出力手段M13を、その確認文視覚表示情報出力手段M13から確認文視覚表示情報B13が出力されるように、制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま確認文視覚表示情報B13が出力している確認文視覚表示情報B13を入力し、会話文等視覚表示手段M2の表示面上に、図15の第6段に示すように、いま会話文等視覚表示手段M2が入力している確認文視覚表示情報B13が表している確認文(「これでいいですか?」)を視覚表示するように、制御する、という第3の会話文視覚表示制御モードをとるようになされている。
【0066】
[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]
また、制御手段K42は、上述した第3の会話文視覚表示制御モードをとってから、その制御手段K42が入力している明度ヒストグラム表示情報H31′が、[第3の短文視覚表示モードに続く新たな第2の短文視覚表示モード]の項で上述したクロック時点tiに準じたクロック時点ti′で、[第3の短文視覚表示モードに続く新たな第2の短文視覚表示モード]の項で上述したクロック時点tiでの画素数Niに準じたクロック時点ti′での画素数Ni′と、[第3の短文視覚表示モードに続く新たな第2の短文視覚表示モード]の項で上述したクロック時点t(i-1)での画素数N(i-1)に準じたクック時点t(i-1)′での画素数N(i-1)′との差が予定の閾値TH以上で得られれば、そのことを表すトリガ信号を出力するトリガ信号出力手段(図示せず)を有し、そして、そのトリガ信号出力手段からトリガ信号が出力されれば、(a)確認文視覚表示情報出力手段M13を、その確認文視覚表示出力手段M13から確認文視覚表示情報B13を出力しないように制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、確認文視覚表示情報B13が表している確認文を視覚表示しないように制御し、且つ(c)会話文視覚表示情報出力手段M12を、いま口唇パターン識別結果表示情報S3が口唇パターン識別結果表示情報S3-k(k=1、2、3、4)であるとすれば、会話文視覚表示情報出力手段M12から、会話文視覚表示情報B1f-kが、会話文等視覚表示手段M2の表示面上で会話文C2f-kに対する選択表示mを伴っている会話文列C2fが視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように、制御するとともに、(d)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま会話文視覚表示情報出力手段M12が出力している会話文視覚表示情報B1f-kを入力し、会話文等視覚表示手段M2の表示面上に、図15の第5段に示すように、いま会話文等視覚表示手段M2が入力している会話文視覚表示情報B1f-kが表している、会話文C2f-kに対する選択表示mを伴っている会話文列C2fを視覚表示するように、制御する、という会話文視覚表示制御モードを、新たな第2の会話文視覚表示制御モードとしてとるようになされている。
【0067】
[第3の会話文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]
また、制御手段K42は、例えば、上述した第3の会話文視覚表示制御モードをとってから、上述した[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]をとり、次で上述した[第2の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]をとることを検知する手段と、その検知出力に基づき、上述した[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]をとり、次で上述した[第2の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]をとることの繰返しをカウントするカウンタとを有する手段を有し、そして、その手段を用いることで、上述した第3の会話文視覚表示制御モードをとってから、予定の時間T2内で、上述した[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]をとり、次で上述した[第2の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]をとることが予定の複数回繰返されることが判知されれば、(a)会話文等視覚表示情報出力手段M12を、その会話文等視覚表示情報出力手段M12からいままでの会話文等視覚表示情報を出力しないように制御し、且つ確認文視覚表示情報出力手段M13を、その確認文視覚表示出力手段M13から確認文視覚表示情報B13を出力しないように制御するとともに、(b)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、確認文視覚表示情報B13が表している確認文を視覚表示しないように制御し、且つ(c)短文視覚表示情報出力手段M11を、いま口唇パターン識別結果表示情報S3が口唇パターン識別結果表示情報S3-e(e=1、2、3、4)であるとすれば、短文視覚表示情報出力手段M11から、短文視覚表示情報B11が、会話文等視覚表示手段M2の表示面上で短文C1-eに対する選択表示mを伴っている短文列C1が視覚表示され得る内容を表して、会話文等視覚表示手段M2に出力されるように、制御するとともに、(d)会話文等視覚表示手段M2を、その会話文等視覚表示手段M2が、いま短文視覚表示情報出力手段M11が出力している短文視覚表示情報B11を入力し、会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、いま短文等視覚表示手段M2が入力している短文視覚表示情報B11が表している、短文C1-eに対する選択表示mを伴っている会話文列C1を視覚表示するように、制御する、という短文視覚表示制御モードを、新たな第2の短文視覚表示制御モードとしてとるようになされている。
【0068】
[第3の会話文視覚表示制御モードに続く会話文音声表示制御モード]
また、制御手段K42は、[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述した第2の状態判知手段に準じた第2の状態判知手段を用いることで、上述した第3の会話文視覚表示制御モードをとってから、制御手段K42に入力されている口唇パターン識別結果表示情報S3が、いままでの口唇パターン識別結果表示情報(これをS3-pとする)であるという状態が、第3の会話文視覚表示制御モードの開始時点から予定の時間T1を持続すれば、(a)会話文等情報出力・表示手段K41が有する会話文音声表示情報出力手段M3を、その会話文音声表示情報出力手段M3から、会話文視覚表示情報B3f-pが、会話文音声表示手段M4で会話文C2f-pが音声表示され得る内容を表して、会話文音声表示手段M4に出力されるように制御するとともに、(b)会話文音声表示手段M4を、その会話文音声表示手段M4で、いま会話文音声表示手段M4が入力している会話文音声表示情報B3f-pが表している、会話文C2f-p′を音声表示するように、制御する、という会話文音声表示制御モードをとるようになされている。
【0069】
以上で、本発明による意思疎通支援装置の第1の実施例の構成が明らかとなった。
このような構成を有する本発明による意思疎通支援装置の第1の実施例によれば、撮像手段Q1によって顔が撮像されることを意識している、意思疎通支援を必要とする人Mの顔Fが、撮像手段Q1によって撮像され得る状態から、支援者がスタートボタンSBを操作すれば、そのスタートボタンSBからスタート信号STが出力され、それに基づき、意思疎通支援手段Gが全体として起動し、撮像手段Q1から人Mの顔画像信号S1が出力され、その顔画像信号S1が口唇領域画像抽出手段Q2に入力され、それに基づき、その口唇領域画像抽出手段Q2から、[口唇領域画像抽出手段]の項で上述した口唇領域画像信号S2が出力され、その口唇領域画像信号Sが口唇パターン識別手段Q3に入力され、それに基づき、その口唇パターン識別手段Q3から、[口唇パターン識別手段] の項で上述した口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報M31′が出力され、それら口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報M31′が会話文等表示手段Q4に入力され、それに基づき、会話文等表示手段Q4において、次に述べる表示モードが得られる。
【0070】
[第1の短文視覚表示モード]
会話文等表示手段Q4に入力される口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報M31′が会話文等表示手段Q4に入力されるとき、制御手段K42は、口唇パターン識別結果表示情報S3及び明度ヒストグラム表示情報M31′を入力する、という[制御手段]の項で上述した初期制御モードをとっており、そして、制御手段K42が、その初期制御モードをとってから、[第1の短文視覚表示制御モード]の項で上述した第1の短文視覚表示制御モードをとるようになされているため、いま、口唇パターン識別結果表示情報S3が口唇パターン識別結果表示情報S3-a(a=1、2、3、4)であるとすれば、会話文等視覚表示手段M2の表示面上に、図15の第1段に示すように、短文C1-aに対する選択表示mを伴っている短文列C1の視覚表示が得られている、という第1の短文視覚表示モードが得られる。
【0071】
ところで、口唇パターン識別結果表示情報S3が口唇パターン識別結果表示情報S3-aであるのは、[口唇パターン識別手段]の項で上述したところから明らかなように、口唇パターン識別手段Q3において、いま人Mがとっている口唇パターンDPが参照用口唇パターンRP-aと一致しているまたはそれに最も近い、と識別した結果によるものであるが、いま述べた第1の短文視覚表示モードが得られるとき、人Mは、口唇パターンDPとして、4つの参照用口唇パターンRP-1~RP-4中のいずれかに一致しているまたはそれに最も近い口唇パターンをとる、ということを意識せずに、図9に示すような「自然状態のときの口唇パターンDP-A」をとっているのを普通とする。
【0072】
このため、人Mが、口唇パターンDPとして、そのような口唇パターンDP-Aをとっているとすれば、その口唇パターンDP-Aは、参照用口唇パターンRP-2(歯をみせる)に最も近い口唇パターンであるので、口唇パターン識別結果表示情報S3は口唇パターン識別結果表示情報S3-2で得られている。
【0073】
従って、上述した第1の短文視覚表示モードが得られる場合、その第1の短文視覚表示モードは、人Mが口唇パターンDPとして「自然状態のときの口唇パターンDP-A」をとっているのを普通とすることから、図15の第1段に示すように、短文C1-2(「飲食関係」)に対する選択表示mを伴っている短文列C1の視覚表示で得られている。
【0074】
[第1の短文視覚表示モードに続く第2の短文視覚表示モード]
また、上述した第1の短文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターンDP-aから、4つの口唇パターンDP-1(「口を開ける」)、DP-2(「歯をみせる」)、DP-3(「口をつぼめる」)及びDP-4(「舌を出す」)中の1つの口唇パターン(これを口唇パターンDP-b ( b=1、2、3、4)とする)を、第1の短文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-aであるという状態から口唇パターン識別結果表示情報S3-bであるという状態になり、そして、そのような状態になれば、制御手段K42が、[第1の短文視覚表示制御モードに続く第2の短文視覚表示制御モード]の項で上述したように、第1の短文視覚表示制御モードから第2の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、短文C1-bに対する選択表示mを伴っている短文列C1の視覚表示が得られている、という第2の短文視覚表示モードが得られる。
なお、図15の第2段には、第2の短文視覚表示モートが、人Mが口唇パターンDP-bとして口唇パターンDP-3(「口をつぼめる」)をとったことにより、短文C1-3(「訴え」)に対する選択表示mを伴っている短文列C1の視覚表示で得られている、という場合が示されている。
【0075】
[第1の短文視覚表示モードに続く第3の短文視覚表示モード]
さらに、上述した第1の短文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターンDP-aの状態を、第1の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-aであるという状態を、第1の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段K42が、[第1の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述したように、第1の短文視覚表示制御モードから、第3の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第3段に示すように、上述した第1の短文視覚表示モードをとっている状態で、確認文YN(「これでいいですか?」)の視覚表示が得られている、という第3の短文視覚表示モードが得られる。
なお、図15の第3段には、第3の短文視覚表示モートが、人Mのいままでの口唇パターンDP-aが[第1の短文視覚表示モード]の項で例示した口唇パターンDP-A(「自然状態」)であれば、短文C-2(「飲食関係」)に対する選択表示mを伴っている短文列C1の視覚表示と、確認文YN(「これでいいですか?」)の視覚表示とで得られるが、人Mが、口唇パターンDP-aとして、口唇パターンDP-3(「口をつぼめる」)をとったとして、短文C1-3(「訴え」)に対する選択表示mを伴っている短文列C1の視覚表示と、確認文YN(「これでいいですか?」)の視覚表示とで得られている、という場合が示されている。
【0076】
[第2の短文視覚表示モードに続く新たな第2の短文視覚表示モード]
また、上述した第2の短文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターンDP-bの状態から、4つの口唇パターンDP-1~DP-4中の1つの口唇パターン(これを口唇パターンDP-c (c=1、2、3、4)とする)の状態を、第2の短文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-bであるという状態から口唇パターン識別結果表示情報S3-cであるという状態になり、そして、そのような状態になれば、制御手段K42が、[第2の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]の項で上述したように、第2の短文視覚表示制御モードから新たな第2の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、短文C1-cに対する選択表示mを伴っている短文列C1の視覚表示が得られている、という新たな第2の短文視覚表示モードが得られる。
なお、図15の第2段には、新たな第2の短文視覚表示モートが、人Mが口唇パターンDP-cとして口唇パターンDP-3(「口をつぼめる」)をとったことにより、短文C1-3(「訴え」)に対する選択表示mを伴っている短文列C1の視覚表示で得られている、という場合が示されている。
【0077】
[第2の短文視覚表示モードに続く第3の短文視覚表示モード]
さらに、上述した第2の短文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターン(これをDP-d(d=1、2、3、4)とする)の状態を、第2の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-dであるという状態を、第1の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段K42が、[第2の短文視覚表示制御モードに続く第3の短文視覚表示制御モード]の項で上述したように、第2の短文視覚表示制御モードから、第3の短文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第3段に示すように、上述した第2の短文視覚表示モードをとっている状態で、確認文YN(「これでいいですか?」)の視覚表示が得られている、という第3の短文視覚表示モードが得られる。
なお、図15の第3段には、第3の短文視覚表示モートが、人Mのいままでの口唇パターンDP-dが口唇パターンDP-3(「口をつぼめる」)であるとして、短文C1-3(「訴え」)に対する選択表示mを伴っている短文列C1の視覚表示と、確認文YN(「これでいいですか?」)の視覚表示とで得られている、という場合で示されている。
【0078】
[第3の短文視覚表示モードに続く新たな第2の短文視覚表示モード]
さらに、上述した第3の短文視覚表示モードが得られた状態から、人Mが、上述したいままでの口唇パターンDP-dの状態から、口唇パターンDP-dとは、[第3の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]の項で上述したように明度ヒストグラム表示情報H31′がクロック時点tiでの画素数Niとクロック時点t(i-1)との差が予定の閾値THで得られることを表すのに十分なだけ異なる、口唇パターンDP-1~DP-4中の他の口唇パターンを含めた他の口唇パターンの状態を、繰り返しまたは繰返すことなしに、第3の短文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、[第3の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]の項で上述したように明度ヒストグラム表示情報H31′がクロック時点tiでの画素数Niとクロック時点t(i-1)との差が予定の閾値THで得られることを表す、という状態になり、そして、そのような状態になれば、制御手段K42が、[第3の短文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]の項で上述したように、第3の短文視覚表示制御モードから、新たな第3の短文視覚表示制御モードをとるようになされているため、いま、人Mの口唇パターンが口唇パターンDP-e(e=1、2、3、4)であるとすれば、会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、いままでの確認文YN(「これでいいですか?」)の視覚表示は得られていないが、短文C1-eに対する選択表示mを伴っている短文列C1の視覚表示が得られている、という新たな第2の短文視覚表示モードが得られる。
なお、図15の第2段には、新たな第2の短文視覚表示モートが、人Mのいままでの口唇パターンDP-eが口唇パターンDP-3(「口をつぼめる」)であるとして、短文C1-3(「訴え」)に対する選択表示mを伴っている短文列C1の視覚表示と確認文YN(「これでいいですか?」)の視覚表示とで得られている、という場合で示されている。
【0079】
[第3の短文視覚表示モードに続く第1の会話文視覚表示モード]
さらに、上述した第3の短文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターン(これをDP-f(f=1、2、3、4)とする)の状態を、第2の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-dであるという状態を、第1の短文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段K42が、[第3の短文視覚表示制御モードに続く第1の会話文視覚表示制御モード]の項で上述したように、第3の短文視覚表示制御モードから、第1の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第4段に示すように、会話文C2f-fに対する選択表示mを伴っている会話文列C2fの視覚表示が得られている、という第1の短文視覚表示モードが得られる。
なお、図15の第4段には、第1の会話文視覚表示モートが、人Mの口唇パターンDP-fが口唇パターンDP-3(「口をつぼめる」)であるとして、短文C23-3(「さむい」)に対する選択表示mを伴っている会話文列C23の視覚表示で得られている、という場合が示されている。
【0080】
[第1の会話文視覚表示モードに続く第2の会話文視覚表示モード]
また、上述した第1の会話文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターンDP-fから、口唇パターンDP-g (g=1、2、3、4)とする)を、第1の会話文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-fであるという状態から口唇パターン識別結果表示情報S3-gであるという状態になり、そして、そのような状態になれば、制御手段K42が、[第1の会話文視覚表示制御モードに続く第2の会話文視覚表示制御モード]の項で上述したように、第1の会話文視覚表示制御モードから第2の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第5段に示すように、会話文C2f-gに対する選択表示mを伴っている会話文列C2fの視覚表示が得られている、という第2の会話文視覚表示モードが得られる。
なお、図15の第5段には、第2の会話文視覚表示モートが、人Mが口唇パターンDP-fとして口唇パターンDP-2(「歯をみせる」)をとったことにより、会話文C23-2(「あつい」)に対する選択表示mを伴っている会話文列C23の視覚表示で得られている、という場合が示されている。
【0081】
[第1の会話文視覚表示モードに続く第3の会話文視覚表示モード]
さらに、上述した第1の会話文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターンDP-fの状態を、第1の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-fであるという状態を、第1の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段K42が、[第1の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]の項で上述したように、第1の会話文視覚表示制御モードから、第3の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第6段に示すように、上述した第1の会話文視覚表示モードをとっている状態で、確認文YN(「これでいいですか?」)の視覚表示が得られている、という第3の会話文視覚表示モードが得られる。
なお、図15の第6段には、第3の会話文視覚表示モートが、人Mのいままでの口唇パターンDP-fが[第1の会話文視覚表示モード]の項で例示した口唇パターンDP-2(「歯をみせる」)であるとして、会話文C23-2(「あつい」)に対する選択表示mを伴っている会話文列C1の視覚表示と、確認文YN(「これでいいですか?」)の視覚表示とで得られている、という場合が示されている。
【0082】
[第2の会話文視覚表示モードに続く新たな第2の会話文視覚表示モード]
また、上述した第2の会話文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターンDP-gの状態から、4つの口唇パターンDP-1~DP-4中の1つの口唇パターン(これを口唇パターンDP-h (h=1、2、3、4)とする)の状態を、第2の会話文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、その時点から、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-gであるという状態から口唇パターン識別結果表示情報S3-hであるという状態になり、そして、そのような状態になれば、制御手段K42が、[第2の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]の項で上述したように、第2の会話文視覚表示制御モードから新たな第2の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第5段に示すように、会話文C2f-hに対する選択表示mを伴っている会話文列C2fの視覚表示が得られている、という新たな第2の会話文視覚表示モードが得られる。
なお、図15の第5段には、新たな第2の会話文視覚表示モートが、人Mが口唇パターンDP-hとして口唇パターンDP-2(「歯をみせる」)をとったことにより、会話文C23-2(「あつい」)に対する選択表示mを伴っている会話文列C23の視覚表示で得られている、という場合が示されている。
【0083】
[第2の会話文視覚表示モードに続く第3の会話文視覚表示モード]
さらに、上述した第2の会話文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターン(これをDP-j(j=1、2、3、4)とする)の状態を、第2の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-jであるという状態を、第1の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段K42が、[第2の会話文視覚表示制御モードに続く第3の会話文視覚表示制御モード]の項で上述したように、第2の会話文視覚表示制御モードから、第3の会話文視覚表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第6段に示すように、上述した第2の会話文視覚表示モードをとっている状態で、確認文YN(「これでいいですか?」)の視覚表示が得られている、という第3の会話文視覚表示モードが得られる。
なお、図15の第6段には、第3の会話文視覚表示モートが、人Mのいままでの口唇パターンDP-fが口唇パターンDP-3(「歯をみせる」)であるとして、会話文C23-2(「あつい」)に対する選択表示mを伴っている会話文列C23の視覚表示と、確認文YN(「これでいいですか?」)の視覚表示とで得られている、という場合で示されている。
【0084】
[第3の会話文視覚表示モードに続く新たな第2の会話文視覚表示モード]
さらに、上述した第3の会話文視覚表示モードが得られた状態から、人Mが、上述したいままでの口唇パターンDP-jの状態から、口唇パターンDP-jとは、[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]の項で上述したように明度ヒストグラム表示情報H31′がクロック時点ti′での画素数Ni′とクロック時点t(i-1)′との差が予定の閾値THで得られることを表すのに十分なだけ異なる、口唇パターンDP-1~DP-4中の他の口唇パターンを含めた他の口唇パターンの状態を、繰り返しまたは繰返すことなしに、第3の会話文視覚表示モードの開始時点から予定の時間T1を経過する前の時点から、意識的にとれば、[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]の項で上述したように明度ヒストグラム表示情報H31′がクロック時点tiでの画素数Niとクロック時点t(i-1)との差が予定の閾値THで得られることを表す、という状態になり、そして、そのような状態になれば、制御手段K42が、[第3の会話文視覚表示制御モードに続く新たな第2の会話文視覚表示制御モード]の項で上述したように、第3の会話文視覚表示制御モードから、新たな第2の会話文視覚表示制御モードをとるようになされているため、いま、人Mの口唇パターンが口唇パターンDP-k(k=1、2、3、4)であるとすれば、会話文等視覚表示手段M2の表示面上に、図15の第5段に示すように、いままでの確認文YN(「これでいいですか?」)の視覚表示は得られていないが、会話文C2f-kに対する選択表示mを伴っている会話文列C2fの視覚表示が得られている、という新たな第2の会話文視覚表示モードが得られる。
なお、図15の第5段には、新たな第2の会話文視覚表示モートが、人Mのいままでの口唇パターンDP-kが口唇パターンDP-2(「歯をみせる」)であるとして、会話文C2f-2(「訴え」)に対する選択表示mを伴っている会話文列C1の視覚表示と確認文YN(「これでいいですか?」)の視覚表示とで得られている、という場合で示されている。
【0085】
[第3の会話文視覚表示モードに続く新たな第2の短文視覚表示モード]
さらに、上述した第3の会話文視覚表示モードが得られた状態から、人Mが、口唇パターンDPを、[第3の会話文視覚表示制御モードに続く新たな第2の短文視覚表示制御モード]の項で述べた予定の時間T2内で、上述した[第3の会話文視覚表示モードに続く新たな第2の会話文視覚表示モード]をとり、次で上述した[第2の会話文視覚表示モードに続く第3の会話文視覚表示モード]をとることが予定の複数回繰返されるようにとれば、制御手段K42が、第3の会話文視覚表示制御モードから、新たな第2の短文視覚表示制御モードをとるようになされているため、いま、人Mの口唇パターンが口唇パターンDP-3であるとすれば、会話文等視覚表示手段M2の表示面上に、図15の第2段に示すように、短文C1-3に対する選択表示mを伴っている会話文列C1の視覚表示が得られている、という新たな第2の会話文視覚表示モードが得られる。
【0086】
[第3の会話文視覚表示モードに続く会話文音声表示モード]
さらに、上述した第3の会話文視覚表示モードが得られた状態から、人Mが、いままでの口唇パターン(これをDP-p(p=1、2、3、4)とする)の状態を、第2の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで、意識的に持続すれば、口唇パターン識別結果表示情報S3がいままでの口唇パターン識別結果表示情報S3-pであるという状態を、第1の会話文視覚表示モードの開始時点から予定の時間T1を経過する時点まで接続した状態になり、そして、そのような状態になれば、制御手段K42が、[第3の会話文視覚表示制御モードに続く会話文音声表示制御モード]の項で上述したように、第3の会話文視覚表示制御モードから、会話文音声表示制御モードをとるようになされているため、会話文等視覚表示手段M2の表示面上に、図15の第7段に示すように、会話文C2f-pの音声表示が得られている、という会話文音声表示モードが得られる。
なお、図15の第7段には、会話文音声表示モートが、人Mの口唇パターンDP-pが口唇パターンDP-2(「歯をみせる」)であるとして、会話文C23-2(「あつい」)に対する選択表示mを伴っている会話文列C23の音声表示で得られている、という場合が示されている。
【0087】
上述したところから、本発明による意思疎通支援装置の第1の実施例によれば、上述した撮像手段Q1と、上述した口唇領域画像抽出手段Q2と、上述した明度ヒストグラム表示情報生成手段K31を有する口唇パターン識別手段Q3と、上述した会話文等表示手段Q4とを有する構成で、会話文等表示手段Q4の会話文等視覚表示手段M2の表示面上で図15の第1段に示すような第1の短文視覚表示モードをとってから、図15の第2段に示すような第2の短文視覚表示モードをとってまたはとることなしに、図15の第3段に示すような第3の短文視覚表示モードをとり、次で、図15の第4段に示すような第1の会話文視覚表示モードをとり、その第1の会話文視覚表示モードをとってから、図15の第5段に示すような第2の会話文視覚表示モードをとりまたはとることなしに、図15の第6段に示すような第3の会話文視覚表示モードをとり、次で、図15の第7段の会話文音声表示モードをとり、結局、会話文等視覚表示手段M2の表示面上に視覚表示された、4つの会話文列C21~C24中の人Mが意図的にとる4つの口唇パターン(DP-1~DP-4)中の1つの口唇パターン(例えばDP-3(「口をつぼめる」))に応じて選択された会話文列(例えばC23)における4つの会話文(例えばC23-1~C23-4)中の、人が意図的にとる口唇パターン(例えばDP-2(「歯をみせる」))に応じて選択された会話文(例えばC23-2(「あつい」))を、会話文等視覚表示手段M2の表示面上に視覚表示された確認文YN(「これでいいですか?」)による是認の下で、人Mが意図する意思として、正しく音声表示することができ、そこに、人Mに、意図的な口唇パターンをとらせる負担をかけさせるとしても、人Mにそれ以上の負担をかけさせなくてすみ、よって、人Mが意図する意思を、容易に、正しく疎通させることができる。
【変型変更】
【0088】
上述においては、口唇パターン識別手段Q3において、口唇パターン識別結果表示情報S3を生成するにつき、撮像手段Q1から得られる顔画像信号S1を用いた場合を述べたが、撮像手段Q1から得られる顔画像信号S1を直接的に用いて、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【符号の説明】
【0089】
また、上述においては、人Mが、口唇パターンDPとして、互いに異なる4つの口唇パターンDP-a、DP-b、DP-c及びDP-dをとるものとし、また、これに応じ参照用口唇パターンRPを4つの参照用口唇パターンRP-a、RP-b、RP-c及びRP-dとした場合を述べたが、人Mが、口唇パターンDPとして、互いに異なる4つの口唇パターンDP-a、DP-b、DP-c及びDP-d中の任意の2つまたは3つの口唇パターンをとるものとし、また、これに応じ、参照用口唇パターンRPを参照用口唇パターンRP-a、RP-b、RP-c及びRP-d中の1つまたは3つの参照用口唇パターンとして、上述したのに準じた作用・効果を得るようにすることもできることは明らかであろう。
【0090】
さらに、上述においては、4つの会話文を有する4つの会話文列C21~C24を用い、それら中の1つの会話文列中の1つの会話文を音声表示する、従って、16個の会話文中の1つの会話文を音声表示する場合につき述べたが、複数の会話文を有する1つの会話文列を用い、これに応じ、短文列C1を省略し、そして、1つの会話文列が有する複数の会話文中の1つの会話文を音声表示するようにして、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【0091】
また、上述においては、会話文等表示手段Q4において、確認文YNの視覚表示に応じ、第3の短文または会話文視覚表示モードに続く新たな第2の短文または会話文視覚表示モードを得るようにするにつき、明度ヒストグラム表示情報H31′を用いた場合を述べたが、その明度ヒストグラム表示情報H31′に代え、口唇パターン識別結果表示情報S3を用いて、上述したと同様の作用・効果を得るようにすることもできることも明らかであろう。
【0092】
また、上述においては、第1の短文または会話文視覚表示モードをとってから、人Mが、いままでの口唇パターンの状態を、予定の時間T1を経過する前の時点から意識的に他の口唇パターンの状態にとれば、第2の短文または会話文視覚表示モードが得られ、人Mが、いままでの口唇パターンの状態を、予定の時間T1を経過する時点まで意識的に持続すれば、第3の短文または会話文視覚表示モードが得られることで、選択された会話文の表示が得られるようになされている場合につき述べたが、第1の短文または会話文視覚表示モードをとってから、人Mが、いままでの口唇パターンの状態を、意識的に他の口唇パターンの状態に変更しさえすれば、上述した時間T1に関係なしに、直接的に、第2の短文または会話文視覚表示モードまたは第3の短文または会話文視覚表示モードが得られるようにして、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【0093】
さらに、上述においては、第2の短文または会話文視覚表示モードをとってから、人Mが、いままでの口唇パターンの状態を、予定の時間T1を経過する前の時点から意識的に他の口唇パターンの状態にとれば、新たな第2の短文または会話文視覚表示モードが得られ、人Mが、いままでの口唇パターンの状態を、予定の時間T1を経過する時点まで意識的に持続すれば、第3の短文または会話文視覚表示モードが得られることで、選択された会話文の表示が得られるようになされている場合につき述べたが、第2の短文または会話文視覚表示モードをとってから、人Mが、いままでの口唇パターンの状態を、意識的に他の口唇パターンの状態に変更しさえすれば、上述した時間T1に関係なしに、直接的に、第3の短文または会話文視覚表示モードが得られるようにして、上述したと同様の作用・効果を得るようにすることもできることは明らかであろう。
【0094】
また、上述においては、選択された会話文に選択表示mを伴っている会話文列の視覚表示に続いて、その選択表示mの伴った会話文の音声表示をすることで、選択された会話文の表示が得られるようになされている場合につき述べたが、選択された会話文に選択表示mを伴っている会話文列の視覚表示だけでも、人が意図する意思が何であるかが解るので、選択表示mの伴った会話文の音声表示のための手段を省略することもできることも明らかであろう。
【0095】
その他、本発明の精神を脱することなしに、種々の変型、変更をなし得ることは明らかであろう.
【産業上の利用可能性】
【0096】
本発明による意思疎通支援装置は、身体の自由な動きがとれず且つ会話及び手の不自由な人の意思の疎通の支援に用いて好適である。

【図面の簡単な説明】
【0097】
【図1】本発明による意思疎通支援装置の第1の実施例を示す略線的系統図である。
【図2】図1に示す本発明による意思疎通支援装置の第1の実施例に用い得る画像抽出手段を示す略線的系統図である。
【図3】図1に示す本発明による意思疎通支援装置の第1の実施例に用い得る画像識別手段を示す略線的系統図である。
【図4】図1に示す本発明による意思疎通支援装置の第1の実施例における会話文等表示手段を示す略線的系統図である。
【図5A】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口を開けているときの口唇パターンDP-1を示す図である。
【図5B】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口唇パターンとして図5Aに示す口唇パターンDP-1に対応する参照用口唇パターンRP-1をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムLH-1を示す図である。
【図6A】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が歯を見せているときの口唇パターンDP-2を示す図である。
【図6B】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口唇パターンとして図6Aに示す口唇パターンDP-2に対応する参照用口唇パターンRP-2をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムLH-2を示す図である。
【図7A】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口をつぼめているときの口唇パターンDP-3を示す図である。
【図7B】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口唇パターンとして図7Aに示す口唇パターンDP-3に対応する参照用口唇パターンRP-3をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムLH-3を示す図である。
【図8A】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が舌を出しているときの口唇パターンDP-4を示す図である。
【図8B】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口唇パターンとして図8Aに示す口唇パターンDP-4に対応する参照用口唇パターンRP-4をとったときの明度ヒストグラム表示情報が表している明度ヒストグラムLH-4を示す図である。
【図9】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、人が口を自然状態にしているときの口唇パターンDP-Aを示す図である。
【図10】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、会話文等表示手段の表示面上に表示される短文列C1の視覚表示を示す図である。
【図11】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列C21の視覚表示を示す図である。
【図12】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列C22の視覚表示を示す図である。
【図13】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列C23の視覚表示を示す図である。
【図14】図1に示す本発明による意思疎通支援装置の第1の実施例の説明に供する、会話文等表示手段の表示面上に表示される会話文列C24の視覚表示を示す図である。
【図15】図1に示す本発明による意思疎通支援装置の第1の実施例の動作の説明に供する、順次の短文視覚表示モード、会話文視覚表示モード及び会話文音声表示モードを示す図である。
【0098】
G 意思疎通支援手段
K20 画像抽出手段
K21 エッジ検出手段
K22 エッジ群選択手段
K23 長方形生成手段
K24 長方形領域抽出手段
K30 画像識別手段
K31 明度ヒストグラム表示情報生成手段
K32 明度特徴解析手段
K33 参照用明度特徴表示情報記憶手段
K34 明度特徴識別手段
K41 会話文等情報出力・表示手段
K42 制御手段
M 人
M1 会話文等視覚表示情報出力手段
M11 短文視覚表示情報出力手段
M12 会話文視覚表示情報出力手段
M13 確認文視覚表示情報出力手段
M2 会話文等視覚表示手段
M3 会話文音声表示情報出力手段
M4 会話文音声表示手段
Q1 撮像手段
Q2 口唇領域画像抽出手段
Q3 口唇パターン識別手段
Q4 会話文等表示手段
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5A】
4
【図5B】
5
【図6A】
6
【図6B】
7
【図7A】
8
【図7B】
9
【図8A】
10
【図8B】
11
【図9】
12
【図10】
13
【図11】
14
【図12】
15
【図13】
16
【図14】
17
【図15】
18