Top > Search of Japanese Patents > LEARNING SUPPORT DEVICE, LEARNING SUPPORT DEVICE CONTROLLING METHOD, LEARNING SUPPORT DEVICE CONTROLLING PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM

LEARNING SUPPORT DEVICE, LEARNING SUPPORT DEVICE CONTROLLING METHOD, LEARNING SUPPORT DEVICE CONTROLLING PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM

Patent code P06P004225
Posted date Dec 13, 2006
Application number P2005-151046
Publication number P2006-330173A
Patent number P4608655
Date of filing May 24, 2005
Date of publication of application Dec 7, 2006
Date of registration Oct 22, 2010
Inventor
  • (In Japanese)若松 昭彦
Applicant
  • (In Japanese)国立大学法人広島大学
Title LEARNING SUPPORT DEVICE, LEARNING SUPPORT DEVICE CONTROLLING METHOD, LEARNING SUPPORT DEVICE CONTROLLING PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM
Abstract PROBLEM TO BE SOLVED: To provide a learning support device enabling a user to have a more accurate comprehension of the content shown in a picture.
SOLUTION: The learning support device receives a user's judgement on the content shown by the picture displayed on a display section 4, and determines whether the user's judgement is correct or incorrect. Before this determination, the picture is displayed on the display section 4 without outputting audio information stored in a storage section 3 and correlated with the picture from an audio output section 5. After the determination, the audio information correlated with the picture is output together with the display of the picture from the audio output section 5.
Outline of related art and contending technology (In Japanese)


従来から、基本的な表情の理解(表情が示す感情の理解)や言葉での表現、状況と表情との関係の理解などは、自閉性障害者(児)の教育では、取り組まれている課題である。このような課題に取り組むための教材として、例えば、非特許文献1に記載のように、表情の絵カードや顔写真が、多く用いられている。



一方、表情理解学習のためのコンピュータプログラムも報告されている。例えば、非特許文献2に記載の学習プログラムには、喜び、悲しみ、怒り、恐れの4種の感情を喚起する写真と字幕(競走の写真と「~は競走で一着になった」等)、人物が欲しかった物の絵と手に入れた物の絵(喜びか悲しみかの2択)、人物が好きか嫌いな事物・事象の絵と字幕(喜びか失望かの2択)等から、人物の感情を推測する課題の中の1つに、上記の4感情を示す表情写真を自閉性障害者(児)に理解させるための課題が用意されている。そして、これを含む計5種類の課題が各々20問ずつあり、学習プログラム全体が5種類の課題、すなわち5つのセクションからなっている。そして、全問正解で次のセクションに進めるようになっている。



これらのプログラムは、いずれも表情写真などの静止画像を用いたものである。このように従来多く使われている表情写真は、意図的に表出されたものであり、誇張されたものが多く、自発的に表出された実際場面での表情とは異なっている。しかし、表情表出は本来動的な過程であり、情報の忠実性の観点からも動画像の方がより望ましいと考えられる。実際、成人、知的障害者、相貌失認患者などで、動画像の方が写真などの静止画像よりも表情理解を促進する効果があることが、例えば、非特許文献3に開示されている。しかしながら、これまでに、自閉性障害児にとって動画像の理解の方が本当に容易であるのかどうかは、確認されていない。また、これまでに、感情強度の評定値を統制して動画像と静止画像の理解を比較した研究は行われてこなかった。なお、感情強度とは、人物の顔に表出された表情を見たときに受ける印象の強さ度合いのことである。また、感情強度の評定値は、ここでは、次のように算出するものとする。初めに、人物の表情を表す表情の動画像、静止画像を複数の協力者(健常者)にそれぞれ見せ、それぞれの画像がどの感情を示しているかを、感情カテゴリー「喜び・悲しみ・怒り・驚き・恐れ・中性・その他」のリストから、1つ選択させる。次に、その画像に対する協力者自身が感じる感情の強さを10段階(1は非常に弱い、10は非常に強い)で評定させる。そして、それぞれの画像について、画像を見せた協力者の評定を集計し、評定平均値の小数点以下3桁目を四捨五入したものを、各画像の感情強度の評定値とする。



そこで、本発明者は、非特許文献4に開示されているように、コンピュータで合成した、感情強度の評定値の同じ静止画像と動画像とを用いた、表情理解のための学習プログラムを作成し、このプログラムを実行する表情学習支援装置を用いて自閉性障害者に学習を行わせた。



上記表情学習支援装置では、動画像の表情表出のピークを静止画像にしたが、感情強度が可能な限り類似した組み合わせを作り、感情強度の評定平均値、感情カテゴリーの平均評定一致率のどちらにも有意差は認められない状態で、動画像と静止画像の比較を行っている。さらに、この表情学習支援装置は、コンピュータで合成した表情を用いたために、刺激としての均質性がより高く厳密な比較が可能となっている。また、静止画像の場合にも同じ表情間でモーフィング(画像を変化させる技術の一つで、二つの静止画像を入力し、それらを最初と最後のフレームとして連続して変化する動画や中間の静止画像を作成する処理)を行っているために、動画像と静止画像の画質の差がない。この表情学習支援装置を用いた学習では、動画像の方が静止画像よりも対象とした自閉性障害者の誤答が少なく、表情判断が全般的に容易であった。
【非特許文献1】
新澤伸子著 「はじめの一歩 ―自閉症の子どもたち、幼児期からの療育と援助―」社会福祉法人 横浜やまびこの里 1999年出版 46-47頁
【非特許文献2】
Silver, M. and Oakes, P.(2001) Evaluation of a new computer intervention to teach people with autism or Asperger syndrome to recognize and predict emotions in others. Autism: The International Journal of Research and Practice, 5(3), 299-316.
【非特許文献3】
Gepner, B., Deruelle, C., and Grynfeltt, S. (2001) Motion and emotion: a novel approach to the study of face processing by young autistic children. Journal of Autism and Developmental Disorders, 31(1),37-45.
【非特許文献4】
「日本特殊教育学会 第42回大会発表論文集」 日本特殊教育学会 第42回大会準備委員会 2004年8月発行 636頁
【非特許文献5】
向後礼子 「知的障害者の非言語的コミュニケーションについて -表情ならびに音声からの他者感情の読みとり-」 発達障害研究 第26巻 第1号 2004年、8-14頁
【非特許文献6】
越川房子 「発達障害者の表情識別訓練」 発達障害研究 第26巻 第1号 2004年 15-22頁

Field of industrial application (In Japanese)


本発明は、画像が示す内容の理解、特に表情画像が示す感情の理解をするためのユーザの学習を支援する、学習支援装置、学習支援装置の制御方法、学習支援装置の制御プログラム、及びコンピュータ読み取り可能な記録媒体に関するものである。

Scope of claims (In Japanese)
【請求項1】
 
表示部と、
人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び、当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データ、を記憶している記憶部と、
ユーザ入力を受け付ける操作部と、
上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する制御部と、を備えた学習支援装置において、
さらに、音声出力部を備え、
上記記憶部は、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方、を記憶しており、
上記制御部は、上記判定前には、上記表情画像に対応付けられた音情報を音声出力部にて出力すること無しに上記表情画像を上記表示部に表示し、上記ユーザ判断が誤りであると判定すると、上記表情画像の表示と共に、当該表情画像に対応付けられた音情報を上記記憶部から読み出して上記音声出力部にて出力し、
上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでいることを特徴とする学習支援装置。

【請求項2】
 
表示部と、
人物の表情を表す表情画像と、当該表情画像に対応付けられた音情報と、当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データと、を記憶している記憶部と、
ユーザ入力を受け付ける操作部と、
上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する制御部と、を備えた学習支援装置において、
さらに、音声出力部を備え、
上記記憶部は、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方、を記憶しており、
上記制御部は、上記判定前には、上記表情画像に対応付けられた音情報を音声出力部にて出力すること無しに上記表情画像を上記表示部に表示し、上記判定後には、上記表情画像の表示と共に、当該表情画像に対応付けられた音情報を上記音声出力部にて出力し、
上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでいることを特徴とする学習支援装置。

【請求項3】
 
上記制御部は、上記表示部にて上記表情画像を表示すると共に、上記表示部に当該表情画像が示す内容をユーザに選択させるための選択肢情報を表示することを特徴とする請求項1または2に記載の学習支援装置。

【請求項4】
 
上記制御部は、上記表情画像に対応付けられた音情報を音声出力部にて出力すること無しに上記表情画像を上記表示部に表示する際、上記表示部にて上記表情画像を再度表示することを特徴とする請求項1から3の何れか1項に記載の学習支援装置。

【請求項5】
 
表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶しており、上記制御部が、上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップを含む、学習支援装置での出力制御方法において、
上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
上記制御部が、上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
上記制御部が、上記判定ステップにて、ユーザ判断が誤りであると判定すると、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を含んでいることを特徴とする学習支援装置での出力制御方法。

【請求項6】
 
表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶しており、上記制御部が、上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップを含む学習支援装置での出力制御方法において、
上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
上記制御部が、上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
上記制御部が、上記判定ステップ後に、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を含んでいることを特徴とする学習支援装置での出力制御方法。

【請求項7】
 
表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶している、学習支援装置の制御プログラムにおいて、
上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
上記制御部に、
上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップと、
上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
上記判定ステップにて、ユーザ判断が誤りであると判定すると、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を実行させるための制御プログラム。

【請求項8】
 
表示部と、人物の表情を表す表情画像、当該表情画像に対応付けられた音情報、及び当該表情画像が示す感情についてのユーザ判断の正誤を判定するために必要な判定データを記憶している記憶部と、ユーザ入力を受け付ける操作部と、制御部と、音声出力部とを備え、上記記憶部は、さらに、上記表情画像に対応付けられた音情報として、上記表情画像が示す感情を抱く人物が発する音声および上記表情画像が示す感情を表す擬態語の少なくともどちらか一方を記憶している、学習支援装置の制御プログラムにおいて、
上記表情画像は、表出された表情を見た受け手が感じる印象の強さの度合いを数値化した感情強度を予め評定した評定値が揃えられた、動画像と静止画像とを含んでおり、
上記制御部に、
上記表情画像を上記表示部に表示し、当該表情画像が示す感情についてのユーザ判断を上記操作部を通して受付け、当該ユーザ判断の正誤を上記判定データに基づき判定する判定ステップと、
上記判定ステップ前に、上記表情画像に対応付けられた音情報を、音声出力部にて出力すること無しに、上記表情画像を上記表示部に表示する画像表示ステップと、
上記判定ステップ後に、上記表情画像の表示と共に、上記画像に対応付けられた音情報を上記記憶部から読み出して出力する音声出力ステップと、を実行させるための制御プログラム。

【請求項9】
 
請求項7または8に記載の制御プログラムが記録されたコンピュータ読み取り可能な記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2005151046thum.jpg
State of application right Registered


PAGE TOP

close
close
close
close
close
close
close