TOP > 国内特許検索 > 処理装置、処理方法、及びプログラム > 明細書

明細書 :処理装置、処理方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2019-168837 (P2019-168837A)
公開日 令和元年10月3日(2019.10.3)
発明の名称または考案の名称 処理装置、処理方法、及びプログラム
国際特許分類 G06F   3/01        (2006.01)
G10L  25/90        (2013.01)
G10L  25/21        (2013.01)
G06T   7/20        (2017.01)
G06T   7/00        (2017.01)
FI G06F 3/01 510
G10L 25/90
G10L 25/21
G06T 7/20 300B
G06T 7/00 P
請求項の数または発明の数 14
出願形態 OL
全頁数 21
出願番号 特願2018-055034 (P2018-055034)
出願日 平成30年3月22日(2018.3.22)
発明者または考案者 【氏名】中野 珠実
出願人 【識別番号】503360115
【氏名又は名称】国立研究開発法人科学技術振興機構
個別代理人の代理人 【識別番号】110000408、【氏名又は名称】特許業務法人高橋・林アンドパートナーズ
審査請求 未請求
テーマコード 5E555
5L096
Fターム 5E555AA47
5E555AA48
5E555AA72
5E555BA02
5E555BB02
5E555BC17
5E555CA42
5E555CA47
5E555CB65
5E555DA23
5E555DD06
5E555EA14
5E555EA20
5E555EA22
5E555EA23
5E555EA28
5E555FA00
5L096AA06
5L096CA04
5L096DA02
5L096FA14
5L096FA67
5L096GA51
5L096HA02
要約 【課題】瞬き動作を用いて対話装置とユーザとのコミュニケーションを支援する。
【解決手段】制御装置は、対話装置の瞬き動作のタイミングを取得する第1取得部と、前記対話装置のユーザの瞬きのタイミングを取得する第2取得部と、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部と、を有する。前記処理部は、前記差異に基づく指標値に応じた処理を行ってもよい。前記処理部は、前記ユーザの瞬きのタイミングが前記瞬き動作のタイミングよりも後の所定期間内に含まれる度合いに応じた処理を行ってもよい。
【選択図】図1
特許請求の範囲 【請求項1】
対話装置の瞬き動作のタイミングを取得する第1取得部と、
前記対話装置のユーザの瞬きのタイミングを取得する第2取得部と、
前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部と、
を有する処理装置。
【請求項2】
前記処理部は、
前記差異に基づく指標値に応じた処理を行う
請求項1に記載の処理装置。
【請求項3】
前記処理部は、
前記ユーザの瞬きのタイミングが前記瞬き動作のタイミングに応じた所定期間内に含まれる度合いに応じた処理を行う
請求項1に記載の処理装置。
【請求項4】
前記所定期間は、前記瞬き動作のタイミングから500ミリ秒以下の時点を含む
請求項3に記載の処理装置。
【請求項5】
前記処理部は、
所定の時間軸上に時刻順に並べた前記ユーザの瞬きのタイミングと前記瞬き動作のタイミングとの差異と、前記時間軸上で前記ユーザの瞬き及び前記瞬き動作の少なくとも一方の間隔の順番を変更した場合の前記ユーザの瞬きのタイミングと前記瞬き動作のタイミングとの差異とに応じた前記処理を行う
請求項3に記載の処理装置。
【請求項6】
前記処理部は、
前記対話装置に前記差異に応じた対話処理を行わせる
請求項1に記載の処理装置。
【請求項7】
前記処理部は、
前記対話装置の識別子と対応付けて、前記差異に応じた評価データを出力する
請求項1に記載の処理装置。
【請求項8】
前記対話装置の周辺の環境を示す環境情報を取得する環境情報取得部と、
前記環境情報に応じた第1タイミングに、前記対話装置に瞬き動作をさせる瞬き動作制御部と、
を有する請求項1に記載の処理装置。
【請求項9】
前記ユーザが瞬きをするタイミングと前記環境とを対応付けたデータを記憶装置に蓄積させる記憶制御部を有し、
前記瞬き動作制御部は、
前記第1タイミングを、前記記憶装置に蓄積されたデータと前記環境情報とに応じたタイミングとする
請求項8に記載の処理装置。
【請求項10】
前記瞬き動作制御部は、
さらに、前記第1タイミングとは異なる第2タイミングに前記対話装置に瞬き動作をさせる
請求項9に記載の処理装置。
【請求項11】
目の瞼に相当する瞼部と、
前記瞼部を開閉させることにより、前記瞼部の瞬き動作を制御する瞬き動作制御部と、
を有し、
前記第1取得部は、前記瞼部の瞬き動作のタイミングを取得する請求項1に記載の処理装置。
【請求項12】
表示部と、
前記表示部に表示されたオブジェクトの瞬き動作を制御する瞬き動作制御部と、
を有し、
前記第1取得部は、前記オブジェクトの瞬き動作のタイミングを取得する請求項1に記載の処理装置。
【請求項13】
対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、
前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う、
処理方法。
【請求項14】
コンピュータに、
対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、
前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う機能を実現させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人と対話装置とのコミュニケーションを支援する技術に関する。
【背景技術】
【0002】
人と対話装置との疑似的なコミュニケーション(以下、単に「コミュニケーション」という。)を実現する技術が、従来から提案されている。特許文献1は、対話型の玩具を開示している。また、目の瞬きを模した動作を行う対話装置が提案されている。特許文献2は、CGキャラクタタの目をあらかじめ設定される瞬きの間隔により開閉させることを開示している。特許文献3は、頭の頷き動作のタイミングを起点とし、経時的に指数分布させたタイミングで瞬き動作をするロボットを開示している。なお、話し手及び聞き手の瞬きに関して、本件の発明者らによって、非特許文献1及び非特許文献2に以下の事項が開示されている。非特許文献1は、話し手と聞き手の瞬きが時間遅れで同期することを開示している。また、非特許文献1は、話し手の瞬きは、話の終わり掛け、又は発話の合間で増加することを開示している。非特許文献2は、ロボットである話し手と人間である聞き手との間で、瞬きが時間遅れで同期することを開示している。
【先行技術文献】
【0003】

【特許文献1】特表2010-525848号公報
【特許文献2】特許第5639440号
【特許文献3】特開2000-349920号公報
【0004】

【非特許文献1】Tamami Nakano and Shigeru Kitazawa、" Eyeblink entrainment at breakpoints of speech"、 Experimental Brain Research、205(4)、 p.577-81、[online]、[平成30年3月12日検索]、インターネット<URL:https://www.ncbi.nlm.nih.gov/pubmed/20700731>、(2010年)
【非特許文献2】Kyohei Tatsukawa, Tamami Nakano, Hiroshi Ishiguro and Yuichiro Yoshikawa、" Eyeblink Synchrony in Multimodal Human-Android Interaction"、 Scientific Reports、6:39718、[online]、[平成30年3月12日検索]、インターネット<URL:https://www.nature.com/articles/srep39718>、(2016年)
【発明の概要】
【発明が解決しようとする課題】
【0005】
ユーザと対話装置との間のコミュニケーションとは無関係に、対話装置が瞬き動作をしても、コミュニケーションの質の向上に寄与することが難しい場合がある。
【0006】
そこで、本発明は、瞬き動作を用いて対話装置とユーザとのコミュニケーションを支援することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態は、対話装置の瞬き動作のタイミングを取得する第1取得部と、前記対話装置のユーザの瞬きのタイミングを取得する第2取得部と、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部と、を有する処理装置を提供する。
【0008】
上記処理装置において、前記処理部は、前記差異に基づく指標値に応じた処理を行ってもよい。
【0009】
上記処理装置において、前記処理部は、前記ユーザの瞬きのタイミングが前記瞬き動作のタイミングに応じた所定期間内に含まれる度合いに応じた処理を行ってもよい。
【0010】
上記処理装置において、前記所定期間は、前記瞬き動作のタイミングから500ミリ秒以下の時点を含んでもよい。
【0011】
上記処理装置において、前記処理部は、前記ユーザの瞬きのタイミング及び前記瞬き動作のタイミングを所定の時間軸上に時刻順に並べた第1データにおける前記度合いと、前記ユーザの瞬きのタイミング及び前記瞬き動作のタイミングの少なくとも一方の順番を変更した第2データにおける前記度合いとに応じて、前記処理を行ってもよい。
【0012】
上記処理装置において、前記処理部は、前記対話装置に前記差異に応じた対話処理を行わせてもよい。
【0013】
上記処理装置において、前記処理部は、前記対話装置の識別子と対応付けて、前記差異に応じた評価データを出力してもよい。
【0014】
上記処理装置において、前記対話装置の周辺の環境を示す環境情報を取得する環境情報取得部と、前記環境情報に応じた第1タイミングに、前記対話装置に瞬き動作をさせる瞬き動作制御部と、を有してもよい。
【0015】
上記処理装置において、前記ユーザが瞬きをするタイミングと前記環境とを対応付けたデータを記憶装置に蓄積させる記憶制御部を有し、前記瞬き動作制御部は、前記第1タイミングを、前記記憶装置に蓄積されたデータと前記環境情報とに応じたタイミングとしてもよい。
【0016】
上記処理装置において、前記瞬き動作制御部は、さらに、前記第1タイミングとは異なる第2タイミングに前記対話装置に瞬き動作をさせてもよい。
【0017】
上記処理装置において、目の瞼に相当する瞼部と、前記瞼部を開閉させることにより、前記瞼部の瞬き動作を制御する瞬き動作制御部と、を有し、前記第1取得部は、前記瞼部の瞬き動作のタイミングを取得してもよい。
【0018】
上記処理装置において、表示部と、前記表示部に表示されたオブジェクトの瞬き動作を制御する瞬き動作制御部と、を有し、前記第1取得部は、前記オブジェクトの瞬き動作のタイミングを取得してもよい。
【0019】
本発明の一実施形態は、対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う、処理方法を提供する。
【0020】
本発明の一実施形態は、コンピュータに、対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う機能を実現させるためのプログラムを提供する。
【発明の効果】
【0021】
本発明によれば、瞬き動作を用いて対話装置とユーザとのコミュニケーションを支援することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の第1実施形態である対話装置の外観構成の一例を示す図である。
【図2】本発明の第1実施形態である対話装置が行う瞬き動作を説明する図である。
【図3】本発明の第1実施形態である対話装置のハードウェア構成を示すブロック図である。
【図4】本発明の第1実施形態である対話装置の機能構成を示すブロック図である。
【図5】本発明の第1実施形態の対話装置が実行する処理を示すフローチャートである。
【図6】本発明の第1実施形態の指標算出処理を示すフローチャートである。
【図7】本発明の第1実施形態のタイミング差の算出方法を説明する図である。
【図8】本発明の第1実施形態のタイミング差の出現頻度の分布を示すグラフを示す。
【図9】本発明の第1実施形態のランダムデータの一例を示す図である。
【図10】本発明の第1実施形態の評価値の一例を示す図である。
【図11】本発明の第1実施形態の検証に係る聞き手の瞬きの頻度の分布を示すグラフである。
【図12】本発明の第1実施形態の検証に係る回答結果毎に聞き手の瞬きの頻度の分布を示すグラフである。
【図13】本発明の第1実施形態の検証に係る評価値を、性別及び商品別に示したグラフである。
【図14】本発明の第1実施形態の検証に係る商品への関心度を、性別及び商品別に示したグラフである。
【図15】本発明の第2実施形態である対話装置の機能構成を示すブロック図である。
【図16】本発明の第2実施形態の対話装置が実行する学習処理を示すフローチャートである。
【図17】本発明の第2実施形態の対話装置が実行する瞬き動作に関する処理を示すフローチャートである。
【図18】本発明の第3実施形態である対話装置のハードウェア構成を示すブロック図である。
【図19】本発明の第3実施形態である対話装置の機能構成を示すブロック図である。
【図20】本発明の第3実施形態の対話装置が実行する処理を示すフローチャートである。
【図21】本発明の一実施形態の処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号(数字の後にA、Bなどを付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。

【0024】
発明者は、話し手及び聞き手の瞬きのタイミングの差異を、当該話し手及び聞き手が行うコミュニケーションの質の評価に用いることができる、という知見を得た。例えば、話し手及び聞き手の瞬きのタイミングの一致度合いが高い場合、聞き手は話し手の発話に対して高い関心を示していると推測することができる。反対に、その一致度合いが低い場合、聞き手は話し手の発話に対してさほど関心を示していないと推測することができる。このような知見を得るに至った検証については、後述する。以下、対話装置とそのユーザとのコミュニケーションを実現する技術に、このような知見を適用した場合の実施の形態を説明する。

【0025】
[第1実施形態]
図1は、本発明の第1実施形態である対話装置10の外観構成の一例を示す図である。対話装置10は、ユーザUと対話する処理装置である。ユーザUは、対話装置10のユーザである。ユーザUは、対話装置10と対面し、対話装置10と対話によるコミュニケーションをとる。

【0026】
対話装置10は、生物を模した外観を有するロボットである。対話装置10は、例えば、人間若しくはその他の動物(例えば犬又は猫)、又は架空の人物(例えば、アニメーションの登場人物)を模した外観を有する。対話装置10の外観については、問わない。

【0027】
対話装置10は、顔部101と、瞼部102とを有する。顔部101は、顔に相当する部位である、瞼部102は、顔部101に配置され、目の瞼に相当する部位である。瞼部102は、開閉することにより、目の瞬きを模した動作(以下「瞬き動作」という。)をする。本実施形態では、2つの瞼部102が同じ動作をする。

【0028】
図2は、対話装置10の瞬き動作を説明する図である。対話装置10は、平常時において、瞼部102を開状態とする。対話装置10は、瞬き動作をするタイミングで、瞼部102を開状態から閉状態に遷移させ(矢印A1)、閉状態から開状態に遷移させる(矢印A2)。瞼部102の開状態から閉状態、及び閉状態から開状態の遷移のタイミングは、瞼部102が目の瞬きを模した動作をするようにあらかじめ設定されている。

【0029】
対話装置10は、口、鼻、及びその他の部位を顔部101に有してもよい。対話装置10は、さらに、顔部101に配置されたこれらの各部位を動作させてもよいが、本実施形態では説明を省略する。

【0030】
対話装置10の設置場所、及び用途は特に問わない。対話装置10は、例えば商業施設(例えば店舗)、公共施設又はその他の施設に設置される。この場合、ユーザUは、当該施設の利用者である。対話装置10は、医療用、玩具又はその他の用途で用いられてもよい。

【0031】
図3は、対話装置10のハードウェア構成を示すブロック図である。対話装置10は、制御部11と、音声入力部12と、音声出力部13と、記憶部14と、撮像部15と、瞼部102とを有する。制御部11は、対話装置10の各部を制御する。制御部11は、例えば、CPUで例示される演算処理装置、及びメモリを含む。メモリは、例えば、演算処理装置がワークエリアとして使用するRAM、及び制御プログラムを記憶するROMを含む。

【0032】
音声入力部12は、音声の入力を受け付ける。音声入力部12は、入力を受け付けた音声を音声信号に変換して、制御部11に供給する。音声入力部12は、例えば、マイクロフォン、A(Analog)/D(Digital)変換回路、及びフィルタを含む。

【0033】
音声出力部13は、音声を出力する。音声出力部13は、制御部11から供給された音声信号から変換した音を出力する。音声出力部13は、例えば、D/A変換回路、及びスピーカを含む。

【0034】
記憶部14は、データを記憶する。記憶部14は、例えば、プログラム141、及び対話データ142を記憶する。プログラム141は、制御部11に所定の機能を実現させるためのプログラムである。

【0035】
対話データ142は、対話装置10がユーザUと対話するためのデータである。対話データ142は、例えば、入力データと出力データとを対応付けたデータを複数記憶している。入力データは、ユーザUが発話すると想定される発話の内容を文字列で表したデータである。出力音声は、当該発話に対する応答の内容を文字列で表したデータである。例えば、入力データが「名前は?」である場合、当該入力データに対応付けられる出力データは「私の名前はXXです。」(「XX」は、対話装置10の名称)である。

【0036】
対話データ142は、話題を識別する識別子を、入力データ及び出力データに対応付けて含んでもよい。例えば、サッカーに関する発話に用いられる入力データ及び出力データには、第1識別子「ID001」が対応付けられる。食事に関する発話に用いられる入力データ及び出力データには、第2識別子「ID002」が対応付けられる。

【0037】
なお、対話データ142は、別の形式のデータであってもよい。記憶部14は、例えば、光学式記録媒体、磁気記録媒体、及び半導体記録媒体で例示される任意の形式の記録媒体(記憶装置)を含みうる。

【0038】
撮像部15は、被写体を撮像し、撮像した画像を示す撮像データを生成する。被写体は、ユーザUである。撮像部15は、例えば、CCD(Charge Coupled Device)イメージセンサで例示される撮像素子、及びレンズを含む。撮像部15のレンズは、例えば顔部101における瞼部102の近傍に設けられるが、顔部101におけるその他の位置、又は顔部101以外の位置に設けられてもよい。

【0039】
瞼部102は、制御部11の制御に応じて開閉する。瞼部102は、例えば、開閉機構(例えば、ダイヤフラム及びシリンダ)、及び当該開閉機構を駆動させる駆動回路を含む。瞬き動作を実現するための機構については、種々の公知技術を適用し得る。

【0040】
図4は、対話装置10の機能構成を示すブロック図である。対話装置10の制御部11は、プログラム141を実行することにより、瞬き動作制御部111と、第1取得部112と、瞬き検出部113と、第2取得部114と、処理部115とに相当する機能を実現する。

【0041】
瞬き動作制御部111は、瞼部102を開閉させることにより、対話装置10の瞬き動作を制御する。瞬き動作制御部111は、例えば、瞬き動作をするための瞬き制御データを、瞼部102に出力する。瞼部102は、瞬き制御データに応じて開閉する。

【0042】
第1取得部112は、対話装置10(瞼部102)の瞬き動作のタイミングを取得する。第1取得部112は、例えば、瞬き動作制御部111から瞬き動作のタイミングを示すデータを取得する。

【0043】
瞬き検出部113は、ユーザUの瞬きを検出する。具体的には、瞬き検出部113は、撮像部15により生成された撮像データに基づいて、ユーザUの瞬きを検出する。

【0044】
第2取得部114は、ユーザUの瞬きのタイミングを取得する。第2取得部114は、本実施形態では、ユーザUの瞬きのタイミングを示すデータ(以下「瞬きデータ」という。)を取得する。瞬きデータは、瞬きが検出された時刻を、その時刻順に並べたデータ(第1データ)である。第2取得部114は、例えば、瞬き検出部113による瞬きの検出結果に基づいて、瞬きデータを生成する。

【0045】
処理部115は、対話装置10の瞬き動作のタイミングとユーザUの瞬きのタイミングとの差異に応じた処理を行う。処理部115は、本実施形態では、対話処理を行う。対話処理は、対話データ142を用いて対話するための処理である。具体的には、対話処理は、音声入力部12を介して入力された音声を認識して入力データに変換する処理を含む。また、対話処理は、当該入力データに対応付けられた出力データを音声に変換し、音声入力部12を介して出力する処理を含む。

【0046】
次に、対話装置10の動作を説明する。図5は、対話装置10が実行する処理を示すフローチャートである。

【0047】
処理部115は、対話処理を開始する(ステップS1)。対話処理を開始する契機は問わない。処理部115は、ユーザUの存在を認識したタイミングであってもよい。対話装置10のユーザは、例えば、撮像データが示す画像から認識される人、又は撮像部15の撮像方向に位置する人、撮像部15の位置に応じた位置に居る人である。対話装置10のユーザは、対話装置10にログインした人であってもよい。また、処理部115は、音声入力部12を介して入力された音声から所定の音声(例えば、挨拶を示す音声)を認識した場合、又は所定の操作を受け付けた場合に、対話処理を開始してもよい。

【0048】
次に、処理部115は、撮像部15に撮像を開始させる(ステップS2)。撮像が開始すると、対話装置10は以下で説明する処理を行う。

【0049】
まず、瞬き動作に関する処理を説明する。瞬き動作制御部111は、瞬き動作をするかどうかを判断する(ステップS11)。瞬き動作制御部111は、例えば、対話装置10の発話中、又は発話が終了したタイミングで、瞬き動作をすると判断する。発話が終了したタイミングは、例えば、話の切れ目となるタイミングである。瞬き動作のタイミングは、ランダムなタイミングを含んでもよい。

【0050】
ステップS11で「YES」と判断した場合、瞬き動作制御部111は、対話装置10に瞬き動作をさせる(ステップS12)。ステップS11で「NO」と判断した場合、瞬き動作制御部111は、瞬き動作をしない。そして、対話装置10の処理はステップS3に進む。

【0051】
次に、対話装置10とユーザとのコミュニケーションの質の評価に関する処理を説明する。

【0052】
第1取得部112は、対話装置10の瞬き動作のタイミングを取得する(ステップS21)。次に、瞬き検出部113は、撮像部15から供給された撮像データに基づいて、ユーザUの瞬きを検出する(ステップS22)。瞬きの検出のアルゴリズムは、種々の公知技術が適用されてよい。瞬き検出部113は、例えば、撮像データが示す画像から、ユーザUの目の周縁に沿って複数の特徴点を抽出する。瞬き検出部113は、例えば、Haar-likeに基づいて特徴点を抽出する。瞬き検出部113は、複数のフレームの撮像データに基づいて、抽出した特徴点の移動の方向、及びその速度の時間的な変化を特定することにより、ユーザUの瞬きの有無を検出する。例えば人の瞬きに起因して、およそ0~300ミリ秒の間に、特徴点の急激な速度の変化が生じる。そこで、瞬き検出部113は、所定期間内の速度変化が閾値以上となった場合、ユーザUの瞬きがあったことを検出する。

【0053】
次に、第2取得部114は、瞬きの検出結果に基づいて、ユーザUの瞬きのタイミングを示す瞬きデータを取得する(ステップS23)。

【0054】
次に、処理部115は、指標算出処理を行う(ステップS24)。指標算出処理は、対話装置10とユーザUとのコミュニケーションの質の指標を算出する処理である。

【0055】
図6は、指標算出処理を示すフローチャートである。以下、指標算出処理を、具体例を挙げて説明する。

【0056】
まず、処理部115は、ユーザUの瞬きのタイミングと、対話装置10の瞬き動作のタイミングとの差異を算出する(ステップS241)。処理部115は、例えば、所定期間におけるユーザUの瞬きのタイミングと、瞼部102の瞬き動作のタイミングとのすべての組み合わせについて差異(以下「タイミング差」という。)を算出する。所定期間は、例えば30秒であるが、30秒未満であってもよいし、30秒よりも長くてもよい。所定期間は、例えば、対話装置10の発話が終了するタイミングから所定時間前まで遡った期間の全体又は一部の期間である。

【0057】
図7は、タイミング差の算出方法を説明する図である。図7に示すタイミングチャートは、ユーザUの瞬きのタイミング、及び対話装置10が瞬き動作をしたタイミングを示す。図7に示すように、ユーザUの瞬きのタイミングを、その時刻順に、t11,t12,・・・t1Bと表す。対話装置10の瞬き動作のタイミングを、その時刻順に、t21,t22,・・・t27と表す。この場合、処理部115は、t11,t12,・・・t1Bの各々について、t21,t22,・・・t27の各々との差異を算出する。瞬きのタイミングt1iと瞬き動作のタイミングt2jとの差異であるタイミング差を、以下「Δtij」と表す。この場合、処理部115は、タイミング差TD{Δt11、Δt12、・・・、Δt17、Δt21、Δt22、・・・、Δt27、・・・ΔtB1、ΔtB2、・・・、ΔtB7}を算出する。

【0058】
図8は、タイミング差の出現頻度の分布を示すグラフDGを示す。図8のグラフDGにおいて、横軸がタイミング差に対応し、縦軸が各タイミング差の出現の度合い(つまり、出現頻度)に対応する。図8に示す例では、或る時間範囲T内で、出現頻度が高くなっている。

【0059】
ところで、グラフDGで示される出現頻度の分布は、ユーザUと対話装置10とのコミュニケーションだけでなく、ユーザUの瞬きの特性(例えば、回数及び頻度)、及び対話装置10の瞬き動作の特性(例えば、回数及び頻度)に起因して生じたと考えられる。例えば、ユーザUの瞬きの頻度、及び対話装置10の瞬き動作の頻度が高い場合ほど、小さいタイミング差の出現頻度が高くなりやすい。このため、タイミング差TDが、どの程度、対話装置10とユーザUとのコミュニケーションに起因して生じたかを明らかにする必要がある。そこで、処理部115は、サロゲートデータ法に基づいて、出現頻度の分布を解析する。

【0060】
すなわち、処理部115は、ランダムデータ(第2データ)を生成する(ステップS242)。ランダムデータは、時間軸上で対話装置10の瞬き動作の間隔の順番をランダムに変更したデータを含む。

【0061】
図9は、ランダムデータR1~RKの一例を示す図である。処理部115は、K通り(例えば、1000通り)のランダムデータR1~RKを生成する。図9に示すランダムデータR1~RKにおいては、対話装置10の瞬き動作の間隔の順番が変更され、ユーザUの瞬きの間隔の順番は変更されていない。なお、図7に示すタイミング「t2j」と、図9に示すタイミング「t2ja」とが対応する。

【0062】
次に、処理部115は、生成したランダムデータの各々について、ユーザUの瞬きのタイミングと、対話装置10の瞬き動作のタイミングとの差異であるタイミング差を算出する(ステップS243)。タイミング差の算出方法は、ステップS241と同じでよい。瞬きのタイミングt1iaと瞬き動作のタイミングt2jaとの差異であるタイミング差を、以下「Δtija」と表す。図9に示す場合、処理部115は、ランダムデータに基づいて、タイミング差TR{Δt11a、Δt15a、・・・、Δt13a、Δt21a、Δt25a、・・・、Δt23a、・・・ΔtB1a、ΔtB5a、・・・、ΔtB3a}を算出する。ランダムデータにおけるタイミング差の出現頻度は、例えば、図8のグラフRGで示される。なお、グラフRGは、ランダムデータR1~RKのタイミング差の出現頻度の平均を示す。

【0063】
次に、処理部115は、瞬きデータに基づくタイミング差と、ランダムデータに基づくタイミング差とに応じた評価値を算出する(ステップS244)。評価値は、対話装置10とユーザUとのコミュニケーションの質の指標となる指標値である。ランダムデータは、対話装置10の瞬き動作の間隔をランダムに変更したデータである。このため、ランダムデータは、対話装置10の瞬き動作の回数、及び間隔を維持したまま、時系列の情報が崩されたデータといえる。よって、タイミング差TDの分布と、ランダムデータR1~RKの分布とを比較することによって、ユーザUの瞬きデータが示すタイミング差の出現分布が、対話装置10とユーザUとのコミュニケーションに起因して現れた度合いを把握することができる。

【0064】
処理部115は、評価値をZ値によって算出する。すなわち、処理部115は、瞬きデータが示すタイミング差TD{Δt11、Δt12、・・・、Δt17、Δt21、Δt22、・・・、Δt27、・・・ΔtB1、ΔtB2、・・・、ΔtB7}の各々から、ランダムデータR1~RKにおけるタイミング差の平均値を減じ、さらに、得られた値をランダムデータR1~RKにおけるタイミング差の標準偏差で除することによって、評価値を算出する。例えば、タイミング差TDの分布がランダムデータの分布と同じである場合、評価値は「0」である。この場合、ユーザUの瞬きが、対話装置10とユーザUとのコミュニケーションに起因の影響を受けていないと推測することができる。一方、評価値が大きく、タイミング差TDの分布とランダムデータの分布との差異が大きい場合、ユーザUの瞬きが、対話装置10とユーザUとのコミュニケーションの影響を受けていると推測することができる。図8を用いて説明すると、出現頻度の差異Δが大きい場合ほど、コミュニケーションの影響をより強く受けていると推測され、評価値は大きくなる。

【0065】
図10は、評価値の一例を示すグラフである。図10に示すグラフにおいて、横軸はタイミング差に対応し、縦軸は評価値に対応する。タイミング差が正の値である場合、ユーザUの瞬きのタイミングが対話装置10の瞬き動作のタイミングよりも遅れていることを意味する。タイミング差が負の値である場合、ユーザUの瞬きのタイミングが対話装置10の瞬き動作のタイミングよりも早いことを意味する。また、タイミング差は、ここでは、250ミリ秒刻みで表す。図10において、タイミング差「0」ミリ秒は、タイミング差が0ミリ秒以上250ミリ秒未満であることを示す。タイミング差「+250」ミリ秒及び「-250」ミリ秒は、タイミング差が250秒以上500ミリ秒未満であることを示す。本実施形態では、処理部115は、ユーザUの瞬きのタイミングが対話装置10の瞬き動作のタイミングよりも後の所定期間内に含まれる度合いに基づいて、対話装置10とユーザUのコミュニケーションの質の評価値を算出する。具体的には、処理部115は、タイミング差「+250」ミリ秒に対応する評価値を、対話装置10とユーザUとのコミュニケーションの質の評価値として算出する。すなわち、処理部115は、ユーザUの瞬きのタイミングが、対話装置10の瞬き動作のタイミングよりも遅れ、かつそのタイミング差が250ミリ秒以上500ミリ秒未満である瞬きの出現頻度に基づいて、評価値を算出する。図10に示す例では、評価値は「0.4」である。以上が、指標算出処理の説明である。

【0066】
なお、ランダムデータは、対話装置10の瞬き動作の間隔の順番が変更されておらず、ユーザUの瞬きの間隔の順番が変更されたデータであってもよい。また、ランダムデータは、対話装置10の瞬き動作の間隔の順番、及びユーザUの瞬きの間隔の順番が変更されたデータであってもよい。指標算出処理が終了すると、対話装置10の処理はステップS3に進む。

【0067】
次に、図5に戻って対話処理に関する処理を説明する。処理部115は、ステップS24の指標算出処理で算出された評価値が閾値以上であるかどうかを判断する(ステップS31)。評価値は、ここでは、直近の期間に対応する評価値である。閾値は、ユーザUが対話装置10との対話に関心があるかどうかを判断する際の指標となる値である。閾値は、例えば、あらかじめ決められた値である。

【0068】
ステップS31で「YES」と判断した場合、処理部115は、第1対話処理を行う(ステップS32)。ステップS32で「NO」と判断した場合、処理部115は、第1対話処理とは異なる第2対話処理を行う(ステップS33)。すなわち、処理部115は、評価値が閾値以上であるか否かに応じて異なる対話処理を行う。評価値が閾値以上である場合、ユーザUの対話装置10とのコミュニケーションへの関心度合いが高いと推測できる。よって、処理部115は、例えば、現在の話題を変更しない第1対話処理を行う。処理部115は、例えば、ユーザUとサッカーについて対話をしていた場合、引き続きサッカーについて対話をする。この際、処理部115は、対話データに含まれる識別子「ID001」に対応付けられた入力データ及び出力データに基づいて、第1対話処理を行う。

【0069】
一方、評価値が閾値未満である場合、ユーザUの対話装置10とのコミュニケーションへの関心度合いが低いと推測できる。よって、処理部115は、現在の話題を変更した第2対話処理を行う。処理部115は、例えば、ユーザUとサッカーについて対話をしていた場合、今日のランチについての対話に変更する。この際、処理部115は、対話データに含まれる識別子「ID002」に対応付けられた入力データ及び出力データに基づいて、第2対話処理を行う。

【0070】
以上のとおり、処理部115は、対話装置10の瞬き動作のタイミングとユーザUの瞬きのタイミングとの差異に基づく指標値(本実施形態では、評価値)に応じた処理を行う。ただし、上述した第1対話処理及び第2対話処理は一例であり、種々の変形が可能である。処理部115は、評価値が閾値未満になると直ちに対話の話題を変更した第2対話処理を行うのではなく、第1対話処理を継続してもよい。この場合、処理部115は、評価値が閾値未満である期間が所定期間継続した場合、又は評価値が閾値未満となった回数が所定回数以上となった場合に、第1対話処理から第2対話処理に変更してもよい。そして、対話装置10の処理はステップS3に進む。

【0071】
ステップS3において、処理部115は、対話処理を終了するかどうかを判断する。処理部115は、例えば、撮像部15から供給された撮像データに基づいて、ユーザUの存在を認識しなくなった場合には、対話処理を終了すると判断する。処理部115は、音声入力部12を介して入力された音声から所定の音声(例えば、別れのあいさつを示す音声)を認識した場合、又は所定の操作を受け付けた場合に、対話処理を終了すると判断してもよい。

【0072】
対話処理を継続すると判断した場合(ステップS3;NO)、対話装置10の処理は、ステップS11,S21,S31に戻される。対話処理を終了すると判断した場合(ステップS3;YES)、処理部115は対話処理を終了する。

【0073】
対話装置10によれば、ユーザUの瞬きのタイミングと、対話装置10の瞬き動作のタイミングとの差異に応じて、ユーザUの対話装置10とのコミュニケーションに対する関心度合いを定量的に評価することができる。さらに、対話装置10は、この評価を対話処理に反映させることにより、対話装置10とユーザUとのコミュニケーションを支援することができる。また、対話装置10は、ユーザUの瞬きという自然な動作に基づいて、コミュニケーションの質を評価することができる。よって、対話装置10によれば、ユーザUに評価のために必要な動作を要求しなくとも、当該評価を行うことができる。

【0074】
ここで、ユーザUの瞬きのタイミングと、対話装置10の瞬き動作のタイミングとの差異を、コミュニケーションの質の評価に用いることができる根拠を説明する。発明者らは、以下で説明する方法で、話し手及び聞き手の瞬きのタイミング差が、話し手と聞き手とのコミュニケーションに対する関心度合いの指標になることを確認する検証を行った。

【0075】
話し手は、商品の実演販売を業とする実演販売士である。実演販売士は、「女性向けのドライヤー」、「女性向けの化粧品」、「男性向けの腕時計」、及び「男性向けの電気シェーバー」の4つの商品について、それぞれ商品紹介を行った。各商品の紹介時間は約3分である。聞き手は、男性が18人、女性が20人の計38人の大学生である。38人の聞き手は、話し手が行った商品紹介の様子を撮像した動画を視聴した後、各商品紹介を面白く感じたかどうかを回答した。話し手と聞き手との瞬きのタイミング差については、話し手及び聞き手をそれぞれ撮像した動画から検出し、話し手の瞬きのタイミングの前後における、聞き手の瞬きのタイミングを解析した。

【0076】
図11は、38人の聞き手の瞬きの頻度の分布を示すグラフである。図11に示すグラフにおいて、横軸は時刻に対応し、縦軸は評価値(Z値)に対応する。時刻は、話し手の瞬きのタイミングを「0」とし、それよりも早い聞き手の瞬きのタイミングを負の値で、それよりも遅い聞き手の瞬きのタイミングを正の値で示す。すなわち、図11のグラフの横軸はタイミング差を示す。図11においても、図10と同様、タイミング差を250秒刻みで表す。この検証においては、評価値の算出にあたり、話し手の瞬きの間隔の順番を変更し、聞き手の瞬きの間隔の順番を変更しない方法によりランダムデータが用いられている。図11に示すように、話し手の瞬きから+250ミリ秒以上+500ミリ秒未満の時間範囲内で遅れて聞き手の瞬きが増大し、評価値が高くなった。なお、p値は、0.000001である。

【0077】
図12は、回答結果毎の聞き手の瞬きの頻度の分布を示すグラフである。図12に示すグラフにおいても、図11と同様、横軸は時刻に対応し、縦軸は評価値に対応する。実線のグラフは、商品紹介を面白いと回答した聞き手についての評価値である。破線のグラフは、商品紹介をつまらないと回答した聞き手についての評価値である。

【0078】
図12に示すように、商品紹介を面白いと回答した聞き手については、話者の瞬きから+250ミリ秒以上+500ミリ秒未満の時間範囲内で遅れて瞬きが増大し、評価値が高くなった。一方、商品紹介をつまらないと回答した聞き手については、このような瞬きの増大、及び評価値の高まりは確認できなかった。なお、p値は、0.004である。

【0079】
図13は、評価値を聞き手の性別及び商品別に示したグラフである。図13に示すように、「女性向けの化粧品」については、女性の聞き手については評価値が高い値を示す一方、男性の聞き手については評価値が低い値を示した。「男性向けの腕時計」及び「男性向けの電気シェーバー」については、男性の聞き手については評価値が高い値を示す一方、女性の聞き手については評価値が低い値を示した。

【0080】
図14は、商品への関心度を聞き手の性別及び商品別に示したグラフである。図14に示す商品に対する関心度は、各被験者が「非常に退屈」と回答した場合の関心度を「1」、「少し退屈」と回答した場合の関心度を「2」、「少し面白い」と回答した場合の関心度を「3」、「非常に面白い」と回答した場合の関心度を「4」とし、男女それぞれについてその関心度の平均をとった値を示す。関心度の値が大きいほど、聞き手が商品紹介に高い関心を示したことを意味する。図13と図14とを対比すると、各商品について、評価値と商品紹介への関心度とが相関することが確認できた。

【0081】
以上の検証により、発明者らは、話し手と聞き手との瞬きのタイミング差が、聞き手の話し手の対話への関心度合いと相関する、という知見を得られた。

【0082】
[第2実施形態]
第2実施形態は、対話装置10の周辺の環境に基づいて、対話装置10の瞬き動作のタイミングを制御する。以下の説明において、上述した第1実施形態の要素と同一の要素は同じ符号を付して表す。本実施形態の対話装置10のハードウェア構成は、上述した第1実施形態と同じでよい。

【0083】
図15は、本実施形態の対話装置10の機能構成を示すブロック図である。対話装置10の制御部11は、プログラム141を実行することにより、瞬き動作制御部111と、第1取得部112と、瞬き検出部113と、第2取得部114と、処理部115と、環境情報取得部116と、記憶制御部117とに相当する機能を実現する。

【0084】
環境情報取得部116は、対話装置10の周辺の環境を示す環境情報を取得する。環境情報は、ここでは、対話装置10がユーザUによって使用されているときの環境、換言すると、対話装置10がユーザUと対話しているときの環境を示す。環境情報は、例えば、音声情報、音圧情報、プロソディ、動き情報、及び周辺情報のうちの1つ以上を含む。音声情報は、音声入力部12を介して入力された音声を示す情報、音声出力部13を介して出力される音声を示す情報、又はこれらの両方を含む。音圧情報は、当該音声情報の所定の周波数帯域(例えば、可聴域)における音圧を示す。プロソディは、発話において現れる音声学的性質を示し、例えば抑揚である。動き情報は、ユーザUの体動(例えば、顔、体又は表情の動き)を示す。周辺情報は、ユーザUの周辺の環境を示す(例えば、ユーザUが居る空間の明るさ)。音声情報、音圧情報、及びプロソディは、音声入力部12を介して入力された音声、及び音声出力部13に供給される音声信号に基づいて特定される。動き情報、及び周辺情報は、撮像部15を用いて特定される。環境情報は、別の計測装置を用いて取得されてもよい。また、環境情報は、さらに、対話装置10の想定年齢、性別、職業、及びユーザUに関する情報を含んでもよい。

【0085】
記憶制御部117は、ユーザUが瞬きをしたタイミングと対話装置10が使用されている環境とを対応付けたを示すデータを、学習データ143として記憶部14に蓄積させる。すなわち、学習データ143は、対話装置10の周辺の環境と、ユーザUが実際にした瞬きをするタイミングとの関係を学習した結果を示すデータである。なお、記憶制御部117は、記憶部14以外の記憶装置、例えばクラウトストレージサービスに係る記憶装置に、学習データ143を蓄積してもよい。

【0086】
瞬き動作制御部111は、環境情報取得部116が取得した環境情報に応じたタイミング(第1タイミング)に、対話装置10に瞬き動作をさせる。具体的には、瞬き動作制御部111は、記憶部14に記憶された学習データ143と、環境情報取得部116が取得した環境情報とに応じたタイミングに、対話装置10に瞬き動作をさせる。瞬き動作制御部111は、例えば、対話装置10に瞬き動作をさせるタイミング、瞬き動作の頻度、及びこれらの両方を制御する。

【0087】
次に、対話装置10の動作を説明する。図16は、対話装置10が実行する学習処理を示すフローチャートである。学習処理は、対話処理と並行して行われる。

【0088】
環境情報取得部116は、環境情報を取得する(ステップS41)。次に、第2取得部114は、ユーザUの瞬きのタイミングを取得する(ステップS42)。次に、記憶制御部117は、ステップS41で取得した環境情報が示す環境と、ステップS42で取得した瞬きのタイミングとを対応付けた示すデータを、学習データ143として記憶部14に蓄積させる(ステップS43)。以上が、学習処理の説明である。

【0089】
図17は、対話装置10が実行する瞬き動作に関する処理を示すフローチャートである。図17の処理は、図5で説明したステップS11,S12の処理に代えて実行される。

【0090】
環境情報取得部116は、環境情報を取得する(ステップS51)。次に、瞬き動作制御部111は、瞬き動作をするかどうかを判断する(ステップS52)。ここでは、瞬き動作制御部111は、ステップS51で取得された環境情報と学習データ143とに基づいて、瞬き動作をするかどうかを判断する。動作制御部111は、例えば、機械学習により瞬き動作の有無、および瞬き動作をするタイミングを判断する。機械学習のアルゴリズムは、例えばニューラルネットワークであるが、これ以外のアルゴリズムでもよい。なお、学習データ143が所定の量だけ蓄積されるまでは、瞬き動作制御部111は、上述した第1実施形態のステップS11と同じ方法で、瞬き動作をするかどうかを判断してもよい。

【0091】
瞬き動作制御部111は、瞬き動作をすると判断した場合は(ステップS52;YES)、対話装置10に瞬き動作をさせる(ステップS53)。瞬き動作制御部111は、瞬き動作をしないと判断した場合は(ステップS52;NO)、対話装置10に瞬き動作をさせない。瞬き処理部115は、対話装置10の周辺の環境と、その環境下で人間が行う瞬きとの関係を学習し、その関係に従って対話装置10に瞬き動作をさせる。瞬き動作制御部111は、例えば、意外性の高い話題になったと判断したときは、瞬き動作の頻度を高くしてもよい。以上が、瞬き動作に関する処理の説明である。

【0092】
本実施形態の対話装置10によれば、上述した第1実施形態と同等の効果に加え、学習データ143を用いてより自然なタイミングで瞬き動作をすることができる。これにより、対話装置10とユーザUとのコミュニケーションの質の向上を期待することができる。

【0093】
瞬き動作制御部111は、環境情報に応じたタイミングに加えて、さらに別のタイミング(第2タイミング)に、対話装置10に瞬き動作をさせてもよい。瞬き動作制御部111は、例えば、ランダムなタイミングに、対話装置10に所定期間内に所定回数(例えば、1分間に20回)の瞬き動作をさせる。瞬き動作制御部111は、所定の規則に従ったタイミングに、対話装置10に瞬き動作をさせてもよい。これにより、対話装置10は、より自然なタイミングで瞬き動作をする効果が期待できる。

【0094】
記憶制御部117は、評価値が閾値以上である期間において、学習データ143を蓄積してもよい。これにより、対話装置10は、質の良いコミュニケーションが行われているときに人間が行う瞬きに従って瞬き動作をすることができる。

【0095】
なお、学習データ143があらかじめ記憶部14に記憶されている場合、対話装置10は学習データを蓄積する機能(すなわち、記憶制御部117)を有しなくてもよい。

【0096】
[第3実施形態]
第3実施形態は、対話装置が表示装置として機能する点で、上述した第1実施形態の対話装置と相違する。以下の説明において、上述した第1実施形態の要素と同一の要素は同じ符号を付して表し、上述した第1実施形態の要素に対応する要素については同じ符号の末尾に「A」を付して表す。

【0097】
図18は、本発明の第3実施形態である対話装置10Aの外観構成の一例を示す図である。対話装置10Aは、表示領域161を有する。表示領域161は、画像が表示される領域である。表示領域161はオブジェクト20を表示する。オブジェクト20は、上述した第1実施形態で説明した対話装置10の外観と同様の画像である。オブジェクト20は、顔部201と、瞼部202とを有する。顔部201は、顔に相当する部位である。瞼部202は、顔部201に配置され、目の瞼に相当する部位である。瞼部202は、開閉することにより瞬き動作をする。本実施形態の瞬き動作は、表示領域161への画像の表示により行われる点で、上述した第1実施形態と相違する。なお、図18に示すオブジェクト20は一例に過ぎず、少なくとも瞬き動作を表現する画像を含んでいればよい。例えば、オブジェクト20は、少なくとも一つの瞼部を含む。図1に示す外観の対話装置10の瞼部102に代えて表示部が設けられ、該表示部に瞼部202に相当するオブジェクトが表示されてもよい。

【0098】
ユーザUは、対話装置10Aとコミュニケーションをとる人である。ユーザUは、対話装置10Aと対面し、表示領域161に表示されたオブジェクト20を観察して対話を行う。

【0099】
図19は、対話装置10Aのハードウェア構成を示すブロック図である。対話装置10は、制御部11と、音声入力部12と、音声出力部13と、記憶部14と、撮像部15と、表示部16とを有する。記憶部14は、制御部11に所定の機能を実現させるためのプログラム141Aを記憶する。表示部16は、画像を表示する表示領域161を有する。表示部16は、例えば液晶ディスプレイ、有機ELディスプレイ又はその他の表示装置である。

【0100】
図20は、対話装置10Aの機能構成を示すブロック図である。対話装置10の制御部11は、プログラム141Aを実行することにより、瞬き動作制御部111Aと、第1取得部112と、瞬き検出部113と、第2取得部114と、処理部115とに相当する機能を実現する。瞬き動作制御部111Aは、表示部16の表示領域161に表示されたオブジェクト20に、瞬き動作をさせる。瞬き動作制御部111Aは、例えば、瞬き動作させるための瞬き制御データを、表示部16に供給する。瞬き制御データは、表示部16の表示を制御するデータである。表示部16は、瞬き制御データに応じて、オブジェクト20に瞬き動作をさせる。第1取得部112は、オブジェクト20(瞼部202)の瞬き動作のタイミングを取得する。

【0101】
対話装置10Aの動作は、瞬き動作が表示部16の制御により行われる点を除き、上述した第1実施形態と同じである。

【0102】
なお、本実施形態の構成は、上述した第2実施形態の対話装置10に適用することもできる。

【0103】
[変形例]
本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以下、第1実施形態の対話装置10の変形例として説明するが、第2実施形態の対話装置10、及び第3実施形態の対話装置10Aにも適用することができる。

【0104】
上述した実施形態の処理部115の評価値の算出方法は、一例に過ぎない。処理部115は、例えば、時系列でユーザUの瞬きの回数及び対話装置10の瞬き動作の回数を計数し、特定の期間(場面)における瞬き及び瞬き動作の回数に基づいて、評価値を算出してもよい。この場合、処理部115は、瞬き及び瞬き動作の回数が多い期間ほど、ユーザUの対話装置10とのコミュニケーションに対する関心の度合いが高いことを示す評価値を算出する。瞬き及び瞬き動作が多い期間は、それ以外の期間よりも、ユーザUの瞬きのタイミングと対話装置10の瞬き動作のタイミングとのタイミング差が小さいと考えられるからである。また、処理部115は、評価値を算出しないで、瞬き動作のタイミングとユーザの瞬きのタイミングとの差異に応じた処理を行ってもよい。

【0105】
ユーザUの瞬きのタイミングと対話装置10のタイミングとの差異に応じた処理は、発話処理に限られない。処理部115は、例えば、対話装置10を評価する処理を行ってもよい。この場合、処理部115は、対話装置10の識別子と対応付けて評価データを出力する。評価データは、対話装置10の評価を示す。評価データは、評価値を示すデータであってもよいし、評価値を用いて生成されたデータであってもよい。評価データの出力は、例えば、送信、印刷、表示又はその他の方法により行われる。この変形例によれば、対話装置10が行うコミュニケーションの質を評価することができる。

【0106】
瞬きの検出は、撮像データを用いる方法以外の方法で行われてもよい。当該方法として、電波センサ(例えば、4GHz電波センサーモジュール)、赤外線センサ、ドップラセンサなどの非接触のセンサを用いる方法がある。また、顔の筋力の動きに基づいて瞬きを検出するセンサを用いる方法がある。

【0107】
上述した実施形態で説明した制御部11が実現した機能の一部又は全部を、対話装置の外部の処理装置が有してもよい。この場合、当該処理装置は、例えば、対話装置を通信(例えば、公衆通信回線を介した通信)により制御する。この制御には、瞬き動作の制御、及び対話処理の制御の一方、又は両方が含まれてもよい。当該処理装置は、複数の対話装置を制御してもよい。要するに、本開示に係る処理装置は、図21に示すように、対話装置の瞬き動作のタイミングを取得する第1取得部301と、前記対話装置のユーザの瞬きのタイミングを取得する第2取得部302と、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部303と、を有する。

【0108】
上述した実施形態の構成及び動作の一部が省略されてもよい。上述した実施形態で説明したかった構成及び動作が追加されてもよい。また、上述した実施形態で説明した処理の実行順は一例に過ぎず、適宜変更されてもよい。

【0109】
制御部11が実現する機能は、複数のプログラムの組み合わせによって実現され、又は複数のハードウェア資源の連係によって実現され得る。制御部11の機能がプログラムを用いて実現される場合、この機能を実現するためのプログラム141,141Aが、各種の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、ネットワークを介して配信されてもよい。また、本発明は、処理方法としても把握することができる。
【符号の説明】
【0110】
10,10A:対話装置、11:制御部、12:音声入力部、13:音声出力部、14:記憶部、15:撮像部、16:表示部、20:オブジェクト、101:顔部、102:瞼部、111,111A:瞬き動作制御部、112:第1取得部、113:瞬き検出部、114:第2取得部、115:処理部、116:環境情報取得部、117:記憶制御部、141,141A:プログラム、142:対話データ、143:学習データ、161:表示領域、201:顔部、202:瞼部、301:瞬き動作制御部、302:取得部、303:処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20