TOP > 国内特許検索 > 対話活性化ロボット > 明細書

明細書 :対話活性化ロボット

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5294315号 (P5294315)
公開番号 特開2010-128281 (P2010-128281A)
登録日 平成25年6月21日(2013.6.21)
発行日 平成25年9月18日(2013.9.18)
公開日 平成22年6月10日(2010.6.10)
発明の名称または考案の名称 対話活性化ロボット
国際特許分類 G10L  15/00        (2013.01)
G10L  15/22        (2006.01)
G10L  15/24        (2013.01)
G10L  15/10        (2006.01)
G10L  13/00        (2006.01)
FI G10L 15/00 200H
G10L 15/22 300Z
G10L 15/24 Q
G10L 15/10 500T
G10L 13/00 100M
請求項の数または発明の数 4
全頁数 24
出願番号 特願2008-304140 (P2008-304140)
出願日 平成20年11月28日(2008.11.28)
新規性喪失の例外の表示 特許法第30条第1項適用 2008年7月9日社団法人人工知能学会発行の第53回言語・音声理解と対話処理研究会資料(SIG-SLUD-A801)第15~22頁に発表
審査請求日 平成23年9月16日(2011.9.16)
特許権者または実用新案権者 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
発明者または考案者 【氏名】小林 哲則
【氏名】藤江 真也
【氏名】松山 洋一
【氏名】谷山 輝
【氏名】赤池 辰介
個別代理人の代理人 【識別番号】100080089、【弁理士】、【氏名又は名称】牛木 護
【識別番号】100137800、【弁理士】、【氏名又は名称】吉田 正義
【識別番号】100148253、【弁理士】、【氏名又は名称】今枝 弘充
【識別番号】100148079、【弁理士】、【氏名又は名称】梅村 裕明
審査官 【審査官】山下 剛史
参考文献・文献 特開平8-137875(JP,A)
特開2006-208482(JP,A)
伊藤秀樹他,”対話における雰囲気の分析”,情報処理学会研究報告,Vol.2000,No.10(2002-02),pp.103-108
松坂要佐他,”グループ会話に参与する対話ロボットの構築”,電子情報通信学会論文誌,Vol.J84-D-II,No.6(2001-06),pp.898-908
中澤諭他,”会話を発展させる仮想空間エージェント”,情報処理学会シンポジウム論文集,Vol.2000,No.7(2000-06),pp.19-24
城塚音也他,”遠隔会議を対象にした音声対話モニタリングによる対話支援システム”,情報処理学会論文誌,Vol.39,No.5(1998-05),pp.1240-1247
調査した分野 G10L 13/00-17/26
特許請求の範囲 【請求項1】
司会者との間で所定の主題について対話する複数の参加者の映像を取得する撮像手段と、
前記撮像手段により取得した映像に基づいて、前記参加者の主題に関する対話への参加の程度を示す活性度を推定する活性度推定手段と、
複数の進行状況キーワードを予め記憶した記憶手段と、
発話している前記参加者を検出する発話検出手段と、
マイクロホンから得られた音声信号に所定の音声認識処理を実行することにより当該音声信号に含まれる言葉を単語単位で認識し、この認識した単語を文字列データとして送出する音声認識部と、
前記音声認識部により得られた文字列データを受け取り、前記記憶手段に予め記憶しておいた前記進行状況キーワードを読み出して、前記進行状況キーワードのいずれかと前記文字列データとが一致するか否かを判断し、文字列データが進行状況キーワードのいずれかと一致すると、前記活性度推定手段により推定した活性度に応じて、前記主題に関する対話への参加を促すような発話情報を選択する選択手段と、
前記選択手段によって選択した発話情報の発話内容を音声として発するスピーカと、
動物形状に似した頭部とを備え、
前記頭部の眼となる位置に前記撮像手段が設置され
前記発話検出手段は、前記撮像手段により得られる映像から認識した唇の動きを認識する唇動作認識処理、あるいは、各話者に指向性を向けたマイクロホンの音量に基づく話者認識処理、あるいは、前記マイクロホンにより集音した音声を基にした音源定位処理、のいずれかを用いて、発話している前記参加者を特定し、
前記発話検出手段により検出した前記参加者を前記撮像手段の画角中心に配置させる制御手段を備え、
前記選択手段は、一定時間、前記進行状況キーワードを認識せず、かつ複数の参加者の活性度を合算した総和活性度総和活性度が所定の閾値以下となったとき、所定の発話内容を前記記憶手段から読み出して当該発話内容を音声としてスピーカから発し、
前記参加者の音声の切れ目を認識し、前記切れ目に合わせて前記頭部を動作させるうなづき動作、或いは前記切れ目に合わせて相槌音声を発する相槌発話動作の少なくともいずれかを実行することを特徴とする対話活性化ロボット。
【請求項2】
前記スピーカから前記発話情報の発話内容を音声として発するとき、該発話内容を発する対象となる前記参加者又は関連機材を、前記撮像手段の画角中心に配置させる制御手段を備える
ことを特徴とする請求項記載の対話活性化ロボット。
【請求項3】
前記撮像手段により得られる映像を基に、前記参加者の顔向き方向、又は視線方向を認識する認識手段を備え、
前記制御手段は、
前記参加者が発話し終えた後に、前記認識手段により認識した該参加者の顔向き方向又は視線方向に、前記撮像手段の画角中心を配置させる
ことを特徴とする請求項記載の対話活性化ロボット。
【請求項4】
参加者との間で所定の主題に関して対話する司会者の音声を集音する司会者用マイクロホンと、
前記司会者用マイクロホンにより前記司会者の音声を集音して得られる音声信号を基に、前記主題に関する前記参加者との対話の進行状況を認識する進行状況認識手段と、
前記進行状況認識手段における前記対話の進行状況に関する理解状態を前記司会者に呈示する表示手段と
を備えることを特徴とする請求項1記載の対話活性化ロボット。
発明の詳細な説明 【技術分野】
【0001】
本発明は、話活性化ロボットに関し、例えば司会者と参加者とにより行われる漢字の読み仮名を当てる難読ゲームに適用して好適なものである。
【背景技術】
【0002】
近年、主に高齢者が通所してくる施設において、健康チェック、入浴、食事、リハビリの提供等の日常生活上の世話を提供するデイサービス(通所介護施設)が知られている。このような施設は高齢者にとって数少ないコミュニケーションの場であり、当該施設での活発な交流が高齢者のQOL(Quality of Life)を向上させるためにも非常に重要である。
【0003】
そして、従来、高齢者ケアを目的として、様々なロボットが開発されている。例えば数万パターンにも及ぶ会話を登録しておき、1対1の会話を楽しむことができるロボットや(例えば、非特許文献1参照)、高齢者向けに脳を活性化させるコンテンツも提供されている。このようなロボットを利用した利用者からは、ロボットの存在によって、家族間の関係も変化が生じ、終末期の重くなりがちな空気も和らいだとの報告がなされている。
【0004】
また、このようなロボットとしては、癒しを目的としたアザラシ型ロボットも考えられている。このアザラシ型ロボットでは、利用者をリラックスさせたり、或いはコミュニケーションの動機を増加させる等の心理的効果や、バイタルサインの改善等の生理的効果に加えて、患者同士や看護者とのコミュニケーションを増加させるといった社会的効果が見られたことが報告されている(例えば、非特許文献2参照)。
【0005】
そして、これらロボットは、ロボットの持つ存在感やイベント性を活かし、人とロボットとのインタラクションを通してユーザに癒し効果を与えたうえで、人と人とのコミュニケーションを間接的に改善したという観点において優れた成果を挙げている。

【非特許文献1】伊吹征太,木村憲次,武田夏佳: コミュニケーションロボットを用いた高齢者生活支援システム,日本機械学会誌,Vol.108,No.1038,pp.392-395(2005)
【非特許文献2】和田一義, 柴田崇徳, 谷江和雄: 介護老人保健施設におけるロボットセラピー-実験一年目における効果の評価,計測自動制御学会, 計測自動制御学会論文集, Vol.42, No.4, pp.386-392 (2006)
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、上述したデイサービスでは、高齢者同士のコミュニケーションや、高齢者と介護者とのコミュニケーションの機会について様々な工夫がなされており、またそのようなコミュニケーションの機会について数多く提供されており、例えば、ゲームや体操、手芸、工作、音楽等のリクリエーションに一日のうち多くの時間が割かれている。実際にデイサービスにおける継続的なフィールド調査を行ったところ、このようなケアの現場では、コミュニケーション自体が目的であること、活発なコミュニケーションは認知症やうつ病の予防でもあることが分かった。しかしながら、必ずしも、このような場が提供されただけで、活発なコミュニケーションが行われるわけではなく、また、上述した各種ロボットについては人と人との間接的なコミュニケーションを改善するものであり、人と人との直接的なコミュニケーションを活性化させ難いという問題があった。
【0007】
本発明は以上の点を考慮してなされたもので、人と人との直接的なコミュニケーションを従来よりも一段と活性化させ得る対話活性化システム及び対話活性化ロボットを提案することを目的とする。
【課題を解決するための手段】
【0008】
かかる課題を解決するため本発明の請求項1は、司会者との間で所定の主題について対話する複数の参加者の映像を取得する撮像手段と、前記撮像手段により取得した映像に基づいて、前記参加者の主題に関する対話への参加の程度を示す活性度を推定する活性度推定手段と、複数の進行状況キーワードを予め記憶した記憶手段と、発話している前記参加者を検出する発話検出手段と、マイクロホンから得られた音声信号に所定の音声認識処理を実行することにより当該音声信号に含まれる言葉を単語単位で認識し、この認識した単語を文字列データとして送出する音声認識部と、前記音声認識部により得られた文字列データを受け取り、前記記憶手段に予め記憶しておいた前記進行状況キーワードを読み出して、前記進行状況キーワードのいずれかと前記文字列データとが一致するか否かを判断し、文字列データが進行状況キーワードのいずれかと一致すると、前記活性度推定手段により推定した活性度に応じて、前記主題に関する対話への参加を促すような発話情報を選択する選択手段と、前記選択手段によって選択した発話情報の発話内容を音声として発するスピーカと、動物形状に似した頭部とを備え、前記頭部の眼となる位置に前記撮像手段が設置され、前記発話検出手段は、前記撮像手段により得られる映像から認識した唇の動きを認識する唇動作認識処理、あるいは、各話者に指向性を向けたマイクロホンの音量に基づく話者認識処理、あるいは、前記マイクロホンにより集音した音声を基にした音源定位処理、のいずれかを用いて、発話している前記参加者を特定し、前記発話検出手段により検出した前記参加者を前記撮像手段の画角中心に配置させる制御手段を備え、前記選択手段は、一定時間、前記進行状況キーワードを認識せず、かつ複数の参加者の活性度を合算した総和活性度総和活性度が所定の閾値以下となったとき、所定の発話内容を前記記憶手段から読み出して当該発話内容を音声としてスピーカから発し、前記参加者の音声の切れ目を認識し、前記切れ目に合わせて前記頭部を動作させるうなづき動作、或いは前記切れ目に合わせて相槌音声を発する相槌発話動作の少なくともいずれかを実行することを特徴とする。
【0009】
また、本発明の請求項は、前記スピーカから前記発話情報の発話内容を音声として発するとき、該発話内容を発する対象となる前記参加者又は関連機材を、前記撮像手段の画角中心に配置させる制御手段を備えることを特徴とする。
【0010】
また、本発明の請求項は、前記撮像手段により得られる映像を基に、前記参加者の顔向き方向、又は視線方向を認識する認識手段を備え、前記制御手段は、前記参加者が発話し終えた後に、前記認識手段により認識した該参加者の顔向き方向又は視線方向に、前記撮像手段の画角中心を配置させることを特徴とする。
【0011】
また、本発明の請求項は、参加者との間で所定の主題に関して対話する司会者の音声を集音する司会者用マイクロホンと、前記司会者用マイクロホンにより前記司会者の音声を集音して得られる音声信号を基に、前記主題に関する前記参加者との対話の進行状況を認識する進行状況認識手段と、前記進行状況認識手段における前記対話の進行状況に関する理解状態を前記司会者に呈示する表示手段とを備えることを特徴とする。
【発明の効果】
【0012】
本発明によれば、複数の参加者と司会者との対話の状況に応じて、自発的にその場に最適な発話内容をスピーカから発することで、司会者と参加者との直接的な対話の切っ掛けを与えることができ、かくして司会者と複数の参加者との直接的なコミュニケーションを従来よりも一段と活性化させ得る。
【発明を実施するための最良の形態】
【0013】
以下図面に基づいて本発明の実施の形態を詳述する。
【0014】
(1)本願発明の概要
図1において、1は本発明による対話活性化ロボットとしてのゲーム活性化ロボット1を示し、このゲーム活性化ロボット1は、例えばホワイトボードWBに呈示された漢字の読み仮名を当てる難読ゲームを行う際に用いられ得る。そして、このゲーム活性化ロボット1は、問題となる漢字を選定して難読ゲームを進行する司会者MCと、当該難読ゲームに参加して呈示された漢字の読み仮名を解答する複数の参加者A、B及びCとの間で行われる直接的な対話を活性化し得るようになされている。因みに、この実施の形態の場合においては、参加者A、B及びCの三人で難読ゲームを行うようにしたが、本発明はこれに限らず、2人又は4人等この他種々の人数の参加者で難読ゲームを行うようにしてもよい。
【0015】
実際上、このゲーム活性化ロボット1は、モニタリングサーバ2と無線接続されており、当該モニタリングサーバ2との間で各種データを送受信し得るようになされている。また、このモニタリングサーバ2は、司会者MCが操作する携帯端末3と無線接続されている。携帯端末3は、表示部4に表示されたジャンルやレベルごとに分類された漢字の中から、司会者MCによって任意に問題が選択されると、これを問題選択命令としてモニタリングサーバ2に送信し得るようになされている。モニタリングサーバ2は、携帯端末3から問題選択命令を受信すると、予め記憶されている複数の個別行動パターン情報(後述する)の中から問題選択命令に対応した個別行動パターン情報を選択し、これをゲーム活性化ロボット1に送信し得る。これによりゲーム活性化ロボット1は、個別行動パターン情報に従って問題に応じた最適な各種行動パターンを実行することにより、司会者MCと参加者A、B及びCとの間で行われる直接的な対話を活性化し得るようになされている。
【0016】
また、ゲーム活性化ロボット1には、司会者MCの頭部に装着されたヘッドセット型マイク5が接続されており、当該ヘッドセット型マイク5により集音した司会者MCの音声が送信され得るようになされている。これによりゲーム活性化ロボット1は、ヘッドセット型マイク5から取得した司会者MCの音声を基に、司会者MCの発話内容に進行状況を示すキーワード(以下、これを進行状況キーワードと呼ぶ)が含まれているか否かを認識し、認識した進行状況キーワードを基に難読ゲームの進行状況を把握して進行状況に応じたその場に最適な発話内容を音声としてスピーカ(図1に図示せず)から発することにより、司会者MCと参加者A、B及びCとの間で行われる直接的な対話を当該発話内容に基づいて活性化させ得る。
【0017】
ここでゲーム活性化ロボット1は、司会者MCの発話内容を基に得られた進行状況キーワードに基づいて、難読ゲームの進行状況を、難読ゲームの問題が呈示される前(以下、これを出題前と呼ぶ)と、難読ゲームの問題が呈示されてから正解が解答されるまでの間(以下、これをゲーム進行中と呼ぶ)と、難読ゲームの正解が解答された後から解説を行っているまでの間(以下、これを解説中と呼ぶ)との3つの状況に分けて把握し、現時点で難読ゲームがどのような状況(段階)にあるかをデータベース(後述する)に記憶し得るようになされている。実際上、このゲーム活性化ロボット1は、例えば、司会者MCの発話内容を基に進行状況キーワード(「難読ゲームをはじめます」)を認識すると、出願前であると把握し、司会者MCの発話内容を基に進行状況キーワード(「問題です」)を認識すると、ゲーム進行中であると把握し、司会者MCの発話内容を基に進行状況キーワード(「正解」)を認識すると、解説中であると把握し得るようになされている。また、ゲーム活性化ロボット1は、ゲーム進行中の進行状況として、参加者A、B及びCの解答がどの程度正解に近づいているか否かの正解への近さを、司会者MCの発話内容により得られた進行状況キーワード(「おしい」)により把握し、正解への近さに応じた所定の発話内容を音声として発するようになされている。
【0018】
実際上、このゲーム活性化ロボット1は、人間に似せて作製された人型ロボットであり、人間の頭部に似した頭部8及び腕部9が駆動部(図示せず)を介して胴体部10に駆動可能に設けられていると共に、発話内容を音声として発するためのスピーカが所定位置に設けられている。また、ゲーム活性化ロボット1は、首部を中心に頭部8を上下に回動させるうなづき動作や、首部を中心に頭部8を左右に回動させる否定動作、腕部9の先端を所定の方向に向ける指差し動作等の各動作を、ゲーム進行中や解説中の所定タイミングで実行し得るようになされている。
【0019】
ゲーム活性化ロボット1の頭部8には、人間の眼に相当する位置にカメラ11が設置されている。ゲーム活性化ロボット1は、撮像手段としてのカメラ11によって撮像された参加者の映像を映像信号として取り込むようになされている。これにより、ゲーム活性化ロボット1は、得られた映像を解析することにより、各参加者A、B及びCの顔の輪郭等から顔を向けている角度(以下、これを顔向き方向と呼ぶ)や、顔の表情を把握し、これらを基に各参加者A、B及びCが難読ゲームに積極的に参加しているか否かの程度を示す活性度(後述する)を推定し得るようになされている。またこのゲーム活性化ロボット1には、例えば胴体部10の所定位置にマイクロホン(図1に図示せず)が設置されており、当該マイクロホンによって集音した各参加者A、B及びCの音声が取り込まれ得る。これにより、ゲーム活性化ロボット1は、得られた音声を解析することにより、各参加者A、B及びCの音声の有無を把握し、これを基に各参加者A、B及びCの活性度を推定し得るようになされている。
【0020】
そして、ゲーム活性化ロボット1は、各参加者A、B及びCの活性度を推定すると、各参加者A、B及びCの活性度を合算して総和活性度を算出し、この総和活性度が予め設定された所定の閾値以下となったか否かについて常時監視し得るようになされている。ゲーム活性化ロボット1は、総和活性度が所定の閾値以下であると判断すると、当該総和活性度を最大化させるであろう行動パターンを予測し、その予測結果である行動パターンを実行し得るようになされている。かくして、ゲーム活性化ロボット1は、予測結果に従って最適な発話内容を発する等の行動パターンをゲーム進行中や解説中に実行することにより、各参加者A、B及びCの活性度を増加させ、司会者MCと参加者A、B及びCとの間で行われる直接的な対話を当該発話内容を切っ掛けに活性化させ得る。
【0021】
(2)ゲーム活性化システムの構成
実際上、このゲーム活性化ロボット1には、図2に示すようなゲーム活性化システム15が内蔵されている。このゲーム活性化システム15は発話状況理解部16を備えており、当該発話状況理解部16においてカメラ11から与えられる各参加者A、B及びCの映像信号を常時監視し得るようになされている。実際上、この発話状況理解部16は、映像信号に所定の唇動作認識処理を実行することにより、当該映像信号に基づいて各参加者A、B及びCの口の動き特定し、発話している参加者A、B又はC(以下、これを発話者と呼ぶ)を検出して、これを発話者検出結果として状況管理部17に送出し得る。状況管理部17は、発話者検出結果を行動選択部18を経由して行動再生部19に送出し、当該行動再生部19において発話者検出結果を基に発話者がカメラ11の画角の中心位置に配置されるように頭部8を駆動させる制御命令が生成される。これにより頭部8は、制御命令に基づいて駆動されることにより、発話者がカメラ11の画角の中心位置に配置され得る。かくしてゲーム活性化ロボット1は、あたかも発話者の方向を向いているかのような印象を参加者A、B及びCに対して与えることができる。
【0022】
また、発話状況理解部16は、カメラ11から与えられた映像信号を基に、発話者の顔向き方向を検出し得るようになされており、発話者の顔向き方向の先に司会者MCや他の参加者A、B又はC、或いは発話しながら凝視しているホワイトボードWB等の発話対象を、映像信号から得られた映像から特定し、これを発話対象検出結果として状況管理部17に送出する。また、発話状況理解部16は、マイクロホン20から与えられる音声信号を常時監視しており、一定時間の間、音声信号が得られなかったか否かに基づいて発話者が発話し終えたかを判断し得るようになされている。そして、発話状況理解部16は、音声信号の有無に基づいて発話者が発話し終えたと判断すると、これを発話終了検出結果として状況管理部17に送出し得るようになされている。
【0023】
状況管理部17は、行動選択部18を経由させて、発話対象検出結果及び発話終了検出結果を行動再生部19に送出する。これにより行動再生部19は、発話対象検出結果及び発話終了検出結果を基に、発話者の顔向き方向の先にある発話対象がカメラ11の画角の中心位置に配置されるように頭部8を駆動させる制御命令を生成する。これにより頭部8は、発話者の発話終了後に制御命令に基づいて駆動されることにより、発話対象がカメラ11の画角の中心位置に配置され得る。かくしてゲーム活性化ロボット1は、あたかも発話者の発話終了後に発話対象の方向を向いて、難読ゲームに積極的に参加しているかのような印象を、参加者A、B及びCに対して与えることができる。
【0024】
さらに、行動再生部19は、所定時間の間、音声信号が得られなかったことを示す発話切れ目検出結果を状況管理部17から受け取ると、頭部8を上下方向に回動させるうなづき動作を行わせる制御命令を生成する。これによりゲーム活性化ロボット1は、発話者の発話の切れ目に、頭部が制御命令に基づいてうなづき動作することにより、あたかも発話者の発話を聞いてうなづいたかのような印象を参加者A、B及びCに対して与えることができる。また、このとき同時に、行動再生部19は、例えば「うんうん」等の相槌音声をスピーカ24を介して発する相槌発話動作を実行し得るようになされている。因みに、この場合、行動再生部19は、うなづき動作又は相槌発話動作のいずれか一方のみを実行するようにしてもよい。
【0025】
かかる構成に加えて、このゲーム活性化システム15は、データベース21を備えており、出題される問題毎に発話内容や動作が設定されている個別行動パターン情報(後述する)をモニタリングサーバ2から受信すると、当該個別行動パターン情報をデータベース21に記憶し得る。またこのデータベース21には、全ての問題に共通する発話内容や動作が設定されている共通行動パターン情報(後述する)と、ゲーム活性化ロボット1の行動パターンによって予想される各参加者A、B及びCの行動が定義された予想効果テーブル(後述する)と、進行状況キーワード(後述する)とが予め記憶されている。
【0026】
(2-1)個別行動パターン情報について
図3に示すように、個別行動パターン情報30は、問題テーブル31と、ジャンルテーブル32と、情報テーブル33と、スクリプトテーブル34と、動作テーブル35とから構成されており、問題テーブル31のID(図中の「ID」欄)と、ジャンルテーブル32のジャンルID(図中の「Genre ID」欄)と、情報テーブル33のジャンルID(図中の「Genre ID」欄)と、スクリプトテーブル34の漢字ID(図中の「Kanji ID」欄)と、動作テーブル35のスクリプトID(図中の「Script ID」欄)とに同じID番号が付されることにより対応付けられている。例えばID番号「1」には、問題テーブル31のID「1」と、ジャンルテーブル32のジャンルID「1」と、情報テーブル33のジャンルID「1」と、スクリプトテーブル34の漢字ID「1」と、動作テーブル35のスクリプトID「1」との各情報が対応付けられている。
【0027】
因みに、この実施の形態の場合、問題テーブル31のID「1」には、「Kanji」欄に問題となる漢字「海豚」と、「Yomi」欄にこの問題「海豚」の解答となる読み仮名「いるか」と、「Genre ID」欄にこの問題のジャンルを示すジャンルID「1」と、「Level」欄にこの問題の難易度を示すレベル「3(ふつう)」とが予め設定されている。なお、レベルは、例えば1から5まで設定し得、1が「簡単」、2が「やや簡単」、3が「ふつう」、4が「やや難しい」、5が「難しい」に分類され得る。
【0028】
また、ジャンルテーブル32のジャンルID「1」には、問題テーブル31のID「1」のジャンルを示す「動物」が「Genre」欄に予め設定されている。情報テーブル33のジャンルID「1」には、問題テーブルのID「1」に関連する情報が「information」欄に予め設定されている。スクリプトテーブル34において問題テーブル31のID「1」に対応付けた漢字ID「1」には、参加者A、B及びCの解答がどの程度正解に近づいているか否かを示す正解度「10」(詳しくは後述する)が「Correctness」欄に設定され、スクリプトのタイプを示すスクリプトタイプ「answer」(詳しくは後述する)が「Scriot type」欄に設定され、正解度及びスクリプトタイプに対応した発話内容が「Script」欄に設定されている。
【0029】
また、動作テーブル35においてスクリプトテーブル34の漢字ID「1」に対応付けたスクリプトID「1」には、動作内容として凝視する行動をする「look」が「Action」欄に設定され、頭部8を回動させる左右方向を示す角度(この場合0°)が「Target x」欄に設定され、頭部8を回動させる上下方向を示す角度(この場合約30°上方に頭部を動かす)が「Target y」欄に設定されている。
【0030】
ここで、スクリプトタイプは、ゲーム活性化ロボット1が音声として発する発話内容を大まかに分類したものであり、図4に示すように、例えばゲーム活性化ロボット1が自主的に解答する行動「Answer」と、司会者MCに解答を促されてゲーム活性化ロボット1が解答する行動「Hesitate」と、ゲーム活性化ロボット1が独り言を発話する行動「Mutter」と、問題の感想や豆知識等の問題と関連する関連情報を発話する行動「SpeakImpression」と、出題時に問題の難易度に対して発話する行動「SpeakLevelImpression」とから構成されている。すなわち、スクリプトテーブル34には、問題毎に行動「Answer」と、行動「Hesitate」と、行動「Mutter」と、行動「SpeakImpression」と、行動「SpeakLevelImpression」がスクリプト情報(発話情報)として記憶されており、各行動「Answer」、行動「Hesitate」、行動「Mutter」、行動「SpeakImpression」及び行動「SpeakLevelImpression」毎に表題に合った所定の発話内容が設定されている。
【0031】
実際上、問題毎に設定されるスクリプトタイプは、モニタリングサーバ2において設定し得るようになされている。モニタリングサーバ2は、図5示すような設定画面40によってスクリプト情報を設定し得るようになされており、当該設定画面40を介して設定された内容がゲーム活性化ロボット1に送信され、ネットワークインターフェイス26を介し個別行動パターン情報としてデータベース21に記憶され得るようになされている。例えば、ID番号「81」の問題として漢字「鯔背」を設定した場合には、この「鯔背」に関する基本情報41と、スクリプト情報42とが設定され得る。基本情報41としては、ID番号(この場合「81」)が「ID」欄に設定され、問題となる漢字「鯔背」が「漢字」欄に設定され、その解答となる読み仮名「いなせ」が「読み」欄に設定されている。また、基本情報41としては、品詞のジャンルを示した「動詞、形容詞、副詞の名前」が「ジャンル」欄に設定され、問題となる「鯔背」の意味やその歴史等の関連する関連情報(トピックス)が「その他の情報」欄に設定されている。また、この問題のスクリプト情報42としては、正解度に応じて、3つの行動「Answer」(図中「answer」)と、3つの行動「Hesitate」(図中「hesitate」)、4つの行動「Mutter」(図中「mutter」)、3つの行動「SpeakImpression」(図中「speak#impression」)がそれぞれ設定されている。
【0032】
このようにスクリプトタイプを示す行動「Answer」、行動「Hesitate」、行動「Mutter」及び行動「SpeakImpression」の各内容は、正解度欄44に設定される正解度(「正解への近さ」を示し、例えば0~100からなり値が大きいほど正解に近いことを示す)によってさらに分類され得る。この場合、司会者MCが「おしい」という言葉(正解に近いことを示す言葉)を発話する度にゲーム活性化システム15は、正解へ近づいていると判断し、正解へより近いことを示す正解度の大きい発話内容を出力し得るようになされている。そして、各スクリプトタイプが入力されるスクリプトタイプ欄43には、正解度欄44に加えて、最適な発話内容が設定される発言内容欄45と、ゲーム活性化ロボット1の動作内容が設定される行動欄46とが設けられている。この場合、行動「Answer」には、例えば正解度が低い「10」に「ねこぜ!」という発話内容が設定されており、正解度「20」に「せむし?」という発話内容が設定されており、正解度「30」に「ぼらせ」という発話内容が設定されている(すなわち「ねこぜ!」という言葉よりも「ぼらせ」という言葉が正解に近いことを示している)。
【0033】
また、行動「Hesitate」には、正解度「10」に「ええ?二文字目の背、しか読めないよお」という発話内容が設定されており、正解度「20」に「んん?魚の背中に関係あるの?」という発話内容が設定されている。行動「Mutter」には、正解度「10」に「一文字目はなんて読むんだろう?」という発話内容が設定されており、正解度「20」に「一文字目は、魚の名前なんだろうな」という発話内容が設定されており、正解度「30」には「昔の言葉かな?」という発話内容が設定されている。行動「SpeakImpression」には、正解度「10」に「いなせだねえ」という発話内容が設定されており、正解度「20」に「江戸ことばって、いいね」という発話内容が設定されており、正解度「30」に「粋で、ござるなあ」という発話内容が設定されている。
【0034】
さらに、これら行動「Answer」、行動「Hesitate」、行動「Mutter」及び行動「SpeakImpression」には、ゲーム活性化ロボット1の動作内容が予め設定されており、各発話内容を発する際にゲーム活性化ロボット1が頭部8や腕部9を動かして、発話内容に適した動作を実行し得るようになされている。例えば行動「Answer」には、正解度「10」の発話内容「ねこぜ!」に対して、行動「lookP 0 0, happy」が対応付けられて設定されている。ここで「lookP」はゲーム活性化ロボット1の体全体を特定の方向に向ける動作であることを示し 「0 0」は、ターゲット(すなわち参加者A等)の方向に頭部8を回動させるための左右方向x、上下方向yを示し(この場合はxは0、yは0で頭部8は回動しない)、「happy」は、発話内容を楽しげに発するような音声トーンであることを示す。
【0035】
また行動「Answer」には、正解度「20」の発話内容「せむし?」に対して、動作テール35に設定される行動「lookP 0 0, happy,handup」が対応付けられて設定されている。ここで「handup」はゲーム活性化ロボット1の腕部9を上げることを示す。その他、この行動欄46には、発話内容を悲しげに発するような音声トーンであることを示す「sad」や、腕部9を振るような行動をさせる「shake」、腕部9を頭部8に寄せて思考中であることを表す行動をさせる「handthink」、頭部8を上下に回動させてうなづき行動をさせる「nod」等がそれぞれ設定されている。このような設定内容は、設定画面40に設けられた修正ボタン47が選択決定されることにより各スクリプトタイプ欄43毎に発話内容を自由に設定し得るようになされている。また、設定画面40では、新規追加ボタン48が選択決定されることにより、新たなスクリプト情報44としてスクリプトタイプを追加し得るようになされている。
【0036】
(2-2)共通行動パターン情報について
次に、データベース21に記憶される共通行動パターン情報について説明する。図4に示すように、「発話内容が変化しない行動」である共通行動パターン情報は、例えばヒントを要求する行動「AskHint」と、司会者MCの「おしい」という発話に反応する行動「React TO Oshii」と、司会者MCの「正解」という発話に反応する行動「React TO Seikai」と、何か発話する行動「Say Something」と、誰かに解答を促す行動「Let Answer」と、誰かを見る行動「Look Someone」とから構成され、これら行動「AskHint」、行動「React TO Oshii」、行動「React TO Seikai」、行動「Say Something」、行動「Let Answer」及び行動「Look Someone」の各行動パターンが予め設定されている。
【0037】
例えば、ヒントを要求する行動「AskHint」には、司会者に対してヒントを要求する例えば「ヒントは?」を発する行動パターンが対応付けられている。また、司会者MCの「おしい」という発話に反応する行動「React TO Oshii」には、例えば「え、おしい?」等のように司会者の発話を確認して他の参加者A、B及びCに正解に近いことを認識させるための言語を発話するという行動パターンが対応付けられている。司会者MCの「正解」という発話に反応する行動「React TO Seikai」には、例えば「そうだったのか!」等のように他の参加者A、B及びCに正解を認識させるための言語を発話するという行動パターンが対応付けられている。何か発話する行動「Say Something」には、例えば「なんだろう?」といった独り言を発話するという行動パターンが対応付けられている。誰かに解答を促す行動「Let Answer」には、参加者A、B又はCに回答を促すために例えば「A(B又はC)さんどうですか」と発話しながら参加者A、B又はCの方向に頭部8を回動させるという行動パターンが対応付けられている。誰かを見る行動「Look Someone」には、発話せずに司会者、参加者A、B又はCの方向にランダムに頭部8を回動させ、あたかもゲーム活性化ロボット1が司会者、参加者A、B又はCの方向を向いているかのような行動パターンが対応付けられている。
【0038】
(2-3)進行状況キーワードについて
また、これに加えてデータベース21には、複数の進行状況キーワードが設定されたキーワードテーブルが記憶されている。これら進行状況キーワードは、難読ゲームの進行を制御している司会者MCの発話内容から難読ゲームのおおよその進行状況の推定を行うためのものであり、ゲーム活性化ロボット1の各種行動パターンのトリガとなり得る。ここでこの実施の形態の場合、図6に示すように、キーワードテーブル50には、進行状況キーワードとして、司会者MCが発話した「難読ゲームをはじめます」を認識するための開始キーワード「HAJIME」と、誰かの解答に対して司会者MCが発話した「正解」を認識するための正解キーワード「SEIKAI」と、誰かの解答に対して司会者MCが発話した「おしい」を認識するための判定キーワード「OSHII」と、誰かの解答に対して司会者MCが発話した「違う」を認識するための不正解キーワード「CHIGAU」と、次の問題を始めるために司会者MCが発話した「次」を認識するための問題変更キーワード「TSUGI」とが設定されている。また、このキーワードテーブル50には、図示しないが、ゲーム進行中を認識するために、司会者MCが発話した「問題です」を認識するための問題呈示キーワード「mondai」も設定されている。
【0039】
さらに、キーワードテーブル50には、進行状況キーワードとして、ヒントを提供するために司会者MCが発話した「ヒントは」を認識するための助言キーワード「HINT」と、司会者MCがゲーム活性化ロボット1に解答を促した発話を認識するためのロボット解答キーワード「KAITO ROBOTTO」と、司会者MCが参加者Aに解答を促した発話を認識するためのA解答キーワード「KAITO A」と、司会者MCが参加者Bに解答を促した発話を認識するためのB解答キーワード「KAITO B」と、司会者MCが参加者Cに解答を促した発話を認識するためのC解答キーワード「KAITO C」とが設定されている。
【0040】
(2-4)進行状況キーワードに基づく行動パターンについて
ここで、図2に示すように、上述した進行状況キーワードを認識するための音声認識部22においては、ヘッドセット型マイク5から得られた音声信号に所定の音声認識処理を実行することにより当該音声信号に含まれる言葉を単語単位で認識する機能を有するものであり、認識したこれら単語を文字列データとして状況管理部17に送出するようになされている。行動選択部18は、音声認識部により得られた文字列データを状況管理部17から受け取り、データベース21に予め記憶しておいた進行状況キーワードを読み出して、進行状況キーワードのいずれかと文字列データとが一致するか否かを判断する。行動選択部18は、文字列データが進行状況キーワードのいずれかと一致すると、下記に示す式に基づいて予想活性度増加量ΔAを算出し、図4に示す個別行動パターン情報(「発話内容が変化する行動」)及び共通行動パターン情報(「発話内容が変化しない行動」)の中から活性度を最大化させるような行動パターンを選択し得るようになされている。
【0041】
【数1】
JP0005294315B2_000002t.gif

【0042】
この場合、「Behavior i」は、図4における行動「Answer」、行動「Hesitate」、行動「Mutter」、行動「SpeakImpression」、行動「SpeakLevelImpression」、行動「AskHint」、行動「React TO Oshii」、行動「React TO Seikai」、行動「Say Something」、行動「Let Answer」、又は行動「Look Someone」のいずれかを示し、「Person j」はこれら各行動パターンによって活性度が増加する参加者A、B又はCを示す。また、「ftask」は、行動パターンと、活性度が増加する参加者A、B又はCとによる活性度の評価関数を示すものである。すなわち「ftask」は行動パターンとその起因となる対象人物(参加者A、B又はC)から活性度が計算されるということを表現したものである。「ftask」としては、例えば予想効果テーブル(後述する図7)を基に、ゲーム活性化ロボット1が所定の行動パターンを実行したことによる予想活性度増加量ΔAを予め推測しておき、これを基にゲーム活性化ロボット1が行動パターンを決定することを示すものがある。このようにしてftaskを用いて、ゲーム活性化ロボット1は下記の式のように予想活性度増加量ΔAを最大化させる行動パターンと、参加者A、B又はCとが選択される。
【0043】
【数2】
JP0005294315B2_000003t.gif

【0044】
すなわち、司会者MCがゲーム活性化ロボット1に解答を促したことをロボット解答キーワード「KAITO ROBOTTO」を基に音声認識部22が認識したとき(図7の「KAITO ROBOTTO」)には、上記数1の式に基づいて、図4に示すこれら各行動パターンの予想活性度増加量ΔAが算出され、このうち予想活性度増加量ΔAが相対的に増加した行動「Hesitate」(ゲーム活性化ロボット1が司会者MCに解答を促されて解答する行動)が選択候補となる。行動選択部18は、選択候補となった行動パターンに対応付けられた所定の発話内容をデータベース21から読み出して音声合成部23に送出する。音声合成部23は、行動選択部18から与えられる発話内容を音声信号に変換する機能を有し、かくして得られた音声信号をスピーカ24に送出するようになされている。これによりこの音声信号に基づく音声をスピーカ24から出力させることができるようになされている。
【0045】
また、これに対して行動選択部18は、音声認識部22において開始キーワード「HAJIME」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「Say Something」を選択候補とし、また、音声認識部22において正解キーワード「SEIKAI」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「React TO Seikai」を選択候補とし、さらに、音声認識部22において判定キーワード「OSHII」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「React TO Oshii」を選択候補とし得るようになされている。
【0046】
同様にして行動選択部18は、音声認識部22において不正解キーワード「CHIGAU」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「Say Something」を選択候補とし、また、音声認識部22において問題変更キーワード「TSUGI」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「Say Something」を選択候補とし、さらに、音声認識部22において助言キーワード「HINT」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「Mutter」を選択候補とし得る。また、行動選択部18は、音声認識部22においてロボット解答キーワード「KAITO ROBOTTO」が認識されると、これに応じて予想活性度増加量ΔAが相対的に増加した行動「Hesitate」を選択候補とし、また、音声認識部22においてA解答キーワード「KAITO A」、B解答キーワード「KAITO B」又はC解答キーワード「KAITO C」が認識されると、これに応じて予想活性度増加量ΔAが増加した行動「Look Someone」を選択候補とし得る。
【0047】
これに加えて状況管理部17は、ゲーム進行中、難読ゲームにおける司会者MCと参加者A、B及びCとの対話が正解までどの程度近い状況にあるかについて、司会者MCが発話した「おしい」との音声に基づいて判断し得るようになされている。実際上、行動選択部18は、状況管理部17から受け取った司会者MCの「おしい」との文字列データが進行状況キーワード(判定キーワード「OSHII」)に一致すると、例えば難読ゲームの開始時に「0」に設定された正解度を「10」単位毎加算してゆき、現時点での正解度を記憶する。
【0048】
ここで正解度は、データベース21に記憶された複数の行動パターンの中から予想活性度増加量ΔAに基づいて複数の行動パターンが選択候補となったとき、これら選択候補となった複数の行動パターンの中から進行状況に適した行動パターンを選択する際に目安となり得るものである。すなわち、予想活性度増加量ΔAが相対的に増加したとして選択候補になった複数の行動「Mutter」(ゲーム活性化ロボット1が独り言を発話する行動)として、「魚かな?」(正解度:10)と、「あ、もしかして大きくて優雅に泳ぐ魚じゃない?」(正解度:50)との2つの発話内容が予め記憶されている場合には、司会者MCの「おしい」という発話により正解度が上昇して現時点で50以上になっているとき、正解度が大きい「あ、もしかして大きくて優雅に泳ぐ魚じゃない?」(正解度:50)の発話内容が選択候補となる。これに対して、現時点で正解度が50以下のときには、正解度が小さい「魚かな?」(正解度:10)の発話内容が選択候補となる。
【0049】
なお、例えば行動「Mutter」に正解度が同じ行動パターンが並列的に設定されている場合、行動選択部18は、これら行動パターンのうち1つをランダムに選択する。このようにゲーム活性化システム15では、司会者MCの「おしい」との音声を基に可変する正解度に基づいて、どの程度正解に近づいているか否かの進行状況を把握し、この正解度に予め対応付けられた発話内容を発することで、進行状況に最適な発話内容を基に司会者MCと参加者との直接的な対話を活性化させ得るようになされている。
【0050】
(2-5)活性度に基づく行動パターンについて
次に活性度に応じてゲーム活性化ロボット1が自発的に行動する場合について以下説明する。図2に示すように、活性度検出部25は、カメラ11から与えられる各参加者A、B及びCの映像信号を常時監視し、当該映像信号に顔認識処理を実行することにより、当該映像信号に基づいて、参加者A、B及びCの人数と、各参加者A、B及びCの姿勢と、顔向き方向と、笑顔等の顔の表情とを検出し得るようになされている。
【0051】
実際上、この活性度検出部25は、難読ゲームが開始されると、先ず始めにカメラ11から与えられた映像信号を基に、各参加者A、B及びCの顔の輪郭等から顔向き方向を検出する。そして、活性度検出部25は、これら顔向き方向から各参加者A、B及びCが問題を呈示したホワイトボードWB又は司会者MCを凝視しているか否かを判断し、各参加者A、B及びCの初期の活性度を特定し得るようになされている。
【0052】
因みに、この実施の形態の場合、活性度検出部25は、カメラ11から与えられた映像信号を基に、検出した発話者の顔向き方向の先に予め特定したホワイトボードWBや司会者MCが表示されているか否かにより、各参加者A、B及びCがホワイトボードWB又は司会者MCを凝視しているか否かを判断し得る。なお、各参加者A、B及びCがホワイトボードWB又は司会者MCを凝視しているか否かについては、ホワイトボードWBと司会者MCと各参加者A、B及びCとの位置関係を予め位置データとして入力しておき、これら位置データを基に各参加者A、B及びCがホワイトボードWB又は司会者MCを凝視しているか否かを判断するようにしてもよい。
【0053】
ここで、活性度とは、各参加者A、B及びCの状態を観察することにより推定されるもので、参加者A、B及びCが難読ゲームにどの程度積極的に参加しているか否かを数字化したものである。この実施の形態の場合、活性度検出部25は、映像信号を基に参加者A、B及びCの顔向き方向がホワイトボードWB又は司会者MCの方向であると判断すると、当該参加者A、B又はCが難読ゲームに積極的に参加していると判断し、当該参加者A、B又はCの活性度を所定の数値とし得る。これに対して活性度検出部25は、映像信号を基に参加者A、B及びCの顔向き方向がホワイトボードWB又は司会者MC以外の方向であると判断すると、当該参加者A、B又はCが難読ゲームに積極的に参加していないと判断し、当該参加者A、B又はCの活性度の数値を0とし得る。
【0054】
また、この活性度検出部25は、カメラ11から与えられた映像信号を常時監視し、当該映像信号に基づいて各参加者A、B及びCの目や口等から顔の表情(笑顔)を検出し、これら顔の表情から各参加者A、B及びCの活性度を変更し得るようになされている。この実施の形態の場合、活性度検出部25は、映像信号に基づいて映像内の参加者の目や口等を、予め記憶した顔パターンと照らし合わせ、当該参加者A、B及びCが笑顔であるか否かを判断する。その結果、活性度検出部25は、参加者A、B又はCが笑顔であると判断すると、当該参加者A、B又はCが難読ゲームに積極的に参加していると判断し、当該参加者の活性度を増加させ、これに対して参加者A、B又はCの顔の表情が笑顔でないと判断すると、当該参加者A、B又はCが難読ゲームに積極的に参加していないと判断し、当該参加者A、B又はCの活性度を減少させ得る。
【0055】
また、この活性度検出部25は、各参加者A、B及びCの音声をマイクロホン20で集音することにより得られた音声信号を常時監視し、当該音声信号に所定の音声識別処理を実行することにより、当該音声信号に基づいて各参加者A、B及びCが発話しているか否かの発話量(音声信号の有無)を推定し得る。そして、この実施の形態の場合、活性度検出部25は、音声信号を基に所定の参加者A、B又はCが発話していると判断すると、当該参加者A、B又はCが難読ゲームに積極的に参加していると判断し、当該参加者A、B又はCの活性度を増加させ得る。これに対して活性度検出部25は、音声信号を基に所定の参加者A、B又はCが発話していないと判断すると、当該参加者A、B又はCが難読ゲームに積極的に参加していないと判断し、当該参加者A、B又はCの活性度を減少させ得る。
【0056】
このようにして活性度検出部25は、カメラ11からの映像信号及びマイクロホン20からの音声信号を基に、参加者A、B及びC毎に活性度を算出し、各参加者A、B及びCの活性度を状況管理部17に送出し得る。状況管理部17は、各参加者A、B及びCの活性度を合算した総和活性度を算出して、これら各活性度と総和活性度とを行動選択部18に送出し得るようになされている。行動選択部18は、状況管理部17を介して活性度検出部25から送られる総和活性度を常時監視しており、総和活性度が予め設定された所定の閾値よりも低くなるか否かを判断し得るようになされている。そして、行動選択部18は、総和活性度が所定の閾値よりも低くなったと判断すると、図7に示すような予想効果テーブル60を利用して、上述した式(1)に基づいて予想活性度増加量ΔAを算出し、図7に示す複数の行動パターンの中から活性度を最大化させるような行動パターンを選択し得るようになされている。
【0057】
ここで、先ず始めに予想効果テーブル60について以下説明する。図7に示すように、予想効果テーブル60は、個別行動パターン情報及び共通行動パターン情報のうち現在選択可能な行動パターンの中から、参加者A、B及びCの活性度を増加させる効果が高いと予想される行動パターンを選択する際に用いられ得る。この予想効果テーブル60は、ゲーム活性化ロボット1が行動パターン欄61(「Behavior Pattern」)の各行動パターンを実行した結果、参加者A、B及びCがそれぞれどのような行動を起こすかを予め予想して定義している。
【0058】
実際上、この予想効果テーブル60には、難読ゲームの進行状態を示す状態欄62(図中の「State」)と、ゲーム活性化ロボット1が実行する行動パターンを示す行動パターン欄61(図中の「Behavior Pattern」)とが設けられている。行動パターン欄61は、状態欄62のゲーム進行中(図中の「GAME」)に対して、ゲーム活性化ロボット1が自ら答える行動「Answer」と、参加者Aに解答を要求する行動「Ask#A」と、参加者Bに解答を要求する行動「Ask#B」と、参加者Cに解答を要求する行動「Ask#C」と、司会者MCにヒントを要求する行動「Hint」(すなわち「AskHint」)と、ゲーム活性化ロボット1が独り言を発話する行動「Mutter」とが設けられている。また、行動パターン欄61は、状態欄62の解説中(図中の「CORRECT」)に対して、参加者Aに感想を要求する行動「AskImpression#A」と、参加者Bに感想を要求する行動「AskImpression#B」と、参加者Cに感想を要求する行動「AskImpression#C」と、ゲーム活性化ロボット1が問題の感想や豆知識等の関連する内容(関連情報)を発話する行動「SpeakImpression」とが設けられている。
【0059】
また、予想効果テーブル60には、行動パターン欄61の各行動パターンに対して、参加者Aが凝視する方向を示すA凝視方向欄63(図中の「a#looking#at」)と、参加者Bが凝視する方向を示すB凝視方向欄64(図中の「b#looking#at」)と、参加者Cが凝視する方向を示すC凝視方向欄65(図中の「c#looking#at」)と、参加者Aが発話するか否かを示すA発話欄66(図中の「a#speaking」)と、参加者Bが発話するか否かを示すB発話欄67(図中の「b#speaking」)と、参加者Cが発話するか否かを示すC発話欄68(図中の「c#speaking」)と、Aが笑うか否かを示すA表情欄69(図中の「a#laughing」)と、Bが笑うか否かを示すB表情欄70(図中の「b#laughing」)と、Cが笑うか否かを示すC表情欄71(図中の「c#laughing」)と、Aが考えているか否かを示すA思考欄72(図中の「a#thinking」)と、Bが考えているか否かを示すB思考欄73(図中の「b#thinking」)と、Cが考えているか否かを示すC思考欄74(図中の「c#thinking」)とが対応付けられている。
【0060】
実際上、この予想効果テーブル60では、行動「Answer」に対応付けたA凝視方向欄63とB凝視方向欄64とC凝視方向欄65とが「ロボット」と定義されており、ゲーム活性化ロボット1が行動「Answer」を実行すると、全ての参加者A、B及びCがゲーム活性化ロボット1を凝視するであろうことが予想されている。また、この予想効果テーブル60では、行動「Answer」に対応付けたA発話欄66とB発話欄67とC発話欄68とが「FALSE」と定義されており、ゲーム活性化ロボット1が行動「Answer」を実行すると、全ての参加者A、B及びCが発話しないであろうことが予想されている。さらに、この予想効果テーブル60では、行動「Answer」に対応付けたA表情欄69とB表情欄70とC表情欄71とが「FALSE」と定義されており、ゲーム活性化ロボット1が行動「Answer」を実行すると、全ての参加者A、B及びCが笑わないであろうことが予想されている。さらに加えて、この予想効果テーブル60では、行動「Answer」に対応付けたA思考欄72とB思考欄73とC思考欄74とが「*」と定義されており、ゲーム活性化ロボット1が行動「Answer」を実行すると、全ての参加者A、B及びCが思考中であるかどうかに関しては変化しないであろうことが予想されている。
【0061】
同様に、この予想効果テーブル60では、行動「Ask#A」に対応付けたA凝視方向欄63が「ホワイトボード」と定義され、B凝視方向欄64とC凝視方向欄65とが「A」と定義されており、ゲーム活性化ロボット1が行動「Ask#A」を実行すると、参加者AがホワイトボードWBを凝視し、B及びCが参加者Aを凝視するであろうことが予想されている。また、この予想効果テーブル60では、行動「Ask#A」に対応付けたA発話欄66が「TRUE」と定義され、B発話欄67とC発話欄68とが「FALSE」と定義されており、ゲーム活性化ロボット1が行動「Ask#A」を実行すると、参加者Aが発話し、B及びCが発話しないであろうことが予想されている。さらに、この予想効果テーブル60では、行動「Ask#A」に対応付けたA表情欄69とB表情欄70とC表情欄71とが「FALSE」と定義されており、ゲーム活性化ロボット1が行動「Ask#A」を実行すると、全ての参加者A、B及びCが笑わないであろうことが予想されている。さらに加えて、この予想効果テーブル60では、行動「Ask#A」に対応付けたA思考欄72が「」と定義され、B思考欄73とC思考欄74とが「*」と定義されており、ゲーム活性化ロボット1が行動「Ask#A」を実行すると、参加者Aが考え、B及びCが思考中であるかどうかに関しては変化しないであろうことが予想されている。
【0062】
また、この予想効果テーブル60では、行動「Hint」に対応付けたA凝視方向欄63とB凝視方向欄64とC凝視方向欄65とが「mc」と定義されており、ゲーム活性化ロボット1が行動「Hint」を実行すると、参加者A、B及びCが司会者MCを凝視するであろうことが予想されている。また、この予想効果テーブル60では、行動「Hint」に対応付けたA思考欄72とB思考欄73とC思考欄74とが「TRUE」と定義されており、ゲーム活性化ロボット1が行動「Hint」を実行すると、全ての参加者A、B及びCが考えるであろうことが予想されている。
【0063】
さらに、この予想効果テーブル60では、行動「Mutter」に対応付けたA凝視方向欄63とB凝視方向欄64とC凝視方向欄65とが「ロボット」と定義されており、ゲーム活性化ロボット1が行動「Mutter」を実行すると、全ての参加者A、B及びCがゲーム活性化ロボット1を凝視するであろうことが予想されている。また、この予想効果テーブル60では、行動「Mutter」に対応付けたA表情欄69とB表情欄70とC表情欄71とが「TRUE」と定義されており、ゲーム活性化ロボット1が行動「Mutter」を実行すると、全ての参加者A、B及びCが笑うであろうことが予想されている。
【0064】
そして、予想効果テーブル60では、参加者Aに感想を要求する行動「AskImpression#A」に対応付けたA凝視方向欄63が「ロボット」と定義され、B凝視方向欄64とC凝視方向欄65とが「A」と定義されており、ゲーム活性化ロボット1が行動「AskImpression#A」を実行すると、参加者Aがゲーム活性化ロボット1を凝視し、B及びCが参加者Aを凝視するであろうことが予想されている。また、この予想効果テーブル60では、行動「AskImpression#A」に対応付けたA発話欄66が「TRUE」と定義され、B発話欄67とC発話欄68とが「FALSE」と定義されており、ゲーム活性化ロボット1が行動「AskImpression#A」を実行すると、参加者Aが発話し、B及びCが発話しないであろうことが予想されている。さらに、この予想効果テーブル60では、行動「AskImpression#A」に対応付けたA表情欄69が「TRUE」と定義され、B表情欄70とC表情欄71とが「*」と定義されており、ゲーム活性化ロボット1が行動「AskImpression#A」を実行すると、参加者Aのみが笑うであろうことが予想されている。さらに加えて、この予想効果テーブル60では、行動「AskImpression#A」に対応付けたA思考欄72が「TRUE」と定義され、B思考欄73とC思考欄74とが「*」と定義されており、ゲーム活性化ロボット1が行動「AskImpression#A」を実行すると、参加者Aのみが考えるであろうことが予想されている。
【0065】
また、予想効果テーブル60では、参加者Aに感想を要求する行動「SpeakImpression」に対応付けたA凝視方向欄63とB凝視方向欄64とC凝視方向欄65とが「ロボット」と定義されており、ゲーム活性化ロボット1が行動「SpeakImpression」を実行すると、全ての参加者A、B及びCがゲーム活性化ロボット1を凝視するであろうことが予想されている。また、この予想効果テーブル60では、行動「SpeakImpression」に対応付けたA発話欄66とB発話欄67とC発話欄68とが「FALSE」と定義されており、ゲーム活性化ロボット1が行動「SpeakImpression」を実行すると、参加者A、B及びCが発話しないであろうことが予想されている。さらに、この予想効果テーブル60では、行動「SpeakImpression」に対応付けたA表情欄69とB表情欄70とC表情欄71とが「TRUE」と定義されており、ゲーム活性化ロボット1が行動「SpeakImpression」を実行すると、全ての参加者A、B及びCが笑うであろうことが予想されている。
【0066】
行動選択部18は、総和活性度が所定の閾値よりも低くなったと判断すると、このような予想効果テーブル60を利用して、上述した式(1)に基づいて予想活性度増加量ΔAを算出し得るようになされている。ここで上記式(1)を用いてゲーム活性化ロボット1の自発的な行動パターンを選択する場合、上記の式(1)における「Behavior i」は、図7に示す行動「Answer」、行動「Ask#A」、行動「Ask#B」、行動「Ask#C」、行動「Hint」、行動「Mutter」、行動「AskImpression#A」、行動「AskImpression#B」、行動「AskImpression#C」、又は行動「SpeakImpression」のいずれかを示し、「Person j」はこれら各行動パターンによって活性度が増加する参加者A、B又はCを示す。そして、ゲーム活性化ロボット1は上記の式(2)のように予想活性度増加量ΔAを最大化させる行動パターンと、参加者A、B又はCとが選択され、自発的に所定行動を実行し得る。
【0067】
このようにして行動選択部18は、音声認識部22において進行状況キーワードが一定時間認識されず、かつ総和活性度が所定の閾値以下となったとき、予想効果テーブル60においてゲーム活性化ロボット1の各行動パターンに対応付けられた各参加者A、B及びCの予想行動を基に、選択可能な全ての行動パターンについて上記式(1)を用いて予想活性度増加量ΔAを算出する。行動選択部18は、各行動パターン毎に算出した予想活性度増加量ΔAのうち、予想活性度増加量ΔAが最も増加した活性効果の高いと予想される行動パターンが選択される。
【0068】
これにより行動選択部18は、例えばゲーム進行中において予想活性度増加量ΔAが最も増加した行動パターンが、行動「Mutter」(ゲーム活性化ロボット1が独り言を発話する行動)であるとき、当該行動「Mutter」である所定発話内容をデータベース21から読み出して音声合成部23に送出し、音声合成部23により発話内容(例えば「魚かな?」)を音声信号に変換して、得られた音声信号をスピーカ24に送出するようになされている。このようにしてゲーム活性化ロボット1は、総和活性度に基づいて参加者A、B又はCが難読ゲームに積極的に参加していないと推定したとき、予想活性度増加量ΔAを基に選択した所定の発話内容を音声としてスピーカ24から発することで、司会者MCと参加者との間で行われる直接的な対話を当該発話内容に基づいて再び活性化させ得るようになされている。
【0069】
ところで、このゲーム活性化システム15では、例えば参加者Aに対して感想を要求する行動「AskImpression#A」や、参加者Aに解答を要求する行動「Ask#A」を実行する場合、カメラ11の画角の中心に参加者Aが配置されるように頭部8を回動させ得るようになされている。実際上、この実施の形態の場合では、難読ゲームの開始前に、ゲーム活性化ロボット1の位置において頭部8を回動させて参加者Aへ頭部8の正面を向けるための位置データ(回動方向や角度等)が、行動「Ask#A」と行動「AskImpression#A」とに対して予め設定されており、当該行動「Ask#A」又は行動「AskImpression#A」を実行して参加者Aに発話内容を発する際に、設定した位置データに基づいて頭部8を回動させることにより、あたかもゲーム活性化ロボット1が参加者Aを目視して発話しているかのような印象を与えるようになされている。
【0070】
また、行動「Ask#B」及び行動「AskImpression#B」には、ゲーム活性化ロボット1の位置において頭部8を回動させて参加者Bへ頭部8の正面を向けるための位置データが予め設定されており、当該行動「Ask#B」又は行動「AskImpression#B」を実行して参加者Bに発話内容を発する際に、設定した位置データに基づいて頭部8を回動させることにより、あたかもゲーム活性化ロボット1が参加者Bを目視して発話しているかのような印象を与えるようになされている。
【0071】
さらに、行動「Ask#C」及び行動「AskImpression#C」にも、ゲーム活性化ロボット1の位置において頭部8を回動させて参加者Cへ頭部8の正面を向けるための位置データが予め設定されており、当該行動「Ask#C」又は行動「AskImpression#C」を実行して参加者Cに発話内容を発する際に、設定した位置データに基づいて頭部8を回動させることにより、あたかもゲーム活性化ロボット1が参加者Cを目視して発話しているかのような印象を与えるようになされている。
【0072】
なお、司会者MCに向けて発話する発話内容や、ホワイトボードWBに呈示された漢字についての発話内容を発する場合にも、これら行動パターンに対して司会者MC及びホワイトボードWBの位置データが予め設定され、発話内容を発する際にこれら位置データに基づいて頭部8を回動させることにより、あたかもゲーム活性化ロボット1が司会者MCやホワイトボードWBを目視して発話しているかのような印象を与えるようになされている。
【0073】
また、これに加えて、状況管理部17は、データベース21に記憶された現状の進行状況を示す出題前、ゲーム進行中又は解説中を理解状態データとして読み出し、この理解状態データをネットワークインターフェイス26を介してモニタリングサーバ2に送信し得るようになされている。モニタリングサーバ2は、ゲーム活性化ロボット1から受け取った理解状態データを携帯端末3へ送信し得るようになされている。これにより携帯端末3は、ゲーム活性化システム15からモニタリングサーバ2を経由して受信した理解状態データを基に、ゲーム活性化ロボット1が現時点で難読ゲームの進行状況として、出題前、ゲーム進行中又は解説中のうちいずれであると認識しているかを、表示部4に表示させる。これにより携帯端末3は、現時点でゲーム活性化ロボット1自身が現時点で把握している進行状況を司会者MCに対して呈示し得るようになされている。かくして司会者MCは、理解状態データを基に現時点でゲーム活性化ロボット1が把握している進行状況を確認できると共に、当該ゲーム活性化ロボット1が把握している進行状況が、実際の難読ゲームの進行状況に一致しているか否かを確認しつつ難読ゲームを進行させることができる。
【0074】
(3)動作及び効果
以上の構成において、ゲーム活性化システム15では、司会者MCとの間で難読ゲームの問題解答について対話する参加者A、B及びCの音声を、マイクロホン20で集音することにより各参加者A、B及びCの音声信号を取得すると共に、当該参加者A、B及びCをカメラ11により撮像することにより各参加者A、B及びCの映像信号を取得し、これら音声信号及び映像信号に基づいて、全ての参加者A、B及びCの難読ゲームへの参加の程度を示す総和活性度を算出する。
【0075】
ゲーム活性化システム15では、一定時間、進行状況キーワードを認識せず、かつ総和活性度が所定の閾値以下となったとき、選択可能な全ての行動パターンの予想活性度増加量ΔAをそれぞれ算出し、これら複数の予想活性度増加量ΔAのうち最も増加した予想活性度増加量ΔAの行動パターンを選択候補とする。ゲーム活性化システム15では、選択候補とした行動パターンである所定の発話内容をデータベース21から読み出して当該発話内容を音声としてスピーカ24から発する。
【0076】
このようにゲーム活性化システム15では、参加者A、B及びCの状態を総和活性度を基に常時観察し、当該総和活性度が所定の閾値以下のときに、参加者が難読ゲームに参加してない虞があると推定し、自発的にその場に最適な発話内容をスピーカ24から発することで、司会者MCと参加者A、B及びCとの直接的な対話の切っ掛けを与えることができ、かくして司会者MCと参加者A、B及びCとの直接的なコミュニケーションを従来よりも一段と活性化させ得る。
【0077】
また、このゲーム活性化システム15では、ヘッドセットマイク5により司会者MCの音声を集音して得られる音声信号を基に、難読ゲームの進行状況を認識し、データベース21に記憶された発話内容の中から当該進行状況に応じた発話内容を選択して当該発話内容をスピーカ24から発する。
【0078】
このようにゲーム活性化システム15では、例えば司会者MCが問題を出題して参加者A、B又はCが解答してゆくゲーム進行中や、正解後に解答について解説する解説中にそれぞれ適合した発話内容を発することができ、かくして司会者MCと参加者との直接的な対話の切っ掛けを与え、司会者MCと参加者A、B及びCとの直接的なコミュニケーションを従来よりも一段と活性化させ得る。また、ゲーム活性化システム15では、ゲーム進行中においては正解度を基に現時点でどの程度正解に近づいているかの進行状況をも把握して難読ゲームの進行状況に応じた最適な発話内容を発することができ、かくして司会者MCと参加者との直接的な対話の切っ掛けを与え、司会者MCと参加者A、B及びCとの直接的なコミュニケーションを従来よりも一段と活性化させ得る。
【0079】
また、ゲーム活性化システム15では、問題毎に当該問題となる漢字の歴史や由来、漢字の意味等の問題やその読み仮名(解答)に関連する関連情報が予めデータベース21に記憶されており、総和活性度や難読ゲームの進行状況に応じて適宜これら関連情報の発話内容を発する。これによりゲーム活性化システム15では、問題の解答だけでなく、解答とは異なる種々の発話内容を発することで、問題や解答に関連する話題を提供し、司会者MCと参加者との直接的な対話の切っ掛けを与えて、司会者MCと参加者A、B及びCとの直接的なコミュニケーションを従来よりも一段と活性化させ得る。
【0080】
さらに、ゲーム活性化システム15では、カメラ11から与えられる映像信号に基づいて各参加者A、B及びCの顔向き方向や、各参加者A、B及びCの顔の表情、各参加者A、B及びCの音声の有無(発話量)に基づいて総和活性度を算出するようにしたことにより、各参加者A、B及びCが難読ゲームに積極的に参加しているか否かの程度について一段と正確に認識することができる。
【0081】
これに加えてゲーム活性化システム15を内蔵したゲーム活性化ロボット1では、人間の頭部に似した頭部8を設け、この頭部8の人間の眼となる位置にカメラ11を設けることにより、参加者A、B及びCがゲーム活性化ロボット1を視認する際にゲーム活性化ロボット1の眼に注目を集めさせて、当該眼に設けたカメラ11によって参加者A、B及びCを確実に撮像し得、この映像信号を利用して各参加者A、B及びCの難読ゲームへの参加の程度を示す総和活性度を算出できる。
【0082】
かくして、このようにゲーム活性化ロボット1では、参加者A、B及びCの状態を総和活性度を基に常時観察し、当該総和活性度が所定の閾値以下のときに、参加者が難読ゲームに参加してない虞があると推定し、自発的にその場に最適な発話内容をスピーカ24から発することで、司会者MCと参加者A、B及びCとの直接的な対話の切っ掛けを与えることができ、かくして司会者MCと参加者A、B及びCとの直接的なコミュニケーションを従来よりも一段と活性化させ得る。
【0083】
また、ゲーム活性化ロボット1では、総和活性度に基づいて所定の発話内容を発する際に、当該発話内容を発する対象となる司会者MC、ホワイトボードWB、参加者A、B又はCが、カメラ11の画角の中心位置に配置されるように、頭部8を回動させるようにしたことにより、あたかもゲーム活性化ロボット1が司会者MC、ホワイトボードWB、参加者A、B又はCを目視して発話しているかのような印象を与えることができる。
【0084】
また、このゲーム活性化ロボット1では、発話状況理解部16によって参加者A、B及びCの中から発話者を認識し、行動再生部19によって発話者がカメラ11の画角中心に配置されるように、当該カメラ11が設けられた頭部8の角度を調整することにより、あたかも発話者の方向を向いて当該発話者の発話を聞いているかのような印象を参加者に対して与えることができる。
【0085】
さらに、ゲーム活性化ロボット1では、顔向き方向から発話者が話しかけている発話対象を示す発話対象検出結果と、発話者が発話し終えたことを示す発話終了検出結果とを発話状況理解部16により生成し、これら発話対象検出結果及び発話終了検出結果に基づいて、発話者が向いている方向にある発話対象が、発話終了後にカメラ11の画角の中心位置に配置されるように頭部8を駆動させるようにしたことにより、あたかも発話者の発話終了後に発話対象の方向を向いて、ゲーム活性化ロボット1自身が難読ゲームに積極的に参加しているかのような印象を、参加者A、B及びCに対して与えることができる。
【0086】
さらに、ゲーム活性化ロボット1では、発話終了検出結果に基づいて発話者の発話の切れ目を認識し、そのタイミングで頭部8を上下方向に回動させるうなづき動作を行わせることにより、あたかも発話者の発話を聞いていたかのような印象を参加者A、B及びCに対して与えることができる。
【0087】
さらに、ゲーム活性化ロボット1では、活性度検出部25において算出した各参加者A、B及びCの活性度及び総和活性度を活性度情報としてネットワークインターフェイス26を介してモニタリングサーバ2に送信し、当該モニタリングサーバ2から携帯端末3に当該活性度情報を送信する。これによりゲーム活性化ロボット1は、携帯端末3の表示部4を介して活性度情報を司会者MCに呈示することにより、現時点で各参加者A、B及びCが難読ゲームへどの程度積極的に参加しているか否かを活性度情報を基に客観的に判断させることができる。
【0088】
(4)他の実施の形態
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能であり、例えば犬等の動物に似せたゲーム活性化ロボットを適用してもよい。また、上述した実施の形態においては、対話活性化ロボットとして、漢字の読み仮名を解答する難読ゲームを行う際にゲーム活性化ロボット1を適用する場合について述べたが、本発明はこれに限らず、和英や英和等の言語に関し翻訳言語を当てるゲーム等の他のゲームに適用したり、さらにはゲームに限らず、所定の主題について司会者MCと参加者A、B及びCとの間で行う単なる対話に対話活性化ロボットを適用してもよい。この場合、他のゲームや、当該主題に対応した個別行動パターン情報、共通行動パターン情報及び予想効果テーブル60を予め作製してデータベース21に記憶するようにすればよい。
【0089】
なお、上述した実施の形態においては、総和活性度に所定の閾値を設け、当該総和活性度が閾値以下になったとき、ゲーム活性化ロボット1が総和活性度を増加させる最適な行動パターンを実行するようにした場合について述べたが、本発明はこれに限らず、各参加者A、B及びC毎に算出した活性度毎に所定の閾値を設け、いずれかの活性度が所定の閾値以下になったとき、ゲーム活性化ロボット1が当該活性度を増加させる最適な行動パターンを実行するようにしてもよい。
【0090】
また、上述した実施の形態においては、進行状況キーワードを認識した際に、予想活性度増加量ΔAが最も増加した行動パターンを選択候補とし、この選択候補となった行動パターンを実行するようにした場合について述べたが、本発明はこれに限らず、進行状況キーワードを認識した際、当該進行状況キーワードと予め対応付けられた行動パターンを実行するようにしてもよい。
【0091】
さらに、上述した実施の形態においては、発話状況理解部16における発話者の検出について、映像信号に基づき各参加者A、B及びCの口の動き特定して発話者を検出する唇動作認識処理を適用した場合について述べたが、本発明はこれに限らず、例えば、マイクロホン20により集音した音声を基に発話している参加者A、B及びCを検出する話者認識処理や、予め各参加者A、B及びCの声紋を登録しておきこれに基づき各参加者A、B及びCの発話を検出する音声識別処理、各参加者A、B及びCにそれぞれ個別にマイクロホンを設け、各参加者に割り当てられたマイクロホンを基に参加者の発話を識別する音声分別処理、或いは指向性のあるマイクロホンを参加者に向けて固定し、各参加者の方位を登録しておくことにより音源の方位から参加者の発話を識別する音源定位処理等この他種々の発話者特定処理を用いるようにしてもよい。
【0092】
さらに、上述した実施の形態においては、前記取得手段により取得した音声及び又は映像に基づいて、前記参加者の主題に関する対話への参加の程度を示す活性度を特定する活性度特定手段として、マイクロホン20により取得した音声と、カメラ11により取得した映像とに基づいて、参加者A、B及びCの難読ゲームへの参加の程度を示す活性度を検出する活性度検出部25を適用した場合について述べたが、本発明はこれに限らず、マイクロホン20により取得した音声のみに基づいて、参加者A、B及びCの難読ゲームへの参加の程度を示す活性度を検出したり、或いはカメラ11により取得した映像のみに基づいて、参加者A、B及びCの難読ゲームへの参加の程度を示す活性度を検出する活性度検出部を適用してもよい。
【0093】
さらに、上述した実施の形態においては、参加者A、B及びCの映像から得られる顔の表情と、参加者A、B及びCの映像から得られる顔の向き方向と、参加者A、B及びCの音声の有無(発話量)とに基づいて活性度を検出するようにした場合について述べたが、本発明はこれに限らず、参加者A、B及びCの映像から得られる顔の表情と、参加者A、B及びCの映像から得られる顔の向き方向と、参加者A、B及びCの音声の有無(発話量)とのうち、いずれか1つに基づいて活性度を検出するようにしてもよい。
【0094】
さらに、上述した実施の形態においては、カメラ11により得られた映像を基に発話者A、B又はCの顔向き方向を認識し、発話終了後に発話者A、B又はCの顔向き方向にゲーム活性化ロボット1の頭部を回動させるようにした場合について述べたが、本発明はこれに限らず、発話者A、B又はCの視線方向を認識し、発話終了後に発話者A、B又はCの視線方向にゲーム活性化ロボット1の頭部を回動させるようにしてもよい。この場合、視線方向を認識する技術としては、目領域の部分画像を用いた外観情報に基づく視線認識技術を適用すればよい。
【0095】
さらに、上述した実施の形態において、正解度を増加させる進行状況キーワードとして、司会者の「おしい」との発話内容を認識する判定キーワード「OSHII」を適用する場合について述べたが、本発明はこれに限らず、正解度を増加させる進行状況キーワードとして、司会者の「近い」等の助言となる種々の発話内容を認識する判定キーワードを適用するようにしてもよく、また、司会者の「違う」との発話内容を認識する不正解キーワード「CHIGAU」の認識に基づいて正解度を低減させるようにして、進行状況に応じて正解度を変動させるようにしてもよい。
【0096】
さらに、上述した実施の形態においては、司会者の音声を集音するマイクロホンとして、司会者MCが専用に使用するヘッドセット型マイク5を適用したが、本発明はこれに限らず、司会者MCが専用に使用しない参加者用のマイクロホン等この種々のマイクロホンを適用してもよい。
【0097】
さらに、上述した実施の形態においては、総和活性度に基づいて状況に応じた発話内容をスピーカ24から発する行動と、司会者MCの音声を集音して得られる音声信号を基に、難読ゲームの進行状況を認識し、進行状況に応じた発話内容をスピーカ24から発する行動とを実行する場合について述べたが、本発明はこれに限らず、総和活性度に基づいて状況に応じた発話内容をスピーカ24から発する行動のみを実行したり、或いは、司会者MCの音声を集音して得られる音声信号を基に、難読ゲームの進行状況を認識し、進行状況に応じた発話内容をスピーカ24から発する行動のみを実行するようにしてもよい。
【0098】
さらに、上述した実施の形態においては、発話者検出結果を基に発話者がカメラ11の画角の中心位置に配置されるように頭部8を駆動させたり、或いは発話対象検出結果及び発話終了検出結果を基に、発話者の顔向き方向の先にある発話対象がカメラ11の画角の中心位置に配置されるように頭部8を駆動させるようにした場合について述べたが、本発明はこれに限らず、発話者や発話対象をカメラ11の画角の中心位置に配置されるように頭部8を駆動させなくとてもよく、対話の状況に応じた最適な発話内容を単に発するだけでもよい。
【図面の簡単な説明】
【0099】
【図1】ゲーム活性化ロボットを用いた難読ゲームの説明に供する概略図である。
【図2】ゲーム活性化システムの回路構成を示すブロック図である。
【図3】個別行動パターン情報の構成を示す概略図である。
【図4】行動パターンを示す概略図である。
【図5】設定画面の構成を示す概略図である。
【図6】進行状況キーワードを示す概略図である。
【図7】予想効果テーブルの構成を示す概略図である。
【符号の説明】
【0100】
1 ゲーム活性化ロボット(対話活性化ロボット)
4 表示部(表示手段)
5 ヘッドセット型マイク(司会者用マイクロホン)
8 頭部
11 カメラ(撮像手段、取得手段)
15 ゲーム活性化システム(対話活性化システム)
16 発話状況理解部(発話検出手段)
20 マイクロホン(取得手段)
21 データベース(記憶手段)
24 スピーカ
25 活性度検出部(活性度推定手段)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図6】
4
【図7】
5
【図5】
6