TOP > 国内特許検索 > コミュニケーションロボット > 明細書

明細書 :コミュニケーションロボット

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4512830号 (P4512830)
公開番号 特開2007-216363 (P2007-216363A)
登録日 平成22年5月21日(2010.5.21)
発行日 平成22年7月28日(2010.7.28)
公開日 平成19年8月30日(2007.8.30)
発明の名称または考案の名称 コミュニケーションロボット
国際特許分類 B25J  13/08        (2006.01)
B25J   5/00        (2006.01)
FI B25J 13/08 Z
B25J 5/00 A
請求項の数または発明の数 8
全頁数 18
出願番号 特願2006-042780 (P2006-042780)
出願日 平成18年2月20日(2006.2.20)
審査請求日 平成19年3月26日(2007.3.26)
特許権者または実用新案権者 【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
発明者または考案者 【氏名】久野 義徳
個別代理人の代理人 【識別番号】100100918、【弁理士】、【氏名又は名称】大橋 公治
【識別番号】100108729、【弁理士】、【氏名又は名称】林 紘樹
審査官 【審査官】植村 森平
参考文献・文献 特開2004-261941(JP,A)
特開2004-230479(JP,A)
特開2005-238382(JP,A)
特開2005-193351(JP,A)
特開2000-349920(JP,A)
特開2006-033503(JP,A)
特公平06-034489(JP,B2)
特開2005-012819(JP,A)
特開2004-048186(JP,A)
特開2001-156930(JP,A)
調査した分野 B25J 1/00-21/02
特許請求の範囲 【請求項1】
移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第1の対象者と対面してコミュニケーションを行い、第2の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、
自律的に動作を行う第1のモードと、
前記第2の対象者から指示された動作を行う第2のモードと、
前記第2の対象者の動作を反映する動作を行い、前記第1の対象者と前記第2の対象者とのコミュニケーションを媒介する第3のモードと
切り替えて実行する制御部を有し、
前記制御部は、
前記第2の対象者から前記通信手段を介して音声の指示が入力されると、前記第1のモードから前記第2のモードに移行して、前記通信手段を通じて取得した前記第2の対象者の顔方向または指差し方向に前記頭部を向けて、前記第2の対象者から指示された動作を実行し、前記動作が終了すると、前記第2のモードから前記第1のモードに移行し、
前記第1の対象者から当該コミュニケーションロボットに向けて問い掛けがあると、前記第1のモードから前記第3のモードに移行して、前記頭部及び腕の方向を、前記通信手段を通じて取得した前記第2の対象者の顔方向及び指差し方向に一致させながら、前記第2の対象者から前記通信手段を通じて送られてきた音声を前記スピーカから発声することにより、前記第1の対象者と前記第2の対象者とのコミュニケーションを媒介し、前記第1の対象者と前記第2の対象者とのやり取りが終了すると、前記第3のモードから前記第1のモードに移行する
ことを特徴とするコミュニケーションロボット。
【請求項2】
請求項1に記載のコミュニケーションロボットであって、前記第1のモードにおいて、前記カメラの画像から当該コミュニケーションロボットの方を見ている対象者を検出し、検出された対象者の方向に前記頭部を向け、前記カメラの画像から前記対象者の顔画像を抽出して、当該コミュニケーションロボットの方を見ている時間を計測し、前記時間が所定時間を超えた場合に、当該対象者に近付く動作を行うことを特徴とするコミュニケーションロボット。
【請求項3】
請求項1に記載のコミュニケーションロボットであって、前記第1のモードにおいて、前記カメラの画像から当該コミュニケーションロボットの方を見ている対象者を検出し、検出された対象者の方向に前記頭部を向け、前記カメラの画像から前記対象者の顔画像を抽出して、当該コミュニケーションロボットの方を見ている時間を計測し、前記時間が所定時間を超えた場合に、当該対象者に予め記録された音声データを前記スピーカから発声する動作を行うことを特徴とするコミュニケーションロボット。
【請求項4】
請求項1から3のいずれかに記載のコミュニケーションロボットであって、前記第2のモードにおいて、前記第2の対象者から指示されたパンフレット等を指示された対象者に渡す動作を行うことを特徴とするコミュニケーションロボット。
【請求項5】
移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第1の対象者と対面してコミュニケーションを行い、第2の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、
自律的に動作を行う第1のモードと、
前記第2の対象者から指示された動作を行う第2のモードと、
前記第2の対象者の動作を反映する動作を行い、前記第1の対象者と前記第2の対象者とのコミュニケーションを媒介する第3のモードと
を切り替えて実行する制御部を有し、
前記制御部は、
前記第2の対象者から前記通信手段を介して音声の指示が入力されると、前記第3のモードから前記第2のモードに移行して、前記第2の対象者から指示された動作を実行し、前記動作が終了すると、前記第2のモードから前記第3のモードに移行して、前記頭部及び腕の方向を、前記通信手段を通じて取得した前記第2の対象者の顔方向及び指差し方向に一致させながら、前記第2の対象者から前記通信手段を通じて送られてきた音声を前記スピーカから発声することにより、前記第1の対象者と前記第2の対象者とのコミュニケーションを媒介し、
移動中に障害物を発見すると、前記第3のモードから前記第1のモードに移行して、前記障害物の方に前記頭部を向け、前記通信手段を通じて取得した前記第2の対象者の顔方向が当該コミュニケーションロボットの前記頭部の向きに一致すると、前記第1のモードから前記第3のモードに移行する
ことを特徴とするコミュニケーションロボット。
【請求項6】
請求項5に記載のコミュニケーションロボットであって、前記第2のモードにおいて、前記第2の対象者から指示された場所を目標地点に設定し、当該第2のモードから移行した前記第3のモードにおいて、前記目標地点まで移動しながら前記第1の対象者と前記第2の対象者とのコミュニケーションを媒介することを特徴とするコミュニケーションロボット。
【請求項7】
請求項5に記載のコミュニケーションロボットであって、前記第2のモードにおいて、前記第2の対象者から指示された人物を同伴対象に設定し、当該第2のモードから移行した前記第3のモードにおいて、前記人物に従って移動しながら前記第1の対象者と前記第2の対象者とのコミュニケーションを媒介することを特徴とするコミュニケーションロボット。
【請求項8】
移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第1の対象者と対面してコミュニケーションを行い、第2の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットと、前記第2の対象者が前記コミュニケーションロボットへのアクセスに使用する操作側装置とを備えるコミュニケーションロボットシステムであって、
前記コミュニケーションロボットは、請求項1から請求項7のいずれかに記載の構成を有し、
前記操作側装置は、前記コミュニケーションロボットから前記通信手段を通じて送られた画像を表示するモニタと、前記コミュニケーションロボットから前記通信手段を通じて送られた音声を出力するスピーカと、前記第2の対象者の音声を電気信号に変換するマイクロホンと、前記第2の対象者を撮影するカメラと、前記カメラの画像から前記第2の対象者の顔方向を検出する顔方向検出手段と、前記第2の対象者の指差し方向を検出する指差し方向検出手段と、を備え、前記マイクロホンから入力した前記第2の対象者の音声、前記顔方向検出手段で検出された前記第2の対象者の顔方向、及び、前記指差し方向検出手段で検出された前記第2の対象者の指差し方向が、前記通信手段を通じて前記コミュニケーションロボットに送られることを特徴とするコミュニケーションロボットシステム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人間とコミュニケーションを行うロボットに関し、特に、円滑なコミュニケーションの実現を図るものである。
【背景技術】
【0002】
我が国では、ロボットに関する研究開発が盛んであり、多種類のロボットが製作されている。
下記特許文献1には、指示者が手振りや身振りで指示を出すと、その指示に応じた行動を始めるロボットが開示されている。このロボットは、指示者の姿勢と指示内容との関係が定義された設定ファイルを保持し、カメラで撮影した画像から人物の姿勢を認識して、その姿勢に対応した指示内容を実行する。
例えば、ロボットに付いて来るように合図すると、ロボットは、指示を出した人物に追従する。このとき、「ロボットが人間との距離を一定に保ちながら移動する場合に、安全を確保するための距離が第一の所定距離(例えば150cm)になるように移動する」、「人間との距離が第二の所定距離(例えば90cm)未満になった場合は停止する」、「人間との距離が第二の所定距離(例えば、90cm)以上~第一の所定距離(例えば、150cm)未満になった場合は後退または歩調を合わせる」等の条件が設定されていると、ロボットの動作は、この条件を満たすように制御される。
【0003】
また、下記特許文献2には、離れて位置する二人のコミュニケーションを支援するロボットが記載されている。このロボットは、自律動作のための走行手段、駆動手段、各種センサ、コントローラ等と共に、スピーカ、マイク、カメラ、表示画面を備え、さらに、このロボットを遠隔操作するコントロール装置との通信手段を具備している。
例えば、接客係の手許にコントロール装置が置かれ、入店者を映すロボットのカメラの映像がコントロール装置に表示される。接客係は、この映像から来客を発見すると、遠隔操作でロボットを客に近付ける。接客係の顔は、コントロール装置のカメラで撮影されてロボットの表示画面に表示され、接客係の声はロボットに送られてスピーカから音声出力される。一方、客の顔は、ロボットのカメラで撮影されてコントロール装置に表示され、客の音声は、ロボットのマイクで集音されて接客係側に送られる。
そのため、コミュニケーションロボットとコントロール装置との間で映像及び音声をリアルタイムに送受信することができ、コントロール装置の操作者とロボットに対面している人とは、コミュニケーションを行うことができる。

【特許文献1】特開2004-78316号公報
【特許文献2】特開2004-261941号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
人と人とが対面してコミュニケーションを行う場面では、例えば、いきなり「それを取って」と言われても「それ」が何か分かることが多い。これは、受け手側が周囲の状況や相手の行動に関する情報を五感で得ているためである。
しかし、通信手段を介してコミュニケーションを行う場合は、通信手段を通じて伝送された情報しかコミュニケーションに利用することができない。それ故、通信手段を使用する場合に、円滑なコミュニケーションを如何にして実現するかが大きな課題となる。
人と人とがロボットを介してコミュニケーションを行う場合は、少なくとも一方の人がロボットに対面しているから、対面コミュニケーションの利点を活用することが可能である。
ただ、そのためには、ロボットが、対面する人の五感に訴えるパフォーマンスを示す必要があり、また、通信手段を介してロボットと情報を交換する他方の人が、ロボットとの間で円滑なコミュニケーションを実現する必要がある。
【0005】
本発明は、こうした事情を考慮して創案したものであり、円滑なコミュニケーションを実現することができるコミュニケーションロボットと、それを用いるコミュニケーションロボットシステムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明は、移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第1の対象者と対面してコミュニケーションを行い、第2の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、自律的に動作を行う第1のモードと、第2の対象者から指示された動作を行う第2のモードと、第2の対象者の動作を反映する動作を行い、第1の対象者と第2の対象者とのコミュニケーションを媒介する第3のモードとを切り替えて実行する制御部を有し、前記制御部は、第2の対象者から通信手段を介して音声の指示が入力されると、第1のモードから第2のモードに移行して、通信手段を通じて取得した第2の対象者の顔方向または指差し方向に頭部を向けて、第2の対象者から指示された動作を実行し、前記動作が終了すると、第2のモードから第1のモードに移行し、第1の対象者から当該コミュニケーションロボットに向けて問い掛けがあると、第1のモードから第3のモードに移行して、頭部及び腕の方向を、通信手段を通じて取得した第2の対象者の顔方向及び指差し方向に一致させながら、第2の対象者から通信手段を通じて送られてきた音声をスピーカから発声することにより、第1の対象者と第2の対象者とのコミュニケーションを媒介し、第1の対象者と第2の対象者とのやり取りが終了すると、第3のモードから第1のモードに移行することを特徴とする
このロボットに対面する第1の対象者は、ロボットの動作から、コミュニケーションの相手である第2の対象者の動作を知ることができる。第2の対象者は、通信手段を通じてロボットの行動及び周囲の状況を知ることにより、ロボットの位置に居た場合の動作を行うことができ、ロボットは、通信手段を通じて第2の対象者の動作の情報を得ることにより、第2の対象者が指示する方向に頭部を向けたり、第2の対象者の動作を真似たりすることができる。
【0007】
また、本発明のコミュニケーションロボットは、第1のモードにおいて、カメラの画像から当該コミュニケーションロボットの方を見ている対象者を検出し、検出された対象者の方向に頭部を向け、カメラの画像から前記対象者の顔画像を抽出して、当該コミュニケーションロボットの方を見ている時間を計測し、前記時間が所定時間を超えた場合に、当該対象者に近付く動作を行うことができ、また、前記時間が所定時間を超えた場合に、当該対象者に予め記録された音声データをスピーカから発声する動作を行うことができる
このロボットは、展示のガイドロボットとして動作することができる。
【0008】
また、本発明のコミュニケーションロボットは、第2のモードにおいて、第2の対象者から指示されたパンフレット等を指示された対象者に渡す動作を行うことができる
【0009】
また、本発明のコミュニケーションロボットは、移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第1の対象者と対面してコミュニケーションを行い、第2の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットであって、自律的に動作を行う第1のモードと、第2の対象者から指示された動作を行う第2のモードと、第2の対象者の動作を反映する動作を行い、第1の対象者と第2の対象者とのコミュニケーションを媒介する第3のモードとを切り替えて実行する制御部を有し、前記制御部は、第2の対象者から通信手段を介して音声の指示が入力されると、第3のモードから第2のモードに移行して、第2の対象者から指示された動作を実行し、前記動作が終了すると、第2のモードから第3のモードに移行して、頭部及び腕の方向を、通信手段を通じて取得した第2の対象者の顔方向及び指差し方向に一致させながら、第2の対象者から通信手段を通じて送られてきた音声をスピーカから発声することにより、第1の対象者と第2の対象者とのコミュニケーションを媒介し、移動中に障害物を発見すると、第3のモードから第1のモードに移行して、障害物の方に頭部を向け、通信手段を通じて取得した第2の対象者の顔方向が当該コミュニケーションロボットの頭部の向きに一致すると、第1のモードから第3のモードに移行することを特徴とする
このロボットは、身体的事情などで会場に来られない第2の対象者に代わって、彼の友人等(第1の対象者)とともに会場内を見て周り、会場内の状況を第2の対象者に伝える動作を行うことができる。
【0010】
また、本発明のコミュニケーションロボットは、第2のモードにおいて、第2の対象者から指示された場所を目標地点に設定し、当該第2のモードから移行した第3のモードにおいて、前記目標地点まで移動しながら第1の対象者と第2の対象者とのコミュニケーションを媒介することができる。
また、本発明のコミュニケーションロボットは、第2のモードにおいて、第2の対象者から指示された人物を同伴対象に設定し、当該第2のモードから移行した第3のモードにおいて、前記人物に従って移動しながら第1の対象者と第2の対象者とのコミュニケーションを媒介することができる。
【0011】
また、本発明は、移動可能な腕と、向きや傾きを変えることができる頭部と、カメラと、マイクロホンと、スピーカとを有し、第1の対象者と対面してコミュニケーションを行い、第2の対象者と通信手段を介してコミュニケーションを行うコミュニケーションロボットと、第2の対象者がコミュニケーションロボットへのアクセスに使用する操作側装置とを備えるコミュニケーションロボットシステムであって、コミュニケーションロボットは、前述した構成を有し、操作側装置は、コミュニケーションロボットから通信手段を通じて送られた画像を表示するモニタと、コミュニケーションロボットから通信手段を通じて送られた音声を出力するスピーカと、第2の対象者の音声を電気信号に変換するマイクロホンと、第2の対象者を撮影するカメラと、カメラの画像から第2の対象者の顔方向を検出する顔方向検出手段と、第2の対象者の指差し方向を検出する指差し方向検出手段と、を備え、マイクロホンから入力した第2の対象者の音声、顔方向検出手段で検出された第2の対象者の顔方向、及び、指差し方向検出手段で検出された第2の対象者の指差し方向が、通信手段を通じてコミュニケーションロボットに送られることを特徴とする。
第2の対象者は、モニタに表示された画像やスピーカからの音声でロボットの行動及び周囲の状況を知り、ロボットの位置に居た場合の動作を行うことができ、ロボットは、顔方向検出手段で検出された第2の対象者の顔方向、及び、指差し方向検出手段で検出された第2の対象者の指差し方向の情報を得ることにより、第2の対象者が指示する方向に頭部を向けたり、第2の対象者の動作を真似たりすることができる。
【発明の効果】
【0012】
本発明のコミュニケーションロボットは、対面する人に対して円滑なコミュニケーションを行うことができ、また、通信手段を介して接触する人との円滑なコミュニケーションが可能であり、さらに、対面する人と通信手段を介して接触する人との間の円滑なコミュニケーションを取り持つことができる。
【発明を実施するための最良の形態】
【0013】
(第1の実施形態)
本発明の第1の実施形態では、博物館のガイド役を担当するコミュニケーションロボットについて説明する。
図1は、このコミュニケーションロボットと操作側装置とを示す模式図である。また、図2は、コミュニケーションロボットの構成を示すブロック図であり、図3は、操作側装置の構成を示すブロック図である。
【0014】
図1に示すように、コミュニケーションロボット10は、頭部11と、首16と、胴体12と、台車13と、車輪14と、腕151、152とを備えている。また、頭部11の頂点には頭部カメラ17が設置され、胴体12には、前側に三台、背側に三台の胴体カメラ201、202、203と、マイク24と、スピーカ25とが設置され、また、台車13には複数の超音波センサ23が設置されている。
腕151、152は、上げたり下げたりすることができる。頭部11は、首16の回転や傾斜により2自由度以上の自由度で動かすことができる。また、台車13は、車輪14の回転により任意の方向に移動することができる。
前側の胴体カメラ201~203のうち、中央のカメラ202は正面を撮影範囲とし、右側のカメラ203は右方向を、また、左側のカメラ201は左方向をそれぞれ撮影範囲としている。そのため、前側の三台のカメラ201~203によってロボット前方の全域が撮影される。同様に、背側の三台のカメラ(不図示)によってロボット10の後ろ側の全域が撮影される。
【0015】
また、操作側装置は、博物館の専門家40の部屋に設置され、6個のモニタ501~503、601~603と、専門家40を撮影するためのカメラ51とを備えている。
6個のモニタの内、下列のモニタ501、502、503は、それぞれ、ロボット10の前側に設置された胴体カメラ201、202、203の映像を表示し、上列のモニタ601、602、603は、それぞれ、背側に設置された三台の胴体カメラの映像を表示する。
また、頭部カメラ17の撮影方向と一致する下列モニタ501、502、503の画像上に、頭部カメラ17の画像53が重ねて表示される。例えば、ロボット10の頭部11が左を向いたときは、頭部カメラ17の画像53が左側のモニタ501の画像上に表示され、頭部11が右を向いたときは、頭部カメラ17の画像53が右側のモニタ503の画像上に表示される。
また、上列中央のモニタ602には、胴体カメラの画像に重ねて、ロボット10のCG像52が表示される。
【0016】
図2に示すように、コミュニケーションロボット10は、頭部カメラ17及び胴体カメラ201~203の画像データを処理する画像処理部63と、これらの画像を解析する画像解析部62と、マイク25及びスピーカ24の音声を処理する音声処理部66と、音声合成部65と、音声認識部64と、超音波センサ23により障害物を検知する障害物検知部70と、走行駆動部71、腕駆動部72及び首駆動部73の駆動を制御する駆動制御部69と、データ記憶部67と、操作側装置との間で無線等によりデータを送受信する送受信部61と、各部の動作を制御する制御部68とを備えている。
この内、画像処理部63、画像解析部62、音声処理部66、音声合成部65、音声認識部64、障害物検知部70、駆動制御部69及び制御部68は、ロボット10に内蔵されたコンピュータやCPUがプログラムで規定された処理を実行することにより実現される。
【0017】
走行駆動部71は台車13を動かし、腕駆動部72は腕151、152を動かし、首駆動部73は首16を回転または傾斜させて頭部11の向きや傾きを変える。
また、図3に示すように、操作側装置80は、モニタ501~503、601~603の表示を制御する表示制御部90と、CG像52を作成するCG作成部89と、カメラ51の画像データを処理する画像処理部82と、カメラ51の画像を解析して専門家40の顔方向の検出831や指差し方向の検出832を行う画像解析部83と、マイク84と、スピーカ85と、音声処理部86と、データ記憶部87と、ロボット10との間で無線等によりデータを送受信する送受信部81と、各部の動作を制御する制御部88とを備えている。
この内、表示制御部90、CG作成部89、画像処理部82、画像解析部83及び制御部88は、操作側装置80に内蔵されたコンピュータやCPUがプログラムで規定された処理を実行することにより実現される。
【0018】
このコミュニケーションロボット10は、図4に示すように、自律的に動作を行う「自律モード」、専門家40(即ち、通信手段を通じて情報を交換する人)とコミュニケーションを行い、専門家40の指示を実行する「対話モード」、及び、専門家40と見学者とのコミュニケーションを媒介する「媒介モード」のいずれかを実行する。
このコミュニケーションロボット10は、「自律モード」において、周囲の人301(見学者)と自律的にコミュニケーションを行う。通常、このロボット10は、自律モードで動作し、状況に応じて対話モードや媒介モードに切替える。そして、それらのモードの動作が終了すると自律モードに戻る。
【0019】
ロボット10のデータ記憶部67には、展示物説明用のデータや会場の地図データが格納され、さらに、自律モード、対話モード及び媒介モードの各モードにおいて実行すべき動作や、一つのモードから他のモードに移る際の条件などが設定されている。
例えば、自律モードでは、
(1)前側及び背側の胴体カメラ201~203の画像から、展示物の近くにいて、ロボット10の方を見ている人を検出する。
(2)(1)において該当者が検出されたときは、頭部11をその人の顔の方に向け、頭部カメラ17で顔を撮影する。
(3)頭部カメラ17で撮影した顔がS1秒以上ロボット10の方を見ていたら、その人の方へ移動して、その人からd1m離れた位置で停止する。
(4)(3)に続いて、展示物の説明文を音声合成で発声する。
(5)説明文の発声時には、予め指定された重要な言葉の後、あるいは、文の区切り箇所で説明を聞く見学者の方にロボット10の顔を向ける。
等の動作が設定される。
【0020】
また、対話モードでは、
(1)操作側装置80から指示された方向にロボット10の頭部11を向ける。
(2)操作側装置80から指示されたパンフレットを、指示された人に渡す。
等の動作が設定される。
また、媒介モードでは、
(1)操作側装置80側の人物の顔が向く方向に頭部11を向ける。
(2)操作側装置80側の人物が指差す方向に腕151、152を上げる。
(3)操作側装置80から送られた音声を出力する。
等の動作が設定される。
【0021】
また、モード間の移行の条件は、例えば、次のように設定される。
(1)操作側装置80からロボット10に対する音声の指示が入力したときは、自律モードから対話モードに移行し、指示された動作が終了したときは、対話モードから自律モードに移行する。
(2)ロボット10の周囲の人からロボット10に向けて質問(発話)があったときは、自律モードから媒介モードに移行し、質問のやり取りが終了したときは、媒介モードから自律モードに移行する。
一方、操作側装置80のデータ記憶部87には、ロボット10の各種パラメータと実データとの関係を示すテーブル等が格納されている。
【0022】
次に、このシステムの動作について説明する。
ロボット10は、前側及び背側の胴体カメラ201~203で映した映像、並びに、頭部カメラ17で映した映像を、画像処理部63で標本化、量子化等の処理を施した後、送受信部61から操作側装置80に送信する。また、マイク25から入力した音声信号を音声処理部66でデジタルデータに変換し、送受信部61から操作側装置80に送信する。さらに、駆動制御部69が走行駆動部71、腕駆動部72及び首駆動部73の駆動制御に用いた制御パラメータを送受信部61から操作側装置80に送信する。
操作側装置80では、受信した前側及び背側の胴体カメラ201~203の映像を表示制御部90が6台のモニタ501~503、601~603に分けて表示する(ロボット10の前側左の胴体カメラ201の映像を下列の向かって左のモニタ501に、前側中央の胴体カメラ202の映像を下列中央のモニタ502に、前側右の胴体カメラ203の映像を下列の向かって右のモニタ503に、胴体カメラ201の裏側の背側胴体カメラの映像を上列の向かって右のモニタ603に、胴体カメラ202の裏側の背側胴体カメラの映像を上列中央のモニタ602に、胴体カメラ203の裏側の背側胴体カメラの映像を上列の向かって左のモニタ601に、それぞれ表示する。)
【0023】
また、表示制御部70は、ロボット10より受信した制御パラメータの中の首駆動部73の制御パラメータを基に、データ記憶部87に格納されたテーブルを参照して、ロボット10の頭部11の向き及び傾きを求め、頭部カメラ17の撮影方向と一致する下列モニタ501、502、503の画像上に、頭部カメラ17の画像53を重ねて表示する。
また、CG作成部89は、ロボット10より受信した走行駆動部71、腕駆動部72及び首駆動部73の制御パラメータから、データ記憶部87のテーブルを参照して、ロボット10の走行方向、腕151、152の角度、頭部11の向き及び傾きを求め、ロボット10のCG画像を生成する。表示制御部70は、作成されたCG画像52を上列中央のモニタ602の画像に重ねて表示する。
また、受信した音声データを音声処理部86でアナログ信号に変換し、スピーカ85から音声出力する。
専門家40は、モニタ501~503、601~603に映る各種画像を見ることにより、ロボット10の周りの状況や、ロボット10の行動を知ることができる。
【0024】
自律モードのロボット10では、制御部68が、データ記憶部67に設定された自律モード時の動作を実行すべく各部を制御する。
画像解析部62は、制御部68の指示に基づいて、前側及び背側の胴体カメラ201~203の映像を解析し、展示物の近くに居てロボット10の方向に顔が向いている見学者を検出する。
画像解析により該当者が検出されると、制御部68は、駆動制御部69に対し、検出された方向に頭部11を向けるように指示し、駆動制御部69は、指示に従って首駆動部73を駆動し、頭部11の向きを変える。
画像解析部62は、頭部カメラ17の画像を解析し、見学者の顔を抽出する。制御部68は、抽出された顔がロボット10の方を向いている時間を計測し、その時間がS1秒を超えた場合に、ロボット10はその見学者と目が合った(アイコンタクトが成立した)と判断し、その見学者との距離がd1mになるまで近付くように駆動制御部69に指示する。駆動制御部69は、データ記憶部67の地図データを参照し、走行駆動部71を制御して、その見学者の方向にロボット10を進める。そして、障害物検知部70がその見学者との距離をd1mと検知した時点で停止する。
【0025】
ロボット10が指示された位置まで移動すると、音声合成部65は、制御部68の指示に基づいて、データ記憶部67に格納された説明文のデータを音声に合成し、合成された音声がスピーカ24から発声される(この発声は操作側装置80にも送信される)。
従って、ロボット10と目が合った見学者は、ロボット10から展示物の説明を受けることになる。
【0026】
制御部68は、この説明の間、画像解析部62の解析結果から見学者の顔の現在位置を確認し、その説明中に予め指定された重要な言葉が発声されると、あるいは、文の区切り箇所に達すると、駆動制御部69に対し、頭部11を見学者の方に向けるように指示する。駆動制御部69は、指示に従って首駆動部73の回転や傾きを変え、頭部11を見学者の方に向ける。
このようなロボット10の動作は、一般のガイドが説明の途中で視線を見学者の方に移し、見学者の方も、それに応じてガイドの方を見る動作(即ち、ガイドが「分かりますか」と目で問い、見学者が「分かっています」と目で答える動作)と同じ効果を生むことができ、対面する見学者との円滑なコミュニケーションを可能にする。
操作側装置80の専門家40は、モニタ501~503に表示された頭部カメラ17の画像53の位置と表示内容、モニタ601~603に表示されたCG像52、スピーカ85から流れる音声などにより、ロボット10がどの方向を見て何をしているかが容易に分かる。
【0027】
専門家40は、モニタ501~503、601~603に映る胴体カメラ201~203の映像から、ロボット10の説明を聞きたがっている人を見つけた場合に、その人の存在にロボット10が気付いていないときには、モニタ501~503、601~603に映るその人の方を向いて、あるいは、その人を指差して、「あの人に説明してあげて」と発声する。
専門家40の音声は、操作側装置80のマイク84で電気信号に変換され、音声処理部86でデジタルデータに変換される。制御部88は、このときの専門家40の姿を映したカメラ51の画像を解析するように画像解析部83に指示し、画像解析部83は、この画像から顔方向の検出処理831または指差し方向の検出処理832を実施する。制御部88は、検出された方向を示すデータと音声データとを、送受信部81を通じてロボット10に送信する。
【0028】
これらのデータを受信したロボット10では、制御部68が、音声認識部64に対して音声データの音声認識を指示する。音声認識部64は、この音声データを文字列に変換する。制御部68は、その文字列を予め保持した辞書の単語や文字列と照合し、ロボット10に対する指示であることを識別すると、自律モードから対話モードに移行し、対話モードの動作を実行する。
制御部68は、操作側装置80から受信した方向を示すデータを駆動制御部69に伝え、頭部11を当該方向に向けるように指示する。駆動制御部69は、指示に従って首駆動部73を駆動し、頭部11を指定された方向に向ける。その結果、頭部カメラ17に、専門家40が「あの人」と言った見学者が映ることになる。
ロボット10は、対話モードにおいて設定されている動作が終了すると、自律モードに戻り、頭部カメラ17の画像を解析して見学者の顔を抽出する。抽出された顔がロボット10の方をS1秒以上向いているとき、その見学者との距離がd1mになるまで近付き、展示物の説明を開始する。
【0029】
このように、このシステムでは、ロボット10と直接対面していない専門家40が、「この人」とか「あの人」とか言う表現でロボット10とコミュニケーションを行うことができる。これは、ロボット10と専門家40との間で円滑なコミュニケーションが可能であることを示している。
また、ロボット10に対してパンフレットの手渡しを指示する場合も、同様に、専門家40は、モニタ501~503、601~603に映るパンフレットを見ることにより(または、指差すことにより)「そのパンフレットをあの人にあげて」との言い方で指示を出すことができる。
【0030】
ロボット10の説明を聞いた人から質問が出た場合は、その音声が、マイク25で電気信号に変換され、音声処理部66でデジタルデータに変換される。ロボット10の制御部68は、音声認識部64に対して、この音声データの音声認識を指示する。音声認識部64が音声データを文字列に変換すると、制御部68は、その文字列を予め保持した辞書の単語や文字列と照合し、質問であることを識別すると、自律モードから媒介モードに移行して、媒介モードの動作を実行する。
ロボット11の制御部68は、まず、媒介モードに移行したことを操作側装置80に伝える。例えば、特定の音を操作側装置80のスピーカ24から鳴らしたり、操作側装置80のモニタ501~503、601~603の表示を特別の色の表示枠で囲んだりして、媒介モードへの移行を知らせる。
また、ロボット11は、操作側装置80から送られた回答の音声をスピーカ24から発声する。
【0031】
質問に回答する専門家40の姿は、操作側装置80のカメラ51で撮影され、制御部88の指示を受けた画像解析部83により、この画像から顔の方向及び指差し方向が検出される。制御部88は、検出された顔方向のデータと指差し方向のデータとを、送受信部81を通じてロボット10に送信する。
ロボット11の制御部68は、操作側装置80から受信した専門家40の顔方向のデータと指差し方向のデータとを駆動制御部69に伝えて、頭部11の向きを顔方向に一致させ、腕151、152の向きを指差し方向に一致させるように指示する。駆動制御部69は、指示に従って首駆動部73及び腕駆動部72を駆動し、頭部11及び腕151、152を指定された方向に向ける。その結果、ロボット10は、専門家40と同じような姿勢をとることになる。
【0032】
例えば、見学者が「これはなんですか」と聞いた場合に、専門家40がモニタ501~503、601~603に映る「これ」を指して「これは×××××です」と答えると、専門家40の音声がロボット10から流れるとともに、ロボット10の頭部11が「これ」の方を向き、ロボット10の腕151、152が「これ」の方向を指すことになる。
そのため、見学者は、専門家40と直接対面していないにも関わらず、ロボット10を見ることにより、専門家40と対面しているときのような円滑なコミュニケーションを行うことができる。また、専門家40は、「これ」とか「あれ」とか言う表現で見学者と意思の疎通を図ることができる。これは、見学者と専門家40との間で円滑なコミュニケーションが可能であることを示している。
質問のやり取りが終了すると、ロボット10の制御部68は、媒介モードから自律モードに戻る。
【0033】
なお、ここでは、見学者から質問があると、直ちに媒介モードに移行したが、ロボット10が回答できる質問の場合は、自律モードのロボット10が回答し、ロボット10に回答できない質問が出た場合に、媒介モードに移行するようにしても良い。
【0034】
このように、このコミュニケーションロボット10は、図4に示すように、自律モード、対話モード、及び、媒介モードの各モードに対応し、状況に応じて、そのモードを自ら切り替えている。こうした行動により、ロボット10は、見学者と円滑なコミュニケーションを図ることができる。
ロボット10によるモードの切り替えは自然に行われ、見学者には察知されない。そのため、見学者は、ロボットが高機能化していることを強く印象付けられることになる。
また、通信手段を介してロボット10に接触する専門家40は、ロボット10の行動を画像から詳細に知ることができ、かつ、自らの顔や手の向きをロボット10に伝えることができる。そのため、専門家40とロボット10との間では、対面しているときと同等の円滑なコミュニケーションが可能である。
また、ロボット10の周囲の見学者は、ロボット10を通じて専門家40の動作を見ることができるため、専門家40と対面している場合と同等の円滑なコミュニケーションが可能になる。
【0035】
なお、操作側装置80のモニタにCG像52を表示する方法として、図1に例示する以外の方法を採ることも可能である。CG像52の表示の仕方には、
(1)ロボット10を正面から見たときの像(正面像)を上列の中央モニタ602に表示
(2)正面像の左右を逆にした左右逆像を上列の中央モニタ602に表示
(3)左右逆像を下列の中央モニタ502に表示
(4)ロボット10を背面から見たときの像(背面像)を下列の中央モニタ502に表示
(5)正面像を下列の中央モニタ502に表示
(6)背面像を上列の中央モニタ602に表示
等の方法が考えられる。
【0036】
このうち、(1)の表示方法(図1の表示方法)は、ロボット10の状態が、その場に実際に専門家40がいてロボット10を見たときと同じ背景の中に表示される利点がある。ただし、ロボット10の顔や手の左右の動きは、前面のモニタ表示と一致しない。例えば、図1の状況ではロボット10は左側を見ていて、CG像52も左側を向いている(専門家40から見ると右を向いている)が、頭部カメラ17の画像53は専門家40から見ると左側のモニタ501に表示されている。
(2)の表示方法では、ロボット10の顔や手の左右の動きは、前面のモニタ表示と一致するが、実際の動きと逆像が表示される。背景の映像が専門家40から見て、左右が正しい画像なので、実際の状況と違う画像が表示されてしまう問題がある。
(3)の表示方法では、ロボット10の視点からの画像を表示する下列の中央モニタ502に逆像のCG像52を表示するので、(2)の表示方法より違和感は減る。即ち、専門家40は、このモニタ502を見る際に、ロボット10の視点を意識しているからである。ただし、この場合は、一般に重要な情報の含まれる正面の画像の一部がCG像により隠されてしまうという問題がある。
(4)の表示方法では、ロボット10の動作とモニタ502の位置関係とが一致しており、この点は良い。ただし、後ろ向きの像が表示されるため動作が分かり難い。それを防ぐには少し斜め後ろからの像に変えてもよい。また、(3)と同様に、正面の画像の一部がCG像により隠されてしまうという問題がある。また、ロボット10が後ろ向きであるため、特に対話モードでは使用者に好感を持たれない場合がある。
(5)の表示方法は、ロボット10が背側の胴体カメラを持たない場合には採用される表示方法であるが、その他の場合には特に利点がない。
(6)の表示方法は、ロボット10が後方を見ているように見えて、不自然であり、特に利点はない。
このように、各表示方法には、それぞれ特徴がある。そのため、複数のCG表示方法を用意して、使用者が好みにより選択できるようにしても良い。また、ロボット10のモードに応じて、CG表示方法を切り替えるようにしても良い(例えば、対話モードでは、CG像を(1)(2)(3)(5)のいずれかの方法で表示し、媒介モードでは(4)または(6)の方法で表示し、自律モードでは、対話モードまたは媒介モードと同一の方法で表示する。)。
【0037】
また、ここでは、操作側装置80に6面のディスプレイを設けているが、一つのディスプレイの表示領域を六つに区画して、6面のディスプレイに表示していた内容を小さく表示するようにしても良い。こうすることにより、図5に示すように、専門家40は、一人で複数台のロボットを扱うことが可能になる。但し、この場合、表示を見る専門家40の顔の動きが小さくなるので、ロボット側では、それを拡大してロボットの頭部11の動きに反映させる必要がある。
【0038】
また、この場合、専門家40の顔の向きを検出するためのカメラは、一台の広角カメラで代用することも可能ではあるが、図5のように、各ロボットに対応する表示器に一台ずつ設置することが望ましい。こうすると、専門家40が注目するロボットを判断するとき、各カメラの画像の中で、専門家40の顔がほぼ正面を向いている画像を探すだけで足りるため、簡単な処理で正しく判定できる。
【0039】
また、ここでは、ロボット10の頭部カメラ17の映像53を操作側装置80のモニタ501~503上に表示したが、頭部カメラ17の設置を止め、ロボット10の頭部11の向きを示す記号(例えば、カーソルや頭部形状のマーク、矩形の枠など)をモニタ501~503の対応位置に表示するようにしても良い。
【0040】
また、専門家40の顔や手の向きをカメラ画像から求める際に、専門家40の頭部や腕にマークを付けて、それを検出するようにすれば、簡単な処理で確実な情報を得ることができる。また、顔や手の向きをカメラ画像から求める代わりに、磁気センサなどを用いて検出しても良い。この場合、専門家40は、検出用の機器を装着する必要がある。
【0041】
(第2の実施形態)
本発明の第2の実施形態では、博物館に行けない人に代わって博物館を見学するコミュニケーションロボットについて説明する。
図6は、在宅者302の友人303とロボット10が連れ立って博物館を見学し、在宅者302が、ロボット10のカメラに映る映像を家の操作側装置80で見ている様子を模式的に示した図である。
【0042】
博物館や美術館の見学は、単に作品を観賞するだけでなく、友人と語らいながら見るところに楽しみが生まれる。このコミュニケーションロボット10は、病気や身体的理由により、こうした楽しみを味わえない在宅者302に代わって、友人303と博物館を見学し、在宅者302に見学の楽しさを感じさせることを目的としている。
ロボット10の構成は、第1の実施形態(図2)と同じである。また、操作側装置80の構成は、外形が小型になっているものの、機能的には第1の実施形態(図3)と変わりがない。
【0043】
このコミュニケーションロボット10は、通常、媒介モードで動作し、状況に応じて自律モードや対話モードに切り替わる。そして、それらのモードの動作が終了すると媒介モードに戻る。
ロボット10のデータ記憶部67には、自律モード、対話モード及び媒介モードの各モードにおいて実行すべき動作や、一つのモードから他のモードに移る際の条件が次のように設定される。
【0044】
例えば、自律モードでは、
(1)移動中に障害物を発見したとき、障害物の方にロボット10の頭部11を向ける。
(2)発見した障害物を回避する。
等の動作が設定される。
また、対話モードでは、
(1)操作側装置80から指定された場所を目標地点に設定する。
(2)操作側装置80から指定された人を同伴対象に設定する。
等の動作が設定される。
また、媒介モードでは、
(1)操作側装置80側の人物の顔が向く方向に頭部11を向ける。
(2)操作側装置80側の人物が指差す方向に腕151、152を上げる。
(3)操作側装置80から送られた音声を出力する。
(4)設定された目標地点まで移動する。
(5)同伴対象に設定された人に従って移動する。
等の動作が設定される。
【0045】
また、モード間の移行の条件は、例えば、次のように設定される。
(1)操作側装置80からロボット10に対する音声の指示が入力したときは、媒介モードから対話モードに移行し、指示された動作が終了したときは、対話モードから媒介モードに移行する。
(2)移動中に障害物を発見したときは、媒介モードから自律モードに移行し、ロボット10の動作と操作側装置80側の人物の動作とが一致したとき、自律モードから媒介モードに移行する。
【0046】
次に、このシステムの動作について説明する。
在宅者302が、操作側装置80の画面に映る展示を指差して「これを見たい」と発声すると、ロボット10は、自身に対する指示であることを識別して、指示された場所を目標地点に設定する。また、在宅者302が、操作側装置80の画面に映る友人303を指差して「この人と一緒に行く」と発声すると、ロボット10は、自身に対する指示であることを識別して、その人を同伴対象に設定する。
ロボット10は、媒介モードに移行し、目標地点への移動、または、友人303に従う移動を開始する。
【0047】
媒介モードにおいて、在宅者302が発した声はロボット10のスピーカ24から発声され、友人303の声は、ロボット10のマイク25から入力して操作側装置80のスピーカ85から発声される。また、在宅者302の顔の向きや手の振りは、ロボット10の頭部11や腕151、152に再現され、友人303の仕草は、操作側装置80の画面に表示される。そのため、在宅者302は、友人303と身振りや手振りを交えた会話を愉しみながら展示を見学することができる。
また、在宅者302が操作側装置80の画面上で見たい箇所に顔を向けると、ロボット10の頭部11が同じ方向を向き、頭部カメラ17が在宅者302の見たい方向を映し出す。
【0048】
また、移動途中に障害物が存在すると、それを超音波センサ23で検知したロボット10は、自律モードに移行して、頭部11を障害物の方向に向ける。在宅者302は、操作側装置80の画面に表示されたCG像の動きや、障害物を映す頭部カメラ17の画像から障害物の存在に気付き、画面に表示された障害物を見る。この時点でロボット10の頭部11の動きと在宅者302の頭部の動きとが一致するため、ロボット10は媒介モードに戻る。
ロボット10が媒介モードに戻ると、在宅者302は、友人303と見学ルートの変更などを協議することになる。また、もしも、在宅者302が障害物に気付かなければ、自律モードのロボット10が障害物との衝突を回避する。
【0049】
このように、このコミュニケーションロボットは、博物館等に行けない人に見学の楽しさを感じさせることができる。
【産業上の利用可能性】
【0050】
本発明のコミュニケーションロボットは、博物館や各種展示会等のガイドロボットとして、あるいは、病気や身体が不自由な人を支援する福祉サービスロボットとして、広く利用することができる。
【図面の簡単な説明】
【0051】
【図1】本発明の第1の実施形態におけるロボットの使用形態を模式的に示す図
【図2】本発明の第1の実施形態におけるロボットの構成を示すブロック図
【図3】本発明の第1の実施形態における操作側装置の構成を示すブロック図
【図4】本発明の第1の実施形態におけるロボットのモードを説明する図
【図5】本発明の第1の実施形態におけるロボットの使用形態の変形例を示す図
【図6】本発明の第2の実施形態におけるロボットの使用形態を模式的に示す図
【符号の説明】
【0052】
10 コミュニケーションロボット
11 頭部
12 胴体
13 台車
14 車輪
16 首
17 頭部カメラ
23 超音波センサ
24 マイク
25 スピーカ
40 専門家
51 カメラ
52 CG像
61 送受信部
62 画像解析部
63 画像処理部
64 音声認識部
65 音声合成部
66 音声処理部
67 データ記憶部
68 制御部
69 駆動制御部
70 障害物検知部
71 走行駆動部
72 腕駆動部
73 首駆動部
80 操作側装置
81 送受信部
82 画像処理部
83 画像解析部
84 マイク
85 スピーカ
86 音声処理部
87 データ記憶部
88 制御部
89 CG作成部
90 表示制御部
151 腕
152 腕
201 胴体カメラ
202 胴体カメラ
203 胴体カメラ
301 見学者
302 在宅者
303 友人
501~503 モニタ
601~603 モニタ
831 顔方向検出
832 指差し方向検出
図面
【図2】
0
【図3】
1
【図4】
2
【図1】
3
【図5】
4
【図6】
5