TOP > 国内特許検索 > コミュニケーションロボットとその動作方法 > 明細書

明細書 :コミュニケーションロボットとその動作方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4949969号 (P4949969)
公開番号 特開2009-045692 (P2009-045692A)
登録日 平成24年3月16日(2012.3.16)
発行日 平成24年6月13日(2012.6.13)
公開日 平成21年3月5日(2009.3.5)
発明の名称または考案の名称 コミュニケーションロボットとその動作方法
国際特許分類 B25J  13/00        (2006.01)
B25J   5/00        (2006.01)
A63H  11/00        (2006.01)
A63H  11/18        (2006.01)
FI B25J 13/00 Z
B25J 5/00 A
A63H 11/00 Z
A63H 11/18 A
請求項の数または発明の数 8
全頁数 17
出願番号 特願2007-213775 (P2007-213775)
出願日 平成19年8月20日(2007.8.20)
審査請求日 平成22年2月22日(2010.2.22)
特許権者または実用新案権者 【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
発明者または考案者 【氏名】久野 義徳
個別代理人の代理人 【識別番号】100100918、【弁理士】、【氏名又は名称】大橋 公治
【識別番号】100108729、【弁理士】、【氏名又は名称】林 紘樹
審査官 【審査官】金丸 治之
参考文献・文献 特開2006-272471(JP,A)
特開2006-247780(JP,A)
特開2006-123136(JP,A)
特開2004-209599(JP,A)
特開2001-300874(JP,A)
調査した分野 B25J 13/00
B25J 5/00
A63H 11/00
A63H 11/18
特許請求の範囲 【請求項1】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有し、コミュニケーションを要求する人物を検出してコミュニケーションを実施するコミュニケーションロボットであって、
前記頭部に設けられた眼に相当する眼カメラと、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記広視野カメラの画像から人物を検出し、前記眼カメラの画像からロボットに顔を向ける正面顔を検出する画像処理手段と、
を備え
前記頭部制御手段は、コミュニケーションの受け入れが可能であるとき、前記胴部に対して前記頭部を所定の回転速度で回転させる見回り動作を行い、該見回り動作の途中において、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、
前記画像処理手段は、前記頭部の回転速度が所定値以下のときの前記眼カメラの画像から前記正面顔の人物を検出し、
前記画像処理手段前記眼カメラの画像から前記正面顔の人物予め設定された時間を超えて検出したときに、前記合図動作制御手段は、当該人物に合図を送ることを特徴とするコミュニケーションロボット。
【請求項2】
請求項に記載のコミュニケーションロボットであって、前記合図動作制御手段は、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことを特徴とするコミュニケーションロボット。
【請求項3】
請求項1または2に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出することを特徴とするコミュニケーションロボット。
【請求項4】
請求項1に記載のコミュニケーションロボットであって、前記画像処理手段は、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記顔矩形の中心線の位置と前記肌色領域の中心線の位置との差分が予め設定された閾値未満であるとき、前記正面顔を検出したと決定することを特徴とするコミュニケーションロボット。
【請求項5】
請求項1または2に記載のコミュニケーションロボットであって、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボット。
【請求項6】
請求項に記載のコミュニケーションロボットであって、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から前記肌色領域の中心線を見たときの方向と前記中心から前記広視野カメラの画像の中心線を見たときの方向との角度差αを算出し、さらに、前記中心から前記肌色領域の中心線を見たときの方向と前記中心から前記顔矩形の中心線を見たときの方向との角度差βを算出し、前記角度差βが前記角度差αによって決まる閾値未満であるとき、前記他の人物の正面を検出したと決定することを特徴とするコミュニケーションロボット。
【請求項7】
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有し、コミュニケーションを要求する人物を検出してコミュニケーションを実施するコミュニケーションロボットの動作方法であって、
前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、
コミュニケーションの受け入れが可能であるとき、前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、
前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像からロボットに顔を向ける正面顔の人物を検出するステップと、
前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、
を備えることを特徴とするコミュニケーションロボットの動作方法。
【請求項8】
請求項に記載のコミュニケーションロボットの動作方法であって、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボットの動作方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人とのコミュニケーションを図るコミュニケーションロボットと、その動作方法に関し、特に、人がサービスを依頼し易いロボットの実現を図るものである。
【背景技術】
【0002】
コミュニケーションロボットは、身振り手振りや音声等を用いて人とのコミュニケーションを図る機能を備えている。
例えば、下記特許文献1に記載されたコミュニケーションロボットは、首(頭部)や眼球を回転させてロボットの視線を移動し、視線の演出によりロボットの意図を伝達するように構成されている。
【0003】
図13は、このコミュニケーションロボットの構成をブロック図で示している。このロボットは、外形的に胴体と頭部とを有しており、腕が回動可能に胴体で支持され、頭部に眼や口(スピーカ23)が配置されている。眼は眼球モータ11、12で回転し、腕は腕モータ13,14で回転する。頭部は、頭部モータ15の駆動により胴体に対して首を振るように回転する。胴体は、腰モータ16で向きを変え、また、車輪モータ17により前後左右に移動する。また、近隣物との距離を測定する超音波距離センサ18や衝突を感知する衝突センサ22、全方位カメラ19、マイク24等が胴体に配置され、眼カメラ20が頭部に配置されている。
【0004】
また、制御系として、CPU25と、制御プログラムや各種データが記憶されるメモリ26と、CPU25の指示に基づいて各モータを制御するモータ制御ボード29と、各センサの情報をCPU25に送るセンサ入力/出力ボード30と、CPU25から与えられた合成音声をスピーカ23から出力し、マイク24から拾った音をCPU25に送る音声入力/出力ボード31と、外部のコンピュータと通信を行う無線通信装置28と、CPU25から送られた情報を無線通信装置28を通じて外部コンピュータに送り、外部コンピュータからの受信情報をCPU25に送る通信LANボード27とを備えている。
このコミュニケーションロボットは、さらに、人物に付された無線タグの識別情報を取得する無線タグ読取装置32を備えており、無線タグの情報から対象人物が近くに来たことを認識すると、眼カメラの画像から対象人物の位置を検出し、頭部の回転や視線の移動によりロボットの意図を対象人物に伝達する。
【0005】
しかし、不特定の人を対象にサービスを提供するサービスロボットの場合は、サービスを求めている人とロボットとを結びつけることが先ず必要になる。人間同士では、サービスの必要な人がサービス提供者を特に声で呼ばなくても、コミュニケーションが巧く始まる場合が多い。
このようなコミュニケーション開始能力をロボットにも持たせるため、本発明者等は、先に、人とロボットとのアイコンタクトでコミュニケーションを開始する方法を下記非特許文献1で提案している。
この方法では、ロボットに取り付けられたカメラ画像から、ロボットの方を向いている人間を検出したとき、ロボットが、その人物の方を向き、それでもさらにロボットの方を見続けていた場合に、人間とのアイコンタクトが成立したと判断し、そこで人間が手を挙げると、ロボットが人間の方に近付き、コミュニケーションが開始される。

【特許文献1】特開2007-130691号公報
【非特許文献1】D. Miyauchi, A. Sakurai, A. Nakamura, and Y. Kuno, Bidirectional eye contact for human-robot communication, IEICE Transactions on Information and Systems, Vol.E88-D, No.11, pp.2509-2516, 2005
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、先に提案した方法では、ロボットを呼びたいと思っても、ロボットが自分に対してサービスできる状態なのかどうかが人間には分からない、と言う問題点がある。この場合、ロボットの状態は分からないが、サービスできる状態だと仮定して、ロボットを呼ぼうとすると、人は、アイコンタクトを果たすために、ずっとロボットの方を見続けていなければならない。また、少し、見続けてロボットが反応しないときは、サービスできる状態ではないと思って、ロボットの方を見るのを止めてしまうかもしれない。実際は、もう少し見続ければ、ロボットの人間検出処理が完了したかもしれないが、それは人間には分からない。
【0007】
図14は、高齢者介護施設において、食事中の高齢者の中に手助け(サービス)を求めている人がいないかを見守っている介護者Fの様子を示している。
コミュニケーションロボットが、こうした介護の現場で介護ロボットとして活躍するためには、先ず、手助けを希望する高齢者が簡単にコミュニケーションを取れる存在でなければならない。
【0008】
本発明は、こうした事情を考慮して創案したものであり、依頼者が依頼し易いコミュニケーションロボットを提供し、また、その動作方法を提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有し、コミュニケーションを要求する人物を検出してコミュニケーションを実施するコミュニケーションロボットであって、前記頭部に設けられた眼に相当する眼カメラと、前記胴部に設けられた広域を撮影する広視野カメラと、前記広視野カメラの画像から人物を検出し、前記眼カメラの画像からロボットに顔を向ける正面顔を検出する画像処理手段と、を備え前記頭部制御手段は、コミュニケーションの受け入れが可能であるとき、前記胴部に対して前記頭部を所定の回転速度で回転させる見回り動作を行い、該見回り動作の途中において、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、前記画像処理手段は、前記頭部の回転速度が所定値以下のときの前記眼カメラの画像から前記正面顔の人物を検出し、前記画像処理手段前記眼カメラの画像から前記正面顔の人物予め設定された時間を超えて検出したときに、前記合図動作制御手段は、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、頭部を回転し(首を振り)、周囲を観察しているような所作(見回り動作)を行う。そして、人が居る方向で頭部の回転速度を落とし、或いは、一時停止する。この見回り動作は、依頼の受入れが可能である状態を表すもので、観察自体は見せ掛けであり、人物の検出は、見回り動作の開始前に、胴部に設けられた広視野カメラの画像から行われ、人物の検出位置で頭部の回転速度を緩めるように制御される。このとき、その検出位置の人物がロボットを見続けていると、ロボットは、アイコンタクトが成立したと判断して合図を送る。そのため、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【0011】
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段が、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことが可能である。
この合図により、サービスを求める人は、依頼要求の受入れを確認することができる。
【0012】
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出するようにしている。
見回り動作の途中でチェックする人物の検出は、厳密さが要求されないため、肌色領域の位置を人物と推定している。ただ、肌色の壁等、全く動かないものは除外している。
【0013】
また、本発明のコミュニケーションロボットでは、眼カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記顔矩形の中心線の位置と前記肌色領域の中心線の位置との差分が予め設定された閾値未満であるとき、前記正面顔を検出したと決定する
顔矩形の中心線の位置は鼻の位置に相当し、この鼻が肌色領域の中央にあるか否かで正面顔かどうかを簡単に識別することができる。
【0016】
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作で、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
【0017】
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から前記肌色領域の中心線を見たときの方向と前記中心から前記広視野カメラの画像の中心線を見たときの方向との角度差αを算出し、さらに、前記中心から前記肌色領域の中心線を見たときの方向と前記中心から前記顔矩形の中心線を見たときの方向との角度差βを算出し、前記角度差βが前記角度差αによって決まる閾値未満であるとき、前記他の人物の正面を検出したと決定する
コミュニケーションを実施中であっても、広視野カメラの画像から正面顔を検出することで、コンタクトを要求する他の人物を検出することができる。
【0019】
また、本発明の動作方法は、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有し、コミュニケーションを要求する人物を検出してコミュニケーションを実施するコミュニケーションロボットの動作方法であって、前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、コミュニケーションの受け入れが可能であるとき、前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像からロボットに顔を向ける正面顔の人物を検出するステップと、前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、を備えることを特徴とする。
このコミュニケーションロボットの動作により、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
【0021】
また、本発明のコミュニケーションロボットの動作方法では、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作により、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、そして、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
【発明の効果】
【0022】
本発明により、コミュニケーションロボットにサービスを依頼する依頼者は、ロボットの動作から、そのロボットが依頼を受け入れ可能な状態にあるか否かを簡単に知ることができる。また、依頼者は、ロボットの動作から、ロボットの頭部が自分の方に向く時期を予測し、その時期に合わせてロボットを見ることでサービスを依頼できるため、ロボットへの依頼の伝達が容易である。
従って、依頼者は、適切なタイミングで、且つ、極めて容易にロボットに依頼を伝えることができる。
【発明を実施するための最良の形態】
【0023】
本発明のコミュニケーションロボットの実施形態について、図面を基に説明する。このロボットは、高齢者介護施設において、手助け(サービス)を必要とする高齢者との間でコミュニケーションを取る動作を行う。
図1は、本発明のロボットの機能ブロックを示す図、図2は、このロボットのハードウエア構成を示すブロック図、図3は、このロボットの外観を示す図、図4は、ロボットの動作を示すフロー図、図5は、図4のステップ1の動作手順を示すフロー図、図6は、図4のステップ3の動作手順を示すフロー図、図7は、図4のステップ7の動作手順を示すフロー図、図8は、図4のステップ8の動作手順を示すフロー図、また、図9は、図4のステップ12の動作手順を示すフロー図である。
【0024】
このロボットは、介護ロボットであり、図3に示すように、眼に相当する眼カメラ20が設けられた頭部52と、広域を撮影する広視野カメラ53が設けられた胴部54と、胴部54に回動可能に支持された腕55とを有している。眼カメラ20は、ビデオカメラで構成され、また、広視野カメラ53は、向きを変えた3台のビデオカメラで180°の範囲が撮影できるように構成されている。
このロボットは、図2に示すように、その内部に、CPU25と、制御プログラムや各種データが記憶されるメモリ26と、CPU25の指示に基づいて各モータを制御するモータ制御ボード29と、各センサの情報をCPU25に送るセンサ入力/出力ボード30と、CPU25から与えられた合成音声をスピーカ23から出力し、マイク24から拾った音をCPU25に送る音声入力/出力ボード31と、外部のコンピュータと通信を行う無線通信装置28と、CPU25から送られた情報を無線通信装置28を通じて外部コンピュータに送り、外部コンピュータからの受信情報をCPU25に送る通信LANボード27とを備えている。
【0025】
また、モータ制御ボード29は、腕55を回転する腕モータ13、14、頭部52を回転する頭部モータ15、胴体54を回転する腰モータ16、及び、胴体54を前後左右に移動する車輪モータ17の駆動を制御する。
また、センサ入力/出力ボード30は、超音波距離センサ18、広視野カメラ53、眼カメラ20、タッチセンサ21及び衝突センサ22の情報を取得して配信する。
また、このロボットは、広視野カメラ53及び眼カメラ20の画像を処理する画像処理部40を有している。この画像処理部40は、画像から肌色領域を検出する肌色検出部41と、ビデオカメラのフレーム間の差分を算出するフレーム差分算出部42と、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する顔検出部43とを有している。
なお、この画像処理部40は、DSP(digital signal processor)で構成することができ、或いは、制御プログラムに従って演算処理を行うCPU25の機能として実現することができる。また、外部コンピュータの側で画像処理部40を保持し、無線通信装置28を通じて送られた画像データを処理して、その処理結果をロボットに渡すようにすることもできる。
【0026】
このロボットは、図1に示すように、本発明に関わる機能ブロックとして、胴部54の上の頭部52を、首を振るように回転させる頭部制御手段61と、眼カメラ20及び広視野カメラ53の画像処理を行う画像処理手段62と、手55を挙げたり、スピーカ23から音声を発したり、胴部54を依頼者の方向に向けたりして依頼者に合図を送る合図動作制御手段63と、画像処理手段62の処理結果やタッチセンサ21の検知情報に基づいて各部を制御する制御部64とを備えている。
【0027】
図4のフロー図は、このロボットの動作手順を示している。
先ず、画像処理手段62が、広視野カメラ53の広視野画像から、人物の肌色領域を検出する(ステップ1)。
この処理は、具体的には、図5のフロー図に示す手順で行われる。即ち、広視野画像から、RGBカラースペース(R、G、B各8ビット)での値が、
R>95、G>40、B>20
Max{R.G.B}-Min{R.G.B}>15
|R-G|>15
R>G、R>B
の条件を満たす肌色の画素の範囲を抽出し(ステップ11)、この肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを識別する(ステップ12)。フレーム間差分が閾値以下の肌色部分は、肌色の壁や机等が抽出されたものとして排除し(ステップ14)、フレーム間差分の絶対値の総和が閾値を超える肌色部分を人物の顔の肌色領域として検出する(ステップ13)。
なお、画像処理手段62は、広視野画像からの肌色領域の検出を絶えず繰り返す。
【0028】
次に、図4に戻り、頭部制御手段61が、頭部52を一定の回転速度で回転する見回り動作を開始する(ステップ2)。
この見回り動作の間も、画像処理手段62は、広視野カメラ53の広視野画像から、フレーム間差分が大きい領域を検出する(ステップ3)。
これは、立ち上がった人物やドアから入室した人物の検出を目的とするものであり、具体的には、図6のフロー図に示す手順で行われる。即ち、広視野画像のフレーム間差分を算出し(ステップ31)、差分値が予め定めた閾値を超える領域を算出する(ステップ32)。次いで、その領域の面積が設定値を超えているか否かを判定し(ステップ33)、設定値を超えている場合に差分大の領域として検出する(ステップ34)。その領域の面積が設定値を超えていない場合は、無視する(ステップ35)。
差分大の領域を検出した場合は、図4に示すように、頭部制御手段61が、見回り動作を中断して、頭部52を差分大の領域の方向に向け(ステップ6)、後述するステップ7の処理が行われる。
【0029】
また、見回り動作を続ける頭部制御手段61は、頭部52がステップ1で検出された肌色領域の方向を向いたときに(ステップ4)、頭部52の回転速度を落とし、或いは、一時停止する(ステップ5)。
頭部52の回転が停止または緩やかになると、画像処理手段62は、頭部52に搭載された眼カメラ20の画像から、ロボットを直視している顔(正面顔)を検出する(ステップ7)。
この処理は、具体的には、図7のフロー図に示す手順で行われる。即ち、先ず、眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する(ステップ71)。顔領域の検出に用いる識別器として多くのものが開発されているが、ここでは、“OpenCV Haar Classifier”(G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel’s Open Source Computer Vision Library,” Intel Technology Journal, Vol.09, 2005)を正面顔を検出するように学習させたものを用いている。
【0030】
図10(a)に示す矩形70は、この識別器を用いて検出した顔矩形を示している。この顔矩形70の水平方向の中心線は、鼻の位置に一致している。しかし、顔矩形70の範囲内には、顔以外の領域も含まれ、また、顔矩形70の範囲からはみ出る顔の部分も存在する。
次に、この眼カメラの画像を水平方向にスキャンして肌色領域を検出する(ステップ72)。肌色領域の検出条件は、ステップ11の場合と同じである。
図10(b)(c)(d)は、それぞれ、カメラから見て多少右側を向いた顔、正面を向いた顔、カメラから見て多少左側を向いた顔の画像を示しており、各画像には、顔矩形70と、顔矩形70の水平方向の中心線72と、肌色領域の境界線71とを書き加えている。顔矩形70の水平方向の中心線72は、鼻の位置に一致しており、顔が右側を向いているとき(図10(b))、この中心線72は、肌色領域の水平方向の中心より右側にずれている。逆に、顔が左側を向いているとき(図10(d))には、この中心線72は、肌色領域の水平方向の中心より左側にずれている。顔が正面を向いているとき(図10(c))は、この中心線72が、肌色領域の水平方向の中心に位置している。
【0031】
そこで、眼カメラの画像から、顔矩形70の水平方向の中心位置(中心線72の位置)と肌色領域(境界線71の間の領域)の水平方向の中心位置との差分を算出し(ステップ73)、この差分値と予め設定した閾値とを比較する(ステップ74)。差分値が閾値未満であれば、正面顔と決定し(ステップ75)、差分値が閾値を超えていれば、正面顔ではないと決定する(ステップ76)。
正面顔が検出されなければ、頭部制御手段61は、見回り動作を続ける(ステップ7でNOの場合)。
【0032】
正面顔が検出されると、制御部64は、その人物とのアイコンタクトが成立したか否かを判定する(ステップ8)。
この処理は、具体的には、図8のフロー図に示す手順で行われる。即ち、正面顔が継続して検出されている時間を計測し(ステップ81)、計測時間が予め設定された閾値を超えた場合に(ステップ82でYESの場合)、アイコンタクトが成立したと判定される(ステップ83)。また、計測時間が閾値を超えなければ、アイコンタクト不成立と判定され(ステップ84)、頭部制御手段61は、見回り動作を再開する(ステップ2)。
アイコンタクトが成立すると、合図動作制御手段63は、胴部54をアイコンタクトの相手方に向け、手55を挙げたり、スピーカ23から「何か御用ですか」と発声して合図を送る(ステップ9)。
次いで、ロボットは、車輪56を使って相手に近付き、サービスを開始する(ステップ10)。
なお、画像処理手段62は、広視野画像からの肌色領域の検出を繰り返しており、人の位置が変わった場合は、頭部の回転速度を緩める方向もそれに応じて変化する。
【0033】
ロボットがこうした動作を行うため、サービスを希望する人は、ロボットの見回り動作を見て、ロボットがサービスの依頼に応じる状態であることを認識できる。
また、サービスの希望者は、ロボットの見回り動作から、ロボットが自分の方に頭を向ける時期を予測することができ、その時期に合わせてロボットを見詰めれば、サービスを受けることができる。そのため、ロボットに対して効率的に依頼を伝えることが可能である。
また、椅子から立ち上がった高齢者や、ドアから入室した高齢者等に対して、手助けが必要になる場合がある。こうした動きを伴う被介護者への手助けは、椅子に静かに座っている高齢者への手助けに比べて、迅速性が要求される。このロボットは、被介護者等の大きな動きを検出すると、直ぐにその方向に頭部を回転するので、手助けの希望者は、このときにロボットを見詰めれば、迅速な手助けが受けられる。
【0034】
次に、ロボットがサービスを開始した後に、他のサービス希望者が現れた場合のロボットの動作について説明する。
図4に示すように、ロボットがサービスを開始(ステップ10)した後、他のサービス希望者がロボットに触れると、制御部64は、それをタッチセンサ21によって検出し(ステップ11)、後述するステップ14の動作を行う。
【0035】
また、画像処理手段62は、サービス実行中でも、広視野カメラ53の広視野画像に対する解析を続け、広視野画像から正面顔を検出する(ステップ12)。
この処理は、具体的には、図9のフロー図に示す手順で行われる。即ち、広視野画像から、ステップ71と同様の手順で顔矩形を検出し(ステップ121)、ステップ72と同様の手順で肌色領域を検出する(ステップ122)。
このとき、人物の顔は、広視野画像の中央付近に位置している場合もあれば、図11に示すように、広視野画像の境界付近に位置している場合もある。人物の顔が広視野画像の中央付近に位置している場合は、その人物がロボットを見詰めていると、ステップ73、ステップ74で説明したように、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分は小さくなる。
【0036】
しかし、人物の顔が広視野画像の境界付近に位置していると、その人物がロボットを見詰めていても、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分値は大きい。そして、この差分値の大きさは、人物の顔が広視野画像の境界に近付く程、増大する。
そこで、図11(a)(b)に示すように、広視野カメラ53の中心を“o”、肌色領域の中心位置とoとを結ぶ線(点線)を肌色領域の代表線として、oを通る広視野画像の中心線から測った代表線(点線)までの角度をαと規定し、また、顔矩形の中心位置(鼻の位置)とoとを結ぶ線(実線)と、代表線(点線)との間の角度(絶対角度)をβと規定し、実験に基づいて、正面顔と看做せるβの閾値をαに応じて設定した。
図12(a)は、その結果を示している。ここで、βは、代表線の左方向にずれる角度をβleft、代表線の右方向にずれる角度をβrightと表示している。また、図12(b)は、図12(a)の結果をグラフに表している。
【0037】
図9のフロー図に戻り、広視野画像から、oを通る広視野画像の中心線から測った代表線(点線)までの角度αを算出し(ステップ123)、また、顔矩形の中心位置とoとを結ぶ線(実線)と、代表線(点線)との間の角度βを算出し(ステップ124)、βが、図12に規定する、αに依存した閾値(βleft,βright)未満であるか否かを判定する(ステップ135)。閾値未満であれば、正面顔と識別し(ステップ126)、閾値以上であれば、正面顔では無いと識別する(ステップ127)。
【0038】
図4のフロー図に戻り、制御部64は、広視野画像から正面顔が継続して検出されている時間を計測し、その時間が予め設定された所定時間を超えたか否かを判定する(ステップ13)。
ロボットを見詰める時間が所定時間を超えた場合(ステップ13でYESの場合)、或いは、ロボットに触れた人が居た場合(ステップ11でYESの場合)に、頭部制御手段61は、頭部52をその人の方向に回転し、その位置で少し停止した後、元の位置に戻し(ステップ14)、実行中のサービスを再開する(ステップ10)。
このロボットの動作は、サービス要求に気付いたこと、しかし、現在は他の人へのサービスを実施中であるため、直ぐには要求に応じられないこと、を相手に伝えることができる。この場合、ロボットは、このサービス要求を記憶し、実施中のサービスが終了したときに、記憶したサービス要求に応える。
【0039】
このように、このコミュニケーションロボットに対して、依頼者は、極めて簡単な動作で、且つ、効率的に、コミュニケーションを図ることができる。
なお、ここでは、広視野カメラ53として3台のビデオカメラで構成されたカメラを使用したが、広い視野の撮影が可能なカメラであれば、どのようなものでも使用できる。
また、ここでは、見回り動作の過程における正面顔の検出を眼カメラで行う場合について説明したが、眼カメラを使用せずに、広視野カメラ53の画像から行うようにしても良い。この場合の正面顔の検出方法は、ステップ12で説明した方法と同じであり、回転速度が低減した頭部の顔前方の画像領域から正面顔を検出する。この場合は、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
また、ここでは、介護ロボットについて説明したが、本発明は、それだけに限るものでは無く、ミュージアムでのガイドロボットや、食事の注文を受付けるウェーターロボット等、不特定多数を対象にコミュニケーションを図るロボットに対して適用することができる。
【産業上の利用可能性】
【0040】
本発明は、介護ロボット、ガイドロボット、店員ロボット、ウェーターロボット等のサービスロボットに広く適用することができ、依頼者が依頼し易いロボットを実現することができる。
【図面の簡単な説明】
【0041】
【図1】本発明の実施形態に係るコミュニケーションロボットの機能ブロックを示す図
【図2】本発明の実施形態に係るコミュニケーションロボットのハードウエア構成を示す図
【図3】本発明の実施形態に係るコミュニケーションロボットの外形を示す図
【図4】本発明の実施形態に係るコミュニケーションロボットの動作を示すフロー図
【図5】図4のステップ1の動作手順を示すフロー図
【図6】図4のステップ3の動作手順を示すフロー図
【図7】図4のステップ7の動作手順を示すフロー図
【図8】図4のステップ8の動作手順を示すフロー図
【図9】図4のステップ12の動作手順を示すフロー図
【図10】顔矩形と肌色領域との関係を説明する図
【図11】広視野画像での肌色領域代表線と顔矩形中心線との関係を示す図
【図12】広視野画像での正面顔の閾値を示す図
【図13】従来のロボットのハードウエア構成を示す図
【図14】介護現場での介護者の振る舞いを示す図
【符号の説明】
【0042】
11 眼球モータ
12 眼球モータ
13 腕モータ
14 腕モータ
15 頭部モータ
16 腰モータ
17 車輪モータ
18 超音波距離センサ
19 全方位カメラ
20 眼カメラ
21 タッチセンサ
22 衝突センサ
23 スピーカ
24 マイク
25 CPU
26 メモリ
27 通信LANボード
28 無線通信装置
29 モータ制御ボード
30 センサ入力/出力ボード
31 音声入力/出力ボード
33 無線タグ読取装置
40 画像処理部
41 肌色検出部
42 フレーム差分算出部
43 顔検出部
52 頭部
53 広視野カメラ
54 胴部
55 腕
70 顔矩形
71 肌色領域境界線
72 顔矩形中心線
図面
【図1】
0
【図2】
1
【図4】
2
【図5】
3
【図6】
4
【図7】
5
【図8】
6
【図9】
7
【図13】
8
【図3】
9
【図10】
10
【図11】
11
【図12】
12
【図14】
13