Top > Search of Japanese Patents > COMMUNICATION ROBOT AND ITS OPERATING METHOD

COMMUNICATION ROBOT AND ITS OPERATING METHOD meetings

Patent code P08P006029
File No. 0707-16
Posted date Mar 6, 2009
Application number P2007-213775
Publication number P2009-045692A
Patent number P4949969
Date of filing Aug 20, 2007
Date of publication of application Mar 5, 2009
Date of registration Mar 16, 2012
Inventor
  • (In Japanese)久野 義徳
Applicant
  • (In Japanese)国立大学法人埼玉大学
Title COMMUNICATION ROBOT AND ITS OPERATING METHOD meetings
Abstract PROBLEM TO BE SOLVED: To provide a communication robot which facilitates asking for services.
SOLUTION: The communication robot is provided with a head 52 with an eye camera 20, a torso 54 with a wide-field camera 53, a head controlling means 61 for turning the head, a cue operation controlling means 63 for indicating the establishment of the communication, and an image processing means 62 for processing images of the eye camera 20 and the wide-field camera 53. The communication robot, while conducting patrolling movement turning the head 52 at a specified speed, reduces the speed of rotation at a position of a person that is detected in advance from the image of the wide-field camera 53, detects a front-facing person that is facing to the robot from the image of the eye camera 20, and sends out a cue when it detects the person. A person who requests for a service can know that the robot is serviceable if the robot is conducting patrolling movement and can request the robot to provide a service by watching the robot when the robot turns to him/her.
Outline of related art and contending technology (In Japanese)


コミュニケーションロボットは、身振り手振りや音声等を用いて人とのコミュニケーションを図る機能を備えている。
例えば、下記特許文献1に記載されたコミュニケーションロボットは、首(頭部)や眼球を回転させてロボットの視線を移動し、視線の演出によりロボットの意図を伝達するように構成されている。



図13は、このコミュニケーションロボットの構成をブロック図で示している。このロボットは、外形的に胴体と頭部とを有しており、腕が回動可能に胴体で支持され、頭部に眼や口(スピーカ23)が配置されている。眼は眼球モータ11、12で回転し、腕は腕モータ13,14で回転する。頭部は、頭部モータ15の駆動により胴体に対して首を振るように回転する。胴体は、腰モータ16で向きを変え、また、車輪モータ17により前後左右に移動する。また、近隣物との距離を測定する超音波距離センサ18や衝突を感知する衝突センサ22、全方位カメラ19、マイク24等が胴体に配置され、眼カメラ20が頭部に配置されている。



また、制御系として、CPU25と、制御プログラムや各種データが記憶されるメモリ26と、CPU25の指示に基づいて各モータを制御するモータ制御ボード29と、各センサの情報をCPU25に送るセンサ入力/出力ボード30と、CPU25から与えられた合成音声をスピーカ23から出力し、マイク24から拾った音をCPU25に送る音声入力/出力ボード31と、外部のコンピュータと通信を行う無線通信装置28と、CPU25から送られた情報を無線通信装置28を通じて外部コンピュータに送り、外部コンピュータからの受信情報をCPU25に送る通信LANボード27とを備えている。
このコミュニケーションロボットは、さらに、人物に付された無線タグの識別情報を取得する無線タグ読取装置32を備えており、無線タグの情報から対象人物が近くに来たことを認識すると、眼カメラの画像から対象人物の位置を検出し、頭部の回転や視線の移動によりロボットの意図を対象人物に伝達する。



しかし、不特定の人を対象にサービスを提供するサービスロボットの場合は、サービスを求めている人とロボットとを結びつけることが先ず必要になる。人間同士では、サービスの必要な人がサービス提供者を特に声で呼ばなくても、コミュニケーションが巧く始まる場合が多い。
このようなコミュニケーション開始能力をロボットにも持たせるため、本発明者等は、先に、人とロボットとのアイコンタクトでコミュニケーションを開始する方法を下記非特許文献1で提案している。
この方法では、ロボットに取り付けられたカメラ画像から、ロボットの方を向いている人間を検出したとき、ロボットが、その人物の方を向き、それでもさらにロボットの方を見続けていた場合に、人間とのアイコンタクトが成立したと判断し、そこで人間が手を挙げると、ロボットが人間の方に近付き、コミュニケーションが開始される。
【特許文献1】
特開2007-130691号公報
【非特許文献1】
D. Miyauchi, A. Sakurai, A. Nakamura, and Y. Kuno, Bidirectional eye contact for human-robot communication, IEICE Transactions on Information and Systems, Vol.E88-D, No.11, pp.2509-2516, 2005

Field of industrial application (In Japanese)


本発明は、人とのコミュニケーションを図るコミュニケーションロボットと、その動作方法に関し、特に、人がサービスを依頼し易いロボットの実現を図るものである。

Scope of claims (In Japanese)
【請求項1】
 
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有し、コミュニケーションを要求する人物を検出してコミュニケーションを実施するコミュニケーションロボットであって、
前記頭部に設けられた眼に相当する眼カメラと、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記広視野カメラの画像から人物を検出し、前記眼カメラの画像からロボットに顔を向ける正面顔を検出する画像処理手段と、
を備え
前記頭部制御手段は、コミュニケーションの受け入れが可能であるとき、前記胴部に対して前記頭部を所定の回転速度で回転させる見回り動作を行い、該見回り動作の途中において、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、
前記画像処理手段は、前記頭部の回転速度が所定値以下のときの前記眼カメラの画像から前記正面顔の人物を検出し、
前記画像処理手段前記眼カメラの画像から前記正面顔の人物予め設定された時間を超えて検出したときに、前記合図動作制御手段は、当該人物に合図を送ることを特徴とするコミュニケーションロボット。

【請求項2】
 
請求項1に記載のコミュニケーションロボットであって、前記合図動作制御手段は、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことを特徴とするコミュニケーションロボット。

【請求項3】
 
請求項1または2に記載のコミュニケーションロボットであって、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出することを特徴とするコミュニケーションロボット。

【請求項4】
 
請求項1に記載のコミュニケーションロボットであって、前記画像処理手段は、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記顔矩形の中心線の位置と前記肌色領域の中心線の位置との差分が予め設定された閾値未満であるとき、前記正面顔を検出したと決定することを特徴とするコミュニケーションロボット。

【請求項5】
 
請求項1または2に記載のコミュニケーションロボットであって、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボット。

【請求項6】
 
請求項5に記載のコミュニケーションロボットであって、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から前記肌色領域の中心線を見たときの方向と前記中心から前記広視野カメラの画像の中心線を見たときの方向との角度差αを算出し、さらに、前記中心から前記肌色領域の中心線を見たときの方向と前記中心から前記顔矩形の中心線を見たときの方向との角度差βを算出し、前記角度差βが前記角度差αによって決まる閾値未満であるとき、前記他の人物の正面を検出したと決定することを特徴とするコミュニケーションロボット。

【請求項7】
 
顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有し、コミュニケーションを要求する人物を検出してコミュニケーションを実施するコミュニケーションロボットの動作方法であって、
前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、
コミュニケーションの受け入れが可能であるとき、前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、
前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像からロボットに顔を向ける正面顔の人物を検出するステップと、
前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、
を備えることを特徴とするコミュニケーションロボットの動作方法。

【請求項8】
 
請求項7に記載のコミュニケーションロボットの動作方法であって、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開することを特徴とするコミュニケーションロボットの動作方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2007213775thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close