TOP > 国内特許検索 > 人物誘導ロボット > 明細書

明細書 :人物誘導ロボット

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5892588号 (P5892588)
公開番号 特開2013-107184 (P2013-107184A)
登録日 平成28年3月4日(2016.3.4)
発行日 平成28年3月23日(2016.3.23)
公開日 平成25年6月6日(2013.6.6)
発明の名称または考案の名称 人物誘導ロボット
国際特許分類 B25J  13/04        (2006.01)
B25J   9/22        (2006.01)
G06T   1/00        (2006.01)
FI B25J 13/04
B25J 9/22 A
G06T 1/00 340B
請求項の数または発明の数 5
全頁数 18
出願番号 特願2011-256115 (P2011-256115)
出願日 平成23年11月24日(2011.11.24)
新規性喪失の例外の表示 特許法第30条第1項適用 2011年5月26日、一般社団法人日本機械学会発行の「ロボティクス・メカトロニクス 講演会2011 講演論文集」に発表、2011年8月7日~10日、IEEE主催の「2011 IEEE International Conference on Mechatronics and Automation(メカトロニクス及びオートメーション国際会議)」において文書をもって発表、および一般社団法人日本ロボット学会発行の「第29回日本ロボット学会学術講演会予稿集」に発表
審査請求日 平成26年11月12日(2014.11.12)
特許権者または実用新案権者 【識別番号】800000068
【氏名又は名称】学校法人東京電機大学
発明者または考案者 【氏名】中村 明生
【氏名】佐々井 拓也
【氏名】高橋 陽
【氏名】小谷 充範
個別代理人の代理人 【識別番号】100083806、【弁理士】、【氏名又は名称】三好 秀和
【識別番号】100100712、【弁理士】、【氏名又は名称】岩▲崎▼ 幸邦
【識別番号】100095500、【弁理士】、【氏名又は名称】伊藤 正和
【識別番号】100101247、【弁理士】、【氏名又は名称】高橋 俊一
【識別番号】100098327、【弁理士】、【氏名又は名称】高松 俊雄
審査官 【審査官】佐藤 彰洋
参考文献・文献 特開2007-229855(JP,A)
特開2008-006551(JP,A)
再公表特許第2007/080886(JP,A1)
特開2003-256834(JP,A)
調査した分野 B25J 1/00-21/02
G06T 1/00
G06T 7/00
特許請求の範囲 【請求項1】
ロボットの周囲における静止中または移動中の人物を認識する人物認識手段と、
ロボット自体を移動させる移動手段と、
誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段と、
該表示手段で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する検出手段と、
該検出手段によって検出された前記入力指示に基づいて、前記移動手段および前記表示手段を制御する制御手段と、
を備え
前記人物認識手段は、
ロボットの周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する画像情報取得手段と、
該画像情報取得手段で取得された前記画像情報に基づいて、前記被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出手段と、
前記頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出手段と、
前記肌色領域抽出手段で抽出された肌色領域と、前記髪領域抽出手段で抽出された髪領域との比較結果に基づいて、前記被測定物が人物であるか否かを判定する人物判定手段と、
から構成され、
前記髪領域抽出手段は、前記肌色領域抽出手段で抽出された肌色領域の縦横比FAR(但し、Fを縦幅、Fを横幅とした場合に、FAR=F/Fで定義される。)と、予め設定される閾値との比較結果に基づいて、前記髪領域を推定して抽出することを特徴とする人物誘導ロボット。
【請求項2】
前記表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、
前記検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されることを特徴とする請求項1に記載の人物誘導ロボット。
【請求項3】
ロボット自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する監視手段をさらに備え、
前記制御手段は、
前記監視手段によって、追従すべき人物が所定距離以上離れたと判定された場合に、前記表示手段において、当該人物に対して注意を促す表示を行うように制御することを特徴とする請求項1または請求項2の何れかに記載の人物誘導ロボット。
【請求項4】
前記表示手段は、前記誘導すべき人物による入力指示を行う操作画面を表示し、
前記検出装置は、該操作画面を介した入力指示を検出することを特徴とする請求項1から請求項3の何れかに記載の人物誘導ロボット。
【請求項5】
前記表示手段は、前記人物認識手段による認識結果に基づいて、前記誘導に必要な情報および前記操作画面の投影位置を決定する投影位置決定手段を有することを特徴とする請求項4に記載の人物誘導ロボット。
発明の詳細な説明 【技術分野】
【0001】
本発明は、認識した人物を特定の場所等へ誘導する人物誘導ロボットに関するものである。
【背景技術】
【0002】
近年、車輪等の走行装置や二足歩行あるいは四足歩行等の歩行装置などの移動手段により自律的に移動して各種の作業を行うロボットの研究開発が盛んになり、各種の自律型ロボット(自律移動体)が提案されている。
【0003】
このような自律型ロボットの一種として、例えば、オフィス、博物館、各種展示会等の施設において来客者(被案内者)が訪問先、行き先等を指定するとその訪問先等に向かってロボットが移動し、そのロボットの後ろを来客者が追従して歩くことにより誘導案内を行う人物誘導ロボット(案内ロボット、ガイドロボットなどとも呼称される)が開発されつつある。
【0004】
具体的には、例えば、特許文献1(特開2003-340764号公報)に示すような案内ロボットが提案されている。
【0005】
この人物誘導ロボットは、案内先までの経路を生成すると共に、案内対象となる被案内者の歩行状態を検出して、被案内者の歩行状態に応じて走行速度を変化させながら、被案内者を案内するというものである。
【先行技術文献】
【0006】

【特許文献1】特開2003-340764号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、上述のような人物誘導ロボットに求められる主な機能として、「周辺環境の認識機能」、「人物の検出機能」、「インタラクション(相互作用、相互交流)機能」の3点が挙げられる。
【0008】
ここで、これらの3機能の内、重要度としては、「人物の検出機能」が一番高いものと考えられる。
【0009】
なぜならば、自律型の人物誘導ロボットが施設案内や人物誘導を行う際には、誘導対象となる人物を発見できなければならないからである。
【0010】
従来においては、人物の検出手段としては、広範囲を観測する際に周辺の照明条件の変化に対して高い耐性を有するレーザ式測域センサ(Laser Measurement Sensor:以降LMSと略称する)を応用したスキャナ式レンジセンサを利用することが多い.
レーザ式測域センサとは、一般的に距離測定法の1つであるTime-of-Flight法(TOF法:光線を物体へ照射し、反射光線を受信するまでの時間を計測することで物体までの距離を計測する手法)を利用して距離を測定するセンサで、これを回転体と併用し、センサを回転しながら各角度での距離情報を取得することで2次元平面の距離情報を得ることを可能としたのがスキャナ式レンジセンサである.
例えば、事前にスキャナ式レンジセンサにより人物の足や胴体部など、人体に共通する特徴的な形状を画像化し、画像化した距離データの中から探索することで人物を検出する方法がある。
【0011】
しかしながら、人物誘導ロボットの動作環境中には人物に類似した形状を有する物体が複数存在する場合が有り、距離情報を用いた探索方法のみでは人物の正確な判別が困難であるという問題があった。
【0012】
多くの場合この問題の解決策として、壁や調度品など自発的な移動を行わない物体を事前に「背景」と定義し、除外する処理を行なっている。この「背景」を除外し移動体のみの情報を得るための手法には様々なものがあるが、その殆どにおいて共通する点として、レンジセンサが搭載されたロボットが静止状態でなければならないという制約が存在する。
【0013】
これは、「背景」を推定する際にセンサからの測定画像内で物体の移動が行われているか否かを一定時間内で観測しているため、センサ自体が移動してしまうと必然的に計測された画像は移動するため、背景を推定することが困難であるからである。
【0014】
また、事前にロボットに活動する環境の背景地図を与えておくことにより、壁などの環境固有の情報を除外することが可能ではあるが、椅子や机など、移動可能な物体には対応が困難で、根本的な解決とはならない。
【0015】
また、センサが搭載されたロボットが移動状態で背景情報を得るための手法としては、主にロボットの移動量をハードウェア的・ソフトウェア的に計測しセンサデータに補正を行うといったものが存在する。
【0016】
ハードウェア的な方法としては、車輪型移動ロボットの場合は車軸にロータリエンコーダを搭載し、車輪の回転数を計測することで移動量を得る方法などが挙げられるが、この場合車輪のスリップなどの外乱を強く受け、長距離を移動する際などに誤差が蓄積されていくといった問題が生じる。
【0017】
また、ソフトウェア的な方法としてはロボットに搭載した固定カメラから得られた画像中の複数の特徴点(画像中に存在する、あるパターンなど固有の情報を持つ位置)を移動前・移動後で比較することでロボットの移動量を測定する方法などがある。
【0018】
しかし、多くの場合、この特徴点の検出や移動前・移動後での特徴点の対応状況の比較に時間がかかるためリアルタイム性が必要となる移動ロボットには不適合である。
【0019】
一方、先に挙げた「インタラクション(相互作用、相互交流)機能」に関連して、従来において、ロボットに指示を与える指示インターフェイスの一種として、ステップ・オン・インタフェース(step-on interface (SOI))がある。
【0020】
SOIは、プロジェクタ装置で路面等に操作画面を投影、表示し、所望の動作等を示すボタン表示を操作者が踏むことで作業内容を指示するインタフェースをいう。
【0021】
SOIは、ロボットに固定されたプロジェクタからの投影光を、固定ミラーによって反射させ床面に投影している。また、操作者の足の検出は、ロボット下部に固定されたスキャナ型のレンジセンサによって行なっている。
【0022】
ところが、SOIは、レンジセンサの設置高さ以外で足を検出する事ができないという不都合があった。
【0023】
また、SOIは、投影位置は固定位置に限られ、レンジセンサの設置位置と投影地点との間に障害物が存在すると足の検出に支障を来すという問題もあった。
【0024】
さらに、レーザセンサの測距範囲は一般的に、プロジェクタやカメラのズーム機能よりも制約が厳しく、デバイスの性能に依存するという課題もあった。
【0025】
本発明は、上述のような課題を解決すべくなされたものであり、人物を的確に認識すると共に、その人物を確実に目的地に誘導することのできる人物誘導ロボットを提供することを目的とする。
【課題を解決するための手段】
【0026】
前記課題を解決するため、請求項1の発明に係る人物誘導ロボットは、ロボットの周囲における静止中または移動中の人物を認識する人物認識手段と、ロボット自体を移動させる移動手段と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示する表示手段と、該表示手段で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する検出手段と、該検出手段によって検出された前記入力指示に基づいて、前記移動手段および前記表示手段を制御する制御手段とを備え、前記人物認識手段は、ロボットの周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する画像情報取得手段と、該画像情報取得手段で取得された前記画像情報に基づいて、前記被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出手段と、前記頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出手段と、前記肌色領域抽出手段で抽出された肌色領域と、前記髪領域抽出手段で抽出された髪領域との比較結果に基づいて、前記被測定物が人物であるか否かを判定する人物判定手段と、から構成され、前記髪領域抽出手段は、前記肌色領域抽出手段で抽出された肌色領域の縦横比FAR(但し、Fを縦幅、Fを横幅とした場合に、FAR=F/Fで定義される。)と、予め設定される閾値との比較結果に基づいて、前記髪領域を推定して抽出することを特徴とする。
【0027】
請求項2の発明に係る人物誘導ロボットは、請求項1に記載の発明について、前記表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、前記検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されることを特徴とする。
【0028】
請求項3の発明に係る人物誘導ロボットは、請求項1または請求項2の何れかに記載の発明について、ロボット自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する監視手段をさらに備え、前記制御手段は、前記監視手段によって、追従すべき人物が所定距離以上離れたと判定された場合に、前記表示手段において、当該人物に対して注意を促す表示を行うように制御することを特徴とする。
【0031】
請求項4の発明に係る人物誘導ロボットは、請求項1から請求項3の何れかに記載の発明について、前記表示手段は、前記誘導すべき人物による入力指示を行う操作画面を表示し、前記検出装置は、該操作画面を介した入力指示を検出することを特徴とする。
【0032】
請求項5の発明に係る人物誘導ロボットは、請求項4に記載の発明について、前記表示手段は、前記人物認識手段による認識結果に基づいて、前記誘導に必要な情報および前記操作画面の投影位置を決定する決定手段を有することを特徴とする。
【発明の効果】
【0033】
本発明によれば以下の効果を奏することができる。
【0034】
すなわち、請求項1に記載の発明によれば、表示手段によって、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示すると共に、検出手段によって、表示内容に対する誘導すべき人物による入力指示を検出し、検出された入力指示に基づいて移動手段および表示手段を制御するので、認識した人物を確実に目的地に誘導することができるという優れた効果を奏することができる。
また、請求項1に記載の発明によれば、髪領域に基づいて的確に人物を判別することができる。
【0035】
請求項2に記載の発明によれば、表示手段は、パン・チルト機構を有するプロジェクタ装置で構成され、検出手段は、前記プロジェクタ装置によって表示された表示内容に対する入力指示を前記誘導すべき人物の手や足の画像情報に基づいて検出するプロジェクティブ・インタラクション・インタフェースを備えた検出装置で構成されるので、認識した人物に対して的確な位置で情報を提示できると共に、目的地の指定などの指示を足や手によって容易に行うことができ、良好な視認性・操作性を確保することができる。
【0036】
請求項3に記載の発明によれば、追従すべき人物が所定距離以上離れたと判定された場合に当該人物に対して注意を促す表示を行うので、認識した人物をより確実に目的地に誘導することができる。
【0039】
請求項4に記載の発明によれば、誘導すべき人物による入力指示を行う操作画面を表示し、該操作画面を介した入力指示を検出することにより、目的地の指定などの指示を足や手によって一層容易に行うことができる。
【0040】
請求項5に記載の発明によれば、人物認識手段による認識結果に基づいて、誘導に必要な情報および操作画面の投影位置を決定するので、認識した人物に対して見易く、操作し易い位置に、表示を行うことができ利便性が向上される。

【図面の簡単な説明】
【0041】
【図1】実施の形態に係る人物誘導ロボットの機能構成を示す機能ブロック図である。
【図2】実施の形態に係る人物誘導ロボットの構成例を示す外観図である。
【図3】投影画面操作処理の処理手順を示すフローチャートである。
【図4】投影パターンの例を示す平面図である。
【図5】マーカ画像の例を示す平面図である。
【図6】変換行列の算出例を示す説明図である。
【図7】実施の形態に係る人物誘導ロボットの動作例を示す説明図である。
【図8】足先検出処理の処理手順を示すフローチャートである。
【図9】人物誘導処理の処理手順の続きを示すフローチャートである。
【図10】投影画像の例を示す平面図である。
【発明を実施するための形態】
【0042】
以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。

【0043】
図1から図10を参照して、本発明についての実施の形態に係る人物誘導ロボットR1について説明する。

【0044】
まず、図1を参照して人物誘導ロボットR1の機能構成について説明する。

【0045】
人物誘導ロボットR1は、ロボットR1の周囲における静止中または移動中の人物を認識する人物認識装置100(人物認識手段の一例)と、ロボットR1自体を移動させる移動機構200(移動手段の一例)と、誘導すべき人物に対して、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示するプロジェクタ装置300(表示手段の一例)と、プロジェクタ装置300で表示された表示内容に対する前記誘導すべき人物による入力指示を検出する入力指示検出装置400(検出手段の一例)と、入力指示検出装置400によって検出された入力指示に基づいて、移動機構200およびプロジェクタ装置300を制御するコンピュータ装置等で構成される制御装置500(制御手段の一例)と、ロボットR1自体の後方から追従すべき人物が所定距離以上離れたか否かを監視する距離監視装置600(監視手段の一例)とから構成される。

【0046】
人物認識装置100は、ロボットR1の周囲における静止中または移動中の被測定物を含む領域の画像情報を取得する全方位カメラ101(画像情報取得手段の一例)と、全方位カメラ101で取得された画像情報に基づいて、被測定物が人物であると仮定した場合の頭部に相当する領域について、肌色領域を抽出する肌色領域抽出部102(肌色領域抽出手段の一例)と、頭部に相当する領域について、毛髪が存在する髪領域を抽出する髪領域抽出部103(髪領域抽出手段の一例)と、肌色領域抽出部102で抽出された肌色領域と、髪領域抽出部103で抽出された髪領域との比較結果に基づいて、被測定物が人物であるか否かを判定する人物判定部104(人物判定手段の一例)とから構成される。

【0047】
移動機構200は、ステッピングモータ等で構成される駆動源としてのモータ201と、モータ201と連結される歯車機構等を介して回転される駆動ホイール(タイヤ)202等で構成される。

【0048】
プロジェクタ装置300は、水平方向および垂直方向に角度調整可能なパン・チルト機構301と、人物認識装置100による認識結果に基づいて、誘導に必要な情報および操作画面の投影位置を決定する投影位置決定部302(投影位置決定手段の一例)とを備えている。

【0049】
また、入力指示検出装置400は、プロジェクティブ・インタラクション・インタフェース401を備えている。

【0050】
ここで、プロジェクティブ・インタラクション・インタフェース(Projective Interaction interface )とは、パン・チルト機構301を有するプロジェクタ装置300によって路面等に表示された表示内容に対する入力指示を操作者の手や足の画像情報をカメラ303(図2参照)で検出して指示するインタフェースをいう。

【0051】
ここで、従来のステップ・オン・インタフェースと、本発明で適用するプロジェクティブ・インタラクション・インタフェースとの構成上の相違点等について説明する。

【0052】
ステップ・オン・インタフェースは、前述したように固定されたプロジェクタと、固定ミラーの組み合わせによって固定地点での投影を前提としている。 また、改良されたステップ・オン・インタフェースでは、足の検出にレンジセンサのみを使用しており、レンジセンサが設置してある高さに障害物が存在する場合には、その障害物を超えて測域することは不可能であった。

【0053】
これに対してプロジェクティブ・インタラクション・インタフェースでは、足の検出に画像情報を使用している点で異なる。

【0054】
また、カメラによる検出手法であっても、レンジセンサと同様に投影位置との間に障害物が存在する場合は検出に悪影響を及ぼすが、2次元の1平面のみしか測距できないレンジセンサとは違って、画像として情報を得ているため障害物に対しての耐性がステップ・オン・インタフェースに比して高いという特徴がある。

【0055】
また、ステップ・オン・インタフェースと比較したプロジェクティブ・インタラクション・インタフェースの効果としては、次のようなものが挙げられる。 即ち、プロジェクティブ・インタラクション・インタフェースでは、プロジェクタをパンチルト駆動させることにより、投影位置を任意とすることができるので、投影画面を用いた操作を行う位置を自由に選択・変更することができる。これにより、人や障害物によって混雑している環境等であっても、インタフェースの投影位置を変えることにより、操作者にとって良好な視認性・操作性を確保することができるという優れた効果を奏することができる。

【0056】
本実施の形態に係る人物誘導ロボットR1に適用されるプロジェクティブ・インタラクション・インタフェース401の例については後述する。

【0057】
制御装置500は、距離監視装置600によって、追従すべき人物が所定距離以上離れたと判定された場合に、プロジェクタ装置300において、当該人物に対して注意を促す表示(例えば、「ロボットから離れないようにしてください」などの表示)を行うように制御する。

【0058】
なお、髪領域抽出部103は、肌色領域抽出部102で抽出された肌色領域の縦横比FAR(但し、Fを縦幅、Fを横幅とした場合に、FAR=F/Fで定義される。)と、予め設定される閾値との比較結果に基づいて、髪領域を推定して抽出するようにできる。

【0059】
ここで、本実施の形態に係る人物誘導ロボットR1に適用されるセンサについて述べる。

【0060】
人物誘導ロボットR1に要求される条件より、人物の検出に用いるセンサは全方向を観測可能である必要がある。

【0061】
レーザ式測域センサ(Laser Measurement Sensor:LMS)を応用したスキャナ式レンジセンサを利用することが多い。事前にスキャナ式レンジセンサにより人物の足や胴体部など、人体に共通する特徴的な形状を画像化し、環境中でスキャンし、画像化した距離データの中から探索することで人物を検出する方法がある。

【0062】
しかしながら、人間が活動を行なっているような一般環境中においては人物に固有な特徴的な形状を特定するのは困難であり、レンジセンサ単体で人物を検出するのは困難である。

【0063】
そこで、本実施の形態に係る人物誘導ロボットR1では、人物以外の領域の除外に関して画像情報を併用している。
一般的な画像センサで、広範囲を観測可能なスキャナ式レンジセンサと同等の観測範囲を得るためには、単眼カメラを複数台使用するか、単眼カメラに首振り機構(パン・チルト機構)を搭載したパンチルトカメラを使用する必要がある。

【0064】
しかし、単眼カメラを複数台使用する場合にはカメラの台数に比例して、それぞれのカメラから得られた画像を統合するために必要な処理がシステムに大きな負荷となる。また、パンチルトカメラにおいては特定方向を観測している際には死角が発生し、常に全方向の情報を得ることが不可能である。

【0065】
そこで、単一の画像センサで広範囲の情報を取得することにより負荷問題と死角問題を解決する必要がある。

【0066】
広範囲の情報取得が可能なレンズとして代表的なものとしては、全周魚眼レンズと全方位レンズがある。全周魚眼レンズは、画像中心からの距離と角度が比例するようなレンズで、180度の水平画角を得られる。全方位レンズは全方位ミラーにより水平方向に全ての方位の視野を得ることが可能なレンズである。

【0067】
魚眼レンズは特性上、レンズ端では収差・歪曲が大きく、レンズを上方に向けて水平視野を得ようとした際には中央部に対して画像の劣化が問題となる。そこで、本実施の形態に係る人物誘導ロボットR1では、水平視野を得るのに最適な形状のミラーを用いた全方位レンズ101を使用している(図2参照)。

【0068】
ここで、図2を参照して、本実施の形態に係る人物誘導ロボットR1のプロトタイプの概略構成について説明する。人物誘導ロボットR1のプロトタイプでは、移動台車700に各種装置を搭載している。

【0069】
具体的には、スキャナ式レンジセンサのユニット601として北陽電機社製の「URG-04LX-UG01」を、全方位カメラ101としてヴイストン社製の「VS-C42U-200-TK」を使用した。なお、スキャナ式レンジセンサのユニット601および全方位カメラ101は、移動台車700に固定した全高1500mmの三脚に取り付けている。

【0070】
また、制御装置500としてノート型のパーソナルコンピュータを用いている。

【0071】
また、移動台車700の後側には、誘導に必要な情報を移動経路を構成する床面または移動経路周辺の壁面に投影して表示するプロジェクタ装置300が搭載されている。

【0072】
なお、プロジェクタ装置300は、パン・チルト機構301を備え、上方には、入力指示検出装置400の一部を構成するカメラ303が設けられている。

【0073】
次に、人物検出の仕方について説明する。

【0074】
画像情報を用いた人物検出手法については、種々提案されているが、通常の動物体抽出手法はスキャナ式レンジセンサの場合と同様にロボットが移動するため使用できない。

【0075】
また、フレーム間で画像内に存在する特徴点の位置をマッチングすることでロボットの動きを得る手法も考えられるが、複数の特徴点抽出処理は計算に時間が掛かり、平坦な画像中からは特徴点を取ることが困難であるといった問題が存在する。

【0076】
そこで、画像中に人物が存在した場合に、頭部に肌が露出している顔領域が存在することを利用し、肌の色で抽出処理を行うことで簡便に人物の検出を行う手法が提案されている。

【0077】
しかし、一般環境中には人物の肌の色と類似色の物体が多数存在することが考えられるため、単純に肌色の領域を抽出するだけでは誤検出が予想される。

【0078】
そこで、本実施の形態に係る人物誘導ロボットR1では、類似色の物体は「人物の頭部には髪領域が存在する」と仮定し、肌色領域と髪領域が存在するかを判別することで除去する手法を採用している。

【0079】
これらの処理によって得られた人物位置の候補領域のみをスキャナ式レンジセンサで走査することにより、スキャナ式レンジセンサの走査範囲を制限しなかった場合と比較してマッチング処理に要する時間や、誤検出のリスクを抑えることが可能となる。

【0080】
処理手順の概要は以下のようになる。

【0081】
手順1:全方位画像に対して肌色抽出を行う。

【0082】
手順2:髪領域を推定し髪が存在するか判定を行う。

【0083】
手順3:人物と判定された領域のみをスキャナ式レンジセンサでスキャンを行う。

【0084】
手順4:スキャナ式レンジセンサからのセンサデータに対してマッチングを行う。

【0085】
なお、本実施の形態に係る人物誘導ロボットR1では、図2に示すようなプロトタイプにおいて、本体の中段辺りにスキャナ式レンジセンサのユニット601が設けられている。

【0086】
次に、上記手順1~4の処理を実現するためのアルゴリズムの例について述べる。

【0087】
まず、画像センサによる人物検出について説明する。

【0088】
肌色領域抽出について、コンピュータなどに使用されているRGB表色系は各パラメータが色に関するもので、輝度に関するパラメータが分離されていない。

【0089】
そのため、照明変化により周辺の輝度の変化するような環境で特定の色を抽出するには不向きであった。

【0090】
輝度成分が分離されている表色系としてはHSV表色系、YCrCb表色系などがある。

【0091】
HSV表色系は、色相・彩度・輝度、YCrCb表色系は、輝度・赤の色差・青の色差により色表現を行っている。特定の色を抽出する際には、色を表現するパラメータが多い表色系の方が有利であるため、本実施の形態に係る人物誘導ロボットR1では、YCrCb表色系の固定閾値処理により肌色抽出を行っている。なお、閾値は実験的に求めた値を使用する。

【0092】
色抽出後は適切にノイズ・微小領域の除去を行うことが望ましい。

【0093】
顔及び髪領域の推定について、人物の顔の肌露出領域に対する髪の領域のサイズは、カメラに対する顔の方向などにより変化するが、肌領域の縦横幅にから推定することが可能である。

【0094】
そこで、本実施の形態に係る人物誘導ロボットR1では、髪領域抽出部103において、肌色領域抽出部102で抽出された肌色領域の縦横比FAR(但し、Fを縦幅、Fを横幅とした場合に、FAR=F/Fで定義される。)と、予め設定される閾値との比較結果に基づいて、髪領域を推定して抽出するようにしている。

【0095】
次に、髪領域による人物の判定について述べる。

【0096】
髪領域抽出部103で取得した髪領域に対して髪色での色抽出を行い、髪領域に対する抽出領域の割合で人物か否かを判定する。

【0097】
なお、人物の髪色が常に黒色であると仮定して色抽出を行う。

【0098】
HSV表色系で黒色を表現しようとした場合、色相成分は使用せずに彩度成分・輝度成分の2つのパラメータで行うことになる。このとき十分に彩度・輝度が低い領域ならば、基の色に依らず反応するため、黒色のみの抽出については不適当である。また、YCrCb表色系は色の表現を赤の色差・青の色差で行っているため黒色を表現することが難しく、HSV表色系と同様に不適切である。

【0099】
そこで、本実施の形態に係る人物誘導ロボットR1では、全パラメータが色に関係しており、また多くのシステムで色を表す際に標準で使用されている表色系のため変換の必要が無いRGB表色系を使用している。

【0100】
次に、全方位カメラ101への実装について述べる。

【0101】
前述の処理を、全方位レンズを使用した全方位カメラ101からの画像に対して適用する。

【0102】
全方位カメラ101から取得した画像は、水平方向の視野が同心円状に画素が配置されたような画像となっている。 通常、画像処理アルゴリズムの多くは画素が矩形状に配置されている画像ついて行うことを想定しているため、視覚的な扱い易さの面でもパノラマ画像へ展開する処理が必要となる。展開処理は、極座標で表現されている全方位画像の画素を極座標から直交座標に変換することで行うことが可能である。

【0103】
パノラマ展開を行った画像に対し、上述の髪領域を用いて人物を推定する手法を適用し、実験を行った結果、それぞれがロボットから異なる距離・方位に存在する3名の人物を適切に検出することができた。

【0104】
次に、距離センサによる人物検出について述べる。

【0105】
スキャナ式レンジセンサからのセンサデータの制限について、パノラマ画像中の座標とロボットR1に対する角度は常に対応していることを利用して、パノラマ中の座標から角度に変換することが可能である。

【0106】
この角度情報に基づいてスキャナ式レンジセンサの走査範囲を限定することで、人物が存在するとされた領域のみをスキャンすることが可能となる。

【0107】
次に、スキャナ式レンジセンサセンサデータからの人物検出について述べる。

【0108】
足の位置を検出する場合に、地面に設置されたオブジェクトに対する誤検出の影響が大きい。

【0109】
また、人物の頭部位置には個人差が大きく、高さ位置の決定が困難な場合がある。

【0110】
そこで、本実施の形態に係る人物誘導ロボットR1では、人部の胴体部の形状を利用し、人物の位置を検出する。

【0111】
即ち、人物の胴体部をスキャンした場合に、センサデータは半楕円形状となる。なお、環境中に存在する類似した形状の誤検出は走査範囲の制限により、最小限に収めることが可能である。

【0112】
そして、この半楕円形状をテンプレートとし、センサデータに対し相関係数を利用したテンプレートマッチングを行う。

【0113】
相関係数は、同形状同士であってもアフィン変換がなされている場合は一致しないため、人物角度に応じてテンプレートを回転することで1枚のテンプレートにより複数方向に対応することが可能である。

【0114】
これにより、スキャナ式レンジセンサでのテンプレートマッチングにより画像処理の段階では検出されてしまうが、ポスターなどの形状が人物と相当にかけ離れている物体に対しては相関係数が一定以下となり、除外することが可能である。

【0115】
次に、本実施の形態に係る人物誘導ロボットR1の入力指示検出装置400に適用されるプロジェクティブ・インタラクション・インタフェース401の例について説明する。

【0116】
プロジェクティブ・インタラクション・インタフェースについて、従来のロボットでは、特定位置で入力を行っているのに対し、本実施の形態に係る人物誘導ロボットR1では、自由な位置での入力を実現している。

【0117】
即ち、従来においてはカメラ座標系と投影画面の座標系の関係は固定であったが、任意の位置に入力画面を投影した場合は、これらの座標系の関係は常に変化してしまう。

【0118】
そこで、入力画面を投影する際には事前に座標系の関係を既知にする必要がある。また、操作の判定用のカメラには固定単眼カメラが用いられていたが、遠距離では解像度の面で問題が生じることや、プロジェクタの光軸とカメラの光軸のずれから生じる誤差を修正することが不可能であるために、人物誘導ロボットR1では、制御装置500により首振り(パン・チルト)動作とズーム動作を制御することが可能なPTZ(パン・チルト ズーム)カメラ303を用いている。

【0119】
ここで、図3のフローチャートを参照して、投影画面操作処理の処理手順について説明する。

【0120】
ステップS10では、投影位置を決定してステップS11に移行する。

【0121】
投影位置の決定に際しては、最も近くに居る操作者に対して見易い位置に投影するようにしても良い。また、人物検出を併用して、操作者の挙手やアイコンタクトなどの動作に基づいて投影位置を決定するようにしても良い。

【0122】
ステップS11では、投影画像に関するキャリブレーションを行ってからステップS12に移行する。

【0123】
なお、このキャリブレーションは、投影画像の床面に対しての歪みを修正するために行われる。

【0124】
即ち、プロジェクタ装置300からの画像は、床面に台形状に投影されるため、キャリブレーションして歪みを補正する必要がある。

【0125】
ステップS12では、操作者の足先検出を行ってからステップS13に移行する。

【0126】
ステップS13では、操作者が何の操作を行ったかを判定する操作判定を行って処理を終了する。

【0127】
投影位置の決定に関して、本実施の形態に係る人物誘導ロボットR1では、全方位カメラ101とスキャナ式レンジセンサを併用することでロボットR1周囲の複数人物の位置の検出を行っている。

【0128】
ここで、投影画像に関するキャリブレーションについて説明する。

【0129】
任意の位置へ操作画面を提示する場合は、カメラ303による操作画面のキャプチャ画像と、投影している操作画面の本来の座標間では差異が生じる。

【0130】
また、図4に示すように、距離・角度に応じた歪曲も発生する。ここで、図4の(a)は本来の投射したい画像、(b)は歪曲を含んで投射された画像の例である。

【0131】
このような状態では、足先による入力を行っても、正しく座標が得られない可能性が高い。

【0132】
そこで、本実施の形態に係る人物誘導ロボットR1では、射影変換行列を利用した射影変換を行うことで、キャプチャ画像中より抽出した足先座標が、投影画像中のどの位置にあるかを正確に得ることができるようにしている。

【0133】
また、この射影変換行列を用いて投影画像を事前に逆方向に歪曲させることで、投影画像の歪みを補正することも可能である。

【0134】
また、射影変換行列の計算は、マーカ投影を利用して行うことができる。

【0135】
即ち、図5に示すように、マーカ画像を、操作者の足元へ投影し、画像中からコーナの特徴点を抽出する。この抽出したコーナ特徴点と、投影画像のマーカ位置の関係から、図6に示すように射影変換行列を算出する。

【0136】
なお、マーカ画像を点滅させて背景差分を併用するようにしても良い。これにより、環境からの影響を最小限とすることができる。

【0137】
次に、足先検出による操作判定について説明する。

【0138】
操作者が投影画面を足先で操作する際に、最も自然に操作を行える部位は足先(爪先)である。そこで、カメラ画像中に存在する足領域から、以下の手順で足先の座標を推定する。

【0139】
手順1:カメラ画像中から足領域を抽出する。

【0140】
手順2:エントリーポイントを取得する。

【0141】
手順3:足先の推定を行う。

【0142】
そして、足先座標の検出の為には、まず足領域を抽出する必要がある。しかし、投影光や投影先の床面の模様などの背景情報が抽出の際に問題となるため、フレーム間差分を用いてカメラ画像中から背景情報を除去し、足領域の抽出を行うようにしている。

【0143】
次に、エントリーポイントの取得について述べる。

【0144】
エントリーポイントとは、投影画面内に足領域が存在する場合に、その足領域がどこから入ってきたかを示す座標であり、足領域が領域内に入った際に重心位置との距離が最も近い候補点をエントリーポイントと設定する。

【0145】
候補点は、例えば、全て画面のエッジ上に設定することができる。

【0146】
そして、足先座標をエントリーポイント座標と、重心座標から推定する。

【0147】
例えば、操作画面中の選択領域を操作者が足で踏む際に、操作者は画面端から目的の選択領域まである程度直線的に足を運ぶことが想定される。

【0148】
このことから、足先座標は、エントリーポイントと重心座標を結ぶ延長線上で、足領域と背景画像との交点に存在すると考えられる。

【0149】
図7には、上述のようなプロジェクティブ・インタラクション・インタフェース401を搭載した人物誘導ロボットR1’の構成例を示す。

【0150】
図7では、プロジェクタ装置300から操作画面Gを床面に投影している。そして、操作者Hが所望の操作パターンP1~P3の何れかを選択し、足先Fでその選択した操作パターン(図7では操作パターンP3)の一部を踏んで操作する。

【0151】
次いで、カメラ303によって、その操作状況を撮影し、上述のように足先の推定等の処理を行って、何れの操作パターンが操作されたかを判定するようになっている。

【0152】
ここで、図8のフローチャートを参照して、足先検出処理の処理手順について説明する。

【0153】
この処理が開始されると、まず、ステップS20で、カメラ303によって取得した画像データからノイズを除去する処理、即ち、操作する足は常に動いているものとして動的背景差分処理をすることにより足を抽出する処理を実行してステップS21に移行する。

【0154】
ステップS21では、ラベリングを行う。ラベリングは画像内の領域をそれぞれ抽出する手法で、ラベリング後に領域の形状から重心(図心)を求めている。

【0155】
ステップS22では、足をラベリングして領域のピクセル数を数え、領域数から重心(Gx、Gy)を算出する。

【0156】
次いで、ステップS23では、足先の挿入位置が設定されているか否かの判定が行われる。即ち、画像の前フレームまでに足先の挿入位置が設定されているか判定される。

【0157】
そして、判定結果が「No」の場合には、ステップS24に移行して、最初に領域が検出されたフレームの重心位置を、最近傍の辺に投影した位置をエントリーポイントとしてステップS20に戻る。

【0158】
一方、判定結果が「Yes」の場合には、既に存在しているエントリーポイントを用いて足先位置の決定を行う。即ち、重心位置、挿入位置から足先を検出する。より具体的には、エントリーポイントと重心位置を繋ぐ直線の端点を足先として処理を終了する。

【0159】
次に、図9を参照して、本実施の形態に係る人物誘導ロボットR1による人物誘導処理の処理手順について説明する。

【0160】
ステップS30では、移動機構200によりロボットR1自体の移動を行う。

【0161】
ステップS31では、人物認識装置100で認識した人物がロボットR1自体の真後ろに居るか否かが判定され、「No」の場合には、「ロボットの真後ろから着いてきてください」などのメッセージをプロジェクタ装置300によって床面や壁面等に投射して、人物をロボットR1自体の真後ろに誘導してステップS30に戻る。

【0162】
一方、「Yes」の場合にはステップS32に移行して、目的地に到着したか否かが判定される。

【0163】
そして、判定結果が「No」の場合にはステップS30に戻り、「Yes」の場合にはステップS33に移行する。

【0164】
なお、目的地に到着した場合には、例えば「目的地に到着しました」等のメッセージをプロジェクタ装置300によって床面や壁面等に投射するようにしてもよい。

【0165】
ステップS33では、目的地に関する情報提示をするか否かが判定される。具体的な判定方法としては、例えば図10に示すように、「決」、「次」、「説」の文字をプロジェクタ装置300によって床面に表示させ、上述の足先検出の手法により、何れの文字が足先によって踏まれたかを検出する。

【0166】
そして、「説」の文字が操作された後に「決」の文字が操作された場合には、目的地に関する情報提示が選択されたと判定して、所定のメッセージをプロジェクタ装置300によって床面や壁面等に投射する(ステップS34)。また、「次」の文字が操作された後に「決」の文字が操作された場合には、予め設定された次の目的地への誘導を行う。

【0167】
次いで、ステップS35では、最終目的地に到着したか否かが判定され、「No」の場合にはステップS30に戻り、「Yes」の場合には処理を終了する。

【0168】
以上述べたように、本実施の形態に係る人物誘導ロボットR1によれば、人物を的確に認識することができ、また、その人物を確実に目的地に誘導することができる。

【0169】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。
【産業上の利用可能性】
【0170】
本発明による人物誘導ロボットは、オフィス、博物館、各種展示会等の施設において来客者を認識したり、誘導したりする手段に適用することができる。
【符号の説明】
【0171】
R1…人物誘導ロボット
P1~P3…操作パターン
100…人物認識装置
101…全方位カメラ
101…全方位レンズ
102…肌色領域抽出部
103…髪領域抽出部
104…人物判定部
200…移動機構
201…モータ
202…駆動ホイール
300…プロジェクタ装置
301…パン・チルト機構
302…投影位置決定部
303…カメラ
400…入力指示検出装置
401…プロジェクティブ・インタラクション・インタフェース
401…入力指示検出装置
500…制御装置
600…距離監視装置
700…移動台車
H…操作者
F…足先
G…操作画面
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9