Top > Search of Japanese Patents > TRACKING IMAGE PRESENTATION SYSTEM FOR MOVING OBJECT > Specification

Specification :(In Japanese)移動体の追従画像提示システム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)公開特許公報(A)
Publication number P2019-101765A
Date of publication of application Jun 24, 2019
Title of the invention, or title of the device (In Japanese)移動体の追従画像提示システム
IPC (International Patent Classification) G05D   1/00        (2006.01)
B64D  47/08        (2006.01)
B64C  27/08        (2006.01)
H04N   7/18        (2006.01)
B64C  39/02        (2006.01)
FI (File Index) G05D 1/00 Z
B64D 47/08
B64C 27/08
H04N 7/18 D
H04N 7/18 U
B64C 39/02
Number of claims or invention 4
Filing form OL
Total pages 12
Application Number P2017-232209
Date of filing Dec 2, 2017
Inventor, or creator of device (In Japanese)【氏名】亀▲崎▼ 允啓
【氏名】宮田 雅博
【氏名】菅野 重樹
Applicant (In Japanese)【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
Representative (In Japanese)【識別番号】100114524、【弁理士】、【氏名又は名称】榎本 英俊
Request for examination (In Japanese)未請求
Theme code 5C054
5H301
F-term 5C054CC02
5C054FC12
5C054FE02
5C054HA04
5C054HA19
5H301AA01
5H301AA06
5H301BB14
5H301CC03
5H301CC04
5H301CC06
5H301CC07
5H301CC10
5H301DD07
5H301DD15
5H301GG07
5H301GG09
5H301QQ08
Abstract (In Japanese)【課題】移動しながら所定の作業を行う移動体の全体若しくは一部をターゲットとした空間を撮像し、多種多様な作業環境で移動体の操作を行い易くする画像を提示すること。
【解決手段】追従画像提示システム10は、所定の空間を移動するロボット11と、当該ロボット11に追従しながら非接続状態で自律移動するとともに、ロボット11の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置14と、移動撮像装置14により取得した追従画像を表示する表示装置15とを備えている。移動撮像装置14は、ロボット11の移動に関わらず、前記ターゲットが前記追従画像の一定領域に一定のアングルで表示されるように、ロボット11に対する追従移動が制御される。
【選択図】 図1
Scope of claims (In Japanese)【請求項1】
所定の空間を移動する移動体と、当該移動体に追従しながら非接続状態で自律移動するとともに、前記移動体の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置と、当該移動撮像装置により取得した追従画像を表示する表示装置とを備え、
前記移動撮像装置は、前記移動体の移動に関わらず、前記ターゲットが前記追従画像の一定領域に一定のアングルで表示されるように、前記移動体に追従移動することを特徴とする移動体の追従画像提示システム。
【請求項2】
前記移動撮像装置は、所定の空間を移動させるための動力ユニットと、前記移動体を含む周囲の情報を検出する周囲情報検出手段と、前記移動体に追従するように前記動力ユニットの動作制御を行う追従制御手段とを備え、
前記周囲情報検出手段は、前記移動撮像装置に対する前記移動体の位置情報及び姿勢情報を検出する移動体情報検出部と、前記移動撮像装置の周囲の物体の存在情報を検出する周囲物体情報検出部とを備え、
前記追従制御手段は、前記移動体情報検出部での検出結果に基づき、前記追従移動の制御を行う基準制御部と、前記周囲物体情報検出部での検出結果に基づき、前記追従画像を取得する際に障害となる障害物が存在するときでも、別のポジションから前記ターゲットを撮像可能に、前記障害物の回避のための移動制御を行う障害物回避制御部とを備えたことを特徴とする請求項1記載の移動体の追従画像提示システム。
【請求項3】
前記障害物回避制御部では、前記障害物が存在する場合に、前記移動撮像装置を上昇するとともに、所定の高さ以上まで上昇しないと前記ターゲットを撮像できないときに、前記ターゲットを前記移動体の反対側から撮像可能にするように、前記移動撮像装置を前記反対側に回り込ませる移動制御を行うことを特徴とする請求項2記載の移動体の追従画像提示システム。
【請求項4】
前記障害物回避制御部では、前記基準制御部での通常移動時に、前記移動撮像装置が前記障害物に衝突する可能性がある場合の衝突回避制御と、前記通常移動時に、前記移動体と前記移動撮像装置との間に前記障害物が存在し、前記追従画像内で前記ターゲットが前記障害物により遮蔽される場合の遮蔽回避制御とが行われることを特徴とする請求項2又は3記載の移動体の追従画像提示システム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、移動しながら所定の作業を行う移動体をオペレータが遠隔操作する際に、当該移動体の移動に追従する遠隔操作用の追従画像をオペレータに提示するためのシステムに関する。
【背景技術】
【0002】
近年、人間が実際に搭乗せずに、遠隔操作によって自律移動する遠隔操作ロボットが種々出現しており、災害後の復旧作業等での活用が期待されている。ところが、遠隔操作ロボットのオペレータは、カメラで取得した遠隔操作ロボットの周囲の映像を見ながら操作するため、一般的に、遠隔操作ロボットの作業効率は、搭乗操作の場合よりも低くなることが多い。
【0003】
そこで、オペレータが、遠隔操作ロボットを効率良く安全に操作するためには、映像を見て、ロボットを含めた現場状況を瞬時に把握でき、当該ロボットに設けられたマニピュレータの操作方向及び操作量を容易に判断できることが重要となる。
【0004】
ところで、特許文献1には、遠隔操作される走行車両の視野の死角を減少させるための作業ロボットシステムが開示されている。この作業ロボットシステムは、走行車両に搭載されて前方空間を撮像する第1のカメラからの取得画像とともに、ケーブルを介して繋がるヘリコプターに搭載された第2のカメラからの取得画像がオペレータに提示されるようになっている。
【先行技術文献】
【0005】

【特許文献1】特開2016-49864号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、前記特許文献1の作業ロボットシステムにあっては、ヘリコプターの第2のカメラにより、走行車両の上部の前方画像しか取得できず、走行車両の側方や後方等に依然死角が多く存在することになる。従って、当該作業ロボットシステムでは、オペレータにとって、ロボットを含めた現場状況を必ずしも十分に把握できる訳ではなく、多種多様な作業環境への適用が困難である。また、ヘリコプターは、ケーブルを介して走行車両に繋がる有線給電方式となっているため、その飛行範囲が限られるばかりか、走行車両の周囲に障害物が存在する場合に、当該障害物を回避しながら所望の画像を取得するには限界があり、この点においても、多種多様な作業環境への適用が困難である。
【0007】
本発明は、このような課題に着目して案出されたものであり、その目的は、移動しながら所定の作業を行う移動体の全体若しくは一部をターゲットとした空間を撮像し、多種多様な作業環境で移動体の操作を行い易くする画像をオペレータに提示できる移動体の追従画像提示システムを提供することにある。
【課題を解決するための手段】
【0008】
前記目的を達成するため、本発明は、主として、所定の空間を移動する移動体と、当該移動体に追従しながら非接続状態で自律移動するとともに、前記移動体の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置と、当該移動撮像装置により取得した追従画像を表示する表示装置とを備え、前記移動撮像装置は、前記移動体の移動に関わらず、前記ターゲットが前記追従画像の一定領域に一定のアングルで表示されるように、前記移動体に追従移動する、という構成を採っている。
【発明の効果】
【0009】
本発明によれば、予め指定した移動体の全体若しくは一部をターゲットとした空間が、移動撮像装置で移動体に追従しながら撮像されることで、得られた追従画像の一定領域に一定のアングルで表示される。このため、移動体を操作するオペレータに対し、移動体が移動しても、カメラの視点や撮像範囲が一貫しており、時間的接続性の高い連続性の有る追従画像が提示されることになり、当該追従画像を見ながらの操作が行い易くなる。加えて、移動撮像装置は、移動体に非接続状態で自律移動制御されるため、撮像範囲の自由度を高めることができる。以上により、多種多様な作業環境への適用が可能になる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る追従画像提示システムの概略構成図である。
【図2】前記追従画像提示システムの全体構成を示すブロック図である。
【図3】(A)は、ロボットの平面視における相対撮像条件を説明するための図であり、(B)は、ロボットの側面視における相対撮像条件を説明するための図である。
【図4】(A)~(C)は、障害物回避制御部での障害物の回避制御を説明するための図である。
【図5】表示画面に表示される追従画像の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を参照しながら説明する。

【0012】
図1には、本実施形態に係る移動体の追従画像提示システムの概略構成図が示されており、図2には、当該追従画像提示システムの全体構成を表すブロック図が示されている。これらの図において、前記追従画像提示システム10は、遠隔操作により所定の空間を移動しながら所定の作業を行う移動体としての遠隔操作ロボット11(以下、単に「ロボット11」と称する)と、ロボット11から離れた場所に設けられ、無線通信を利用してオペレータ(図示省略)がロボット11に対して遠隔操作指令を行うための操作装置12と、ロボット11に追従しながら非接続状態で自律移動し、ロボット11の全体若しくは一部をターゲットにした対象空間を撮像する移動撮像装置14と、操作装置12とセットで配置され、移動撮像装置14により取得した追従画像を含む画像を表示可能な表示装置15とを備えている。なお、以下の説明において、操作装置12や表示装置15が存在するオペレータ側の場所を「基地局H」と称する。

【0013】
本実施形態において、前記ロボット11は、無人でも動作可能な建設機械として構成されており、基地局Hからの遠隔操作により、オペレータが実際に搭乗せずに可動部位の動作指令を行えるようになっている。

【0014】
前記ロボット11は、所定範囲内で動作可能なブーム18A、アーム18B及びアタッチメント18C(図1参照)等からなるマニピュレータ18と、ロボット11全体を地面に沿って移動させるように動作するクローラ等の移動手段19と、これらマニピュレータ18及び移動手段19をそれぞれ動作させるモータ等の駆動手段21(図2参照)と、駆動手段21の駆動を制御する動作制御手段22(図2参照)と、基地局Hとの間で無線通信を行うための通信モジュール23(図2参照)と、有人操作の際にオペレータの存在空間となるキャブ25(図1参照)の内部に固定された固定カメラとしてのキャブカメラ26とを含んで構成されている。

【0015】
前記動作制御手段22では、操作装置12からの指令信号を通信モジュール23で受信すると、当該指令信号に基づき、駆動手段21の駆動を制御することで、オペレータの遠隔操作に対応したマニピュレータ18及び移動手段19の動作がなされることになる。

【0016】
前記キャブカメラ26は、ロボット11と一体的に移動しながらその前方空間を撮像可能になっており、キャブ25内でオペレータが操作しているときの視界と同様の映像を構成するキャブ画像を取得可能になっている。ここで取得されたキャブ画像は、通信モジュール23から無線通信により表示装置15に逐次送られる。

【0017】
なお、その他のロボット11の構成については、本発明の本質部分ではないため、詳細な説明を省略する。

【0018】
前記操作装置12は、レバー、ペダル、スティック、ハンドル等の入力機器からなり、基地局H側のオペレータが操作することで、動作制御手段22への制御指令が通信モジュール23に送信され、マニピュレータ18と移動手段19の遠隔操作を可能にする公知の構成となっている。

【0019】
前記移動撮像装置14は、ロボット11に追従しながら相対移動可能な追従移動体として機能する無人飛行体(ドローン)28と、ドローン28に搭載され、ドローン28とともに一体的に移動しながらロボット11の全体若しくは一部をターゲットにした所定空間を撮像するための移動カメラ29とにより構成される。

【0020】
前記ドローン28は、所定範囲の空間を飛行可能に動作するモータ及び各種機構等からなる動力ユニット31と、自身の位置、姿勢、速度、進行方向等の情報を検出する自身情報検出手段32と、移動撮像装置14の周囲の情報を検出する周囲情報検出手段33と、これらの検出結果に基づいて、ロボット11に追従するように動力ユニット31の動作制御を行う追従制御手段35と、基地局Hとの間で無線通信を行うための通信モジュール36とを備えている。

【0021】
ここで、本実施形態では、同一構造のドローン28を3台使って、各ドローン28にそれぞれ1台ずつ設けられた移動カメラ29で取得した映像である追従画像が、それぞれ基地局H側の表示装置15に逐次送信されるようになっている。

【0022】
前記自身情報検出手段32は、ドローン28の無人飛行に必要となるジャイロセンサ、測距センサ、加速度センサ等の公知の各種センサ類からなる。

【0023】
前記周囲情報検出手段33は、移動撮像装置14に対するロボット11の三次元の位置情報及び姿勢情報等を検出するロボット情報検出部38(移動体情報検出部)と、移動撮像装置14の周囲の障害物等の物体の存在情報等を検出する周囲物体情報検出部39とを備えている。

【0024】
前記ロボット情報検出部38では、ドローン28に一体的に取り付けられた移動カメラ29の追従画像に基づいて、移動カメラ29に対するロボット11の位置及び姿勢が検出される。具体的に、本実施形態では、ロボット11の複数箇所にマーカ(図示省略)が設けられ、移動カメラ29による各マーカの撮像状況から、ロボット11の相対的な位置及び姿勢と、ロボット11から移動カメラ29までの相対距離を導出する公知の手法が採用されている。なお、移動カメラ29に対するロボット11の位置及び姿勢と前記相対距離の検出は、種々のセンサ等を利用しても良い。

【0025】
前記周囲物体情報検出部33では、特に限定されるものではないが、レーザーレーダ等の物体検知装置を用い、移動撮像装置14とその周囲の障害物等の物体との相対距離に基づいて、移動撮像装置14の周囲の所定範囲内における物体の存在の有無を検知するようになっている。

【0026】
前記追従制御手段35は、ロボット情報検出部38での検出結果に基づき、移動カメラ29で所定の追従画像が得られる飛行ルートとなるように、ドローン28の飛行を制御する基準制御部42と、周囲物体情報検出部39での検出結果に基づき、基準制御部42で制御された飛行ルートでの飛行中に、追従画像の取得に障害となる障害物を回避するようにドローン28の飛行を制御する障害物回避制御部43とを備えている。

【0027】
前記基準制御部42では、ロボット11の全体若しくは一部をターゲットとした対象空間における視点や撮像範囲を一定に保持するように、ドローン28の追従制御を通じて移動カメラ29の移動配置が制御されることになる。つまり、基準制御部42では、ロボット11の移動に関わらず、前記ターゲットが追従画像の一定領域に一定のアングルで表示されるように、ドローン28の飛行制御を通じ、移動撮像装置14をロボット11に追従移動させるようになっている。

【0028】
本実施形態では、移動撮像装置14が3台用いられていることから、次のようにして、3台のドローン28の飛行がそれぞれ制御される。

【0029】
なお、以下の説明においては、3台のドローン28を区別するために、適宜、第1~第3のドローン28A~28Cと称する。また、適宜、第1のドローン28Aに取り付けられた移動カメラ29を第1の移動カメラ29Aと称し、第2のドローン28Bに取り付けられた移動カメラ29を第2の移動カメラ29Bと称し、第3のドローン28Cに取り付けられた移動カメラ29を第3の移動カメラ29Cと称する。

【0030】
第1のドローン28Aにおける基準制御部42では、第1の移動カメラ29Aを利用し、上方から撮像されたロボット11全体の俯瞰画像を追従画像として、一定のアングルにより取得可能な飛行ルートによる飛行制御が行われる。つまり、図3(A),(B)に示されるように、ロボット11と第1の移動カメラ29Aの相対距離L1と、図3(A)の平面視におけるロボット11に対する第1の移動カメラ29Aの撮像方向を表す平面撮像角度θH1と、同図(B)の側面視におけるロボット11に対する第1の移動カメラ29Aの撮像方向を表す側面撮像角度θS1とからなる相対撮像条件が、ロボット11の移動に関わらずに一定に維持されるようになっている。

【0031】
なお、以下の第2、第3の移動カメラ29B,29Cでの説明を含め、平面撮像角度θH*及び側面撮像角度θS*は、次のように定義される。すなわち、平面撮像角度θH*は、図3(A)の平面視におけるロボット11の前後方向に沿う左右中心線(同図中一点鎖線)と移動カメラ29の撮像方向に沿う撮像線Cとの間でなす角度を意味する。また、側面撮像角度θS*は、図3(B)の側面視におけるロボット11の前後方向に沿う上下中心線(同図中一点鎖線)と、移動カメラ29の撮像方向に延びる撮像線Cとの間でなす角度を意味する。ここで、撮像線Cは、移動カメラ29とその撮像のターゲットとを結んだ線となる。

【0032】
第2のドローン28Bにおける基準制御部42では、第2の移動カメラ29Bを利用し、真横から撮像されたマニピュレータ18主体のマニピュレータ側面画像を追従画像として、一定のアングルにより取得可能な飛行ルートでの飛行制御が行われる。つまり、ロボット11と第2の移動カメラ29Bの相対距離L2と、第2の移動カメラ29Bの前記平面撮像角度θH2と、第2の移動カメラ29Bの前記側面撮像角度θS2(図示省略)とが、ロボット11が移動したときでも一定に維持されるようになっている。

【0033】
第3のドローン28Cにおける基準制御部43では、第3の移動カメラ29Cを利用し、後方から俯瞰的に撮像されたマニピュレータ18主体のマニピュレータ背面画像を追従画像として、一定のアングルにより取得可能な飛行ルートでの飛行制御が行われる。つまり、ロボット11と第3の移動カメラ29Cの相対距離L3と、第3の移動カメラ29Cの前記平面撮像角度θH3(図示省略)、第3の移動カメラ29Cの前記側面撮像角度θS3とが、ロボット11が移動したときでも一定に維持されるようになっている。

【0034】
ここで、前記各相対撮像条件は、特に限定されるものではなく、ロボット11のサイズ等によって適宜設定される。例えば、ロボット11が5m級のハンドリング機の場合、第1の移動カメラ29Aによって撮像されるターゲットが、ロボット11全体の中央部分になるように設定され、相対距離L1が40m、平面撮像角度θH1が45度、側面撮像角度θS1が45度に設定される。また、第2の移動カメラ29Bによって撮像されるターゲットが、アタッチメント18Cの右側面側になるように設定され、相対距離L2が10m、平面撮像角度θH2が90度、側面撮像角度θS2(図示省略)が0度に設定される。更に、第3の移動カメラ29Cによって撮像されるターゲットが、アタッチメント18Cの背面側になるように設定され、相対距離L3が15m、平面撮像角度θH3(図示省略)が0度、側面撮像角度θS3が45度に設定される。

【0035】
前記障害物回避制御部43では、周囲物体情報検出部39での検出結果により、次のようにして、前記各追従画像の撮像する際に障害となる木や瓦礫等の障害物を回避可能に各ドローン28A~28Cの飛行ルートが変更される。

【0036】
第1に、前記基準制御部42で設定された飛行ルートでのドローン28の飛行となる通常飛行時において、その進行方向の前方に障害物が存在し、ドローン28や移動カメラ29が障害物に衝突する可能性がある場合に、ドローン28の衝突回避制御が次のように行われる。

【0037】
すなわち、この場合、図4(A)に例示されるように、障害物Oとの衝突を回避可能な最低限の高さまで、移動カメラ29を鉛直上方に移動させる。このとき、同図(B)に示されるように、障害物Oの高さによっては、移動カメラ29が上昇し過ぎると、ロボット11のターゲットを撮像できなくなる場合があるため、当該撮像可否の境界となるパラメータとして、許容角度θKが予め定められ、許容角度θKと実際の上昇角度θCとの相対関係に応じて異なる制御が行われる。この許容角度θKは、前記基準制御部42で設定された飛行ルートにおける撮像線Cと、移動カメラ29が上昇したときの撮像線Cとの間でなす上昇角度θCのうち、前記ターゲットを撮像可能となる許容範囲に設定される。

【0038】
図4(A)のように、上昇角度θCが許容角度θK以下のときには、前記ターゲットを撮像可能と判断され、このときの上昇状態が維持されたまま、移動カメラ29により、ロボット11の全体若しくは一部をターゲットにした対象空間の撮像が行われる。

【0039】
一方、図4(B)のように、上昇角度θCが許容角度θKを超えるときには、ロボット11のターゲットを撮像不可能と判断される。そして、ドローン28の飛行制御により、図4(C)に示されるように、移動カメラ29が、ロボット11の直上の地点Pを経由してその反対側に回り込むように移動し、同一のターゲットを前記相対撮像条件にてロボット11の反対側のポジションから撮像可能にする。なお、ロボット11に対する地点Pは、予め一定となる相対位置に設定される。

【0040】
そして、周囲物体情報検出部33での検出結果により、回避対象の障害物Oが無くなったと判断されると、基準制御部42で設定された通常飛行時のドローン28の飛行ルートに逆の動作で戻り、基準制御部42での追従制御により、移動カメラ29が引き続きロボット11に追従移動することになる。

【0041】
第2に、前記通常飛行時に、ロボット11と移動カメラ29との間に障害物Oが存在し、所望とするターゲットが追従画像内で障害物Oにより遮蔽されるような場合にも、前述した衝突回避制御と同一の手法で、障害物Oによる追従画像の遮蔽を回避するための遮蔽回避制御が行われる。

【0042】
前記第1~第3の移動カメラ29A~29Cで取得された追従画像は、逐次、通信モジュール36を使って表示装置15に送信される。

【0043】
前記表示装置15では、各カメラ26,29からの4種の画像、すなわち、キャブカメラ26で取得したキャブ画像と、前記第1~第3の移動カメラ29A~29Cで取得した3種の追従画像とが、図5に示されるように、1つの表示画面M上に表示される。これら4種の画像は、長方形の表示画面Mを4等分に区分した領域M1~M4に表示される。

【0044】
具体的に、図5中左下の領域M1には、キャブカメラ26によるキャブ画像が表示され、同左上の領域M2には、第1の移動カメラ29Aで取得したロボット11全体の俯瞰画像が表示され、同右下の領域M3には、第2の移動カメラ29Bで取得したマニピュレータ側面画像が表示され、同右上の領域M4には、第3の移動カメラ29Cで取得したマニピュレータ背面画像が表示される。

【0045】
なお、特に限定されるものではないが、本実施形態では、キャブカメラ26の配置と、各移動カメラ29の配置及び前述の追従制御とにより、各領域M1~M4において、撮像のターゲットを含む所定部位が次のサイズで表示されることとなる。

【0046】
前記領域M1では、搭乗操作時のオペレータの視野を模した画像となるように、アタッチメント18Cの幅が画面幅の1/3程度となるキャブ画像が常時表示される。

【0047】
前記領域M2では、ロボット11全体及びその周囲環境が画面内で広く表示されるように、マニピュレータ18の可動範囲の径が画面幅の1/5程度となる俯瞰画像が基本的に表示される。

【0048】
前記領域M3では、マニピュレータ18が画面の大部分を占める程度にズームされるように、マニピュレータ18の幅が画面幅の4/5程度となるマニピュレータ側面画像が基本的に表示される。ここで、人間は、視界の右側から入ってくる情報が、同左側から入ってくる情報よりも認知し易いことを考慮し、マニピュレータ側面画像は、ロボット11の進行方向が画面の右方となるように、マニピュレータ18の右側方から撮像されるようになっている。

【0049】
前記領域M4においても、マニピュレータ18が画面の大部分を占める程度にズームされるように、マニピュレータ18の可動範囲の径が画面幅の4/5程度となるマニピュレータ背面画像が基本的に表示される。なお、ここでの画像は、人間が視認した物体を頭の中で回転させる能力である心的回転が必要となる正面側からの撮像ではなく、背面側(後方上側)からの画像としている。

【0050】
また、前述した障害物回避制御におけるドローン28の移動時においては、当該障害物回避のために、基準制御部42による通常飛行に対して、移動カメラ29が変位して画像のアングルが変わることから、当該変位時における移動カメラ29からの画像提示の際には、何等かのインジケータを画面内に表示して、オペレータに当該変位の旨を認識させるようになっている。

【0051】
なお、前記表示画面Mにおける4画像は、次の知見に基づいて配置されている。

【0052】
画像中の上視野部分は、普段見慣れている自分の視野ではなく別の視点からの画像認識に適しており、画像中の下視野部分は、普段の自分の視点からの画像認識に適しているとされている。この知見から、オペレータの自己視点に最も近いキャブ画像と、それと高さの等しいマニピュレータ側面画像とが、表示画面Mの下半分となる領域M1,M3に配置される。一方、上方から見たロボット11の俯瞰画像とマニピュレータ背面画像とが、表示画面Mの上半分となる領域M2,M4に配置される。

【0053】
また、領域M2のロボット11の俯瞰画像と領域M4のマニピュレータ背面画像は、共に、ロボット11を上方から撮像した画像であるため、画面の上半分に配置した方がオペレータの感覚的に好適となる。また、領域M3のマニピュレータ側面画像と領域M4のマニピュレータ背面画像は、共にマニピュレーション作業の際に合せて視認する必要性が有り得るため、それぞれ近い位置に配置することが好ましい。加えて、人間は、左から右に視線を動かすことを得意とし、作業は基本的に領域M1のキャブ画像を見ながら行われることから、補助的なマニピュレータ側面画像及びマニピュレータ背面画像は、画面の右半分となる領域M3、領域M4に配置される。

【0054】
以上、このような実施形態によれば、ロボット11の遠隔操作に必要となる複数の画像を同時にオペレータに提示することができ、しかも、当該各画像は、前記心的回転の要求が少なく、且つ、撮像のターゲットとなる撮像中心や撮像範囲が基本的に一定となる。従って、オペレータが当該各画像を見ながらロボット11を遠隔操作する際に、ロボット11の操作に必要な視覚情報を違和感なく作業現場から離れたオペレータに与えることができ、ロボット11の移動やマニピュレータ18の動作に係る遠隔操作をスムーズ且つ安全に行えることが期待できる。

【0055】
詳述すると、4種の各画像を相互に関連性を有する所定の配置で同時に提示することにより、最小の画像数で最大限の環境把握性をもたらす画像の相補性を確保できる。また、表示される各画像は、カメラの視点や撮像範囲が基本的に一貫して提示されるため、時間的接続性の高い画像の連続性を確保することができる。従って、本実施形態の画像提示によれば、オペレータが作業フェーズに応じて各画像を効率的且つ効果的に利用することができる。つまり、例えば、作業計画のための環境把握の際には、表示画面Mの上半分の2画面領域M2、M4を中心に利用し、ロボット11の移動の際には、表示画面Mの左半分の2画面領域M1、M2を中心に利用し、作業現場でのマニピュレーション作業の際には、表示画面Mの右半分の2画面領域M3、M4を中心に利用することができる。これにより、オペレータが各作業フェーズでの遠隔操作を行うときに、視線の移動負担が低減され、より効率的に作業目的の視覚情報を入手することができる。

【0056】
また、障害物回避制御部によって障害物を回避する際にも、急激な画像の切り替わりや心的回転の少ない追従画像をオペレータに提示することができ、この点においても、作業性の向上に資することができる。

【0057】
なお、前記実施形態では、移動撮像装置14における移動カメラ29の動力源として、3台のドローン28を利用するマルチ飛行カメラシステムを採用したが、本発明はこれに限らず、必要に応じて移動撮像装置14の台数を増減させることができる他、前述した追従制御により移動カメラ29をロボット11に追従移動させることができる限りにおいて、他の飛行体や走行体からなる種々の追従移動体を採用することができる。

【0058】
また、移動撮像装置14の追従対象となる移動体としては、前記実施形態で例示した建設機械に限らず、有人操作、無人操作を問わず、他のロボットを含めた種々の移動体に対して適用することができる。

【0059】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【0060】
10 追従画像提示システム
11 遠隔操作ロボット(移動体)
14 移動撮像装置
15 表示装置
33 周囲情報検出手段
35 追従制御手段
38 ロボット情報検出部(移動体情報検出部)
39 周囲物体情報検出部
42 基準制御部
43 障害物回避制御部
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4