TOP > 国内特許検索 > 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム > 明細書

明細書 :遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-005114 (P2020-005114A)
公開日 令和2年1月9日(2020.1.9)
発明の名称または考案の名称 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
国際特許分類 H04Q   9/00        (2006.01)
FI H04Q 9/00 301B
H04Q 9/00 331A
請求項の数または発明の数 11
出願形態 OL
全頁数 19
出願番号 特願2018-122538 (P2018-122538)
出願日 平成30年6月27日(2018.6.27)
発明者または考案者 【氏名】甲斐 義弘
【氏名】安達 佳仁
【氏名】湯山 友晴
出願人 【識別番号】000125369
【氏名又は名称】学校法人東海大学
個別代理人の代理人 【識別番号】100126505、【弁理士】、【氏名又は名称】佐貫 伸一
【識別番号】100131392、【弁理士】、【氏名又は名称】丹羽 武司
【識別番号】100188606、【弁理士】、【氏名又は名称】安西 悠
【識別番号】100146330、【弁理士】、【氏名又は名称】本間 博行
審査請求 未請求
テーマコード 5K048
Fターム 5K048AA04
5K048BA45
5K048BA48
5K048EB02
5K048EB15
5K048FB15
5K048HA01
5K048HA02
5K048HA03
5K048HA04
5K048HA06
5K048HA21
要約 【課題】視線による遠隔制御の操作性を向上させる。
【解決手段】移動物体の遠隔制御装置は、制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、移動物体を遠隔制御する制御装置であって、移動物体が備える撮像装置によって撮像された画像を表示する表示装置に対向するユーザの視線を検出し、画像上におけるユーザの注視点を出力する視線検出装置から、注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、情報が示す注視点が所定の領域に含まれる場合は、当該領域に対応付けられた、移動物体を制御するための信号を送信させる信号出力制御部とを備え、所定の領域は、画像のほぼ中央に、移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、移動物体を前進させるための前進領域を含む。
【選択図】図1
特許請求の範囲 【請求項1】
制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御する制御装置であって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させる信号出力制御部と、
を備え、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御装置。
【請求項2】
前記所定の領域の境界が、前記表示装置に画像として表示され、又は前記表示装置に重ねて配置されるシート若しくはパネルに表示される
請求項1に記載の移動物体の遠隔制御装置。
【請求項3】
前記前進領域は、眼球から前記画像上における前記注視点までの距離をlとし、眼球及び注視点を結ぶ直線と、眼球及び表示装置に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとしたときに得られる中心視可能な範囲の半径rを以下の式(1)で求め、
r=ltanθ ・・・(1)
前記待機領域の中心から垂直下方向に3rの位置を中心に上下方向にrの長さの範囲に配置される
請求項1又は2に記載の移動物体の遠隔制御装置。
【請求項4】
前記前進領域は、前記待機領域の中心から下方向の最下端から、上方向にrの長さの位置に配置される
請求項3に記載の移動物体の遠隔制御装置。
【請求項5】
前記θは、1~2度である
請求項3又は4に記載の移動物体の遠隔制御装置。
【請求項6】
前記待機領域の左右に、それぞれ前記制御対象の移動物体を鉛直方向の回転軸を中心として左右に水平回転させるための領域を備える
請求項1から5のいずれか一項に記載の移動物体の遠隔制御装置。
【請求項7】
前記制御対象の移動物体は無人飛行物体であり、
前記待機領域の上下に、それぞれ前記無人飛行物体を上昇・下降させるための領域を備える
請求項1から6のいずれか一項に記載の移動物体の遠隔制御装置。
【請求項8】
前記無人飛行物体は、マルチコプター、ドローン、ヘリコプター、飛行船のいずれか1つである
請求項7に記載の移動物体の遠隔制御装置。
【請求項9】
請求項1から7のいずれか一項に記載の移動物体の遠隔制御装置と、
前記視線検出装置と、
前記制御対象の移動物体と、
前記制御対象の移動物体を制御するための信号を送信するコントローラと、
を備える遠隔制御システム。
【請求項10】
制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御する制御方法であって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断するステップと、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させるステップと、
を遠隔制御装置が実行し、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御方法。
【請求項11】
制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、前記制御対象の移動物体を遠隔制御するための制御プログラムであって、
前記制御対象の移動物体が備える前記撮像装置によって撮像された画像を表示する表示装置に対向する前記ユーザの視線を検出し、前記画像上における前記ユーザの注視点を出力する視線検出装置から、前記注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断するステップと、
前記情報が示す注視点が前記所定の領域に含まれる場合は、当該領域に対応付けられた、前記制御対象の移動物体を制御するための信号を送信させるステップと、
を遠隔制御装置に実行させ、
前記所定の領域は、前記画像のほぼ中央に、前記制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、前記制御対象の移動物体を前進させるための前進領域を含む
移動物体の遠隔制御プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラムに関する。
【背景技術】
【0002】
従来、視線を検出する検出手段を有した撮像装置からの視線検出信号を受信する通信手段を備え、その撮像装置から送信された視線検出信号に基づいて被制御体の制御を行う視線制御装置が提案されていた(例えば、特許文献1)。
【0003】
また、眼球トラッキングを用いて画像を操作するシステムも提案されている(例えば、特許文献2)。本システムでは、関心領域(ROI)の周りに、画像パラメータ調整に関連付けられた複数のホットスポットが配置され、ユーザの凝視ポイントがホットスポットに入っているときに、ホットスポットに関連付けられた画像調整を行う。
【先行技術文献】
【0004】

【特許文献1】特開平11-46318号公報
【特許文献1】特表2009-530731号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
制御装置と無線接続又は有線接続される、マルチコプターや、多脚ロボット、車輪、クローラ等で走行するロボット等の被制御装置を、被制御装置の一人称視点で撮影された画像を見ながら操縦者が操縦する場合、操縦者の視線によって制御できると便利なことがある。すなわち、操縦者が手を使えないような場合にも被制御装置を操縦でき、また、被制御装置がロボットハンドのような操作対象をさらに備えている場合には、操縦者の手によって、ロボットハンド等の操作を行うこともできる。しかしながら、操縦者は、視線によってロボット等の周囲の状況の把握とロボット等の操縦とを同時に行うことになるため、操作が難しくなりがちであるという問題があった。
【0006】
本発明は、視線による遠隔制御の操作性を向上させることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る移動物体の遠隔制御装置は、制御対象の移動物体が備える撮像装置によって撮像された画像をユーザが見つつ、制御対象の移動物体を遠隔制御する制御装置であって、制御対象の移動物体が備える撮像装置によって撮像された画像を表示する表示装置に対向するユーザの視線を検出し、画像上におけるユーザの注視点を出力する視線検出装置から、注視点の情報を取得すると共に、取得した情報が示す注視点が所定の領域に含まれるか判断する操作検出部と、情報が示す注視点が所定の領域に含まれる場合は、当該領域に対応付けられた、制御対象の移動物体を制御するための信号を送信させる信号出力制御部とを備え、所定の領域は、画像のほぼ中央に、制御対象の移動物体を待機させるための待機領域を有し、当該待機領域の内部であって、当該待機領域の中央から所定の距離離間した位置に、制御対象の移動物体を前進させるための前進領域を含む。
【0008】
このようにすれば、ユーザは、画像のほぼ中央に配置される待機領域に視線の先を定めることで、制御対象の移動物体を待機させることができる。したがって、制御対象の移動物体を障害物等に接触させるような事故を起こすことなく、画像全体を認識することがで
きる。また、待機領域内において中央から所定距離離間した位置に配置される前進領域に視線を移すことにより、制御対象の移動物体を前進させることができる。このような位置関係で設けられる領域によれば、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の移動物体を待機させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。
【0009】
また、所定の領域の境界が、表示装置に画像として表示され、又は表示装置に重ねて配置されるシート若しくはパネルに表示されるようにしてもよい。このようにすれば、ユーザは、操作するための領域を明確に認識することができる。
【0010】
また、前進領域は、眼球から画像上における注視点までの距離をlとし、眼球及び注視点を結ぶ直線と、眼球及び表示装置に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとしたときに得られる中心視可能な範囲の半径rを以下の式で求め、待機領域の中心から垂直下方向に3rの位置を中心に上下方向にrの長さの範囲に配置してもよい。
r=ltanθ
【0011】
また、前進領域は、待機領域の中心から下方向の最下端から、上方向にrの長さの位置に配置されるようにしてもよい。また、θは、1~2度であってもよい。具体的にはこのような大きさを採用することで、一般的に中心視によって対象を明確に認識できると共に、固視において生じるマイクロサッケードによりユーザが意図しない制御がなされることを抑制できる。
【0012】
また、静止領域の左右に、それぞれ制御対象の移動物体を鉛直方向の回転軸を中心として左右に水平回転させるための領域を備えるようにしてもよい。このようにすれば、画像の左右にユーザの興味の対象が存在する場合、ユーザはこれらが存在する方向に視線を移すことにより、制御対象の装置の向きを変えるよう遠隔制御でき、直感的に操作できる。また、画像において中央よりも左右の状況は把握しづらいため、制御対象の装置を左右に平行移動させると、制御対象の装置を障害物等に接触させる可能性も高まる。したがって、制御対象の装置を左右に水平回転させることで、事故の発生を低減させることができる。
【0013】
また、制御対象の移動物体は無人飛行物体であり、静止領域の上下に、それぞれ飛行物体を上昇・下降させるための領域を備えるようにしてもよい。なお、無人飛行物体は、マルチコプター、ドローン、ヘリコプター、飛行船のいずれか1つであってもよい。このようにすれば、無人飛行物体を上下に移動させたい場合、ユーザは静止領域の上下に視線を移すことにより遠隔制御でき、直感的に操作できるといえる。
【0014】
また、本発明に係る遠隔制御システムは、上述した遠隔制御装置と、視線検出装置と、制御対象の移動物体と、制御対象の移動物体を制御するための信号を送信するコントローラとを備える。このような遠隔制御システムによっても、ユーザは、前進領域から周囲のいずれかの方向に視線を移すだけで制御対象の装置を停止させることができ、安全性が高まるとともに、視線による遠隔制御の操作性を向上させることができる。
【0015】
上記課題を解決するための手段の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、上記手段をコンピュータが実行する方法や、上記手段をコンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。
【発明の効果】
【0016】
本発明によれば、視線による遠隔制御の操作性を向上させることができる。
【図面の簡単な説明】
【0017】
【図1】本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である
【図2】遠隔操作システムの一例を示す機能ブロック図である。
【図3】遠隔操作システムの制御装置が行う前処理の一例を示す処理フロー図である。
【図4】マルチコプターが行う処理の一例を示す処理フロー図である。
【図5】コントローラが行う処理の一例を示す処理フロー図である。
【図6】表示装置が行う処理の一例を示す処理フロー図である。
【図7】視線検出装置が行う処理の一例を示す処理フロー図である。
【図8】制御装置が行う処理の一例を示す処理フロー図である。
【図9】表示装置上に設定される操作領域の割り当ての一例を示す図である。
【図10】マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。
【図11】マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。
【図12】マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。
【図13】表示装置上に設定される操作領域の位置及び大きさを説明するための図である。
【図14】表示装置上に設定される操作領域の位置及び大きさを説明するための図である。
【図15】操作領域の配置の変形例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態に係る遠隔操作システムについて、図面を用いて説明する。

【0019】
<装置構成>
図1は、本実施形態に係る遠隔操作装置を備える遠隔操作システムの一例を示す構成図である。図1に示す遠隔操作システム1は、制御装置2と、表示装置3と、視線検出装置4と、コントローラ5と、マルチコプター6とを含む。遠隔操作システム1は、ユーザの視線に基づいて操作対象の移動物体を遠隔操作するためのシステムである。マルチコプター6は、複数の回転翼を有する回転翼機であり、本実施形態における操作対象の移動物体である。また、マルチコプター6は、デジタルカメラ等の撮像装置を備えており、例えばコントローラ5を介して表示装置3へ撮像した画像を表示させることができる。コントローラ5は、マルチコプター6の動作を無線により遠隔操作するための送信機である。表示装置3は、マルチコプター6が備える撮像装置から、例えば制御装置2を介して撮像データを取得し、表示する。視線検出装置4は、例えば赤外線を撮像するカメラを備え、ユーザの目の動きに基づいて視線を検出する。制御装置2は、表示装置3上においてユーザが注視(又は固視)している部分である注視点を示す情報を視線検出装置4から取得し、注視点の位置に応じて、マルチコプター6を操作するための信号をコントローラ5に出力させる。

【0020】
<機能構成>
図2は、遠隔操作システムの一例を示す機能ブロック図である。図2の遠隔操作システム1は、上述した制御装置2と、表示装置3と、視線検出装置4と、コントローラ5と、マルチコプター6とを含む。

【0021】
制御装置2は、一般的なコンピュータであり、例えばPC(Personal Computer)、ス
マートフォン、タブレット等である。また、制御装置2は、通信インターフェース(I/F)21と、記憶装置22と、入出力装置23と、プロセッサ24とを備え、これらがバス25を介して接続されている。通信I/F21は、Wi-Fi(登録商標)やBluetooth(登録商標)、その他のRF(Radio Frequency)信号を用いて通信を行うた
めの無線モジュールや、有線のネットワークカード、パラレルポート、シリアルポート等であり、他の装置と所定のプロトコルに基づいて通信を行う。記憶装置22は、RAM(Random Access Memory)やROM(Read Only Memory)等の主記憶装置及びHDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置(二次記憶装置)である。主記憶装置は、プロセッサ24が読み出したプログラムを一時的に記憶したり、プロセッサ24の作業領域を確保したりする。補助記憶装置は、プロセッサ24が実行するプログラム等を記憶する。入出力装置23は、例えばキーボードやマウス、タッチパネル等のユーザインターフェースである。なお、入出力装置23が、表示装置3を兼ねていてもよい。プロセッサ24は、CPU(Central Processing Unit)等の演
算処理装置であり、プログラムを実行することにより本実施の形態で説明する各処理を行う。また、図2の例では、プロセッサ24内に機能ブロックを示している。具体的には、プロセッサ24は、操作検出部241と、信号出力制御部242とを含む。操作検出部241は、通信I/F21を介して視線検出装置4からユーザの視線の動きに関する情報を取得し、注視点の位置に応じてユーザによる操作の指示を検出する。信号出力制御部242は、注視点の位置に応じた操作の指示に基づいて、マルチコプター6を操作するための信号の出力を指示するための情報を、入出力装置23を介してコントローラ5へ送信する。

【0022】
表示装置3は、コンピュータ等が出力する画像(静止画又は動画)の映像信号を取得し表示する映像表示装置である。図2においては、表示装置3内にも機能ブロックを示している。表示装置3は、通信I/F31と、表示部32とを含む。通信I/F31は、HDMI(High-Definition Multimedia Interface,登録商標)端子、DVI(Digital Visual Interface)端子、VGA端子、無線通信モジュール等の、映像信号の入力を受けるためのインターフェースである。表示部32は、液晶ディスプレイ(LCD:Liquid Crystal Display)や、プラズマディスプレイ(PDP:Plasma Display Panel)、有機ELディスプレイ、ブラウン管(CRT:Cathode Ray Tube)等である。

【0023】
視線検出装置4は、ユーザの視線の動きを検出し、注視点を特定する装置である。図2においては、視線検出装置4内にも機能ブロックを示している。視線検出装置4は、通信I/F41と、赤外線送受信部42と、視線検出部43とを備える。通信I/F41は、USB(Universal Serial Bus)等のインターフェースであり、制御装置2に対し注視点の情報を出力する。赤外線送受信部42は、視線検出装置4と対向するユーザに対し赤外線を照射すると共に、反射光を撮像する。視線検出部43は、ユーザの画像から目における瞳孔の位置に基づいて視線の向きを検出すると共に、表示装置上における注視点の位置を算出する。

【0024】
コントローラ5は、マルチコプター6を遠隔操作するための無線信号を送信する送信機である。図2においては、コントローラ5内にも機能ブロックを示している。コントローラ5は、操作入力部51と、通信I/F52とを備える。操作入力部51は、例えばマルチコプター6に対して指示する、前進、後退、上昇、下降、左右への水平移動、左右への水平回転といった動作の種類、及び動作速度の入力を、制御装置2から受けるためのインターフェースである。なお、水平移動は、マルチコプター6が向いている方向を変えず、当該方向を基準としてマルチコプター6を左右に移動させる動作である。また、水平回転は、マルチコプター6の位置を変えず、鉛直方向の回転軸を中心にマルチコプター6が向いている方向を変更する動作である。すなわち、マルチコプター6は、上面視における左
方向又は右方向に、その場で水平に回転する。本実施形態では、これらの動作の種類が一部に制限されていてもよく、速度は一定としてもよい。また、通信I/F52は、例えばアンテナを含み、マルチコプター6に対し、所定の動作を指示するための無線信号を送信したり、マルチコプター6が撮像する映像を制御装置2へ中継したりする。

【0025】
マルチコプター6は、複数の回転翼を有する回転翼機である。図2においては、マルチコプター6内にも機能ブロックを示している。マルチコプター6は、通信I/F61と、ロータ62と、センサ63と、撮像装置64と、制御部65とを備える。通信I/F61は、コントローラ5からの無線信号を受信する通信モジュールや、撮像装置64が出力する画像データを制御装置2等に送信する通信モジュールを含む。ロータ62は、サーボモータにより制御される回転翼であり、複数備えられる。センサ63は、ジャイロセンサや、GPS(Global Positioning System)受信機等であり、マルチコプター6の制御を支
援するための情報を取得する。撮像装置64は、例えばデジタルビデオカメラであり、撮像素子によって可視光を画像データに変換し、継続的に出力する。制御部65は、通信I/F61を介してコントローラ5から飛行動作等の指示を示す信号を受け、ロータ62の回転を制御する。このとき、センサ63が出力する情報を用いて飛行を安定させるようにしてもよい。

【0026】
<遠隔操作処理>
図3は、遠隔操作システムが行う前処理の一例を示す処理フロー図である。本システムは、起動時に図3に示すような処理を行う。各装置が起動すると、例えば視線検出装置のキャリブレーションが行われる(図3:S1)。本ステップでは、ユーザの視線を適切に検出できるよう較正される。また、マルチコプター6とコントローラ5とは、所定の無線通信方式による接続を確立する(S2)。また、視線検出装置4と制御装置2とは、所定の無線又は有線による通信方式で接続を確立する(S3)。また、コントローラ5と制御装置2との間でも、所定の無線又は有線による通信方式で接続を確立する(S4)。なお、S1~S4の処理を行う順序はいずれであってもよく、並列に実行するようにしてもよい。

【0027】
図4は、マルチコプターが行う処理の一例を示す処理フロー図である。マルチコプター6の撮像装置64は、マルチコプター6の前方の映像を撮像する(図4:S11)。その後、マルチコプター6は、通信I/F61を介して映像をコントローラ5に送信する(S12)。また、マルチコプター6は、通信I/F61を介してコントローラ5から操作信号を受信する(S13)。そして、マルチコプター6の制御部65が、操作信号に応じてロータ62の回転を制御することにより、マルチコプター6は、前進、上昇、下降、左右の水平回転、ホバリング等の動作を行う。また、マルチコプター6の制御部65は、動作を継続するか判断する(S15)。本ステップでは、例えばユーザから動作終了の指令を受けた場合、バッテリー残量が所定の基準よりも低下したことを検知した場合、コントローラからの制御信号が所定時間以上受信できない場合、強風や機体の損傷を検知した場合、機体の異常な傾きを検知した場合、例えば障害物センサが全方位に障害物を検知し、機体の進路がないと判断された場合等に、動作を終了すると判断する。動作を終了する場合は、その場で又はコントローラ5の近傍に戻り、着陸後に動作を停止するようにしてもよい。動作を継続する場合(S15:YES)は、S11に戻って処理を繰り返す。一方、動作を継続しない場合(S15:NO)は、処理を終了する。

【0028】
図5は、コントローラが行う処理の一例を示す処理フロー図である。コントローラ5は、通信I/F52を介してマルチコプター6から映像信号を受信する(図5:S21)。その後、コントローラ5は、通信I/F52を介して表示装置3に映像信号を送信する(S22)。すなわち、コントローラ5は、マルチコプター6と表示装置3との間で、映像信号を中継する。また、コントローラ5の操作入力部51は、制御装置2の信号出力制御
部242から、マルチコプター6の操作を指示するためのデータを受信する(S23)。そして、コントローラ5は、通信I/F52を介してマルチコプター6へ操作を指示する信号を送信する(S24)。また、コントローラ5は、動作を継続するか判断する(S26)。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合(S25:YES)は、S21に戻って処理を繰り返す。一方、動作を継続しない場合(S25:NO)は、処理を終了する。

【0029】
図6は、表示装置が行う処理の一例を示す処理フロー図である。表示装置3は、通信I/F31を介してコントローラ5から映像信号を受信する(図6:S31)。その後、表示装置3の表示部32は、映像を表示する(S32)。また、表示部32は、動作を継続するか判断する(S33)。例えば、ユーザから動作終了の指令を受けた場合、所定時間以上、映像信号を受信しない場合等に、動作を終了すると判断する。動作を継続する場合(S33:YES)は、S31に戻って処理を繰り返す。一方、動作を継続しない場合(S33:NO)は、処理を終了する。

【0030】
図7は、視線検出装置が行う処理の一例を示す処理フロー図である。視線検出装置4が表示装置3に設置された状態において、赤外線送受信部42は、表示装置3の前方に赤外線を送信すると共にその反射光を受信する(図7:S41)。その後、視線検出装置4の視線検出部43は、反射光からユーザの視線を検出できたか判断する(S42)。本ステップでは、視線検出装置4の視線検出部43は、例えばユーザの画像から目における瞳孔の位置を特定し、特定できた場合は視線を検出できたと判断する。視線を検出できた場合(S42:YES)は、視線検出部43は、例えば瞳孔の位置に基づいて注視点を算出する(S43)。本ステップでは、既存の視線検出技術を利用することができ、例えば目頭や角膜における赤外線の反射光等、何らかの基準に対する瞳孔の位置に基づいて、視線の向いている位置を算出する。注視点は、例えば、表示装置3上又は表示装置3に表示される画像上における座標として求めるものとする。また、視線検出部43は、通信I/F41を介して、注視点の位置を示す情報(注視点データ)を制御装置2へ送信する(S44)。S44の後、又はS42において視線を検出できなかった場合(S42:NO)、視線検出装置4は、動作を継続するか判断する(S45)。本ステップでは、例えばユーザから動作終了の指令を受けた場合等に、動作を終了すると判断する。動作を継続する場合(S45:YES)、S41に戻って処理を繰り返す。一方、動作を継続しない場合(S45:NO)は、処理を終了する。

【0031】
図8は、制御装置が行う処理の一例を示す処理フロー図である。制御装置2の操作検出部241は、表示装置3の表示部32上又は表示部32に表示される画像上におけるユーザの注視点の位置を示す情報を、視線検出装置4から取得する(図8:S51)。また、操作検出部241は、取得した注視点の位置を示す情報が、表示装置3の表示部32上における所定の範囲内に含まれるか判断する(S52)。本実施形態では、表示部32上における注視点の位置に応じて、マルチコプター6に対し飛行動作を指示する。すなわち、表示部32上(換言すれば、マルチコプター6の一人称視点画像上)に、ユーザが注視することでマルチコプター6を操作するための操作領域が設けられている。

【0032】
図9は、表示装置上に設定される操作領域の割り当ての一例を示す図である。図9の例では、表示装置3の表示部32上に、マルチコプター6に対し、直進、上昇、下降、左方向への水平回転、及び右方向への水平回転の各動作を指示するための操作領域が割り当てられている。表示部32のほぼ中央に配置された円形の領域321は、マルチコプター6をその場で静止(「ホバリング」又は「待機」とも呼ぶ)させるための待機領域(ニュートラル領域とも呼ぶ)である。待機領域321の内部であって、待機領域321の中央から所定の距離だけ離間した位置に配置された円形の領域322は、マルチコプター6に対して前進を指示するための前進領域322である。図9の例では、前進領域322は、待
機領域321の中央よりも下方に設けられている。また、待機領域321の外側であって、待機領域321の左側に配置された領域323は、マルチコプター6に対して左方向への水平回転を指示するための左回転領域である。図9の例では、正円である待機領域321の左側に接する接線を境界として、当該接線の左側に左回転領域323が設けられている。また、待機領域321の外側であって、待機領域321の右側に配置された領域324は、マルチコプター6に対して右方向への水平回転を指示するための右回転領域である。図9の例では、待機領域321の右側に接する接線を境界として、当該接線の右側に右回転領域324が設けられている。また、待機領域321の外側であって、待機領域321の上方に配置された領域325は、マルチコプター6対して上昇を指示するための上昇領域である。図9の例では、待機領域321と、待機領域321の左側に接する接線と、待機領域321の右側に接する接線と、表示部32の上部の縁とで囲まれるように、上昇領域325が設けられている。また、待機領域321の外側であって、待機領域321の下方に配置された領域326は、マルチコプター6対して下降を指示するための下降領域である。図9の例では、待機領域321と、待機領域321の左側に接する接線と、待機領域321の右側に接する接線と、表示部32の下部の縁とで囲まれるように、下降領域326が設けられている。なお、操作領域の境界は、例えば制御装置2が表示装置3に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置3の表示部32に重ねて貼付してもよい。

【0033】
したがって、図8のS51において取得したユーザの注視点が、前進領域322、左回転領域323、右回転領域324、上昇領域325、若しくは下降領域326、又は待機領域321に含まれる場合、S52において、操作検出部241は、ユーザの注視点が所定の範囲内に存在すると判断する。なお、注視点が表示部32の外である場合は、S52において注視点が所定の範囲内に存在しないと判断される。このとき、マルチコプター6が飛行している状態であれば、その場でホバリングさせる、コントローラ5の近傍まで戻って着陸及び待機させる、又はその場で着陸及び待機させるよう、例えばマルチコプター6の制御部65が自律的に制御するようにしてもよい。

【0034】
ユーザの注視点が所定の範囲内に存在すると判断された場合(S52:YES)、制御装置2の信号出力制御部242は、注視点の位置に応じて、コントローラ5に対し制御信号の送信を指示するための操作信号を生成する(S53)。また、信号出力制御部242は、生成した操作信号をコントローラ5に対し出力する(S54)。すなわち、ユーザの注視点が前進領域322内に存在する場合、信号出力制御部242は、通信I/F21を介してコントローラ5に、マルチコプター6を前進させるための信号を送信させる。また、ユーザの注視点が左回転領域323内に存在する場合、信号出力制御部242は、通信I/F21を介してコントローラ5に、マルチコプター6を左方向へ水平回転させるための信号を送信させる。また、ユーザの注視点が右回転領域324内に存在する場合、信号出力制御部242は、通信I/F21を介してコントローラ5に、マルチコプター6を右方向へ水平回転させるための信号を送信させる。また、ユーザの注視点が上昇領域325内に存在する場合、信号出力制御部242は、通信I/F21を介してコントローラ5に、マルチコプター6を鉛直上方へ移動させるための信号を送信させる。また、ユーザの注視点が下降領域326内に存在する場合、信号出力制御部242は、通信I/F21を介してコントローラ5に、マルチコプター6を鉛直下方へ移動させるための信号を送信させる。

【0035】
S54の後、又はS52においてユーザの注視点が所定の範囲内に存在しないと判断された場合(S52:NO)、制御装置2は、動作を継続するか判断する(S55)。本ステップでは、例えばユーザから動作終了の指令を受けた場合に、動作を終了すると判断する。なお、表示部32の操作領域に動作の終了を指示するための領域をさらに設け、ユーザが当該領域を所定時間以上見ることで動作を終了すると判断してもよい。また、制御装
置2が動作を終了する前に、マルチコプター6を着陸させるものとする。動作を継続する場合(S55:YES)、S51に戻って処理を繰り返す。一方、動作を継続しない場合(S55:NO)は、処理を終了する。

【0036】
以上のような遠隔操作処理によれば、ユーザは、例えば、表示部32に表示されるマルチコプター6の一人称視点画像の中央付近(すなわち、待機領域321の中央付近)に視線の先を定めることで、マルチコプター6を静止させ、一人称視点画像の全体を認識することができる。すなわち、ユーザは表示部32の中央付近を注視した状態において、表示部32の全体を視野に収め得るようになっている。また、一人称視点画像の端又は外にユーザの興味の対象が存在する場合、ユーザは興味の対象が存在する方向に視線の先を移すことにより、興味の対象が存在する方向にマルチコプター6の向き及び位置を変えるよう遠隔操作することができる。

【0037】
図10~図12は、マルチコプターの操作を説明するための、マルチコプターの一人称視点画像の一例を示す図である。例えば、図10に示すように、表示部32に表示された一人称視点画像の右上に、ユーザがマルチコプター6を近づけたいと考える目標7が存在する場合、ユーザは表示部32の右上に位置する目標7を注視する。このとき、操作検出部241は、右回転領域324内に注視点を検出する。その後、信号出力制御部242は、コントローラ5を介して、マルチコプター6へ右側への水平回転を指示する信号を出力する。マルチコプター6が右側へ水平回転すると、例えば図11に示すように、上述した目標7は表示部32に表示される一人称視点画像において左に移動する。そして、目標7が上昇領域325に移動すると、これに応じてユーザの注視点も例えば上昇領域325内に移動する。すると、操作検出部241は、上昇領域325内に注視点を検出する。その後、信号出力制御部242は、コントローラ5を介して、マルチコプター6へ上昇を指示する信号を出力する。そして、マルチコプター6が鉛直上方へ移動すると、例えば図12に示すように、上述した目標7は表示部32に表示される一人称視点画像において下方に移動する。目標7が待機領域321に移動すると、これに応じてユーザの注視点も例えば待機領域321内に移動する。すると、操作検出部241は、待機領域321内にユーザの注視点を検出する。この場合は、信号出力制御部242はマルチコプター6に動作を指示せず、その場でホバリングさせる。また、ユーザは、マルチコプター6を目標7に近づけたい場合は、前進領域322を注視することで、操作検出部241に注視点を検出させ、信号出力制御部242にコントローラ5へ前進を指示するための信号を出力させることができる。

【0038】
以上のように、本実施形態に係る操作領域の配置、及び各領域に対するマルチコプター6への動作指示との対応付けによれば、ユーザは直感的にマルチコプター6を遠隔操作することができる。また、水平方向の移動のうち前進のみに限定することで、マルチコプター6の一人称画像からユーザが危険を認識し難い後退及び左右の平行移動を制限し、事故の発生を抑えることができる。

【0039】
<操作領域>
図13及び図14は、表示装置上に設定される操作領域の位置及び大きさを説明するための図である。本実施形態においては、人間の視野及び眼球運動に基づいて操作領域を設定している。図13は、ユーザの視点(眼球)と、表示部32上の注視点との関係を示している。一般的に、物体の形状等を高い解像力で人間が識別するためには、視角が1~2度程度の網膜中心部位に網膜像を映じるような中心視による必要がある。本実施形態では、操作領域(例えば前進領域322)の大きさを、少なくとも中心視によって捉えられる範囲程度の大きさとする。

【0040】
また、人間が中心視で対象物を捉え続ける(固視する)場合、マイクロサッケード(固
視微動)という眼球運動が生じる。マイクロサッケードは、視線の振幅が1~2度程度の非随意的に生じる運動である。また、ばらつきはあるが、平均速度は10度/秒程度、頻度は1~3Hz程度である。視線検出装置4が、マイクロサッケードによる視線の変化を検出できるような場合、操作領域の配置又は大きさによっては、マイクロサッケードの影響でユーザは意識せずに誤操作を起こすおそれがある。そこで、本実施形態では、マイクロサッケードによってもユーザが注視している領域を外れないような配置及び大きさで、操作領域を設定する。

【0041】
図13に示す円形の前進領域322の半径rは、眼球から注視点までの距離をl、眼球及び注視点を結ぶ直線と、眼球及び表示部32に表示される画像上における中心視可能な範囲の端を結ぶ直線とのなす角をθとすると、以下の式(1)で求められる。すなわち、rは、中心視可能な範囲の半径である。また、θは、マイクロサッケードにより視線が動く角度でもある。
r=ltanθ ・・・(1)
例えば、lは550mmとし、θを2度とすると、rは19.2mmである。

【0042】
また、図14は、図9に示した操作領域と、上述した半径rとの関係を示す図である。前進領域322は、待機領域321の中央から所定の距離以上離間して配置されている。例えば、ユーザが待機領域321の中央に注視点を固定した場合に、検出される注視点がマイクロサッケードの影響により前進領域322内に入らないように、前進領域322は、待機領域321の中央に対し半径rの円内に入らないように配置する。すなわち、前進領域322は、待機領域321の中央を中心として中心視可能な範囲の外に設けられる。したがって、待機領域321の中心と前進領域322の中心との距離は、2r以上離間させる。換言すれば、待機領域321の中心と前進領域322との距離は、r以上である。図14の例では、待機領域321の中心と前進領域322の中心との距離を3rとしている。また、前進領域322と下降領域326との距離も、例えばマイクロサッケードの影響により相互に境界を超えて注視点の移動が検出されないよう、待機領域321を挟んで長さr以上、離間させている。

【0043】
以上のような操作領域の配置であれば、マイクロサッケードの影響による無意識的な誤操作(換言すれば、視線検出装置4による誤検出)を抑制することができる。

【0044】
<実施例>
ユーザと表示装置3の表示部32との距離lを550mm、前進領域322の半径rを19.2mm、待機領域321の半径5rを96.0mmとして、上述の実施の形態に示す操作領域を設定した。また、被験者は、20歳代の成人12名であり、本システムを初めて使用する者である。本システムを用いて被験者にマルチコプターを遠隔操作させた結果、12名中、1名は、1回目の飛行でマルチコプターを墜落させたが、2回目の飛行では墜落させることなく所定の区間を飛行させることができた。また、他の11名はマルチコプターを墜落させることなく所定の区間を飛行させることができた。

【0045】
<操作領域の変形例>
図15は、操作領域の配置の変形例を示す図である。本変形例においては、待機領域321及び前進領域322の形状を楕円とする。この形状は、両眼視における人間の視野に近づけたものであり、表示装置3の表示部32の横方向に長軸をとり、縦方向に短軸をとっている。また、単軸と長軸との比率も例えば視野に合わせる等して適宜決定することができる。

【0046】
本変形例においても、マイクロサッケードの影響により、操作領域の境界を超えて注視点の移動が検出されないように操作領域の位置、大きさ及び形状を設定することが望まし
い。例えば、前進領域322の短軸の長さrは、上述した中心視可能な範囲の半径又はマイクロサッケードによる視線の振幅であるθと、眼球から注視点までの距離lを用いて求められる値としてもよい。ただし、このように大きさを定める場合、表示部32の大きさによっては操作領域をバランスよく配置できないこともある。そこで、待機領域321の中心と前進領域322の中心との距離を3rでなく2rとしてもよいし、特に前進領域322の下端から待機領域の下端までの距離をr以下にしてもよい。また、このように定められる待機領域321及び前進領域322全体を縮小するようにしてもよい。

【0047】
このような変形例に係る操作領域によっても、マイクロサッケードの影響による無意識的な誤操作を抑制することができる。

【0048】
<その他>
本システムにより遠隔操作される制御対象の移動物体は、マルチコプターには限定されない。例えば、ドローン(無人航空機)、ヘリコプター、飛行船、多脚ロボット、又は車輪若しくはクローラ等で走行するロボット等を制御対象としてもよい。制御対象が地上を移動する装置である場合は、上昇領域及び下降領域を設けなくてもよいし、上昇領域及び下降領域に代えて、他の動作を指示するための領域を割り当てるようにしてもよい。また、制御対象の装置は、無線で制御されるものには限定されず、有線で給電等されるものであってもよい。また、制御対象の装置は、ロボットハンド等のエンドエフェクタや、マイク、スピーカ、その他の装置をさらに備えるようにしてもよい。これらの装置についても視線で操作できるようにしてもよいし、コントローラを用いてユーザが手で操作できるようにしてもよい。また、装置等の物体の移動を制御するだけでなく、遠隔地にあるコンピュータや家電製品、工場の機械、医療機器等の操作に用いるようにしてもよい。なお、上述したシステムによれば遠隔操作を行うことができるため、無線操縦可能な装置の操作に好適であり、特に上昇及び下降が可能な無人飛行物体の操作に適している。

【0049】
また、操作領域の位置、大きさ、形状、分割数は、図9等に示した例には限定されない。待機領域321の上側に接する接線を境界として、当該接線の上側に上昇領域325を設け、待機領域321の下側に接する接線を境界として、当該接線の下側に下降領域326を設けるようにしてもよい。この場合は、例えば、待機領域321と、待機領域321の上側に接する接線と、待機領域321の下側に接する接線と、表示部32の左側の縁とで囲まれるように、左回転領域323を設け、待機領域321と、待機領域321の上側に接する接線と、待機領域321の下側に接する接線と、表示部32の右側の縁とで囲まれるように、右回転領域324を設ける。また、左回転領域323と上昇領域325との境界、上昇領域325と右回転領域324との境界、右回転領域324と下降領域326との境界、下降領域326と左回転領域323との境界は、それぞれ待機領域321の接線には限定されない。例えば、これらの境界を、表示部32の中央から外側へ放射状に引かれる線によって定めるようにしてもよい。

【0050】
待機領域321や前進領域322の形状は、真円又は楕円には限定されず、多角形等であってもよい。また、操作領域の分割数を増やし、離着陸や動作速度の変更、その他の動作を視線の動きによって制御できるようにしてもよい。また、実施形態又は変形例に示した操作領域において、例えば、左方向の水平回転、右方向の水平回転、上昇、下降については、各操作領域において表示部32の中心からの距離が離れるほど、又は表示部32の左右・上下の縁に近づくほど、動作速度を大きくしてもよい。

【0051】
また、表示装置3とユーザとの距離lも、上述した例には限定されない。また、表示装置3とユーザとの距離を既存の測距センサ等で測定し、距離の変化に応じて操作領域の大きさを変更してもよい。

【0052】
また、待機領域321の外側であって、待機領域321の右側に配置された領域324は、マルチコプター6に対して右方向への水平回転を指示するための右回転領域である。図9の例では、待機領域321の右側に接する接線を境界として、当該接線の右側に右回転領域324が設けられている。また、待機領域321の外側であって、待機領域321の上方に配置された領域325は、マルチコプター6対して上昇を指示するための上昇領域である。図9の例では、待機領域321と、待機領域321の左側に接する接線と、待機領域321の右側に接する接線と、表示部32の上部の縁とで囲まれるように、上昇領域325が設けられている。また、待機領域321の外側であって、待機領域321の下方に配置された領域326は、マルチコプター6対して下降を指示するための下降領域である。図9の例では、待機領域321と、待機領域321の左側に接する接線と、待機領域321の右側に接する接線と、表示部32の下部の縁とで囲まれるように、下降領域326が設けられている。なお、操作領域の境界は、例えば制御装置2が表示装置3に表示させる映像に重畳して出力するようにしてもよいし、操作領域の境界を透明なシートやパネル等に表示させたものを表示装置3の表示部32に重ねて貼付してもよい。

【0053】
図2に示した装置構成は一例であり、同様の処理部を複数の装置が分担して備えるようにしてもよい。例えばコントローラ5に代えて、制御装置2が撮像装置64の映像を中継してもよい。また、マルチコプター6の撮像装置64と連携して動作するFPV(First Person View)システムが、制御装置2とは別に設けられるようにしてもよい。また、制
御装置2、表示装置3、視線検出装置4及びコントローラ5の全部又は一部が、一体の装置であってもよい。

【0054】
また、視線検出装置4は、赤外線を利用してユーザの瞳孔の位置を検出するものには限定されない。例えば、可視光を撮像した画像を利用して光彩の位置を検出することにより、視線の向きを特定するものであってもよいし、所定の電位差を利用するユーザ接触型の方式であってもよい。

【0055】
なお、上述した構成は一例であり、本発明は例示した構成に限定されない。例えば、上述した事項は、本発明の課題や技術的思想を逸脱しない範囲で適宜組み合わせることができる。また、上述した処理のステップを、ソフトウェアによってコンピュータが実行する方法や、PLD(Programmable Logic Device)等のハードウェアによって装置が実行す
る方法、コンピュータに実行させるプログラムとして実現してもよい。プログラムは、コンピュータが読み取り可能な記録媒体に記録して提供するようにしてもよい。コンピュータが読み取り可能な記録媒体とは、情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータによって読み取ることができる記録媒体をいう。このような記録媒体のうち、コンピュータから取り外し可能なものとしては、例えば光ディスク、光磁気ディスク、フレキシブルディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としてHDD(Hard Disk Drive)、SSD(Solid
State Drive)、ROM(Read Only Memory)等が挙げられる。
【符号の説明】
【0056】
1 :遠隔操作システム
2 :制御装置
21 :通信I/F
22 :記憶装置
23 :入出力装置
24 :プロセッサ
241 :操作検出部
242 :信号出力制御部
25 :バス
3 :表示装置
31 :通信I/F
32 :表示部
321 :待機領域
322 :前進領域
323 :左回転領域
324 :右回転領域
325 :上昇領域
326 :下降領域
4 :視線検出装置
41 :通信I/F
42 :赤外線送受信部
43 :視線検出部
5 :コントローラ
51 :操作入力部
52 :通信I/F
6 :マルチコプター
61 :通信I/F
62 :ロータ
63 :センサ
64 :撮像装置
65 :制御部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14