TOP > 国内特許検索 > 対面インタラクション装置、これを用いた装着デバイス、及び対面促進方法 > 明細書

明細書 :対面インタラクション装置、これを用いた装着デバイス、及び対面促進方法

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成31年4月18日(2019.4.18)
発明の名称または考案の名称 対面インタラクション装置、これを用いた装着デバイス、及び対面促進方法
国際特許分類 G06F   3/01        (2006.01)
H04B  10/114       (2013.01)
G09B   5/06        (2006.01)
FI G06F 3/01 510
H04B 10/114
G09B 5/06
国際予備審査の請求
全頁数 25
出願番号 特願2018-525304 (P2018-525304)
国際出願番号 PCT/JP2017/024213
国際公開番号 WO2018/003986
国際出願日 平成29年6月30日(2017.6.30)
国際公開日 平成30年1月4日(2018.1.4)
優先権出願番号 2016131068
優先日 平成28年6月30日(2016.6.30)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】鈴木 健嗣
【氏名】利根 忠幸
【氏名】潘 雅冬
【氏名】廣川 暢一
【氏名】蜂須 拓
出願人 【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
個別代理人の代理人 【識別番号】100107766、【弁理士】、【氏名又は名称】伊東 忠重
審査請求 未請求
テーマコード 2C028
5E555
5K102
Fターム 2C028AA06
2C028BB04
2C028BB06
5E555AA64
5E555BA38
5E555BB38
5E555BC02
5E555BE08
5E555CA42
5E555CB62
5E555CB74
5E555CC01
5E555DA23
5E555DA27
5E555DD06
5E555DD08
5E555EA14
5E555FA00
5K102AA21
5K102AL23
5K102AL28
5K102MH03
5K102MH14
5K102MH22
5K102PB02
5K102PH31
5K102RD28
要約 注視の検出と対面インタラクションの促進を実現する装置を提供する。対面インタラクション装置は、第1のビーム広がり角で第1波長の赤外線信号を送信する第1赤外線送信部と、他の装置から前記第1波長の赤外線信号を受信する第1赤外線受信部と、対面の検出を知らせる通知手段と、受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、前記他の装置の識別情報と自装置の識別情報が含まれている場合に、前記通知手段をオンにする制御部とを有する。
特許請求の範囲 【請求項1】
第1のビーム広がり角で第1波長の赤外線信号を送信する第1赤外線送信部と、
他の装置から前記第1波長の赤外線信号を受信する第1赤外線受信部と、
対面の検出を知らせる通知手段と、
受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、前記他の装置の識別情報と自装置の識別情報が含まれている場合に、前記通知手段をオンにする制御部と、
を有する対面インタラクション装置。
【請求項2】
前記第1のビーム広がり角よりも広い第2のビーム広がり角で、前記第1波長と異なる第2波長の赤外線信号を送信する第2赤外線送信部と、
前記第2波長の赤外線信号を受信する第2赤外線受信部と、
対面方向を案内するガイド部と、
をさらに有し、
前記制御部は、前記第1波長の赤外線信号が受信されていないが、前記第2波長の赤外線信号が受信されている場合に、前記ガイド部の出力をオンにすることを特徴とする請求項1に記載の対面インタラクション装置。
【請求項3】
前記第1赤外線受信部は、前記第1波長に感度を有する赤外線受光器を有し、
前記第2赤外線受信部は、前記第1赤外線受信部の両側に配置され前記第2波長に感度を有する一対の赤外線受光器を有する、
ことを特徴とする請求項2に記載の対面インタラクション装置。
【請求項4】
前記第2波長の赤外線信号が受信された場合に受光方向を検出する検出部、
をさらに有し、
前記制御部は、前記受光方向に応じて前記ガイド部の出力を制御することを特徴とする請求項2または3に記載の対面インタラクション装置。
【請求項5】
他の装置から前記第1波長の赤外線信号を前記第1のビーム広がり角よりも広い受光角度で受信する第2赤外線受信部と、
対面方向を案内するガイド部と、
をさらに有し、
前記第1赤外線受信部は、前記第1波長の赤外線信号を前記第1のビーム広がり角と同じ受光角度で受信し、
前記制御部は、前記第1赤外線受信部で赤外線信号が受信されていないが、前記第2赤外線受信部で赤外線信号が受信されている場合に、前記ガイド部の出力をオンにすることを特徴とする請求項1に記載の対面インタラクション装置。
【請求項6】
前記制御部は、前記第1赤外線受信部で受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれている場合に対面状態を検出したと判断し、前記対面状態に関する情報を記録、管理することを特徴とする請求項1~5のいずれか1項に記載の対面インタラクション装置。
【請求項7】
前記通知手段は、可視光、音声、または可視レーザ光を出力することを特徴とする請求項1~6のいずれか1項に記載の対面インタラクション装置。
【請求項8】
請求項1~7のいずれか1項に記載の対面インタラクション装置と、
前記対面インタラクション装置を支持する装着具と、
を有する装着デバイス。
【請求項9】
前記装着具は、ヘアバンド型、ギャップ側、またはグラブ型の装着具であることを特徴とする請求項8に記載の装着デバイス。
【請求項10】
第1のビーム広がり角で第1波長の赤外線信号を送信し、
他の装置から前記第1波長の赤外線信号を受信し、
コンピュータにて、受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、
前記他の装置の識別情報と自装置の識別情報が含まれている場合に、出力手段をオンにして対面の成立を通知する、
ことを特徴とする対面促進方法。
【請求項11】
前記第1のビーム広がり角よりも広い第2のビーム広がり角で、前記第1波長と異なる第2波長の赤外線信号を送信し、
前記他の装置から前記第2波長の赤外線信号を受信し、
コンピュータにて前記第1波長または前記第2波長が受信されているか否かを判断し、
前記第1波長の赤外線信号が受信されていないが、前記第2波長の赤外線信号が受信されている場合に、前記出力手段をオンにして、対面の方向を案内する、
ことを特徴とする請求項10に記載の対面促進方法。
【請求項12】
他の装置から、前記第1のビーム広がり角と同じ受光角度で前記第1波長の赤外線信号を受信する第1赤外線受信部と、前記他の装置から、前記第1のビーム広がり角よりも広い受光角度で前記第1波長の赤外線信号を受信する第2赤外線受信部とを設け、
コンピュータにて、前記第1赤外線受信部または前記第2赤外線受信部で前記赤外線信号が受信されているか否かを判断し、
前記第1赤外線受信部で前記赤外線信号が受信されていないが、前記第2赤外線受信部で前記赤外線信号が受信されている場合に、前記出力手段をオンにして、対面の方向を案内する、
ことを特徴とする請求項10に記載の対面促進方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、対面インタラクション装置とこれを用いた装着デバイス、及び対面促進方法に関する。
【背景技術】
【0002】
対面インタラクションは人間の社会行動の基本的な行為である。対面インタラクションは、言葉によるバーバルコミュニケーションだけでなく、動作、表情、ジェスチュアなどによるコミュニケーションも含む。他者と対面し交流することで、自分の体験を他者と共有したり、他人の立場を考えることができる。
【0003】
一般に、自閉症などの発達障害を有する者は、正面から相手と対面することが困難であると言われている。発達障害児の指導やグループセラピーで、相手とのインタラクションを促進することで、コミュニケーション能力や社会性の改善が試みられている。
【0004】
画像データから顔の向きを判別する技術(たとえば、特許文献1参照)や、画像データに含まれる顔正面の情報に基づいて注視者を判別する手法(たとえば、特許文献2参照)が提案されている。
【0005】
また、赤外線通信等の通信手段を備えたロボット装置同士が向き合った際に、互いに情報を交換したりあいさつ等の所定の動作を行うロボット装置が知られている(たとえば、特許文献3参照。さらに、赤外線通信手段とレーザ発光器を有するモジュールを3個以上用いて閉空間を形成する幾何学図形を描写するモジュールが提案されている(たとえば、特許文献4参照)。
【0006】
他方、対面していると認識し得る注視の角度を実験的に求めた研究がなされている(非特許文献1参照)。
【先行技術文献】
【0007】

【特許文献1】特開2015-106252号公報
【特許文献2】特開2012-248141号公報
【特許文献3】特開2001-212782号公報
【特許文献4】特開2011-164034号公報
【0008】

【非特許文献1】”Measuring K-degree Facial Interaction between Robot and Children with Autism Spectrum Disorders”, Yadon Pan, Masakazu Hirokawa and Kenji Suzuki, Proceedings of the 24th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pp. 48-53, 2015
【発明の概要】
【発明が解決しようとする課題】
【0009】
カメラから得られた画像を利用して顔認識を行う手法は、画像処理の時間が必要でありデータの取得頻度が低下する。コミュニケーション時には、瞬間的な顔の動きや注意の逸れが生じるため、画像データ取得頻度が低下すると、注視情報を十分に取得することができない。また、顔の向きと視線は必ずしも一致しないことから、対面しているか否かを即座に判断することは難しい。
【0010】
さらに、対面しているか否かを判断するだけではなく、相手と顔を見合わせる動作や、対面での相互インタラクションを促進できる装置が望まれる。
【0011】
そこで、本発明は、簡便な注視の検出と対面インタラクションの促進を実現する装置を提供することを課題とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本発明の第1の態様において、対面インタラクション装置は、
第1のビーム広がり角で第1波長の赤外線信号を送信する第1赤外線送信部と、
他の装置から前記第1波長の赤外線信号を受信する第1赤外線受信部と、
対面の検出を知らせる通知手段と、
受信された赤外線信号に、前記他の装置の識別情報と自装置の識別情報とが含まれているか否かを判断し、前記他の装置の識別情報と自装置の識別情報が含まれている場合に、前記通知手段をオンにする制御部と、
を有する。
【発明の効果】
【0013】
上記構成により、簡便に注視を検出して対面インタラクションを促進することが可能になる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態の基本概念を説明する図である。
【図2】実施形態の対面インタラクション装置を適用した装着具の例を示す図である。
【図3】第1実施形態の対面インタラクション装置の機能構成図である。
【図4】実施形態の対面インタラクション装置のハードウェア構成図である。
【図5】注視または対面の認識と、赤外線発光器のビーム広がり角の関係を説明する図である。
【図6】注視または対面の認識と、赤外線発光器のビーム広がり角の関係を説明する図である。
【図7】注視または対面の認識と、赤外線発光器のビーム広がり角の関係を説明する図である。
【図8】第1実施形態の対面インタラクション装置間で行われる処理のシーケンス図である。
【図9】第1実施形態の対面インタラクション装置の制御フローの例を示す図である。
【図10】対面インタラクションにおけるセッション記録情報の一例を示す図である。
【図11】第2実施形態の対面インタラクション装置を適用した装着具を示す図である。
【図12】第2実施形態の対面インタラクション装置の機能ブロック図である。
【図13】第2実施形態の対面インタラクション装置の制御フローの例を示す図である。
【図14】実施形態の対面インタラクション装置の他の適用例を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について、添付図面を参照して説明する。
<概要>
図1は、本発明の実施形態の基本概念を説明する図である。実施形態では、カメラを使用せずに、赤外線により対面または相手からの顔への注視を検出する。対面または注視の検出結果に基づいて、対面あるいは他者への注視を促進、継続させる構成を提供する。より具体的には、所定の指向性を有する赤外線通信手段(図1において「IR」と表記)を身体の一部、たとえば額の中央や、頭部前面の中央などに装着する。相手から受信する赤外線信号中に、相手側装置の識別情報とともに自装置の識別情報が含まれている場合に、相手からの顔への注視が検出されたと判断し、注視の検出を外部的に通知する。注視の検出の詳細については後述する。

【0016】
図2は、実施形態の対面インタラクション装置10を適用した装着具の例を示す。図2(A)はヘアバンド型の装着デバイス5、図2(B)はキャップ型の装着デバイス6の概略図である。装着デバイス5及び6では、額または頭部前面の中央に相当する位置に、対面インタラクション装置10が取り付けられている。

【0017】
対面インタラクション装置10は、その構成要素の一部に、赤外線発光器111と、赤外線受光器121と、可視光LED(Light Emitting Diode;発光ダイオード)131を有する。赤外線発光器111は、たとえば、所定の波長の赤外光を所定のビーム広がり角で照射する赤外線LEDである。赤外線発光器111の出力の向きは、装着デバイス5または6を装着する装着者の顔の向きにしたがって変化する。

【0018】
赤外線受光器121は、たとえば赤外線発光器111と同じ波長の光に感度を有する受光素子(フォトダイオード)である。赤外線受光器121は、同じ対面インタラクション装置10に設置されている赤外線発光器111からの光を受光しないように配置され、他の対面インタラクション装置からの赤外光だけを受光する。装着者の顔の向きに応じて、赤外線受光器121の受光範囲が変化する。第三者が装着する他の対面インタラクション装置の指向性の範囲内に赤外線受光器121があるときに、赤外線受光器121は、当該他の対面インタラクション装置から赤外光を受信する。

【0019】
可視光LED131は、たとえばグリーンLEDであり、対面インタラクション装置10で装着者の顔への注視が検出されたときに点灯する。注視が検出されたときとは、他の対面インタラクション装置の指向性の範囲内に、着目している対面インタラクション装置の赤外線受光器121が存在し、2つの対面インタラクション装置間で赤外線通信が成立するときをいう。赤外線通信の範囲は、たとえば2.5メートルとする。

【0020】
可視光LED131は、顔への注視の検出を外部的に通知する一手段なので、可視光LED131に替えて、あるいは可視光LED131とともに、所定のメロディや音声を出力するスピーカを用いてもよい。可視光LED131やスピーカから出力される光や音声は、注視の検出を相手方に通知するだけではなく、注視者の注意を惹きつけ、注視あるいは対面状態を継続させる役割を果たす。
<第1実施形態>
図3は、第1実施形態の対面インタラクション装置10の機能構成図、図4は対面インタラクション装置10のハードウェア構成図である。図3では、一対の対面インタラクション装置10Aと10Bを示している。対面インタラクション装置10Aと10Bは同じ構成であるため、いずれか一方に着目して説明する。

【0021】
図3において、対面インタラクション装置10Aは、赤外線(IR:infrared)送信部11と、赤外線(IR)受信部12と、注視通知部13と、無線通信部14と、制御部15を有する。制御部15は、注視判断部16と、対面情報管理部17を有する。

【0022】
赤外線送信部11は、自装置の識別情報を含む赤外線信号を所定の指向性で送信する。識別情報は、たとえば対面インタラクション装置10Aに固有のアドレスコードである。赤外線受信部12は、他の対面インタラクション装置10Bからの赤外線信号を受信し、受信した赤外線信号に含まれる情報を取り出して制御部15へ供給する。

【0023】
制御部15の注視判断部16は、赤外線受信部12から供給される情報に、赤外線信号の送信元の対面インタラクション装置10Bの識別情報とともに、自装置の識別情報が含まれているか否かを判断する。自装置の識別情報が含まれている場合は、制御部15は注視通知部13に出力指示を送る。注視通知部13は、制御部15からの出力指示に従って可視光、メロディ、音声メッセージなどを出力する。

【0024】
制御部15はまた、赤外線受信部12が他の対面インタラクション装置10Bから赤外線信号を受信したときに、対面インタラクション装置10Bの識別情報を検出し、自装置の識別情報と対面インタラクション装置10Bの識別情報とを含む送信信号を生成する。制御部15は、生成した送信信号の送信指示を赤外線送信部11に供給する。

【0025】
制御部15の対面情報管理部17は、赤外線送信部11と赤外線受信部12による送受信に基づいて、注視者(対面相手)、注視者の数、注視時間、注視の開始タイミング、注視頻度などの情報を記録し、管理する。

【0026】
無線通信部14は、一定時間ごとに、または任意のタイミングで、対面インタラクション装置10Aが取得した情報を、サーバまたはPCに送信する。対面インタラクション装置10Bも、同様に取得した情報をサーバまたはPCに送信する。各インタラクション装置10からの情報をサーバまたはPCに集約することで、3人以上の装着者間での対面または注視の状態を分析し、たとえば発達障害の治療やセラピーに反映することができる。もっとも、サーバまたはPCは本発明にとって必須ではなく、複数の対面インタラクション装置10間で取得した対面情報を交換して、分析等を行ってもよい。

【0027】
図4は、対面インタラクション装置10のハードウェア構成図である。対面インタラクション装置10は、赤外線発光器111、赤外線受光器121、可視LED131、スピーカ132、無線通信モジュール140、及びマイクロコントローラ150を含む。赤外線発光器111と赤外線受光器121は、図2を参照して説明した赤外線発光器111および赤外線受光器121と同様のものである。

【0028】
マイクロコントローラ150は、赤外線通信インタフェース152と、入出力インタフェース153と、CPU(Central Processing Unit;中央演算装置)154と、メモリ155と、記憶装置156を有し、これらの電子部品がバス151を介して相互接続されている。

【0029】
赤外線通信インタフェース152は、所定の通信速度(たとえば50Hz)と変調方式の赤外信号を生成し、また、受信した赤外線信号を所定の信号レベルに変換する。赤外線受光器121で受信された信号に含まれる情報は、赤外線通信インタフェース152を介してマイクロコントローラ150に入力され、処理される。マイクロコントローラ150で生成または処理された情報は、赤外線通信インタフェース152を介して、赤外線発光器111の入力に接続される。

【0030】
赤外線通信インタフェース152と赤外線発光器111で、図3の赤外線送信部11の機能が実現される。赤外線通信インタフェース152と赤外線受光器121で、図3の赤外線受信部12の機能が実現される。

【0031】
メモリ155は、図示しないROM(Read Only Memory)やRAM(Random Access Memory)を含む。記憶装置156は、たとえばSSD(Solid State Drive;固体ドライブ)であり、対面インタラクション装置10の基本動作を実現するアプリケーションプログラムを格納する。CPU154は、必要に応じて記憶装置156やメモリ155に記憶されたプログラムやデータを読み出して実行し、対面インタラクション装置10の動作全体を制御する。CPU154、メモリ155、及び記憶装置156を含むマイクロコントローラ150は、図3の制御部15の機能を実現する。

【0032】
可視LED131とスピーカ132は、図2の注視通知部13の一例であり、入出力インタフェース153を介してマイクロコントローラ150に接続される。CPU154は可視LED131の点灯状態やスピーカ132の出力状態を制御する。送受信される赤外線信号に含まれる情報が所定の条件を満たすと判断された時に、CPU154は可視LED131を点灯させ、あるいはスピーカ132から音声、メロディ等を出力させる。

【0033】
無線通信モジュール140は、マイクロコントローラ150と相互接続され、外部のサーバまたはPCとの間で情報の送受信を行う。図4の構成では、対面インタラクション装置10と外部のサーバまたはPCは、Per-to-Peer(P2P)またはMachine-to-Machine(M2M)で接続されているが、図示しない小型無線基地局装置を介して接続されていてもよい。なお、上述したように、サーバまたはPCは本発明にとって必須ではない。近距離無線通信機能を有する無線通信モジュール140により複数の対面インタラクション装置10間で情報を交換し、マイクロコントローラ150で処理、解析することで、複数の装着者間での注視の状態を分析してもよい。

【0034】
図5~図7は、注視または対面の認識と、赤外線発光器111のビーム広がり角の関係を説明する図である。図5(A)に示すように、赤外線発光器111の指向性またはビーム広がりの半値角を、会話中の話者が自らの顔が注視されていると認識する範囲に設定する。ビーム広がりの半値角とは、光軸A上の照度を正規化して照度の最大を100%(または1)として、光軸から広がる方向に傾いたときに照度が50%となるときの角度をいう。本明細書および特許請求の範囲で、「ビーム広がり角」というときは、ビーム広がりの半値角を指すものとする。

【0035】
図5(B)に示すように、人の視線方向の中心から12°±2°及び-12°±2°の範囲にある領域は、会話中の話者が顔を注視されていると認識する範囲である。対面インタラクション装置10Aの赤外線受光器121が、他の対面インタラクション装置10Bの赤外線発光器111からの赤外光を、ビーム広がり角が12°±2°以内の範囲で受光できた場合は、相手から顔を注視されている、あるいは対面しているとみなすことができる。

【0036】
ビーム広がり角θに下限はなく、指向性が高いほど注視判断の正確性が高くなる。実施形態では、赤外線LEDの製造上の技術的限界とコストの観点、及び注視検出の余裕を持たせる観点から、赤外線発光器111は一例として9°以上、20°以下のビーム広がり角または指向性を有する。

【0037】
図6は、他者と対面するときの状態を示す。図6(A)は理想的な対面状態であり、顔と顔が真正面に向き合って、視線が相手の顔の中心に向けられている。もっとも、このような場合は稀である。通常は、図6(B)に示すように、顔の向きや視線が多少ずれても相手の顔はなおも視界の主要領域に入っており、対面していると認識することができる。赤外線発光器111のビーム広がり角θは、人が対面していると認識できる最大の傾き角度θに相当する。

【0038】
図7は、ビーム広がり角θの上限値の根拠を説明する図である。図7(A)のように円形マーク61と人の顔の写真62を壁に並べ、円形マーク61から1.2メートル離れた位置に被験者の頭部を固定する。1.2メートルというのは、一般に人が対面して会話等を行う距離である。

【0039】
図7(B)は、顔の向きを変えずに、どの範囲の写真62と自然な状態で対面していると認識できるかを被験者20人に対して調べた結果を示す。被験者の性別、年齢は様々である(男性12名、女性8名、年齢22~58歳)。

【0040】
垂直方向の角度に比べて水平方向の角度がやや広いが、垂直方向と水平方向に12°±2°以内の範囲であれば、対面していると認識されることがわかる。この結果から、実施形態では、赤外線発光器111のビーム広がり角θを、幅をもたせて20°以下に設定する。もっとも、対面インタラクション装置の装着者の年齢によっては、たとえばビーム広がり角θを15°以下、12°以下等に設定してもよい。

【0041】
さらに、確認実験として、対面インタラクション装置10Aを装着した被験者Aと、対面インタラクション装置10Bを装着した被験者Bの間で、赤外線送受信による可視LEDの点灯と、互いの対面状態の認識とが一致しているかどうかを調べた。公正さを担保するため、2名の被験者の間に、判定者を介在させた。20名の被験者に対して、「相手のLEDが光ったとき、相手と対面していると感じるか否か」という質問を提示し、回答を収集したところ、84%の整合率が得られている。

【0042】
なお、顔は対向しているが視線が±15°の領域外に向いている場合が無いわけではない。このような不自然な状態は、左右方向と上方向ではほとんど生じないが、目を伏せて下を見ている場合が起こり得る。実施形態では、対面インタラクション装置10にて注視または対面を定量的に判断する目的で、実際の視線の向きを除外して、赤外線通信が成立する範囲を注視または対面が成立する範囲として判断する。

【0043】
図8は、第1実施形態の対面インタラクション装置10Aと10Bの間のシーケンス図である。対面インタラクション装置10Aの電源がオンにされると、赤外線送信部11は自装置の識別情報(ID#1)を含む赤外線信号を所定のビーム広がり角で送信する(S11)。同様に、対面インタラクション装置10Bの電源がオンにされると、対面インタラクション装置10Bの赤外線送信部は、自装置の識別情報(ID#2)を含む赤外線信号を所定のビーム広がり角で送信する(S12)。赤外線信号は、たとえば数ミリ秒から数十ミリ秒の間隔で送信される。

【0044】
対面インタラクション装置10Bの赤外線受光器121が、対面インタラクション装置10Aの赤外線発光器111のビーム広がり角θの範囲内に位置するときに、対面インタラクション装置10Aから送信された赤外線信号は、対面インタラクション装置10Bで受信される(S13)。

【0045】
対面インタラクション装置10Bの制御部15は、受信した赤外線信号からID#1の識別情報を抽出し、抽出した識別情報ID#1と自装置の識別情報ID#2を含む赤外線信号を生成して(S14)、赤外線送信部11から送信する(S15)。S13での赤外線信号の受信にともなって、対面インタラクション装置10Bは、S14で受信信号中に自装置の識別情報ID#2が含まれているか否かを判断するが、対面が成立する直前の状態では、自装置の識別ID#2は含まれていない。

【0046】
対面インタラクション装置10Aの赤外線受光器121が、対面インタラクション装置10Bの赤外線発光器111のビーム広がり角θの範囲内に位置するときに、対面インタラクション装置10Bから送信された赤外線信号は、対面インタラクション装置10Aで受信される(S15)。

【0047】
対面インタラクション装置10Aは、受信した赤外線信号中に自装置の識別情報ID#1が含まれているか否かを判断する。この場合、識別情報ID#1が含まれているので(S16)、対面が成立していると判断して、可視LED131を点灯する(S17)。これとともに、赤外線信号に含まれる送信元の識別情報ID#2を、受信開始日時とともにメモリ155に記録する。対面インタラクション装置10Aの可視LED131が点灯することで、対面インタラクション装置10Bの装着者は、自分が相手と対面できたことを認識することができる。

【0048】
可視LED131の点灯は、対面インタラクション装置10Bの装着者にとって、一種の褒賞であるとともに、対面を継続させる動機付けとなり得る。発達障害者にとって、他者との対面は困難をともなうが、相手方の可視LED131が点灯することで、相手と対面できたという達成感を得ることができ、対面しようとする試みや、対面を継続しようとする意欲を促す契機となる。

【0049】
対面インタラクション装置10Aは、自装置の識別情報ID#1と、検出した相手装置(対面インタラクション装置10B)の識別情報ID#2を含む赤外線信号を送信する(S18)。

【0050】
対面インタラクション装置10Bは、受信した赤外線信号中に自装置の識別情報ID#2を検出すると(S19)、可視LED131を点灯する(S20)。この可視LED131は、対面インタラクション装置10Aの装着者にとっての対面継続の動機づけとなり得る。

【0051】
受信した赤外線信号中に自装置の識別情報を検出できてきる間は、対面状態が継続しているとみなすことができる。

【0052】
対面インタラクション装置10Aにおいて、受信した赤外線信号中に自装置の識別情報ID#1が含まれなくなった場合、あるいは対面インタラクション装置10Bからの赤外線信号を受信しなくなった場合は(S21)、対面インタラクション装置10Aは可視LED131を消灯する(S23)。この場合、対面インタラクション装置10Bの装着者は、もはや対面インタラクション装置10Aの装着者に向き合っていないとみなされるからである。

【0053】
同様に、対面インタラクション装置10Bにおいて、受信した赤外線信号中に自装置の識別情報ID#2が含まれなくなった場合、あるいは対面インタラクション装置10Aからの赤外線信号を受信しなくなった場合は(S22)、対面インタラクション装置10Bは可視LED131を消灯する(S24)。

【0054】
可視LED131の点灯は、注視者(対面者)に対する褒賞として機能するが、注視(対面)検出を外部的に通知する手段としては、可視光の出力に限定されない。受信赤外線信号中に自装置の識別情報が含まれる場合に、短いメロディ音やアニメーションのキャラクターの音声によるメッセージを出力してもよい。

【0055】
図9は、対面インタラクション装置10の制御部15の動作フローの一例である。制御部15は、赤外線信号が受信されているか否かを判断する(S31)。赤外線信号が受信されている場合は(S31でYES)、受信した赤外線信号中に自装置の識別情報が含まれているか否かを判断する(S32)。自装置の識別情報が含まれている場合は(S32でYES)、相手装置と自装置の識別情報を含む送信信号を送信するとともに(S34)、可視LED131、スピーカ132等を含む注視通知部13の出力をオンにする(S33)。受信した赤外線信号中に自装置の識別情報が含まれていない場合は(S32でNO)、受信赤外線信号に含まれる相手装置の識別情報に自装置の識別情報を追加して送信信号を生成し、赤外線信号を送信して(S34)、S31に戻る。

【0056】
制御部15は、受信した赤外線信号に自装置の識別情報が含まれている場合、送信元の識別情報(注視者)、認識した注視者の数、注視時間(対面継続時間)、注視タイミング、注視頻度等の情報を対面情報管理部17に記録し、管理する。これらの情報の少なくともひとつに基づいて、注視通知部13の注視通知パターンを変更してもよい(S35)。たとえば、複数の可視LEDを配置して、一定時間以上注視が継続した場合に、LEDの点灯パターン、輝度、発光色等を変更してもよい。あるいは、複数の対面インタラクション装置からの注視が検出された場合は、人数に応じて可視LEDの色を変えてもよい。このような通知パターンの変化も、注視者にとって対面継続の動機づけとなり得る。スピーカ131を用いる場合は、出力するメロディ、音声メッセージなどを変化させてもよい。

【0057】
図10は、対面情報管理部17で管理される対面情報の一例を示す。たとえば、発達障害児のグループセラピーで、セラピストの指導で児童が共同作業や遊びに従事する際に、対面相手が入れ替わったり、複数の児童から注視される場合がある。対面情報は、注視者ごとに、注視が検出された日時、注視継続時間、平均注視頻度等の情報を記録する。図示はしないが、注視者ごとに、平均注視時間とその推移情報、平均注視頻度の推移情報などを記録してもよい。また、相手装置からの識別情報のみを検出したタイミング、受信期間なども合わせて記録、管理してもよい。

【0058】
児童Aが装着する対面インタラクション装置10の対面情報管理部17は、たとえば、児童B、C、D、…との間の対面情報を管理する。児童Bからの赤外線信号中に自装置の識別情報を検出した場合は、児童Bと関連付けて注視の検出情報が記録される。各児童について、1セッション当たりの平均注視回数を記録してもよい。たとえば、週ごと、月ごとに平均注視回数を記録することで、症状の改善状況を知ることができる。また、どの児童との間で対面が成立しやすいか、どの児童からの注視時間が長いか、などを分析することで、今後のセラピーの方向性に役立てることができる。

【0059】
このように、第1実施形態の対面インタラクション装置10は、簡便な注視の検出と、対面インタラクションの促進を実現することができる。
<第2実施形態>
図11は、第2実施形態の対面インタラクション装置20を用いた装着デバイス7の外観図である。第2実施形態では、注視または対面を促進する効果をより高める構成を提供する。

【0060】
装着具1に装着された対面インタラクション装置20は、赤外線発光器111、赤外線受光器121、可視LED131に加えて、第2の赤外線発光器221と、第2の赤外線受光器222a、222bと、一対の可視LED231a及び231bを有する。一対の可視LED231a、231bは、対面インタラクション装置20の本体120と電気的に接続され、本体の両側に配置されている。可視LED231a、231bに替えて、一対のスピーカ232a、232bを配置してもよい。

【0061】
第2の赤外線発光器221は、赤外線発光器111と異なる波長λ2の赤外光を、赤外線発光器111よりも広いビーム広がり角θ2で出力する。第2の赤外線受光器222a及び222bは、波長λ2の赤外光に感度を有する。図11の例では、第2の赤外線受光器222aと222bは、第1の赤外線受光器121の両側のみに配置されているが、上下左右の4か所に配置してもよい。第2の赤外線受光器222a、222bは、当該対面インタラクション装置20の第2の赤外線発光器221からの赤外光を受信しない位置に配置され、他の対面インタラクション装置からの波長λ2の赤外光だけを受光する。

【0062】
第2の赤外線発光器221のビーム広がり角θ2は、第1の赤外線発光器111のビーム広がり角θ1よりも広い。そのため、第1の赤外線受光器121が他の対面インタラクション装置から波長λ1の赤外光を受光しない場合でも、第2の赤外線受光器222aと222bの一方または両方が波長λ2の赤外光を受光する場合がある。すなわち、対面インタラクション装置の装着者同士が真正面で対向していないが、対面する可能性のある角度で斜めに向き合っている状況である。

【0063】
対面インタラクション装置20は、このような状況を検出した場合は、受光の方向に応じた位置の可視LED231aまたは231bを点灯し、相手の顔が注視位置に向くように促す。

【0064】
図12は、第2実施形態の対面インタラクション装置20の機能構成図である。対面インタラクション装置20Aと20Bは同じ構成であるため、いずれか一方に着目して説明する。また、第1実施形態の対面インタラクション装置10と同じ構成要素には同じ符号を付けて、重複する説明を省略する。

【0065】
対面インタラクション装置20Aは、第1の赤外線(IR)送信部11、第2の赤外線(IR)送信部21、第1の赤外線(IR)受信部12、第2の赤外線(IR)受信部22、可視光出力部23、音声出力部25、無線通信部14、及び制御部45を有する。制御部45は、注視判断部16と、対面情報管理部17と、受光方向判断部18を有する。可視光出力部23と音声出力部25は、図3の注視通知部13として機能するとともに、対面方向を案内するガイド部としても機能する。

【0066】
第1の赤外線送信部11は、自装置の識別情報を含む第1波長λ1の赤外線信号を、第1のビーム広がり角θ1で送信する。第1の赤外線受信部12は、他の対面インタラクション装置10Bから第1波長λ1の赤外線信号を受信する。

【0067】
第2の赤外線送信部21は、自装置の識別情報を含む第2波長λ2の赤外線信号を、第2のビーム広がり角θ2で送信する。第2の赤外線受信部22は、他の対面インタラクション装置10Bから第2波長λ2の赤外線信号を受信する。

【0068】
第1波長λ1は、一例として810~870nmの範囲で選択される。第2波長λ2は一例として1150~1650nmの範囲で選択される。第1のビーム広がり角θ1は、上述のように20°以下であり、好ましくは15°以下、より好ましくは9°以上、12°以下の範囲である。第2のビーム広がり角θ2は、θ1より広く、たとえば、23~36°の範囲で設定される。

【0069】
制御部45の注視判断部16は、第1の赤外線受信部12から供給される情報に、赤外線信号の送信元の対面インタラクション装置10Bの識別情報とともに、自装置の識別情報が含まれている場合に、可視光出力部23に第1出力指示を送る。第1出力指示は、図11で本体120の中央部に配置されている可視LED131の出力指示である。

【0070】
注視判断部16は、第1の赤外線受信部12からの情報が取得されていないが、第2の赤外線受信部22からの情報中に、自装置の識別情報が含まれている場合に、可視光出力部23または音声出力部25に第2出力指示を送る。第2出力指示は、図11で本体120の両側に配置されている可視LED231a、231b(またはスピーカ232a、232b)に対する出力指示である。

【0071】
受光方向判断部18は、第2の赤外線受信部22での受光方向を判断する。受光方向は公知の到来方向(AOA:Angle of Arrival)推定アルゴリズムを用いて推定することができる。到来方向推定アルゴリズムと組み合わせて、赤外線受光器222a、222bのいずれで支配的に受光されているかの判断を用いてもよい。

【0072】
制御部45は、受光方向に応じて、可視光出力部23または音声出力部25に、可視LED231a、231bのどちらを光らせるかを指示する。たとえば、図11で相手から見て左側に位置する第2の赤外線受光器222aの方向、すなわち、装着者から見て右側に位置する第2の赤外線受光器222aの方向から第2波長λ2の赤外線信号を受信したときは、相手の顔が第1の赤外線受光器121の方向を向くように、相手から見て右側(装着者から見て左側)の可視LED131bを点灯させる。

【0073】
相手から見て右側に位置する第2の赤外線受光器222bの方向、すなわち、装着者から見て左側に位置する第2の赤外線受光器222bの方向から第2波長λ2の赤外線信号を受信したときは、相手の顔が第1の赤外線受光器121の方向を向くように、相手から見て左側(装着者から見て右側)の可視LED131aを点灯させる。

【0074】
スピーカ232a、232bを用いる場合も同様である。制御部45は音声出力部25に対していずれのスピーカから出力するかを指示する。音声出力部25は、スピーカ232a、232bのいずれかからメロディ等を出力してもよいし、アニメーションの音声で「もうちょっと右側を向いてね」等のメッセージを出力してもよい。この場合、音声メッセージは相手方にとって、対面の動機づけになるとともに、装着者にとっても対面の動機づけになる。相互に音声メッセージに案内された方向を向くことで、相手と対面しやすくなる。

【0075】
第1の赤外線受信部12からの情報に自装置の識別情報が含まれ、かつ第2の赤外線受信部22からの情報にも自装置の識別情報が含まれている場合は、すでに注視または対面が成立しているとみなして、中央の可視LED131のみをオンにする。可視LED131の点灯に替えて、あるいは可視LED131の点灯とともに、スピーカ232a、232bから「対面できたね!」等の音声メッセージを出力してもよい。

【0076】
このような構成により、対面や相手の顔への注視が促進され、児童や発達障害者の社会性の向上を図ることができる。

【0077】
図13は、制御部45の処理フローを示す。赤外線信号が受信されたか否かを判断し(S41)、受信されていれば(S41でYES)、第1波長の信号か否かを判断する(S42)。第1波長の信号が受信されていれば(S42でYES)、自装置の識別情報が含まれているか否かを判断する(S43)。自装置の識別情報が含まれていれば、相手との間で対面が成立していると判断して、本体120の中央部に位置する可視LED131を点灯する(S45)。

【0078】
ステップS42で第1波長の信号が受信されていない場合は(S42でNO)、第2波長の信号が受信されているか否かを判断する(S45)。第2波長の信号が受信されている場合は(S45でYES)、受光方向を検出し(S46)、受光方向に応じたLED231またはスピーカ232から可視光または音声・メロディを出力する(S47)。第2波長の信号も受信されていない場合は(S45でNO)、S41に戻って処理を繰り返す。

【0079】
このような構成、手法により、対面の促進を向上することができる。
<その他の適用例>
図14は、その他の適用例を示す図である。実施形態の対面インタラクション装置10または20は、人間と人間の対面インタラクションだけではなく、図14(A)に示すように、人間とロボットや人形との間の対面インタラクションにも適用することができる。実施形態の対面インタラクション装置10また20を用いることで、子供の発育や社会性の育成に資することができる。たとえば、児童がロボット(または人形)と対面できたときに、ロボットや人形の額の中央部に埋め込まれている可視LEDが点灯する構成としてもよい。あるいは、対面できたときに音声メッセージを出力する構成としてもよい。

【0080】
図14(B)は、対面インタラクション装置30をグラブ型の装着具3に適用した例として、装着デバイス8を示す。装着デバイス8は、互いの手に装着した対面インタラクション装置30間で赤外線通信が成立した場合に、レーザ光源33から可視レーザ光を照射する構成としてもよい。装着者Aの掌と、装着者Bの掌が向き合って可視レーザ光が出力される場合は、体は真正面で向かい合っていなくても、通常は、顔と顔は対向している、あるいはアイコンタクトがなされていると考えられる。

【0081】
図14(B)では、装着デバイス8を同じ側の手に装着しているが、一対の装着デバイス8として構成して、一人は右手に、もう一人は左手に装着し、互いに真正面に位置して赤外線通信が確立したときに、可視レーザ光を出力する構成としてもよい。グラブ型の装着デバイス8を児童や発達障害者に適用することで、遊びの中から相手とのコミュニケーション能力や社会性を育てることができる。図14(B)の装着デバイス8を用いる場合は、防御グラスと組み合わせて装着するのが望ましい。防御グラスは可視レーザ光から眼を防御するとともに、児童にとって防御グラスの装着自体が遊びの要素となり得る。

【0082】
以上、特定の実施形態に基づいて本発明を説明したが、上述した例に限定されない。たとえば、セッションルームに全体が映るビデオカメラを設置し、対面インタラクション装置10(または20)で取得されたセッション記録としての対面情報とビデオ映像を組み合わせてもよい。この場合、どのタイミングで対面が成立したか、どのような態様で対面が成されているか等を詳細に分析して、指導に反映することができる。

【0083】
また、第2実施形態で2種類の波長の赤外線を送受信する構成に替えて、1種類の波長の赤外線を用いて、他者から「見られている」という状況を認識できるように構成してもよい。たとえば、対面インタラクション装置で、同一波長の赤外線に対して感度を有するが、異なる受光角を有する2つの受光素子を用いてもよい。2つの受光素子のうちの一つ(第1の受光素子)は、たとえば送信するビーム広がり角と同じ受光角度を有し、もうひとつの受光素子(第2の受光素子)は、送信するビーム広がり角よりも広い受光角度を有する。この場合、第1の赤外線受信部は、送信するビーム広がり角と同じ受光角度で赤外線信号を受信し、第2の赤外線受信部は、送信するビーム広がり角よりも広い受光角度で赤外線信号を受信する。

【0084】
注視判断部16は、第1の赤外線受信部で赤外線信号は受信されていないが、第2の赤外線受信部で赤外線信号が受信されている場合に、前記出力手段をオンにして、対面の方向を案内する。

【0085】
この構成により、対面成立だけでなく、本人は相手の顔の方を向いていないが、相手は本人の顔の方を見ている、という状況を識別し、出力手段を用いて、対面の方向を案内することが可能になる。

【0086】
自閉症などの発達障害児の治療、指導、グループセラピーに利用することができる。また、年少者の発育、成長の補助に利用することができる。実施形態の対面インタラクション装置を用いることで、相互コミュニケーションの促進や、対人関係能力の向上に資することができる。

【0087】
本件出願は、2016年6月30日に日本国特許庁に出願された特許出願第2016-131068号に基づき、その全内容を含むものである。
【符号の説明】
【0088】
1,2,3 装着具
5,6,7、8 装着デバイス
10、20、30 対面インタラクション装置
11 赤外線送信部(第1の赤外線送信部)
12 赤外線受信部(第1の赤外線受信部)
13 注視通知部
14 無線通信部
15、45 制御部
16 注視判断部
17 対面情報管理部
18 受光方向判断部
21 赤外線送信部(第2赤外線送信部)
22 赤外線送信部(第2赤外線受信部)
23 可視光出力部(通知部およびガイド部)
25 音声出力部(通知部およびガイド部)
111,221 赤外線発光器
121、222a、222b 赤外線受光器
131,231a、231b 可視LED
132,232a、232b スピーカ
150 マイクロコントローラ
154 CPU
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13