TOP > 国内特許検索 > 表示装置、表示システム、及び表示方法 > 明細書

明細書 :表示装置、表示システム、及び表示方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B1)
特許番号 特許第6587764号 (P6587764)
登録日 令和元年9月20日(2019.9.20)
発行日 令和元年10月9日(2019.10.9)
発明の名称または考案の名称 表示装置、表示システム、及び表示方法
国際特許分類 G09G   5/00        (2006.01)
FI G09G 5/00 550C
G09G 5/00 510G
G09G 5/00 555D
請求項の数または発明の数 8
全頁数 16
出願番号 特願2019-039300 (P2019-039300)
出願日 平成31年3月5日(2019.3.5)
新規性喪失の例外の表示 特許法第30条第2項適用 諏訪圏工業メッセ2018、D-17、諏訪湖イベントホール、平成30年10月18日~20日 http://suwamesse.jp/syutten-list2018/
審査請求日 平成31年3月8日(2019.3.8)
特許権者または実用新案権者 【識別番号】504180239
【氏名又は名称】国立大学法人信州大学
発明者または考案者 【氏名】笹森 文仁
【氏名】半田 志郎
【氏名】岡島 英男
【氏名】南澤 俊孝
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100107515、【弁理士】、【氏名又は名称】廣田 浩一
【識別番号】100107733、【弁理士】、【氏名又は名称】流 良広
【識別番号】100115347、【弁理士】、【氏名又は名称】松田 奈緒子
審査官 【審査官】橘 皇徳
参考文献・文献 特開2013-042221(JP,A)
特開2008-199569(JP,A)
国際公開第2016/136256(WO,A1)
韓国公開特許第10-2016-0076814(KR,A)
特開2013-205218(JP,A)
大嶋 光昭,外3名,イメージセンサ受信型可視光通信技術の開発,Panasonic Technical Journal,日本,Panasonic,2015年11月16日,Vol.61 No.2
上野 秀樹, 外2名,可視光IDシステム,東芝レビュー,日本,東芝,2007年 5月31日,Vol.62 No.5,URL,https://www.toshiba.co.jp/tech/review/2007/05/62_05pdf/f04.pdf
LED照明+タブレット端末 光受け展示説明-観光で活用実験 地域ICT研究会、県立歴史館で,信濃毎日新聞朝刊,日本,信濃毎日新聞社,2017年 9月30日,p.32
可視光通信活用した案内システム 長野テクトロン、信大工学部と開発、スマホ受信、店舗応用可能,信濃毎日新聞朝刊,日本,信濃毎日新聞社,2016年 2月19日,p.6
調査した分野 G09G 5/00-5/42
H04B 10/00-10/90
H04J 14/00-14/08
要約 【課題】拡張現実による画像を表示することができ、かつ消費電力を低減することができる表示装置の提供。
【解決手段】光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、前記光を受光する受光部と、前記光が対象情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部と、前記撮像部が前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた前記拡張現実による画像を表示する制御を行う制御部と、を有する表示装置である。
【選択図】図1
特許請求の範囲 【請求項1】
光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、
前記光を受光する受光部と、
前記光が対象情報の信号を含む場合にユーザの前景画像を撮像し、前記光が対象情報の信号を含まない場合に前記前景画像を撮像しない撮像部と、
前記撮像部が前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた前記拡張現実による画像を表示する制御を行う制御部と、
を有することを特徴とする表示装置。
【請求項2】
前記前景画像からの前記対象物の識別が、前記対象情報に基づいて行われる、請求項1に記載の表示装置。
【請求項3】
メガネの形状を有するウェアラブルデバイスである、請求項1から2のいずれかに記載の表示装置。
【請求項4】
一対のリムと、
ユーザの両眼から見た前景から入射される光を前記一対のリムに向かって半反射させるハーフミラーが埋設されている一対のレンズを有し、
前記撮像部が、前記一対のレンズにより半反射された前記前景から入射される光を前記前景画像としてそれぞれ撮像するために前記一対のリムに配置されている、請求項3に記載の表示装置。
【請求項5】
骨伝導スピーカを更に有する、請求項1から4のいずれかに記載の表示装置。
【請求項6】
MPUを更に有し、
前記撮像部がユーザの前記前景画像を撮像するための、前記光が前記対象情報の信号を含むか否かの判定は、前記MPUが動作して行う請求項1から5のいずれかに記載の表示装置。
【請求項7】
対象情報の信号を含む光を照射可能な光照射装置と、
請求項1から6のいずれかに記載の表示装置と、
を有することを特徴とする表示システム。
【請求項8】
請求項1から6のいずれかに記載の表示装置を用いた表示方法であって、
前記表示装置の受光部により前記光を受光する受光工程と、
前記光が対象情報の信号を含む場合にユーザの前景画像を撮像し、前記光が対象情報の信号を含まない場合に前記前景画像を撮像しない撮像工程と、
前記撮像工程において前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた拡張現実による画像を表示する制御を行う制御工程と、
を含むことを特徴とする表示方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、表示装置、表示システム、及び表示方法に関する。
【背景技術】
【0002】
近年、電波や可視光などを用いたポータブルの案内システムが開発されている。この案内システムは、音声や画像を出力するなどにより、観光案内、工場や施設の見学、あるいは博物館や美術館における展示物の説明などで活用されている。
【0003】
ポータブルの案内システムとしては、例えば、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)を用いた案内システムが開発されているが、読取り速度が比較的遅く、位置精度も5m程度になる場合があるため、展示物が設置されている位置でその展示物ではない展示物の説明を受信する場合がある。また、このBluetoothなどを用いた案内システムは、発信機と受信機との間に見学者や鑑賞者などの人垣や遮蔽物があると通信しにくくなる場合や、工場などでは電波の使用が禁止されている場合もあり、使用する場所や用途が制限されるときがある。
また、カメラで撮像した画像を画像認識し、特定した対象物に基づいて案内する案内システムにおいては、常にカメラを動作させて画像認識処理を行う必要があり、CPU(Central Processing Unit)などのプロセッサの消費電力が大きくなるためポータブルには適していない場合がある。
【0004】
そこで、身の回りに存在するLED(Light Emitted Diode)照明などの光源から、簡単な情報やその光源に固有のID(Identification)情報の信号を含む光を照射させることにより、その情報に基づいた各種案内などを行うことができる光通信を用いた案内システムが開発されている。
この光通信を用いた案内システムは、上記の電波や画像認識を用いた案内システムよりも、読取り速度が速く、読取り距離が幅広い範囲であり、見学者や鑑賞者などの人垣や遮蔽物がある場合でも、天井などの上方からID情報の信号を含む光を受光すれば通信を行うことができる。また、光通信を用いた案内システムは、ID情報の信号を含む光をスポット的に照射させることにより、展示物が設置されている位置でその展示物ではない展示物の説明を行うことなく的確にその展示物の説明を行うことができる。このような利点から、光通信を用いた案内システムが数多く提案されている。
【0005】
例えば、視覚障がい者や聴覚障がい者が使用できる案内システムが提案されている(例えば、特許文献1等参照)。光通信を用いた案内システムは、太陽光などのノイズに弱いことから、ID情報を送信する光信号送信機が指向性のある1以上の発光素子を備えるとともに、光信号受信機側に指向性のある受光素子を2以上備え、各受光素子の受信強度比から光信号送信機が設置されている方向の情報を取得し、受信感度を高められる方向に光信号受信機を移動させるように、音声や画像でガイドすることができる。また、この案内システムは、光信号受信機を携帯するユーザからみたときの光信号送信機が設置されている方向を把握することができるため、例えば、駅ホームのホームドアに光信号送信機が設置されている場合には、光信号送信機の設置位置に基づいて「◎番線ホーム△号車の乗車ゲートの斜め右です。次の発車は○○時◎◎分、××行きです。あと5分で到着します。」との音声案内を出力することができる。
【先行技術文献】
【0006】

【特許文献1】特開2013-205218号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、本発明は、従来における前記諸問題を解決し、以下の目的を達成することを課題とする。即ち、本発明は、拡張現実による画像を表示することができ、かつ消費電力を低減することができる表示装置、表示システム、及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記課題を解決するための手段としては、以下のとおりである。即ち、
<1> 光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、
前記光を受光する受光部と、
前記光が対象情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部と、
前記撮像部が前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた前記拡張現実による画像を表示する制御を行う制御部と、
を有することを特徴とする表示装置である。
【0009】
前記<1>に記載の表示装置においては、受光した光に対象情報の信号を含んでいると判定して初めて撮像部が前景画像を撮像し、撮像した前景画像を画像解析処理して対象物を識別するため、対象物に応じた拡張現実による画像を表示することができる。また、この表示装置は、光に対象情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。
【0010】
<2> 前記前景画像からの前記対象物の識別が、前記対象情報に基づいて行われる、前記<1>に記載の表示装置である。
【0011】
従来の画像解析処理では、前景画像から対象物を認識するために、対象物の膨大なテンプレート画像を予め準備し、前景画像に含まれる対象物の画像と膨大なテンプレート画像を順番に照合する必要があることから、処理時間が長くなり、消費電力が増大していた。
前記<2>に記載の表示装置においては、前景画像からの対象物の識別を、対象情報に基づいて行うことにより、膨大なテンプレート画像のなかから対象情報に対応するテンプレート画像に限定することができる。このため、この表示装置は、限定したテンプレート画像と前景画像に含まれる対象物の画像と照合することにより、前景画像から対象物を容易に識別することができるため、処理時間を短縮でき、かつ消費電力を低減できる。
【0012】
<3> メガネの形状を有するウェアラブルデバイスである、前記<1>から<2>のいずれかに記載の表示装置である。
【0013】
前記<3>に記載の表示装置は、メガネの形状を有するウェアラブルデバイスであることにより、人体に装着可能とするためにバッテリーを有することから、消費電力を低減できる効果が顕著に表れる。
【0014】
<4> 一対のリムと、
ユーザの両眼から見た前景から入射される光を前記一対のリムに向かって半反射させるハーフミラーが埋設されている一対のレンズを有し、
前記撮像部が、前記一対のレンズにより半反射された前記前景から入射される光を前記前景画像としてそれぞれ撮像するために前記一対のリムに配置されている、前記<3>に記載の表示装置である。
【0015】
前記<4>に記載の表示装置においては、メガネの形状を有するウェアラブルデバイスであって、一対のリムに配置されている撮像部が、メガネの左右に配置された一対のレンズのハーフミラーによりそれぞれ半反射された、前景から入射される光を前景画像としてそれぞれ撮像する。これにより、表示装置は、ユーザの両眼で視たときの画像を撮像することができるため、撮像部がユーザの両眼で視たときの前景から入射される光を撮像できない別の位置に配置されている場合と比較すると、拡張現実による画像を表示する位置の精度を高めることができる。
【0016】
<5> 骨伝導スピーカを更に有する、前記<1>から<4>のいずれかに記載の表示装置である。
【0017】
前記<5>に記載の表示装置においては、骨伝導スピーカを更に有することにより、イヤホンのようにユーザの外耳とサイズが合わないなどの不具合が発生しにくい。また、イヤホンやヘッドホンのようにユーザの外耳を塞ぐことがなくなるため、周りの音が聞こえやすくなり、身の安全の確保が容易になる。
【0018】
<6> MPUを更に有し、
前記撮像部がユーザの前記前景画像を撮像するための、前記光が前記対象情報の信号を含むか否かの判定は、前記MPUが動作して行う前記<1>から<5>のいずれかに記載の表示装置である。
【0019】
前記<6>に記載の表示装置においては、受光した光に対象情報の信号を含むか否かの判定はMPUが動作して行うため、MPUより高性能なCPUで光に対象情報の信号を含むか否かの判定をするよりも消費電力を低減することができる。
【0020】
<7> 対象情報の信号を含む光を照射可能な光照射装置と、
前記<1>から<6>のいずれかに記載の表示装置と、
を有することを特徴とする表示システムである。
【0021】
前記<7>に記載の表示システムにおいては、光照射装置から対象情報を含む光を表示装置に照射することにより、表示装置は、光照射装置が設置されている位置での必要な情報を取得することができる。
【0022】
<8> 前記<1>から<6>のいずれかに記載の表示装置を用いた表示方法であって、
前記表示装置の受光部により前記光を受光する受光工程と、
前記光が対象情報の信号を含む場合にユーザの前景画像を撮像する撮像工程と、
前記撮像工程において前記前景画像を撮像すると、前記前景画像から識別した対象物の位置に基づき、前記対象情報に応じた拡張現実による画像を表示する制御を行う制御工程と、
を含むことを特徴とする表示方法である。
【0023】
前記<8>に記載の表示方法においては、前記<1>に記載の表示装置と同様に、受光した光に対象情報の信号を含んでいると判定して初めて撮像部が前景画像を撮像し、撮像した前景画像を画像解析処理して対象物を識別するため、拡張現実による画像を表示することができる。また、この表示装置は、光に対象情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。
【発明の効果】
【0024】
本発明によると、従来における前記諸問題を解決することができ、拡張現実による画像を表示することができ、かつ消費電力を低減することができる表示装置、表示システム、及び表示方法を提供することができる。
【図面の簡単な説明】
【0025】
【図1】図1は、本実施形態の表示システムを示す概略図である。
【図2】図2は、本実施形態の表示システムが扱うデータフレームを示す説明図である。
【図3】図3は、本実施形態の表示装置を示す概略外観図である。
【図4A】図4Aは、受光部が受光した光がID情報の信号を含むか否かを判定し、光がID情報の信号を含むと判定した場合に、光から検出したID情報をコンテンツサーバに送信する処理の流れの一例を示すフローチャートである。
【図4B】図4Bは、受光部が受光した光がID情報の信号を含むか否かを判定し、光がID情報の信号を含むと判定した場合に、光から検出したID情報をコンテンツサーバに送信する処理の流れの一例を示すフローチャートである。
【図5】図5は、本実施形態の表示装置が拡張現実による画像を表示する動作を示す説明図である。
【図6】図6は、本実施形態の表示装置の機能を示すブロック図である。
【図7】図7は、本実施形態の表示装置のハードウェアを示すブロック図である。
【図8】図8は、本実施形態の光照射装置の機能を示すブロック図である。
【図9】図9は、本実施形態の光照射装置のハードウェアを示すブロック図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態を説明するが、本発明は、この実施形態に何ら限定されるものではない。
本実施形態では、博物館や美術館などの施設において展示物の説明を行う表示システムについて説明する。

【0027】
(表示システム)
図1は、本実施形態の表示システムを示す概略図である。
図1に示すように、本実施形態の表示システム10は、表示装置100と、光照射装置200a~200nと、コンテンツサーバ300と、テンプレートサーバ400と、管理PC(パーソナルコンピュータ)500とを有する。表示装置100、コンテンツサーバ300、及び管理PC500は、ネットワークNを介してそれぞれ通信可能に接続されている。
また、表示装置100は、メガネの形状を有するウェアラブルデバイスであり、ヘッドマウントディスプレイ(HMD)と称することもある。
なお、本実施形態では表示装置100をメガネの形状を有するウェアラブルデバイスとしたが、これに限ることはない。

【0028】
本実施形態の表示システム10は、まず、展示物を鑑賞するユーザが装着する表示装置100に対し、各展示物の設置場所にそれぞれ配置されている光照射装置200a~200nのいずれかから、その展示物に対応付けられた対象情報としてのID情報の信号を含む光が照射される。すると、表示装置100は、受光素子110U及び110Fの少なくともいずれかで受光した光からID情報の信号を検出し、検出したID情報をコンテンツサーバ300及びテンプレートサーバ400に送信する。ID情報を受信したコンテンツサーバ300は、ID情報に対応するコンテンツの情報を格納するデータベースを参照し、表示装置100から送信されたID情報に応じたコンテンツの情報を表示装置100に送信する。また、ID情報を受信したテンプレートサーバ400は、ID情報に対応するテンプレート画像のデータのいくつかを表示装置100に送信する。表示装置100は、いくつかのテンプレート画像と、カメラで撮像した前景画像に含まれる対象物の画像とを照合して対象物を識別し、識別した対象物に位置に基づき、受信したコンテンツの情報に含まれる拡張現実による画像を表示する。これにより、本実施形態の表示システム10は、展示物を鑑賞するユーザに対し、その展示物の説明を行うことができる。また、表示装置100は、拡張現実による画像に加え、骨伝導スピーカによる音声を出力することができる。この場合、コンテンツの情報には、拡張現実による画像のデータに加えて、音声のデータが含まれる。
なお、本実施形態では、コンテンツの情報には拡張現実による画像のデータに加えて、音声のデータが含まれる場合があるとしたが、これに限ることなく、他のデータを含むようにしてもよい。

【0029】
管理PC500は、コンテンツサーバ300のデータベースを管理するために用いられる。

【0030】
本実施形態の表示システム10では、光照射装置200a~200nのいずれかと表示装置100との通信に、JEITA CP-1223の規格に準ずる可視光ビーコンシステムを用いる。このため、光照射装置200a~200nは、図2に示すように、6ビットのプリアンブルと1バイトのフレームタイプからなるスタート部と、16バイトのID情報のデータからなる情報部(ペイロード)と、2バイトのチェック用のCRC(周期冗長コード)からなる終端部とを配するフレーム構造のデータを表示装置100に送信する。

【0031】
本実施形態の符号化方式としては、4PPM(Pulse Position Modulation)符号方式を用いる。4PPM符号方式は、シンボル時間として定義される一定の時間を4つのスロットに等分し、1シンボル時間に1つのスロット幅のパルスを許容し、そのパルスの存在スロット時間位置に割り当てた情報を送信する。1バイトは4シンボルからなり、その1シンボルは4スロットからなる。この4スロットのうち1スロットだけが必ず光る(ON)ようなシンボルとしているため、4スロットが全て光ることがないように、あるいは全て光らないことがないようにして、人の目に光のちらつきを感じさせないようにしている。

【0032】
なお、本実施形態の表示システム10では、JEITA CP-1223の規格に準ずる可視光ビーコンシステムを用いるとしたが、これに限ることはなく、他の規格でもよく、可視光ではなく赤外線などを用いたものでもよい。また、本実施形態では、対象情報としてID情報としたが、これに限ることはない。

【0033】
以下では、本実施形態の表示システム10の各装置について詳細に説明する。

【0034】
(表示装置及び表示方法)
本発明の表示装置は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であり、受光部と、撮像部と、制御部とを有し、更に必要に応じてその他の部を有するようにしてもよい。
本発明の表示方法は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示方法であり、受光工程と、撮像工程と、制御工程とを含み、更に必要に応じてその他の工程を含むようにしてもよい。
本発明の表示方法は、本発明の表示装置により好適に行うことができ、受光工程は受光部により好適に行うことができ、撮像工程は撮像部により好適に行うことができ、制御工程は制御部により好適に行うことができることから、本発明の表示装置における実施形態の説明を通して本発明の表示方法の詳細についても明らかにする。

【0035】
図3は、本実施形態の表示装置を示す概略外観図である。
図3に示すように、本実施形態の表示装置100は、メガネの形状を有することから、フレームと、フレームに装着する一対のレンズ190R,190Lとを備える。また、一対のレンズ190R,190Lには、ユーザが表示装置100を装着した際に、ユーザの両眼から見た前景から入射される光を一対のリムに向かって半反射させるハーフミラー191R,191Lがそれぞれ埋設されている。

【0036】
フレームは、レンズ190R,190Lを装着する一対のリムと、一対のリムにそれぞれ接続されているテンプルとを備える。

【0037】
一対のリムのうち左側のリムには、上面に受光素子110Uと、側面に受光素子110Fとを備えている。
受光素子110Uは、ユーザが表示装置100を装着した際に、天井に設置されている光照射装置200からの光を主に受光できるように、左側のリムの上面に埋設されている。受光素子110Fは、ユーザが表示装置100を装着した際に、ユーザの前方からの光を主に受光できるように、左側のリムの側面に埋設されている。
なお、本実施形態では表示装置100に2つの受光素子を備えるようにしたが、これに限ることなく、受光素子は1つでもよく、3つ以上備えてもよい。また、本実施形態では左側のリムに受光素子を備えるようにしたが、これに限ることなく、光照射装置200からの光を受光できる位置に配されていればよい。

【0038】
ここで、受光素子110U又は110Fが受光した光がID情報の信号を含むか否かを判定し、光がID情報の信号を含むと判定した場合に、ID情報をコンテンツサーバ300に送信する処理の流れを、図4A及び図4Bに示すフローチャートの図中Sで表すステップにしたがって説明する。

【0039】
図4Aに示すように、まず、後述する第1の制御部122は、各変数の初期化を行う(D=0,F=0,N=0,P=0)(S101)。ここで、Dは信号のエッジの検出フラグ、Fはプリアンブルの検出フラグ、Nはフレーム番号(データのバイト数)、Pはシンボル数を意味する。
次に、表示装置100は、受光素子110U又は110Fで受光した光を電気信号に変換し、変換した電気信号を増幅部112のアナログ回路で増幅して、A/D変換部121でサンプリングする(S102)。

【0040】
第1の制御部122は、A/D変換部121でサンプリングした方形波の信号において、立ち上がりエッジ及び立ち下がりエッジを検出するために微分処理する(S103)。第1の制御部122は、微分処理した信号において、エッジの変化に基づいてID情報の信号を検出するために、正側にピークがあればD=1とし(S104、S105)、負側にピークがあればD=0とする(S106、S107)。なお、正側及び負側のいずれにもピークがなければ処理をS102に戻す。

【0041】
第1の制御部122は、微分処理した信号において正側及び負側のいずれかにピークを検出すると、プリアンブルがすでに検出されているか否かを判定する(S108)。第1の制御部122は、プリアンブルがすでに検出されていると判定すると処理を図4Bに示すS112に移行し、プリアンブルが検出されていないと判定すると、微分処理した信号がプリアンブルであるか否かを判定する(S109)。第1の制御部122は、微分処理した信号がプリアンブルであると判定するとF=1とし(S110)、微分処理した信号がプリアンブルでないと判定するとF=0として(S111)、処理をS102に戻す。

【0042】
次に、第1の制御部122は、プリアンブルがすでに検出されていると判定すると、4PPM信号の最初の4ビットを取得できたか否かを判定する(S112)。第1の制御部122は、最初の4ビットを取得できたと判定すると、微分処理した信号を4PPM信号に変換してPに保存し(S113)、最初の4ビットを取得できていないと判定すると、処理を図4AのS102に戻す。

【0043】
第1の制御部122は、微分処理した信号を4PPM信号に変換してPに保存すると、P=P+1の演算を行い、P=4であるか否かを判定する(S114)。第1の制御部122は、P=4であると判定すると、4シンボル(1バイト)完了であるとしてP=0に初期化し(S115)、P=4でないと判定すると、処理を図4AのS102に戻す。

【0044】
第1の制御部122は、P=0に初期化すると、Nにデータのバイト数を保存して(S116)、N=N+1の演算を行い、N=19であるか否かを判定する(S117)。第1の制御部122は、N=19であると判定すると、フレームの最後であるとしてN=0に初期化し(S118)、N=19でないと判定すると、処理を図4AのS102に戻す。

【0045】
第1の制御部122は、N=0に初期化するとCRCの演算を行い、一致するか否かを判定する(S119)。第1の制御部122は、一致すると判定すると、コンテンツサーバ300にデータを送信し(S120)、処理を図4AのS102に戻す。また、第1の制御部122は、一致しないと判定すると、処理を図4AのS102に戻す。
このように、第1の制御部122は、受光素子110U又は110Fが受光した光がID情報の信号を含むか否かを判定し、光がID情報の信号を含むと判定した場合に、後述する第2の制御部141がID情報をコンテンツサーバ300とテンプレートサーバ400に送信する。
そして、コンテンツサーバ300は、ID情報に対応するコンテンツを格納するデータベースを参照し、表示装置100から送信されたID情報に応じたコンテンツの情報を表示装置100に送信する。また、テンプレートサーバ400は、ID情報に応じた展示物のテンプレート画像のいくつかを表示装置100に送信する。

【0046】
図3に戻り、一対のリムの連結部には、ハーフミラー191R,191Lにより半反射された前景から入射される光を前景画像としてそれぞれ撮像するための一対のカメラ160R,160Lがそれぞれ埋設されている。表示装置100は、一対のカメラ160R,160Lにより撮像された前景画像について画像解析処理を行い、展示物のテンプレート画像と照合して前景画像から展示物の画像を識別する。
また、表示装置100の一対のリムは、それぞれテンプル側に一対のプロジェクタ機構170R,170Lを備えている。一対のプロジェクタ機構170R,170Lは、識別した展示物の画像の位置に基づき、拡張現実による画像の映像光を出力し、ハーフミラー191R,191Lで半反射させ、ユーザの両眼に拡張現実による画像を視認させる。

【0047】
ここで、一対のカメラ160R,160L、一対のプロジェクタ機構170R,170L、及びハーフミラー191R,191Lにより、ユーザに拡張現実による画像を精度良く表示する動作について詳細に説明する。

【0048】
図5は、本実施形態の表示装置が拡張現実による画像を表示する動作を示す説明図である。図5は、ユーザが表示装置100を装着した際に、水平面で表示装置100の断面を示した図である。
図5に示すように、一対のレンズ120R,120Lは、ユーザの両眼から見た前景から入射される光30L,30Rをハーフミラー191R,191Lにより半反射させる。ハーフミラー191R,191Lは、半反射させた光31R,31Lを一対のカメラ160R,160Lに入射するとともに、半反射させていない光32R,32Lをユーザの両眼に入射する。これにより、表示装置100は、ユーザが前景を視認できるとともに、ユーザの両眼で視たときの前景を一対のカメラ160R,160Lでそれぞれ撮像することができる。一対のカメラ160R,160Lは、ユーザの両眼で視たときの前景を撮像する。これにより、表示装置100は、カメラがユーザの両眼で視認した前景を撮像できない別の位置に配されている場合と比較すると、拡張現実による画像を表示する位置の精度を高めることができる。つまり、表示装置100は、一対のプロジェクタ機構170R,170Lから拡張現実による画像の映像光20R,20Lを出力し、ハーフミラー191R,191Lに反射させてユーザの両眼で拡張現実による画像を視認させる際に、拡張現実による画像を表示する位置の精度を高めることができる。

【0049】
図3に戻り、左右のテンプルには、骨伝導スピーカ180R,180Lをそれぞれ備えている。骨伝導スピーカ180R,180Lは、ユーザが表示装置100を装着した際に、ユーザに骨伝導により音声を伝達できる位置に配されている。これにより、イヤホンのようにユーザの外耳とサイズが合わないなどの不具合が発生しにくい。また、イヤホンやヘッドホンのようにユーザの外耳を塞ぐことがなくなるため、周りの音が聞こえやすくなり、身の安全の確保が容易になる。

【0050】
コントローラCは、受光素子110U、110F、一対のカメラ160R,160L、及び一対のプロジェクタ機構170R,170Lと電気的に接続されており、ユーザにより電源や機能をON/OFFする操作などが行われる。

【0051】
図6は、本実施形態の表示装置の機能を示すブロック図である。
図6に示すように、表示装置100は、受光部111で受光した可視光を電気信号に変換し、変換した電気信号を増幅部112のアナログ回路で増幅する。次に、表示装置100は、増幅させた電気信号をA/D変換部121でサンプリングする。そして、第1の制御部122は、JEITA CP-1223の規格に従ってファームウェアでサンプリング後の電気信号を復調する。このとき、第1の制御部122は、タイマ部123と、ファームウェアを記憶する記憶部131とにより、サンプリング後の電気信号を復調する。その後、復調した信号がID情報であると第1の制御部122が判定した場合には、第2の制御部141は、無線通信部151に指示を出力し、ID情報をコンテンツサーバ300に送信し、コンテンツサーバ300からID情報に対応するコンテンツの情報を受信する。また、第2の制御部141は、無線通信部151に指示を出力し、ID情報をテンプレートサーバ400に送信し、テンプレートサーバ400からID情報に対応するテンプレート画像のデータのいくつかを受信する。さらに、第2の制御部141は、復調した信号がID情報であると第1の制御部122が判定した場合には、撮像部161にも指示を出力し、一対のカメラ160R,160Lによりユーザの両眼で視認した前景を撮像させ始める。

【0052】
第2の制御部141は、展示物のテンプレート画像のいくつかと、一対のカメラ160R,160Lが撮像した前景画像とを照合することにより、前景画像から展示物の画像を識別する。第2の制御部141は、画像出力部171に指示を出力し、識別した展示物の画像の位置に基づき、コンテンツの情報に含まれる拡張現実による画像を表示する。
すなわち、撮像部161は、光がID情報の信号を含む場合に、ユーザの前景画像を撮像する。第2の制御部141は、撮像部161が前景画像を撮像すると、前景画像から識別した展示物の位置に基づき、ID情報に応じた拡張現実による画像を表示する制御を行う。
なお、本実施形態では第1の制御部と第2の制御部に分けているが、これに限ることなく、第1の制御部と第2の制御部は同一の制御部にしてもよい。

【0053】
図7は、本実施形態の表示装置のハードウェアを示すブロック図である。
図7に示すように、この表示装置100は、受光素子110U、110Fと、MPU120と、記憶手段130と、CPU140と、無線通信モジュール150と、一対のカメラ160R,160Lと、一対のプロジェクタ機構170R,170Lと、骨伝導スピーカ180R,180Lとを有する。

【0054】
受光素子110U、110Fは、本実施形態ではフォトダイオードであり、受光部111の機能を実現する。

【0055】
MPU120は、プロセッサの一種であり、種々の制御や演算を行う処理装置である。MPU120は、記憶手段130などが記憶するファームウェアなどを実行することにより、種々の機能を実現する。具体的には、図6の点線で示したように、MPU120は、A/D変換部121、第1の制御部122、及びタイマ部123の機能を実現する。すなわち、MPU120は、撮像部161がユーザの前景画像を撮像するための、光がID情報の信号を含むか否かの判定を行う。

【0056】
CPU140は、MPU120より高性能のプロセッサの一種であり、種々の制御や演算を行う処理装置である。CPU140は記憶手段130などが記憶するファームウェアなどを実行することにより、種々の機能を実現する。CPU140は、MPU120により光にID情報の信号を含むと判定されると、一対のカメラ160R,160Lに前景画像を撮像させ、前景画像から識別した展示物の画像の位置に基づき、コンテンツの情報に含まれる拡張現実による画像を表示する第2の制御部141の機能を実現する。
また、CPU140は、表示装置100全体の制御を行う。

【0057】
無線通信モジュール150は、CPU140により制御され、ID情報をコンテンツサーバ300に送信し、コンテンツサーバ300からID情報に対応するコンテンツの情報を受信する。また、無線通信モジュール150は、CPU140により制御され、ID情報をテンプレートサーバ400に送信し、テンプレートサーバ400からID情報に対応するテンプレート画像のデータのいくつかを受信する。無線通信モジュール150は、無線通信部151の機能を実現する。

【0058】
一対のカメラ160R,160Lは、本実施形態では一対のリムの連結部に埋設できる小型の撮像素子であり、CPU140により制御され、ユーザの前景画像を撮像する。

【0059】
一対のプロジェクタ機構170R,170Lは、CPU140により制御され、拡張現実による画像を出力するものであり、本実施形態では一対のリムのテンプル側の「智」と称する部位にそれぞれ埋設されている小型のプロジェクタの機構を有するデバイスである。

【0060】
一対の骨伝導スピーカ180R,180Lは、本実施形態では一対のテンプルに埋設されており、CPU140により制御され、コンテンツの情報に含まれる音声のデータに基づき展示物の説明の音声を出力する。

【0061】
このように、表示装置100は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、光を受光する受光部111と、光がID情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部161と、撮像部161が前景画像を撮像すると、前景画像から識別した展示物の位置に基づき、ID情報に応じた拡張現実による画像を表示する制御を行う第2の制御部141と、を有する。
これにより、表示装置100は、受光した光にID情報の信号を含んでいると判定して初めて撮像部161が前景画像を撮像し、撮像した前景画像を画像解析処理して展示物を識別するため、拡張現実による画像を表示することができる。また、表示装置100は、光にID情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。

【0062】
<光照射装置>
図1に示した光照射装置200a~200nは、いずれも機能及びハードウェアが同様であるため、光照射装置200a~200nのいずれか1つ(以下、光照射装置200と称する)について説明する。

【0063】
図6は、本実施形態の光照射装置の機能を示すブロック図である。
光照射装置200は、各展示物の近傍にそれぞれ配置され、ID情報の信号を含む光を照射可能な装置である。この光照射装置200は、図6に示すように、投光部211と、制御部221とを有する。
制御部221は、光照射装置200を管理するPCが予め記憶したID情報の信号を可視光に含ませるように、投光部211を制御する。

【0064】
図7は、本実施形態の光照射装置のハードウェアを示すブロック図である。
図7に示すように、LED照明210と、コントローラ220とを有する。

【0065】
LED照明210は、複数のLEDを備えている。また、LED照明210は、投光部211の機能を実現する。
なお、本実施形態では、光照射装置200がLED照明210を有するようにしたが、これに限ることはなく、光を照射できるものであればよい。

【0066】
コントローラ220は、LED照明210を駆動させるための制御回路であり、制御部221の機能を実現する。

【0067】
<コンテンツサーバ>
コンテンツサーバ300は、ID情報と、ID情報に対応付けたコンテンツの情報とを格納するデータベースを有し、表示装置100からID情報を受信すると、ID情報に対応するコンテンツの情報を表示装置100に送信する。

【0068】
<テンプレートサーバ>
テンプレートサーバ400は、ID情報と、ID情報に対応付けた対象物のテンプレート画像のデータとを格納しており、表示装置100からID情報を受信すると、ID情報に対応する対象物のテンプレート画像のデータのいくつかを表示装置100に送信する。

【0069】
<管理PC>
管理PC500は、本実施形態ではパーソナルコンピュータであり、コンテンツサーバ300のデータベースを構築、編集、及び管理するために用いられる。また、管理PC500は、テンプレートサーバ400のID情報に対応する対象物のテンプレート画像のデータを構築、編集、及び管理するために用いられる。

【0070】
なお、本実施形態では、ID情報と、ID情報に対応付けたコンテンツの情報とを格納するデータベースをコンテンツサーバ300が有するようにしたが、これに限ることはなく、例えば、表示装置や他の端末や装置が有するようにしてもよい。
また、本実施形態では、ID情報と、ID情報に対応する対象物のテンプレート画像のデータをテンプレートサーバ400が有するようにしたが、これに限ることはなく、例えば、表示装置や他の端末や装置が有するようにしてもよい。

【0071】
以上説明したように、本発明の表示装置は、光を利用する光通信を用いて拡張現実による画像を表示可能な表示装置であって、光を受光する受光部と、光が対象情報の信号を含む場合に、ユーザの前景画像を撮像する撮像部と、撮像部が前景画像を撮像すると、前景画像から識別した対象物の位置に基づき、対象情報に応じた拡張現実による画像を表示する制御を行う制御部と、を有する。
これにより、本発明の表示装置においては、表示装置においては、受光した光に対象情報の信号を含んでいると判定して初めて撮像部が前景画像を撮像し、撮像した前景画像を画像解析処理して対象物を識別するため、拡張現実による画像を表示することができる。また、この表示装置は、光に対象情報の信号を含んでいると判定しない間は前景画像の撮像及び画像解析処理を行わない分、消費電力を低減することができる。

【0072】
また、本発明の表示システムは、例えば、本実施形態で示したように、博物館や美術館などの施設において展示物の説明を行うシステムに応用することができる。本発明の表示システムは、消費電力を低減できる本発明の表示装置を有することから、表示装置をユーザに貸し出しても、ユーザがバッテリーの減りを気にすることなく展示物を鑑賞することができる。

【0073】
なお、本実施形態では、表示システムを博物館や美術館などの施設において展示物の説明を行うシステムに応用したが、これに限ることはなく、例えば、ゲームなどに応用してもよい。
【符号の説明】
【0074】
10 表示システム
100 表示装置
111 受光部
120 MPU
122 第1の制御部
140 CPU
141 第2の制御部(制御部)
161 撮像部
180R,180L 骨伝導スピーカ
200 光照射装置
300 コンテンツサーバ
400 テンプレートサーバ
500 管理PC
図面
【図1】
0
【図2】
1
【図3】
2
【図4A】
3
【図4B】
4
【図5】
5
【図6】
6
【図7】
7
【図8】
8
【図9】
9