TOP > 国内特許検索 > 多重情報表示システム及びこれに用いる照光装置 > 明細書

明細書 :多重情報表示システム及びこれに用いる照光装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-157916 (P2017-157916A)
公開日 平成29年9月7日(2017.9.7)
発明の名称または考案の名称 多重情報表示システム及びこれに用いる照光装置
国際特許分類 H04N   5/74        (2006.01)
G09F   9/00        (2006.01)
G06F   3/0346      (2013.01)
G06F   3/0487      (2013.01)
G03B  21/14        (2006.01)
FI H04N 5/74 Z
G09F 9/00 366G
G06F 3/0346 422
G06F 3/0487
G03B 21/14 Z
請求項の数または発明の数 8
出願形態 OL
全頁数 16
出願番号 特願2016-037145 (P2016-037145)
出願日 平成28年2月29日(2016.2.29)
発明者または考案者 【氏名】佐藤 俊樹
【氏名】小池 英樹
出願人 【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
個別代理人の代理人 【識別番号】110001807、【氏名又は名称】特許業務法人磯野国際特許商標事務所
審査請求 未請求
テーマコード 2K203
5B087
5C058
5E555
5G435
Fターム 2K203FA62
2K203FA79
2K203FA82
2K203FA97
2K203FB03
2K203GB39
2K203GB44
2K203GB62
2K203GB69
2K203KA55
2K203KA69
2K203MA21
5B087AB09
5B087BC12
5B087BC13
5B087BC32
5B087DD05
5B087DD11
5C058BA05
5C058BA24
5C058EA51
5E555AA11
5E555BA29
5E555BB29
5E555BC01
5E555CA09
5E555CB51
5E555DA03
5E555DB53
5E555DC09
5E555DC13
5E555FA00
5G435AA01
5G435BB02
5G435BB05
5G435BB06
5G435BB12
5G435BB17
5G435CC09
5G435DD05
5G435DD06
5G435EE49
5G435GG46
5G435LL15
要約 【課題】多重情報表示システム及びこれに用いる照光装置を提供する。
【解決手段】プロジェクタ1によって投影された基本情報となる画像に重ねられて、スクリーン2上に赤外線光源3a,3bから照射された赤外線の領域D1,D2を、赤外線カメラ5がフレーム単位で赤外線ライト3,4ごとに捉える。
照射されている赤外線の領域D1,D2に一致する赤外線ライト3,4ごとに与えられている付加情報の画像を、プロジェクタ1によって投影されている画像と合成して重ねて、関連しているように表示する。
【選択図】図1
特許請求の範囲 【請求項1】
画像を表示する表示装置と、
前記画像の一定の領域を照射光によって照射する単数または複数の照光装置と、
前記照光装置で照射された場所を検出する赤外線カメラとを備えた多重情報表示システムであって、
前記照光装置は、固有の赤外線を照射する照射光源を含み、
前記表示装置は、前記赤外線カメラで捉えた照射された場所に照射光源ごとの異なる付加情報を表示する、多重情報表示システム。
【請求項2】
前記表示装置は、スクリーンに画像を投影するプロジェクタを含む投影装置であることを特徴とする、請求項1記載の多重情報表示システム。
【請求項3】
前記領域内の照射光の明るさによって前記表示される付加情報の輝度を変更する、請求項1または2記載の多重情報表示システム。
【請求項4】
前記照射光源の赤外線は、時間分割で他の照射光源の赤外線から判別されることを特徴とする、請求項1~3の何れか1項に記載の多重情報表示システム。
【請求項5】
前記照射光源の赤外線は、波長で他の照射光源の赤外線から判別されることを特徴とする、請求項1~3の何れか一項に記載の多重情報表示システム。
【請求項6】
前記照射光の照光範囲を可変としたことを特徴とする、請求項1~5の何れか一項に記載の多重情報表示システムに用いる照光装置。
【請求項7】
前記照射光の照光量を可変としたことを特徴とする、請求項1~6の何れか一項に記載の多重情報表示システムに用いる照光装置。
【請求項8】
前記照光装置は、個別に異なる付加情報を有することを特徴とする、請求項1~7の何れか一項に記載の多重情報表示システムに用いる照光装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、多重情報表示システム及びこれに用いる照光装置に関する。
【背景技術】
【0002】
従来、プロジェクタにより映像が投影されたスクリーンに対して別の不可視光の赤外線光を照射し、不可視光をスクリーン後方に設置したカメラで検出することにより、不可視光で照射された領域にだけ異なる映像を重ね合わせて表示するものが知られている。
【0003】
たとえば、ポインティングデバイスが投影面において指し示す位置を検出して、必要に応じて、投影された画像データを拡大することにより、細部まで表示できるようにしたものがある(例えば、特許文献1等参照)。
【先行技術文献】
【0004】

【特許文献1】特開2014-21933号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、このような従来の投影装置では、投影されている画像を拡大表示できるが、不可視光同士を判別できない。このため、複数の画像を重ね合わせたり、同時に表示させることは困難であった。
また、追加する情報が増えると、複数の画像が重なる。追加する情報の画像をスクリーンの空いている場所に投影しても、投影されている画像のどの部分と関係しているのか分かりづらいといった問題があった。
【0006】
そこで、本発明は、追加する付加情報の画像を投影されている画像に重ねて表示させることができる多重情報表示システム及びこれに用いる照光装置を提供することを課題としている。
【課題を解決するための手段】
【0007】
本発明に係る多重情報表示システムは、画像を表示する表示装置と、画像の一定の領域を照射光によって照射する単数または複数の照光装置と、照光装置で照射された場所を検出する赤外線カメラとを備えた多重情報表示システムであって、照光装置は、固有の赤外線を照射する照射光源を含み、表示装置は、赤外線カメラで捉えた照射された場所に照射光源ごとの異なる付加情報を表示する、多重情報表示システムを特徴としている。
【0008】
このような構成によれば、スクリーン上に照射光源から照射された照射光の場所を赤外線カメラが捉えると、照射光源ごとに固有の赤外線によって、何れの照光装置のものであるか判別することができる。
このため、照射されている領域に、照光装置ごとに異なる付加情報を表示させることができる。
【発明の効果】
【0009】
本発明によれば、追加する付加情報の画像を表示されている画像に重ねて表示することができる多重情報表示システム及びこれに用いる照光装置が提供される。
【図面の簡単な説明】
【0010】
【図1】実施形態の多重情報表示システムで、概念を示す模式的な斜視図である。
【図2】実施形態の多重情報表示システムで、要部の構成を示す模式的なブロック図である。
【図3】実施形態の多重情報表示システムで、処理の流れを示すフローチャートである。
【図4】実施例1の多重情報表示システムで、異なる言語を表示した様子を説明すする正面図である。
【図5】実施例2の多重情報表示システムで、人体の骨肉、臓器等を表示した様子を示す正面図である。
【図6】実施例5の多重情報表示システムで、立体物のスクリーンに対して複数のライトとカメラとを用いる概念を示す模式的な斜視図である。
【図7】実施例5の多重情報表示システムで、要部の構成を示す模式的なブロック図である。
【発明を実施するための形態】
【0011】
本発明の実施形態について、図1乃至図7を参照して詳細に示す。説明において、同一の要素には同一の番号を付し、重複する説明は省略する。

【0012】
図1は、実施形態の多重情報表示システム及びこれに用いる照光装置を示す模式的な斜視図である。
実施形態の多重情報表示システムSは、平面状のスクリーン2の略全面の領域Dに基礎情報としての画像を表示する表示装置としてのプロジェクタ1と、領域D中の画像中の一定の領域D1,D2を照射光によって照射する照光装置としての2台の赤外線ライト3,4と、赤外線ライト3,4で照射されたスクリーン2上の領域D1,D2の場所を検出する撮影部としての赤外線カメラ5とを備えている。
また、これらのプロジェクタ1と、赤外線カメラ5とは、制御部としての制御部10に接続されている。

【0013】
図2は、実施形態の多重情報表示システムSの要部の構成を示す模式的なブロック図である。

【0014】
プロジェクタ1の投影部は、制御部10からの画像データPdに基づいてスクリーン2に画像を投影する。
また、本実施形態の赤外線ライト3,4は、携帯可能な懐中電灯型の外観形状を呈している。赤外線ライト3,4は、内部にそれぞれ固有の赤外線を照射する照射光源としての赤外線光源3a,4aと、赤外線光源3a,4aを制御する発光制御部3b,4bと、通信部3c,4cとをそれぞれ含んでいる。

【0015】
ユーザは、赤外線ライト3,4の図示しないON,OFFスイッチにより、赤外線光源3a,4aを点灯または消灯させることができる。
このうち、点灯中の赤外線光源3a,4aは、発光制御部3b,4bによって周期的に点滅する。点滅の周期は、通信部3c,4cで受信したライト制御信号Lsに応じてタイミングが調整される。

【0016】
また、スクリーン2上では、プロジェクタ1によって投影された基礎情報の画像と赤外線ライト3,4で照射された領域とが重複した状態となっても、赤外線ライト3,4の照射光は、波長が可視光域から外れている。このため、ユーザからは赤外光で照射されている領域を目視できない。

【0017】
一方、赤外線カメラ5の撮像部は、赤外線ライト3,4の波長の照射光を検出することが出来る。このため、赤外線カメラ5は、赤外線ライト3,4で照射された領域が基礎となる画像に重複していても、可視光域の画像とは区別して捉えることができる。
赤外線カメラ5は、制御部10からのカメラ制御信号Csに応じて、撮像の開始および停止と、シャッタの開閉を行うように構成されている。そして、赤外線カメラ5は、撮像された撮像データCdを制御部10に出力するように構成されている。

【0018】
また、制御部10は、画像合成部21にて基礎情報である画像データに、異なる付加情報を合成した合成画像の画像データPdを生成し、プロジェクタ1に送信する。

【0019】
そして、プロジェクタ1は、生成された合成画像の画像データPd0に基づき、スクリーン2に画像を投影して表示する。これにより、赤外線カメラ5で捉えた赤外線光源3a,4aごとに照光されている領域D1,D2に、制御部10によって追加された異なる付加情報を重ね合わせて表示することができる。

【0020】
制御部10を構成するPCは、主にビデオカード等を含むGPU20と、CPU30と、記憶部40と、通信部としてのトランスミッタ11とを備えている。

【0021】
このうち、GPU20は、画像合成部21と、この画像合成部21にて合成する画像データを読み書き可能に記憶する記憶部22とを含む。
この記憶部22には、予め基礎情報となる画像データPdと、追加の付加情報となる各赤外線ライト3,4毎に割り振られたマスク画像のデータとが記憶されている。
そして、画像合成部21は、これらの画像データPdとマスク画像のデータとを合成して、プロジェクタ1に送る画像データPdを生成する。

【0022】
また、CPU30は、画像判定部31と、画像処理部32と、赤外線カメラ5に接続される撮影制御部33と、トランスミッタ11に接続されるライト制御部34とを含む。
画像判定部31は、アプリケーションを有している。アプリケーションでは、画像処理部32による画像処理の結果と撮像データCdとを合せて使用して、様々な判定を行う。

【0023】
画像処理部32は、赤外線カメラ5によって撮像された撮像データCdを直接、あるいは記憶部40に一時記憶して、後述するピクセルごとの処理を行い、画像判定部31において判定に使用可能なデータの状態となるように生成する。

【0024】
さらに、記憶部40は、画像処理部32にて処理される赤外線カメラ5によって撮像された撮像データCdを一時記憶して、画像処理部32の必要に応じて、生成されたデータを読み書き可能としている。

【0025】
トランスミッタ11は、赤外線ライト3,4側の通信部3c,4cとの間でデータ通信可能に構成されている。そして、トランスミッタ11は、ライト制御部34から送出されたライト制御信号Lsを、赤外線ライト3,4の通信部3c,4cとの間でやり取りする。本実施形態のデータ通信は、無線で行われているが有線で行われるように構成してもよい。

【0026】
[ライトの判別]
複数の異なる付加情報の画像を同時にスクリーン2に投影するためには、赤外線ライト3,4に固有の照射光を付与して、照射光が何れの赤外線ライトから照射されているものであるか判別しなければならない。
特に2つの照射光の領域D1,D2が重なる場合では、いずれの赤外線ライト3,4の照射光であるかを判別する必要がある。

【0027】
個々の赤外線ライト3,4に固有の赤外線を別々に認識できるように赤外線カメラ5で撮影する方法としては、たとえば、赤外線ライト3,4ごとに、照射光の波長を異ならせて固有の赤外線とする方法がある。
しかしながら、赤外線ライト3,4の波長の相違を認識させる方法では、複数の赤外線ライト3,4の照射光が重なると、判別が困難となる。

【0028】
このため、本実施形態では、赤外線カメラ5が接続されている制御部10に、通信部としてのトランスミッタ11が接続されていて、各赤外線ライト3,4にシャッタと同期させた時間分割のライト制御信号Lsを発信する。
そして、各赤外線ライト3,4の発光タイミングをずらすことより、異なるフレームに各赤外線ライト3,4から赤外線が照射されている画像を捉えて判別する。

【0029】
[信号の構成]
説明の容易化のため、赤外線ライト3,4等を4台用いる場合を例示する。
赤外線ライト3の1台についてのスイッチのon/offを1と0とによって表すと、4台並べた場合、4bitのように0000(全台消灯)や1111(全台点等)として、0か1かの1bitの数を4つ並べて表現できる。

【0030】
たとえば、1000は、1台目のみ点灯していて、他の2~4台目は消灯している状態となる。すなわち、一定の周期で、1000→0100→0010→0001→再び先頭の1000と、点灯、消灯状態を1台目から4台目まで順次変更して繰り返す。本実施形態では、100回/秒にて繰り返されるように構成されている。
これにより、1つ1つの赤外線ライト3等は、一定の周期で、かつ他の赤外線ライト4等が点灯していないタイミングで順番に点灯する。このため、個々の赤外線ライト3,4は、時間分割された固有の赤外線を発光することができる。
したがって、波長を異ならせて固有の赤外線を発光させたり、波長の相違を認識させる必要がない。

【0031】
[信号送信側の動作]
スクリーン2上に照射されている赤外線ライト3の照射光を赤外線カメラ5で撮影すると、制御部10の記憶部40に一時記憶された観測結果の撮像データCdに基づいて、画像処理部32は、同期する赤外線のライト制御信号Lsを生成する。
そして、画像処理部32は、全てのライトに対して一定の周期で、1000→0100→0010→0001→再び1000と繰り返すライト制御信号Lsをライト制御部34から出力させる。

【0032】
各赤外線ライト3,4等の発光と同時に、画像処理部32は、撮影制御部33にカメラ制御信号Csを送出して赤外線カメラ5のシャッタは開放される。赤外線カメラ5は、シャッタスピード分の時間(例えば1/100秒)が経過した後、シャッタを閉じる。
そして、撮像されたカメラ画像は、対応して点灯された各赤外線ライト3,4等の番号に関連づけられて、記憶部40に書き込まれる。

【0033】
[信号受信側の動作]
赤外線ライト3,4等は、通信部3cによって制御部10側のトランスミッタ11からの通信を受信する。
そして、ライト制御信号Lsの中から自分の番号に対応するビットを確認して、0(消灯)か1(点灯)かを取得する。

【0034】
たとえば、信号が0の場合は、発光制御部3bが赤外線光源3aをOFFとして消灯する。また、信号が1の場合は、発光制御部3bが赤外線光源3aをONとして点灯させる。発光制御部3bは、赤外線カメラ5のシャッタスピード分の時間に対応する所定の時間、赤外線光源3aを点灯させる。そして、点灯開始から所定の時間が経過した後に、再び赤外線光源3aをOFFとして消灯させる。

【0035】
これにより、複数の赤外線ライト3等の0(消灯)か1(点灯)かを赤外線カメラ5のフレーム単位で制御することができる。そして、点灯している時間を各赤外線ライト3等の固有の時間とすることにより、複数の赤外線ライト3等の識別を可能としている。本実施形態では、30フレーム/秒のレートにて同期するようにシャッタ周期および赤外線ライト3等の点灯周期が設定されている。

【0036】
[画像の合成]
画像合成部21は、基礎情報を含む画像データPd0と付加情報を含むマスク画像のデータとを合成して、プロジェクタ1に送る画像データPdを生成する。
本実施形態では、スクリーン2に投影される基礎情報となる画像データPd0に対して、赤外線ライト3等を4台用いる場合、各赤外線ライト3,4…ごとにマスク画像を割り当てて、合成された画像データPdを得ることができる。

【0037】
すなわち、ここで、各ライト画像の画素値をlight0, light2, light3, light4とする。
以下、画素値は0.0~1.0の範囲の値とする。0.0は完全に黒、1.0は完全に白の光の強さを示す。基礎情報となる画像データの画素値をfrontとする。
また、各ライト毎に異なるマスク画素値をback0, back1, back2, back3とする。

【0038】
そして、出力画素値pixelColorは、以下の様に計算する:
alphaSum = alpha0 + alpha1 + alpha2 + alpha3;
power0 = alpha0 / alphaSum;
power1 = alpha1 / alphaSum;
power2 = alpha2 / alphaSum;
power3 = alpha3 / alphaSum;
ここで、powerは各ライト毎の照光の強さの割合を示す。
color0 = front * power0 + back0 * (1.0 - power0);
例えばpowerが50%の場合、 (0.5 * 前面 + 0.5 * 背面)となる。

【0039】
color1 = front * power1 + back1 * (1.0 - power1);
color2 = front * power2 + back2 * (1.0 - power2);
color3 = front * power3 + back3 * (1.0 - power3);
pixelColor = color0 + color1 + color2 + color3;
出力画像のすべての画素(ピクセルとも記す)に対して、上記計算が行われる。
RGB3chのカラー画像の場合、各画素のr, g, b値に対して上記計算が行われる。

【0040】
このように、本実施形態の多重情報表示システムSでは、追加する付加情報をマスク画像として、投影されている基礎情報となる画像データPdと重ね合わせる際、表示比率を調整することができる。
例えば、画像データPd側の比率を減少もしくは無くして投影することができる。
したがって、スクリーン2上の画像データPdを減少させたもしくは無くした領域D1,D2にマスク画像を明瞭に投影でき、付加情報を良好な視認性で表示させることができる。

【0041】
しかも、本実施形態の多重情報表示システムSでは、各赤外線ライト3,4毎の照光の強さの割合を出力画像のすべての画素(ピクセル)ごとに調整することができる。
このため、たとえば赤外線ライト3,4で照光された領域の中心部では明るく(強く)、周縁部では暗く(弱く)等、合成するマスク画像を調整することができる。

【0042】
また、基礎情報となる画像データPdと、重ね合せられたマスク画像との配合比率は画素単位で調整できる。このため、画像の動きや遷移に併せて徐々に表示される付加情報の輝度を変更するようにしてもよい。

【0043】
次に、本実施形態の多重情報表示システムSの作用効果について説明する。
図3は、実施形態の多重情報表示システムSで、処理の流れを示すフローチャートである。

【0044】
まず、プロジェクタ1を用いてスクリーン2へ画像データPd0の投影を開始する。
ステップS1にて、起動された制御部10のライト制御部34からのライト制御信号Lsに合せて赤外線ライト3,4は、交互に点灯、消灯を繰り返す(ライト点滅)。

【0045】
ステップS2にて、撮影制御部33からのカメラ制御信号Csに合せて、赤外線カメラ5のシャッタを周期的に切り、赤外線画像を撮像する。
撮影制御部33からのカメラ制御信号Csは、ライト制御部34からのライト制御信号Lsと同様に、CPU30の画像処理部32による処理に基づいて生成されて送られて来る。このため、赤外線ライト3,4の点滅と、赤外線カメラ5のシャッタとを同期させることができる。

【0046】
本実施形態では、赤外線カメラ5のシャッタタイミングに合わせて、シャッタを切る直前にライト制御信号Ls、すなわち、各ビッドを赤外線ライト3,4等のON/OFFに対応させた数ビットのON/OFF同期信号がトランスミッタ11から、全て赤外線ライト3,4等に送信される。

【0047】
ステップS3にて、赤外線カメラ5の画像を画像処理部32のプログラム上で画像処理する。記憶部40には、赤外線カメラ5からの各赤外線ライト3,4等毎の画像がフレームごとに区分されて、記憶されている。
画像処理部32では、赤外線光源3a,4aの照射タイミングの周期に一致するフレームを読み出して、画像処理を行う。赤外線カメラ5のシャッタタイミングは、赤外線光源3a,4aそれぞれの発光タイミングと同期している。
このため、確実に何れの赤外線ライト3または4による赤外線の照射領域の画像であるかを判別することができる。

【0048】
また、このとき、個々の赤外線ライト3,4による照光領域の位置、面積、照度などの情報が画像処理部32にて各々計算される。また、複数の赤外線ライト3,4による照光領域が存在する場合は、相対位置関係を計算にて求めるようにしてもよい。

【0049】
ステップS4にて、画像判定部31は、得られた赤外線画像と画像処理部32による画像処理の結果とを合せて使用して様々な判定を行うことができる。
たとえば、アプリケーションがライトを使ったゲームであった場合、画像判定部31は、位置などの情報に基づいて領域D1,D2同士の衝突等の判定を行う。この処理は、アプリケーション上にて行われる。判定を行う必要がない場合は、このステップS4を行わなくてもよい。

【0050】
ステップS5にて、GPU20の画像合成部21は、予め記憶部22に記憶されている付加情報を画像に合成する。
合成は、赤外線ライト3,4側の画像をマスクとして使用する。このため、全面および背面の画像データPdに、すなわちライトの重ね合わせに応じた複数枚のマスク画像の画像データがここで合成される。
このステップS5では、GPU20による演算にて、赤外線ライト3,4に関連付けられているマスク画像をどの位置に、どのような輝度(強さ)で最終的にどのようにスクリーン2に投影されるかについて、予め決定される。

【0051】
この演算は、たとえば、陰影処理を行うコンピュータプログラムであるシェーダプログラム等によって実行されて、GPU20にて、色彩や明度、輝度を徐々に変化させたり、あるいは陰影(グラディエーション)をつけることが行われる。

【0052】
ステップS6にて、合成画像を再びプロジェクタ1を用いてスクリーン2に投影する。
そして、処理は再びステップS1に戻り、ステップS1~ステップS6が繰り返される。

【0053】
このように構成された実施形態の多重情報表示システムSによれば、スクリーン2上に照射光源から照射された赤外線の領域D1,D2を赤外線カメラ5がフレーム単位で赤外線ライト3,4等ごとに捉えることができる。
時間分割されているフレームでは、同期して発光、照射された赤外線が赤外線ライト3,4等ごとに固有のものとして判別することができる。

【0054】
このため、赤外線の照射された領域D1,D2に一致する赤外線ライト3,4ごとに与えられている付加情報の画像を、プロジェクタ1によって投影されている画像と個別に合成して重ねて、関連しているように表示することができる。
この際、複数の異なる赤外線ライト3,4から赤外線が照射されている領域D1,D2が重複していても、合成画像では、優先される画像をピクセル単位で比率を調整して表示することができる。

【0055】
特に、本実施形態の赤外線ライト3,4は、円錐状に拡散される所定の立体角を有する赤外光によって、ポインティングデバイスに比べて広い領域を照射可能である。このため、比較的頻繁に赤外線の照射された領域D1,D2同士が重なることも想定される。しかしながら、このような場合でも、何れかの画像を優先させて、付加情報の内容を目視可能な状態で表示することができる。したがって、優先度の低い情報の領域が優先度の高い情報の領域に広い範囲で重なっても、優先度の高い情報の表示の妨げとはならない。

【0056】
このように、赤外線ライト3,4ごとに異なる付加情報を重ねて同時に投影させることが可能となる。したがって、追加する情報が増えても、複数の画像を重ねることにより、一枚のスクリーン2の上に投影することができる。しかも、投影されている基礎情報の画像のどの部分と関係している付加情報の画像であるか位置的に分かりやすい。

【0057】
[実施例1]
図4は、実施例1の多重情報表示システムで、異なる言語を表示した様子を示す正面図である。
基礎情報となる画像データの画像Aは、英文の文章であり、マスク画像Bは、英文に対応する翻訳がなされた日本語の文章である。

【0058】
図1に示すように1人のユーザが赤外線ライト3を用いて、スクリーン2の領域Dに投影されている英文の文章のうち、翻訳したい部分の領域D1を照光する。
図4に示すように領域D1では照光された領域の画像Aは、マスク画像Bが重ねられるように差代えられて、プロジェクタ1から投影される。
このため、照光された英文の文章の一部をなぞらえると、領域D1内に順次日本語に翻訳された文章の状態でマスク画像Bが表示される。

【0059】
このとき、別のユーザが赤外線ライト4を用いて、スクリーン2上を照射することにより、照射された領域の文章が別の言語に翻訳されたように、他の言語のマスク画像が重ねられて表示される。
よって、複数の言語の翻訳文を1つのスクリーン2上にて表示することができる。

【0060】
さらに、照射された領域D1内の照射光の明るさによって投影される付加情報の輝度を変更することができる。
たとえば、照射光が重複する場合、優先して投影する必要がある言語の赤外線ライト3等の照度を高くする。これにより、表示される付加情報の輝度を重要度ごとに調整して多重に表示することができる。また、照射光が重複する場合、輝度に応じて最も優先する言語のみをマスク画像として表示させてもよい。

【0061】
この実施例1では、照光の強さに対応させて、マスク画像B中心部分を明るく(強く)、周縁部では比較的暗く(弱く)等、徐々に変化させて合成することができる。
また、この実施例1では、マスク画像Bの周辺の画像Aを比較的暗く(弱く)して、合成することができる。このとき、暗くなる部分同士を重複させてもよい。
このため、赤外線ライト3,4による照光によって、円錐状に拡散される光学的特性の照射光を有する懐中電灯によって照らしているかのような視覚効果を得られる。

【0062】
[実施例2]
図5は、実施例2の多重情報表示システムSで、人体の骨肉、臓器等を表示した様子を示す正面図である。
実施例2では、基礎情報となる画像データPdの画像Eは、人体の外観を表す画像であり、マスク画像Fとして人体の骨格の画像、マスク画像Gとして内臓器の画像が割り振られている。

【0063】
この実施例2の赤外線ライト3,4は、照射光のスクリーン2への照光範囲を可変とするため、円錐状に拡散される赤外線光の立体角を、手元の図示しないスイッチの操作によって所定の範囲内で変更できるように構成されている。
また、この実施例2の赤外線ライト3,4は、照射光のスクリーン2への照光の照光量を手元の図示しないスイッチの操作で変更可能としている。
このため、スクリーン2までの距離に拘らず、所望の強さの照射光を所望の大きさの領域に照射することができる。

【0064】
図1に示すように1人のユーザが赤外線ライト3を用いて、スクリーン2に投影されている人体の画像Eのうち、上半身部分を比較的広い領域D1を大きく設定された立体角の赤外線光にて上半身部分を照光する。
制御部10は、人体の画像Eに骨格の画像Fを合成して、スクリーン2に投影する。

【0065】
このとき、もう一人のユーザが赤外線ライト4を用いて、比較的狭い立体角に設定された赤外線光にて、人体の画像Eの胸部の領域D2を照光する。これにより、ピンポイントで心肺部分の画像Gが領域D2内で合成されてスクリーン2に投影される。
このため、骨格が全て画像Gによって隠されてしまうことなく、骨格の位置と臓器の位置とが関連づけられて表示されて、共通の認識に則した理解を深める事が出来る。

【0066】
また、赤外線ライト3,4の照射光のスクリーン2への照光量が可変であるため、広い立体角の赤外線光にて照光を行う場合がある。また、スクリーン2までの距離が離れていたり、あるいは斜めに照射する場合がある。これらの場合でも、本実施形態の多重情報表示システムSでは、赤外線カメラ5にて検出可能な光量を確保してマスク画像を表示させることができる。

【0067】
さらに、赤外線ライト3,4は、手元の図示しないスイッチの操作によって所定の範囲内で照光する領域D1,D2を変更できるように構成されている。
このため、たとえば他の表示量とのバランスを考慮する等、必要に応じて、狭い範囲や広い範囲の追加情報を表示しやすい。

【0068】
また、赤外線ライト3,4の数を増やして、付加情報として、血管を含む循環器系、筋肉、脂肪、内分分泌系、神経系等の画像や病巣等の要治療箇所を重ね合わせて表示するようにしてもよい。
この際、赤外線ライト3,4は、照射光のスクリーン2への照光範囲を変更可能であるため、円錐状に拡散される赤外線光の立体角を狭く設定することにより、追加される付加情報の種類が増大しても、1枚のスクリーン2内に収めることができる。

【0069】
[実施例3]
また、デジタルサイネージ等にて、懐中電灯型の赤外線ライト3,4で照らして探す、探ることで新しい情報や隠された情報を得るようにしてもよい。特に赤外線ライト3,4毎に異なる画像(映像を含む)を提示可能であるので、多人数で赤外線ライト3,4…を重ね、その重ね合せの数に応じた効果が表示されたりする等の協力の結果を視覚化するなど協力要素を付加することが可能である。

【0070】
[実施例4]
また、本実施形態の多重情報表示システムSでは、スクリーン2に投影された基礎となる画像の中から、赤外線ライト3等で照射した領域を赤外線カメラ5にて直接検出している。
このため、照光されている領域の位置検出精度は、たとえばジャイロなどを用いて三次元位置や姿勢を推測するものと比して、ピクセル単位で検出可能であるため良好である。
したがって、赤外線ライトを入力手段として使用したゲームのアプリケーションでは、当たり判定処理の精度をさらに向上させることができる。

【0071】
たとえば、図示しないテーブル型スクリーンを複数人で囲んで、懐中電灯型の赤外線ライト3,4と比較してさらに小型のペン型の赤外線ライトを用いる。
テーブル型スクリーンには、共通する情報を投影してその上から各ペン型の赤外線ライトに割り当てられた情報を、赤外線ライトにてかざすことにより、付加情報を表示させることが可能である。このため、テーブル型スクリーンを複数人で囲んだミーティング等に用いることで業務効率の向上を図ることができる。

【0072】
[実施例4]
壁、天井、床が全てスクリーンになった空間で懐中電灯型の赤外線ライト3,4を持った複数のユーザが部屋内を自由に歩き廻りながら、コンテンツの中のキャラクターを探すなどのインタラクションに利用可能である。

【0073】
[実施例5]
図6は、この発明の実施形態の実施例5の多重情報表示システムで、立体物のスクリーンに対して複数のライトとカメラとを用いる概念を示す模式的な斜視図である。また、図7は、実施例5の多重情報表示システムで、要部の構成を示す模式的なブロック図である。

【0074】
なお、実施形態と同一乃至均等な部分については、同一符号を付して説明を省略する。
この実施例5の多重情報表示システムSでは、2台のプロジェクタ1a,1bと、2台の赤外線カメラ5a,5bとを備えている。
そして、制御部10と2台の赤外線カメラ5a,5bとの間には、トリガユニット35が接続されていて、2台の赤外線カメラ5a,5bのシャッタ周期の同期を取るトリガ信号Tsを送出するように構成されている。

【0075】
また、本実施形態では、スクリーン2に換えて立体物102が投影対象物となっている。ここでは、立方体の立体物の複数の面、たとえば、正面側と裏面側や、左,右側面等に異なる情報を投影可能である。

【0076】
このような立体物102に対しても実施形態と同様に、複数の懐中電灯型の赤外線ライト3,4等を使用して周囲から複数のユーザが立体物102に対して照射光を向けるようにしてもよい。
この場合、実施形態の作用効果に加えてさらに、立体物102の一側面だけでなく反対側の他側面にも多彩な付加情報を表示させることが可能となる。

【0077】
しかも、追加する付加情報の画像を、立体物102へ投影されている画像に重ねて投影することができる。
このため、必要な情報の領域を直接、懐中電灯型の赤外線ライト3,4を使用して照光することにより、立体物102の照光された領域に関連する情報を、その場所に提示させることが可能である。したがって、ユーザは、立体物102の各側面にて異なる情報を見ることができる。

【0078】
他の構成、および作用効果については、実施形態と同一乃至均等であるので、説明を省略する。

【0079】
上述してきたように、本実施形態および実施例の多重情報表示システムSでは、赤外線ライト3,4等が複数存在していて、照光される領域が重なり合っていても、赤外線ライト3,4等を1つ1つ順番に点灯させて固有の発光パターンを与えることができる。これにより、個々の赤外線ライト3,4等によって照光された領域を別々の画像として検出可能である。

【0080】
また、赤外線ライト3,4等の数が多い場合でも赤外線カメラ5のフレームレートを高めることにより別々の画像として検出可能である。

【0081】
さらに、赤外線ライト3,4等の間の距離が離れているものを同時に点灯させることにより、それぞれ固有の赤外線であると認識させることが出来、フレームレートの低下を防ぐこともできる。

【0082】
しかも、赤外線カメラ5で撮影された赤外線ライト3,4ごとの赤外線映像は、制御部10の記憶部40からCPU30に送られて、輝度と重なりとが演算される。演算データは、GPU20に送られてピクセル単位で、予め記憶部22に記憶されていた追加される付加情報の映像データと合成されて、対応する画像データPdとなる。画像データPdはプロジェクタ1に送られて、スクリーン2上に所望の画像を表示することができる。

【0083】
以上、本実施形態に係る多重情報表示システムS及びこれに用いる照光装置について詳述してきたが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。

【0084】
例えば、本実施形態では、照光装置として赤外線ライト3,4等を用いたものを示して説明してきたが特にこれに限らず、不可視光を照光できるライトであればどのような光源の種類のライトであってもよい。

【0085】
また、本実施形態では、画像を表示する表示装置として、スクリーン2上に画像を投影して表示するプロジェクタ1を示して説明してきたが特にこれに限らず、アナログブラウン管(CRT)、プラズマディスプレイ装置(PDP)、液晶パネル表示装置(LCD)や、有機ELパネル表示装置など、どのような表示装置であってもよい。

【0086】
そして、本実施形態では、平面状のスクリーン2を、実施例5では、立体物102からなる立方体形状の多面体の外側面をスクリーンとして用いているが、特にこれに限らず、建物の内外壁や、噴水を膜状のスクリーンとするもの等、画像を投影するものであれば、スクリーンの凹凸や曲面を含む形状、数量、角度、曲率、および材質が特に限定されるものではなく、立体物の種類も、正四面体、正六面体、正八面体、正十二面体、正二十面体の五種類の正多面体および他の多面体を含む多面体や、球体、半球体等の球体とこれらの多面体と球面体の組み合わせ等、形状、数量および材質が特に限定されるものではない。

【0087】
さらに、実施例5では、2台の赤外線ライト3,4と、2台のプロジェクタ1a,1bと、2台の赤外線カメラ5a,5bとを備えている多重情報表示システムSを示して説明してきたが、特にこれに限らず、各1台以上の複数台であってもよく、赤外線ライト3等とプロジェクタ1a等と赤外線カメラ5a等との台数が一致していなくてもよい。

【0088】
また、実施形態では、赤外線カメラ5のシャッタスピード等が30フレーム/秒のレートにて同期させるように設定されている。しかしながら、特にこれに限らず、たとえば16フレーム/秒、24フレーム/秒、60フレーム/秒等、他のレートであっても、赤外線ライト3,4の発光と同期するものであればよい。

【0089】
さらに、実施形態では、赤外線ライト3,4に、それぞれ時間分割された固有の赤外線を照射する赤外線光源3a,3bが一つずつ設けられたものを例示して説明してきたが特にこれに限らない。たとえば、一つの赤外線ライト3に、2つ以上、複数の赤外線光源3a,3bを設けて、周期的に発光させるようにしてもよい。
この場合、ユーザは、追加したい付加情報の赤外線光源3a,3bを手元のスイッチなどによって選択して、ON,OFFすることにより、所望の画像を一人で容易に合成して、スクリーン2に投影して表示させることができる。
【符号の説明】
【0090】
1,1a,1b プロジェクタ(表示装置)
2 スクリーン
3,4 赤外線ライト(照光装置)
3a,4a 赤外線光源(照射光源)
3b,4b 発光制御部
3c,4c 通信部
5,5a,5b 赤外線カメラ(撮影部)
10 制御部
11 トランスミッタ(通信部)
20 GPU
21 画像合成部
22,40 記憶部
30 CPU
31 画像判定部
32 画像処理部
33 撮影制御部
34 ライト制御部
102 立体物(スクリーンの一つ)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6