TOP > 国内特許検索 > 画像投影システム、プログラム及び画像投影方法 > 明細書

明細書 :画像投影システム、プログラム及び画像投影方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2018-042230 (P2018-042230A)
公開日 平成30年3月15日(2018.3.15)
発明の名称または考案の名称 画像投影システム、プログラム及び画像投影方法
国際特許分類 H04N   5/74        (2006.01)
G03B  21/10        (2006.01)
G09G   5/00        (2006.01)
G09G   5/377       (2006.01)
G06F   3/042       (2006.01)
FI H04N 5/74 Z
G03B 21/10 Z
G09G 5/00 510B
G09G 5/00 550C
G09G 5/00 530M
G09G 5/36 520L
G09G 5/00 510H
G06F 3/042 473
G09G 5/36 520M
請求項の数または発明の数 8
出願形態 OL
全頁数 16
出願番号 特願2017-016707 (P2017-016707)
出願日 平成29年2月1日(2017.2.1)
優先権出願番号 2016171768
優先日 平成28年9月2日(2016.9.2)
優先権主張国 日本国(JP)
発明者または考案者 【氏名】藤波 香織
【氏名】小坂 真美
出願人 【識別番号】504132881
【氏名又は名称】国立大学法人東京農工大学
個別代理人の代理人 【識別番号】100090398、【弁理士】、【氏名又は名称】大渕 美千栄
【識別番号】100090387、【弁理士】、【氏名又は名称】布施 行夫
審査請求 未請求
テーマコード 2K203
5C058
5C182
Fターム 2K203FA73
2K203FA83
2K203FB03
2K203GB39
2K203GB62
2K203KA56
2K203KA83
2K203KA85
2K203MA40
5C058BA24
5C058BA35
5C058BB25
5C058EA01
5C058EA32
5C058EA38
5C182AA04
5C182AC02
5C182AC03
5C182BA01
5C182BA14
5C182BA30
5C182BA65
5C182BA68
5C182CA11
5C182CA33
5C182CB47
5C182CB52
5C182CB54
要約 【課題】入力パネルに接触した物体の接触面の色や模様を取得することが可能な画像投影システム等を提供すること。
【解決手段】画像投影システムは、光源からの赤外光を内部に導波させる入力パネルと、入力パネルの背面側に重ねて配置された投影スクリーンと、入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、投影スクリーンに画像を背面側から投影するプロジェクタと、入力パネルを背面側から撮像する可視光カメラと、処理部とを備える。処理部は、投影用の元画像を生成し、赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成し、元画像とマスク画像とを合成して合成画像を生成し、合成画像をプロジェクタに送信して投影させ、可視光カメラで撮像された可視光画像とマスク画像とを合成して接触部分に対応する領域の画像を抽出した接触面画像を生成し、接触面画像に基づいて新たな元画像を生成する。
【選択図】図1
特許請求の範囲 【請求項1】
光源からの赤外光を内部に導波させる入力パネルと、
前記入力パネルの背面側に重ねて配置された投影スクリーンと、
前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、
前記投影スクリーンに画像を背面側から投影するプロジェクタと、
前記入力パネルを背面側から撮像する可視光カメラと、
処理部と、を備えた画像投影システムであって、
前記処理部は、
投影用の元画像を生成する元画像生成部と、
前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成部と、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部と、を含み、
前記元画像生成部は、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成部は、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影システム。
【請求項2】
請求項1において、
前記プロジェクタは、
前記合成画像の投影が完了した場合に、通知情報を前記処理部に送信し、
前記撮像制御部は、
前記通知情報を受信した場合に、前記可視光カメラに撮像を行わせる、画像投影システム。
【請求項3】
請求項1において、
前記撮像制御部は、
前記可視光画像のうち前記接触部分に対応する領域を前記合成画像における当該領域と同一色にした画像と前記合成画像とを比較して差分を算出し、算出した差分が許容範囲内となるまで、前記可視光カメラによる撮像を繰り返し行わせる、画像投影システム。
【請求項4】
請求項1において、
前記撮像制御部は、
前記合成画像を前記プロジェクタに送信してから所定時間経過後に、前記可視光カメラに撮像を行わせる、画像投影システム。
【請求項5】
請求項1乃至4のいずれか1項において、
前記元画像生成部は、
前記入力パネルに接触した前記物体の移動軌跡を前記接触面画像の色又は模様を用いて描画した画像を前記元画像として生成する、画像投影システム。
【請求項6】
請求項1乃至5のいずれか1項において、
前記入力パネルに対する前記物体の接触を検出するための圧力センサを更に備え、
前記マスク画像生成部は、
前記入力パネルに対する前記物体の接触が検出された場合に、前記赤外線画像を第1の閾値で2値化してマスク画像を生成し、生成したマスク画像における白画素の数が所定値未満である場合に、前記赤外線画像を前記第1の閾値未満の第2の閾値で2値化してマスク画像を再度生成する、画像投影システム。
【請求項7】
光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムのためのプログラムであって、
投影用の元画像を生成する元画像生成部と、
前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成部と、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部としてコンピュータを機能させ、
前記元画像生成部は、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成部は、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、プログラム。
【請求項8】
光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムで実行される画像投影方法であって、
投影用の元画像を生成する元画像生成ステップと、
前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成ステップと、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成ステップと、
前記合成画像を前記プロジェクタに送信して投影させる投影制御ステップと、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御ステップと、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成ステップと、を含み、
前記元画像生成ステップでは、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成ステップでは、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像投影システム、プログラム及び画像投影方法に関する。
【背景技術】
【0002】
非特許文献1には、任意の物体を入力に用いるデジタルペイントシステムが開示されている。このシステムは、FTIRを応用した物体接触形状取得機能と背面透過型プロジェクタを用いた出力機能を備えている。
【先行技術文献】
【0003】

【非特許文献1】小坂真美、藤波香織、「任意物体を用いたデジタルペイントシステムUnicrePaintにおける入出力パネルの改良とユーザ評価」、情報処理学会インタラクション2016、2016年3月4日、p.1016-1021
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献1に開示されたデジタルペイントシステムでは、入力パネル(投影面)に置かれた物体の接触形状を取得できるものの、当該物体の接触面の色や模様を取得することはできなかった。
【0005】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、入力パネルに接触した物体の接触面の色や模様を取得することが可能な画像投影システム等を提供することにある。
【課題を解決するための手段】
【0006】
(1)本発明は、光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、処理部と、を備えた画像投影システムであって、前記処理部は、投影用の元画像を生成する元画像生成部と、前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成部と、前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部と、を含み、前記元画像生成部は、前記接触面画像に基づいて前記元画像を生成し、前記合成画像生成部は、前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影システムに関する。
【0007】
また、本発明は、光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムのためのプログラムであって、投影用の元画像を生成する元画像生成部と、前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成
するマスク画像生成部と、前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部としてコンピュータを機能させ、前記元画像生成部は、前記接触面画像に基づいて前記元画像を生成し、前記合成画像生成部は、前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、プログラムに関する。また、本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記プログラムを記憶した情報記憶媒体に関係する。
【0008】
また、本発明は、光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムで実行される画像投影方法であって、投影用の元画像を生成する元画像生成ステップと、前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成ステップと、前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成ステップと、前記合成画像を前記プロジェクタに送信して投影させる投影制御ステップと、前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御ステップと、前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成ステップと、を含み、前記元画像生成ステップでは、前記接触面画像に基づいて前記元画像を生成し、前記合成画像生成ステップでは、前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影方法に関する。
【0009】
本発明によれば、投影用の元画像とマスク画像を合成して、投影時に物体と入力パネルとの接触部分に対応する領域が可視光カメラから見て単色になるような合成画像を生成して投影させ、可視光カメラで撮像した可視光画像から接触部分に対応する画像を抽出することで、プロジェクタの投影光による影響を排除して、当該物体の接触面の色や模様を取得することができる。
【0010】
(2)また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記プロジェクタは、前記合成画像の投影が完了した場合に、通知情報を前記処理部に送信し、前記撮像制御部は(前記撮像制御ステップでは)、前記通知情報を受信した場合に、前記可視光カメラに撮像を行わせてもよい。
【0011】
本発明によれば、合成画像の投影が完了する前に可視光カメラにより撮像された可視光画像を取得してしまうことを防止することができる。
【0012】
(3)また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記撮像制御部は(前記撮像制御ステップでは)、前記可視光画像のうち前記接触部分に対応する領域を前記合成画像における当該領域と同一色にした画像と前記合成画像とを比較して差分を算出し、算出した差分が許容範囲内となるまで、前記可視光カメラによる撮像を繰り返し行わせてもよい。
【0013】
本発明によれば、プロジェクタが通知機能を備えていない場合や、処理部が通知を受け付ける機能を備えていない場合であっても、合成画像の投影が完了する前に可視光カメラにより撮像された可視光画像を取得してしまうことを防止することができる。
【0014】
(4)また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記撮像制御部は(前記撮像制御ステップでは)、前記合成画像を前記プロジェクタに送信してから所定時間経過後に、前記可視光カメラに撮像を行わせてもよい。
【0015】
本発明によれば、プロジェクタが通知機能を備えていない場合や、処理部が通知を受け付ける機能を備えていない場合であっても、合成画像の投影が完了する前に可視光カメラにより撮像された可視光画像を取得してしまうことを防止することができる。
【0016】
(5)また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記元画像生成部は(前記元画像生成ステップでは)、前記入力パネルに接触した前記物体の移動軌跡を前記接触面画像の色又は模様を用いて描画した画像を前記元画像として生成してもよい。
【0017】
本発明によれば、入力パネルに接触した物体の接触形状のみならず、当該物体の接触面の色や模様を用いて描画することが可能なデジタルペイントを実現することができる。
【0018】
(6)また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記入力パネルに対する前記物体の接触を検出するための圧力センサを更に備え、前記マスク画像生成部は、前記入力パネルに対する前記物体の接触が検出された場合に、前記赤外線画像を第1の閾値で2値化してマスク画像を生成し、生成したマスク画像における白画素の数が所定値未満である場合に、前記赤外線画像を前記第1の閾値未満の第2の閾値で2値化してマスク画像を再度生成してもよい。
【0019】
本発明によれば、入力パネルに接触した物体の接触面の形状及び色や模様を精度良く取得することができる。
【図面の簡単な説明】
【0020】
【図1】第1の実施形態に係る画像投影システムの構成を模式的に示す図である。
【図2】第1の実施形態における入力パネルの構成の一例を示す側面図である。
【図3】第1の実施形態に係る画像投影システムの機能ブロック図の一例である。
【図4】比較例について説明するための図である。
【図5】第1の実施形態における画像投影システムの処理の流れを示すフローチャートである。
【図6】元画像、マスク画像、補正用画像、補正後のマスク画像及び合成画像の一例を模式的に示す図である。
【図7】合成画像を投影スクリーンに投影したときの投影画像を模式的に示す図である。
【図8】可視光画像及び接触面画像の一例を模式的に示す図である。
【図9】物体の移動軌跡を当該物体の色又は模様で描画して生成した元画像及び合成画像を模式的に示す図である。
【図10】プロジェクタによる投影と可視光カメラによる撮影のタイミングについて説明するための図である。
【図11】可視光カメラによる撮像をプロジェクタによる投影完了後に行う第2の手法について説明するための図である。
【図12】第2の実施形態における入力パネルの構成の一例を示す側面図である。
【図13】第2の実施形態における画像投影システムの処理の流れを示すフローチャートである。
【図14】赤外線画像と、赤外線画像を2値化したマスク画像の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0022】
(第1の実施形態)
図1は、第1の実施形態に係る画像投影システムの構成を模式的に示す図である。画像投影システム1は、光源からの赤外光を内部に導波させる入力パネル10と、入力パネル10の背面側に重ねて配置された投影スクリーン20と、入力パネル10の表面に接触した物体Bにより生じた散乱光を背面側から撮像する赤外線カメラ30と、投影スクリーン20に画像を背面側から投影するプロジェクタ40と、入力パネル10を背面側から撮像する可視光カメラ50(RBGカメラ)と、処理部100と、を含む。プロジェクタ40の投影範囲と赤外線カメラ30及び可視光カメラ50の撮像範囲は凡そ一致している。利用者Uが任意の物体Bを入力パネル10に載せる(接触させる)と、物体Bの接触面の形状、色、模様(文字を含む)に応じた画像が投影スクリーン20に投影され、利用者Uは、その投影画像を入力パネル10の表面側から観察することができる。

【0023】
図2は、第1の実施形態における入力パネル10の構成の一例を示す側面図である。入力パネル10は、赤外光の全反射現象(FTIR:Frustrated Total Internal Reflection)を利用した透明なパネルであり、空気よりも屈折率の高い透明板11(例えば、透明アクリル板)から構成される。透明板11の各辺の側面に対向する位置には、赤外線光源12(例えば、赤外線LED)が配置される。また、FTIRの感度を向上するため、透明板11の表面には、シート状の透明シリコーンゴム13が貼付されている。赤外線光源12から出射した赤外光は、透明板11内部を全反射現象により導波する。物体Bを入力パネル10(透明シリコーンゴム13)の表面に接触させると、接触部分において赤外線が散乱し、散乱光が生じる。赤外線カメラ30は、この赤外散乱光を、入力パネル10の背面側から撮像する。

【0024】
投影スクリーン20は、背面投影用の透明に近い透過フィルムである。図2に示す例では、投影スクリーン20は2枚の透明板11の間に挟まれている(下側の透明板11の表面に貼付され、上側の透明板11の背面側に重ねて配置されている)が、投影スクリーン20を1枚の透明板11の背面に貼付するように構成してもよい。

【0025】
図3は、第1の実施形態に係る画像投影システム1の機能ブロック図の一例である。画像投影システム1は記憶部110を含む。記憶部110は、処理部100の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部100のワーク領域として機能し、その機能はハードディスク、RAMなどにより実現できる。

【0026】
処理部100は、赤外線カメラ30、プロジェクタ40及び可視光カメラ50を制御する処理と、各種の画像処理を行う。処理部100の機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。処理部100は、投影用の元画像を生成する元画像生成部101と、赤外線カメラ30で撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成部102と、元画像とマスク画像を合成して合成画像を生成する合成画像生成部103と、合成画像をプロジェクタ40に送信して投影させる投影制御部104と、合成画像の投影完了後に可視光カメラ50を制御して撮像を行わせる撮像制御部105と、可視光カメラ50で撮像された可視光画像とマスク画像とを合成して接触面画像を生成する接触面画像生成部106とを含む。

【0027】
本実施形態の画像投影システム1では、赤外線カメラ30により入力パネル10を背面側から撮像することで、入力パネル10の表面に接触した物体Bの接触面の形状(物体Bと入力パネル10との接触形状)を取得するとともに、可視光カメラ50により入力パネル10を背面側から撮像することで、接触面の色や模様を取得する。しかしながら、入力パネル10の背面側には投影スクリーン20が配置されているため、図4に示すように、プロジェクタ40により画像をそのまま投影スクリーン20に投影すると、投影画像PP(投影光)が物体Bの接触面CFに重畳することで、接触面CFの見え方が変わってしまい、接触面CF本来の色や模様を取得することができない。

【0028】
このような投影と撮像の競合は、例えば、プロジェクタ40による投影と可視光カメラ50による撮像とを交互に切り替えることで避けることができる。しかし、投影光の点滅が利用者の目に与える負担や脳内の視覚過程に及ぼす影響を考慮すると、投影と撮像の切り替えは高速(70~80Hz以上)で行う必要がある。そのため、この手法を採用する場合、各装置(プロジェクタ40、可視光カメラ50、処理部100)を高速化する必要があり高コスト化を招く。

【0029】
本実施形態の画像投影システム1では、画像投影時に物体Bの接触面CF(物体Bと入力パネル10との接触部分)が可視光カメラ50から見て単色になるような画像を投影することで、投影と撮像の競合を解消する。

【0030】
図5は、第1の実施形態における画像投影システム1の処理の流れを示すフローチャートである。

【0031】
まず、元画像生成部101は、投影用の元画像FPを生成する(ステップS10)。図6の(a)に、元画像FPの一例を模式的に示す。

【0032】
次に、処理部100は、赤外線カメラ30を制御して撮像させ、赤外線カメラ30で撮像された赤外線画像を取得する(ステップS11)。次に、マスク画像生成部102は、取得した赤外線画像を2値化してマスク画像MPを生成する(ステップS12)。2値化した画像にはノイズが含まれる場合があるため、2値化した画像に対してノイズ除去処理を行ってマスク画像MPを生成することが望ましい。図6の(b)に、マスク画像MPの一例を模式的に示す。マスク画像MPにおいて、領域CAは物体Bの接触面CFに対応する領域であり、領域CAの画素値は1、それ以外の領域の画素値が0となる。

【0033】
次に、マスク画像生成部102は、マスク画像MPと補正用画像RPを合成(例えば、対応する画素毎に乗算)し、マスク画像MPを補正してマスク画像MP’を得る(ステップS13)。図6の(c)に、補正用画像RPの一例を模式的に示す。補正用画像RPは、当該画像を投影スクリーン20に投影した場合に可視光カメラ50から見て一様に単色になるような画像である。補正用画像RPの各画素の輝度は、投影スクリーン20からの反射光の強度(プロジェクタ40と投影スクリーン20との位置関係で代用してもよい)により決定される。例えば、マスク画像生成部102は、補正用画像RPとして、プロジェクタ40に近い(投影光の反射が強い)位置に投影される部分は輝度の低い色(例えば、濃いグレー)とし、プロジェクタ40から遠い(投影光の反射が弱い)位置に投影される部分は輝度の高い色(例えば、薄いグレー)とした画像を生成する。また、補正用画像RPの色は、投影時に接触面CFの見え方(色)が変わり難い色とし、例えば、白(輝度値が最大値)又は黒(輝度値が0)以外の色であって彩度が低い色(例えば、グレー)とする。補正用画像RPの最適色は、プロジェクタ40と可視光カメラ50の色特性等から決定することができる。図6の(d)に補正後のマスク画像MP’を模式的に示す。補正後のマスク画像MP’では、マスク画像MPのうち接触面CFに対応する領域CAに補正
用画像RPが重畳されている。

【0034】
次に、合成画像生成部103は、元画像FPと補正後のマスク画像MP’を合成(例えば、対応する画素の画素値を比較して、マスク画像MP’の画素値が0(黒)である画素については元画像FPの画素値を採用し、マスク画像MP’の画素値が0以外である画素(領域CAの画素)についてはマスク画像MP’の画素値を採用する)して合成画像SPを生成する(ステップS14)。図6の(e)に、合成画像SPを模式的に示す。合成画像SPでは、元画像FPのうち接触面CFに対応する領域CAに補正用画像RPが重畳されている。従って、合成画像SPは、投影時に接触面CFの見た目(可視光カメラ50からの見た目)が単色になるような画像となる。

【0035】
次に、投影制御部104は、合成画像SPをプロジェクタ40に送信して合成画像SPを投影スクリーン20に投影させる制御を行う(ステップS15)。図7に、合成画像SPを投影したときの投影画像PPを模式的に示す。図7に示すように、本実施形態によれば、投影時に接触面CFの見た目が単色になるような合成画像SPを投影することで、投影画像PPが接触面CFの見え方に与える影響を極力抑制することができる。

【0036】
次に、撮像制御部105は、可視光カメラ50を制御して撮像させ、可視光カメラ50で撮像された可視光画像OPを取得する(ステップS16)。図8の(a)に、可視光画像OPを模式的に示す。

【0037】
次に、接触面画像生成部106は、可視光画像OPとマスク画像MPを合成して、可視光画像OPから接触面CFに対応する領域CAの画像を抽出した接触面画像CPを生成する(ステップS17)。図8の(b)に、接触面画像CPを模式的に示す。接触面画像CPにおける領域CAの色や模様は、物体Bの接触面CFの色や模様を表している。このように、本実施形態によれば、プロジェクタ40の投影光による影響を排除して、物体Bの接触面CFの色や模様を取得することができる。

【0038】
次に、ステップS10に移行し、ステップS10以降の処理を繰り返す。ステップS10では、元画像生成部101は、前回フレーム(処理単位時間)のステップS17で生成した接触面画像CPに基づいて新たな元画像FPを生成する。

【0039】
例えば、元画像生成部101は、前回フレームで生成した接触面画像CPにおける領域CA(及び、それ以前に生成した接触面画像CPにおける領域CA)を、接触面画像CP(領域CA)の色又は模様で描画することで、入力パネル10における物体Bの移動軌跡を当該物体Bの色又は模様で描画した元画像FPを生成する。これにより、入力パネル10に接触した物体Bの接触形状のみならず、物体Bの接触面の色や模様を用いて描画することが可能なデジタルペイントを実現することができる。

【0040】
図9に示す例の場合、時間t1では、時間t0(前回フレーム)で生成した接触面画像CPにおける領域CAを領域CAの色又は模様で描画した元画像FPを生成し、時間t1における領域CAをマスクした合成画像SPを生成している。また、時間t2では、時間t1における領域CAを含む物体Bの移動軌跡TRを領域CAの色又は模様で描画した元画像FPを生成し、時間t2における領域CAをマスクした合成画像SPを生成している。同様に、時間t3では、時間t2における領域CAを含む移動軌跡TRを領域CAの色又は模様で描画した元画像FPを生成し、時間t3における領域CAをマスクした合成画像SPを生成している。このようにして、物体Bの移動軌跡TRを物体Bの色又は模様で描画することができる。

【0041】
また、物体Bの接触面に当該物体Bの識別情報を符号化した模様(例えば、バーコード
や二次元シンボル、文字列など)が付されている場合、処理部100は、接触面画像CP(領域CAの画像)に対して画像認識を行うことで物体Bを識別し、元画像生成部101は、識別した物体Bに関連する画像を入力パネル10における物体Bの近傍に投影するための元画像FPを生成するように構成してもよい。

【0042】
ここで、撮像制御部105は、図10の(a)に示すように、プロジェクタ40による合成画像SPの投影(投影画面の更新)が完了した状態で、可視光カメラ50に対して撮像の開始を指示する必要がある。

【0043】
仮に、図10の(b)に示すように、プロジェクタ40による合成画像SPの投影が完了する前に、可視光カメラ50による撮像を開始してしまうと、前回フレームで生成・投影した合成画像SPと今回フレームで生成・投影する合成画像SPとが混在した画像(更新途中の投影画像)を撮像することになり、投影光による影響が排除されていない状態(投影画像と接触面CFとの重畳が発生した状態)で撮像された可視光画像OPを取得することになってしまう。

【0044】
以下、可視光カメラ50による撮像をプロジェクタ40による合成画像SPの投影完了後に行うための3つの手法について説明する。

【0045】
第1の手法では、プロジェクタ40が、合成画像SPの投影が完了した場合に、その旨を通知する通知情報を処理部100に送信し、撮像制御部105は、この通信情報を受信した場合に、可視光カメラ50に撮像を開始させる制御を行う。第1の手法によれば、合成画像SPの投影が完了する前に可視光カメラ50による撮像を開始してしまうことを確実に防止するとともに、合成画像SPの投影完了後の可視光カメラ50による撮影を遅滞なく行うことができる。

【0046】
第2の手法では、撮像制御部105が、プロジェクタ40に送信した合成画像SPと、可視光カメラ50から受信した可視光画像OPのうち領域CAを合成画像SPにおける領域CAと同一色にした画像(可視光画像OPと補正後のマスク画像MP’を合成した画像)とを比較して差分(画素毎の差分絶対値の合計値)を算出し、算出した差分が所定の閾値δ未満(許容範囲内)となるまで、可視光カメラ50に対する撮像指示を繰り返し行う。図11に示す例では、1回目の撮像により取得した可視光画像OPと合成画像SPとを比較した結果、差分が閾値δ以上であったため、再び可視光カメラ50に対して撮像を指示している。そして、2回目の撮像により取得した可視光画像OPと合成画像SPとを比較した結果、差分が閾値δ未満であったため、可視光画像OPが合成画像SPの投影完了後に撮像された画像であると判定され、次のステップに移行している。

【0047】
第3の手法では、合成画像SPのプロジェクタ40への転送に要する時間と投影画面の更新に要する時間の合計時間(所定時間)を事前調査により見積もっておき、撮像制御部105が、合成画像SPをプロジェクタ40に送信してから事前に見積もった合計時間が経過した後(投影画面の更新が完了したと推定される時刻以降)に、可視光カメラ50に撮像を開始させる制御を行う。

【0048】
第2の手法及び第3の手法によれば、プロジェクタ40が通知機能を備えていない場合や、処理部100が通知を受け付ける機能を備えていない場合であっても、合成画像SPの投影が完了する前に可視光カメラ50による撮像を開始してしまうことを防止することができる。

【0049】
(第2の実施形態)
物体Bの材質や、利用者Uが物体Bを入力パネル10に接触させるやり方によっては、
物体Bと入力パネル10との密着が不完全となることで、物体Bが入力パネル10に接触しているにもかかわらず物体Bの接触面CFの情報(マスク画像MPにおける領域CA)を取得できない場合がある。この場合、赤外線画像を2値化する(マスク画像MPを生成する)際の閾値を低くすれば、接触面CFの情報を取得することができる。しかし、物体Bが入力パネル10に接触していないときも常に赤外線画像を低い閾値で2値化してマスク画像MPを生成するようにすると、入力パネル10の表面から漏れ出た(或いは、全反射角に入らなかった)赤外線が接触面CFに接触していない物体(例えば、物体Bを持っている利用者Uの手や腕)に反射して入力パネル10に映り込んだ場合等に、当該映り込み等を接触面CFとして誤検出してしまう恐れがある。

【0050】
そこで、第2の実施形態では、入力パネル10に対する物体Bの接触を圧力センサ(感圧センサ)により検出し、入力パネル10に対する物体Bの接触が検出された場合に、赤外線画像を取得し、取得した赤外線画像を第1の閾値Tで2値化してマスク画像MPを生成する。そして、生成したマスク画像MPにおける白画素の数が所定値未満である場合には、取得した赤外線画像を第1の閾値T未満の第2の閾値Tで2値化してマスク画像MPを再度生成する。すなわち、第2の実施形態では、物体Bが入力パネル10に接触しているにも関わらず接触面CFの情報を取得できなかったと見做せる場合に、赤外線画像を2値化する際の閾値を低下させてマスク画像MPを生成する。

【0051】
図12は、第2の実施形態における入力パネル10の構成の一例を示す側面図である。図12において、図2で示した構成と同一の構成には同符号を付し、その説明を適宜省略する。

【0052】
第2の実施形態では、上側の透明板11と投影スクリーン20との間に、入力パネル10に対する物体Bの接触を検出するための圧力センサ60が設けられている。圧力センサ60としては、例えば、抵抗膜力センサを用いることができる。また、上側の透明板11と圧力センサ60との間には、突起部として機能するシリコーンゴム14が設けられている。圧力センサ60及びシリコーンゴム14は、入力パネル10の平面視で四隅に設けられる。

【0053】
図13は、第2の実施形態における画像投影システム1の処理の流れを示すフローチャートである。なお、図13に示すステップS20、S27~S31については、図5に示すステップS10、S13~S17と同様であるから説明を適宜省略する。

【0054】
処理部100は、圧力センサ60からの出力信号(複数の圧力センサ60からの出力信号の平均値)に基づいて、入力パネル10に対して物体Bが接触しているか否かを判断し(ステップS21)、入力パネル10に対して物体Bが接触していない場合(ステップS21のN)には、ステップS20に移行する。一方、入力パネル10に対して物体Bが接触している場合(ステップS21のY)には、処理部100は、赤外線カメラ30を制御して撮像させ、赤外線カメラ30で撮像された赤外線画像を取得する(ステップS22)。

【0055】
次に、マスク画像生成部102は、取得した赤外線画像を第1の閾値Tで2値化してマスク画像MPを生成する(ステップS23)。次に、マスク画像生成部102は、ステップS23で生成したマスク画像MPにおける白画素(画素値が1の画素)の数Sをカウントする(ステップS24)。ここで、予め物体Bが入力パネル10に接触していない状態で撮像した赤外線画像を2値化した画像を背景画像として用意しておき、当該背景画像とマスク画像MPとを画素毎に比較して、背景画像よりもマスク画像MPの画素値が高い画素の数を白画素の数Sとしてカウントしてもよい。

【0056】
次に、マスク画像生成部102は、カウントした白画素の数Sが所定値P未満であるか否かを判断し(ステップS25)、白画素の数Sが所定値P以上である場合(ステップS25のN)には、ステップS27に移行する。白画素の数Sが所定値P未満である場合(ステップS25のY)には、マスク画像生成部102は、取得した赤外線画像を第2の閾値T(T<T)で2値化してマスク画像MPを生成する(ステップS26)。

【0057】
次に、マスク画像生成部102は、ステップS25で偽の場合には、ステップS23で生成した(第1の閾値Tで2値化した)マスク画像MPと補正用画像RPを合成してマスク画像MP’を生成し、ステップS25で真の場合には、ステップS26で生成した(第2の閾値Tで2値化した)マスク画像MPと補正用画像RPを合成してマスク画像MP’を生成する(ステップS27)。

【0058】
図14に、赤外線画像IPと、赤外線画像IPを2値化したマスク画像MPの一例を示す。図14に示すマスク画像MPは、赤外線画像IPを第1の閾値Tで2値化した画像であり、マスク画像MPは、赤外線画像IPを第2の閾値Tで2値化した画像である。ここでは、赤外線画像IPの階調は8ビットであり、第1の閾値T=253とし、第2の閾値T=175としている。赤外線画像IPは、利用者Uがスポンジ状の物体Bを入力パネル10に接触させたときに撮像した画像であり、物体Bと入力パネル10との密着が不十分であるため、赤外線画像IPを第1の閾値Tで2値化したマスク画像MPでは白画素の領域(領域CA)が殆どない。この場合、第2の実施形態では、マスク画像MPにおける白画素の数Sが所定値P未満であると判定され、赤外線画像IPを第2の閾値Tで2値化したマスク画像MPが生成される。ここでは、赤外線画像IP(及びマスク画像MP)の画素数が720×720ピクセルであり、所定値P=50としている。マスク画像MPには、物体Bの接触面CFに相当する白画素の領域が存在しており、接触面CFの情報を取得できていることが分かる。

【0059】
このように、第2の実施形態によれば、入力パネル10に対する物体Bの接触を検出した場合に、取得した赤外線画像IPを第1の閾値Tで2値化してマスク画像MPを生成し、マスク画像MPにおける白画素の数Sが所定値P以上である場合には、マスク画像MPを用いて以降の処理を行い、白画素の数Sが所定値P未満である場合には、赤外線画像IPを第1の閾値Tよりも低い第2の閾値Tで2値化したマスク画像MPを用いて以降の処理を行うことで、入力パネル10に接触していない物体Bの映り込み等を接触面CFとして誤検出してしまうことを防止しつつ、入力パネル10に対する密着が不完全な物体Bの接触面CFの形状及び色や模様を精度良く確実に取得することができる。

【0060】
なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【0061】
1…画像投影システム、10…入力パネル、11…透明板、12…赤外線光源、13…透明シリコーンゴム、14…シリコーンゴム、20…投影スクリーン、30…赤外線カメラ、40…プロジェクタ、50…可視光カメラ、60…圧力センサ、100…処理部、101…元画像生成部、102…マスク画像生成部、103…合成画像生成部、104…投影制御部、105…撮像制御部、106…接触面画像生成部、110…記憶部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13