Top > Search of Japanese Patents > IMAGE PROJECTION SYSTEM, PROGRAM, AND IMAGE PROJECTION METHOD

IMAGE PROJECTION SYSTEM, PROGRAM, AND IMAGE PROJECTION METHOD UPDATE_EN meetings

Patent code P170014189
File No. 170003JP01
Posted date Jun 9, 2017
Application number P2017-016707
Publication number P2018-042230A
Date of filing Feb 1, 2017
Date of publication of application Mar 15, 2018
Priority data
  • P2016-171768 (Sep 2, 2016) JP
Inventor
  • (In Japanese)藤波 香織
  • (In Japanese)小坂 真美
Applicant
  • (In Japanese)国立大学法人東京農工大学
Title IMAGE PROJECTION SYSTEM, PROGRAM, AND IMAGE PROJECTION METHOD UPDATE_EN meetings
Abstract PROBLEM TO BE SOLVED: To provide an image projection system and the like, capable of acquiring a color or pattern of a contact surface of an object that comes into contact with an input panel.
SOLUTION: An image projection system comprises: an input panel for making infrared light from a light source be transmitted inside; a projection screen arranged so as to be superposed on the back surface side of the input panel; an infrared camera for imaging scattered light generated by an object coming into contact with a front surface of the input panel, from the back surface side; a projector for projecting an image on the projection screen from the back surface side; a visible light camera for imaging the input panel from the back surface side; and a processing unit. The processing unit creates an original image for projection; binarizes an infrared image imaged by the infrared camera to generate a mask image; combines the original image with the mask image to generate a composite image; transmits the composite image to the projector to make the projector project the composite image; combines a visible light image imaged by the visible light camera with the mask image to generate a contact surface image obtained by extracting an image of an area corresponding to a contact portion; and generates a new original image on the basis of the contact surface image.
Outline of related art and contending technology (In Japanese)

非特許文献1には、任意の物体を入力に用いるデジタルペイントシステムが開示されている。このシステムは、FTIRを応用した物体接触形状取得機能と背面透過型プロジェクタを用いた出力機能を備えている。

Field of industrial application (In Japanese)

本発明は、画像投影システム、プログラム及び画像投影方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
光源からの赤外光を内部に導波させる入力パネルと、
前記入力パネルの背面側に重ねて配置された投影スクリーンと、
前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、
前記投影スクリーンに画像を背面側から投影するプロジェクタと、
前記入力パネルを背面側から撮像する可視光カメラと、
処理部と、を備えた画像投影システムであって、
前記処理部は、
投影用の元画像を生成する元画像生成部と、
前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成部と、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部と、を含み、
前記元画像生成部は、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成部は、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影システム。

【請求項2】
 
請求項1において、
前記プロジェクタは、
前記合成画像の投影が完了した場合に、通知情報を前記処理部に送信し、
前記撮像制御部は、
前記通知情報を受信した場合に、前記可視光カメラに撮像を行わせる、画像投影システム。

【請求項3】
 
請求項1において、
前記撮像制御部は、
前記可視光画像のうち前記接触部分に対応する領域を前記合成画像における当該領域と同一色にした画像と前記合成画像とを比較して差分を算出し、算出した差分が許容範囲内となるまで、前記可視光カメラによる撮像を繰り返し行わせる、画像投影システム。

【請求項4】
 
請求項1において、
前記撮像制御部は、
前記合成画像を前記プロジェクタに送信してから所定時間経過後に、前記可視光カメラに撮像を行わせる、画像投影システム。

【請求項5】
 
請求項1乃至4のいずれか1項において、
前記元画像生成部は、
前記入力パネルに接触した前記物体の移動軌跡を前記接触面画像の色又は模様を用いて描画した画像を前記元画像として生成する、画像投影システム。

【請求項6】
 
請求項1乃至5のいずれか1項において、
前記入力パネルに対する前記物体の接触を検出するための圧力センサを更に備え、
前記マスク画像生成部は、
前記入力パネルに対する前記物体の接触が検出された場合に、前記赤外線画像を第1の閾値で2値化してマスク画像を生成し、生成したマスク画像における白画素の数が所定値未満である場合に、前記赤外線画像を前記第1の閾値未満の第2の閾値で2値化してマスク画像を再度生成する、画像投影システム。

【請求項7】
 
光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムのためのプログラムであって、
投影用の元画像を生成する元画像生成部と、
前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成部と、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部としてコンピュータを機能させ、
前記元画像生成部は、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成部は、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、プログラム。

【請求項8】
 
光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムで実行される画像投影方法であって、
投影用の元画像を生成する元画像生成ステップと、
前記赤外線カメラで撮像された赤外線画像を2値化してマスク画像を生成するマスク画像生成ステップと、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成ステップと、
前記合成画像を前記プロジェクタに送信して投影させる投影制御ステップと、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御ステップと、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成ステップと、を含み、
前記元画像生成ステップでは、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成ステップでは、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2017016707thum.jpg
State of application right Published
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close