Top > Search of Japanese Patents > TOUCH POSITION INPUT DEVICE AND TOUCH POSITION INPUT METHOD

TOUCH POSITION INPUT DEVICE AND TOUCH POSITION INPUT METHOD

Patent code P120007573
Posted date May 23, 2012
Application number P2012-035952
Publication number P2013-171490A
Patent number P6057407
Date of filing Feb 22, 2012
Date of publication of application Sep 2, 2013
Date of registration Dec 16, 2016
Inventor
  • (In Japanese)中島 克人
  • (In Japanese)加島 隆博
Applicant
  • (In Japanese)学校法人東京電機大学
Title TOUCH POSITION INPUT DEVICE AND TOUCH POSITION INPUT METHOD
Abstract PROBLEM TO BE SOLVED: To provide a touch input device for performing highly accurate touch determination by flexibly facilitating countermeasures to an environmental change in the case of performing touch determination with respect to a projection image.
SOLUTION: A touch position input device includes: a camera for always photographing a projection image on a screen; and an information processor for storing a background image in which the finger or the shadow of the finger as a foreground is not projected in a touch area on the projection image, storing a reference image in the case of starting touch determination, projecting a color which is different from the background color of the reference image to the touch area, storing a changed image whose background color is different from that of the reference image, recognizing an area with no change in color in the touch area as the area of a background by contrasting the background image with the reference image, recognizing an area with no change in color as the area of a shadow by contrasting the reference image with the changed image, recognizing an area excluding the area of the shadow and the area of the background in the touch area as the area of a foreground, and, when the area rate of the area of the foreground and the area of the shadow is not less than a predetermined value, determining that the touch area has been touched.
Outline of related art and contending technology (In Japanese)

現在、プロジェクタにて投影されているスクリーン上の投影画像に対するプレゼンテータの手指等によるタッチ操作及びタッチ位置を検出しコンピュータに入力するタッチ位置入力技術(以下、タッチ位置入力技術と称す。)が提案されている。このタッチ位置入力技術としては、例えば、特開2009-70245号公報(特許文献1)、特開2007-328754号公報(特許文献2)、特開2007-141177号公報(特許文献3)、特開2001-350586号公報(特許文献4)、特表2007-514241号公報(特許文献5)に記載されたものがある。

特許文献1乃至特許文献5に記載の技術は、半透明のスクリーン等を用い、背面からのプロジェクタによる画像投影とカメラ撮影により、プレゼンテータ側、すなわち、前面のスクリーンへのタッチを、タッチした指等の影やその動きの認識によって検出する技術である。これらは半透明のスクリーンが必要で、かつ、スクリーンの背面にプロジェクタやカメラの設置スペースを確保する必要があった。

また、特表2007-517244号公報(特許文献6)、特表2006-514330号公報(特許文献7)には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、スクリーンへの投影画像を妨げているプレゼンテータ又はその一部のシルエットを検出する技術が提案されている。しかしながら、特許文献6及び特許文献7の技術は、プレゼンテータによるスクリーンへのタッチ等の操作を検出するものではなかった。

特表2006-522967号公報(特許文献8)には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、プレゼンテータによるスクリーンへのタッチ位置を検出することを目的とした技術が記載されている。しかしながら特許文献8の提案は、カメラがスクリーン表面近くに設置され、タッチしようとする指等とスクリーンの距離を直接観察するものである。よって、タッチされるスクリーン上の位置を正確に検出するには少なくとも2台のカメラが必要である。

また、タッチ位置入力技術としては、特開2007-299434号公報(特許文献9)に記載されているものも知られている。この特許文献9の提案では、大画面スクリーンの前方斜め上にスクリーンに向けて赤外光源を設置し、スクリーンの背面にカメラを設置する。そして、赤外光源から射出された赤外光をプレゼンテータの手指等が遮ることによりスクリーン上に影ができるように構成し、この影をスクリーン背面のカメラで撮影する。次に、スクリーン背面のカメラで撮影した画像データをコンピュータで解析し、プレゼンテータの手指等の影の位置を割り出す。さらに、プロジェクタにてスクリーンに投影している画像と手指等の影の位置の関係から何をタッチしたのかを割り出し、そのタッチ操作に対応するアクションを起動する。この特許文献9の技術では、赤外光源と赤外線を透過するプラスチック等の特別なスクリーンが必要であり、かつその位置関係も予め所定のものに設定しておく必要がある。そのため、部屋の壁面をスクリーンにしてプロジェクタから投影させる場合のように、任意の面をスクリーンに利用して投影するような場合には利用できなかった。

本願出願人も先に出願した特開2011-118533号公報(特許文献10)の中でタッチ位置入力技術の提案をしている。このタッチ位置入力技術は、スクリーンの正面側(投影面側)にプロジェクタと、当該プロジェクタの光軸からずれた位置に設置されるカメラと、プロジェクタ及びカメラと接続されたコンピュータと、を各一台ずつ配置するだけで、プレゼンテータのタッチ操作及びタッチ位置を検出し、入力操作が可能となる。具体的には、カメラで撮影した画像内におけるプレゼンテータの手指等の領域(前景)と、手指等で投影光を遮ることによりスクリーン上にできる影と、の面積比の変化からタッチ操作及びタッチ位置を算出するものである。

Field of industrial application (In Japanese)

本発明は、プロジェクタにて投影されているスクリーン上の投影画像に対する人の手指等によるタッチ操作及びタッチ位置を検出して所定の入力処理をするタッチ位置入力装置及びタッチ位置入力方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、
前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影し、撮影画像データを出力するカメラと、
前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶し、タッチ判定開始時の画像である基準画像を記憶し、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させ、前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶し、前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識し、前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識し、前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識し、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域がタッチ領域全体に対して所定値以下になったときに前記タッチ領域がタッチされたと判定し、タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力する情報処理装置とを備えたことを特徴とするタッチ位置入力装置。

【請求項2】
 
前記情報処理装置は、前記背景画像と前記カメラから常時送出される現在の撮影画像データである現在画像との前記タッチ領域を対比し、前記現在画像と背景画像との間の色変化を認識でき、かつ、現在画像自身の変化が所定の閾値以下のときにタッチ判定を開始することを特徴とする請求項1に記載のタッチ位置入力装置。

【請求項3】
 
前記情報処理装置は、前記タッチ判定時において、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させ、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域が前記タッチ領域全体に対して所定値以下になったときにタッチされたと判定することを特徴とする請求項1又は請求項2に記載のタッチ位置入力装置。

【請求項4】
 
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項1乃至請求項3のいずれか1項に記載のタッチ位置入力装置。

【請求項5】
 
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項1乃至請求項3のいずれか1項に記載のタッチ位置入力装置。

【請求項6】
 
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に投影させることを特徴とする請求項1又は請求項2に記載のタッチ位置入力装置。

【請求項7】
 
前記情報処理装置は、前記背景画像と前記現在画像との対比、及び、前記基準画像と前記変更後画像との対比をするとき、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出することを特徴とする請求項2に記載のタッチ位置入力装置。

【請求項8】
 
前記情報処理装置は、前記背景画像と前記現在画像との対比をするとき、両画像の差が所定値を超える場合に前記タッチ判定を開始することを特徴とする請求項2又は請求項7に記載のタッチ位置入力装置。

【請求項9】
 
前記2つの画像を対比するとき、両画像の対応する画素間の色空間上での距離が所定値を超える場合を変化したと見なし、変化した画素数が対象とする領域全体の画素数に対して所定値以上となったときに両画像の差が大きいと判定することを特徴とする請求項8に記載のタッチ位置入力装置。

【請求項10】
 
前記2つの画像を対比するとき、両画像の対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値が所定値を超える場合に両画像の差が大きいと判定することを特徴とする請求項8に記載のタッチ位置入力装置。

【請求項11】
 
前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両画像の差が所定値を超えない場合に前記背景画像を前記現在画像に更新することを特徴とする請求項7又は請求項8に記載のタッチ位置入力装置。

【請求項12】
 
前記情報処理装置は、前記背景画像を更新するとき、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項11に記載のタッチ位置入力装置。

【請求項13】
 
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識するステップと、
前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識するステップと、
前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識するステップと、
前記前景の領域又はタッチ領域と前記影の領域との面積比を対比するステップと、
前記前景の領域又はタッチ領域に対する前記影の領域面積比が所定値以下になったときに前記タッチ領域がタッチされたと判定するステップと、
タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。

【請求項14】
 
前記背景画像を記憶させるステップの後、前記背景画像と前記現在画像との前記タッチ領域を対比するステップと、
前記背景画像から所定領域以上の色変化が認識できたときにタッチ判定を開始するステップとを有することを特徴とする請求項13に記載のタッチ位置入力方法。

【請求項15】
 
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップと、
前記基準画像と前記変更後画像とを対比することで影の領域を認識し、前記前景の領域又はタッチ領域に対する当該影の領域の面積比が所定値より小さいことで前記タッチ領域がタッチされたと判定するステップと、
タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。

【請求項16】
 
前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップの後、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定値より小さいことで、前景が停止していることを認識するステップを有することを特徴とする請求項15に記載のタッチ位置入力方法。

【請求項17】
 
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。

【請求項18】
 
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。

【請求項19】
 
前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項13乃至請求項18のいずれか1項に記載のタッチ位置入力方法。

【請求項20】
 
前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項13乃至請求項18のいずれか1項に記載のタッチ位置入力方法。

【請求項21】
 
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。

【請求項22】
 
前記背景画像と前記現在画像との前記タッチ領域を対比するステップ、及び、前記前景の領域と前記影の領域を対比するステップにおいて、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出することを特徴とする請求項14乃至請求項21のいずれか1項に記載のタッチ位置入力方法。

【請求項23】
 
前記背景画像に対して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像に対して前記現在画像の中で変化した画素数が前記タッチ領域全体の画素数に対して所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。

【請求項24】
 
前記背景画像に比して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像と現在画像との各画素間の距離中の総和が所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。

【請求項25】
 
前記背景画像と前記現在画像との前記タッチ領域を対比するステップにおいて、前記背景画像に対して前記現在画像の差が所定値以下であるとき、前記現在画像を参考に前記背景画像を更新するステップを有することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。

【請求項26】
 
前記背景画像を更新するステップにおいて、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項25に記載のタッチ位置入力方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2012035952thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close