TOP > 国内特許検索 > タッチ位置入力装置及びタッチ位置入力方法

タッチ位置入力装置及びタッチ位置入力方法 UPDATE

国内特許コード P120007573
掲載日 2012年5月23日
出願番号 特願2012-035952
公開番号 特開2013-171490
登録番号 特許第6057407号
出願日 平成24年2月22日(2012.2.22)
公開日 平成25年9月2日(2013.9.2)
登録日 平成28年12月16日(2016.12.16)
発明者
  • 中島 克人
  • 加島 隆博
出願人
  • 学校法人東京電機大学
発明の名称 タッチ位置入力装置及びタッチ位置入力方法 UPDATE
発明の概要 【課題】投影画像に対するタッチ判定を行うときに、環境変化に柔軟に対応し、精度の高いタッチ判定が可能なタッチ入力装置を提供する。
【解決手段】本発明は、スクリーン上の投影画像を常時撮影するカメラと、投影画像上のタッチ領域中に前景となる手指や手指の影が入り込んでいない背景画像を記憶し、タッチ判定開始時の基準画像を記憶し、基準画像の背景色とは異なる色をタッチ領域に投影させ、基準画像とは背景色の異なる変更後画像を記憶し、背景画像と基準画像とを対比してタッチ領域中で色に変化がない領域を背景の領域と認識し、基準画像と変更後画像とを対比して色に変化がない領域を影の領域と認識し、タッチ領域における影の領域と背景の領域とを除いた領域を前景の領域と認識し、前景の領域と影の領域との面積比が所定値以上になったときにタッチ領域がタッチされたと判定する情報処理装置とを備えたものである。
【選択図】図5
従来技術、競合技術の概要


現在、プロジェクタにて投影されているスクリーン上の投影画像に対するプレゼンテータの手指等によるタッチ操作及びタッチ位置を検出しコンピュータに入力するタッチ位置入力技術(以下、タッチ位置入力技術と称す。)が提案されている。このタッチ位置入力技術としては、例えば、特開2009-70245号公報(特許文献1)、特開2007-328754号公報(特許文献2)、特開2007-141177号公報(特許文献3)、特開2001-350586号公報(特許文献4)、特表2007-514241号公報(特許文献5)に記載されたものがある。



特許文献1乃至特許文献5に記載の技術は、半透明のスクリーン等を用い、背面からのプロジェクタによる画像投影とカメラ撮影により、プレゼンテータ側、すなわち、前面のスクリーンへのタッチを、タッチした指等の影やその動きの認識によって検出する技術である。これらは半透明のスクリーンが必要で、かつ、スクリーンの背面にプロジェクタやカメラの設置スペースを確保する必要があった。



また、特表2007-517244号公報(特許文献6)、特表2006-514330号公報(特許文献7)には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、スクリーンへの投影画像を妨げているプレゼンテータ又はその一部のシルエットを検出する技術が提案されている。しかしながら、特許文献6及び特許文献7の技術は、プレゼンテータによるスクリーンへのタッチ等の操作を検出するものではなかった。



特表2006-522967号公報(特許文献8)には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、プレゼンテータによるスクリーンへのタッチ位置を検出することを目的とした技術が記載されている。しかしながら特許文献8の提案は、カメラがスクリーン表面近くに設置され、タッチしようとする指等とスクリーンの距離を直接観察するものである。よって、タッチされるスクリーン上の位置を正確に検出するには少なくとも2台のカメラが必要である。



また、タッチ位置入力技術としては、特開2007-299434号公報(特許文献9)に記載されているものも知られている。この特許文献9の提案では、大画面スクリーンの前方斜め上にスクリーンに向けて赤外光源を設置し、スクリーンの背面にカメラを設置する。そして、赤外光源から射出された赤外光をプレゼンテータの手指等が遮ることによりスクリーン上に影ができるように構成し、この影をスクリーン背面のカメラで撮影する。次に、スクリーン背面のカメラで撮影した画像データをコンピュータで解析し、プレゼンテータの手指等の影の位置を割り出す。さらに、プロジェクタにてスクリーンに投影している画像と手指等の影の位置の関係から何をタッチしたのかを割り出し、そのタッチ操作に対応するアクションを起動する。この特許文献9の技術では、赤外光源と赤外線を透過するプラスチック等の特別なスクリーンが必要であり、かつその位置関係も予め所定のものに設定しておく必要がある。そのため、部屋の壁面をスクリーンにしてプロジェクタから投影させる場合のように、任意の面をスクリーンに利用して投影するような場合には利用できなかった。



本願出願人も先に出願した特開2011-118533号公報(特許文献10)の中でタッチ位置入力技術の提案をしている。このタッチ位置入力技術は、スクリーンの正面側(投影面側)にプロジェクタと、当該プロジェクタの光軸からずれた位置に設置されるカメラと、プロジェクタ及びカメラと接続されたコンピュータと、を各一台ずつ配置するだけで、プレゼンテータのタッチ操作及びタッチ位置を検出し、入力操作が可能となる。具体的には、カメラで撮影した画像内におけるプレゼンテータの手指等の領域(前景)と、手指等で投影光を遮ることによりスクリーン上にできる影と、の面積比の変化からタッチ操作及びタッチ位置を算出するものである。

産業上の利用分野


本発明は、プロジェクタにて投影されているスクリーン上の投影画像に対する人の手指等によるタッチ操作及びタッチ位置を検出して所定の入力処理をするタッチ位置入力装置及びタッチ位置入力方法に関する。

特許請求の範囲 【請求項1】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、
前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影し、撮影画像データを出力するカメラと、
前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶し、タッチ判定開始時の画像である基準画像を記憶し、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させ、前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶し、前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識し、前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識し、前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識し、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域がタッチ領域全体に対して所定値以下になったときに前記タッチ領域がタッチされたと判定し、タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力する情報処理装置とを備えたことを特徴とするタッチ位置入力装置。

【請求項2】
前記情報処理装置は、前記背景画像と前記カメラから常時送出される現在の撮影画像データである現在画像との前記タッチ領域を対比し、前記現在画像と背景画像との間の色変化を認識でき、かつ、現在画像自身の変化が所定の閾値以下のときにタッチ判定を開始することを特徴とする請求項1に記載のタッチ位置入力装置。

【請求項3】
前記情報処理装置は、前記タッチ判定時において、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させ、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域が前記タッチ領域全体に対して所定値以下になったときにタッチされたと判定することを特徴とする請求項1又は請求項2に記載のタッチ位置入力装置。

【請求項4】
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項1乃至請求項3のいずれか1項に記載のタッチ位置入力装置。

【請求項5】
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項1乃至請求項3のいずれか1項に記載のタッチ位置入力装置。

【請求項6】
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に投影させることを特徴とする請求項1又は請求項2に記載のタッチ位置入力装置。

【請求項7】
前記情報処理装置は、前記背景画像と前記現在画像との対比、及び、前記基準画像と前記変更後画像との対比をするとき、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出することを特徴とする請求項2に記載のタッチ位置入力装置。

【請求項8】
前記情報処理装置は、前記背景画像と前記現在画像との対比をするとき、両画像の差が所定値を超える場合に前記タッチ判定を開始することを特徴とする請求項2又は請求項7に記載のタッチ位置入力装置。

【請求項9】
前記2つの画像を対比するとき、両画像の対応する画素間の色空間上での距離が所定値を超える場合を変化したと見なし、変化した画素数が対象とする領域全体の画素数に対して所定値以上となったときに両画像の差が大きいと判定することを特徴とする請求項8に記載のタッチ位置入力装置。

【請求項10】
前記2つの画像を対比するとき、両画像の対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値が所定値を超える場合に両画像の差が大きいと判定することを特徴とする請求項8に記載のタッチ位置入力装置。

【請求項11】
前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両画像の差が所定値を超えない場合に前記背景画像を前記現在画像に更新することを特徴とする請求項7又は請求項8に記載のタッチ位置入力装置。

【請求項12】
前記情報処理装置は、前記背景画像を更新するとき、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項11に記載のタッチ位置入力装置。

【請求項13】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識するステップと、
前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識するステップと、
前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識するステップと、
前記前景の領域又はタッチ領域と前記影の領域との面積比を対比するステップと、
前記前景の領域又はタッチ領域に対する前記影の領域面積比が所定値以下になったときに前記タッチ領域がタッチされたと判定するステップと、
タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。

【請求項14】
前記背景画像を記憶させるステップの後、前記背景画像と前記現在画像との前記タッチ領域を対比するステップと、
前記背景画像から所定領域以上の色変化が認識できたときにタッチ判定を開始するステップとを有することを特徴とする請求項13に記載のタッチ位置入力方法。

【請求項15】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップと、
前記基準画像と前記変更後画像とを対比することで影の領域を認識し、前記前景の領域又はタッチ領域に対する当該影の領域の面積比が所定値より小さいことで前記タッチ領域がタッチされたと判定するステップと、
タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。

【請求項16】
前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップの後、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定値より小さいことで、前景が停止していることを認識するステップを有することを特徴とする請求項15に記載のタッチ位置入力方法。

【請求項17】
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。

【請求項18】
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。

【請求項19】
前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項13乃至請求項18のいずれか1項に記載のタッチ位置入力方法。

【請求項20】
前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項13乃至請求項18のいずれか1項に記載のタッチ位置入力方法。

【請求項21】
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。

【請求項22】
前記背景画像と前記現在画像との前記タッチ領域を対比するステップ、及び、前記前景の領域と前記影の領域を対比するステップにおいて、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出することを特徴とする請求項14乃至請求項21のいずれか1項に記載のタッチ位置入力方法。

【請求項23】
前記背景画像に対して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像に対して前記現在画像の中で変化した画素数が前記タッチ領域全体の画素数に対して所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。

【請求項24】
前記背景画像に比して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像と現在画像との各画素間の距離中の総和が所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。

【請求項25】
前記背景画像と前記現在画像との前記タッチ領域を対比するステップにおいて、前記背景画像に対して前記現在画像の差が所定値以下であるとき、前記現在画像を参考に前記背景画像を更新するステップを有することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。

【請求項26】
前記背景画像を更新するステップにおいて、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項25に記載のタッチ位置入力方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2012035952thum.jpg
出願権利状態 登録
ライセンスご希望の方、またシーズの詳細に関することについては、下記「問合せ先」まで直接お問い合わせくださいますよう,お願い申し上げます。


PAGE TOP

close
close
close
close
close
close
close