TOP > 国内特許検索 > タッチ位置入力装置及びタッチ位置入力方法 > 明細書

明細書 :タッチ位置入力装置及びタッチ位置入力方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6057407号 (P6057407)
公開番号 特開2013-171490 (P2013-171490A)
登録日 平成28年12月16日(2016.12.16)
発行日 平成29年1月11日(2017.1.11)
公開日 平成25年9月2日(2013.9.2)
発明の名称または考案の名称 タッチ位置入力装置及びタッチ位置入力方法
国際特許分類 G06F   3/041       (2006.01)
G06F   3/042       (2006.01)
FI G06F 3/041 630
G06F 3/042 473
請求項の数または発明の数 26
全頁数 18
出願番号 特願2012-035952 (P2012-035952)
出願日 平成24年2月22日(2012.2.22)
審査請求日 平成27年2月2日(2015.2.2)
特許権者または実用新案権者 【識別番号】800000068
【氏名又は名称】学校法人東京電機大学
発明者または考案者 【氏名】中島 克人
【氏名】加島 隆博
個別代理人の代理人 【識別番号】100083806、【弁理士】、【氏名又は名称】三好 秀和
【識別番号】100100712、【弁理士】、【氏名又は名称】岩▲崎▼ 幸邦
【識別番号】100095500、【弁理士】、【氏名又は名称】伊藤 正和
【識別番号】100101247、【弁理士】、【氏名又は名称】高橋 俊一
【識別番号】100098327、【弁理士】、【氏名又は名称】高松 俊雄
審査官 【審査官】松田 岳士
参考文献・文献 特開2011-118533(JP,A)
特開2010-113568(JP,A)
特開2011-133942(JP,A)
特開2006-293999(JP,A)
特表2004-502261(JP,A)
特開2008-059283(JP,A)
特開2000-276297(JP,A)
特開2011-118876(JP,A)
特開2007-102360(JP,A)
特開2010-271580(JP,A)
特表2010-541398(JP,A)
調査した分野 G03B 21/00 -21/10
G03B 21/12 -21/13
G03B 21/134-21/30
G03B 33/00 -33/16
G06F 3/01
G06F 3/03 - 3/0489
特許請求の範囲 【請求項1】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、
前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影し、撮影画像データを出力するカメラと、
前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶し、タッチ判定開始時の画像である基準画像を記憶し、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させ、前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶し、前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識し、前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識し、前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識し、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域がタッチ領域全体に対して所定値以下になったときに前記タッチ領域がタッチされたと判定し、タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力する情報処理装置とを備えたことを特徴とするタッチ位置入力装置。
【請求項2】
前記情報処理装置は、前記背景画像と前記カメラから常時送出される現在の撮影画像データである現在画像との前記タッチ領域を対比し、前記現在画像と背景画像との間の色変化を認識でき、かつ、現在画像自身の変化が所定の閾値以下のときにタッチ判定を開始することを特徴とする請求項1に記載のタッチ位置入力装置。
【請求項3】
前記情報処理装置は、前記タッチ判定時において、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させ、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域が前記タッチ領域全体に対して所定値以下になったときにタッチされたと判定することを特徴とする請求項1又は請求項2に記載のタッチ位置入力装置。
【請求項4】
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項1乃至請求項3のいずれか1項に記載のタッチ位置入力装置。
【請求項5】
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項1乃至請求項3のいずれか1項に記載のタッチ位置入力装置。
【請求項6】
前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に投影させることを特徴とする請求項1又は請求項2に記載のタッチ位置入力装置。
【請求項7】
前記情報処理装置は、前記背景画像と前記現在画像との対比、及び、前記基準画像と前記変更後画像との対比をするとき、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出することを特徴とする請求項2に記載のタッチ位置入力装置。
【請求項8】
前記情報処理装置は、前記背景画像と前記現在画像との対比をするとき、両画像の差が所定値を超える場合に前記タッチ判定を開始することを特徴とする請求項2又は請求項7に記載のタッチ位置入力装置。
【請求項9】
前記2つの画像を対比するとき、両画像の対応する画素間の色空間上での距離が所定値を超える場合を変化したと見なし、変化した画素数が対象とする領域全体の画素数に対して所定値以上となったときに両画像の差が大きいと判定することを特徴とする請求項8に記載のタッチ位置入力装置。
【請求項10】
前記2つの画像を対比するとき、両画像の対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値が所定値を超える場合に両画像の差が大きいと判定することを特徴とする請求項8に記載のタッチ位置入力装置。
【請求項11】
前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両画像の差が所定値を超えない場合に前記背景画像を前記現在画像に更新することを特徴とする請求項7又は請求項8に記載のタッチ位置入力装置。
【請求項12】
前記情報処理装置は、前記背景画像を更新するとき、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項11に記載のタッチ位置入力装置。
【請求項13】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識するステップと、
前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識するステップと、
前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識するステップと、
前記前景の領域又はタッチ領域と前記影の領域との面積比を対比するステップと、
前記前景の領域又はタッチ領域に対する前記影の領域面積比が所定値以下になったときに前記タッチ領域がタッチされたと判定するステップと、
タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。
【請求項14】
前記背景画像を記憶させるステップの後、前記背景画像と前記現在画像との前記タッチ領域を対比するステップと、
前記背景画像から所定領域以上の色変化が認識できたときにタッチ判定を開始するステップとを有することを特徴とする請求項13に記載のタッチ位置入力方法。
【請求項15】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップと、
前記基準画像と前記変更後画像とを対比することで影の領域を認識し、前記前景の領域又はタッチ領域に対する当該影の領域の面積比が所定値より小さいことで前記タッチ領域がタッチされたと判定するステップと、
タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。
【請求項16】
前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップの後、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定値より小さいことで、前景が停止していることを認識するステップを有することを特徴とする請求項15に記載のタッチ位置入力方法。
【請求項17】
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。
【請求項18】
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。
【請求項19】
前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項13乃至請求項18のいずれか1項に記載のタッチ位置入力方法。
【請求項20】
前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項13乃至請求項18のいずれか1項に記載のタッチ位置入力方法。
【請求項21】
前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項13乃至請求項16のいずれか1項に記載のタッチ位置入力方法。
【請求項22】
前記背景画像と前記現在画像との前記タッチ領域を対比するステップ、及び、前記前景の領域と前記影の領域を対比するステップにおいて、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出することを特徴とする請求項14乃至請求項21のいずれか1項に記載のタッチ位置入力方法。
【請求項23】
前記背景画像に対して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像に対して前記現在画像の中で変化した画素数が前記タッチ領域全体の画素数に対して所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。
【請求項24】
前記背景画像に比して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の1処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像と現在画像との各画素間の距離中の総和が所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。
【請求項25】
前記背景画像と前記現在画像との前記タッチ領域を対比するステップにおいて、前記背景画像に対して前記現在画像の差が所定値以下であるとき、前記現在画像を参考に前記背景画像を更新するステップを有することを特徴とする請求項14乃至請求項22のいずれか1項に記載のタッチ位置入力方法。
【請求項26】
前記背景画像を更新するステップにおいて、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項25に記載のタッチ位置入力方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、プロジェクタにて投影されているスクリーン上の投影画像に対する人の手指等によるタッチ操作及びタッチ位置を検出して所定の入力処理をするタッチ位置入力装置及びタッチ位置入力方法に関する。
【背景技術】
【0002】
現在、プロジェクタにて投影されているスクリーン上の投影画像に対するプレゼンテータの手指等によるタッチ操作及びタッチ位置を検出しコンピュータに入力するタッチ位置入力技術(以下、タッチ位置入力技術と称す。)が提案されている。このタッチ位置入力技術としては、例えば、特開2009-70245号公報(特許文献1)、特開2007-328754号公報(特許文献2)、特開2007-141177号公報(特許文献3)、特開2001-350586号公報(特許文献4)、特表2007-514241号公報(特許文献5)に記載されたものがある。
【0003】
特許文献1乃至特許文献5に記載の技術は、半透明のスクリーン等を用い、背面からのプロジェクタによる画像投影とカメラ撮影により、プレゼンテータ側、すなわち、前面のスクリーンへのタッチを、タッチした指等の影やその動きの認識によって検出する技術である。これらは半透明のスクリーンが必要で、かつ、スクリーンの背面にプロジェクタやカメラの設置スペースを確保する必要があった。
【0004】
また、特表2007-517244号公報(特許文献6)、特表2006-514330号公報(特許文献7)には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、スクリーンへの投影画像を妨げているプレゼンテータ又はその一部のシルエットを検出する技術が提案されている。しかしながら、特許文献6及び特許文献7の技術は、プレゼンテータによるスクリーンへのタッチ等の操作を検出するものではなかった。
【0005】
特表2006-522967号公報(特許文献8)には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、プレゼンテータによるスクリーンへのタッチ位置を検出することを目的とした技術が記載されている。しかしながら特許文献8の提案は、カメラがスクリーン表面近くに設置され、タッチしようとする指等とスクリーンの距離を直接観察するものである。よって、タッチされるスクリーン上の位置を正確に検出するには少なくとも2台のカメラが必要である。
【0006】
また、タッチ位置入力技術としては、特開2007-299434号公報(特許文献9)に記載されているものも知られている。この特許文献9の提案では、大画面スクリーンの前方斜め上にスクリーンに向けて赤外光源を設置し、スクリーンの背面にカメラを設置する。そして、赤外光源から射出された赤外光をプレゼンテータの手指等が遮ることによりスクリーン上に影ができるように構成し、この影をスクリーン背面のカメラで撮影する。次に、スクリーン背面のカメラで撮影した画像データをコンピュータで解析し、プレゼンテータの手指等の影の位置を割り出す。さらに、プロジェクタにてスクリーンに投影している画像と手指等の影の位置の関係から何をタッチしたのかを割り出し、そのタッチ操作に対応するアクションを起動する。この特許文献9の技術では、赤外光源と赤外線を透過するプラスチック等の特別なスクリーンが必要であり、かつその位置関係も予め所定のものに設定しておく必要がある。そのため、部屋の壁面をスクリーンにしてプロジェクタから投影させる場合のように、任意の面をスクリーンに利用して投影するような場合には利用できなかった。
【0007】
本願出願人も先に出願した特開2011-118533号公報(特許文献10)の中でタッチ位置入力技術の提案をしている。このタッチ位置入力技術は、スクリーンの正面側(投影面側)にプロジェクタと、当該プロジェクタの光軸からずれた位置に設置されるカメラと、プロジェクタ及びカメラと接続されたコンピュータと、を各一台ずつ配置するだけで、プレゼンテータのタッチ操作及びタッチ位置を検出し、入力操作が可能となる。具体的には、カメラで撮影した画像内におけるプレゼンテータの手指等の領域(前景)と、手指等で投影光を遮ることによりスクリーン上にできる影と、の面積比の変化からタッチ操作及びタッチ位置を算出するものである。
【先行技術文献】
【0008】

【特許文献1】特開2009-70245号公報
【特許文献2】特開2007-328754号公報
【特許文献3】特開2007-141177号公報
【特許文献4】特開2001-350586号公報
【特許文献5】特表2007-514241号公報
【特許文献6】特表2007-517244号公報
【特許文献7】特表2006-514330号公報
【特許文献8】特表2006-522967号公報
【特許文献9】特開2007-299434号公報
【特許文献10】特開2011-118533号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、上記先願に係る発明を改良したものであり、タッチ判定を行うときの環境変化に柔軟に対応し、精度の高いタッチ判定が可能なタッチ位置入力装置及びタッチ位置入力方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明のタッチ位置入力装置及び方法は、プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影し、画像データを情報処理装置に送出するカメラと、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶し、タッチ判定開始時の画像である基準画像を記憶し、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させ、前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶し、前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識し、前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識し、前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識し、前記前景の領域に対して前記影の領域が所定値以上に小さくになったときに前記タッチ領域がタッチされたと判定し、タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力する前記情報処理装置とを備えたことを特徴とする。
【0011】
上記発明のタッチ位置入力装置及び方法においては、前記情報処理装置は、前記背景画像と前記カメラから常時送出される現在画像との前記タッチ領域を対比し、前記現在画像に所定面積領域以上の色変化を認識でき、かつ、前記現在画像の時間変化が無くなったときにタッチ判定を開始するものとすることができる。
【0012】
また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定において、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に所定時間以上投影させ、前記前景の領域に対して前記影の領域が所定値以上に小さくなったときにタッチされたと判定するものとすることができる。

【0013】
さらに、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンとを高速に切り替えながら前記タッチ領域に所定時間以上投影させ、前記前景の領域と前記影の領域に対して前記影の領域が所定値以上に小さくなったときにタッチされたと判定するものとすることができる。
【0014】
また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはRGB色空間、HSV色空間、又は、YUV色空間の色空間上で所定距離以上離れた色を投影させるものとすることができる。
【0015】
そして、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させるものとすることができる。
【0016】
また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に投影させるものとすることができる。
【0017】
さらに、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像と前記現在画像との対比、及び、前記基準画像と前記変更後画像との対比をするとき、画素毎のRGB色空間、HSV色空間、又は、YUV色空間の色空間上での距離を算出するものとすることができる。
【0018】
また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像、前記現在画像、前記基準画像、及び、背景画像のタッチ領域の色やパターンを変更した後の画像などの間で対比をするとき、対応する画素間の色空間上で距離が所定の値以上離れている画素の一方を変化した画素と見なし、2つの画像や領域の差の大小は、その変化数で判定するものとすることができる。また、同じく2つの画像や領域を対比するとき、対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値と所定の閾値との大小比較で、差の大小を判定するものとすることもできる。
【0019】
そしてその場合、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両者の差が所定値以上となり、かつ、前記現在画像と直前の現在画像との差が所定値以下のときに前記タッチ判定を開始するものとすることができる。
【0020】
また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両者の差が所定値以下であるとき、前記現在画像を参考に前記背景画像を更新することを特徴とする。
【0021】
また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像を更新するとき、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新するものとすることができる。
【発明の効果】
【0022】
本発明によれば、タッチ判定を行うときの環境変化に柔軟に対応し、精度の高いタッチ判定が可能なタッチ位置入力装置及びタッチ位置入力方法を提供することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施の形態の大画面投影システム及びタッチ位置入力装置の構成図。
【図2】上記実施の形態のタッチ位置入力装置における情報処理装置の演算処理機能の構成を示すブロック図。
【図3】図3(A)は上記実施の形態を使用する投影システムにおいて、スクリーンに映った投影画像の正面図、図3(B)は、投影画像の投影中のスクリーンをカメラにて撮影した撮影画像から投影原画像を切り出し、射影変換処理する処理工程の説明図。
【図4】図4(A)は上記実施の形態を使用する投影システムにおいて、プロジェクタによるスクリーンへの投影画像をカメラで撮影した背景画像の説明図、図4(B)は、プロジェクタによるスクリーンへの投影画像とそのタッチ領域にプレゼンテータがタッチしようとする状態のカメラ撮影画像の説明図。
【図5】図5(A)は上記実施の形態を使用する投影システムにおいて、プロジェクタによるスクリーンへの投影画像をカメラで撮影した背景画像の説明図、図5(B)は、プロジェクタによるスクリーンへの投影画像とそのタッチ領域にプレゼンテータがタッチしようとする状態のカメラ撮影画像である基準画像の説明図、図5(C)は、図5(B)におけるタッチ領域への投影色を変更した状態のカメラ撮影画像である変更後画像の説明図。
【図6】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ入力処理全体のフローチャート。
【図7】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定を開始するか否かの判定処理のフローチャート。
【図8】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定処理のフローチャート。
【図9】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定時のドラッグ処理のフローチャート。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態を図に基づいて詳説する。

【0025】
図1は、本発明の実施の形態のタッチ位置入力装置を備えた投影システムの全体を示している。本実施の形態の大画面の投影システムは、スクリーン11と、スクリーン11に対して画像を投影するプロジェクタ12と、スクリーン11の投影画像を撮像するカメラ13と、プロジェクタ12及びカメラ13が接続された情報処理装置14とから構成されている。

【0026】
尚、タッチ位置入力装置は、この投影システムにおいてスクリーン11にプロジェクタ12から投影された映像に対してそのタッチ領域にプレゼンテータが手指等をタッチしたときに、そのタッチを検出してタッチ領域にあらかじめ割り付けられているタッチ入力処理を実行する機能も含めていう。そしてその実現のためには、情報処理装置14内にタッチ位置入力処理を行うソフトウェアプログラムが組み込まれている。

【0027】
プロジェクタ12とカメラ13、情報処理装置14は本実施の形態のタッチ位置入力装置を構成する。情報処理装置14は例えば1台のコンピュータ、若しくは、ネットワークで相互に接続され通信し合うことができる複数台のコンピュータであり、その1台にプロジェクタ12が、他の1台にカメラ13が接続される形態でも構わない。また、以下のタッチ位置入力装置の説明はコンピュータの処理機能を機能部ごとに分けて行うが、各部の行う処理は情報処理装置14に組み込んだコンピュータプログラムの演算処理にて実現されるものである。したがって、コンピュータが実行するタッチ位置入力プログラム、そのコンピュータプログラムの実行により実現されるタッチ位置入力方法、さらにはそのコンピュータプログラムを記録した記録媒体も本発明の技術的範囲である。

【0028】
スクリーン11を垂直に設置する場合は、スクリーン11の前に人が立ち、スクリーン11上を手指又は何かの器物(その影がスクリーン11に映る物。以下、手指で代表する。)で指示する際に、人の頭部や手以外の体の一部がプロジェクタ12からの光を遮らないようにする必要がある。また、カメラ13からスクリーン11上の投影画像への視野が人の頭部や体の一部に遮られないようにする必要もある。よって、一般的にはプロジェクタ12とカメラ13はスクリーン11の最上端付近か、さらにその上方で、かつ、左右方向にはスクリーン11のほぼ正面に設置されるのが望ましい。カメラ13はプロジェクタ12の付近において、互いの光軸が15度~25度程度の角度を保つように設置されるのが望ましい。

【0029】
スクリーン11を水平なテーブル上や床面とする場合は、プロジェクタ12及びカメラ13はスクリーン11の真上付近に設置するのが望ましい。この場合は、プレゼンテータはプロジェクタ12からの光を遮らないように頭等を避けることが期待できるが、カメラ13の視野を意識することは困難なため、カメラ13の設置位置をプロジェクタ12との角度が極力小さくなるように設定するのが望ましい。別角度に配置された2台以上のカメラ13で同時に撮影し、それらのいずれかでタッチを認識するようにすることもできる。

【0030】
尚、スクリーン11は平面に限定する必要はなく、プロジェクタ12からの投影画像をカメラ13によって撮像した後に情報処理装置14内部にて面積的に歪みなく元の画像と同じアスペクト比(縦横比)の矩形に変換できるものであれば任意の形状でよい。以後、説明を簡単にするためにスクリーン11は平面であることを想定する。

【0031】
スクリーン11が平面の場合は、例えばプロジェクタ12からスクリーン11上に歪みのない矩形画像、若しくは、台形状等に歪んだ四角形の画像をカメラ13で撮像するとプロジェクタ12とカメラ13の光軸の違いから別の歪みを持つ四角形となる。これに対しては、情報処理装置14内での画像処理において一般に用いられる射影変換を1回施すことによって、プロジェクタ12が投影しようとした元の画像と同じアスペクト比(縦横比)の矩形に変換することができ、撮像された物体とその影の面積比をほぼ正しく計算することができる。

【0032】
図2は情報処理装置14の処理する射影変換、影の面積比計算等、本実施の形態においてタッチ入力処理を実行するのに必要な処理機能をブロックに分けて示した図であり、図3~図5は処理の説明図、図6はその処理のフローチャートを示している。

【0033】
図2に示すように、情報処理装置14における各処理機能として、カメラ画像入力部101、部分画像切り出し処理部102、射影変換処理部103、タッチ領域認識処理部104、影領域認識処理部105、前景領域認識処理部106、背景領域認識処理部107、タッチ判定を行うタッチ判定部108、初期設定処理部109、投影原画像作成部110、画像出力部111、開始判定部112、背景画像更新処理部113を備えている。

【0034】
カメラ画像入力部101は、カメラ13とのインタフェース部であり、カメラ13を制御し、カメラ13の撮影した撮影画像を入力する。部分画像切り出し処理部102は、カメラ13から入力される撮影画像に対してプロジェクタ12からの投影画像の部分だけを切り出す。射影変換処理部103は、切り出された投影画像に対して原画像と同様のアスペクト比の矩形画像に変換する。

【0035】
タッチ領域認識処理部104は、撮影画像中から図3及び図4に示すタッチ領域31を割り出す。尚、タッチ領域31は情報処理装置14側で投影原画像内に設定した、当該領域内へのタッチを検出したときに次ページへ画像を展開する、前ページへ画像を戻す、該当部分の画像を拡大する、リンク先へ展開する等、予め該当タッチ領域31に割り付けられているアクションを有効とする領域である。初期設定処理部109は、タッチ領域31に手指が入り込んでいない、すなわち、背景のみの画像である図4(A)に示す背景画像25に関連する情報を記憶する。

【0036】
背景領域認識処理部107は、タッチ領域31上に存在する手指や手指の影がかかっていない、すなわち、プロジェクタ12からスクリーン11に直接投影された画像の領域である背景領域34を認識する。影領域認識処理部105は、タッチ領域31上に存在する手指の影の領域である影領域32を認識する。前景領域認識処理部106は、タッチ領域31上に存在する背景領域34及び影領域32以外の領域を手指の領域であると認識し、当該領域を前景領域33として認識する。

【0037】
投影原画像作成部110は、プロジェクタ12に対してスクリーン11に向けて投影させる画像を作成する。尚、タッチ領域31の背景色もこの投影原画像作成部110で作成される。画像出力部111は、作成された画像をプロジェクタ12に送出する。開始判定部112は、タッチ判定を開始するか否かを判定する。背景画像更新処理部113は、タッチ領域31の背景のみの画像である背景画像25を随時更新する。

【0038】
次に、上記構成の投影システムにおけるタッチ入力処理装置の動作、すなわちタッチ入力処理方法の手順を説明する。

【0039】
図3(A)は、スクリーン11上の投影画像21を示している。図3(B)は、カメラ13による撮影画像22から投影画像相当領域21′の切り出しと、切り出された投影画像相当領域21′に対する射影変換後の投影画像再現像23を示している。

【0040】
図6のフローチャートにおいて、ステップ61の初期設定では、プロジェクタ12とカメラ13の位置関係のキャリブレーションと、初期のボタン背景画像(背景画像)の取得を行う。これらの処理は初期設定処理部109により行う。

【0041】
すなわち、初期設定処理部109が、プロジェクタ12に対してスクリーン11に初期設定画面を投影させるように初期設定画面を送出する。この初期設定画面は、テストパターンのように決まった画像であってもよいし、これから投影してプレゼンテーションを行おうとしている画像ファイルの中の特定の1枚の画像フレームであってもよい。

【0042】
次に、タッチ領域31を情報処理装置14とプレゼンテータに認識させるために、プロジェクタ12からあらかじめ設定した色(色は任意であるが、あらかじめ決定している)のタッチ領域31をスクリーン11に投影し、この状態で投影されているタッチ領域31の人の手指やその影が映っていない状態をカメラ13にて撮影し、その画像を切り出し、座標と色を決定し、初期の背景画像として記憶する。複数のボタン(タッチ領域)31を複数の位置で使用する場合、それぞれを投影してそれらの座標と色を記憶する。これがタッチ判定開始の判断ステップ65やタッチ判定ステップ69の処理の際に参照される初期の背景画像34となる。尚、タッチ領域31の決定処理でも、上の射影変換後の投影画像再現像23に対して行う。

【0043】
初期設定の後、情報処理装置14は、プロジェクタ12にプレゼンテーションその他のための投影画像データを送出する(ステップ62)。プロジェクタ12は、投影画像データに従ってスクリーン11に向けて投影光を射出する。

【0044】
カメラ13は、スクリーン11を撮影して撮影画像22のデータを1フレーム毎に情報処理装置14に送出する。この撮影画像22のデータは、カメラ画像入力部101を介して情報処理装置14に入力される(ステップ63)。

【0045】
情報処理装置14は、図3(B)に示すように撮影画像22内の投影画面相当部分21′の4隅を図3(A)に示す投影原画像21の4隅と対応させる処理を行う。すなわち、情報処理装置14は、部分画像切り出し処理部102にて撮影画像22から投影画像相当領域21′を切り出し、さらに射影変換処理部103にて投影画像相当領域21′を射影変換して投影原画像21とそれぞれの4隅を対応させた投影画像再現像23を生成する。この射影変換処理によって得られた投影画像再現像23を以下、切り出し画像23とも称する(ステップ64)。

【0046】
尚、ステップ61の初期設定において情報処理装置14は、初期設定処理部109にてタッチ領域31を含む投影原画像21をスクリーン11に投影させ、ステップ63及びステップ64の処理を実行して得られた投影画像再現像23から手指が入り込んでいないタッチ領域31の画像を背景領域34として記憶する。また、図6におけるステップ62~64の処理は、カメラ13が撮影する動画像の1フレームごとに繰り返し行う。すなわち、ステップ64から後の各処理では、切り出し画像23が常時提供されることとなる。

【0047】
ステップ64の後、情報処理装置14の開始判定部112により、タッチ判定を開始すべきか否かの判定を行う(ステップ65)。

【0048】
ステップ65において背景画像と現在画像の差が小さい場合、情報処理装置14は、背景画像更新処理部113にて背景画像の更新を行い(ステップ66)、再びステップ62に戻る(ステップ65における判定(1)へ分岐)。

【0049】
背景画像25の更新(ステップ66)においては、情報処理装置14は、背景画像更新処理部113により、背景画像25の色から一度に大きく変化しないように調整して背景画像25の更新を行う。一度に大きく変化しないように調整するとは、例えばRGB色空間で背景画像25と現在画像26における所定の画素でR(レッド)が10変わっている場合にRの値を1ずつ変化させて現在画像26の背景色に近づけるといったような調整である。

【0050】
このように背景画像25の更新を行うのは、プロジェクタ12を使用している場所での外因によって色が変化することがあり、背景画像25を更新しない場合に後述のタッチ判定に影響を及ぼすことがあるからである。尚、外因とは、例えばスクリーン11が窓の近くにあり、少しずつ日が差し込んできて背景の色合いが変化するといったものである。また、背景画像25の更新時に大きく色が変化しないように少しずつ調整するのは、カメラ13による撮像上のノイズや本装置のスクリーン上に影響をおよぼす周囲からの瞬間的な照度変動などが現在画像26内に部分的に含まれる可能性があり、それらをそのまま背景画像25として反映してしまう場合に、やはり後述のタッチ判定に影響を及ぼすことがあるからである。

【0051】
ステップ65において背景画像と現在画像の差が大きくても1フレーム前の現在画像(以下、「直前画像」と称する。)との差が小さい場合、前景が停止していないと判断できるためタッチ判定を開始しないでステップ62に戻る(ステップ65における判定(2)へ分岐)。

【0052】
ステップ65で、タッチ判定を開始すると判定した場合、ステップ68のタッチ領域31へのタッチ判定処理に移行する(ステップ65において判定(3)へ分岐)。

【0053】
ステップ68のタッチ判定処理では、投影するタッチ領域31の色を変更し、タッチ領域31の色を変更する前の画像である図5(B)に示す基準画像27と、図5(C)に示すタッチ領域31の色を変更した後の画像である変更後画像28とを画素毎に対比してタッチされているか否かの判定を行う。

【0054】
次に情報処理装置14は、タッチ判定処理にてタッチされていると判定した場合、ステップ69にてYESに分岐してタッチ領域31に割り当てられた入力に対応するアクションを実行する(ステップ70)。ステップ69にてタッチ領域31にタッチされていないと判定した場合、情報処理装置14は、NOに分岐して再びステップ62に戻る。

【0055】
以下、図6のフローチャートにおけるステップ65のタッチ判定開始の判定処理、ステップ68のタッチ判定処理についてさらに詳しく述べる。

【0056】
図7は、図6のステップ65の詳しい処理フローを示しており、情報処理装置14は、背景画像25とカメラから常時送出され切り出し画像23に変換された最新の画像(以下、「現在画像」と称する。)26のタッチ領域31中でRGB色空間、HSV色空間、YUV色空間等の色空間を対比し、両画像のタッチ領域31中で各画素の色空間における距離を元に両タッチ領域の差を算出する(ステップ65A01)。

【0057】
このステップ65A01において求めた上記の差が所定値に達していない場合、背景画像の更新処理を行うために図6におけるステップ66に移行する(ステップ65A02でNOに分岐)。そして上記の差が所定値以上の場合、ステップ65A02でYESに分岐し、情報処理装置14はステップ65A03,65A04に移行して直前画像と現在画像との差を求め、前景が停止しているか否かを判定する。

【0058】
ステップ65A03において求めた直前画像と現在画像の差が大きい場合、前景が停止していないと判断し、ステップ62に戻り、以上の処理を繰り返す(ステップ65A04でNOに分岐)。

【0059】
ステップ65A03において求めた直前画像と現在画像の差が小さい場合、前景が停止したと判断して情報処理装置14は、図6のステップ68へ移行し、タッチ判定処理を開始する(ステップ65A04でYESに分岐)。

【0060】
図8は、図6のステップ68の詳しい処理フローを示している。プレゼンテータが投影画像21上のタッチ領域31にタッチしようとしているとき、撮影画像22に対する切り出し画像23には、図4(B)に示すようにタッチ領域31中でポインティングする手指の影の領域(影領域)32、タッチ領域31の前方に位置するプレゼンテータの手指の領域(前景領域)33、プロジェクタ12からの投影光が直接スクリーン11に投影された背景領域34が存在する。

【0061】
情報処理装置14は、基準画像27が記憶されているか否かを判定する(ステップ68A01)。ステップ68A01で基準画像27が記憶されていない場合、NOに分岐して次のフレームの現在画像26を基準画像27として記憶し(ステップ68A02)、ステップ68A03を実行する。

【0062】
ステップ68A03では、情報処理装置14は、投影原画像作成部110にタッチ領域31の色を変更した画像データを生成させ、当該画像データを画像出力部111からプロジェクタ12に送出する。プロジェクタ12は、当該画像データに従ってタッチ領域31の色を変更した画像を投影し、カメラ13にて投影画像を撮影する。そして情報処理装置14は、タッチ領域31の色を変更した後の撮影画像を変更後画像28として記憶する。

【0063】
ステップ68A03におけるタッチ領域31の変更後の色は、変更前の色の補色を用いることができる。例えば、CMYKであれば、赤に対して緑、橙に対して青、黄に対して紫である。また、補色に限定されるものではなく、RGB色空間、HSV色空間、又は、YUV色空間における距離が離れた任意の色を用いる構成としてもよい。さらに、プロジェクタ12が投影している環境によって、認識しやすい色とし難い色も変わるため、色を徐々に変化させ、精度の高い色(反応が大きい色)を決定するものとしてもよい。さらに、背景画像26における背景色と、変更した色とを1~数フレーム毎に高速に切り替えながらタッチ領域31に所定時間以上投影させるものとしてもよい。このように元の色と変更した色とを素早く切り替えることで、情報処理装置14では色の変化を認識できるものの、プレゼンテーションを観ている者には気づかせることなくタッチ判定を行うことができる。

【0064】
次に、情報処理装置14は、背景領域認識処理部107に背景画像26と基準画像27のタッチ領域31を対比させ(ステップ68A04)、タッチ領域31中で色の変化がない領域を背景領域34として認識する(ステップ68A05)。また、情報処理装置14は、影領域認識処理部105に基準画像27と変更後画像28のタッチ領域31を対比させ(ステップ68A06)、色の変化がない領域を影領域32として認識する(ステップ68A07)。さらに、情報処理装置14は、前景領域認識処理部106によってタッチ領域31内で背景領域34及び影領域32以外の部分を前景領域33として認識する(68A08)。すなわち、背景領域34と影領域32をそれぞれ異なる画像で比較して認識し、前景領域33に関しては背景領域34と影領域32を除いた領域として認識する。このように各領域32、33、34を認識することにより、各領域の認識精度が高くなる。また、背景領域34と影領域32を認識した後にタッチ領域31中でそれ以外の領域を前景領域33としているため、前景である手指やタッチ器材が変化しても影響を受けることなく認識することができる。尚、色の変化を対比する場合は、上述した色空間での距離を基準にする。

【0065】
ステップ68A08の後、情報処理装置14は、影領域32の面積がタッチ領域全体に対して所定値以下であるか否かを判定する(ステップ68A09)。プレゼンテータがタッチ領域31をタッチしようとする場合、スクリーン11と手指が近づくため、撮影画像におけるスクリーン11に映し出される手指の影は、手指に隠れて非常に狭い領域となる。

【0066】
ステップ68A09において所定値以上の場合、情報処理装置14はNOに分岐してタッチ領域31の投影色を元の色に戻し、図6のステップ62に戻る。

【0067】
ステップ68A09において影領域が所定値以下の場合、情報処理装置14はタッチされたと判定し(ステップ68A11)、図6のステップ70へと進む。

【0068】
尚、図9のアクション処理70のフローチャートに示すように、タッチ判定に引き続き、タッチ状態が判定されているタッチ領域31中で、前フレームから前景が移動したベクトル量に応じて投影画像21内のタッチ領域31の位置を移動させることにより該タッチ領域31に対するドラッグ機能を実現する(ステップ70A1~70A6)。

【0069】
タッチ判定した場合、タッチされたタッチ領域31がドラッグ属性のタッチ領域であるかどうか判定し(ステップ70A1)、YESであればタッチ位置(タッチ領域31中の座標)を検出する(ステップ70A2)。ドラッグ属性のタッチ領域に対するタッチでなければ、NOに分岐してステップ62に戻る。

【0070】
続いて、ドラッグ属性のタッチ領域へのタッチの場合、割り出したタッチ位置が前フレームでのタッチ位置から移動した距離(ベクトル)を計算する(ステップ70A3)。そして移動距離が所定距離以上になっているか否かを判定する(ステップ70A4)。NOであれば、ここまでのステップ62に戻り、アクション処理を繰り返す。

【0071】
ステップ70A4で所定距離以上に移動したと判定される場合、割り出したタッチ位置が当該ドラッグ属性のタッチ領域にタッチしたと判定した時から直線距離にして全体でどれくらい移動したかの積分移動距離(ベクトル)を計算する(ステップ70A5)。そして全積分直線移動距離が所定距離以上になっているならば、当該タッチ領域を次のフレームの画像上でその距離だけ移動した画像にして投影する投影画像を作成する(70A6)。そして、ステップ62に戻る。

【0072】
このようにして、本実施形態のタッチ入力処理装置及びタッチ入力処理方法によれば、投影画像上のタッチ領域に対してプレゼンテータがその手指でタッチしたか否かを判定するときの環境変化に柔軟に対応し、精度の高いタッチ判定が可能である。

【0073】
尚、本発明は、以上の実施形態に限定されるものではない。例えば、上記実施形態では、タッチ判定やタッチ判定の開始の判定においてタッチ領域31の色を用いて判定しているが、タッチ領域31に投影するパターン(網目状、斜線、ブロック等)を記憶させて、パターンの変化で判定を行う構成としてもよい。この場合、タッチ領域31に手指が入り込むと、スクリーン11上のタッチ領域31中で背景領域34のパターンは変化せず、影領域32のパターンは消えるため、上記実施形態と同様に各領域32、33、34を認識することができる。

【0074】
また、外光の影響で背景画像のタッチ領域31の色が変化しても確実にタッチ領域を特定できるように背景画像のタッチ領域31の色を随時更新する処理は、必ずしも本発明に必須の要素ではなく、必要に応じて付加的に実施すればよいものであり、構成のシンプル化が必要な場合にはこの処理を採用しないことにすることも可能である。

【0075】
さらに、背景画像、現在画像、基準画像及び背景画像のタッチ領域の色やパターンを変更した後の画像などの間で対比をするとき、対応する画素間の色空間上での距離が所定の値以上離れている画素の一方を変化した画素と見なし、2つの画像や領域の差の大小は、その変化した画素の数で判定するものとすることができる。また、同じく2つの画像や領域を対比するとき、対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値と所定の閾値とを大小比較し、差の大小を判定するものとすることもできる。そしてこの場合、背景画像と現在画像とを対比して両者の差が所定値以上となり、かつ、現在画像と直前の現在画像との差が所定値以下のときにタッチ判定を開始するものと判定することができる。
【符号の説明】
【0076】
11 スクリーン
12 プロジェクタ
13 カメラ
14 情報処理装置
101 カメラ画像入力部
102 部分画像切り出し処理部
103 射影変換処理部
104 タッチ領域認識処理部
105 影領域認識処理部
106 前景領域認識処理部
107 背景領域認識処理部
108 タッチ判定部
109 初期設定処理部
110 投影原投影原画像作成部
111 画像出力部
112 開始判定部
113 背景画像更新処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8