TOP > 国内特許検索 > 位置検出装置及びプログラム > 明細書

明細書 :位置検出装置及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2015-132875 (P2015-132875A)
公開日 平成27年7月23日(2015.7.23)
発明の名称または考案の名称 位置検出装置及びプログラム
国際特許分類 G06F   3/042       (2006.01)
G06F   3/0346      (2013.01)
G06F   3/041       (2006.01)
FI G06F 3/042 473
G06F 3/033 422
G06F 3/041 380K
請求項の数または発明の数 5
出願形態 OL
全頁数 9
出願番号 特願2014-002474 (P2014-002474)
出願日 平成26年1月9日(2014.1.9)
発明者または考案者 【氏名】張 力峰
【氏名】芹川 聖一
【氏名】陳 慎静
出願人 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
個別代理人の代理人 【識別番号】100090697、【弁理士】、【氏名又は名称】中前 富士男
【識別番号】100176142、【弁理士】、【氏名又は名称】清井 洋平
【識別番号】100127155、【弁理士】、【氏名又は名称】来田 義弘
【識別番号】100159581、【弁理士】、【氏名又は名称】藤本 勝誠
審査請求 未請求
テーマコード 5B068
5B087
Fターム 5B068AA04
5B068BB18
5B068BC05
5B068BE06
5B068CC11
5B068CD06
5B068EE06
5B087AA02
5B087AA07
5B087AB02
5B087AE09
5B087CC26
5B087CC33
5B087DJ03
要約 【課題】一台のカメラで検出対象物の位置を検出することができる位置検出装置及びそのプログラムを提供する。
【解決手段】位置検出装置10は、反射板11、反射板11に近づく検出対象物A、及び反射板11上に映る検出対象物Aの反射像Bを撮像するカメラ12、並びにカメラ12が撮像した画像上の検出対象物及び反射像の位置から、反射板11を基準とした検出対象物Aの三次元位置を演算する演算手段を備える。
【選択図】図1
特許請求の範囲 【請求項1】
反射板、
該反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像を撮像するカメラ、並びに
該カメラが撮像した画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する演算手段
を備える位置検出装置。
【請求項2】
請求項1記載の位置検出装置において、
前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が0となったとき、前記検出対象物と前記反射板との距離を0と算出することを特徴とする位置検出装置。
【請求項3】
請求項1又は2記載の位置検出装置において、
前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が0となったときにおける前記画像上の前記検出対象物の位置を座標変換し、前記検出対象物の前記反射板上の二次元位置を算出することを特徴とする位置検出装置。
【請求項4】
請求項1~3のいずれか1項に記載の位置検出装置において、
タッチパネルとして用いられることを特徴とする位置検出装置。
【請求項5】
反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像の画像データから、画像上の前記検出対象物及び前記反射像の位置を検出する工程と、
検出された前記画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する工程と
をコンピュータに実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、タッチパネル等として用いられる位置検出装置及びそのプログラムに関する。
【背景技術】
【0002】
タッチパネルに用いられている位置検出方式としては、抵抗膜方式や静電容量方式が一般的である。これらの方式においては、画面上のタッチした部分の抵抗又は静電容量変化により位置検出を行っている。しかしこれらのタッチパネルは、タッチされるパネルに複数の部品が積層した複雑な構造となる。
【0003】
そこで、カメラを用いた画像処理方式の位置検出装置が提案されている(特許文献1~3参照)。画像処理方式の場合、タッチされるパネル自体を位置検出のための特殊な構造とする必要が無いため、低コスト化が可能であるなどのメリットがある。しかし、従来の画像処理方式の位置検出装置において、一台のカメラのみを用いる場合、カメラのレンズに対する奥行き方向の位置座標(距離)が判別できない。このため、従来の画像処理方式の位置検出装置によれば、パネル表面に指等の検出対象物が接触しているか否かなど、検出対象物の3次元座標を精度良く特定するためには、二台以上のカメラが必要となる。
【先行技術文献】
【0004】

【特許文献1】特開2012-3741号公報
【特許文献2】特開2002-312123号公報
【特許文献3】特許第4668897号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明はかかる事情に鑑みてなされたもので、一台のカメラで検出対象物の位置を検出することができる位置検出装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的に沿う第1の発明に係る位置検出装置は、反射板、該反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像を撮像するカメラ、並びに該カメラが撮像した画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する演算手段を備える。
【0007】
第1の発明に係る位置検出装置においては、検出対象物自体と共に反射板に映った検出対象物の反射像をカメラで捕らえることで、検出対象物の三次元位置を検出(特定)することができる。すなわち、演算手段により、画像上の検出対象物の二次元座標と共に、例えば画像上の検出対象物と反射像との距離をパラメータとして演算することで、一台のカメラの画像から検出対象物の三次元位置を算出することができる。
【0008】
第1の発明に係る位置検出装置において、前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が0となったとき、前記検出対象物と前記反射板との距離を0と算出することが好ましい。このようにすることで、反射板に検出対象物が触れた状態を容易に検知することができる。
【0009】
第1の発明に係る位置検出装置において、前記演算手段は、前記画像上の前記検出対象物と前記反射像との距離が0となったときにおける前記画像上の前記検出対象物の位置を座標変換し、前記検出対象物の前記反射板上の二次元位置を算出することが好ましい。このようにすることで、反射板に検出対象物が触れた位置を正確性を高めて算出することなどができる。
【0010】
第1の発明に係る位置検出装置は、タッチパネルとして用いられることが好ましい。本発明に係る位置検出装置をタッチパネルに用いると、一台のカメラにより、指等の検出対象物がパネル(反射板)に触れた位置を検出することができる。
【0011】
前記目的に沿う第2の発明に係るプログラムは、反射板に近づく検出対象物、及び前記反射板上に映る前記検出対象物の反射像の画像データ(画像)から、画像上の前記検出対象物及び前記反射像の位置を検出する工程と、検出された前記画像上の前記検出対象物及び前記反射像の位置から、前記反射板を基準とした前記検出対象物の三次元位置を演算する工程とをコンピュータに実行させるためのプログラムである。
【発明の効果】
【0012】
第1の発明に係る位置検出装置によれば、一台のカメラで検出対象物の位置を検出することができ、タッチパネル等に好適に用いることができる。第2の発明に係るプログラムは、第1の発明に係る位置検出装置の演算手段に好適に用いることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施の形態に係る位置検出装置を示す模式図である。
【図2】同位置検出装置の演算手段の座標変換アルゴリズムの説明図であり、(a)はカメラが撮像した画像上の座標を示し、(b)は座標変換したもの(実際の反射板上の座標)を示す。
【図3】実施例における検出対象物の位置検出の説明図であって、(a)はタブレット画面に表示したマーク、(b)はマークを指でなぞった出力結果を示す。
【発明を実施するための形態】
【0014】
続いて、添付した図面を参照しながら本発明を具体化した実施の形態について説明する。
図1に示すように、本発明の一実施の形態に係る位置検出装置としてのタッチパネル10は、反射板11と、カメラ12と、図示しない演算手段とを備える。

【0015】
反射板11は矩形の平板である。反射板11は、カメラ12に検出対象物Aの反射像Bを撮像可能な程度の反射性を有する面を備えるものであれば、特に限定されない。すなわち、反射板11の表面(反射面)は鏡面である必要は無く、カメラ12による撮像及びその画像処理に影響の無い範囲で粗面であってもよい。反射板11の材質もガラス、プラスチック、金属等、特に限定されず、透明であっても不透明であってもよい。反射板11の厚さも特に限定されず、フィルム状や薄膜状であってもよい。

【0016】
反射板11は、タッチパネル10におけるいわゆる画面としても機能する。なお、操作者がタッチするためのタッチパネル10における表示画像は、透明な反射板11の背後に映し出されていてもよい。例えば、既存の液晶ディスプレイやプラズマディスプレイ等をタッチパネル10に用いることもでき、この場合、ディスプレイ表面の透明板(例えば液晶ディスプレイにおける偏光板)が反射板11となる。また、透明な反射板11の背後にサンプル等を配置し、操作者が各サンプルに対応する位置をタッチするように構成されていてもよい。その他、操作者がタッチするためのタッチパネル10における表示画像は、反射板11の表面に直接描かれていてもよい。

【0017】
カメラ12は、反射板11に対して斜め前方(図1においては上方)に、かつ反射板11の表面(反射面)全面を撮像可能に配置されている。カメラ12は、反射板11に近づく検出対象物A(例えば、指等)と、反射板11上(表面)に映る検出対象物Aの反射像Bとを動画にて撮像する。カメラ12は、撮像した画像上の検出対象物a及び反射像b(図2(a)参照)の位置を画像データとして認識及び解析可能に撮像できることが好ましく、撮像素子としてCCDセンサやCMOSセンサを有するデジタルカメラが好ましい。カメラ12は、通常、可視光領域を撮像するものであるが、検出対象物A及びその反射像Bが撮像できれば、それに限定されるものではなく、赤外線カメラなどであってもよい。カメラ12は、反射板11に対して一体的に固定されていてもよいし、別体で固定されていてもよい。カメラ12は反射板11に対し、移動や着脱可能に固定されていてよい。

【0018】
カメラ12の取り付け角度は、反射板11に近づく検出対象物Aとその反射像Bとが撮像可能な角度であれば特に限定されず、良好な反射像Bが確認できる角度、操作者等により死角とならない位置などを考慮して設定される。例えば、反射板11の法線方向とカメラ12のレンズの正面方向とがなす角度としては、20°以上70°以下程度の範囲で設定できる。

【0019】
演算手段はカメラ12と連結されている。この演算手段には、例えば演算装置、制御装置及び記憶装置が中央演算装置(CPU)として組み込まれた公知のコンピュータを用いることができる。このコンピュータには、さらに出力装置等が備えられていてもよいし、出力装置(モニター等)はこのコンピュータと別であってもよい。コンピュータ(演算手段)の処理は、所定の機能を有するプログラムにより実現できる。このプログラムは、具体的には、反射板11に近づく検出対象物A、及び反射板11上に映る検出対象物Aの反射像Bの画像データから、画像上の検出対象物a及び反射像bの位置を検出する工程(I)と、検出された画像上の検出対象物a及び反射像bの位置から、反射板11を基準とした検出対象物Aの三次元位置を演算する工程(II)とをコンピュータに実行させるためのプログラムである。このプログラムはコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。以下、演算手段が行う具体的処理について説明する。

【0020】
演算手段には、まず、カメラ12が撮像した画像データが入力される。演算手段は、この画像データから、検出対象物a及びその反射像bを認識(解析)し、これらの位置(画像上の二次元座標)を検出する(工程(I))。この画像解析における検出対象物a及びその反射像bの認識(解析)は、例えばHaar-like特徴量に基づいて好適に行うことができる。Haar-like特徴量とは、計算対象内の矩形領域における黒色領域のピクセル値の和から白色領域のピクセル値の和を引いた値であり、物体認識で使用されている。なお、Haar-like特徴量以外に、EOH特徴量、HOG特徴量等の他の特徴量を用いてもよい。また、AdaBoost等の学習・判別アルゴリズムを用いて認識精度を高めることもできる。

【0021】
演算手段においては、工程(II)の一部として、前述の画像認識を元に、画像上の検出対象物aと反射像bとの距離が0となったとき、実際の検出対象物Aと反射板11との距離が0と算出するようにプログラミングされている。このため、タッチパネル10によれば、一台のカメラ12により反射板11に検出対象物A(指の先端等)が触れた状態を容易に検知することができる。

【0022】
演算手段においては、さらに、工程(II)の一部として、前述の画像認識を元に、画像上の検出対象物aとその反射像bとの距離が0となったとき(検出対象物Aが反射板11に接した状態)における画像上の検出対象物aの位置(二次元座標)を座標変換し、検出対象物Aの反射板11上の二次元位置を算出するようにプログラミングされている。この点を以下に詳説する。反射板11の斜め上前方にカメラ12を配置した場合、カメラ12が捉える画像においては、図2(a)に示すように、反射板11が台形状になる。すなわち、カメラ12が捉える反射板11上の座標は直交座標ではないため、これを図2(b)に示す直交座標(実際の反射板11上の座標)に変換する。この座標変換アルゴリズムは以下のとおりである。

【0023】
なお、以下の各式及び図2(a)、(b)において、各記号は以下を示す。
(x0,y0)~(x3,y3):カメラ12が捉えた画像上における反射板11の4頂点座標
(Nx,Ny):シフトパラメータ
(x,y):カメラ12が捉えた画像上における指の先端(検出対象物a)の座標
(x’0,y’0)~(x’3,y’3):反射板11の4頂点座標
(X’,Y’):反射板11上における指の先端(検出対象物A)の座標
k:スケールパラメータ

【0024】
実際の反射板11上における検出対象物A(反射板11に接した位置)の座標(X’,Y’)は、カメラ12が捉えた座標(x,y)から下記式を用いて変換する。

【0025】
【数1】
JP2015132875A_000003t.gif

【0026】
前記式中、a~hは座標変換パラメータである。前記2式は下記行列式で表すことができる。

【0027】
【数2】
JP2015132875A_000004t.gif

【0028】
前記式中の座標変換パラメータa~hは、実際及び画像上の反射板11の4頂点座標を用い、下記行列式で求めることができる。

【0029】
【数3】
JP2015132875A_000005t.gif

【0030】
なお、シフトパラメータ(Nx,Ny)は、検出箇所の違いなどによって生じうる測定誤差を補正するものであり、実際の測定に応じて適宜設定される。また、スケールパラメータkは、拡大縮小等の補正を行うものである。

【0031】
前記座標変換アルゴリズムにより、カメラ12の画像(図2(a))から、実際の反射板11上に触れた指の先端(検出対象物A)の位置(二次元直交座標:図2(b))を求めることができる。この座標変換(検出対象物Aの反射板11上の二次元位置の算出)は、1つの行列式により行われるため、演算速度(処理速度)が速い。

【0032】
タッチパネル10によれば、一台のカメラ12で検出対象物Aの位置を検出することができる。このようにカメラ12は一台でよいのでコストの低減に繋がる。また、いわゆるタッチパネル本体(反射板11を含む操作者が視認する画面を表示する装置)には、特殊な構造を必要とせず、故障率も低減する。

【0033】
タッチパネル10は、パソコン、携帯電話、携帯情報端末、コピー機、ファックス、カーナビ、ATM、自動販売機、ゲーム機、電子案内板、制御板などにおいて、主に表示画面に対する指示をタッチ操作等によって行うことを意図した機器に用いることができる。例えば、タッチパネル10を電子案内板に用いる場合、反射板11を案内図とし、案内を希望する箇所を指又は長い棒等で指すと、スピーカーから説明が流れるといった親切な電子案内板を低コストで提供できる。タッチパネル10は、その他タッチパッドなど表示画面を伴わないものであってもよい。タッチパネル10を用いた場合、例えば、自動販売機など不特定多数が使用するものについて、実質的に全面を強化ガラスや金属等の強度の高い材料で形成することができ、防犯性を高めることができる。また、既設の防犯カメラを位置検出のためのカメラとして兼用させることもできる。さらには、既存のディスプレイに対して、後付けでカメラを配置することで、タッチパネル機能を付与することもできる。

【0034】
本発明は前記した実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲でその構成を変更することもできる。本発明の位置検出装置は、タッチパネルに限定されるものではなく、例えばジェスチャーで操作を行うものなど、反射板(表示画面)への接触を前提としない操作パネル、ポインティングデバイス等に用いることもできる。この場合、演算手段は、カメラが捉えた画像上の検出対象物の二次元座標に加え、画像上の検出対象物とその反射像との距離をパラメータとして演算する。このようにすることで、一台のカメラの画像から、反射板を基準とした検出対象物の三次元位置を算出することができ、反射板へ接触していない検出対象物の位置及びその動きを検出することができる。

【0035】
また、本発明の位置検出装置に備わる反射板は平板である必要は無く、反射面を有していれば、その形状は限定されない。反射板として、用途等に応じて湾曲した板なども用いることができる。この場合、座標変換アルゴリズムは、反射板の形状に応じて適宜設定される。さらに、本発明の位置検出装置において、カメラを二台以上設けてもよい。この場合、操作者が死角になり検出対象物と反射像とが撮像できなくなることを低減することや、検出精度を高めることなどができる。また、検出対象物は指(指先)に限定されるものではなく、スタイラス等であってもよい。検出対象物には、識別性を高めるためにマーキング等が付されていてもよい。
【実施例】
【0036】
以下、実施例を挙げて、本発明の内容をより具体的に説明する。
市販のタブレットを、画像表示機能を有する反射板として用いた。このタブレットの前面上部に、前面の略全面を撮像可能にカメラを取り付けた。このカメラをコンピュータと接続させ、実施例のタッチパネル(位置検出装置)とした。なお、コンピュータの演算手段における座標変換には、実施の形態に記載の行列式によるアルゴリズムを用いた。
【実施例】
【0037】
検出対象物の認識が容易になるように、指先にマーカー(キャップ)を付け、動作確認を行った。図3(a)に示す2cm×2cmのマークをタブレット画面に映し出し、その上を指でなぞった。図3(b)に出力結果として示されるように、直線、直角、曲線も十分な精度で追跡された。また、処理速度は5~10msと十分な速度であった。
【符号の説明】
【0038】
10:タッチパネル(位置検出装置)、11:反射板、12:カメラ、A:検出対象物、B:反射像、a:(画像上の)検出対象物、b:(画像上の)反射像
図面
【図1】
0
【図2】
1
【図3】
2