TOP > 国内特許検索 > 印加力推定方法、印加力推定プログラム、およびコンピュータ入力デバイス > 明細書

明細書 :印加力推定方法、印加力推定プログラム、およびコンピュータ入力デバイス

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6161157号 (P6161157)
公開番号 特開2015-021747 (P2015-021747A)
登録日 平成29年6月23日(2017.6.23)
発行日 平成29年7月12日(2017.7.12)
公開日 平成27年2月2日(2015.2.2)
発明の名称または考案の名称 印加力推定方法、印加力推定プログラム、およびコンピュータ入力デバイス
国際特許分類 G01L   1/00        (2006.01)
G01L   5/00        (2006.01)
G06F   3/041       (2006.01)
FI G01L 1/00 Z
G01L 5/00 Z
G06F 3/041 595
請求項の数または発明の数 9
全頁数 10
出願番号 特願2013-147781 (P2013-147781)
出願日 平成25年7月16日(2013.7.16)
新規性喪失の例外の表示 特許法第30条第2項適用 平成25年5月22日に一般社団法人 日本機械学会ロボティクス・メカトロニクス部門のロボティクス・メカトロニクス講演会2013 in Tsukuba講演予稿集CD-ROMにて発表
審査請求日 平成28年5月17日(2016.5.17)
特許権者または実用新案権者 【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】栗田 雄一
【氏名】辻 敏夫
【氏名】氣比田 晃士
個別代理人の代理人 【識別番号】110001427、【氏名又は名称】特許業務法人前田特許事務所
審査官 【審査官】公文代 康祐
参考文献・文献 特表2003-532216(JP,A)
特許第4729723(JP,B2)
特開2005-257343(JP,A)
米国特許第04340300(US,A)
Yuichi Kurita et al.,“A Fingerprint Pointing Device Utilizing the Deformation of the Fingertip During the Incipient Slip”,IEEE Transactions on Robotics,米国,IEEE,2005年10月,Vol. 21, No. 5,p. 801-811
調査した分野 G01L 1/00
G01L 5/00
G06F 3/041
特許請求の範囲 【請求項1】
弾性体の先端とセンサー面との接触部分の画像を取得し、
前記接触部分の画像の輪郭を抽出して接触面画像を生成し、
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のx方向への前記接触面画像の偏心を表すx偏心度を算出し、
Hertzの接触理論に基づいて、前記弾性体の先端において前記センサー面の法線方向に印加される力を算出するとともに、Hertzの接触理論において前記弾性体の先端の前記x方向への微小変位を前記x偏心度で表して、前記弾性体の先端に印加される前記x方向の力を算出する
ことを特徴とする印加力推定方法。
【請求項2】
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のy方向への前記接触面画像の偏心を表すy偏心度をさらに算出し、
Hertzの接触理論において前記弾性体の先端の前記y方向への微小変位を前記y偏心度で表して、前記弾性体の先端に印加される前記y方向の力をさらに算出する、請求項1に記載の印加力推定方法。
【請求項3】
前記弾性体が人の指である、請求項1および2のいずれか一つに記載の印加力推定方法。
【請求項4】
画像取得部によって取得された弾性体の先端とセンサー面との接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理手段、
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のx方向への前記接触面画像の偏心を表すx偏心度を算出する偏心度算出手段、および
Hertzの接触理論に基づいて、前記弾性体の先端において前記センサー面の法線方向に印加される力を算出するとともに、Hertzの接触理論において前記弾性体の先端の前記x方向への微小変位を前記x偏心度で表して、前記弾性体の先端に印加される前記x方向の力を算出する印加力算出手段として、コンピュータを機能させる
ことを特徴とする印加力推定プログラム。
【請求項5】
前記偏心度算出手段が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のy方向への前記接触面画像の偏心を表すy偏心度を算出するものを、さらに有しており、
前記印加力算出手段が、Hertzの接触理論において前記弾性体の先端の前記y方向への微小変位を前記y偏心度で表して、前記弾性体の先端に印加される前記y方向の力を算出するものを、さらに有している、請求項4に記載の印加力推定プログラム。
【請求項6】
前記弾性体が人の指である、請求項4および5のいずれか一つに記載の印加力推定プログラム。
【請求項7】
弾性体の先端とセンサー面との接触部分の画像を取得する画像取得部と、
前記接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理部と、
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のx方向への前記接触面画像の偏心を表すx偏心度を算出する偏心度算出部と、
Hertzの接触理論に基づいて、前記弾性体の先端において前記センサー面の法線方向に印加される力を算出するとともに、Hertzの接触理論において前記弾性体の先端の前記x方向への微小変位を前記x偏心度で表して、前記弾性体の先端に印加される前記x方向の力を算出する印加力算出部とを備えている
ことを特徴とするコンピュータ入力デバイス。
【請求項8】
前記偏心度算出部が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のy方向への前記接触面画像の偏心を表すy偏心度を算出するものを、さらに有しており、
前記印加力算出部が、Hertzの接触理論において前記弾性体の先端の前記y方向への微小変位を前記y偏心度で表して、前記弾性体の先端に印加される前記y方向の力を算出するものを、さらに有している、請求項7に記載のコンピュータ入力デバイス。
【請求項9】
前記弾性体が人の指である、請求項7および8のいずれか一つに記載のコンピュータ入力デバイス。
発明の詳細な説明 【技術分野】
【0001】
本発明は、センサー面に接触する弾性体の先端に印加される力を推定する印加力推定技術に関し、特に、人の指先を使ってポインティング操作などの入力を行うコンピュータ入力デバイスに好適な印加力推定技術に関する。
【背景技術】
【0002】
科学技術の発展により、デバイスの小型化が進んでいる。コンピュータ入力デバイスなどのインタフェースデバイスにおいても小型化されることによって既存の製品に組み込んだり、新たな製品の開発といったさまざまな応用が考えられる。また、インタフェースデバイスが利用可能な入力として位置情報を用いるものと力情報を用いるものがあるが、位置情報による入力は動作を行うためのスペースが必要となるため、小さなデバイスでは力情報による入力が適している。
【0003】
力情報を取得する方法として、力センサーを使用せず、画像情報から指先印加力を算出する方法が数多く提案されている。例えば、指先に装置を装着し、指先内部の静脈の変化を計測することで指先印加力の算出を行っている(例えば、非特許文献1参照)。また、一定の照明条件下において爪の色の変化から指先印加力の算出を行っている(例えば、非特許文献2参照)。
【先行技術文献】
【0004】

【非特許文献1】星貴之, 「静脈像にもとづくタッチインタフェースのための基礎的検討」, センシングフォーラム資料, 28th, 2011, pp.65-68
【非特許文献2】J. Marshall et al, "Pressing the Flesh: Sensing Multiple Touch and Finger Pressure on Arbitrary Surfaces," In Proc. of Pervasive, 2008, pp.38-55
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、従来の画像情報に基づく印加力推定は、使用者ごとに調整が必要であったり、大がかりな装置が必要であったりする。このため、従来の画像情報に基づく印加力推定は、既存のスマートフォンやタブレット端末などの小型デバイスに適用することが難しいという問題がある。
【0006】
上記問題に鑑み、本発明は、力センサーや大がかりな装置を用いずに、弾性体の先端の画像情報に基づいて簡便に印加力推定を行うことを課題とする。
【課題を解決するための手段】
【0007】
本発明の一局面に従った印加力推定方法は、弾性体の先端とセンサー面との接触部分の画像を取得し、前記接触部分の画像の輪郭を抽出して接触面画像を生成し、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のx方向への前記接触面画像の偏心を表すx偏心度を算出し、Hertzの接触理論に基づいて、前記弾性体の先端において前記センサー面の法線方向に印加される力を算出するとともに、Hertzの接触理論において前記弾性体の先端の前記x方向への微小変位を前記x偏心度で表して、前記弾性体の先端に印加される前記x方向の力を算出する。
【0008】
これによると、Hertzの接触理論に基づいて、弾性体の先端においてセンサー面の法線方向に印加される力が算出されるとともに、弾性体の先端とセンサー面との接触部分の画像の解像度が低くても接触面画像のx偏心度は高精度に算出することができるため、Hertzの接触理論において十分な精度が得られない微小変位に代えて高精度のx偏心度を用いることで、弾性体の先端に印加されるx方向の力を十分な精度で算出することができる。
【0009】
上記印加力推定方法は、さらに、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のy方向への前記接触面画像の偏心を表すy偏心度を算出し、Hertzの接触理論において前記弾性体の先端の前記y方向への微小変位を前記y偏心度で表して、前記弾性体の先端に印加される前記y方向の力を算出してもよい。
【0010】
本発明の別の局面に従った印加力推定プログラムは、画像取得部によって取得された弾性体の先端とセンサー面との接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理手段、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のx方向への前記接触面画像の偏心を表すx偏心度を算出する偏心度算出手段、およびHertzの接触理論において前記弾性体の先端の前記x方向への微小変位を前記x偏心度で表して、前記弾性体の先端に印加される前記x方向の力を算出する印加力算出手段として、コンピュータを機能させるものである。
【0011】
これによると、画像取得部が取得する画像の解像度が低くても弾性体の先端とセンサー面との接触面画像のx偏心度は高精度に算出することができるため、Hertzの接触理論において十分な精度が得られない微小変位に代えて高精度のx偏心度を用いることで、弾性体の先端に印加されるx方向の力を十分な精度で算出することができる。
【0012】
上記印加力推定プログラムにおいて、前記偏心度算出手段が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のy方向への前記接触面画像の偏心を表すy偏心度を算出するものを、さらに有しており、前記印加力算出手段が、Hertzの接触理論において前記弾性体の先端の前記y方向への微小変位を前記y偏心度で表して、前記弾性体の先端に印加される前記y方向の力を算出するものを、さらに有していてもよい。
【0013】
本発明のさらに別の局面に従ったコンピュータ入力デバイスは、弾性体の先端とセンサー面との接触部分の画像を取得する画像取得部と、前記接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理部と、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のx方向への前記接触面画像の偏心を表すx偏心度を算出する偏心度算出部と、Hertzの接触理論において前記弾性体の先端の前記x方向への微小変位を前記x偏心度で表して、前記弾性体の先端に印加される前記x方向の力を算出する印加力算出部とを備えている。
【0014】
これによると、画像取得部が取得する画像の解像度が低くても弾性体の先端とセンサー面との接触面画像のx偏心度は高精度に算出することができるため、Hertzの接触理論において十分な精度が得られない微小変位に代えて高精度のx偏心度を用いることで、弾性体の先端に印加されるx方向の力を十分な精度で算出することができる。
【0015】
上記コンピュータ入力デバイスにおいて、前記偏心度算出部が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のy方向への前記接触面画像の偏心を表すy偏心度を算出するものを、さらに有しており、前記印加力算出部が、Hertzの接触理論において前記弾性体の先端の前記y方向への微小変位を前記y偏心度で表して、前記弾性体の先端に印加される前記y方向の力を算出するものを、さらに有していてもよい。
【0016】
さらに、上記印加力推定方法、上記印加力推定プログラム、および上記コンピュータ入力デバイスにおいて、前記弾性体が人の指であってもよい。すなわち、指先でセンサー面を直接触れてもよいし、手袋や指サックやスタイラスペンなどで間接的にセンサー面を触れてもよい。
【発明の効果】
【0017】
本発明によると、力センサーや大がかりな装置を用いずに、弾性体の先端とセンサー面との接触部分の画像情報に基づいて、弾性体の先端に印加される力を簡便に推定することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係るコンピュータ入力デバイスの構成図
【図2】指紋画像とそれから生成される接触面画像の例を示す図
【図3】指先に力が印加されたときの接触面画像の変化の例を示す図
【図4】Hertzの接触理論を説明する図
【発明を実施するための形態】
【0019】
以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

【0020】
図1は、本発明の一実施形態に係るコンピュータ入力デバイスの主要部の構成を示す。本実施形態に係るコンピュータ入力デバイス10は、人の指先100とセンサー面110との接触面の画像情報から、指先100に印加される垂直方向および接線方向の力を推定するものである。コンピュータ入力デバイス10は、画像取得部11、画像処理部12、偏心度算出部13、および印加力算出部14を備えている。

【0021】
画像取得部11は、指先100とセンサー面110との接触部分の画像を適当なサンプリング周期(例えば、30msec)で取得する。センサー面100は、タッチパッドやタッチパネルなどの剛性のある材料で構成された平面部材である。

【0022】
画像取得部11として、指紋センサーなどに利用される光学式または非光学式デバイスを用いることができる。光学式デバイスの場合、ガラス版、アクリル版、ポリカーボネイト版などの透明板またはプリズムの下側からLEDなどで光を照射し、反射面(センサー面110)に載せた指先100の反射像をレンズやミラーを介してCCDカメラなどで撮像する。すなわち、指先100の指紋画像が撮像される。

【0023】
一方、非光学式または半導体式デバイスはタッチパッドやタッチパネルなどに広く用いられているものである。非光学式デバイスには静電式、感熱式、電界式などがある。静電式は、センサー面110に指先100を載せたときに生ずる指紋の山(指紋の紋様を形成する皮膚の盛り上がった部分の隆線)と谷の電荷量の違いから指紋画像を取得するものである。感熱式は、センサー面110に接触する指紋の山の温度(体温)と谷の温度(空気温度)との温度差を検知して指紋画像を取得するものである。電界式は、指先100の表面に微弱電流を流して生じる電界について指紋の山と谷の電界強度の差から生ずる分布パターンを指紋画像に変換するものである。

【0024】
なお、画像取得部11が取得する指先100とセンサー面110との接触部分の画像はカラーまたはグレースケール画像である必要はなく二値画像でよい。

【0025】
また、画像の解像度は、低すぎると指先100への印加力推定の精度が低下し、高すぎると計算量が増えるため、適当な解像度が望ましい。

【0026】
また、図1の例では1本の指先100がセンサー面100に接触しているが、センサー面110に複数の指先100を同時に接触させてもよい。この場合、画像取得部11は、それら個々の接触部分の画像を取得することができる。

【0027】
画像処理部12は、画像取得部11から指先100とセンサー面110との接触部分の画像、具体的には指先100の指紋画像を受けて、当該画像の輪郭を抽出して指先100とセンサー面110との接触面画像を生成する。図2は、指紋画像から接触面画像を生成する例を示す。図2(a)は指紋画像を示し、図2(b)は接触面画像を示す。便宜のため、指紋画像において指紋の山を黒色で表し、接触面画像において輪郭を実線で表している。画像処理部12は、既知の輪郭抽出アルゴリズムに従って図2(a)の指紋画像の輪郭を抽出して図2(b)の接触面画像を生成することができる。

【0028】
図1に戻り、偏心度算出部13は、指先100がセンサー面110に接触している状態で指先100に印加される力が変化することによって生じるセンサー面110のx方向への接触面画像の偏心を表すx偏心度を算出する。

【0029】
x偏心度を算出するに当たって、偏心度算出部13は、まず、接触面画像の基準点を決定する。例えば、ユーザーが指先100をセンサー面110に載せてから所定時間(例えば、100msec)経過後の接触面画像の重心を基準点とすることができる。そして、偏心度算出部13は、基準点を原点として接触面画像を4つの象限に分割し、第1象限および第4象限の合計面積と第2象限および第3象限の合計面積との面積比率の変化からx偏心度を算出する。

【0030】
図3は、指先100に力が印加されたときの接触面画像の変化の例を示す。図3(a)は基準の接触面画像を示し、図3(b)は指先100にx軸方向の力が印加されて変形した接触面画像を示す。原点Oが接触面画像の基準点である。ここで、図3(a)の接触面画像において第1象限の面積をSs1、第2象限の面積をSs2、第3象限の面積をSs3、第4象限の面積をSs4とする。また、図3(b)の接触面画像において第1象限の面積をSt1、第2象限の面積をSt2、第3象限の面積をSt3、第4象限の面積をSt4とする。このとき、x軸偏心度eは次式(1)で定義される。

【0031】
【数1】
JP0006161157B2_000002t.gif

【0032】
ただし、Sは基準の接触面画像の総面積、Sは変形した接触面画像の総面積である。

【0033】
図1に戻り、印加力算出部14は、接触面画像の画像情報に基づいて指先100に印加される力を算出する。印加力算出部14が算出する力は、センサー面110の垂直方向の力と接線方向(x軸方向)の力の二つである。これら力はHertzの接触理論に従って算出することができる。

【0034】
図4を参照してHertzの接触理論について説明する。図中の弾性体は指先100に相当し、剛性体はセンサー面110に相当する。弾性体が剛性体の表面に接触している場合において弾性体の先端に接線方向(x軸方向)への力が印加されたとき、接触部分に微小な変位δが生じる。ここで、接触部分の微小変位をδ、弾性体の先端において剛性体表面の法線方向に印加される力をfg、x軸方向に印加される力をflとすると、Hertzの接触理論から次式(2)が成り立つ。

【0035】
【数2】
JP0006161157B2_000003t.gif

【0036】
ただし、μは摩擦係数、νは動粘性係数、Gは縦弾性係数、Rは曲率半径、E’は等価弾性係数である。

【0037】
式(2)においてδは極めて小さいため、画像取得部11の比較的低い分解能でδを正確に計測することは困難である。ここで、微小変位δとx軸偏心度eとの間には次式(3)が成り立つことがわかっている。

【0038】
【数3】
JP0006161157B2_000004t.gif

【0039】
ただし、aは接触半径である。

【0040】
そこで、式(3)を式(2)に代入することで、次式(4)のようにHertzの接触理論の式をx軸偏心度eを用いて表すことができる。

【0041】
【数4】
JP0006161157B2_000005t.gif

【0042】
一方、Hertzの接触理論において、弾性体の先端に垂直方向の力のみが印加されているとき、力fgは次式(5)で表すことができる。

【0043】
【数5】
JP0006161157B2_000006t.gif

【0044】
ただし、aは接触半径、νは摩擦係数、Eはヤング率、Rは曲率半径である。

【0045】
上記事実から、印加力算出部14は、偏心度算出部13からx軸偏心度eを得て、式(4)および式(5)に従って、指先100に印加される垂直方向の力fgとセンサー面110のx軸方向の力flを算出することができる。

【0046】
以上のように、本実施形態に係るコンピュータ入力デバイス10は、センサー面110に接触する指先100の接触面画像から指先100に印加される力を推定することができる。

【0047】
なお、印加力算出部14は、指先100に印加されるセンサー面110のy軸方向の力を算出することもできる。それには、偏心度算出部13は、指先100がセンサー面110に接触している状態で指先100に印加される力が変化することによって生じるセンサー面110のy方向への接触面画像の偏心を表すy偏心度を算出する。x軸偏心度の算出に用いる接触面画像をy軸偏心度の算出にも用いることができる。すなわち、y軸偏心度は、接触面画像の第1象限および第2象限の合計面積と第3象限および第4象限の合計面積との面積比率の変化から算出することができる。指先100とセンサー面110との接触部分のy軸方向への微小な変位とy軸偏心度との間には式(3)と同様な関係があるため、式(4)から、指先100に印加されるセンサー面110のy軸方向の力を算出することができる。

【0048】
センサー面110に指先100を直接触れることを前提として説明したが、本発明はこの形態に限定されない。例えば、天然ゴムやシリコーンゴムなどの弾性材料で形成された略半球状の先端を有する手袋や指サックやスタイラスペンなどを用いてセンサー面110に触れるようにしてもよい。これにより、接触部分がHertzの接触モデルにより近くなり、力の推定精度が向上する。特に、3軸の力、すなわち、センサー面110の垂直方向、x軸方向、y軸方向の力を推定する場合に有利である。

【0049】
本実施形態に係るコンピュータ入力デバイス10は、コンピュータの周辺デバイスとして使用することはもちろん、スマートフォンやタブレット端末などのタッチパネルとして使用することができる。また、ゲーム機器のコントローラにも応用することができる。特に、画像処理部12、偏心度算出部13、および印加力算出部14はCPUにコンピュータプログラムを実行させることで実現することができるため、既存のスマートフォンやタブレット端末などにおいてOSをアップデートすることで本実施形態に係るコンピュータ入力デバイス10が利用可能となる。すなわち、圧力センサーを備えない既存の機器に指先圧力を計測する機能をもたらすことができる。

【0050】
スマートフォンやタブレット端末などにおいて指先印加力が計測可能となることにより、現行のパターンロックをより安全に、またより複雑にすることができる。例えば、現行のパターンロックでは指を大きく動かしてロック解除する必要があるが、本実施形態に係るコンピュータ入力デバイス10を用いれば、指を大きく動かさずに、パネルに押し当てた指先に加える力を変化させるだけでパターンをなぞってロックを解除することができる。これにより、パターン解除時の指の動作を見破られにくくしてセキュリティを高めることができる。また、3軸の力が測定できることにより、パターンロックを3次化してロック解除を複雑化することができる。
【符号の説明】
【0051】
10 コンピュータ入力デバイス
11 画像取得部
110 センサー面
100 指先(弾性体)
12 画像処理部
13 偏心度算出部
14 印加力算出部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3