TOP > 国内特許検索 > 手書き文字認識装置、検出装置および処理装置 > 明細書

明細書 :手書き文字認識装置、検出装置および処理装置

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2018-067132 (P2018-067132A)
公開日 平成30年4月26日(2018.4.26)
発明の名称または考案の名称 手書き文字認識装置、検出装置および処理装置
国際特許分類 G06K   9/62        (2006.01)
G06F   3/0488      (2013.01)
G06F   3/0346      (2013.01)
FI G06K 9/62 G
G06F 3/0488 130
G06F 3/0346 424
請求項の数または発明の数 10
出願形態 OL
全頁数 16
出願番号 特願2016-205061 (P2016-205061)
出願日 平成28年10月19日(2016.10.19)
発明者または考案者 【氏名】荊 雷
出願人 【識別番号】506301140
【氏名又は名称】公立大学法人会津大学
個別代理人の代理人 【識別番号】100078282、【弁理士】、【氏名又は名称】山本 秀策
【識別番号】100107489、【弁理士】、【氏名又は名称】大塩 竹志
【識別番号】100113413、【弁理士】、【氏名又は名称】森下 夏樹
【識別番号】100181674、【弁理士】、【氏名又は名称】飯田 貴敏
【識別番号】100181641、【弁理士】、【氏名又は名称】石川 大輔
【識別番号】230113332、【弁護士】、【氏名又は名称】山本 健策
審査請求 未請求
テーマコード 5B064
5B087
5E555
Fターム 5B064BA05
5B064BA06
5B064BA07
5B064DD02
5B064DD06
5B064DD09
5B064DD10
5B087AA02
5B087AB02
5B087AE06
5B087BC06
5B087BC12
5B087BC26
5B087BC34
5B087DD03
5B087DD17
5B087DG02
5E555AA13
5E555BA38
5E555BB38
5E555BC19
5E555CA10
5E555CA31
5E555CA44
5E555CA47
5E555CB19
5E555CB21
5E555CC19
5E555EA14
5E555EA24
5E555FA00
要約 【課題】手書き文字の認識精度が高い手書き文字認識装置を提供すること。
【解決手段】筆記具1を用いて媒体3に筆記された文字を認識する手書き文字認識装置100は、筆記具1が媒体3に接触しているか否かを検出する複数のセンサ(4a、4b、5a、5b)を含む検出装置10’と、筆記具1が移動した軌跡を復元する復元部22と、複数のセンサ(4a、4b、5a、5b)のうちの少なくとも2つのセンサから出力されるデータに基づいて、軌跡から文字を分離する分離部23と、分離部23によって分離された文字の特徴を抽出する抽出部24と、抽出部24によって抽出された文字の特徴に基づいて、文字を認識する認識部25とを備える。
【選択図】図4
特許請求の範囲 【請求項1】
筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置であって、前記手書き文字認識装置は、
前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、
前記筆記具が移動した軌跡を復元する復元部と、
前記複数のセンサのうちの少なくとも2つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
を備えた、手書き文字認識装置。
【請求項2】
前記複数のセンサは、
前記筆記具の動きを検出する少なくとも1つの第1のタイプのセンサと、
前記筆記具が前記媒体に接触することによって発生する音および/または振動を検出する少なくとも1つの第2のタイプのセンサと
を含み、
前記分離部は、前記少なくとも1つの第1のタイプのセンサから出力されるデータと前記少なくとも1つの第2のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離する、請求項1に記載の手書き文字認識装置。
【請求項3】
前記少なくとも1つの第1のタイプのセンサは、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも1つを含む、請求項2に記載の手書き文字認識装置。
【請求項4】
前記少なくとも1つの第2のタイプのセンサは、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも1つを含む、請求項2~3のいずれか一項に記載の手書き文字認識装置。
【請求項5】
前記検出部は、前記筆記具を持つ手の指先に装着されることが可能なように構成された装置に含まれている、請求項1~4のいずれか一項に記載の手書き文字認識装置。
【請求項6】
前記分離部は、前記複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、前記軌跡から前記文字を分離する、請求項1~5のいずれか一項に記載の手書き文字認識装置。
【請求項7】
前記回帰分析手法は、カーネル関数を用い、前記回帰分析手法により導出された前記関数は、結合分布関数である、請求項6に記載の手書き文字認識装置。
【請求項8】
前記抽出部は、前記文字の特徴がチェーンコードで表現されるように前記文字の特徴を抽出し、前記認識部は、前記チェーンコードを用いて前記文字を認識する、請求項1~7のいずれか一項に記載の手書き文字認識装置。
【請求項9】
媒体に文字を筆記する際に用いられる筆記具が前記媒体に接触しているか否かを検出する検出部と、
前記検出部によって検出された検出結果を示すデータを出力する出力部と
を備えた検出装置であって、
前記検出装置は、前記筆記具を持つ手の指先に装着されることが可能であるように構成されている、検出装置。
【請求項10】
筆記具を用いて媒体に文字を筆記する際に前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサのうちの少なくとも2つのセンサから出力されるデータに基づいて、手書き文字を認識する処理を実行する処理装置であって、前記処理装置は、
前記2つのセンサから出力されるデータを受信する受信部と、
前記筆記具が移動した軌跡を復元する復元部と、
前記少なくとも2つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
を備えた、処理装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置、検出装置および処理装置に関する。
【背景技術】
【0002】
従来から、筆記具に内蔵された検出装置によって筆記具の動きを検出することにより、その筆記具を用いて媒体(例えば、ディスプレイ面)に筆記された文字を認識する手書き文字認識装置が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【0003】

【特許文献1】特開平7-110737号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、このような従来の技術では、筆記具の動きを検出する検出装置を内蔵した筆記具を用いた場合にのみ、手書き文字を認識することが可能であり、そのような検出装置を内蔵しない一般の筆記具(例えば、一般に市販されているボールペンや鉛筆)を用いた場合には、手書き文字を認識することが可能でないのが発明者の認識であった。また、そのような検出手段を内蔵する筆記具の場合には、筆記具の先端には空きスペースが少なく、そのような検出手段を筆記具の先端に収納することができないため、筆記具の動きの検出精度が低く、その結果、手書き文字の認識精度も低いというのが発明者の認識であった。さらに、従来の手書き文字認識装置では、筆記具が移動した軌跡から文字を分離する処理の精度が低いため、その結果、手書き文字の認識精度が低いというのが発明者の認識であった。
【0005】
本発明は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の手書き文字認識装置は、筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置であって、前記手書き文字認識装置は、前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、前記筆記具が移動した軌跡を復元する復元部と、前記複数のセンサのうちの少なくとも2つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、前記分離部によって分離された前記文字の特徴を抽出する抽出部と、前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部とを備えている。
【0007】
本発明の1つの実施形態では、前記複数のセンサは、前記筆記具の動きを検出する少なくとも1つの第1のタイプのセンサと、前記筆記具が前記媒体に接触することによって発生する音および/または振動を検出する少なくとも1つの第2のタイプのセンサとを含み、
前記分離部は、前記少なくとも1つの第1のタイプのセンサから出力されるデータと前記少なくとも1つの第2のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離するように構成されていてもよい。
【0008】
本発明の1つの実施形態では、前記少なくとも1つの第1のタイプのセンサは、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも1つを含んでいてもよい。
【0009】
本発明の1つの実施形態では、前記少なくとも1つの第2のタイプのセンサは、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも1つを含んでいてもよい。
【0010】
本発明の1つの実施形態では、前記検出部は、前記筆記具を持つ手の指先に装着されることが可能なように構成された装置に含んでいてもよい。
【0011】
本発明の1つの実施形態では、前記分離部は、前記複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、前記軌跡から前記文字を分離するように構成されていてもよい。
【0012】
本発明の1つの実施形態では、前記回帰分析手法は、カーネル関数を用い、前記回帰分析手法により導出された前記関数は、結合分布関数であってもよい。
【0013】
本発明の1つの実施形態では、前記抽出部は、前記文字の特徴がチェーンコードで表現されるように前記文字の特徴を抽出し、前記認識部は、前記チェーンコードを用いて前記文字を認識するようにしてもよい。
【0014】
本発明の検出装置は、媒体に文字を筆記する際に用いられる筆記具が前記媒体に接触しているか否かを検出する検出部と、前記検出部によって検出された検出結果を示すデータを出力する出力部とを備えた検出装置であって、前記検出装置は、前記筆記具を持つ手の指先に装着されることが可能であるように構成されている。
【0015】
本発明の処理装置は、筆記具を用いて媒体に文字を筆記する際に前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサのうちの少なくとも2つのセンサから出力されるデータに基づいて、手書き文字を認識する処理を実行する処理装置であって、前記処理装置は、前記2つのセンサから出力されるデータを受信する受信部と、前記筆記具が移動した軌跡を復元する復元部と、前記少なくとも2つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、前記分離部によって分離された前記文字の特徴を抽出する抽出部と、前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部とを備えている。
【発明の効果】
【0016】
本発明によれば、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することが可能である。
【図面の簡単な説明】
【0017】
【図1】(a)は本発明の1つの実施形態である検出装置10を指先に装着した状態で筆記具1を用いて紙に文字を筆記している様子を示す図、(b)は検出装置10の拡大図
【図2】本発明の1つの実施形態の検出装置10の構成の一例を示す図
【図3】本発明の1つの実施形態の手書文字認識装置において実行される手書き文字認識処理の流れの一例を示す図
【図4】本発明の1つの実施形態の手書き文字認識装置100の構成の一例を示す図
【図5】加速度センサ4aから出力されたX’軸の加速度の値をプロットしたグラフの一例を示す図
【図6】(a)は文字「2」の軌跡をn個の点でプロットした状態を示す図、(b)は文字「2」の軌跡をn個の点にプロットした位置座標間を結ぶ移動方向ベクトルの向きを示す図、(c)は方向ベクトルのパターンを示す図、(d)は文字「2」の軌跡を方向ベクトルのパターンを用いて数値化した状態を示す図
【発明を実施するための形態】
【0018】
以下、図面を参照しながら、本発明の実施形態を説明する。

【0019】

1.検出装置の概要
出願人は、筆記具(例えば、一般に市販されているボールペンや鉛筆など)を用いて媒体(例えば、紙など)に文字を筆記する場合において、その筆記具が媒体に接触しているか否かを高精度に検出することが可能な検出装置を提供する。

【0020】
図1(a)は、本発明の1つの実施形態である検出装置10を指先に装着した状態で筆記具1を用いて紙に文字を筆記している様子を示す。ここで、本明細書では、「文字」とは、アルファベット、数字、ひらがな、カタカナ、漢字などの文字の他、図形や記号を含むものとして定義する。

【0021】
図1(a)に示される例では、検出装置10は、筆記具1を持つ手の人差し指の指先(すなわち、指の先端と指の第1関節との間)に装着されているが、本発明はこれに限定されない。検出装置10は、筆記具1を持つ手の任意の指の指先に装着されることが可能である。例えば、検出装置10は、筆記具1を持つ手の親指の指先や中指の指先に装着されることも可能である。

【0022】
筆記具1の動きを検出するのに、筆記具1のペン先の動きを直接検出するのが最善であるが、筆記具1のペン先の動きを直接検出することはできない。したがって、本発明の検出装置10は、図1に示されるように、第1のタイプのセンサを、筆記具1を持つ手の指先に装着することにより、筆記具1のペン先の動きを直接検出したのと同等の動きを検出することを達成する。

【0023】
筆記中の筆記具1のペン先の動きは、親指と人差し指との間の筆記具1を支持する部分を支点として、その支点を中心とした回転運動および平行運動である。このことから、筆記具1のペン先の動きを正確に検出するためには、支点から遠く、できるだけ筆記具1のペン先に近い位置で筆記具のペン先の動きを検出することが求められるが、指先は指のその他の部分に比べて筆記具1のペン先に近い位置に存在し、また筆記具1のペン先の動きに対して忠実に追従して動く。

【0024】
したがって、筆記具1を持つ手の指先の動きを検出することにより、筆記具1のペン先の動きを直接検出したのとほぼ同等の結果を得ることが可能となる。

【0025】
それに対して、指先以外の指の位置で筆記具1のペン先の動きを検出しようとする場合、検出する位置が筆記具1のペン先から遠くなるため、筆記具1のペン先の動きが減衰して伝わることになる。そのため、筆記具1のペン先の動きを検出する成分が筆記具1のペン先の動き以外の動きの成分との間に埋もれてしまう場合があり、筆記具1のペン先の動きを検出する精度が劣る場合がある。

【0026】
検出装置10を筆記具1を持つ手の指先に装着することにより、検出装置10を筆記具1のペン先に近づけることができる。これにより、筆記具1を用いて文字を筆記している際の筆記具1のペン先の動きを精度よく検出することが可能である。

【0027】
図1(a)に示される例では、検出装置10はバンド2によって筆記具1を持つ手の指先に装着されているが、本発明はこれに限定されない。検出装置10を筆記具1を持つ手の指先に装着することが可能である限り、任意の手段で装着することが可能である。例えば、検出装置10を粘着テープによって筆記具1を持つ手の指先に装着するようにしてもよい。

【0028】
筆記具1としては、一般に市販されている任意のタイプの筆記具(例えば、一般に市販されているボールペン、シャープペンシル、鉛筆などの筆記具)やタッチパネルに文字を筆記するためのスタイラスを用いることが可能である。

【0029】
図1(b)は、検出装置10の拡大図である。図1(b)に示されるように、検出装置10が筆記具1を持つ手の指先に装着されると、互いに直交するX’軸、Y’軸、Z’軸が定義される。

【0030】

2.検出装置の構成
図2は、本発明の1つの実施形態の検出装置10の構成の一例を示す。検出装置10は、筆記具1が媒体3に接触しているか否かを検出する複数のセンサを含む検出部7を含む。検出部7は、筆記具1の動きを検出する少なくとも1つの第1のタイプのセンサを含むセンサ部4と、筆記具1が媒体3に接触することによって発生する音および/または振動を検出する少なくとも1つの第2のタイプのセンサを含むセンサ部5とを含む。

【0031】
図2に示される例では、センサ部4は、第1のタイプのセンサとして、加速度センサ4aとジャイロセンサ4bとを含む。加速度センサ4aとしては、静電容量型、ピエゾ抵抗型などの任意の型の加速度センサを用いることが可能である。また、ジャイロセンサ4bとしては、回転ジャイロ型、振動ジャイロ型、光学式ジャイロ型などの任意の型のジャイロセンサを用いることが可能である。

【0032】
加速度センサ4aは、図1(b)に示される指先の軸をY’軸とした場合のX’軸方向の加速度、Y’軸方向の加速度、Z’軸方向の加速度を検出することが可能であるように構成されている。

【0033】
同様に、ジャイロセンサ4bは、図1(b)に示される指先の軸をY’軸とした場合のX’軸方向の角速度、Y’軸方向の角速度、Z’軸方向の角速度を検出することが可能であるように構成されている。

【0034】
図2に示される例では、センサ部5は、第2のタイプのセンサとして、筆記具1が媒体3に接触することによって発生する音を検出するマイクロホン5aと、筆記具1が媒体3に接触することによって発生する振動を検出する加速度センサ5bとを含む。マイクロホン5aとしては、動電型、圧電型などの任意の型のマイクロホンを用いることが可能である。また、加速度センサ5bとしては、静電容量型、ピエゾ抵抗型などの任意の型の加速度センサを用いることが可能である。センサ部5は、FFT(高速フーリエ変換)6をさらに含む。FFT6は、マイクロホン5aから出力されるデータおよび加速度センサ5bから出力されるデータを受け取り、それらのデータにおけるノイズを除去する。

【0035】
加速度センサ5bは、図1(b)に示される指先の軸をY’軸とした場合のX’軸方向の角速度、Y’軸方向の角速度、Z’軸方向の角速度を検出することが可能であるように構成されている。

【0036】
検出装置10は、加速度センサ4aから出力されるデータ、ジャイロセンサ4bから出力されるデータ、マイクロホン5aから出力されFFT6を通過したデータ、加速度センサ5bから出力されFFT6を通過したデータを検出装置10の外部に出力する出力部8をさらに含む。例えば、出力部8は、これらのデータを文字認識処理を実行する処理装置(例えば、図4を参照して後述される処理装置20)に出力する。出力部8は、これらのデータを無線通信手段(例えば、Wi-Fi、Bluetooth(登録商標)、Zigbee(登録商標)など)を介して処理装置に出力するようにしてもよいし、これらのデータを有線通信手段を介して処理装置に出力するようにしてもよい。

【0037】
なお、図2に示される例では、文字認識処理を実行する処理装置(例えば、図4を参照して後述される処理装置20)は、検出装置10の外部に設けられているが、このような処理装置10を検出装置10の内部に設けるようにしてもよい。この場合には、検出装置10内の出力部8、処理装置20内の入力部21を省略することが可能である。

【0038】
図1に示されるように、検出装置10を指先に装着した状態で筆記具1を持ち、紙などの媒体3に文字を書くと、筆記具1の動きに合わせて指先の位置および角度が変化することにより、指先に加速度および角速度が発生する。また、筆記具1が媒体3に文字を書く際に、筆記具1が媒体3に接触することによって音および/または振動が発生する。検出装置10によれば、このようにして発生する加速度を加速度センサ4aによって検出することが可能であり、このようにして発生する角速度をジャイロセンサ4bによって検出することが可能であり、このようにして発生する音をマイクロホン5aによって検出することが可能であり、このようにして発生する振動を加速度センサ5bによって検出することが可能である。

【0039】
なお、図2に示される例では、センサ部4に含まれる第1のタイプのセンサの例として、加速度センサ4aとジャイロセンサ4bとを説明したが、センサ部4の構成はこれに限定されない。センサ部4は、筆記具1の動きを検出するという機能を有するセンサである限り、1つ以上の任意の数のセンサを含むことが可能である。例えば、センサ部4は、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも1つを含む。

【0040】
同様に、図2に示される例では、センサ部に含まれる第2のタイプのセンサの例として、マイクロホン5aと加速度センサ5bを説明したが、センサ部5の構成はこれに限定されない。センサ部5は、筆記具1が媒体3に接触することによって発生する音および/または振動を検出するという機能を有するセンサである限り、1つ以上の任意の数のセンサを含むことが可能である。例えば、センサ部5は、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも1つを含む。

【0041】
さらに、図2に示される例では、加速度センサ4aと加速度センサ5bとを別個のセンサとして構成する例を説明したが、本発明はこれに限定されない。加速度センサ4bが加速度センサ5bを兼ねることも可能である。これにより、加速度センサの数を減らすことが可能であり、その結果、検出装置10を小型化することが可能である。あるいは、加速度センサ5bの代わりに、ジャイロセンサ4bを用いる場合には、ジャイロセンサ4bが、筆記具1の動きを検出するとともに、加速度センサ5bの代わりに、筆記具1が媒体3に接触することよって発生する振動を検出することも可能である。これにより、ジャイロセンサ4bの数を最小限にすることが可能であり、その結果、検出装置10を小型化することが可能である。

【0042】

3.検出装置によって達成される効果
検出装置10によれば、検出装置10を筆記具1を持つ手の指先に装着することが可能であるため、検出装置10を筆記具1のペン先に近い位置で検出装置10を保持することが可能である。これにより、筆記具1の動きを精度よく検出することが可能となる。さらに、検出装置10が筆記具1と別体になっているため、携帯性に優れ、筆記具1を選ばず市販の筆記具1などを用いて媒体3に文字を筆記する場合でも、筆記具1の動きを検出することが可能となる。これにより、特殊な筆記具を用いることなく、一般に市販されている筆記具1を用いた場合でも手書き文字認識を容易に行うことが可能である。その結果、例えば、ホワイトボードにマジックで手書きした文字(アナログの手書き文字)を容易にデジタル化することが可能であり、個人のレクチャーノートに鉛筆で手書きした文字(アナログの手書き文字)を容易にデジタル化することが可能である。

【0043】

4.手書き文字認識装置の概要
図3は、本発明の1つの実施形態の手書文字認識装置において実行される手書き文字認識処理の流れの一例を示す。このような処理は、例えば、図4を参照して後述される手書文字認識装置100において実行される。

【0044】
STEP1:筆記具1の動きが検出される。このような検出は、例えば、検出装置10によって行われる。

【0045】
STEP2:筆記具1が移動した軌跡が復元される。その結果、図3に示されるように、「hello」という軌跡が復元される。

【0046】
STEP3:筆記具1が移動した軌跡から文字が分離される。その結果、図3に示されるように、「hello」という軌跡から最初の一文字「h」が分離される。

【0047】
STEP4:分離された文字の特徴が抽出される。その結果、図3に示されるように、例えば、抽出された文字の特徴が「4444440006446」という数値化されたパターンで表現される。図3に示される例では、抽出された文字の特徴はチェーンコードで表現されているがこれには限定されない。

【0048】
STEP5:抽出された文字の特徴に基づいて、文字が認識される。例えば、抽出された文字の特徴を表現するチェーンコードと同等のチェーンコードを有する基準文字が特定される。その結果、図3に示されるように、文字「h」が認識されることになる。

【0049】

5.手書き文字認識装置の構成
図4は、本発明の1つの実施形態の手書き文字認識装置100の構成の一例を示す。

【0050】
手書き文字認識装置100は、筆記具1の動きを検出する検出装置10’と、検出装置10’から出力される出力データに基づいて文字認識処理を実行する処理装置20とを含む。

【0051】
手書き文字認識装置100に含まれる検出装置10’は、装着される場所が筆記具1を持つ手の指先に限定されない点で、図1、図2で説明した検出装置10と相違している。手書き文字認識装置100に含まれる検出装置10’が装着される場所は、筆記具1を持つ手の任意の場所であってもよいし、筆記具1の内部の任意の場所であってもよいし、筆記具1の表面上の任意の場所であってもよい。例えば、検出装置10’をタッチパネルに文字を筆記するためのスタイラスの内部に装着するようにしてもよい。そうすることにより、従来では、タッチパネル上の二次元の軌跡しか検知できなかったのに対して、本発明の手書き文字認識装置100では、検出装置10’に備えられた加速度センサ4aおよび/または角速度センサ4bなどにより空中移動の軌跡も検知できるようになるため、より高精度な手書き文字認識を達成することができる。例えば、手書き文字認識装置100では「い」を「心」と誤検出することなく、ただしく「い」と認識することが可能である。

【0052】
それ以外の構成については、検出装置10’の構成は、図1、図2を参照して説明した検出装置10の構成と同様であるので、ここではその詳細な説明を省略する。

【0053】
処理装置20は、検出装置10’から出力されるデータを受信する受信部(入力部)21と、検出装置10’から出力されるデータに基づいて筆記具1が移動した軌跡の復元する復元部22と、復元された軌跡から一文字に分離する分離部23と、分離された文字の特徴を抽出する抽出部24と、抽出された文字の特徴に基づいて文字を認識する認識部25とを含む。

【0054】
復元部22は、例えば、検出装置10に含まれる少なくとも1つのセンサ(加速度センサ4aおよび/またはジャイロセンサ4b)から出力されるデータに基づいて筆記具1が移動した軌跡を復元するように構成されている。

【0055】
例えば、復元部22は、筆記具1の移動を検出することが可能な加速度センサ4aから出力されるデータ(加速度を示すデータ)を、積分器を用いて2回積分することにより、筆記具1の移動方向および移動距離を算出することによって、筆記具1が媒体3に描く軌跡を復元することが可能なように構成されている。あるいは、復元部22は、ジャイロセンサ4bから出力されるデータ(角速度を示すデータ)を、積分器を用いて1回積分することにより、筆記具1の移動に伴って変化する角度を算出し、算出した角度と筆記具1を支える手の支持点から筆記具1の先端までの距離とに基づいて、筆記具1を用いて筆記中の各時間毎における筆記具1の位置を算出し、筆記具1が媒体3に描く軌跡を復元することが可能なように構成されていてもよい。

【0056】
加速度センサおよびジャイロセンサから出力されるデータを積分器で積分することにより筆記具が移動した軌跡を復元する方法としては、様々な方法が既に知られている。これらの公知の方法を用いて筆記具1が移動した軌跡を復元することが可能である。

【0057】
復元部22は、例えば、加速度センサ4aから出力されるデータ、または、ジャイロセンサ4bから出力されるデータのいずれかに基づいて、筆記具1が移動した軌跡を復元するようにしてもよいし、加速度センサ4aから出力されるデータおよびジャイロセンサ4bから出力されるデータの両方から出力されるデータに基づいて、筆記具1が移動した軌跡を復元するようにしてもよい。

【0058】
分離部23は、筆記具1の動きを検出する少なくとも1つのセンサ(例えば、加速度センサ4a、角速度センサ4b)から出力されるデータと、筆記具1が媒体3に接触することによって発生する音および/または振動を検出する少なくとも1つのセンサ(例えば、マイクロホン5a、加速度センサ5b)とに基づいて、復元部22によって復元された軌跡から一文字を分離することが可能なように構成されている。

【0059】
分離部23によれば、筆記具1が媒体3に接触しているか否かを検出する複数のセンサ(4a、4b、5a、5b)からそれぞれ出力されるデータに基づいて、筆記具1が媒体3に接触しているか否かを総合的に判定することによって、筆記具1が移動した軌跡から文字が分離される。これにより、1つのセンサから出力されるデータに基づいて筆記具1が移動した軌跡から文字を分離する場合に比べて、センサの誤検出による誤った判定を防止または低減することが可能である。その結果、筆記具1が移動した軌跡から文字を分離する際の精度を向上させることが可能である。

【0060】
なお、複数のセンサ(4a、4b、5a、5b)から出力されるデータに基づいて、筆記具1が媒体3に接触しているか否かを判定する場合において、例えば、複数のセンサ(4a、4b、5a、5b)のうち半分のセンサから出力されるデータに基づくと、筆記具1が媒体3に接触しているという判定になり、複数のセンサ(4a、4b、5a、5b)のうち残りの半分のセンサから出力されるデータに基づくと、筆記具1が媒体3に接触していないという判定になることにより(すなわち、判定結果が割れることにより)、筆記具1が媒体3に接触しているか否かの判定が困難になるおそれがあることが想定される。このような事態を回避する手段として、本発明では、複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、筆記具1が移動した軌跡から文字を分離する手法が採用されている。この手法は、複数のセンサから出力されるデータの確からしさを統計的に処理することにより、複数のセンサから出力されるデータを総合的に判定するための手法である。この回帰分析手法は、例えば、カーネル関数を用いる。この場合、回帰分析手法により導出された関数は、結合分布関数である。

【0061】
以下、カーネル関数を用いた回帰分析手法により複数のセンサ(4a、4b、5a、5b)から出力されるデータの確からしさを統計的に処理する方法を説明する。

【0062】
手書き文字認識のトレーニング用のデータとして複数のセンサ(4a、4b、5a、5b)から出力されたデータを予め取得し、その予め取得されたデータをデータベース30に保存する。データベース30は、処理装置20に接続されている。データベース30は、処理装置20の外部に設けられていてもよいし、処理装置20の内部に設けられていてもよい。次に、データベース30に保存された手書き文字認識のトレーニング用のデータをいったん読み出し、そのデータに筆記具1が媒体3に接触していたか否かの評価を示す値をタグ付けした状態でそのデータを再度データベース30に保存する。筆記具1が媒体3に接触しているか否かは、例えば、複数のセンサ(4a、4b、5a、5b)から出力されるデータを人間が見ながら、人間が評価することが可能である。あるいは、人間が評価する代わりに、測定ツールが評価するようにしてもよい。

【0063】
以下、図5を参照して、トレーニング用のデータを評価する方法の一例を説明する。

【0064】
図5は、加速度センサ4aから出力されたX’軸の加速度の値をプロットしたグラフの一例を示す。図5において、縦軸は、加速度センサ4aから出力されたX軸の加速度の値を示し、横軸は、測定時間を示す。測定時間の軸方向に延びる一点鎖線は、加速度センサ4aのX’軸の出力結果を示している。縦軸の一点鎖線は、測定時間中の筆記具1が媒体3に接触している時間と、筆記具1が媒体3に接触していない時間とを区切る境界線である。この境界線の位置は、例えば、筆記中に筆記具1が媒体3に接触している状態であるか非接触の状態であるかを観察したビデオを人間が見て、その人間が決定することが可能である。

【0065】
図5を参照して、X’軸の加速度の値がmである場合に、筆記具1が媒体3に接触していると判定される際の確からしさをどのように評価するかを説明する。X’軸の加速度の値がmであることを示す太線が横軸に沿って引かれている。この太線と加速度センサ4aのX’軸の加速度の値の出力結果を示す一点鎖線とが交わる点は、図5に示されるように、A~Iの9点である。A~Iの9点のうち筆記具1が媒体3に接触している期間中に交わる点は、B、C、Fの3点である。従って、X’軸の加速度の値がmである場合に、筆記具1が媒体3に接触していると判定される際の確からしさは3/9(約33%)であると評価される。このような評価が、X’軸の加速度の値がm以外のすべての値についても同様に行われる。このようにして得られた評価結果は、複数のセンサ(4a、4b、5a、5b)から出力されたデータにタグ付けした状態でデータベース30に保存される。

【0066】
図5に示される例では、加速度センサ4aのX’軸の出力結果を例にとり説明したが、加速度センサ4aのY’軸の出力結果や加速度センサ4aのZ’軸の出力結果についても同様である。また、加速度センサ以外のセンサ(例えば、ジャイロセンサ、マイクロホンなど)の出力結果についても同様である。

【0067】
筆記具1が媒体3に接触していたか否かを示す評価がタグ付けされた複数のセンサ(4a、4b、5a、5b)から出力されたデータを、データベース30に格納されているカーネル回帰分析計算プログラムに入力することにより、以下の式に従ってf(x)が計算される。

【0068】
f(x)=(α1+・・・+α)+αk(x,x)+・・・αk(x,x)
ここで、kはカーネル関数を示し、x1~xはn個のデータを示し、α~αはモデルパラメータを示す。

【0069】
さらに、カーネル関数kが、以下に示す等式を満たすような結合分布関数が計算される。

【0070】
k(x,x)=〈φ(x),φ(x)〉
ここで、φ(x)はデータxのd次元の特徴空間中でのベクトル表現を示す。

【0071】
上述した計算を行うことにより、結合分布関数およびモデルパラメータα~αの値が算出される。算出された結合分布関数およびパラメータの値はデータベース30に保存される。

【0072】
分離部23は、カーネル回帰分析計算プログラムにより計算された結合分布関数に、複数のセンサ(4a、4b、5a、5b)から出力されたデータを入力することにより、筆記具1が媒体3に接触していたか否かを評価する。このような評価は、結合分布関数により得られた結果の値が所定の閾値よりも高いか低いかによって行われる。このような評価に基づいて、筆記具1が移動した軌跡から一文字が分離される。図3に示される例では、「hello」の軌跡から「h」の一文字が分離され場合を例にとり説明したが、「h」に続く文字についても同様である。例えば、「h」に続いて、「e」、「l」、「l」、「o」のそれぞれの文字が順次分離されることになる。

【0073】
このように、トレーニング用のデータを回帰分析した結果に基づいて、複数のセンサ(4a、4b、5a、5b)から出力されたデータを統計的に判定することにより、筆記具1が媒体3に接触しているか否かの判定ミスを防止または低減することが可能である。その結果、文字認識を精度よく行うことが可能である。

【0074】
図5に示される例では、カーネル関数を用いた回帰分析手法を例として説明したが、本発明はこれに限定されない。例えば、カーネル関数を用いた回帰分析手法に代えて、4線形回帰分析手法などの公知の手法を用いることも可能である。

【0075】
図4を再び参照して、抽出部24は、分離部23によって分離された文字の特徴を抽出するように構成されている。抽出部24は、例えば、文字の特徴がチェーンコードで表現されるように文字の特徴を抽出するようにしてもよい。

【0076】
図6は、文字「2」の特徴を抽出する処理の流れの一例を示す。図6(a)は、文字「2」の軌跡をn個の点でプロットした状態を示す。図6(b)は、文字「2」の軌跡をn個の点にプロットした位置座標間を結ぶ移動方向ベクトルの向きを示す。図6(c)は、方向ベクトルのパターンを示す。図6(d)は、文字「2」の軌跡を方向ベクトルのパターンを用いて数値化した状態を示す。

【0077】
図6(a)に示されるように、抽出部24は、分離された文字「2」の軌跡を、一定時間間隔でn個(n=13個)の点でプロットし、各プロットの位置座標p(X、Z)を算出する。

【0078】
次に、図6(b)に示されるように、抽出部24は、プロットされた点の位置座標p(X、Z)をもとに各プロットの2点間の相対座標における方向角θを特徴量として以下の式により求める。

【0079】
θ=tan-1(Z-Zn-1/X-Xn-1
次に、図6(c)に示されるように、抽出部24は、360°の角度をm(m=8)等分した方向ベクトルのパターンに基づいてn個のプロット間隔についてそれぞれ移動方向ベクトルqを算出する。この移動方向ベクトルは、1つのプロット間隔がどの方向に当てはめることができるかを判定し、その方向を0からm-1(7)までの数字で表したものである。

【0080】
次に、図6(d)に示されるように、抽出部24は、8パターンの方向ベクトルに基づいて、文字「2」の軌跡を0から7までの数字を用いて表現することが可能である(すなわち、いわゆるチェーンコード化することが可能である)。図6(d)に示される数値の列は、チェーンコードの一例である。

【0081】
図6に示される例では、プロット数n=13の場合を説明したが、本発明はこれに限定されない。プロット数nの数は任意であってよい。プロット数nの数を増やすことにより、文字の特徴を精度よく抽出することが可能である。

【0082】
また、図6に示される例では、方向ベクトルのパターンの数m=8の場合を説明したが、本発明はこれに限定されない。方向ベクトルのパターン数mの数は任意であってよく、例えば、4、8、16、32であってよい。パターンの数mを増やすことにより、文字の特徴を精度よく抽出することが可能である。

【0083】
さらに、図5に示される例では、分離された文字の特徴を抽出する方法として、方向ベクトルのパターンを用いて文字の軌跡の特徴を抽出する方法(チェーンコード化)を説明したが、本発明はこれに限定されない。例えば、分離された文字の画像(形状)の特徴を抽出する方法を採用するようにしてもよい。

【0084】
図4を再び参照して、認識部25は、抽出部24によって抽出された文字の特徴に基づいて、文字を認識するように構成されている。

【0085】
例えば、認識部25は、データベース30に保存されている基準文字と抽出部24によって抽出された文字とを照合することによって、文字の認識を行うように構成されている。分離された文字を認識するための基準文字は、方向ベクトルのパターンに基づいて数値化(チェーンコード化)された状態でデータベース30に保存されている。この場合、認識部25は、抽出された文字の特徴を表現するチェーンコードと同等のチェーンコードを有する基準文字を特定することにより、該当する文字を認識する。あるいは、分離された文字の画像と基準文字の画像とを比較することにより、画像認識技術を利用して該当する文字を認識するようにしてもよい。

【0086】
筆記具1で筆記された文字の認識は、筆記具1で文字を連続して筆記しているときに、検出装置から出力されるデータを逐次文字認識処理を行うようにしてもよいし、検出装置から出力されるデータを一旦データベース30に保存し、のちにデータベース30から保存したデータを呼び出し、一括して文字認識処理を行うようにしてもよい。

【0087】
なお、図4に示される例では、検出装置10’と処理装置20とが別個の装置として構成されている例を説明した。この場合、検出装置10’の出力部8によって検出装置10’の複数のセンサ(4a、4b、5a、5b)から出力されるデータが検出装置10’の外部に出力され、これらのデータが処理装置20の入力部21によって受信される。検出装置10’の出力部8は、これらのデータを無線通信手段(例えば、Wi-Fi、Bluetooth(登録商標)、Zigbee(登録商標)など)を介して処理装置20の入力部21に提供するようにしてもよいし、これらのデータを有線通信手段を介して処理装置20の入力部21に提供するようにしてもよい。

【0088】
このように、図4に示される例では、検出装置10’と処理装置20とが別個の装置として構成されている例を説明したが、本発明はこれに限定されない。例えば、検出装置10’および処理装置20は、手書き文字認識装置100内の別個の構成要素として(例えば、検出部および処理部として)単一の手書き文字認識装置100内に含まれるように構成されてもよい。この場合、検出装置10’の出力部8および処理装置20の入力部21は省略されることが可能である。

【0089】

6.手書き文字認識装置により達成される効果
本発明の手書き文字認識装置100によれば、複数のセンサ(4a、4b、5a、5b)から出力されるデータに基づいて、筆記具1が媒体3に接触しているか否かを総合的に判定しているため、誤検出を防止または低減することが可能であり、その結果、文字認識の精度を向上させることが可能である。また、複数のセンサ(4a、4b、5a、5b)から出力される出力データを、トレーニング用のデータの回帰分析された結果に基づいて統計的に評価することにより、筆記具1が媒体3に接触しているか否かを判定しているため、誤検出による判断ミスをさらに防止または低減することが可能であり、その結果、文字認識の精度を向上させることが可能である。

【0090】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
【産業上の利用可能性】
【0091】
本発明は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置等を提供するものとして有用である。
【符号の説明】
【0092】
1 筆記具
2 バンド
4a 加速度センサ
4b ジャイロセンサ
5a マイクロホン
5b 加速度センサ
7 検出部
8 出力部
10 検出装置
20 処理装置
21 入力部
22 復元部
23 分離部
24 抽出部
25 認識部
100 手書き文字認識装置
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5