TOP > 国内特許検索 > 手指関節位置推定装置、及び手指関節位置推定方法 > 明細書

明細書 :手指関節位置推定装置、及び手指関節位置推定方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5305383号 (P5305383)
公開番号 特開2010-088628 (P2010-088628A)
登録日 平成25年7月5日(2013.7.5)
発行日 平成25年10月2日(2013.10.2)
公開日 平成22年4月22日(2010.4.22)
発明の名称または考案の名称 手指関節位置推定装置、及び手指関節位置推定方法
国際特許分類 A61B   5/11        (2006.01)
G01S   5/16        (2006.01)
G01B   7/00        (2006.01)
FI A61B 5/10 310G
G01S 5/16
G01B 7/00 103M
請求項の数または発明の数 8
全頁数 22
出願番号 特願2008-260900 (P2008-260900)
出願日 平成20年10月7日(2008.10.7)
審査請求日 平成23年10月7日(2011.10.7)
特許権者または実用新案権者 【識別番号】504409543
【氏名又は名称】国立大学法人秋田大学
発明者または考案者 【氏名】吉村 昇
【氏名】水戸部 一孝
【氏名】玉本 英夫
個別代理人の代理人 【識別番号】100129838、【弁理士】、【氏名又は名称】山本 典輝
審査官 【審査官】湯本 照基
参考文献・文献 特開2002-065641(JP,A)
特開昭62-044827(JP,A)
特開2004-157850(JP,A)
特開2008-017947(JP,A)
特開2006-020780(JP,A)
佐藤潤、水戸部一孝、三浦武、吉村昇,手指用磁気式モーションキャプチャ装置の開発とキャリブレーション手法,電子情報通信学会技術研究報告,日本,2007年 3月 8日,Vol.106 No.591,1-4
調査した分野 A61B 5/11
G01B 7/00
G01S 5/16
特許請求の範囲 【請求項1】
手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ配置される計測端子、及び、前記計測端子から動作データを取得して解析することによって前記関節の位置を推定できる計測部位、を備えてなる手指関節位置推定装置であって、
前記計測部位が、
前記計測端子から前記動作データを取得する、データ取得手段と、
前記関節の両側にある前記指骨に前記手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、前記動作データを用いて前記関節の両側にある前記指骨のうち一方の前記指骨に設定されたローカル座標系に対する他方の前記指骨に設定されたローカル座標系の変動をAxis-angleに変換した変換データを作成し、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて前記関節の位置を推定する、解析手段と、
を備えてなる、手指関節位置推定装置。
【請求項2】
前記計測端子が3軸直交コイルである、請求項1に記載の手指関節位置推定装置。
【請求項3】
前記計測端子が3つ以上の光学式センサの群である、請求項1に記載の手指関節位置推定装置。
【請求項4】
前記解析手段において、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類する際、前記手指の幅方向に平行な方向の軸成分の値について百等分する、請求項1~3のいずれか一項に記載の手指関節位置推定装置。
【請求項5】
手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ計測端子を配置するとともに、計測部位によって前記計測端子から動作データを取得して解析することにより、前記関節の位置を推定する手指関節位置推定方法であって、
前記計測部位において、
前記計測端子から前記動作データを取得する、データ取得工程と、
前記関節の両側にある前記指骨に前記手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、前記動作データを用いて前記関節の両側にある前記指骨のうち一方の前記指骨に設定されたローカル座標系に対する他方の前記指骨に設定されたローカル座標系の変動をAxis-angleに変換した変換データを作成し、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて前記関節の位置を推定する、解析工程と、
を備えてなる、手指関節位置推定方法。
【請求項6】
前記計測端子が3軸直交コイルである、請求項に記載の手指関節位置推定方法。
【請求項7】
前記計測端子が3つ以上の光学式センサの群である、請求項に記載の手指関節位置推定方法。
【請求項8】
前記解析工程において、前記変換データを前記手指の幅方向に平行な方向の軸成分について複数区間に分類する際、前記手指の幅方向に平行な方向の軸成分の値について百等分する、請求項5~7のいずれか一項に記載の手指関節位置推定方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、手指の関節位置を簡易に且つ正確に推定することができる手指関節位置推定装置、及び該手指関節位置推定装置を用いる手指関節位置推定方法に関する。
【背景技術】
【0002】
従来から、人間の手指の動きを定量的に捉えるための技術が考えられている。かかる技術によれば、映像からだけでは捉え難いような、伝統芸能に携わる匠、ピアニスト、ピッチャー、外科医などの手技を計測し、再現することができる。また、関節炎の患者や、骨折後にリハビリテーションを行っている患者などの手指の動きを定量的に評価することもできると考えられる。さらに、指が屈曲/伸展するときの関節の変動を明らかにすることで、指骨間関節の機構に適した人工関節を作製できることが期待される。
【0003】
人間の手指の動きを定量的に捉えるための技術としては、例えば、特許文献1に、手指に取り付けられた複数のセンサから得られる情報を用いて、手指の繊細な動きを記録・再現する装置に関する技術が開示されている。しかし、この装置は、実際の手指の動きではなく、手指に取り付けられたセンサの位置および姿勢の変化を計測しているに過ぎず、手指の動きの再現性が不十分であった。手指に取り付けられた複数のセンサから得られる情報を基にして手指の動きを正確に再現するためには、その手指の外形と指骨の長さを事前に知る必要がある。
【0004】
手指の外形については、レーザスキャナなどを用いて正確且つ簡易に計測することが可能である。一方、指骨の長さの計測については、コンピュータ断層撮影などを用いる方法が考えられるが、かかる方法では大変な手間がかかる。そこで、指骨の長さを簡単に知るための方法として、手指の関節位置を推定し、その推定される関節位置と手指の外形から、指骨の長さを計測する方法が考えられる。関節の位置を簡易に推定するための技術としては、例えば、非特許文献1に、人間の手足の関節の位置を推定する方法に関する技術が開示されている。

【特許文献1】特開2007-236602号公報
【非特許文献1】James O’Brien、他3名、「Automatic Joint Parameter Estimation from Magnetic Motion Capture Data」、Graphics Interface、(カナダ)、2000年5月、p.53-60
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、上記非特許文献1に開示されているような従来の技術では、推定される関節位置と実際の関節位置との誤差が大きく、該技術を手指の関節に適用する場合には、関節位置の推定精度が不十分であった。
【0006】
そこで本発明は、手指の関節位置を簡易に且つ正確に推定することができる手指関節位置推定装置、および該手指関節位置推定装置を用いる手指関節位置推定方法を提供することを課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、第1の本発明は、手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ配置される計測端子、及び、該計測端子から動作データを取得して解析することによって関節の位置を推定できる計測部位、を備えてなる、手指関節位置推定装置を提供する。かかる手指関節位置推定装置を用いることによって、手指の関節位置を簡易に推定することができる。
【0008】
第1の本発明および以下に示す本発明(以下において、単に「本発明」ということがある。)において、「動作データ」とは、計測端子の位置および姿勢に関する情報を意味する。また、「計測端子」とは、手指に取り付けることができる程度の大きさで、何らかの方法によってその動作データを計測できるセンサであれば特に限定されないが、後述するように、本発明で用いる計測端子としては、3軸直交コイルが好ましい。さらに、「計測部位」とは、手指の長さ方向において、位置を推定したい関節の両側に設置された2以上の計測端子から動作データを取得して解析することによって、該関節の位置を推定できるものであれば特に限定されない。
【0009】
第1の本発明の手指関節位置推定装置において、計測端子が3軸直交コイルであることが好ましい。
【0010】
本発明において、「3軸直交コイル」とは、相互に直交し、かつ、共通の中心を持つ、3軸の等方性のコイルから構成されるコイルを意味する。計測端子が3軸直交コイルからなることによって、その計測端子の位置および姿勢を容易に計測することができる。
【0011】
第1の本発明の手指関節位置推定装置において、計測端子を3つ以上の光学式センサの群とすることができる。計測端子として光学式センサを用いる場合、少なくとも3つ以上からなる群を1つ計測端子とみなすことによって、その計測端子の位置および姿勢を計測することができる。
【0012】
第1の本発明の手指関節位置推定装置において、計測部位が、計測端子から動作データを取得する、データ取得手段と、関節の両側にある指骨に手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、動作データを用いて関節の両側にある指骨のうち一方の指骨に設定されたローカル座標系に対する他方の指骨に設定されたローカル座標系の変動をAxis-angleに変換した変換データを作成し、変換データを手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて関節の位置を推定する、解析手段と、を備えてなるものであることが好ましい。かかる計測部位を用いることによって、手指を動かす際、その手指の運動(回動)の中心となる軸(関節軸)の向きがほぼ同一のときの動作データのみを用いて関節の位置を推定することができ、手指の関節位置を簡易に且つ正確に推定することができる。
【0013】
本発明において、「手指の幅方向」とは、手の掌から手の甲に向かう方向および手指の付け根から先端に向かう方向に対して直交する方向を意味する。
【0014】
第1の本発明の手指関節位置推定装置において、解析手段で変換データを手指の幅方向に平行な方向の軸成分について複数区間に分類する際、手指の幅方向に平行な方向の軸成分の値について百等分することが好ましい。
【0015】
また、第2の本発明は、手指の関節を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ計測端子を配置するとともに、計測部位によって計測端子から動作データを取得して解析することにより、関節の位置を推定する、手指関節位置推定方法を提供する。かかる手指関節位置推定方法を用いることによって、手指の関節位置を簡易に推定することができる。
【0016】
第2の本発明の手指関節位置推定方法において、計測端子が3軸直交コイルであることが好ましい。計測端子が3軸直交コイルからなることによって、その計測端子の位置および姿勢を容易に計測することができる。
【0017】
第2の本発明の手指関節位置推定方法において、計測端子を3つ以上の光学式センサの群とすることができる。計測端子として光学式センサを用いる場合、少なくとも3つ以上からなる群を1つ計測端子とみなすことによって、その計測端子の位置および姿勢を計測することができる。
【0018】
第2の本発明の手指関節位置推定方法において、計測部位で、計測端子から動作データを取得する、データ取得工程と、関節の両側にある指骨に手指の幅方向に平行な方向の軸を有するローカル座標系をそれぞれ設定し、動作データを用いて関節の両側にある指骨のうち一方の指骨に設定されたローカル座標系に対する他方の指骨に設定されたローカル座標系の変動をAxis-angleに変換した変換データを作成し、変換データを手指の幅方向に平行な方向の軸成分について複数区間に分類し、そして、最も変換データの数が多い区間に含まれる変換データのもとになった動作データを用いて関節の位置を推定する、解析工程と、を含む処理が行われることが好ましい。かかる計測部位を用いることによって、手指を動かす際、その手指の運動(回動)の中心となる軸(関節軸)の向きがほぼ同一のときの動作データのみを用いて関節の位置を推定することができ、手指の関節位置を簡易に且つ正確に推定することができる。
【0019】
第2の本発明の手指関節位置推定方法において、解析工程で、変換データを手指の幅方向に平行な方向の軸成分の値について複数区間に分類する際、手指の幅方向に平行な方向の軸成分について百等分することが好ましい。
【発明の効果】
【0020】
第1の本発明によれば、手指の関節位置を簡易に且つ正確に推定することができる、手指関節位置推定装置が提供される。
【0021】
第2の本発明によれば、手指の関節位置を簡易に且つ正確に推定することができる、手指関節位置推定方法が提供される。
【発明を実施するための最良の形態】
【0022】
手指の関節の構造は一軸性ではなく、手指を動かす際の関節軸は一定ではない。関節で手指が屈曲/伸展運動する際には、一方の骨が腱に引っ張られ、他方の骨が骨末端関節面を滑りながら運動するため、関節軸が変動する。この関節軸の変動が関節位置の推定精度に大きく影響すると考えられる。本発明は、この関節軸の変動を考慮し、手指の関節位置の推定精度を向上した、手指関節位置推定装置、および該手指関節位置推定装置を用いる手指関節位置推定方法を提案するものである。
【0023】
本発明の手指関節位置推定装置は、手指の関節(位置を推定したい関節)を挟んで該手指の先端側にある指骨と付け根側にある指骨との上にそれぞれ配置される計測端子、及び、該計測端子から動作データを取得して解析することによって関節の位置を推定できる計測部位を備えている。
【0024】
本発明に用いることができる計測端子は、それ自身の位置および姿勢に関する情報を発することができるものであれば特に限定されない。ただし、計測の容易化や計測端子の小型化という観点からは、計測端子として3軸直交コイルを用いることが好ましい。以下の本発明の説明では、計測端子として3軸直交コイルを用いた場合に限定して説明する。
【0025】
以下、図面を参照しつつ、本発明について具体的に説明する。
【0026】
図1は、本発明に用いる計測端子および計測部位を概略的に示す図である。
【0027】
計測端子1(以下、「レシーバ1」という。)は3軸直交コイルからなり、計測部位2は、3軸直交コイルで構成されるトランスミッタ3、駆動回路4、検出回路5(データ取得手段)、および、コンピュータおよび解析用ソフトウェア6(解析手段)によって構成されている。トランスミッタ3およびレシーバ1の大きさは、トランスミッタ3とレシーバ1との間の距離に比べて非常に小さく保たれているため、トランスミッタ3およびレシーバ1はそれぞれ1つの点とみなすことができる。
【0028】
<データ取得手段>
計測端子から動作データを取得する手段について、以下に説明する。
【0029】
駆動回路4からの信号によって、トランスミッタ3を構成する各軸方向のコイルが順々に励磁されると、トランスミッタ3の周りの空間に所定周波数の交流磁界(パルス磁場)が発生する。このパルス磁場をレシーバ1が受けると、電磁誘導によってレシーバ1に起電力が発生する。後述するように、レシーバ1に発生するこの起電力は、レシーバ1とトランスミッタ3の相対的な位置および姿勢によって変化する。そして、レシーバ1に発生するこの起電力は、検出回路5によって検出される。
【0030】
したがって、レシーバ1に発生する起電力が計測端子の動作データであり、検出回路5がデータ取得手段である。
【0031】
図1および上記データ取得手段の説明では、簡単のため、レシーバ1が1つの形態を例示したが、手指の関節位置を推定する際には、手指の長手方向において、関節の両側にそれぞれレシーバ1を設置し、その2つのレシーバ1から得られる動作データを用いる。
【0032】
<解析手段>
位置を推定したい関節の両側に設置されたレシーバ1から得られた動作データを用いて、その関節の位置を推定する手段について、以下に説明する。
【0033】
(レシーバ1の位置および姿勢)
まず、レシーバ1の位置および姿勢が定量的に捉えられる原理について説明する。
【0034】
トランスミッタ3から発せられるパルス磁場はトランスミッタ3からの距離の3乗に反比例する。そのため、検出回路5で検出したレシーバ1に発生する起電力の大きさをコンピュータおよび解析用ソフトウェア6を介してデジタライズすることによって、レシーバ1とトランスミッタ3との間の距離を求めることができる。また、レシーバ1を構成する各コイルには、レシーバ1のトランスミッタ3に対する相対的な姿勢に比例した起電力が発生する。そのため、レシーバ1を構成する各コイルからの情報をコンピュータおよび解析用ソフトウェア6で解析することによって、レシーバ1のトランスミッタ3に対する相対的な姿勢を求めることができる。このようにして、検出回路5で取得されたレシーバ1の動作データを用いて、レシーバ1の位置および姿勢を定量的に捉えることができる。
【0035】
(関節位置の推定)
次に、レシーバ1の動作データから関節の位置が推定される過程について、簡単のため、図2に示したモデルを用いて説明する。
【0036】
図2に示すモデル20は、2つの剛体(上位セグメント22および下位セグメント23)をそれぞれ指骨に見立て、一本の棒(ジョイント21)を関節に見立てたものである。上位セグメント22および下位セグメント23(以下、上位セグメント22および下位セグメント23をまとめて「セグメント22、23」ということがある。)は、ジョイント21によって接続されており、ジョイント21を関節軸として動かすことができる。上位セグメント22および下位セグメント23の上には、上述したレシーバ1がそれぞれ設置されている。レシーバ1、1は、上位セグメント22および/または下位セグメント23の動作中に衝突することを避けるため傾けて設置されている。以下の本発明の説明において、上位セグメント22の上に設置されたレシーバ1と下位セグメント23の上に設置されたレシーバ1を区別して、それぞれ上位レシーバ1a、下位レシーバ1bということがある。
【0037】
上述した方法で上位レシーバ1aおよび下位レシーバ1bの動作データを得ることによって、上位レシーバ1aおよび下位レシーバ1bのそれぞれの中心11a、11bを原点としたローカル座標系(以下、ローカル座標系を「LC」という。)を設定することができ、それらのLCの変化を捉えることもできる。
【0038】
原点11a、11bからジョイント21までの位置ベクトル12a、12bは、上位セグメント22および/または下位セグメント23が動作中でも変化しない。したがって、ジョイント21の座標(関節位置)の推定過程を以下に説明する最適化問題として扱えられると考えられる。
【0039】
上位レシーバ1aのLCから任意の位置ベクトルVUP(xUP、yUP、zUP)で示される点Pを設定した場合を考える。上位セグメント22および/または下位セグメント23が動作中でも、VUPの大きさは変化しない。このとき、動作中の第iフレームにおいて、下位レシーバ1bのLCから点Pまでの位置ベクトルVLP(xLP、yLP、zLP)の大きさ|VLP(i)|は、下記式1のように表される。
【0040】
【数1】
JP0005305383B2_000002t.gif

【0041】
上位セグメント22および/または下位セグメント23が動作中において、上記|VLP(i)|は、ばらつきを生じる。つまり、動作データの全フレームにおける|VLP(i)|の分散sは、下記式2のようになる。
【0042】
【数2】
JP0005305383B2_000003t.gif
(ただし、|VLP:全フレームにおける|VLP|の平均)
【0043】
上記式2において、sが0であれば点Pがジョイント21の位置に重なるため、このときのVUPの座標がジョイント21の位置であるといえる。つまり、sが最小になるようなVLPを求めることによって、ジョイント21の位置を推定することができる。
【0044】
しかし、関節位置の推定過程をこのような最適化問題として取り扱った場合、ジョイント21の実際の位置と推定される位置との間のずれが大きかった。そのため、本発明では、ジョイント21の位置として推定される領域を三次元から二次元にする制約を加え、推定精度の向上を図ることを考えた。
【0045】
以下に、推定領域を二次元に制約した場合の関節位置の推定方法を説明する。
【0046】
空間における平面の式は、方程式型で表すと以下のようになる。
ax+by+cz+d=0 (式3)
【0047】
3次元空間を考えるため、任意のx、yの値について必ず1つのzが存在する。平面の式を求めるためには、図3に示すように面上の3点(P,P,P)の位置座標が分かれば、連立一次方程式により係数a、b、cを求めることができる。なお、(a,b,c)は法線ベクトルであり平面に垂直なベクトルを表す。また、空間における平面を媒介変数t、sによりパラメータ型であらわすと以下のようになる。
【0048】
【数3】
JP0005305383B2_000004t.gif
ただし、
【0049】
【数4】
JP0005305383B2_000005t.gif

【0050】
空間における平面は、平面上の2つの異なるベクトルによりパラメータ型で定義できる。つまり、点Pは平面上のある点の座標を表し、v21(v21x,v21y,v21z)、v31(v31x,v31y,v31z)は平面上の2つのベクトルを表す。なおnは法線ベクトルを示す。
【0051】
式4より法線ベクトル(a,b,c)は、平面がx軸、y軸、z軸と交わるそれぞれの座標から導くことができる。例えばx軸と交わる座標は、y=0、z=0を満たすs、tを求めれば算出できる。したがって、算出したx座標の逆数が法線ベクトルにおけるx成分のaとなる。b、cにおいても同様に計算できる。また、法線ベクトルは以下のようにv21とv31の外積をとることで、同様に算出できる。
【0052】
【数5】
JP0005305383B2_000006t.gif

【0053】
外積により求まった法線ベクトルは、平面の式の法線ベクトル(a,b,c)と方向は同じであるが大きさは異なる。したがって、法線ベクトルの始点である点Pを面の式に代入し、外積で求まった法線ベクトルの大きさを調整する必要がある。
【0054】
推定領域を平面に制約した場合、以下に示す最適化問題を解くことになる。
【0055】
「3次元空間において任意の平面を作成し、その面内においてある目的関数を最小にするような説明変数を求める」
【0056】
以下に、その条件式を示す。
【0057】
【数6】
JP0005305383B2_000007t.gif
ここで、
【0058】
【数7】
JP0005305383B2_000008t.gif

【0059】
上記の最適化問題を、例えば、シンプレックス法により解くことで、関節位置の推定位置を求められる(他にも最小二乗法等、様々な解き方がある)。なお、上記の条件式は上位レシーバ1aのLCから任意の位置ベクトルVUPで示される点Pを設定し、関節位置を推定する場合の条件式である。下位レシーバ1bのLCから点Pを設定し、関節位置を推定する場合も同様の条件式となる。
【0060】
初期値の設定方法を以下に示す。
【0061】
図4のように任意の位置に配置した点VからP、PおよびPで構成した平面に垂線を下ろす。垂線と平面の交点を点Pとする。式4より法線ベクトルの成分(a,b,c)が求まる。平面の方程式である式3における係数dを求めるため、式3にPを代入すると以下のようになる。
【0062】
【数8】
JP0005305383B2_000009t.gif
ただし、
【0063】
【数9】
JP0005305383B2_000010t.gif

【0064】
また、点Vから点Pまでの距離lは以下のようになる。
【0065】
【数10】
JP0005305383B2_000011t.gif

【0066】
以上の結果を利用し、ベクトルVPは以下のように表すことができる。
【0067】
【数11】
JP0005305383B2_000012t.gif

【0068】
式8を展開すると点Pは以下のように表現できる。
【0069】
【数12】
JP0005305383B2_000013t.gif

【0070】
式9で算出した点Pの位置がシンプレックス法の初期値となる。
【0071】
平面上に初期値を定義した後、点Pを式3に代入し媒介変数sおよびtを算出する際、場合分けが必要となる。条件は以下のようになる。
1.構成した平面がyz平面と平行である場合→y,z成分の連立方程式を解く
2.構成した平面がxz平面と平行である場合→x,z成分の連立方程式を解く
3.構成した平面がxy平面と平行である場合→x,y成分の連立方程式を解く
【0072】
なお、シンプレックス法とは、目的関数の変数の個数により多面体(n変数の場合、n+1の頂点で多面体を作成)を決定し、この多面体(シンプレックス)の頂点での目的関数値を評価し、目的関数値が一番よくない点(最小化を行うため、最大値となる目的関数値)に対して、シンプレックスの頂点の並び替え、反射、拡張、縮小、収縮を繰り返すことで最適解を求める手法である。シンプレックス法の手順を以下に示す。
1.頂点の並び替え(n+1の頂点における値の並び替え)
2.反射(reflect)
3.拡張(expand)
4.縮小(constract)
外部縮小(outside constract)
内部縮小(inside constract)
5.収縮(shrink)
6.見極め
このようにして頂点を変更し、繰り返し処理をすることで最小値を求める。
【0073】
上記のような最適化問題を数値的に解く方法は特に限定されず、公知の方法を用いれば良い。
【0074】
このようにして、上位レシーバ1aのLCから任意のベクトルVUPで示される点Pを設定して推定した関節位置を、以降Pと呼ぶ。下位レシーバ1bのLCから任意のベクトルで示される点を設定して関節位置を推定することも同様にでき、この場合に推定される関節位置を、以降Pと呼ぶ。
【0075】
(関節軸の変動)
図2に示したモデル20のように、1軸性の関節(ジョイント21)を有していれば、上位セグメント22および/または下位セグメント23の動作中に、関節軸の向きが一定であるため、関節位置を推定する際には関節軸の変動を考慮せず、上述した最適化問題を解けば良いと考えられる。一方、手指の関節の場合は、手指の動作中に関節軸が変動するため、手指の関節位置を推定するには、関節軸の変動を考慮する必要があると考えられる。本発明では、Axis-angleを用いて手指の関節軸の変動を定量的に捉える。
【0076】
図5を参照しつつ、Axis-angleを用いて関節軸の変動を定量的に捉える方法について説明する。図5において、図2と同様の構成をとるものには同符号を付し、説明を適宜省略する。
【0077】
図5(a)に示すように、上位セグメント22および下位セグメント23にLCを設定する。上位セグメント22は剛体であるため、上位セグメント22のLCの原点は上位セグメント22内であればどの位置に設定してもよい。下位セグメント23についても同様である。この性質を利用し、図5(b)に示すように、セグメント22、23のLCをジョイント21の位置まで平行移動した状態を考える。モデル20の場合、ジョイント21は1軸性の関節であるため、上位セグメント22および/または下位セグメント23が動作中でも、セグメント22、23のLCのy軸とジョイント21の向き(長手方向)は一致する。
【0078】
上位セグメント22および/または下位セグメント23の動作中、上位セグメント22のLCと下位セグメント23のLCはy軸が一致しているため、上位セグメント22のLCのx軸と下位セグメント23のLCのx軸の間の角度θは、関節の屈曲角度であるといえる。さらに、モデル20では、上位セグメント22のLCに対する下位セグメント23のLCの変動をAxis-angleで表した場合、Axis-angleのベクトルの方位はジョイント21の向きとほぼ一致する。
【0079】
一方、実際の関節はモデル20のように完全な1軸性の関節ではない。そのため、位置を推定したい関節を介して存在する指骨について、モデル20の上位セグメント22および下位セグメント23と同様にLCを設定し、一方の指骨に設定されたLCに対する他方の指骨に設定されたLCの変動をAxis-angleで表すと、Axis-angleのベクトルの方位がばらつくと考えられる。
【0080】
手指、及び手指を模擬した1軸性の関節を有する模型(以下、「モック」という。)について、動作中の関節軸の変動をAxis-angleに変換し、Axis-angleのy成分について動作データを分類したグラフを図11に示す。図11(a)は、Axis-angleのy成分(x軸)が0~1のグラフで、図11(b)は、Axis-angleのy成分(x軸)が0.9~1のグラフである。計測条件については、実施例にて詳述する。
【0081】
図11からわかるように、モックの場合はAxis-angleのベクトルの方位がばらつかずにy軸とほぼ平行であるのに対して、手指の場合はAxis-angleのベクトルの方位にばらつきが見られる。
【0082】
このようにして、Axis-angleを用いて手指の関節軸の変動を定量的に捉えることによって、手指の動作中において、関節軸がほぼ一定であるときの動きを特定することが可能となる。そして、関節軸がほぼ一定であるときの動作データのみを用いて関節の位置を推定することにより、関節位置の推定精度の向上を図ることができると考えられる。
【0083】
以下に、レシーバ1、1から得られる動作データを用いて、上位セグメント22のLCに対する下位セグメント23のLCの変動をAxis-angleで表す方法を具体的に説明する。
【0084】
まず、任意の場所に固定したトランスミッタ(不図示)のLCとセグメント22、23のLCの対応関係を明らかにし、静止した状態(以下、トランスミッタのLCとセグメント22、23のLCの対応関係を明らかにし、静止した状態を「標準状態」という。)において、数秒間データを取得する。上位レシーバ1aおよび下位レシーバ1bの姿勢データを平均し、それぞれxyz型の回転行列RUR(0)およびRLR(0)に変換する。
【0085】
標準状態におけるセグメント22、23の回転行列は単位行列とし、動作中の第iフレームにおける上位セグメント22の回転行列RUS(i)および下位セグメント23の回転行列RLS(i)を、下記式10および式11から求める。
【0086】
LS(i)=RLR(i)・RLRS (式10)
(ただし、RLRS=RLR(i)-1・RLS(0))
【0087】
US(i)=RUR(i)・RURS (式11)
(ただし、RURS=RUR(i)-1・RLS(0))
【0088】
上位セグメント22に対する下位セグメント23の姿勢変化RULS(i)を、下記式12から求める。
【0089】
ULS(i)=RUS(i)-1・RLS(i) (式12)
【0090】
全フレームにおけるRULS(i)を算出し、Axis-angleに変換する。なお、ある姿勢に対しAxis-angleの解は二つ存在するため、算出したベクトルのy成分がすべて正となるように設定する。
【0091】
手指の場合についても同様にして、関節軸の変化をAxis-angleを用いて表すことができ、Axis-angleに変換されたデータをy成分について複数区間に分類する。Axis-angleに変換されたデータをy成分について分類することによって、手指の動作中に関節軸の向きがほぼ一定であるときを特定できる。そして、最もデータ数の多い区間に含まれる変換データのもととなった動作データを用い、上述した最適化問題を解いて関節の位置を推定することにより、関節位置の推定精度を向上させることができる。
【実施例】
【0092】
以下に、実施例にて本発明をさらに詳しく説明するが、本発明は実施例に限定されるものではない。
【0093】
以下に説明する計測に使用した本発明の手指関節位置推定装置の構成物ついて説明する。
【0094】
<計測端子>
3軸直交コイルを計測端子(レシーバ)として使用した。既存の3軸直交コイルはコイル部が大きくケーブルが太かったため、国立大学法人秋田大学とPOLHEMUS社とで、コイル部を小型化してケーブルを細線化したレシーバを作製した。作製したレシーバのコイル部はteardrop形状になっており、その大きさは、長さ9.6mm×幅9.6mm×高さ9.6mmで、指先にも十分装着可能な大きさである。ケーブルの太さは直径2mm程度であり、指の動作にほぼ影響しない。さらに、手指への装着を容易にするため、レシーバをフリープラスチックでモールドした。
【0095】
<計測部位>
計測部位には、図1で例示したものと同様に、トランスミッタ、駆動回路、検出回路、ならびに、コンピュータおよび解析用ソフトウェアを備えるものを使用した。
【0096】
(トランスミッタ)
トランスミッタには、Polhemus社製のトランスミッタ(TX-1)を使用した。TX-1の大きさは、長さ22.9mm×幅27.9mm×高さ15.2mmであった。TX-1の測定範囲は半径約200mmの半円上である。また、TX-1のケーブルの太さは直径4.2mm程度であるが、手首に固定するため手指動作の妨げにはならない。手指への装着を容易にするため、TX-1の背面にベロクロを付けた。
【0097】
(駆動回路、検出回路、コンピュータおよび解析用ソフトウェア)
駆動回路、検出回路、ならびに、コンピュータおよび解析用ソフトウェアとして、Polhemus社製のLibertyを使用した。Libertyは、1つのレシーバあたりのサンプリングレートが240Hzであり、高速で動作データを計測可能である。また、サンプリングレートは120Hzにも変更できる。さらに、コンピュータにLibertyをUSB接続することでLibertyの制御、計測データの保存をできる。Libertyの制御、動作データの計測および保存は、Polhemus社が提供しているPiMgrを用いた。
【0098】
上述した本発明の手指関節位置推定装置を用いて、本発明の手指関節位置推定方法の妥当性の検討を行った。
【0099】
<モックによる本発明の手指関節位置推定方法の妥当性の検討>
本発明の手指関節位置推定方法で手指の関節位置を推定する前に、モックの関節位置を推定し、推定結果を検討することで本発明の手指関節位置推定方法の妥当性を検証した。
【0100】
図6に、作製したモック40の構成を概略的に示す。モック40は磁場を乱さない木材を用いて作製した。直径4mmの円柱で2本のジョイント(関節軸)41a、41bを作製し、そのジョイント41a、41bで3つのセグメント42、43、44を接続した。2本のジョイント41a、41bの名をそれぞれDIP関節41b、PIP関節41aとし、DIP関節41bに接続した2つのセグメント43、44の名を上位セグメント43および下位セグメント44とした。
【0101】
図7に示すように、下位セグメント44および上位セグメント43上には、Libertyに接続した下位レシーバ1bおよび上位レシーバ1aを配置し、残りのセグメント42上にはLibertyに接続したトランスミッタ(TX-1)3を配置した。下位レシーバ1bおよび上位レシーバ1aは、上位セグメント43および/または下位セグメント44の動作中に衝突することを避けるため傾けて設置した。動作計測時にはトランスミッタ3を乗せたセグメント42を、土台となる木枠にしっかりと固定した。そして、計測範囲内に磁場を乱す物体がないように計測環境を設定した。
【0102】
上記のように計測環境を整えた後、手指が屈曲/伸展する動きのようにモック40の下位セグメント44を手で15秒~30秒程度動かした。計測した動作データはPolhemus社が提供しているPiMgrを用いて記録した。以上の過程を5回繰り返し、5つの動作データを取得した。そして、上述した最適化問題を解くことで、DIP関節41bの位置(PおよびP)を推定した。
【0103】
<手指による本発明の手指関節位置推定方法の妥当性の検討>
2つのレシーバをLibertyに接続し、その2つのレシーバのうち1つを人差し指末節骨上に設置してそれを下位レシーバとし、もう1つを人差し指中節骨上に設置して上位レシーバとした。隣接するレシーバ同士の接触、関節運動の妨げにならないよう、各指骨上に配置するレシーバは指骨の中央に配置した。そして、計測範囲内に磁場を乱す物体がないように計測環境を設定した。Libertyに接続したトランスミッタ(TX-1)は手首に配置した。
【0104】
上記のように計測環境を整えた後、手指の屈曲/伸展を15秒~30秒程度繰り返した。計測した動作データはPolhemus社が提供しているPiMgrを用いて記録した。以上の過程を5回繰り返し、5つの動作データを取得した。そして、上述した最適化問題を解くことで、末節骨と中節骨間の関節(DIP関節)の位置(PおよびP)を推定した。
【0105】
<推定結果>
関節位置推定結果の妥当性を、PとPの間の距離を算出することで検討した。推定された関節位置が実際の関節位置に近い程、PとPの距離は小さくなると考えられる。
【0106】
図8に、モック40および手指におけるPとPの距離の比較を示す。図8からわかるように、モック40でDIP関節41bの位置を推定した場合のPとPの距離が約2mmであるのに対し、人差し指のDIP関節の位置を推定した場合のPとPの距離の距離は約8mmとなっており、妥当な位置に関節位置を推定できていない。これは、モック40および手指の関節構造の違いによるものだと考えた。モック40のセグメント43、44は1本の軸41bで接続されており、回転中心が存在する。それに対し、手指の関節には回転中心が存在せず、屈曲/伸展運動において下位の指骨は腱に引っ張られ、上位の指骨末端関節面を滑りながら運動するため、関節軸が変動していると考え、この関節軸の変動が関節位置の推定精度に大きく影響していると推測した。
【0107】
本発明では、上述したように、関節軸の変動を考慮して関節位置を推定するため、Axis-angleを用いて関節軸の変動を定量的に捉えた。
【0108】
モック40の場合、図7に示すように、下位セグメント44および上位セグメント43にLCを設定すると、それらのLCのy軸方向はDIP関節41bと一致している。モック40と同様に手指の関節が完全な1軸性関節であれば、指骨が動いている場合でもAxis-angleのベクトルがy軸に一致するはずである。そこで、モック40および手指の姿勢データをAxis-angleに変換し、モック40と手指においてAxis-angleのベクトルの変化を検討することで、モック40と手指の関節における関節軸の変動を算出した。前述したように、モック40および手指の動作データをそれぞれ5回ずつ計測した。ここでは計測した5つの動作データを結合し、1つのデータとして扱った。
【0109】
上述した手法により算出したモック40および手指のDIP関節のAxis-angleを算出した。算出したAxis-angleのベクトルを3次元空間にプロットすると、図9のようになった。なお、ある姿勢に対しAxis-angleの解は2つ存在する。そのため、算出したベクトルのy成分がすべて正となるように設定した。また、図10にAxis-angleのベクトル成分と回転成分(角度)の関係を示す。Axis-angleのベクトルは単位ベクトルであることから、y成分に大きく依存していることがわかる。
【0110】
以上の結果より、y成分の値について動作データを十等分して分類したグラフを図11(a)に示す。モックと手指のどちらの場合においてもy成分が0.9~1の範囲に90%以上存在することがわかる。y成分が0.9~1の区間の動作データ分布をさらに十等分して分類したグラフを図11(b)に示す。モックは0.99~1の区間にデータが70%以上存在しており、関節軸がばらつかずに座標系のy軸とほぼ平行の状態を維持していると考える。一方、手指のデータ分布に着目すると、0.96~1の区間にデータのばらつきがある。手指の動作中にy成分の値がばらつくということは、関節軸が変動していることを示し、これが関節位置推定結果を悪化させる原因であると考えた。そこで、データのばらつきが生じている0.96~1の区間において、最もデータ数の多い0.97~0.98の区間の動作データを用いて関節位置の推定を試みた。
【0111】
Axis-angleのy成分が0.97~0.98の区間における動作データを用いて推定したPおよびPの距離を図12に示す。全ての動作データを用いた場合(A)のPおよびPの距離が7.09mmであるのに対し、分類したデータを用いて推定した場合(B)のPおよびPの距離が4.21mmとなり、関節位置の推定精度が向上した。
【0112】
以上の結果より、手指の動作データをAxis-angleのy成分で分類し、最もデータ分布が多い区間のデータを用いて関節位置を推定した場合、関節位置推定精度が向上すると考えられる。
【0113】
以上、現時点において、もっとも、実践的であり、かつ、好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う手指関節位置推定装置および関節位置推定方法もまた本発明の技術的範囲に包含されるものとして理解されなければならない。
【図面の簡単な説明】
【0114】
【図1】本発明の手指関節位置推定装置の構成を概略的に示す図である。
【図2】関節位置が推定される原理について説明するための図である。
【図3】平面を構成する3点を示す図である。
【図4】初期位置設定方法を説明するための図である。
【図5】関節軸の変動を考慮した関節位置の推定方法について説明するための図である。
【図6】モックの構造を概略的に示す図である。
【図7】モックにレシーバおよびトランスミッタの配置した様子を概略的に示す図である。
【図8】モックおよび手指におけるPとPの距離の比較を示す図である。
【図9】Axis-angleのベクトル分布を示す図である。
【図10】Axis-angleのベクトル分布と角度の関係を示す図である。
【図11】動作データの分布を示す図である。
【図12】全ての動作データを用いた場合と選択した特定の動作データを用いた場合での、手指におけるPとPの距離の比較を示す図である。
【符号の説明】
【0115】
1 レシーバ(計測端子)
2 計測部位
3 トランスミッタ
4 駆動回路
5 検出回路
6 コンピュータおよび解析用ソフトウェア
21 ジョイント
22 上位セグメント
23 下位セグメント
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図9】
7
【図8】
8
【図10】
9
【図11】
10
【図12】
11