TOP > 国内特許検索 > 開曲線フーリエ記述子を用いたX線画像処理方法及びシステム > 明細書

明細書 :開曲線フーリエ記述子を用いたX線画像処理方法及びシステム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5493133号 (P5493133)
登録日 平成26年3月14日(2014.3.14)
発行日 平成26年5月14日(2014.5.14)
発明の名称または考案の名称 開曲線フーリエ記述子を用いたX線画像処理方法及びシステム
国際特許分類 A61B   6/00        (2006.01)
G06T   1/00        (2006.01)
G06T   7/60        (2006.01)
FI A61B 6/00 350D
G06T 1/00 290A
G06T 7/60 150B
G06T 7/60 150P
請求項の数または発明の数 10
全頁数 38
出願番号 特願2010-507242 (P2010-507242)
出願日 平成21年4月7日(2009.4.7)
国際出願番号 PCT/JP2009/057100
国際公開番号 WO2009/125755
国際公開日 平成21年10月15日(2009.10.15)
優先権出願番号 2008100173
優先日 平成20年4月8日(2008.4.8)
優先権主張国 日本国(JP)
審査請求日 平成23年12月22日(2011.12.22)
特許権者または実用新案権者 【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
発明者または考案者 【氏名】森 浩二
個別代理人の代理人 【識別番号】110000626、【氏名又は名称】特許業務法人 英知国際特許事務所
審査官 【審査官】原 俊文
参考文献・文献 特開2000-040147(JP,A)
廣川俊二,有吉省吾,佐藤文香,川田哲平,“X線単面投影像による人工膝関節の動態推定(大腿・脛骨コンポーネント投影像のオーバラップ問題とその対策)”,日本機械学会論文集C編,社団法人日本機械学会,2006年 1月25日,第72巻,第713号,p.168-175
鄭澤宇,岩田洋佳,二宮正士,田村義保,“P形フーリエ記述子に基づくハナハス花弁の部分形状特徴の定量的評価”,育種学研究,日本育種学会,2005年 9月 1日,第7巻,第3号,p.133-142
調査した分野 A61B 6/00
G06T 1/00
G06T 7/60
特許請求の範囲 【請求項1】
X線投影画像上の測定対象物を、複数の候補対象物の情報が保存されている親データベースと比較することにより、前記測定対象物の姿勢及び位置を推定するX線画像処理システムにおけるX線画像処理方法であって、
前記測定対象物は、人工関節骨または生体組織の骨であり、
前記候補対象物の3次元形状は既知であり、
前記親データベースには、複数の前記候補対象物を様々な角度から2次元に投影した要素輪郭群が保存されており、
前記測定対象物の輪郭の特徴から導き出される複数の測定対象物特徴点と、前記要素輪郭群の各要素輪郭の特徴から導き出され前記測定対象物特徴点に対応する複数の輪郭要素特徴点と、を用いて、前記複数の測定対象物特徴点の測定対象物相対関係と、前記複数の輪郭要素特徴点の輪郭要素相対関係とを比較し、前記測定対象物相対関係と前記輪郭要素相対関係とが予め定めた誤差を超える要素輪郭は、前記要素輪郭群から除外する工程と、
前記要素輪郭群から除外されたものを除く測定対象物の輪郭は一部が欠損していて、前記測定対象物の輪郭の欠損部分を除いた輪郭の始点(点D)及び終点(点E)を算出する工程と、
前記測定対象物の輪郭の始点及び終点に対応する、前記要素輪郭群の各要素輪郭の始点及び終点を推定する始点・終点推定工程と、
前記測定対象物の輪郭と前記始点及び終点とから算出された開曲線フーリエ記述子の係数と、前記要素輪郭群の各要素輪郭の輪郭と前記始点及び終点とから算出された開曲線フーリエ記述子の係数と、を比較することにより、前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物を推定する候補対象物推定工程と、
前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物から、前記測定対象物の姿勢及び位置を算出する姿勢・位置算出工程と、を有する、
ことを特徴とするX線画像処理システムにおけるX線画像処理方法。
【請求項2】
前記複数の測定対象物特徴点及び前記複数の輪郭要素特徴点の少なくとも1つは、前記測定対象物の輪郭及び前記要素輪郭群の各要素輪郭に対して、輪郭と該輪郭の最長軸を求め、前記最長軸から最も遠い点である、
ことを特徴とする請求項1記載のX線画像処理システムにおけるX線画像処理方法。
【請求項3】
前記複数の測定対象物特徴点及び前記複数の輪郭要素特徴点の少なくとも1つは、前記測定対象物の輪郭および前記要素輪郭群の各要素輪郭に対して骨格線処理を行い、その骨格線上にある、
ことを特徴とする請求項1または2記載のX線画像処理システムにおけるX線画像処理方法。
【請求項4】
前記複数の測定対象物特徴点は少なくとも前記輪郭の始点及び終点を含み、前記測定対象物相対関係は前記複数の測定対象物特徴点の1つと前記始点及び終点とを結ぶベクトルによって表現される、
ことを特徴とする請求項1~3いずれか記載のX線画像処理システムにおけるX線画像処理方法。
【請求項5】
候補対象物推定工程において、前記測定対象物の輪郭及び前記要素輪郭群の各要素輪郭の輪郭上の複数の点のいずれかを始点及び終点とした複数の開曲線を求め、前記複数の開曲線のフーリエ記述子の係数を比較することにより、前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物を推定する、
ことを特徴とする請求項1~4いずれか記載のX線画像処理システムにおけるX線画像処理方法。
【請求項6】
前記各工程の一部または全部は、ネットワークを経由してアクセス可能な遠隔地で行われる、
ことを特徴とする請求項1~5いずれか記載のX線画像処理システムにおけるX線画像処理方法。
【請求項7】
前記測定対象物の輪郭は2箇所以上の欠損部分を有しており、
前記欠損部分を補間することにより、始点(点D)及び終点(点E)を有する開曲線を生成し、該開曲線を新たに測定対象物の輪郭とする工程、をさらに有する、
ことを特徴とする請求項1~6いずれか記載のX線画像処理システムにおけるX線画像処理方法。
【請求項8】
前記測定対象物の輪郭の欠損部分の少なくとも1つは、前記測定対象物の輪郭のうち他の骨が近接している部分を取除いた部分、または、前記X線投影画像外の部分である、
ことを特徴とする請求項1~7いずれか記載のX線画像処理システムにおけるX線画像処理方法。
【請求項9】
X線投影画像上の測定対象物を、複数の候補対象物の情報が保存されている親データベースと比較することにより、前記測定対象物の姿勢及び位置を推定するX線画像処理システムであって、
前記測定対象物は、人工関節骨または生体組織の骨であり、
前記候補対象物の3次元形状は既知であり、
前記親データベースには、複数の前記候補対象物を様々な角度から2次元に投影した要素輪郭群が保存されており、
前記測定対象物の輪郭の特徴から導き出される複数の測定対象物特徴点と、前記要素輪郭群の各要素輪郭の特徴から導き出され前記測定対象物特徴点に対応する複数の輪郭要素特徴点と、を用いて、前記複数の測定対象物特徴点の測定対象物相対関係と、前記複数の輪郭要素特徴点の輪郭要素相対関係とを比較し、前記測定対象物相対関係と前記輪郭要素相対関係とが予め定めた誤差を超える要素輪郭は、前記要素輪郭群から除外する除外手段と、
前記要素輪郭群から除外されたものを除く測定対象物の輪郭の開曲線フーリエ記述子の係数と、前記要素輪郭群の各要素輪郭の開曲線フーリエ記述子の係数とを比較することにより、前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物を推定する候補対象物推定手段と、
前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物から、前記測定対象物の姿勢及び位置を算出する姿勢・位置算出手段と、を有する
ことを特徴とするX線画像処理システム。
【請求項10】
データベース及び演算手段の一部または全部が、ネットワークを経由してアクセス可能な遠隔地に設けられている
ことを特徴とする請求項記載のX線画像処理システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、X線投影画像に投影された測定対象物の輪郭を、既知の候補対象物の輪郭と比較することにより、前記測定対象物の姿勢・位置を求める技術に関する。特に、前記測定対象物としては、術後の人工関節骨や生体組織の骨が好適である。
【背景技術】
【0002】
膝関節は大腿骨、脛骨、膝蓋骨から構成されており、変形性膝関節症等になるとこれらを超高分子量ポリエチレンやチタン合金などの人工材料に置換する。置換される部品は、大腿骨コンポーネント、脛骨コンポーネント、膝蓋骨コンポーネントなどと呼ばれる。膝蓋骨コンポーネントに関しては、術者の選択によって置換されないこともある。
膝関節には歩行時などに体重の数倍以上の荷重が作用するために、人工膝関節を構成する各コンポーネントのアライメントが不適切であると、荷重の局所への集中などにより人工膝関節の寿命を縮めたり、歩行がスムーズに行えなかったりするなどの不具合が発生する。
そのため人工関節置換後に、人工関節置換が適切なアライメントで実施されたことを確認および評価することができれば、治療効果の定量的評価が可能になる。一般に生体内に埋め込まれる医療器具は生体組織への攻撃性を低減させるために滑らかな形状をしており、端点などがない滑らかな形状で構成されていることが多い。これは生体内の骨などの硬組織にも当てはまる。
【0003】
この評価作業にはX線撮影を利用することが現実的であるが、X線画像を撮影して目視で評価するのではなく、画像解析などを活用すると精度が向上することが知られている。
しかしながら上述のように生体内に埋め込まれる人工関節や周囲の骨は滑らかな曲面で構成されており、特徴点を見つけ出して、その配置の変化から姿勢・位置を推定することは容易ではない。
【0004】
非特許文献1では、フーリエ記述子を利用したパターンマッチングを利用して比較的精度が良く1枚のX線画像から3次元的な姿勢・位置を推定できる簡便かつ高精度な方法が開示されている。フーリエ記述子を利用するパターンマッチングは、様々な分野で利用されているが、その基本は対象物を2次元平面上に投影してできる輪郭を節点で分割し、その節点の座標に基づいて作成した数列をあらかじめ様々な条件下であらかじめ撮影しておいた輪郭のそれと比較することにより、その条件と一致する対象物の輪郭を数学的手続きにより見つけ出し、対象物の条件を推測するという方法である。このことから生体内に埋め込まれる医療器具や周囲の硬組織のような滑らかな曲面で構成された物体の3次元的な姿勢・位置を推定する方法として適している。フーリエ記述子、特に閉曲線を利用するフーリエ記述子は正規化する過程において、得られた輪郭の大きさや重心位置や方向に関係なく比較できるようにできるので便利である。
【0005】
従来技術として、以下のものがある。
特許文献1は、X線画像(2次元)における人工関節の輪郭が、X線源と人工関節の距離によって変わることを利用して、あらかじめ様々な距離において撮影をしていたX線画像の輪郭から、撮影した患者の人工関節のX線源と人工関節の距離を推定する方法を開示している。この方法ではX線源と人工関節の距離を推定できるが、その人工関節の姿勢を推定することは出来ない。また撮影対象物(人工関節)の輪郭全体を利用するために、撮影対象物の輪郭が一部欠損または不鮮明である場合には、距離を推定することは出来ない。
【0006】
特許文献2では、骨の3次元形状データと2次元のX線画像のマッチングおこなう画像処理装置を開示している。骨の3次元形状データにおいて骨軸と呼ぶ特徴点を手動で設定し、それを二次元画像に投影した場合の位置と、2次元のX線画像における特徴点のズレを最小にする投影位置を決定することにより、骨の位置等を推定する方法である。3次元形状データを2次元平面に投影する仮想投影像計算部を有するために、位置を推定する際に、毎回、計算が必要であり計算速度の向上に限界がある。また手動で骨軸の設定を行うために突起などを有さない滑らかな曲面で構成される物体に対しては骨軸の設定が困難となり位置推定が出来ない。
【0007】
特許文献3では3次元モデルの輪郭データベースを用意し、2次元のスケッチ画像に基づいて類似の3次元モデルを検索する方法が開示されている。この検索に2次元のスケッチ画像と3次元モデルの輪郭データベースをフーリエ記述子で表現する方法が用いられている。スケッチ画像には閉曲線で描かれることを前提としており、手書き線による微小な隙間が存在する場合は、クロージング処理をもちいてその隙間を埋めて閉曲線にするという前処理を検索前に行う。したがって対象物の輪郭が一部欠損または不鮮明である場合には、推定不可能である。また検索が目的であり、3次元的な姿勢・位置を推定することは出来ない。
【0008】
特許文献4では、ニューラルネットワークを用いて2次元画像における輪郭の一部が欠損していても、そのパターンを識別する方法が開示されている。しかし輪郭のデータベースを保有しておらず、入力された画像のパターンをあらかじめ登録されたカテゴリー群のいずれかに分類するために、姿勢・位置を判別するのに必要な輪郭データベースとの照合を行うことができない。そのため、姿勢・位置の推定を行うことができない。
【0009】
非特許文献1では閉曲線フーリエ記述子を利用して、X線画像から人工関節の姿勢・位置を推定する方法を開示している。同様の手法を用いている例としては非特許文献2がある。これらの技術では、撮影対象物をあらかじめ姿勢を様々に変えた場合の輪郭を数列化し、それを閉曲線型フーリエ記述子という形でデータベースに蓄積しておく。任意の姿勢で対象物を撮影した際に得られた輪郭に関して、閉曲線型フーリエ記述子という形で整理し、それをデータベースに保存されているデータと比較し、最も誤差の少ないデータベース上の輪郭を選択する。これによって任意の姿勢で撮影された対象物の角度を知る(選択されたデータベース上の輪郭と同じ姿勢であると判断する)方法である。
あらかじめデータベース上に保存されている数列データとの比較のみを行えばよいため、短い計算時間で、3次元的な姿勢・位置を推定できるという利点を有している。
しかしながら、これらの技術は閉曲線型フーリエ記述子を用いているために撮影対象物の輪郭が一部欠損または不鮮明である場合には、距離を推定することは出来ない。
【先行技術文献】
【0010】

【特許文献1】特開2004-132767号公報
【特許文献2】特開2006-212294号公報
【特許文献3】特開2006-285627号公報
【特許文献4】特開平7-105372号公報
【0011】

【非特許文献1】廣川俊二ほか3名、X線端面投影像による人工膝関節の三次元位置・姿勢推定に関する研究、日本機械学会論文集、C編、69巻(679号)、713-720、2003
【非特許文献2】Wallace, P.T.ほか1名、Analysis of three-dimensional movement using fourier descriptors, IEEE Transaction s on Pattern Analysis and Machine Intelligence, Vol. PAMI-2, No. 6,, 583-588, 1980.
【発明の概要】
【発明が解決しようとする課題】
【0012】
従来技術では、対象物の輪郭が閉じた曲線で表現され、かつその輪郭全体が信頼できるものでないとならないために、輪郭の一部がほかの物体と重なっていたり、不鮮明であったりするとうまく推定できないという問題点がある。人工膝関節置換の評価に応用する場合は、とくに膝蓋骨部分が大腿骨コンポーネントと部分的に重なった状態でX線撮影される場合が多く、姿勢・位置の推定は困難であった。そこで発明者らは、膝蓋骨のように輪郭の一部が重なっていたり、不鮮明であったりする場合でも閉曲線型のフーリエ記述子の長所を残しながら、パターンマッチングができる方法及び装置を発明するにいたった。
本発明は、人工関節骨または生体組織の骨などの物体の2次元投影画像で、かつその物体の輪郭の一部が欠落またはノイズなどにより判別不能である2次元投影画像から、3次元的な姿勢・位置を短い計算時間で推定できる方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【0013】
上記目的を達成するため、本発明は以下の構成を有する。
X線投影画像上の測定対象物を、複数の候補対象物の情報が保存されている親データベースと比較することにより、前記測定対象物の姿勢及び位置を推定するX線画像処理システムにおけるX線画像処理方法であって、
前記測定対象物は、人工関節骨または生体組織の骨であり、
前記候補対象物の3次元形状は既知であり、
前記親データベースには、複数の前記候補対象物を様々な角度から2次元に投影した要素輪郭群が保存されており、
前記測定対象物の輪郭の特徴から導き出される複数の測定対象物特徴点と、前記要素輪郭群の各要素輪郭の特徴から導き出され前記測定対象物特徴点に対応する複数の輪郭要素特徴点と、を用いて、前記複数の測定対象物特徴点の測定対象物相対関係と、前記複数の輪郭要素特徴点の輪郭要素相対関係とを比較し、前記測定対象物相対関係と前記輪郭要素相対関係とが予め定めた誤差を超える要素輪郭は、前記要素輪郭群から除外する工程と、
前記要素輪郭群から除外されたものを除く測定対象物の輪郭は一部が欠損していて、前記測定対象物の輪郭の欠損部分を除いた輪郭の始点(点D)及び終点(点E)を算出する工程と、
前記測定対象物の輪郭の始点及び終点に対応する、前記要素輪郭群の各要素輪郭の始点及び終点を推定する始点・終点推定工程と、
前記測定対象物の輪郭と前記始点及び終点とから算出された開曲線フーリエ記述子の係数と、前記要素輪郭群の各要素輪郭の輪郭と前記始点及び終点とから算出された開曲線フーリエ記述子の係数と、を比較することにより、前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物を推定する候補対象物推定工程と、
前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物から、前記測定対象物の姿勢及び位置を算出する姿勢・位置算出工程と、を有する、
ことを特徴とするX線画像処理システムにおけるX線画像処理方法。
【0014】
また、以下の構成を有する。
X線投影画像上の測定対象物を、複数の候補対象物の情報が保存されている親データベースと比較することにより、前記測定対象物の姿勢・位置を推定するX線画像処理システムであって、
前記測定対象物は、人工関節骨または生体組織の骨であり、
前記候補対象物の3次元形状は既知であり、
前記親データベースには、複数の前記候補対象物を様々な角度から2次元に投影した要素輪郭群が保存されており、
前記測定対象物の輪郭の開曲線フーリエ記述子の係数と、前記要素輪郭群の各要素輪郭の開曲線フーリエ記述子の係数とを比較することにより、前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物を推定する候補対象物推定手段と、
前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物から、前記測定対象物の姿勢・位置を算出する姿勢・位置算出手段と、を有する
ことを特徴とするX線画像処理システム。
【0015】
また、以下の好ましい実施態様がある。
前記始点・終点推定工程に先立って、前記測定対象物の輪郭の特徴から導き出される複数の測定対象物特徴点と、前記要素輪郭群の各要素輪郭の特徴から導き出され前記測定対象物特徴点に対応する複数の輪郭要素特徴点と、を用いて、前記複数の測定対象物特徴点の測定対象物相対関係と、前記複数の輪郭要素特徴点の輪郭要素相対関係とを比較し、前記測定対象物相対関係と前記輪郭要素相対関係とが予め定めた誤差を超える要素輪郭は、前記要素輪郭群から除外する工程、をさらに有する。
前記複数の測定対象物特徴点及び前記複数の輪郭要素特徴点の少なくとも1つは、前記測定対象物の輪郭及び前記要素輪郭群の各要素輪郭に対して、輪郭と該輪郭の最長軸を求め、前記最長軸から最も遠い点である。
前記複数の測定対象物特徴点及び前記複数の輪郭要素特徴点の少なくとも1つは、前記測定対象物の輪郭および前記要素輪郭群の各要素輪郭に対して骨格線処理を行い、その骨格線上にある。
前記複数の測定対象物特徴点は少なくとも前記輪郭の始点及び終点を含み、前記測定対象物相対関係は前記複数の測定対象物特徴点の1つと前記始点及び終点とを結ぶベクトルによって表現される。
候補対象物推定工程において、前記測定対象物の輪郭及び前記要素輪郭群の各要素輪郭の輪郭上の複数の点のいずれかを始点及び終点とした複数の開曲線を求め、前記複数の開曲線のフーリエ記述子の係数を比較することにより、前記測定対象物の輪郭に対応する要素輪郭及び対応する候補対象物を推定する。
前記各工程の一部または全部は、ネットワークを経由してアクセス可能な遠隔地で行われる。
前記測定対象物の輪郭は2箇所以上の欠損部分を有しており、
前記欠損部分を補間することにより、始点(点D)及び終点(点E)を有する開曲線を生成し、該開曲線を新たに測定対象物の輪郭とする工程、をさらに有する。
前記測定対象物の輪郭の欠損部分の少なくとも1つは、前記測定対象物の輪郭のうち他の骨が近接している部分を取除いた部分、または、前記X線投影画像外の部分である。
データベース及び演算手段の一部または全部が、ネットワークを経由してアクセス可能な遠隔地に設けられている。

【発明の効果】
【0016】
本発明は上記構成を採用したことにより、X線投影画像から測定対象物の3次元的な姿勢・位置を正確に推定できる。特に、測定対象物が他の物体と重なり合っていて輪郭の一部が欠損していても、開曲線フーリエ記述子を用いることにより、既知の候補対象物の輪郭と比較することが可能である。測定対象物が、既知の候補対象物のいずれであるかを特定できれば、測定対象物の3次元的な姿勢・位置を推定できる。開曲線フーリエ記述子では、輪郭の始点及び終点の情報が必要であるが、本発明では、測定対象物の輪郭上の一点と始点(点D)及び終点(点E)とを結ぶベクトルを用いることにより、候補対象物の始点及び終点の推定が可能である。さらに、前記ベクトルを用いることにより、候補対象物を絞り込むこともでき、照合に要する演算時間を短くすることができる。
また、輪郭と該輪郭の最長軸との2つの交点(点B,点C)と、点B及び点Cの間の輪郭上で前記最長軸から最も遠い点Aとを用いて、それらの相対位置からも候補対象物を絞り込むことができ、照合に要する演算時間を短くすることができる。さらに、輪郭上の点A~Eは位置を特定しやすいので、これらの点のいずれかを始点及び終点とした輪郭の開曲線を複数設定し、これら複数の開曲線のフーリエ記述子の係数を比較すれば、より高い精度で、測定対象物の輪郭と候補対象物の各要素輪郭との比較ができる。
また、関節を形成している複数の骨同士がX線画像上で重なっていたり対象の骨の一部がX線画像からはみ出ていて、骨の輪郭線が複数箇所で欠損していても、骨格線処理を併用することにより候補対象物を絞り込むことができ、照合をより正確かつ高速に行える。
【図面の簡単な説明】
【0017】
【図1】図形と閉曲線型フーリエ記述子を用いたときの周波数の分布。
【図2】第m高周波数以上の成分を削減して復元された図形。
【図3】3次元空間に存在する膝蓋骨と2次元平面に投影された場合の模式図。
【図4】正規化される前の図形と,正規化された後の図形の例。
【図5】膝蓋骨のデータベースの模式図。
【図6】データベースに保存された要素輪郭とE_inputのグラフ。
【図7】座標系を表す図(左)と膝屈伸角度と膝蓋骨の角度変化のグラフ(右)。
【図8】膝屈伸角度と膝蓋骨の移動量のグラフ。
【図9】実際の入力画像の例(角度を変えた膝蓋骨)。
【図10】図9の膝蓋骨におけるフーリエスペクトルの差を示したグラフ。
【図11】図9の(1)および(2)の膝蓋骨において第1高周波数以上の成分を削減して復元した膝蓋骨を表す図。
【図12】<閉曲線フーリエ記述子を用いた測定対象物の姿勢・位置推定>に用いた入力画像(X線写真)(左)と膝蓋骨部分のみを反転表示させた画像(右)。
【図13】人工関節置換を行った膝関節における大腿骨コンポーネント,脛骨コンポーネント,膝蓋骨が,X線で撮影された場合の位置関係を示す模式図。
【図14】膝蓋骨の輪郭を3つの領域に分けた図。
【図15】入力画像における各領域において欠損部位が存在する場合に、選択される要素輪郭の角度を表した図。
【図16】人工関節置換後の膝関節をX線撮影した場合に得られる輪郭線の模式図。
【図17】図16のうち膝蓋骨と思われる部分を取り出したもの(右)と本来の膝蓋骨の輪郭線。
【図18】(手順1),(手順2),(手順3)を説明する図(それぞれ(a),(b),(c)が対応)。
【図19】(手順4)を説明する図。
【図20】(手順5)を説明する図。
【図21】手順の流れを示す図。
【図22】<開曲線フーリエ記述子を用いた実験結果>に用いた入力要素の輪郭線。
【図23】各手順を実行した場合の要素輪郭の数の変化。
【図24】ネットワークを利用した本発明の利用例。
【図25】典型的な膝関節のX線画像。
【図26】膝関節のX線画像における輪郭を抽出した場合の模式図。
【図27】膝の屈曲角度を変えた場合の模式図。
【図28】棄却領域の設定を示す図。
【図29】輪郭と骨格線と第一種特徴点の関係を示す図。
【図30】第二種特徴点を示す図。
【図31】第三種特徴点を示す図(大腿骨)。
【図32】第三種特徴点を示す図(下腿骨)。
【図33】各骨の位置を模式化した図。
【図34】各骨の位置を模式化した図。
【図35】各骨の位置を模式化した図。
【図36】各骨の位置を模式化した図。
【図37】棄却線定義の準備手続きを示す図。
【図38】棄却線を示す図。
【図39】棄却線を示す図。
【図40】棄却線によって第三種特徴点を定義されることを示す図。
【図41】第三種特徴点まで抽出された大腿骨と下腿骨を示す図。
【図42】屈曲角度と大腿骨の位置の関係。
【図43】屈曲角度と大腿骨の姿勢の関係。
【図44】屈曲角度と下腿骨の位置の関係。
【図45】屈曲角度と下腿骨の姿勢の関係。
【図46】屈曲角度と膝蓋骨の位置の関係。
【図47】屈曲角度と膝蓋骨の姿勢の関係。
【図48】特徴点及び始点・終点の相対関係の例。
【図49】特徴点及び始点・終点の相対関係の例。
【発明を実施するための形態】
【0018】
<<実施形態1>>
以下、本発明の実施形態の一例である実施形態1について説明する。

【0019】
<フーリエ記述子の説明>
まず、フーリエ記述子について説明する。特に、閉曲線に対するフーリエ記述子と、開曲線に対するフーリエ記述子について説明する。
フーリエ記述子とは物体の輪郭形状を複素数列a(n)で表現することによって、物体形状の特徴を記述する方法である。輪郭が一本の閉曲線で表現される場合はa(n)は周期関数となり、その輪郭形状はフーリエ級数で表現できる。輪郭線上に節点を設け、その節点のX座標およびY座標をそれぞれ実部,虚部とする複素数列a(n)は、式(数1)のような離散フーリエ級数s(k)で表すことができる。
【数1】
JP0005493133B2_000002t.gif

【0020】
異なる形状において、節点の数をそろえることにより数列a(n)をもちいた比較が容易になり、定量的に形状間での特徴を把握することができる。
このフーリエ係数s(k)に対して式(数2)とおき、フーリエ逆変換を行うと形状を復元することができる(式(数3))。zが逆変換により再生される輪郭形状の点列である。
【数2】
JP0005493133B2_000003t.gif
【数3】
JP0005493133B2_000004t.gif
一般にフーリエ逆変換による形状を復元する場合、高周波数を削減して逆変換を行なうと鋭角の部分の情報が欠落し丸みを帯びた形状として復元されていることが知られている。

【0021】
図1に示す図形Aをフィルターにより、第m高周波数以上の成分を削減した場合の復元曲線を図2に示す。再生曲線は式(数3)となる。このようにフーリエ記述子を用いると図形の変換が容易に行うことができ、図形の特徴を定量化することができる。図形の拡大・縮小、回転、エッジの平滑化・鮮鋭化などが容易に出来る。

【0022】
開曲線型フーリエ記述子について説明をする。開曲線型フーリエ記述子にはいくつかの表現法があるが、ここではP型フーリエ記述子(上坂著「開曲線にも適応できるフーリエ記述子」(電子情報通信学会論文誌,Vol.J67-A,No.3, 166-173,1984.))について説明する。X軸を実軸、Y軸を虚軸とする複素平面において、ある曲線をN等分し、多角形として近似する。このとき多角形の各辺の長さをδLとし、i番目の多角形の頂点を複素関数z(i)=x(i)+jy(i)(jは虚数単位)で記述する。このときc(k)を
【数4】
JP0005493133B2_000005t.gif
とすれば、開曲線型フーリエ記述子として図形の特徴を表すことができる。このP型のフーリエ記述子は、(1)開曲線と閉曲線の両方に適応できる、(2)平行移動,拡大・縮小,回転が容易に出来る、という特徴を持つ。

【0023】
<閉曲線フーリエ記述子を用いた測定対象物の姿勢・位置推定>
開曲線フーリエ記述子を用いた測定対象物の姿勢・位置推定について説明する前に、従来技術である閉曲線フーリエ記述子を用いた測定対象物の姿勢・位置推定について説明する。本実施形態においては、測定対象物が人工膝蓋骨である場合について説明する。
図3はXYZ座標系で表現される空間の任意の位置に、適当な姿勢で対象物(膝蓋骨)が存在する様子を示している。投影面上の対象物の輪郭を表現する際にXp軸,Yp軸をそれぞれ実軸,虚軸とすると、その輪郭形状は式(数1)をもちいてフーリエ記述子s(k)で表現される。

【0024】
フーリエ記述子s(k)は輪郭自身の位置,サイズ,向きに依存して多様に変化する。しかしフーリエ記述子は輪郭像自身の位置,サイズ,姿勢で正規化することにより輪郭形状固有の値に変換できる。例えばs(0)は輪郭の図心位置、|s(1)|は輪郭のサイズを表わす。これを利用することによりs(0)=0とすることで輪郭位置の大きさを正規化できる(式(数5))。また輪郭のZ回転を正規化するには、
【数5】
JP0005493133B2_000006t.gif
によりs(k)の位相を正規化できる。本実施形態で対象として取り上げる膝蓋骨モデルの場合は正規化によって向きが一意に定まらないために、さらに式(数6)を用いてZ回転を正規化する。
【数6】
JP0005493133B2_000007t.gif

【0025】
式(数1)および式(数5)と式(数6)の正規化処理によって、s(k)から移動とZ軸回転の影響を除くことができる(図4)。s(k)に対して上記のような正規化を行った後の値をS(k)で表わす。S(k)は正規化フーリエ記述子(NFD; Normalized Fourier Descriptors)と呼び、この値を輪郭形状を特徴付ける固有の指標として用いる。

【0026】
ところで、正規化フーリエ記述子S(k)libは、Z軸回転の影響、また平行移動、大きさの変化による輪郭の影響を除くことができるので、最終的にはX,Y軸回転のみに依存した輪郭形状変化を表わす。そこで膝蓋骨をX,Y軸回りに一定角度ごとに回転させた時の輪郭形状を保存する。このデータベースを特に親データベースと呼び、図5にその概念図を示す。図5はCTによってあらかじめ撮影された2次元データを、重ね合わせて3次元形状に再構築したものであり、それをX,Y軸回りに一定角度ごとに回転させて、2次元平面に投影したものである。実際にコンピュータ内に記録されるのは、図5のような画像を記録するのではなく、それらの輪郭形状のNFD値S(k)、および正規化変換で求めた位置,サイズ,Z軸回転に関する情報(以下、「要素輪郭」と呼ぶ)をデータベース内に記録する。データベースに保存される要素輪郭は固有の番号を割り当てておく。

【0027】
つぎにデータベースに保存された要素輪郭から、ある任意の姿勢・位置で撮影された膝蓋骨を推定する方法について説明する。姿勢および位置が未知の膝蓋骨投影図輪郭像のNFD値、S(k)と正規化の過程で求めた情報のセットを、「入力画像」と呼ぶことにする。

【0028】
データベースの中からS(k)inputの輪郭形状に最も類似している要素情報を探し出す。具体的には、データベースに保存されている各輪郭の正規化フーリエ記述子S(k)libと入力画像の正規化フーリエ記述子S(k)inputとのユーグリッド距離(誤差に相当)が最小となる要素輪郭番号を式(数7)を用いて探し出す(図6参照)。
【数7】
JP0005493133B2_000008t.gif
入力画像の正規化情報を基に、Z軸回転角を推定する。それぞれの推定値は、基本的には、入力画像の正規化情報と、データベースから式(数7)によって選ばれた要素輪郭の正規化情報(添え字「select」)を比較することによって求められる。これにより推定されるX軸回転角,Y軸回転角,Z軸回転角の推定量を添え字「est」をつけて、それぞれθX_est,θY_est,θZ_estとすると、次のように算出される。
【数8】
JP0005493133B2_000009t.gif
【数9】
JP0005493133B2_000010t.gif

【数10】
JP0005493133B2_000011t.gif
X軸回転角およびY軸回転角の推定値は、データベースから選ばれた輪郭のX軸回転角およびY軸回転角のそれと同じであるが、Z軸回転角のみ、入力画像のZ軸回転角に関する正規化情報θZ_inputと、データベースから選ばれた輪郭のZ軸回転角に関する正規化情報θZ_selectの差になっている。

【0029】
X軸移動,Y軸移動,Z軸移動の推定量を添え字「est」で表すと、以下のように記述できる。フーリエ記述子のパラメータより算出される。
【数11】
JP0005493133B2_000012t.gif
【数12】
JP0005493133B2_000013t.gif
【数13】
JP0005493133B2_000014t.gif

【0030】
これにより膝蓋骨の6自由度全てを求めることができる。ここでS_X(0)やS_Y(0)は、正規化処理後のフーリエ記述子S(0)のX成分(実数部分)とY成分(虚数成分)である。本実施形態では、データベースにおけるX線源-投影面の距離は、入力画像におけるそれと一致させているので、式(数11)から式(数13)において位置の推定が可能である。非特許文献1では、式(数11)から式(数13)に関して、見かけの回転角などを考慮したより高精度な姿勢・位置の推定法や、入力画像におけるX線源-投影面までの距離と、データベースにおけるそれが異なっていても姿勢・位置が推定できる計算式を開示しており、それらを利用しても良い。

【0031】
この手法を用いることによって、膝蓋骨の姿勢・位置推定は可能である。健常者を測定した場合の膝屈曲角(注:中腰の状態を基準として膝屈曲角を表示している)と膝蓋骨のX,Y,Z軸方向回転角を図7に、またX,Y,Z方向の移動量を図8に示す。姿勢に関する精度は1度程度であり、実用上は充分な精度を持っている。

【0032】
ところで、図9にしめすような膝蓋骨の姿勢・位置推定はフーリエスペクトルのどの成分で判別しているのかを表したのが図10である。姿勢1と姿勢2のスペクトルの差と姿勢1と姿勢3のスペクトルの差を比較するとS(-1)の要素が最も大きい。これは他の姿勢で評価したときも同じであった。このことから膝蓋骨の姿勢・位置推定においてもっとも重要な要素はS(-1)であることが分かる。そこで、式(数3)を利用してフィルターを使用し、図9における(1)と(2)においてS(-1)だけが支配的な画像を復元したところ、図11に示すような楕円形に近い形状になることが分かった。このことから、膝蓋骨の姿勢・位置推定では楕円の縦横比が膝蓋骨の推定精度の向上につながることがわかった。

【0033】
<開曲線フーリエ記述子を用いた測定対象物の姿勢・位置推定>
上述の実験では健常者の膝関節画像を入力画像として用いたので、図12に示すように膝蓋骨は、他の部分と重なることが無く、その輪郭を抽出することができた。しかしながら人工関節置換を行った場合は、図13のように膝蓋骨(または膝蓋骨コンポーネント)と大腿骨コンポーネントが重なり合い、膝蓋骨(または膝蓋骨コンポーネント)の輪郭の一部が判別できなくなる。そのため膝蓋骨(または膝蓋骨コンポーネント)の輪郭のうち一部分が信頼できなくなり、閉曲線で表現できなくなる。このため閉曲線であることを前提とする式(数1)が利用できなくなる。

【0034】
ところで開曲線型フーリエ記述子も存在している。入力画像において膝蓋骨(または膝蓋骨コンポーネント)の信頼できる輪郭部分を開曲線型フーリエ記述子で表現することは可能である。しかしながらデータベースに保存される膝蓋骨の輪郭は閉曲線である。これに開曲線型フーリエ記述子を適用する場合には、始点と終点の組合せが無数に存在するので、入力画像の開曲線型フーリエ記述子と適合するデータベース側の開曲線型フーリエ記述子の候補は、(データベース数)×(始点の候補数)×(終点の候補数)となり、膨大な計算量になる。したがって現実的な計算時間で上述のアルゴリズムを実行しようとすればデータベース側の輪郭において始点と終点を決定する方法が必要である。

【0035】
膝蓋骨(または膝蓋骨コンポーネント)の一部分が大腿骨コンポーネントと重なった状態で、重なった部分を強引に直線でつなぎ、膝蓋骨(または膝蓋骨コンポーネント)の輪郭を閉曲線として式(数1)を用いてフーリエ記述子にし、姿勢・位置を推定した。図14に示すように、入力画像において膝蓋骨(または膝蓋骨コンポーネント)を3つの領域に分け、それぞれの領域で大腿骨コンポーネントと重なった面積(輪郭の一部を直線状に削ることにより再現)を変えた。この場合に、ある角度θXおよびθYから撮影された入力画像に対して、どの要素画像が選択されるかを調べた。

【0036】
その結果を図15に示す。入力画像のθXおよびθYは、それぞれ-4度、-3度である。図15から、どの領域でも欠損した(大腿骨コンポーネントと重なった)面積が増えると、入力画像のθXおよびθYとは異なる要素輪郭が選択される。その差異を欠損領域が存在することにおける誤差と考えると、領域3に比べると領域1と領域2の部分で誤差が大きくなることが分かる。また欠損面積が大きいほど、誤差が大きくなる傾向があることがわかる。このことから膝蓋骨(または膝蓋骨コンポーネント)の姿勢・位置推定の精度は、領域1,領域2の曲線部分が関与していることが分かる。

【0037】
従来の方法を利用した実験からは、
1.膝蓋骨の姿勢・位置推定は、楕円形状と近似して、その長半径と短半径の変化によって推定している。
2.領域1と領域2の曲率の変化が推定精度に強い影響を及ぼしている。
3.データベース側において、始点と終点を決めないと開曲線型フーリエ記述子を適応して、入力画像との比較をするのは困難である。
ことが分かっている。

【0038】
人工膝関節置換を行った後にX線で撮影した場合の大腿骨コンポーネント、脛骨コンポーネント、膝蓋骨(または膝蓋骨コンポーネント)の輪郭を抽出した場合の典型的な模式図を図16に示す。図16から分かるように膝蓋骨(または膝蓋骨コンポーネント)の輪郭の一部が大腿骨コンポーネントと重なっており、その部分の輪郭は不明である。図17に示すように点Dと点Eの区間における輪郭線の形状(点線)は不明であり、一つの輪郭線を得ることは難しい。直線で点Dと点Eを結び、閉曲線の輪郭を作成すると図15に示したように、不明な領域が増えるほど、姿勢・位置推定の誤差が大きくなる。一方、実線で示している輪郭線は膝蓋骨(または膝蓋骨コンポーネント)のそれとして信頼できる。この区間の輪郭線はデータベースから選択されるべき膝蓋骨(または膝蓋骨コンポーネント)の輪郭線と一致するはずである。つまり入力画像における点Dと点Eはデータベースから選択されるべき膝蓋骨(または膝蓋骨コンポーネント)の輪郭線上に存在しているはずである。

【0039】
実験からの知見ならびに上述の規則を利用すれば、以下に示す方法を使えば、たとえ膝蓋骨(または膝蓋骨コンポーネント)の輪郭の一部が信頼できなくてもデータベースから適切な膝蓋骨(または膝蓋骨コンポーネント)を選択することができる。

【0040】
(手順1)入力画像における膝蓋骨(または膝蓋骨コンポーネント)の輪郭が不明確な領域を直線で結び、閉曲線の輪郭を形成する。(図18(b)参照)

【0041】
(手順2)その閉曲線の輪郭に対して閉曲線型フーリエ記述子を適応し、それを回転させて膝蓋骨(または膝蓋骨コンポーネント)の横幅L_inputがもっとも大きくなる回転角度θ'を探す。(点Dと点Eは下側に来るようにする)(図18(c)参照)

【0042】
(手順3-A)その回転角度θ'において、高さが最大となる点を点A、左端を点B、右端を点Cとする。そして点Aと点Bの横方向および縦方向長さをそれぞれa_input,c_inputとし、点Aと点Cの横方向および縦方向長さをそれぞれb_input,d_inputとする。(添え字「input」は入力画像の意味)

【0043】
(手順3-B)データベースを構成する各要素輪郭において手順2と手順3-Aを実施し、入力画像における点A,点B,点Cに相当する3点を求め、それを点A',点B',点C'とする。さらに各輪郭要素においてa_lib_n,c_lib_n,b_lib_n,d_lib_nを求める(添え字「lib」はデータベースの意味、「n」はデータベースでの要素輪郭の番号を意味する)。

【0044】
(手順3-C)c_input/a_inputとd_input/b_inputを求め、各要素輪郭においてc_lib_n/a_lib_n,d_lib_n/b_lib_nのそれと比較する。c_input/a_inputおよびd_input/b_inputと一定の比率以上の違いがある各要素輪郭番号はデータベースから破棄する(図18(c)参照)。残った要素輪郭で子データベースを作成する。

【0045】
(手順4-A)入力画像における膝蓋骨(または膝蓋骨コンポーネント)の信頼できる輪郭区間の端点である点Dと点Eに対してベクトルAD_inputおよびベクトルAE_inputを求める(図19上)。

【0046】
(手順4-B)子データベースにおける各要素輪郭(または膝蓋骨コンポーネント)において点A'を始点として、
【数14】
JP0005493133B2_000015t.gif
【数15】
JP0005493133B2_000016t.gif
で定義されるベクトルAD_lib_n、ベクトルAE_lib_nを引く(図19下)。

【0047】
(手順4-C)ベクトルAD_lib_n,ベクトルAE_lib_nの先端近傍に輪郭を表す節点が存在しない要素輪郭番号は子データベースから破棄する。残った要素輪郭においてはベクトルAD_lib_n,ベクトルAE_lib_nの先端に位置する輪郭上の点をそれぞれ点D',点E'とする。

【0048】
(手順5-A)入力画像において点D-B-A,点E-C-A,点B-A-Cを経由する3つの開曲線において、開曲線型フーリエ記述子(後述)を用いる(図20上)。

【0049】
(手順5-B)残った要素輪郭において点D'-B'-A',点E'-C'-A',点B'-A'-C'を経由する3つの開曲線において、開曲線型フーリエ記述子を用いる(図20下)。

【0050】
(手順5-C)入力画像および残った要素輪郭における3組の開曲線型フーリエ記述子のそれぞれに関して、式(数7)から誤差Eを求め、3組の開曲線型フーリエ記述子における誤差の和がもっとも少ない要素輪郭番号を選択する。

【0051】
(手順6)選ばれた要素輪郭番号から式(数8)~式(数13)または非特許文献1に開示されている方法によって姿勢・位置を推定する。

【0052】
(手順2)と(手順3)は、膝蓋骨の姿勢・位置推定が楕円形における長半径,短半径の変化で行われているという実験からの知見を利用したものである。
(手順5)は領域1と領域2の曲率の変化が推定精度に強い影響を及ぼしているという実験からの知見を利用したものである。
(手順4)は、要素輪郭において開曲線型フーリエ記述子を適応するために必要な始点と終点を決定しなければならないという実験からの知見を利用したものである。輪郭で信頼できる区間と信頼できない区間を分離し、その境界となる点は、選択される要素輪郭番号においては同じく輪郭上に存在しているという性質を利用している。
図21に手順の流れを示す。

【0053】
入力画像における点Dと点Eの決定法だが、図16に示すように大腿骨コンポーネントと膝蓋骨(または膝蓋骨コンポーネント)の重なる部分では、輪郭の角度が急激に変化するので、角度の変化率の急激な点を点Dと点Eとして決定できる。角度の抽出法は、Rosenfield, A. and Johnson, E.著「Angle Detection on digital Curves」(IEEE Trans. Comp., Vol.C-22, 875-878, 1973)や、加納(ほか3名)著「判別の難易度に基づく類似箇所検出の高速」(情報処理学会論文誌,Vol.42(11), 2689-2698,2001)などに開示されている方法を用いることができる。

【0054】
本実施形態は、輪郭全体が明確である要素輪郭が保存された親データベースにおいて、入力画像における複数の特徴量を抽出し、データベースに保存された要素輪郭群を絞り込む。従来の方法では、フーリエ記述子を利用した3次元的な姿勢・位置推定法は、親データベースが詳細である(2次元平面に投影された画像を小刻みな角度ごとに用意する)ほど精度の高い姿勢・位置推定が可能になるが、計算時間もデータベースの大きさに応じて増大していく。また入力画像における輪郭の一部が欠損している場合は、データベースに保存された輪郭上で始点と終点の位置が決まらないので、それを網羅するべくマッチング計算すると、計算時間は始点と終点の組合せの数に比例して増大する。

【0055】
それに対して本実施形態では、入力画像における輪郭の一部が欠損しても抽出できる特徴量でデータベースの要素輪郭群を選択した子データベースを作成し、それに始点と終点を決定して開曲線型フーリエ記述子を適応するので、親データベースを詳細に作成しても、比較的短い計算時間で、高精度に3次元的な姿勢・位置推定が可能になる。

【0056】
<開曲線フーリエ記述子を用いた実験結果>
図22のように輪郭の一部分が途切れている(不明確な)膝蓋骨の画像を用意し、これを上述の手順で処理した。図22は、X角度,Y角度がそれぞれ2度,0度であり、上述の手順でデータベース中から、当該角度から撮影された画像を選択できることを検証する。データベースはX角度,Y角度がそれぞれ-5度から+5度まで1度間隔で撮影(11×11=121個の要素輪郭から構成されている)したものである。

【0057】
入力画像において(手順2)を行ったところ横幅L_input=226pixel、回転角度θ=11度であった。また(手順3)によりc_input/a_input=0.536 d_input/b_input=0.395であった。±5%の誤差を許容してデータベースから選択すると当初121個のデータベースから44個の要素輪郭が残った。

【0058】
これを子データベースとして、次に(手順4)を行い、±5%の誤差を許容して子データベースから選択すると15個の要素輪郭が残った。残った要素輪郭のX角度,Y角度を表1に示す。この中に入力画像であるX角度,Y角度がそれぞれ,2度,0度である画像が含まれていることが分かる。

【0059】
最後に残された要素輪郭と入力画像に関してP型フーリエ記述子で3つの開曲線との誤差を求めた。i番目の要素輪郭における評価関数を、
【数16】
JP0005493133B2_000017t.gif
と定義し、もっとも小さいEiの要素輪郭番号を選択した(表1参照)。この表から、もっともEiが小さいのは名称s_5の要素輪郭であり、その要素輪郭のX角度,Y角度はそれぞれ、2度,0度である。これは入力画像のそれと一致している。

【0060】
表1:子データベースに残った要素輪郭の角度と評価関数の値
【表1】
JP0005493133B2_000018t.gif

【0061】
このことから、このアルゴリズムで、輪郭の一部分が不明確であっても同じ角度を持つ要素輪郭がデータベースから選択されることがわかる。同様の試行を20例行ったが、16例では入力画像のX角度,Y角度と同じ角度の要素輪郭をデータベースから選択し、誤差は無かった。4例では異なる角度の画像を選択したが20例の角度誤差の平均は0.25度であった。

【0062】
姿勢・位置の推定は、式(数8)から式(数13)を用いればよいがZ軸回転(式(数10))については、
【数17】
JP0005493133B2_000019t.gif
を用いる。理由は正規化後に、横幅Lが最大になるように回転θ'を加えているためである。

【0063】
本実施形態では、データベースに記録されている要素輪郭におけるX線源-投影面の距離は、入力画像におけるそれと一致させているので、位置の推定に関しては式(数11)から式(数13)で可能である。非特許文献1では、式(数11)から式(数13)に関して、見かけの回転角などを考慮したより高精度な姿勢・位置の推定法や、入力画像におけるX線源-投影面までの距離と、データベースにおけるそれが異なっていても姿勢・位置が推定できる計算式を開示しているので、それらを利用しても良い。

【0064】
本発明は、事前に作成するデータベースが詳細であるほど高精度な姿勢・位置推定が可能である。しかしデータベースを詳細に作成するほど計算時間が必要になるので、(手順3)や(手順4)で不必要な要素輪郭排除することが計算時間の減少に大きな効果をもたらす。図23は、入力画像を様々に代えて20回の試行を行った場合の(手順3)および(手順4)実行時の残った要素輪郭数(エラーバーは標準偏差を表す)である。(手順3)においては、元の要素輪郭数から平均で50%程度に減少し、さらに(手順4)を実行することにより元の数から平均で15%程度に減少することが分かる。この推定法は、用意する要素輪郭の数が多いほうが詳細な角度・位置の推定が可能であるが、一般的に詳細なデータベースを用意すると、確保しておくべきデータ記憶容量や演算量が非常に多くなる。そのうち最も演算時間が必要なのはフーリエ記述子を計算する部分である。本発明の推定法を用いれば、フーリエ記述子を計算するデータベースの数を15%程度に減少できるので、詳細な角度・位置の推定を行う場合でも非常に短い時間(すべてを計算する場合の15%程度)で角度の推定ができる。

【0065】
膝蓋骨等の姿勢・位置を推定したいと考える患者の数が少なく、かつ推定精度が粗くてもよい場合は、データベースの記憶容量は少なくて済み、1台のPCで本発明の実施は可能である。しかし、大多数の患者の膝蓋骨等の姿勢・位置を推定したい場合や、推定精度に高レベルを要求する場合は、1台のPCでは必要な記憶容量を確保することが困難になる。そこで別途、大容量のデータ記憶装置(データベースサーバ)や高速の演算装置(アプリケーションサーバ)や操作画面などを提供するサーバ(Webサーバ)などから構成されるホストコンピュータを遠隔地に用意する。そのホストコンピュータに対して、インターネットなどのネットワーク経由で遠隔地に入力画像を転送し、アプリケーションサーバにて(手順1)から(手順6)を実行することで、1台のPCで実施不可能な高精度の姿勢・位置推定を行ったり、あるいは同時並行で複数の入力画像を処理したりすることができる(図24参照)。

【0066】
こうすることで様々な利点が生まれる。病院などのクライアント側には、特別な演算装置などを導入することなく本発明を利用できる。また他施設も含めた過去の姿勢・位置推定結果を参照できるために、得られた姿勢・位置推定結果と相対比較して評価できる。これにより、得られた姿勢・位置推定結果をより確度の高い診断を医師が下す基礎データとして活用できる。

【0067】
<<実施形態2>>
次に、本発明の実施形態の別の一例である実施形態2について説明する。実施形態1とは以下の点で異なる。
(1)実施形態1の図19におけるベクトルの起点は輪郭上の点Aを用いているが、実施形態2では骨格処理により抽出された骨格線が集合している点αをベクトルの起点として用いる。
(2)実施形態1では輪郭の欠損は1箇所のみであるが、実施形態2では輪郭の欠損は2箇所以上でも良い。欠損箇所は、隣の骨と近接している部分を意図的に取除くことで生じる。また、X線投影画像外の部分も欠損箇所となる。
以下、詳細に説明する。

【0068】
<ライブラリの準備>
あらかじめ大腿骨や下腿骨などの注目する骨をCT装置などを利用して大腿骨や下腿骨単体の3次元モデルを作成する。それらを実際のX線撮影と同等の関係になるように様々に角度(θx,θy)を変えた点から、一定の距離離れた投影面に対して投影し、輪郭線をライブラリに保存する。保存は、角度と関連付けておき、ある輪郭がどの角度から投影されて作成されたものかが分かるようにしておく。
このライブラリに保存される輪郭群は、注目する骨について輪郭領域のすべてが明確であり、閉曲線で構成されている。3次元モデルは実物を作成して、それをカメラで撮影してもよいが、CT装置はデジタルデータで3次元モデルを構築できるので、この作業はすべてコンピュータ上で実施することが好ましい。

【0069】
<評価対象のX線画像>
図25は、X線で撮影した膝関節部のX線画像である。図下に座標系が示されている。膝関節部分は、大腿骨、下腿骨(実際には,脛骨と並行している腓骨の2本から構成される)、膝蓋骨から構成される。また人体で最大の関節の一つであり、関節疾患が最も起こりやすい関節の一つである。大腿骨および下腿骨は長管骨と呼ばれ、細長く、中央部分は略円筒状である。端部は関節を構成するために、中央部分と比べると若干、複雑な形状をしている。しかし端部も曲面から構成されていることには変わりなく、突起部や直角部など、画像処理で通常用いられるような特徴点というようなものはない。
関節疾患が起こるのは、関節部分が多く、この付近を撮影すると、長管骨は関節部近傍のみしか撮影できず、大腿骨や下腿骨の全体像が映ったX線画像を取得することは少ない。このため大腿骨や下腿骨は関節近傍の一部分しかX線画像に撮影されない。

【0070】
<第一種特徴点の決定>
大腿骨は膝蓋骨と下腿骨と接触、または重なり合う可能性があり、下腿骨は大腿骨と接触、または重なり合う可能性がある。そこでこれらの対象物に対して、他の対象物が接触、または重なり合っても変化しない特徴を抽出する。
最初に、輪郭を抽出する。図25における骨の輪郭を抽出した際の模式図を図26に示す。この図では、膝蓋骨、大腿骨、下腿骨の輪郭が明確に分離できるように見えるが、拡大してみると、どちらの骨の輪郭にするべきか、判別しかねる領域が存在する。
下腿骨や大腿骨に関して、他の骨が重なる可能性がある領域を人為的に棄却する。そして残った領域のみに関して輪郭内を塗りつぶす(棄却された輪郭線は、端点を直線で結ぶ)。それに対して骨格化処理(例えば広瀬 健一,「細線化画像を用いた指文字認識」,情報処理学会研究報告. コンピュータビジョン研究会報告,vol.93,No.66,pp.1-6,1993.)を施し、その対象物の骨格を抽出する。抽出した骨格のうち関節近傍からの骨格線が集合している点をα_f,α_tとする(図29参照)。添え字のfは大腿骨を表し、tは下腿骨を表す。
これらを図27に示すようにいくつかの屈曲角度を模擬して、その際の下腿骨や大腿骨の配置に基づいて棄却領域を変えた。棄却領域は、他の骨が重なっているために輪郭が明確に判別できない可能性のある領域を模擬したものである。
その際にα_f,α_tに関して、棄却量と位置の変異を調べた。α_fに関しては、大腿部中央部の骨の太さがほぼ一定と思われる部分の太さL1で正規化すると、最大でも7%ほどX軸(図25では横方向)またはY軸(図25では縦方向)の移動であった。α_tに関しては、L1で正規化すると、4%弱の移動であった。これらの値は棄却量を実際に想定される重なり程度にくらべて十分に大きく取った場合の数値であり、実際の膝関節のX線画像の場合は、屈曲角度によらずα_f,α_tの移動はほとんど無視できることが分かった。また他の骨が、接触、または重なり合っていて輪郭がどちらの骨に属しているのかを明確に判別できなくても、それ以外の明確に所属を判別できる輪郭線を用いればα_f,α_tの移動はほとんど無視できることが分かった。
このことからこの骨格化処理して得られたα_f,α_tは、いかなる屈曲角度でも、また近接の骨の位置によっても影響を受けない点であるといえる。そこで、骨格化処理して得られたα_f,α_tを第一種特徴点と名付ける。

【0071】
<第二種特徴点の決定>
大腿骨や下腿骨は関節近傍の一部分しかX線画像に撮影されないために、あらかじめ決めておいた領域以外の画像は棄却する。これは後述するライブラリを作成する際にデータ量を削減することに貢献する。大腿骨や下腿骨の輪郭のある部分を切り捨てるという点で、上述の作業と同じなのだが、目的が異なるためにこの作業を、以後、「骨切り」と呼ぶことにする。これは以下の手順で決定する。例として大腿骨を取り上げる。
(手順1) 点αを設定する(白丸)。
(手順2) αから骨格ライン上を関節から離れる方向にあらかじめ定めた距離L_st01_fだけ(本実施例では20pixelとした。Pixelは画素を意味し、距離の決定を画素によって代用している)進んだ点とαを結ぶ直線を設定する。これを点線A_fと呼ぶ(下腿骨の場合は点線A_t)。
(手順3) 点線A_f上をαから関節から離れる方向にあらかじめ定めた距離L_st02_fだけ(本実施例では100pixelとした。)進んだ点を通り、点線A_fに垂直な直線を設定する。これを点線B_fと呼ぶ(下腿骨の場合は点線B_t)。
(手順4) 点線B_fと大腿骨の輪郭の交点をそれぞれβ,γと設定する(黒丸)。
これら点β,γを第2種特徴点と呼ぶ。なお点β,γの間で輪郭が存在していない領域は直線で結んでおく。図30にこれらの手順を行った後の図を示す。
ここで、L_st01_fやL_st02_fを骨の特徴的な寸法(たとえば、大腿部中央部の骨の太さがほぼ一定と思われる部分の太さL1)で正規化することによって、どのような大きさの骨でも、第一種特徴点から一定の比率の距離で骨切りができる。
下腿骨も同様の手順で骨切りを実施できる。L_st01_fやL_st02_fに対応するL_st01_tやL_st02_tは、それぞれL_st01_fやL_st02_fと同じである必要はなく下腿骨の特徴に応じて、設定すればよい。

【0072】
<第三種特徴点の決定>
図30で棄却された後に残った輪郭線のうち棄却によって生じた輪郭線の端点を第三種特徴点とする。この際、点βが存在する輪郭線において、棄却によって生じた端点を点δとし、点γが存在する輪郭線において、棄却によって生じた端点を点εとする。図31に大腿骨の結果を示し、図32に下腿骨の結果を示す。

【0073】
<特徴ベクトルの決定>
第一種特徴点αを始点として、4つの特徴ベクトル、ベクトルαβ,ベクトルαγ,ベクトルαδ,ベクトルαεを定義する。

【0074】
<正規化フーリエ記述子>
フーリエ記述子は輪郭形状だけでなく、輪郭像自身の位置、サイズ、向きに依存して多様に変化する。よってこのフーリエ記述子を位置、サイズ、姿勢で正規化し(式(数18))、輪郭形状固有の値に変換したものが正規化フーリエ記述子(NFD:Normalized Fourier Descriptors)である。
【数18】
JP0005493133B2_000020t.gif
1行目のC(0)=0が、XY方向に平行移動をすることを表し(X方向,Y方向の正規化)
2行目の|C1(1)|は輪郭線の大きさを表す(Z方向の正規化)
3行目が、Z軸周りの回転方向の正規化を表す。
これにより、位置、大きさ(サイズ)、姿勢を正規化する(図4参照)。NFDはスペクトル表示することができ、このスペクトルを比較することによりテンプレートパターンマッチングを行う。

【0075】
<輪郭線の正規化>
以上の手順で、残されたオリジナルの輪郭線は、開曲線である点β—点δと点γ—点εである。そこで開曲線点β—点δと開曲線点γ—点εと開曲線点δ—点β—点γ—点εの3つの開曲線をそれぞれ、開曲線を表現できるP型フーリエ記述子で記述する。これらの3つの開曲線のフーリエ記述子を後述する方法で、ライブラリのそれと比較する。これらを式(数18)を用いて正規化すると、輪郭は図4のように同じ向きに揃う。このときの対象とする骨の輪郭を正規化することによって起こる回転角度をθz_f(大腿骨の場合.下腿骨の場合はθz_t)とする。またライブラリの輪郭群のそれぞれを正規化した際の回転角度をθz_libとする。さらに正規化によって大きさもライブラリのそれと揃う。大きさは式(数18)の|C1(1)|から求められる。そこで、対象物の大きさを|C1(1)|_f(大腿骨の場合。下腿骨の場合は|C1(1)|_t)とし、ライブラリのそれを|C1(1)|_libとする。

【0076】
<特徴点を利用したライブラリとの比較>
上述のように第一種特徴点は、他の骨と重なり合う領域の有無にかかわらずほとんど移動しないという特徴がある。そこでライブラリの輪郭群においても、骨格化処理を行い第一種特徴点を求める。この点をα_lib_fとする(添え字libは、ライブラリであることを意味する)。
そこで、点α_lib_fを始点とし、ベクトルαβ,ベクトルαγ,ベクトルαδ,ベクトルαεを、それぞれ|C1(1)|_lib/|C1(1)|_f(大腿骨の場合。下腿骨の場合は|C1(1)|_lib/|C1(1)|_t)倍して、さらにθz_lib-θz_f(大腿骨の場合。下腿骨の場合はθz_lib-θz_t)だけ回転したベクトル、ベクトルα'β,ベクトルα'γ',ベクトルα'δ',ベクトルα'ε'とする。
このときライブラリにおける輪郭群では、もし対象となる骨の輪郭と一致するならば、この点α_lib_fを始点とする4つのベクトル、ベクトルα'β,ベクトルα'γ',ベクトルα'δ',ベクトルα'ε'の近傍に輪郭が存在する。したがって、この4つの特徴ベクトルを使って、ライブラリの輪郭群から、対象となる骨と一致する候補を絞ることができる。
また4つのベクトル、ベクトルα'β,ベクトルα'γ',ベクトルα'δ',ベクトルα'ε'の線上、または延長線上において,(ライブラリの)輪郭線と交わる点を、点β_lib、点γ_lib、点δ_lib、点ε_libとする。点β_lib—点γ_libは直線で結ぶ。これによって開曲線点β_lib—点δ_libと開曲線点γ_lib—点ε_libと開曲線点δ_lib—点β_lib—点γ_lib—点ε_libの3つの開曲線をそれぞれ、開曲線を表現できるP型フーリエ記述子で記述する。

【0077】
<フーリエ記述子によるライブラリとの比較>
このようにして絞ったライブラリ候補に対して、定義した3つの開曲線のフーリエ記述子と、対象となる骨のフーリエ記述子を比較する。3つのフーリエ記述子ごとにユークリッド距離を求める。
【数19】
JP0005493133B2_000021t.gif
nは曲線の番号を表し、1~3の値をとる。C(k)inputは、評価対象の骨に関するフーリエ記述子を表し、C(k)libはライブラリのフーリエ記述子を表す。
しかし、3曲線それぞれのユークリッド距離は異なるので、開曲線1、開曲線2、開曲線3の最小値で割り算することにより正規化する。ユークリッド距離をそれぞれE1,E2,E3とすると、
【数20】
JP0005493133B2_000022t.gif
とし、式(数20)を求める。そして、この正規化されたユークリッド距離Enormが最も小さいライブラリの輪郭を選択する。そして、この輪郭が求められたX,Yの角度が評価対象を撮影した時のX軸回転角θX,Y軸回転角θYとなる。
これが決まれば,式(数18)をもちいることによってX,Y,Z方向の移動量がわかり、θz_f(大腿骨の場合。下腿骨の場合はθz_t)によってZ軸回転がわかる。このようにして3次元の位置(X,Y,Z)および姿勢(θx,θy,θz)がわかる。

【0078】
<推定精度の検証>
上述の手法でP型フーリエ記述子による線分1,線分2,線分3の3曲線を用いてP型フーリエ記述子による角度選択を行った。大腿骨の場合、20例における平均誤差はX軸周り0.75°,Y軸周り1.15°であった。下腿骨の場合は20例における平均誤差はX軸周り1.05°,Y軸周り0.25°であった。
表2:大腿骨におけるθxとθyを推定した結果
【表2】
JP0005493133B2_000023t.gif

【0079】
表3:下腿骨におけるθxとθyを推定した結果
【表3】
JP0005493133B2_000024t.gif

【0080】
<実際の画像処理>
図25のような膝関節のX線画像に対して、画像上の座標系を設定する。通常、大腿骨が上部に来る。そこで画面左上から、走査し、最初に一定以上の輝度になっているところが大腿骨の輪郭線になる。ここを起点にして輪郭線を追跡する。
ところで、膝関節では次の4つの状態が存在しうる.
条件(1) 大腿骨,膝蓋骨,下腿骨がすべて分離している(図33)
条件(2) 大腿骨と下腿骨は分離しているが、大腿骨と膝蓋骨は分離していない(図34)
条件(3) 大腿骨と膝蓋骨は分離しているが、大腿骨と下腿骨は分離していない(図35)
条件(4) 大腿骨と膝蓋骨は分離しておらず、大腿骨と下腿骨も分離していない(図36)

【0081】
条件(1)では、輪郭追跡をした場合、Y座標値は起点と同じになって終了する。条件(3)では輪郭線追跡はY座標値が0になったところで終了する。条件(2)では輪郭追跡の途中で、Y座標値が増加し、その後、減少する。さらにわずかにY座標値が増加して、また減少に転ずる。その後、最終的に輪郭追跡はY座標値が始点と同じ値になったところで終了する。条件(4)では、途中までは条件(2)の場合と同様であるが、最終的に輪郭追跡はY座標値が0になって終了する。このように輪郭追跡を行うと、膝関節を構成している骨の、重なっている状態が判定できる。
ただし、分離しているか否かは、判別できるが、接触している状態、または重なりの程度が非常に小さい場合は、判別が困難である。分離をしていない場合(つまり接触、または重なり合っている状態)でも、図26のように必ずしも明確に、ある骨に属している輪郭線を区別できないことがある。特に接触している、またはわずかに重なり合っている場合には、難しい。しかしその問題は重要視せずに、おおよそ注目している骨の輪郭であると思われる輪郭のみを抽出し、それを用いて上述の方法で第一種特徴点α_f(下腿骨の場合はα_t)を抽出する。上述のように、多少、重なっている、あるいは接触していると思われる領域において抽出した輪郭線があいまいであっても、第一種特徴点の位置はほとんど変化しない。
また膝蓋骨については、膝蓋骨の輪郭において、もっとも2点間の距離が長い組み合わせになる点を選び、それら2点を結ぶ補助線pを定義する。それを平行移動させ、膝蓋骨と1点で接触するとき、それを点線A_pと定義し、接触している膝蓋骨輪郭線上の点を、第一種特徴点とする。膝蓋骨の第一種特徴点をα_pと呼ぶ。

【0082】
上述の手順1~手順2にしたがって、大腿骨および下腿骨において点線A_f,点線B_f,点線A_t,点線B_tを定義する。また膝蓋骨に関しては、第一種特徴点α_pを通り、点線A_pに垂直な点線B_pを定義する。これらを図37に示す。図37は、大腿骨および下腿骨について点βおよび点γの第二種特徴点が定義できるので記入している。

【0083】
膝蓋骨の第一種特徴点α_pから点線B_pに沿って、大腿骨の第一種特徴点α_fの方向にむかって、あらかじめ決めておいた距離aの位置で、点線B_pに垂直な棄却線Rem_01を引く。さらにそこから距離bだけ進んだ位置に棄却線Rem_02を引く。これらの処理を行った結果を図38に示す。ここで、距離aは膝蓋骨の最大の長さ(図38の三角点で結んだ距離)の30%から100%に設定するのが好ましい。棄却線Rem_01は、膝蓋骨の輪郭線と交わるように設定しなくてはならない。
距離bについては棄却線Rem_02が大腿骨の輪郭線と交わるように設定するのが望ましく、距離aの3%から50%に設定するのが好ましい。
つぎに下腿骨の第一種特徴点α_tから点線A_tに沿って、大腿骨の腿骨の第一種特徴点α_fの方向にむかって、あらかじめ決めておいた距離cの位置で、点線B_pに垂直な棄却線Rem_03を引く。さらにそこから距離dだけ進んだ位置に棄却線Rem_04を引く。これらの処理を行った結果を図39に示す。

【0084】
ここで、棄却線Rem_03は、下腿骨の輪郭線と交わるように設定しなくてはならない。距離cは膝蓋骨の最大の長さの50%から200%に設定するのが好ましい。また距離cは下腿骨の第二種特徴点間の距離に一定比率を乗じて定義すると、膝蓋骨と下腿骨の大きさが標準的な値と離れている患者に対しても適切に設定できるので好ましい。
距離dについては棄却線Rem_04が大腿骨の輪郭線と交わるように設定するのが望ましく、距離cの5%から50%の間に設定するのが好ましい。

【0085】
棄却線は、本実施形態では直線にしているが、股関節に適応する場合には、円弧などの曲線のほうがより適切な棄却領域の設定が可能になる。したがって関節の形状などによって適宜、適切な曲線を選ぶことが好ましい。
大腿骨および下大腿骨に関して、棄却線で切除された輪郭線の端点をすでに述べた方法で第三種特徴点と定義する(図40参照)。これによって大腿骨および下大腿骨に関して、第一種特徴点、第二種特徴点、第三種特徴点が定義できる(図41参照)。これは上で述べた方法で、X軸回転角θX,Y軸回転角θYが決定でき、さらにθzおよび位置(X,Y,Z)が決定できる。

【0086】
膝蓋骨に関しては、図40の三角点を第二種特徴点、棄却線Rem_01で切除された輪郭線の端点を第三種特徴点とすれば、実施形態1の方法で3次元的な位置・姿勢を決定することができる。

【0087】
<膝関節の屈曲角度と各骨の3次元的位置と姿勢>
このような手法を用いて、健常者の膝関節のX線画像を用いて3次元位置および姿勢を調べた。結果を図42から図47に示す。図42と図43は大腿骨の移動量(X,Y,Z)と姿勢(θx,θy,θz)を示す。図44と図45は下腿骨の移動量(X,Y,Z)と姿勢(θx,θy,θz)を示す。図46と図47は膝蓋骨の移動量(X,Y,Z)と姿勢(θx,θy,θz)を示す。

【0088】
<<実施形態3>>
実施形態1及び2において、ライブラリの輪郭群の中から候補を絞り込むにあたって、特徴点、始点及び終点を結ぶベクトルを求めて、測定対象物の輪郭とライブラリ候補とを比較したが、必ずしもベクトルを用いる必要は無く、これらの相対関係(相対位置、相対方向など)を比較することでも目的を達成できる。
図48及び図49に相対関係の例を示す。図中の各点線は相対関係を示している。

【0089】
以上、本発明の実施形態の一例を説明したが、本発明はこれに限定されるものではなく、特許請求の範囲に記載された技術的思想の範疇において各種の変更が可能であることは言うまでもない。
本来,骨は特徴が乏しい物体であり、その中で関節近傍は比較的、複雑な曲面で構成されているなどの特徴が存在する。しかし本発明から、そのような関節近傍の曲面でも、そのすべてを利用しなくても、臨床上、要求される精度に到達することがわかった。したがって、骨同士が近接し合って輪郭の帰属が不明確である場合は、その輪郭を棄却しても精度に影響を及ぼさない。
骨同士が近接し合って輪郭の帰属が不明確になるのは、撮影精度が劣る装置で撮影した場合においてよく発生するが、本発明を適応すれば、そのような装置でも十分な精度を確保できる。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30
【図32】
31
【図33】
32
【図34】
33
【図35】
34
【図36】
35
【図37】
36
【図38】
37
【図39】
38
【図40】
39
【図41】
40
【図42】
41
【図43】
42
【図44】
43
【図45】
44
【図46】
45
【図47】
46
【図48】
47
【図49】
48