TOP > 国内特許検索 > 手術支援装置および手術支援プログラム > 明細書

明細書 :手術支援装置および手術支援プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2013-202313 (P2013-202313A)
公開日 平成25年10月7日(2013.10.7)
発明の名称または考案の名称 手術支援装置および手術支援プログラム
国際特許分類 A61B  19/00        (2006.01)
FI A61B 19/00 502
請求項の数または発明の数 10
出願形態 OL
全頁数 32
出願番号 特願2012-077119 (P2012-077119)
出願日 平成24年3月29日(2012.3.29)
発明者または考案者 【氏名】竹村 知晃
【氏名】今中 良一
【氏名】今西 勁峰
【氏名】吉田 宗人
【氏名】木岡 雅彦
出願人 【識別番号】000005821
【氏名又は名称】パナソニック株式会社
【識別番号】308038613
【氏名又は名称】公立大学法人和歌山県立医科大学
【識別番号】513096761
【氏名又は名称】パナソニックメディカルソリューションズ株式会社
個別代理人の代理人 【識別番号】110000202、【氏名又は名称】新樹グローバル・アイピー特許業務法人
審査請求 未請求
要約 【課題】術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することが可能な手術支援装置および手術支援プログラムを提供する。
【解決手段】手術支援システム100のパーソナルコンピュータ1は、ボリュームレンダリング演算部13において生成された3次元画像中に、術具33の先端を示す画像(術具画像33a)と術具先端から切削部位までの距離とを合成して表示しながら手術中のナビゲーションを行う。
【選択図】図3
特許請求の範囲 【請求項1】
内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される3次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、
患者の断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
前記メモリに接続されており、前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリング演算部と、
前記内視鏡および前記術具の3次元位置を逐次検出する内視鏡・術具位置検出部と、
前記ボリュームレンダリング演算部によって生成された3次元画像の座標と前記内視鏡・術具位置検出部において検出される前記内視鏡および前記術具の座標とを座標統合するレジストレーション演算部と、
前記ボリュームレンダリング演算部において生成された3次元画像上において仮想的に切削された手術を予定している切削部分を前記ボクセル情報上に関連付けて前記メモリに記憶させるシミュレーション部と、
前記3次元画像上の前記術具の処置部と前記第2メモリに保存された前記切削部分を示す前記ボクセル情報との距離を算出する距離算出部と、
前記術具の手術中の座標を用いて前記3次元画像上の前記術具の前記処置部を表示させ、前記処置部と前記メモリに保存された前記切削部分を示す前記ボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させるナビゲーション部と、
を備えている手術支援装置。
【請求項2】
前記シミュレーション部は、術前の切削時において、対象部位の深さを検出して不連続性あるいは深さの変化度合いを演算し、変化度合いが所定の閾値を超えた場合には、切削を中止する、あるいは切削データを更新しない、
請求項1に記載の手術支援装置。
【請求項3】
前記ナビゲーション部は、前記3次元画像上における前記術具の処置部を、マルチポイントモデルによってモデリングを行う、
請求項1または2に記載の手術支援装置。
【請求項4】
前記ナビゲーション部は、前記距離のベクトルとして、前記術中の術具が前記切削した部分を示すボクセル情報の方向の成分とするベクトルを用いる、
請求項1から3のいずれか1項に記載の手術支援装置。
【請求項5】
前記ナビゲーション部は、前記切削部分から等距離ごとにボクセルの色を変更して表示させる、
請求項1から4のいずれか1項に記載の手術支援装置。
【請求項6】
前記レジストレーション演算部は、前記内視鏡および前記術具の座標と前記3次元画像の座標とを座標統合した後、座標統合の精度を確認し、その精度が所定の範囲を超えている場合には、座標統合のずれを補正する、
請求項1から5のいずれか1項に記載の手術支援装置。
【請求項7】
前記ナビゲーション部は、前記ボリュームレンダリング演算部によって生成された前記内視鏡によって取得される第1表示エリアと、実際の手術中において前記術具によって表示が制限される第2表示エリアとを設定して表示させる、
請求項1から6のいずれか1項に記載の手術支援装置。
【請求項8】
前記3次元画像、前記術具の先端を示す画像、および前記距離を表示する表示部を、さらに備えている、
請求項1から7のいずれか1項に記載の手術支援装置。
【請求項9】
内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される3次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援プログラムであって、
患者の断層画像情報を取得するステップと、
前記断層画像情報のボクセル情報を格納するステップと、
前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするステップと、
前記内視鏡および術具の3次元位置を逐次検出するステップと、
前記3次元画像の座標と前記内視鏡および前記術具の座標とを座標統合するステップと、
前記3次元画像上において仮想的に切削された手術を予定している切削部分を前記ボクセル情報上に関連付けて前記メモリに記憶させるステップと、
前記3次元画像上の前記術具の処置部と前記第2メモリに保存された前記切削部分を示す前記ボクセル情報との距離を算出するステップと、
前記術具の手術中の座標を用いて前記3次元画像上の前記術具の前記処置部を表示させ、前記処置部と前記メモリに保存された前記切削部分を示す前記ボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させるステップと、
を備えている手術支援方法をコンピュータに実行させる手術支援プログラム。
【請求項10】
内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される3次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、
患者の断層画像情報のボクセル情報を視線に対して垂直の方向においてサンプリングして生成された3次元画像上において、仮想的に切削された手術を予定している切削部分を前記ボクセル情報上に関連付けて記憶させるシミュレーション部と、
前記3次元画像上の前記術具の処置部と前記第2メモリに保存された前記切削部分を示す前記ボクセル情報との距離を算出し、前記術具の手術中の座標を用いて前記3次元画像上の前記術具の前記処置部を表示させ、前記処置部と前記切削部分を示す前記ボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させるナビゲーション部と、
を備えている手術支援装置。

発明の詳細な説明 【技術分野】
【0001】
本発明は、手術中のナビゲーションを行う手術支援装置および手術支援プログラムに関する。
【背景技術】
【0002】
医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な手術支援装置が活用されている。
従来の手術支援装置は、例えば、X線CT画像や核磁気共鳴画像(MRI画像)、PET(陽電子放射断層法)によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。
【0003】
例えば、特許文献1には、実際に使用される内視鏡の3次元位置の座標と、断層画像を用いて生成される3次元ボリューム画像データの座標とを統合し、内視鏡の映像に重畳して表示することで、内視鏡や術具の変化に応じてリアルタイムで内視鏡画像にその位置における手術対象領域の画像を重畳して表示することが可能な手術支援装置について開示されている。
【先行技術文献】
【0004】

【特許文献1】特許第4152402号公報(平成20年7月11日登録)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の手術支援装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示された手術支援装置では、リアルタイムで内視鏡画像にその位置における手術対象領域の画像を重畳して表示することができるため、術具先端と特定領域との距離を算出することができる。しかし、ここで開示されているのは、あくまで術具が接触してはならない血管や臓器等の部位との距離表示および警告であって、手術中のナビゲーションにはなっていない。
【0006】
本発明の課題は、術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することが可能な手術支援装置および手術支援プログラムを提供することにある。
【課題を解決するための手段】
【0007】
第1の発明に係る手術支援装置は、内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される3次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、断層画像情報取得部と、メモリと、ボリュームレンダリング演算部と、内視鏡・術具位置検出部と、レジストレーション演算部と、シミュレーション部と、距離算出部と、ナビゲーション部と、を備えている。断層画像情報取得部は、患者の断層画像情報を取得する。メモリは、断層画像情報取得部に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部は、メモリに接続されており、ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングする。内視鏡・術具位置検出部は、内視鏡および術具の3次元位置を逐次検出する。レジストレーション演算部は、ボリュームレンダリング演算部によって生成された3次元画像の座標と内視鏡・術具位置検出部において検出される内視鏡および術具の座標とを座標統合する。シミュレーション部は、ボリュームレンダリング演算部において生成された3次元画像上において仮想的に切削された手術を予定している切削部分をボクセル情報上に関連付けてメモリに記憶させる。距離算出部は、3次元画像上の術具の処置部と第2メモリに保存された切削部分を示すボクセル情報との距離を算出する。ナビゲーション部は、術具の手術中の座標を用いて3次元画像上の術具の処置部を表示させ、処置部とメモリに保存された切削部分を示すボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させる。
【0008】
ここでは、例えば、複数のX線CT画像を用いて作成した3次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で切削シミュレーションを実施した後、内視鏡を用いた手術を行う際に、実際に手術で使用する内視鏡や術具の3次元位置を逐次検出し、複数のX線CT画像から形成される3次元画像の座標と内視鏡や術具の実際の3次元位置の座標とを統合する。そして、3次元画像を用いて行われた切削シミュレーションにおいて切削される部位に対する実際の術具の先端(処置部)の距離を算出して、その距離を3次元画像とともに表示して術者に知らせることで、切削シミュレーションの実施からシームレスに手術ナビゲーションを行う。
【0009】
ここで、上記断層画像には、例えば、X線CTやMRI、PET等の医用機器を用いて取得された2次元画像が含まれる。また、上記術具には、内臓や骨等を切削する切削器具等が含まれる。また、上記処置部とは、骨や臓器等を切除する術具の歯の部分等を意味している。
これにより、例えば、内視鏡を用いて特定の臓器を切削する手術において、術者は切削対象となる部位まで術具の先端があとどのくらいの距離があるのかを正確に把握しながら、切削器具等の術具を切削部位に近づけていくことができる。よって、術者は術具を挿入していく際に、術具先端と切削部位までの距離が分からずに不安を感じることなく、適切なナビゲーションを実施することができる。
【0010】
第2の発明に係る手術支援装置は、第1の発明に係る手術支援装置であって、シミュレーション部は、術前の切削シミュレーションを実施する際に、切削部位の深さを検出して不連続性あるいは深さの変化度合いを演算し、予め変化度合いが閾値を超えた場合には、切削を中止する、あるいは切削データを更新しない。
ここでは、シミュレーション部において、仮想的な切削動作の閾値を設定し、切削シミュレーションを実施する際の制約を設けている。
これにより、深さの変化度合い等が閾値を超えた場合には、シミュレーション上の画面においてその部位について切削後の状態で表示されないようにすることができる。また、閾値を更新しながら切削シミュレーションを実施する際に、閾値の値が小さくなりすぎて、切削を中止しすぎてしまうことを回避することができる。
【0011】
第3の発明に係る手術支援装置は、第1または第2の発明に係る手術支援装置であって、ナビゲーション部は、3次元画像上における術具の処置部を、マルチポイントモデルによってモデリングを行う。
ここで、マルチポイントモデルとは、衝突が予測される部位の外縁に服す点をサンプリングするモデルである。
これにより、例えば、実際の術具の所定の位置に術具に位置や角度等の検知するセンサを設けたとすると、そのセンサの位置を基準にして仮想空間上にマルチポイントにより術具を表現し、このマルチポイントから切削部分までの距離を算出して表示することができる。
【0012】
第4の発明に係る手術支援装置は、第1から第3の発明のいずれか1つに係る手術支援装置であって、ナビゲーション部は、距離のベクトルとして、術中の術具が切削した部分を示すボクセル情報の方向の成分とするベクトルを用いる。
これにより、術具が切削部位に対して接近していく方向にサンプリングしながら、マルチポイントが接近する速度、加速度および方向に応じて表示モードを変更する等、術者に対して術具先端と切削部位との位置関係についてより効果的な表示を行うことができる。
【0013】
第5の発明に係る手術支援装置は、第1から第4の発明のいずれか1つに係る手術支援装置であって、ナビゲーション部は、切削部分から等距離ごとにボクセルの色を変更して表示させる。
ここでは、手術中のナビゲーション画面において、切削部分を中心にした等距離の範囲を色の異なる球として表示する。
これにより、手術中のナビゲーションにおいて、術者に対して、切削を行う部分から術具先端までの距離を分かり易く表示することができ、ナビゲーションの補助とすることができる。
【0014】
第6の発明に係る手術支援装置は、第1から第5の発明のいずれか1つに係る手術支援装置であって、レジストレーション演算部は、内視鏡および術具の座標と3次元画像の座標とを座標統合した後、座標統合の精度を確認し、その精度が所定の範囲を超えている場合には、座標統合のずれを補正する。
ここでは、複数のX線CT画像等に基づいて作成された3次元画像の座標と内視鏡および術具の実際の座標とを統合するレジストレーションの精度を検証し、所定の精度を満たしていない場合には、再度、レジストレーションを実施する。
これにより、3次元画像中に表示される内視鏡や術具の位置を、より正確に3次元画像中に表示することができる。
【0015】
第7の発明に係る手術支援装置は、第1から第6の発明のいずれか1つに係る手術支援装置であって、ナビゲーション部は、ボリュームレンダリング演算部によって生成された内視鏡によって取得される第1表示エリアと、実際の手術中において術具によって表示が制限される第2表示エリアとを設定して表示させる。
ここでは、手術中にモニタ画面等に表示される3次元画像において、内視鏡が挿入される術具によって制限される視野の部分まで反映させた表示を行う。
これにより、レトラクタ等の筒状の術具によって制限される部分については見えないように、例えば、マスキングした状態で表示させることで、実際の内視鏡画像と近似した状態で3次元画像を表示することができる。
【0016】
第8の発明に係る手術支援装置は、第1から第7の発明のいずれか1つに係る手術支援装置であって、3次元画像、術具の先端を示す画像、および距離を表示する表示部を、さらに備えている。
ここでは、手術支援装置として、モニタ等の表示部を備えている。
これにより、内視鏡を用いた手術中に、実際の内視鏡の映像と近似した状態の3次元画像を表示部に表示させながら、手術支援を行うことができる。
【0017】
第9の発明に係る手術支援プログラムは、内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される3次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援プログラムであって、患者の断層画像情報を取得するステップと、断層画像情報のボクセル情報を格納するステップと、ボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングするステップと、内視鏡および術具の3次元位置を逐次検出するステップと、3次元画像の座標と内視鏡および術具の座標とを座標統合するステップと、内視鏡によって取得される映像に含まれる切削部位と術具の先端との距離を算出するステップと、3次元画像中に術具の先端を示す画像と術具の先端と切削部位との距離とを合成して表示させながら手術中のナビゲーションを行うステップと、を備えている手術支援方法をコンピュータに実行させる。
【0018】
ここでは、例えば、複数のX線CT画像を用いて作成した3次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で切削シミュレーションを実施した後、内視鏡を用いた手術を行う際に、実際に手術で使用する内視鏡や術具の3次元位置を逐次検出し、複数のX線CT画像から形成される3次元画像の座標と内視鏡や術具の実際の3次元位置の座標とを統合する。そして、3次元画像を用いて行われた切削シミュレーションにおいて切削される部位に対する実際の術具の先端の距離を算出して、その距離を3次元画像とともに表示して術者に知らせることで、切削シミュレーションの実施からシームレスに手術ナビゲーションを行う。
【0019】
ここで、上記断層画像には、例えば、X線CTやMRI、PET等の医用機器を用いて取得された2次元画像が含まれる。また、上記術具には、内臓や骨等を切削する切削器具等が含まれる。
これにより、例えば、内視鏡を用いて特定の臓器を切削する手術において、術者は切削対象となる部位まで術具の先端があとどのくらいの距離があるのかを正確に把握しながら、切削器具等の術具を切削部位に近づけていくことができる。よって、術者は術具を挿入していく際に、術具先端と切削部位までの距離が分からずに不安を感じることなく、適切なナビゲーションを実施することができる。
【0020】
第10の発明に係る手術支援装置は、内視鏡画像を見ながら切削用の術具を用いて行われる手術中に、断層画像情報から生成される3次元のシミュレーション画像を表示しながらナビゲーションを行う手術支援装置であって、シミュレーション部と、ナビゲーション部と、を備えている。シミュレーション部は、患者の断層画像情報のボクセル情報を視線に対して垂直の方向においてサンプリングして生成された3次元画像上において、仮想的に切削された手術を予定している切削部分をボクセル情報上に関連付けて記憶させる。ナビゲーション部は、3次元画像上の術具の処置部と第2メモリに保存された切削部分を示すボクセル情報との距離を算出し、術具の手術中の座標を用いて3次元画像上の術具の処置部を表示させ、処置部と切削部分を示すボクセル情報との距離を、術中に表示される内視鏡画像とともに表示させる。
【発明の効果】
【0021】
本発明に係る手術支援装置によれば、術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態に係るパーソナルコンピュータ(手術支援装置)を含む手術支援システムの構成を示す図。
【図2】図1の手術支援システムに含まれるパーソナルコンピュータを示す斜視図。
【図3】図2のパーソナルコンピュータの制御ブロック図。
【図4】図3の制御ブロックに含まれるメモリ内の内視鏡パラメータ格納部の構成を示すブロック図。
【図5】図3の制御ブロックに含まれるメモリ内の術具パラメータ格納部の構成を示すブロック図。
【図6】(a),(b)は、図1の手術支援システムに含まれる斜視内視鏡およびこれに取り付けられた3次元センサを示す側面図と平面図。
【図7】(a)は、図2のパーソナルコンピュータの動作フローチャート。(b)は、(a)のS6内のフローを示す動作フローチャート。(c)は、(a)のS8内のフローを示す動作フローチャート。
【図8】図1の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図9】図1の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図10】図1の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図11】図1の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図12】図1の手術支援システムのディスプレイに表示されるナビゲーション画面を示す図。
【図13】(a),(b)は、筒状の術具(レトラクタ)を用いた場合のマウス操作による2次元入力から内視鏡3次元操作へのマッピングについて説明する図。
【図14】マウス操作による2次元入力から内視鏡による3次元操作へのマッピングについて説明する図。
【図15】斜視内視鏡による任意の斜視角を反映させたボリュームレンダリング像の表示について説明する図。
【図16】(a)~(c)は、斜視内視鏡の先端位置および視線ベクトルを3面図上へ反映させた場合の表示を示す図。
【図17】図2のパーソナルコンピュータによって表示される斜視内視鏡画像を示す図。
【図18】(a)は、本実施形態に係る斜視内視鏡画像を示す図。(b)は、斜視内視鏡の代わりに直視内視鏡を用いた場合の内視鏡画像を示す図。
【図19】内視鏡画像の表示制限エリアを反映させたモニタ画面を示す図。
【図20】(a)~(c)は、切削対象部位Cを中心とする内視鏡画像、その部分に対応する3次元画像から取り出した内視鏡ビュー、内視鏡画像と内視鏡ビューとを重ね合わせた画像を表示したモニタ画面を示す図。
【図21】(a)~(c)は、内視鏡画像、その部分に対応する3次元画像(VR像)、内視鏡画像とVR像とを重ね合わせた画像を表示したモニタ画面を示す図。
【図22】特徴点の設定を行うレジストレーション用インタフェース画面を表示したモニタ画面を示す図。
【図23】レジストレーションにおける座標変換について説明する図。
【図24】(a),(b)は、レジストレーションにおける補正値設定インタフェースおよびボリュームレンダリング像上での特徴点と座標軸の表示例を示す図。
【図25】(a)は、図1の手術支援システムに含まれる術具およびこれに取り付けられた3次元センサを示す側面図。(b)は、(a)のセンサを基準にして仮想空間上における術具の先端をマルチポイントモデルによってモデリングした側面図。
【図26】仮想空間において、図25(b)の術具の先端から切削部位までの距離を算出、表示する工程を示す説明図。
【図27】仮想空間における切削部位から等距離の領域を示した表示例を示す図。
【図28】切削シミュレーションにおいて切削を制約する閾値の更新方法に、閾値加算有効点の概念を導入した切削制御を実施した場合について説明する図。
【図29】切削シミュレーションにおいて切削を制約する閾値の更新方法に、閾値加算有効点の概念を導入しない切削制御を実施した場合について説明する図。
【図30】本発明の他の実施形態に係る手術支援システムにおいて使用される内視鏡およびセンサを示す側面図と平面図。
【図31】本発明のさらに他の実施形態に係る手術支援システムにおいて使用される内視鏡およびセンサを示す側面図と平面図。
【発明を実施するための形態】
【0023】
本発明の一実施形態に係るパーソナルコンピュータ(手術支援装置)について、図1~図29を用いて説明すれば以下の通りである。
なお、本実施形態では、内視鏡および切削工具等の術具を用いて腰部脊椎管狭窄症に対する手術のナビゲーションを実施する場合について説明するが、本発明はこれに限定されるものではない。

【0024】
本実施形態に係るパーソナルコンピュータ1は、図1に示すように、ディスプレイ(表示部)2、位置・角度検出装置29、斜視内視鏡(内視鏡)32、測位用トランスミッタ(磁場発生装置)34とともに手術支援システム100を構成する。
パーソナルコンピュータ1は、本実施形態の手術支援方法をコンピュータに実行させる手術支援プログラムを読み込んで手術支援装置として機能する。なお、パーソナルコンピュータ1の構成については、後段にて詳述する。

【0025】
ディスプレイ(表示部)2は、後段にて詳述する手術中のナビゲーションや切削シミュレーションを行う3次元画像を表示するとともに、手術ナビゲーションや切削シミュレーションの設定画面等を表示する。
なお、手術中のナビゲーションを表示する表示部としては、手術中の術者に分かり易くナビゲーション画面を表示する必要があるため、パーソナルコンピュータ1のディスプレイ2に加えて、図1の手術支援システム100に含まれる大型の液晶ディスプレイ102も併用される。

【0026】
位置・角度検出装置29は、パーソナルコンピュータ1、測位用トランスミッタ34、および斜視内視鏡32に接続されており、斜視内視鏡32や術具33等に取り付けられた3次元センサ32a(図6(a)等参照)や3次元センサ33b(図25(a)参照)における検知結果に基づいて、実際の手術中の斜視内視鏡32や術具33の位置や姿勢を検出する。

【0027】
斜視内視鏡(内視鏡)32は、手術が行われる部分に近い体表部から、後述する筒状のレトラクタ31内に沿って挿入され、手術部位の映像を取得する。また、斜視内視鏡32には、3次元センサ32aが取り付けられている。
測位用トランスミッタ(磁場発生装置)34は、患者が横になる手術台の近傍に配置され、磁場を発生させる。これにより、斜視内視鏡32や術具33に取り付けられる3次元センサ32aや3次元センサ33bにおいて測位用トランスミッタ34で発生した磁場を検出することで、斜視内視鏡32や術具33の位置や姿勢を検出することができる。

【0028】
(パーソナルコンピュータ1)
パーソナルコンピュータ1は、図2に示すように、ディスプレイ(表示部)2と、各種入力部(キーボード3、マウス4、およびタブレット5(図2参照))と、を備えている。
ディスプレイ2は、X線CT画像等の複数の断層画像から形成される骨や臓器(図2の例では、内視鏡画像を表示)等の3次元画像を表示するとともに、切削シミュレーションの結果や手術ナビゲーションの内容を表示する。

【0029】
また、パーソナルコンピュータ1は、図3に示すように、内部に、断層画像情報取得部6等の制御ブロックを形成する。
断層画像情報取得部6には、ボクセル情報抽出部7を介して、断層画像情報部8が接続されている。つまり、断層画像情報部8では、CTあるいはMRI、PET等の断層画像を撮影する機器から断層画像情報が供給され、この断層画像情報がボクセル情報抽出部7によってボクセル情報として抽出される。

【0030】
メモリ9は、パーソナルコンピュータ1内に設けられており、ボクセル情報格納部10、ボクセルラベル格納部11、および色情報格納部12、内視鏡パラメータ格納部22、術具パラメータ格納部24を有している。また、メモリ9には、ボリュームレンダリング演算部(距離算出部、表示制御部)13が接続されている。
ボクセル情報格納部10は、ボクセル情報抽出部7から断層画像情報取得部6を介して受信したボクセル情報を格納している。

【0031】
ボクセルラベル格納部11は、第1ボクセルラベル格納部、第2ボクセルラベル格納部、第3ボクセルラベル格納部を有している。これらの第1~第3ボクセルラベル格納部は、後述する予め設定されたCT値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第1ボクセルラベル格納部は、肝臓を表示するCT値の範囲に対応しており、第2ボクセルラベル格納部は、血管を表示するCT値の範囲に対応しており、第3ボクセルラベル格納部は、骨を表示するCT値の範囲に対応している。

【0032】
色情報格納部12は、内部に複数の格納部を有している。各格納部は、予め設定されたCT値の範囲、つまり表示対象となる骨、血管、神経、臓器等にそれぞれ対応して設けられている。例えば、肝臓を表示するCT値の範囲に対応する格納部、血管を表示するCT値の範囲に対応する格納部、骨を表示するCT値の範囲に対応する格納部等が挙げられる。このとき、各格納部には、表示対象となる骨、血管、神経、臓器ごとにそれぞれ異なる色情報が設定されている。例えば、骨に対応するCT値の範囲には白色の色情報、血管に対応するCT値の範囲には赤色の色情報がそれぞれ格納されている。

【0033】
なお、表示対象となる骨や血管、神経、臓器ごとに設定されるCT値とは、人体におけるX線吸収の程度を数値化したものであり、水を0とする相対値(単位:HU)として表される。例えば、骨が表示されるCT値の範囲は500~1000HU、血液が表示されるCT値の範囲は30~50HU、肝臓が表示されるCT値の範囲は60~70HU、腎臓が表示されるCT値の範囲は30~40HUである。

【0034】
内視鏡パラメータ格納部22は、図4に示すように、第1内視鏡パラメータ格納部22a、第2内視鏡パラメータ格納部22b、第3内視鏡パラメータ格納部22cを有している。第1~第3内視鏡パラメータ格納部22a~22cには、例えば、内視鏡の斜視角、視野角、位置、姿勢等の情報がそれぞれ格納されている。また、内視鏡パラメータ格納部22は、図3に示すように、内視鏡パラメータ設定部23と接続されている。

【0035】
内視鏡パラメータ設定部23は、キーボード3やマウス4を介して内視鏡パラメータの設定を行い、内視鏡パラメータ格納部22へ送る。
術具パラメータ格納部24は、図5に示すように、第1術具パラメータ格納部24a、第2術具パラメータ格納部24b、第3術具パラメータ格納部24cを有している。第1~第3術具パラメータ格納部24a~24cには、例えば、術具を切削用のドリルとすると、ドリルの長さ、先端形状、位置、姿勢等の情報がそれぞれ格納されている。あるいは。術具を筒状のレトラクタ31とすると、筒状のレトラクタ31の筒形、筒長さ、位置、姿勢等の情報がそれぞれ格納されている。また、術具パラメータ格納部24は、図2に示すように、術具パラメータ設定部25と接続されている。

【0036】
術具パラメータ設定部25は、キーボード3やマウス4を介してレトラクタ31やドリル等の術具パラメータの設定を行い、術具パラメータ格納部24へ送る。
内視鏡/術具位置・姿勢取得部(内視鏡・術具位置検出部)26は、バス16を介して、内視鏡や術具の位置や角度を検出する位置・角度検出装置29における検出結果を受信して、ボリュームレンダリング演算部13、レジストレーション演算部27へ送る。

【0037】
ボリュームレンダリング演算部13は、ボクセル情報格納部10に格納されているボクセル情報と、ボクセルラベル格納部11に格納されているボクセルラベルと、色情報格納部12に格納されている色情報と、に基づいて、視線に対して垂直で、かつZ方向の間隔が一定の複数枚のスライス情報を取得する。そして、ボリュームレンダリング演算部13は、その演算結果を3次元画像としてディスプレイ2に表示させる。

【0038】
また、ボリュームレンダリング演算部13は、内視鏡パラメータ格納部22に格納されている内視鏡情報と、術具パラメータ格納部24に格納されている術具情報と、内視鏡/術具位置・姿勢取得部26における検出結果と、に基づいて、実際の内視鏡や術具の動きを3次元画像に組み合わせたリアルタイム表示を行う。
さらに、ボリュームレンダリング演算部13は、上記内視鏡情報および術具情報に基づいて、内視鏡によって得られる画像情報に対してレトラクタ31によって視野が制限される画像情報を反映させたマスキング状態で、ディスプレイ2に仮想内視鏡画像を表示させる。具体的には、ボリュームレンダリング演算部13は、内視鏡パラメータ格納部22に格納された内視鏡に関する情報(斜視角、視野角、位置等)と、術具パラメータ格納部24に格納された術具に関する情報(径、長さ等)とに基づいて、内視鏡によって取得される内視鏡画像表示エリア(第1表示エリア)A1(図10等参照)と表示制限エリア(第2表示エリア)A2(図10等参照)とを設定する。

【0039】
ここで、仮想内視鏡画像表示エリアA1とは、実際の内視鏡手術中においてディスプレイ2のモニタ画面上に表示される表示エリアである。表示制限エリアA2とは、筒状のレトラクタ31等の術具の内壁部分等によって内視鏡によって取得される表示が制限される表示エリアであって、内視鏡手術シミュレーション上ではマスキングされて表示される領域を意味している(図10等参照)。

【0040】
さらに、ボリュームレンダリング演算部13には、バス16を介して深さ検出部15が接続されている。
深さ検出部15は、レイキャスティング走査距離を測定するとともに、深さ制御部17とボクセルラベル設定部18とが接続されている。
ボクセルラベル設定部18は、ボクセルラベル格納部11と被切削ボクセルラベル算出表示部19とが接続されている。

【0041】
バス16には、上述したボリュームレンダリング演算部13および深さ検出部15に加えて、メモリ9内の色情報格納部12等、ウィンドウ座標取得部20、内視鏡/術具位置・姿勢取得部26が接続されており、キーボード3、マウス4、タブレット5、位置・角度検出装置29、内視鏡映像取得部30等から入力された内容に基づいて、ディスプレイ2に3次元画像等を表示する。

【0042】
ウィンドウ座標取得部20には、色情報設定部21とレジストレーション演算部27とが接続されている。
色情報設定部21は、メモリ9内の色情報格納部12に接続されている。
内視鏡/術具位置・姿勢取得部26は、上述したように、斜視内視鏡32や術具33に取り付けられる3次元センサ32aや3次元センサ33bにおいて測位用トランスミッタ34で発生した磁場を検出することで、斜視内視鏡32や術具33の位置や姿勢に関する情報を取得する。

【0043】
なお、斜視内視鏡32の3次元における位置や姿勢を検出するための3次元センサ32aは、図6(a)および図6(b)に示すように、斜視内視鏡32の把持部における操作の邪魔にならない位置に設けられている。また、術具33の3次元における位置や姿勢を検出するための3次元センサ33bは、図25(a)に示すように、術具33の把持部における操作の邪魔にならない位置に設けられている。

【0044】
レジストレーション演算部27は、ボリュームレンダリング演算部13において生成される3次元画像と、実際の手術中の患者の基準位置、内視鏡32および術具33の3次元位置および回転角度を一致させるための演算を行う。なお、このレジストレーション演算部27におけるレジストレーション処理(座標変換処理)については、後段にて詳述する。

【0045】
変換行列保持部28は、レジストレーション演算部27およびボリュームレンダリング演算部13と接続されており、レジストレーション処理(座標変換処理)を実施する際に使用される変換行列を複数保持している。
位置・角度検出装置29は、上述したように、パーソナルコンピュータ1、測位用トランスミッタ34、および斜視内視鏡32に接続されており、斜視内視鏡32や術具33等に取り付けられた3次元センサ32a(図6(a)等参照)や3次元センサ33bにおける検知結果に基づいて、実際の手術中の斜視内視鏡32や術具33の位置や姿勢を検出する。

【0046】
内視鏡映像取得部30は、斜視内視鏡32において取得された映像を取得する。内視鏡映像取得部30において取得された内視鏡の映像は、バス16を介して、ディスプレイ2,102に表示される。
レトラクタ31は、上述したように、斜視内視鏡32やドリル等の術具33が内部に挿入される筒状の部材であって、実際の手術において、手術部位の近傍の体表面から患者の体内へ挿入されて固定される。

【0047】
斜視内視鏡(内視鏡)32は、上述した筒状のレトラクタ31の内周面に沿って挿入され、手術部位の映像を取得する。また、斜視内視鏡32には、手術中にリアルタイムで斜視内視鏡32の3次元位置や姿勢を検出するために、3次元センサ32aが取り付けられている。
3次元センサ32aは、図6(a)および図6(b)に示すように、斜視内視鏡32の後端部側における側面に1本設けられている。よって、斜視内視鏡32の先端位置は、上述した内視鏡パラメータ格納部22に保存された斜視内視鏡32の長さや形状に基づいて、計算によって算出される。なお、本実施形態では、3次元センサ32aとして、1本の6軸センサを用いている。このため、(x、y、z)、y(ヨー)、p(ピッチ)、r(ロール)の6つのパラメータを、1本の3次元センサ32aによって測位することができる。

【0048】
術具33は、本実施形態では、手術部位を切削するドリルを用いている。この術具(ドリル)33についても、斜視内視鏡32と同様に、後端部付近に3次元センサ33bが取り付けられている。これにより、切削を行う術具(ドリル)33の先端(処置部)の位置についても、術具パラメータ格納部24に保存されたドリルの長さや形状に基づいて算出することができる。

【0049】
より具体的には、図25(a)に示すように、実空間において、実際に手術に使用される術具33の把持部における邪魔にならない位置に3次元センサ33bが取り付けられていることで、図25(b)に示すように、仮想空間において、術具画像33aの先端位置をマルチポイントモデルによってモデリングを行う。
そして、図26に示すように、実際の術具33の操作に合わせて、リアルタイムに術具33の位置や姿勢等を検知した結果に基づいて、仮想空間上において、術具33の先端のマルチポイントから手術計画された切削部位までの距離を算出して表示する。

【0050】
また、術具33の先端のマルチポイントから手術計画された切削部位までの距離は、接近する方向にサンプリングしていき、マルチポイントが接近する速度、加速度および方向に応じて表示モードを変更する(図9および図10参照)。
これにより、術者は、ナビゲーション用の仮想空間を示す画像を見ながら、切削部位に対する術具先端の位置をより正確に把握することができる。

【0051】
<本手術支援方法に関する制御フロー>
ここで、本実施形態のパーソナルコンピュータ1による手術支援方法の流れを示す制御フローについて、図7(a)から図7(c)を用いて説明すれば以下の通りである。
本実施形態のパーソナルコンピュータ1では、図7(a)に示すように、まずS1において、上述したように、断層画像情報部8からの断層画像情報が入力され、これがボクセル情報抽出部7に供給される。

【0052】
次に、S2において、ボクセル情報抽出部7において、断層画像情報からボクセル情報が抽出される。抽出されたボクセル情報は、断層画像情報取得部6を介して、メモリ9のボクセル情報格納部10に格納される。ボクセル情報格納部10に格納されるボクセル情報は、例えば、I(x,y,z,α)で構成される点の情報である。このとき、Iは当該点の輝度情報であり、x,y,zは座標点を示し、αは透明度情報である。

【0053】
次に、S3において、ボリュームレンダリング演算部13が、ボクセル情報格納部10に格納されているボクセル情報に基づいて、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部13内に少なくとも一時的に格納される。
なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ2を鉛直方向に沿って立てた状態で、これと顔の面とを平行にした状態で見た場合に、スライス情報が視線に対して垂直な面となる。

【0054】
このようにして得られた複数のスライス情報は、上述したように、I(x,y,z,α)で構成される点の情報を保有している。よって、スライス情報は、例えば、ボクセルラベル14がZ方向に複数枚配置されている。なお、ボクセルラベル14の集合体は、ボクセルラベル格納部11に収納されている。
次に、S4において、ディスプレイ2には、レンダリング像が表示される。このとき、ディスプレイ2では、マウス4等を用いてCT値の範囲が指定されることで、切削対象物となる骨や血管等が選択されて表示される。

【0055】
次に、S5において、ユーザからレジストレーションを実施するように指示を受け付けたか否かを判定する。ここで、レジストレーションの指示を受け付けた場合には、レジストレーションを実施するために、A(S6)へ進む。一方、レジストレーションの指示を受け付けていない場合には、ナビゲーションを実施するように指示を受けたか否かを確認するS7へ移行する。

【0056】
S5においてレジストレーションの指示を受け付けている場合には、図7(b)に示すフローに従って、レジストレーションを実施する。
すなわち、まず、S61において、レジストレーションの特徴点となる位置を指示する。具体的には、体表面から位置が確認し易い骨の部分、例えば、第五棘突起、左右の腸骨等を特徴点とする。

【0057】
次に、S62において、術者あるいは看護師等がセンサを持ったまま、手術台上に横たわる患者の体表面からそれらの特徴点に近い位置へ押し当てた状態とし、ディスプレイ102を見ながらセンサの位置を微調整してセンサ位置情報を取得する。
次に、S63において、取得したセンサ位置を示す実空間座標系を、仮想空間座標系へ変換するための変換行列を算出する。

【0058】
座標変換行列は、図23に示すように、仮想空間内において指定した特徴点3点(Pv1,Pv2,Pv3)、(Pv1,Pv2,Pv3)からなる三角形の重心を原点としたPv0とセンサから取得した実空間内のオブジェクトに対し、対応する特徴点座標(Pr1,Pr2,Pr3)、(Pr1,Pr2,Pr3)からなる三角形の重心を原点としたPr0から下記手順で求める。

【0059】
まず、Pv0は、仮想空間内で指定した特徴点三角形の重心なので
【数1】
JP2013202313A_000003t.gif
となる。この、仮想空間の原点ベクトルPv0と特徴点3点Pv1,Pv2,Pv3から仮想空間における正規直交ベクトルを下記の手順で求める。

【0060】
1軸ベクトルVv1を、
【数2】
JP2013202313A_000004t.gif
と定義し、特徴点Pv2,Pv3を含む平面に直交するベクトルを3軸目として求めるための一時2軸ベクトルVv2_Tmpを、

【0061】
【数3】
JP2013202313A_000005t.gif
と定義し、Vv1,Vv2_Tmpの外積をとって3軸ベクトルVv3を、

【0062】
【数4】
JP2013202313A_000006t.gif
v3,Vv1の外積をとって2軸ベクトルVv2を、

【0063】
【数5】
JP2013202313A_000007t.gif
と求める。

【0064】
同様の手順でPr0は実空間の特徴点三角形の重心から
【数6】
JP2013202313A_000008t.gif
となり、Pr0と特徴点3点Pr1,Pr2,Pr3から実空間の正規直交ベクトルVr1,Vr2,Vr3を下記のように求める。

【0065】
【数7】
JP2013202313A_000009t.gif

【0066】
【数8】
JP2013202313A_000010t.gif

【0067】
【数9】
JP2013202313A_000011t.gif

【0068】
【数10】
JP2013202313A_000012t.gif

【0069】
次に、仮想空間と、実空間の正規直交ベクトルから、各空間座標への回転行列を求める。まず、仮想空間上の回転行列Mvは、
【数11】
JP2013202313A_000013t.gif
となり、実空間の回転行列Mrは、

【0070】
【数12】
JP2013202313A_000014t.gif
となる。

【0071】
実空間座標系から仮想空間座標系への回転行列を求めるために、実空間座標系から実空間座標系への回転行列が必要となる。これは、実空間座標系の回転行列による変換の逆変換なので逆行列となる。この逆行列によって変換された実空間座標系に対して仮想空間座標系の回転行列による変換を行うことで、実空間座標系から仮想空間座標系への回転行列Mrotateが求まる。

【0072】
式で表すと下記(13)式のようになる。
【数13】
JP2013202313A_000015t.gif
スケーリング行列Hscaleは、実空間とDICOMデータは同一であると考えられるので仮想空間も同一になる。よって単位行列として定義する。

【0073】
求まった回転行列Mrotate、スケーリング行列と平行移動分である仮想空間の原点Pv0により、実空間座標系から仮想空間座標系への変換行列Htは下記のようになる。

【0074】
【数14】
JP2013202313A_000016t.gif
本実施形態では、この変換行列を用いて、3次元センサ32aから取得した実空間座標を仮想空間座標に変換する。
なお、この変換行列Hは、変換行列保持部28内に複数保存されている。

【0075】
次に、S64において、レジストレーションの精度が十分か否かを判定する。ここで、レジストレーションの精度が所定の範囲内であることを確認できるまで、S61~S64を繰り返し行う。そして、精度が所定の範囲内確認できた段階で終了する。
つまり、S64では、レジストレーションの精度が所定の範囲内にないことが分かった場合には、再度、レジストレーションの処理を実施して最初の結果を補正する。これにより、レジストレーション処理の精度を向上させることができる。

【0076】
なお、レジストレーションの補正処理については、後段にて詳述する。
以上のように、S5においてレジストレーションの実施指示を受けた場合にはレジストレーションを実施後、あるいはレジストレーションの実施指示を受け付けていない場合にはそのままS7に移行する。

【0077】
次に、S7においては、手術中のナビゲーションを実施するように指示を受け付けている場合には、B(S8)へ進む。一方、ナビゲーションの実施指示を受け付けていない場合には、S3の処理に戻る。
すなわち、S81において、内視鏡/術具位置・姿勢取得部26が、位置・角度検出装置29における検出結果に基づいて、斜視内視鏡32および術具33の3次元位置および姿勢に関する情報を取得する。

【0078】
次に、S82において、斜視内視鏡32および術具33の3次元位置に基づいて、上述した変換行列Hを用いて、実空間座標系から仮想空間座標系へ変換する。
次に、S83において、ボリュームレンダリング演算部13が、内視鏡パラメータ格納部22から内視鏡パラメータを取得する。
次に、S84において、ボリュームレンダリング演算部13が、術具パラメータ格納部24から術具のパラメータを取得する。
次に、S85において、内視鏡映像取得部30から内視鏡映像を取得する。

【0079】
次に、S86において、切削対象となる部位が複数ある場合、術具33の先端から全ての切削対象までの距離の演算が完了したかを確認する。ここで、距離演算が完了すると、S87へ進む。
次に、S87において、ボリュームレンダリング演算部13は、内視鏡映像とともに、3次元画像(レンダリング像)を重ね合わせてディスプレイ2,102に表示させる。

【0080】
このとき、実際の術具33の動きを3次元センサ33bが検知して3次元画像上にリアルタイムで術具33の動きが表示されることで、術者は、ディスプレイ102に表示された距離情報を確認しながら術具33を操作することができる。よって、術者にとって有効な手術ナビゲーションを実行することができる。
ここで、S87において、ディスプレイ2,102に表示される3次元画像について、図8から図12を用いて説明すれば以下の通りである。

【0081】
なお、図8から図12に示す例では、3つの切削部位Z1~Z3があり、切削部位Z1に対して術具33を近づけて切削を行う場合について説明する。
すなわち、ディスプレイ2,102のモニタ画面Mには、図8に示すように、ナビゲーション画面として、情報表示エリアM1、ナビゲーション画像エリアM2、距離表示エリアM3が含まれている。

【0082】
具体的には、情報表示エリアM1には、「切削部位に接近中」との文字情報が表示される。ナビゲーション画像エリアM2には、切削部位周辺の3次元画像に、術具画像33a、レトラクタ画像31a、切削部位Z1~Z3を重ね合わせた画像が表示される。そして、距離表示エリアM3には、ドリル(術具33)先端のマルチポイントから各切削部位Z1~Z3までの距離が表示される。

【0083】
なお、ナビゲーション画像エリアM2における各画像の重ね合わせについては、各画像ごとに透過率を設定して、術者にとって必要な情報が表示されるように変更することが可能である。
ここで、切削部位Z1を切削するために、術者が術具33を切削部位Z1に近づけていく速度を速めていった場合には、図9に示すように、情報表示エリアM1において、「切削部位Z1に接近中。接近速度が徐々に速くなっています。」との表示を行う。このとき、情報表示エリアM1は、術者に警告するために、例えば、黄色の背景色となって表示される。

【0084】
また、術者が術具33を切削部位Z1に近づける速度を速めていった場合には、術具33を近づける速度が大きすぎて切削すべき部分を突き抜けてしまうおそれがある。そこで、本実施形態では、図10に示すように、情報表示エリアM1において、「切削部位Z1に接近中。接近速度が速すぎます。」との表示を行う。このとき、情報表示エリアM1は、術者にさらに重度の警告を行うために、例えば、赤色の背景色となって表示される。

【0085】
次に、切削部位Z1を切削するために、術者が術具33を切削部位Z1に近づけて行くと、図11に示すように、ナビゲーション画像エリアM2において、術具画像33aの先端部分が切削部位Z1に対して接触した状態で表示される。このとき、距離表示エリアM3には、ドリル先端から切削部位Z1までの距離:0mmと表示される。

【0086】
次に、術具33を用いて切削部位Z1を切削していくと、図12に示すように、ナビゲーション画像エリアM2において、術具画像33aの先端部分が切削部位Z1に対して入り込んでいくように表示される。このとき、例えば、術具33によって深さ方向において5mmの切削を行った場合、距離表示エリアM3には、ドリル先端から切削部位Z1までの距離:-5mmと表示される。そして、情報表示エリアM1には、「切削部位Z1の切削完了」と表示される。

【0087】
本実施形態の手術支援システム100のパーソナルコンピュータ1は、以上のように、斜視内視鏡32や術具33の実際の3次元位置(実空間座標)をボリュームレンダリング演算部13において生成された3次元画像上の座標(仮想空間座標)に変換した上で、術具33の先端を示す画像(術具画像33a)と術具先端から切削部位までの距離とを3次元画像中に合成して表示させながら手術中のナビゲーションを行う。
これにより、術者は、ディスプレイ102の画面を見ながら、術具33の先端から切削部位Z1までの距離を認識しながら術具33を操作することができる。

【0088】
<ナビゲーション画像エリアに表示されるレトラクタ画像の表示方法>
次に、図13(a)および図13(b)を用いて、マウス4の操作による2次元入力から内視鏡3次元操作へのマッピングについて説明する。
ここでは、レトラクタに設置したセンサにより位置と姿勢とを測定した結果と、レトラクタの径、長さ、移動方向(挿入方向)等のパラメータに基づいて、3次元画像上に表示する。

【0089】
通常、レトラクタ31内に挿入された斜視内視鏡32(図13(a)等参照)は、レトラクタ31と一体化された図示しないアタッチメントに固定されることで、レトラクタ31内における周方向における移動が制限されている。
ここで、図13(a)に示すように、斜視内視鏡32をアタッチメントごと回転させたと仮定して、図13(b)に示すように、レトラクタ31の中心から斜視内視鏡32の中心までの距離Roの奥行き方向の軸Rzに対して、角度Θ回転した場合の回転行列RΘを算出する。

【0090】
次に、ベクトルRoEo’=RΘ×RoEoであるから、内視鏡先端位置は、内視鏡の挿入深度deを用いて、内視鏡先端位置Ec=Eo’+Rz*deの式によって算出することができる。
これにより、2次元のマウス操作によって、3次元の内視鏡先端位置を算出することができる。

【0091】
次に、図14を用いて、マウス4の操作による2次元入力から内視鏡3次元操作へのマッピングに関連する他の例について説明する。
通常、内視鏡には、図示しないCCDカメラを格納したカメラヘッド部が後端部側に接続されている。ここでは、このカメラヘッド部を回転させた際の表示の回転について説明する。

【0092】
すなわち、実際の内視鏡手術において、ディスプレイ2,102の表示画面上に表示された画像が縦向きに表示されてしまった場合には、実際の患者の向きとディスプレイ2,102の表示の向きとを一致させるために、カメラヘッド部を回転させることで視野を変えずに画像のみ回転させる。
マウス4を用いた2次元入力によってこれを実現するために、まず、ディスプレイ高とマウスドラッグ距離からΘ=360*Hd/Hを算出する。

【0093】
次に、ディスプレイ2,102の画面中心座標の奥行き方向の軸Ryに対し、角度Θ回転した場合の回転行列R2Θを算出する。
そして、視野の上方ベクトルUに対し、U'=R2Θ*Uを新たな上方ベクトルとすることで、ディスプレイ2,102に表示される画像を、視野を変えることなく、例えば、90度回転させることができる。

【0094】
これにより、マウス4を用いた2次元入力によって、容易にディスプレイ2,102に表示された画像を実際の内視鏡手術におけるモニタ画面と同じ向き(角度)に調整することができる。
次に、斜視内視鏡32の任意の斜視角を反映させたボリュームレンダリング像を生成するための方法について、図15を用いて説明する。

【0095】
すなわち、本実施形態では、斜視内視鏡32ごとに設定される斜視角に応じて、視野ベクトルに回転行列を適用する。
具体的には、まず、レトラクタ31の軸方向に対応する鏡軸ベクトルVsと斜視内視鏡32の斜視方向に対応する垂直ベクトルVuの外積Vcを算出する。

【0096】
次に、Vc周りをΘ回転する回転行列Rsを算出する。
そして、斜視角を反映した視野ベクトルVeは、Ve=Rs*Vs として求めることができる。
これにより、斜視内視鏡32ごとに斜視角度が異なる場合でも、内視鏡パラメータ格納部22に格納された情報等に基づいて視野ベクトルVeを算出することで、手術に使用される斜視内視鏡32ごとの視野範囲を設定することができる。

【0097】
なお、鏡軸ベクトルVsと視野ベクトルVeとを用いて、斜視内視鏡32の先端位置および視線ベクトルを3面図上への反映させた状態を、図16(a)~図16(c)に示している。
これにより、図16(a)~図16(c)に示すように、斜視内視鏡32を用いた腰部脊椎管狭窄症に対する手術のシミュレーションにおいて、正面図(患者側面から見た図)、平面図(患者背中から見た図)、側面図(患者の背骨方向から見た図)を用いて、斜視内視鏡32の挿入方向を容易に把握することができる。

【0098】
本実施形態のパーソナルコンピュータ1では、以上のような構成により、レトラクタ31の形状、斜視内視鏡32の斜視角や視野角等に基づいて、内視鏡手術シミュレーションを行う際に、図17に示すように、レトラクタ31によって遮られる表示制限エリアA2を反映させた内視鏡画像(内視鏡表示エリアA1)を表示させる。
これにより、実際の内視鏡手術においてレトラクタ31の内壁によって見えなくなる表示制限エリアA2を反映させた表示態様とすることで、実際の内視鏡手術において表示画面に表示される画像に近似した表示を行うことができる。よって、より効果的な手術支援を実施することができる。

【0099】
なお、例えば、斜視内視鏡32の斜視角25度の場合には、図18(a)に示すように、レトラクタ31による表示制限エリアA2を反映させることで、手術対象部位は内視鏡表示エリアA1内に表示される。
さらに、本実施形態のパーソナルコンピュータ1のディスプレイ2,102に実際に表示される画面として、図19に示すように、例えば、切削対象部位Cの表示等と組み合わせて、表示制限エリアA2を反映させつつ、内視鏡表示エリアA1内に切削対象部位Cを表示することもできる。

【0100】
さらに、術者にとって分かり易いナビゲーション画面を表示するために、図20(a)~図20(c)に示すように、切削対象部位Cを中心とする内視鏡画像、その部分に対応する3次元画像から取り出した内視鏡ビュー、内視鏡画像と内視鏡ビューとを重ね合わせた画像、をそれぞれモニタ画面Mに表示してもよい。
なお、図20(c)の重ね合わせ画像では、内視鏡ビューの透過率を30%に設定した場合の画像を示している。内視鏡ビューの透過率については、0~100%まで自由に設定可能である。

【0101】
また、内視鏡画像に組み合わせる3次元画像としては、内視鏡ビューに限定されるものではない。例えば、図21(a)~図21(c)に示すように、切削対象部位Cを中心とする内視鏡画像、その部分に対応する3次元画像を示すVR像、内視鏡画像と内視鏡ビューとを重ね合わせた画像、をそれぞれモニタ画面Mに表示してもよい。
なお、図21(c)の重ね合わせ画像では、VR像の透過率を50%に設定した場合の画像を示している。VR像の透過率については、0~100%まで自由に設定可能である。

【0102】
<レジストレーション処理>
本実施形態の手術支援システム100においては、上述したように、手術ナビゲーションを実行する前に、実空間座標と仮想空間座標との位置合わせを行うレジストレーションが実施される。このレジストレーションについて、より詳細に説明すれば以下の通りである。
本実施形態では、実空間座標と仮想空間座標(3次元画像座標)のレジストレーションを以下のようにして実施する。

【0103】
ここで、レジストレーション機能とは、手術中における内視鏡32と関心領域の位置関係を測位するため、内視鏡32側に取り付けられた3次元センサ32aの位置情報を示す実空間座標と3次元画像が持つ仮想空間座標との間で位置合わせを行う機能である。このレジストレーション機能によって、このレジストレーションの処理過程において生成される座標変換行列を用いて、仮想空間内における内視鏡32の位置を取得し、最終的な魚眼レンズ特性を反映したボリュームレンダリングをインタラクティブに行うことを可能とする。

【0104】
各座標の位置合わせでは、実空間内における特徴点および仮想空間内に対応する特徴点をそれぞれ3点ずつ定義し、これらの座標から、スケール量、並行移動量および回転量を算出して、最終的な座標変換行列を合成する。
図22には、特徴点(図中の点P)の設定を行うレジストレーション用インタフェース画面を表示したモニタ画面Mを示している。

【0105】
次に、レジストレーションの流れについて説明する。
まず、ビューウインドウで表示されている3次元画像に対し、マウスでポインティングして仮想空間内における特徴点座標(xv,yv,zv)を3点定義(センサ取得座標と同じmm単位に変換後の座標値)する。
次に、実空間内のオブジェクトに対し、対応する特徴点座標(xr,yr,zr)を磁気センサでポインティングして順に登録を行う。2空間内でそれぞれ定義した特徴点の位置情報を用いて、それぞれの原点を算出することで、平行移動のベクトルを算出する。

【0106】
次に、スケーリング行列および回転行列を算出し、最終的な座標変換行列を合成して記憶する。
また、斜視内視鏡において、内視鏡先端の位置のみでなく、内視鏡軸の向きを検出する必要があり、仮想空間内における視野の算出において、上記計算時に生成された回転行列を用いるため、回転行列も単独で記憶する。

【0107】
<レジストレーション補正>
本実施形態では、図7(b)に示すように、レジストレーションを実施する際には、S64においてレジストレーションの精度を確認する。
ここで、レジストレーション実施後に、仮想空間における特徴点に対応する実空間の特徴点位置指定に所定量以上のズレが発生した場合、これを補正するために以下のような処理を実施する。

【0108】
すなわち、本実施形態のパーソナルコンピュータ1は、仮想空間内のボリュームレンダリング像上に表示される特徴点のズレと座標軸を確認しながら、インタフェースにてズレを補正するための補正機能を有している。
図24(a)および図24(b)に、補正値設定インタフェースおよびボリュームレンダリング像上での特徴点と座標軸の表示例を示している。

【0109】
本補正機能を用いて、レジストレーション補正する際の流れを下記に示す。
ユーザが図24(a)に示すインタフェース内に特徴点の補正値を設定すると、登録された実空間の特徴点に対し、ベクトル加算による座標修正を行い、再レジストレーション処理を行う。
再レジストレーションでは、レジストレーション機能と同じく、2空間内で定義された特徴点座標を用いて、座標変換行列および回転行列の再計算を行う。
再計算が終了すると、直ちに、特徴点および座標軸の描画位置を再計算し、図24(b)に示すように、ボリュームレンダリング像を更新する。

【0110】
<切削部位を中心とする等距離表示制御>
本実施形態では、パーソナルコンピュータ1のディスプレイ2,102に実際に表示される仮想空間を示す画面として、例えば、図28に示すように、切削対象部位を中心とする距離l1の領域、距離l2の領域とを設定し、それぞれの領域を、色を変えて表示することも可能である。
これにより、術者にとって、術具33の先端から切削部位までの距離をより分かり易く表示することができる。

【0111】
<切削シミュレーションにおける切削制限>
本実施形態では、手術前の切削シミュレーションを実施する際に、深さ制御部17が、深さ検出部15において検出された切削部位の深さ位置に基づいて、切削部位周辺の不連続性あるいは深さの変化度合いを演算する。
そして、上記変化度合いが所定の閾値を超えた場合には、ボクセルラベル設定部18および被切削ボクセルラベル算出表示部19が、シミュレーション用の仮想空間における切削を中止する、あるいは切削データを更新しないように制御を行う。

【0112】
具体的には、図29に示すように、閾値加算有効点という概念を用いて、ある切削点から順次右方向へ切削していく切削シミュレーションを実施する際には、深さの変化量(深度変化量)ΔDが所定の閾値よりも大きい場合には、仮想空間におけるボリュームレンダリング画像におけるその切削点では切削が行われない。
すなわち、閾値加算有効点という概念を導入した場合には、切削点i-1に対して、直前の閾値加算有効点との深度変化が一定値以下の場合は、新たな閾値加算有効点とは扱わないようにすることで、平坦な面における切削が続いた場合でも、Tiが0に収縮しないよう制約を加えることができる。

【0113】
【数15】
JP2013202313A_000017t.gif
ΔDk: 閾値加算有効点kにおける直前の閾値加算有効点との深度変化
m: 切削可能点評価係数(1.0以上)
k: 閾値加算有効点評価係数(0.0以上1.0未満)
なお、上記式において、ΔDi-1<kTi-1が成立する場合には、切削点i-1は新たな閾値加算有効点とは扱われず、Ti=Ti-1となる。そうでない場合は、従来手法通り閾値の加算対象と扱われる。

【0114】
よって、切削点が、深さの変化量ΔDi-1が一定値未満(ΔDi-1<kTi)の比較的平坦な部分を移動していく場合には、Tiを更新しないように切削シミュレーションが実施される。
これにより、深さ位置が大きく変化する部分については、切削データを更新しない、あるいは切削を中止することで、より適切に切削シミュレーション画像を表示することができる。

【0115】
一方、上述した閾値加算有効点の制御を行わない場合には、図29に示すように、ある切削点から順次右方向へ切削していく切削シミュレーションを実施する際には、深さの変化量(深度変化量)ΔDが所定の閾値よりも大きい場合には、図28の場合と同様に、仮想空間におけるボリュームレンダリング画像におけるその切削点では切削が行われない。

【0116】
しかし、上述した閾値加算有効点の制御を実施しない場合には、比較的平坦な部分においては、ΔDi-1=0となり、Ti≒0となるため、微小な深度変化であっても切削をキャンセルしてしまうという問題が生じる。
よって、本実施形態では、上述した閾値加算有効点という概念を用いて切削シミュレーションを実施することで、意図した切削シミュレーション画像に近い表示を行うことができる。

【0117】
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)
上記実施形態では、手術支援装置として本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図7(a)~図7(c)に示す制御方法をコンピュータに実行させる手術支援プログラムとして、本発明を実現してもよい。

【0118】
(B)
上記実施形態では、斜視内視鏡32や術具33の3次元位置および姿勢を検出するために、斜視内視鏡32に6軸センサである3次元センサ32aを1つ取り付けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図30(a)および図30(b)に示すように、内視鏡132に、5軸センサである3次元センサ132a,132bを2本取り付けてもよい。
さらに、例えば、図31(a)および図31(b)に示すように、内視鏡232に、3軸センサである3次元センサ232a,232b,232cを3本取り付けてもよい。

【0119】
(C)
上記実施形態では、斜視内視鏡32や術具33の3次元位置および姿勢を検出するために、斜視内視鏡32の後端部付近に6軸センサ32aを取り付けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、3次元センサを取り付ける位置としては、内視鏡や術具の後端部付近に限らず、先端側や中央部付近であってもよい。
【産業上の利用可能性】
【0120】
本発明の手術支援装置は、術具を用いて切削される切削部位を見ながら、手術中の適切なナビゲーションを実施することができるという効果を奏することから、各種手術を実施する際の手術支援装置として広く適用可能である。
【符号の説明】
【0121】
1 パーソナルコンピュータ(手術支援装置)
2 ディスプレイ(表示部)
2a 内視鏡画像表示用モニタ
2b 3次元画像表示用モニタ
3 キーボード(入力部)
4 マウス(入力部)
5 タブレット(入力部)
6 断層画像情報取得部
7 ボクセル情報抽出部
8 断層画像情報部
9 メモリ
10 ボクセル情報格納部
11 ボクセルラベル格納部
12 色情報格納部
13 ボリュームレンダリング演算部(距離算出部、シミュレーション部、ナビゲーション部)
15 深さ検出部(シミュレーション部)
16 バス
17 深さ制御部(シミュレーション部)
18 ボクセルラベル設定部(シミュレーション部)
19 被切削ボクセルラベル算出表示部(シミュレーション部)
20 ウィンドウ座標取得部
21 色情報設定部
22 内視鏡パラメータ格納部
23 内視鏡パラメータ設定部
24 術具パラメータ格納部
25 術具パラメータ設定部
26 内視鏡/術具位置・姿勢取得部(内視鏡・術具位置検出部)
27 レジストレーション演算部
28 変換行列保持部
29 位置・角度検出装置
30 内視鏡映像取得部
31 レトラクタ
31a レトラクタ画像
31b 衝突部位
32 斜視内視鏡(内視鏡)
32a 6軸センサ
33 術具
33a 術具画像
33b 3次元センサ
34 BOX型トランスミッタ(磁場発生装置)
100 手術支援システム
102 液晶ディスプレイ(表示部)
132 内視鏡
132a,132b 5軸センサ
232 内視鏡
232a,232b,232c 3軸センサ
A1 内視鏡画像表示エリア(第1表示エリア)
A2 表示制限エリア(第2表示エリア)
C 切削対象部位
M モニタ画面
M1 情報表示エリア
M2 ナビゲーション画像エリア
M3 距離表示エリア
Z1~Z3 切削部位
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29
【図31】
30