TOP > 国内特許検索 > 手術支援ロボットの動作制御システム及び位置検出装置 > 明細書

明細書 :手術支援ロボットの動作制御システム及び位置検出装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4458492号 (P4458492)
公開番号 特開2007-260298 (P2007-260298A)
登録日 平成22年2月19日(2010.2.19)
発行日 平成22年4月28日(2010.4.28)
公開日 平成19年10月11日(2007.10.11)
発明の名称または考案の名称 手術支援ロボットの動作制御システム及び位置検出装置
国際特許分類 A61B  19/00        (2006.01)
B25J  13/08        (2006.01)
A61B   1/00        (2006.01)
FI A61B 19/00 502
B25J 13/08 A
A61B 1/00 320Z
請求項の数または発明の数 5
全頁数 9
出願番号 特願2006-092385 (P2006-092385)
出願日 平成18年3月29日(2006.3.29)
審査請求日 平成21年1月30日(2009.1.30)
特許権者または実用新案権者 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
発明者または考案者 【氏名】藤江 正克
【氏名】大浦 光宏
【氏名】小林 洋
【氏名】岡本 淳
個別代理人の代理人 【識別番号】100114524、【弁理士】、【氏名又は名称】榎本 英俊
審査官 【審査官】川端 修
参考文献・文献 特表2004-500958(JP,A)
特開平06-030896(JP,A)
特開2000-300579(JP,A)
特開平08-164148(JP,A)
調査した分野 A61B 19/00
A61B 1/00
B25J 13/08
特許請求の範囲 【請求項1】
少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、当該操作装置からの指令に基づいて前記駆動装置の駆動を制御する制御装置とを備え、
前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、当該画像上の各マーカ間の距離を算出し、当該距離から、予め記憶された数式を用い、前記撮像装置の撮像面に対する前記マニピュレータの軸線の傾き角を求めることで、前記マニピュレータのマーカ部分の実際位置を求め、前記操作装置からの指令によって定められる前記マーカ部分の目標位置が前記実際位置と相違している場合、前記マーカ部分を前記目標位置に近づけるように補正制御を行うことを特徴とする手術支援ロボットの動作制御システム。
【請求項2】
先端側の少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、前記駆動装置の駆動を制御する制御装置とを備え、
前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、当該画像上の各マーカ間の距離を算出し、当該距離から、予め記憶された数式を用い、前記撮像装置の撮像面に対する前記マニピュレータの軸線の傾き角を求めることで、前記マニピュレータの先端の実際位置を求める位置演算部と、前記操作装置からの指令に基づいて前記駆動装置の駆動を制御するロボット制御部と、当該ロボット制御部に対して補正制御を指令するロボット補正指令部とを備え、
前記ロボット補正指令部は、前記操作装置からの指令によって定められる前記マニピュレータの先端の目標位置が前記実際位置と相違している場合、前記マニピュレータの先端を前記目標位置に近づけるように前記ロボット制御部に指令することを特徴とする手術支援ロボットの動作制御システム。
【請求項3】
前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置されていることを特徴とする請求項1又は2記載の手術支援ロボットの動作制御システム。
【請求項4】
前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置され、
前記位置演算部は、前記各マーカの実際の相対位置関係と、前記撮像装置に撮像された画像に映る前記各マーカの相対位置関係とから、幾何学的に前記マニピュレータの最先端側のマーカの実際位置を求めることを特徴とする請求項2記載の手術支援ロボットの動作制御システム。
【請求項5】
手術支援ロボットにより移動制御されるマニピュレータに設けられたマーカの画像に基づいて、前記マニピュレータの移動時におけるマーカ部分の実際位置を求める位置演算部を備え、
前記マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上となる少なくとも三箇所に設けられ、
前記位置演算部は、前記画像上の各マーカ間の距離を算出し、当該距離から、予め記憶された数式を用い、前記撮像装置の撮像面に対する前記マニピュレータの軸線の傾き角を求めることで、幾何学的に前記マーカ部分の実際位置を求めることを特徴とする手術支援ロボットの位置検出装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、手術支援ロボットの動作制御システム及び位置検出装置に係り、更に詳しくは、手術支援ロボットの動作によって移動するマニピュレータの体内側部位の実際位置を把握することのできる手術支援ロボットの動作制御システム及び位置検出装置に関する。
【背景技術】
【0002】
近年、大きな切開を要さずに患者への負担を少なくする低侵襲手術が注目されており、この低侵襲手術を行うためのマスタースレーブ方式の手術支援ロボットが種々研究開発されている。この手術支援ロボットは、内視鏡や処置具等の術具が保持されるマニピュレータと、このマニピュレータを動作させるロボットアームと、このロボットアームに対して医師が動作指令を与える操作装置とを備えており、当該操作装置を医師が遠隔操作することで、マニピュレータが所望の位置に移動するようにロボットアームの動作が制御される。
【0003】
ところが、何等かの外的要因により、マニピュレータの先端側の実際位置が、操作装置からの動作指令に基づく目標位置に対してずれる場合があり、この場合には、当該先端側の実際位置を目標位置に合わせるように、ロボットアームの動作を補正制御する必要がある。
【0004】
ところで、特許文献1には、ロボットアームの動作を補正制御する装置が開示されている。この装置は、器具を動作させるロボットアームと、このロボットアーム上に取り付けられた発光ダイオードからなるセンサと、このセンサからの光を検出する光検出器と、当該光検出器の検出結果に基づいて幾何学的に前記センサの位置及び向きを演算し、この演算結果から器具の先端の実際位置が目標位置に近づくようにロボットアームを制御するコンピュータとを備えている。

【特許文献1】特表2004-500958号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、前記特許文献1の装置にあっては、センサがロボットアーム上すなわち体外側に存在するため、器具のうち体内側に存在する部位の実際位置を正確に把握することができない場合がある。つまり、例えば、器具として可撓性のある針状のマニピュレータを用いたときに、当該マニピュレータの一部分が組織に当たることにより撓み等の変形を生じた場合、当該変形によって、体内に存在するマニピュレータの先端の位置がずれる。ところが、この場合、当該マニピュレータを保持するロボットアームの状態は変わらないため、当該ロボットアーム上に設けられたセンサによる位置検出では、このようなマニピュレータの変形に伴うその先端の位置変化を正確に把握できないという問題がある。そこで、この問題を解決するために、器具の先端側に前述のセンサ及び光検出器を設けることも考えられる。ところが、器具にセンサ等を設けることで、その配線関係も含めた器具の大型化を招来し、当該器具を組織間の狭い隙間に侵入させ難くなくなるばかりか、光検出器を体内に配置しなければならず、そのために皮膚組織に対して大きな切開等が更に必要になりかねず、本来の目的である低侵襲手術が行えなくなる。また、体内に電気的なセンサを入れるのは人体にとって好ましくない。
【0006】
本発明は、このような課題に着目して案出されたものであり、その目的は、マニピュレータの体内側に存在する部分にセンサや光検出器を設置しなくても、当該部分の実際位置を正確に把握することができ、当該実際位置に応じたロボットアームの正確な動作制御に寄与する手術支援ロボットの動作制御システム及び位置検出装置を提供することにある。
【課題を解決するための手段】
【0007】
(1)前記目的を達成するため、本発明に係る手術支援ロボットの動作制御システムは、少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、当該操作装置からの指令に基づいて前記駆動装置の駆動を制御する制御装置とを備え、
前前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、当該画像上の各マーカ間の距離を算出し、当該距離から、予め記憶された数式を用い、前記撮像装置の撮像面に対する前記マニピュレータの軸線の傾き角を求めることで、前記マニピュレータのマーカ部分の実際位置を求め、前記操作装置からの指令によって定められる前記マーカ部分の目標位置が前記実際位置と相違している場合、前記マーカ部分を前記目標位置に近づけるように補正制御を行う、という構成を採っている。
【0008】
(2)また、本発明に係る手術支援ロボットの動作制御システムは、先端側の少なくとも三箇所にマーカが設けられたマニピュレータと、当該マニピュレータを保持するロボットアームと、このロボットアームを動作させる駆動装置と、前記マーカを撮像可能な撮像装置と、前記ロボットアームに対する動作を指令する操作装置と、前記駆動装置の駆動を制御する制御装置とを備え、
前記制御装置は、前記撮像装置で撮像されたマーカの画像に基づいて、当該画像上の各マーカ間の距離を算出し、当該距離から、予め記憶された数式を用い、前記撮像装置の撮像面に対する前記マニピュレータの軸線の傾き角を求めることで、前記マニピュレータの先端の実際位置を求める位置演算部と、前記操作装置からの指令に基づいて前記駆動装置の駆動を制御するロボット制御部と、当該ロボット制御部に対して補正制御を指令するロボット補正指令部とを備え、
前記ロボット補正指令部は、前記操作装置からの指令によって定められる前記マニピュレータの先端の目標位置が前記実際位置と相違している場合、前記マニピュレータの先端を前記目標位置に近づけるように前記ロボット制御部に指令する、という構成を採っている。
【0009】
(3)ここで、前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置されることが好ましい。
【0010】
(4)また、前記各マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上に配置され、
前記位置演算部は、前記各マーカの実際の相対位置関係と、前記撮像装置に撮像された画像に映る前記各マーカの相対位置関係とから、幾何学的に前記マニピュレータの最先端側のマーカの実際位置を求める、という構成を採ることが好ましい。
【0011】
(5)更に、本発明に係る手術支援ロボットの位置検出装置は、手術支援ロボットにより移動制御されるマニピュレータに設けられたマーカの画像に基づいて、前記マニピュレータの移動時におけるマーカ部分の実際位置を求める位置演算部を備え、
前記マーカは、前記マニピュレータの軸線方向に沿ってほぼ一直線上となる少なくとも三箇所に設けられ、
前記位置演算部は、前記画像上の各マーカ間の距離を算出し、当該距離から、予め記憶された数式を用い、前記撮像装置の撮像面に対する前記マニピュレータの軸線の傾き角を求めることで、幾何学的に前記マーカ部分の実際位置を求める、という構成を採っている。
【0012】
なお、本特許請求の範囲及び明細書における「マニピュレータ」とは、体内に挿入される術具その他の器具を含む部材を意味する。
【発明の効果】
【0013】
本発明によれば、マニピュレータの体内側に存在する部分に撓み等の変形が生じた場合であっても、当該部分に、周囲に対して色彩や模様を変えたに過ぎない簡単なマーカを設けることで、センサ及びその検出装置を体内側に配置しなくても、マーカ部分の実際位置を正確に把握することができる。従って、センサ類を設けた特別なマニピュレータを用いなくても、マニピュレータの変形等により、体内側のマーカ部分の実際位置が目標位置からずれた場合に、当該実際位置を目標位置に合わせるように、制御装置を補正制御することができる。換言すれば、細径で可撓性のある針状のマニピュレータを適用しても、その先端部分等の位置制御を確実に行うことができる。
【0014】
特に、前記(3)、(4)のように構成することで、より簡単な計算で、マーカ部分の位置を求めることが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施形態について図面を参照しながら説明する。
【0016】
図1には、本実施形態に係る手術支援ロボットの動作制御システムの概略構成図が示されている。この図において、動作制御システム10は、マスタースレーブ方式の手術支援ロボットに対する動作制御を行うためのシステムであって、患部Sを撮像する撮像装置としての内視鏡11と、患部Sに対して所定の処置を施すためのロボット本体12と、このロボット本体12を遠隔操作する操作装置13と、操作装置13からの指令に基づいてロボット本体12の動作を制御する制御装置14と、内視鏡11で撮像された画像が表示されるモニタ等の表示装置15とを備えて構成されている。
【0017】
前記内視鏡11は、患者の皮膚組織Pに開けられた穴に装着された筒状のトロカールT内に挿通され、体外間を貫通して、その先端側の撮像部が患部S付近に位置するように、配置されている。
【0018】
前記ロボット本体12は、患部Sの処置を行う鉗子等の術具を保持するマニピュレータ23と、このマニピュレータ23の基部側を保持して、当該マニピュレータ23を移動可能に動作するロボットアーム24と、このロボットアーム24を駆動させる図示しないモータを含む駆動装置25とを備えている。
【0019】
前記マニピュレータ23は、内視鏡11の挿通部位とは別のトロカールT内に挿通され、体外間を貫通するように配置されている。このマニピュレータ23の患部S側となる先端側には、三箇所に円形のマーカA,B,Cが設けられている。これらマーカA~Cは、その中心がマニピュレータ23の軸線方向ほぼ一直線上に位置するように設けられ、内視鏡11により患部Sの撮像に併せて撮像される。ここでは、マニピュレータ23の先端側から基部側に向って、マーカA,B,Cの順で配置されている。また、マーカA~Cは、特に限定されるものではないが、その周囲と異なる色彩や模様とすることで形成され、若しくは、その周囲と異なる色彩や模様の薄板が貼付されることによって形成される。
【0020】
前記ロボットアーム24及び駆動装置25は、公知の手術支援ロボットに適用される構造が採用されており、本発明の要旨ではないため、ここでは詳細な説明を省略する。
【0021】
前記操作装置13は、いわゆるマスターマニピュレータと称される装置であって、医師が表示装置15に表示される患部Sの画像を見ながら、図示しない操作部を医師が把持して所望の方向に動かすことで、ロボットアーム24を所望の方向に操作可能となる公知の構造のものが採用されている。本構造についても、本発明の要旨ではないため、ここでは詳細な説明を省略する。
【0022】
前記制御装置14は、ソフトウェア及び/又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び/又は処理回路より成り立っている。この制御装置14は、内視鏡11で撮像された画像が記憶される画像データ記憶部30と、この画像データ記憶部30に記憶されたマーカA~Cの画像から、所定のタイミング毎に、マニピュレータ23の先端側の実際位置を演算により求める位置演算部31と、操作装置13の指令に応じてロボットアーム24が動作するように駆動装置25の駆動を制御するロボット制御部32と、位置演算部31で求めた実際位置に基づいてロボット制御部32に対する補正指令を行うロボット補正指令部33とを備えて構成されている。従って、制御装置14は、マニピュレータ23の先端側の実際位置を求める位置検出装置としても機能する。
【0023】
前記位置演算部31では、以下の手順により、マニピュレータ23における最先端のマーカAの実際位置が求められる。なお、ここでは、便宜上、図2及び図3の模式図を用いながら説明する。
【0024】
図2に示されるように、内視鏡11の撮像面Fに映るマニピュレータ23の画像上でマーカAに相当する部位をaとし、同マーカBに相当する部位をbとし、同マーカCに相当する部位をcとする。先ず、撮像面F上に映る画像の中から、どこがマーカA~Cに相当する部位a~cかが判断される。これは、マーカA~Cの形状や色彩等の形態を予め記憶しておき、画像のマッチング等により、撮像面Fに映されたマーカA~Cの存在を特定する。ここで、各マーカA~Cの形態を同一にした場合には、内視鏡11の撮像方向に応じて、撮像面Fのどの方向がマニピュレータ23の先端方向かを特定し、これによってマーカA~Cの存在を特定する。具体的には、図1に示される内視鏡11の撮像方向であれば、撮像面Fの図2中左側がマニピュレータ23の先端方向になると判断され、これによって、図2中一番左側に映ったマーカがマーカAであると判断され、その同図中右隣に映ったマーカがマーカBと判断され、更にその同図中右隣に映ったマーカがマーカCと判断される。
【0025】
以上のように、撮像面Fに映されたマーカA~Bの特定が終了したら、図3に示されるように、撮像面Fに対するマニピュレータ23の軸線Lの傾き(傾き角σ)と同一の傾きの直線を内視鏡11のカメラ中心Oから引いたときに、当該直線と撮像面Fとの交点すなわち消失点rの位置が求められる。具体的に、この消失点rは、複比関係を示す次式を用いて求められる。
【数1】
JP0004458492B2_000002t.gif
ここで、ACは、マーカAからマーカCまでの実際の距離を表し、ABは、マーカAからマーカBまでの実際の距離を表している。また、raは、撮像面F上における点rから点aまでの距離を表し、rbは、撮像面F上における点rから点bまでの距離を表し、abは、撮像面F上における点aから点bまでの距離を表し、acは、撮像面F上における点aから点cまでの距離を表す。
すなわち、この式の中で、点a,b,cの撮像面F上における二次元座標が分かっているため、ac、abは分かっており、また、AC、ABも初期値として分かっている。更に、点r、a,b,cは一直線上にあるので、上式に既知の値を代入することにより、撮像面Fにおける点rの二次元座標が求められる。
【0026】
次いで、撮像面Fに対するマニピュレータ23の軸線Lの傾き角σが、次式にて求められる。
【数2】
JP0004458492B2_000003t.gif
ここで、カメラ中心Oから撮像面Fに延びる垂線と当該撮像面Fとの交点をHとすると、rHは、消失点rから交点Hまでの距離を表し、fは焦点距離を表す。
【0027】
そして、次式により、三角形OaHにおける点O側の角度をαと、三角形ObHにおける点Oの角度をβとが求められる。
【数3】
JP0004458492B2_000004t.gif
ここで、aHは、撮像面F上における点aから点Hまでの距離を表し、bHは、撮像面F上における点bから点Hまでの距離を表す。
【0028】
そして、カメラ中心Oからマニピュレータ23の軸線Lに延びる垂線の長さをdとすると、余弦定理により、次式の関係が成り立つ。
【数4】
JP0004458492B2_000005t.gif
ここで、マーカAとマーカBとの間の実際距離であるABは前述したように既知であり、角度σ、α及びβは前述のように求められたので、これらを上式に代入して、長さdが求められる。
【0029】
そして、カメラ中心OからマーカAまでの距離OAが次式にて求められる。
【数5】
JP0004458492B2_000006t.gif
このように距離OAが求められると、撮像面Fに対するマニピュレータ23の軸線Lの傾き角σから、マニピュレータ23の先端側となるマーカAの座標すなわち実際位置が求められる。
【0030】
前記ロボット補正指令部33は、操作装置13の指令に対応したマニピュレータ23の先端側の目標位置と、位置演算部31で求めた実際位置と対比して、それら位置が相違していると判断した場合に、マニピュレータ23の先端側を目標位置に近けるように、ロボットアーム24の動作に対する補正指令をロボット制御部32に行うようになっている。
【0031】
従って、このような実施形態によれば、手術時に患部Sとともに撮像されるマニピュレータ23の先端側にマーカA~Cが設けられ、これらマーカA~Cの内視鏡画像からマニピュレータ23の先端側の位置が求められる。つまり、ロボットアーム24の動作制御を行う際に、マニピュレータ23の先端側に、発光ダイオード、光検出器、センサ等の機器を設けなくても、マニピュレータ23の先端側の実際位置を求めることができる。従って、センサ等の機器を術中の患者の体内に入れなくても良く、マニピュレータ23の小型化や構造の単純化を促進することができ、スペースの少ない部位に対するロボットによる手術支援に好適となる。また、体外側に設けたセンサ等の機器によりマニピュレータ23の先端側の実際位置を求めるものでもないため、細くて可撓性のある針状のマニピュレータ23を用いたような場合、不可抗力によってマニピュレータ23の途中部分に撓み等の変形が発生した場合でも、マニピュレータ23の先端側の実際位置を正確に把握でき、当該先端側の実際位置を考慮したロボットアーム24の動作に対する補正制御を正確に行うことができる。
【0032】
また、実際の手術に用いる内視鏡11を用いるため、患者の皮膚組織Pに対し、低侵襲手術に必要となる最小限の穴数で、マニピュレータ23の先端側の移動制御を確実に行うことができる。但し、撮像装置としては、内視鏡11の他の装置を用いることも可能である。
【0033】
なお、マーカA~Cは、少なくとも三箇所に設けられている限り、その形状や配置態様等は特に問わず、また、マーカA~C毎に形状や色彩を異ならせることもできる。ここで、前記実施形態のように、マニピュレータ23の軸線方向にほぼ一直線上に配置することが好ましく、これにより、マーカ部分の位置を前述した簡単な計算により求めることができる。
【0034】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【図面の簡単な説明】
【0035】
【図1】本実施形態に係る手術支援ロボットの動作制御システムの概略構成図。
【図2】マニピュレータの先端側の実際位置を求める手順を説明するための概念図。
【図3】図2を平面的に表した概念図。
【符号の説明】
【0036】
10 動作制御システム
11 内視鏡(撮像装置)
12 ロボット本体
13 操作装置
14 制御装置
23 マニピュレータ
24 ロボットアーム
25 駆動装置
31 位置演算部
32 ロボット制御部
33 ロボット補正指令部
A マーカ
B マーカ
C マーカ
図面
【図1】
0
【図2】
1
【図3】
2