TOP > 国内特許検索 > 手術支援システムおよびこれに用いるカメラユニット > 明細書

明細書 :手術支援システムおよびこれに用いるカメラユニット

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成29年4月6日(2017.4.6)
発明の名称または考案の名称 手術支援システムおよびこれに用いるカメラユニット
国際特許分類 A61B   1/00        (2006.01)
A61B   1/04        (2006.01)
FI A61B 1/00 300B
A61B 1/04 370
A61B 1/00 310H
A61B 1/00 320Z
国際予備審査の請求 未請求
全頁数 20
出願番号 特願2016-506188 (P2016-506188)
国際出願番号 PCT/JP2015/056665
国際公開番号 WO2015/133608
国際出願日 平成27年3月6日(2015.3.6)
国際公開日 平成27年9月11日(2015.9.11)
優先権出願番号 2014045203
優先日 平成26年3月7日(2014.3.7)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JP , KE , KG , KN , KP , KR , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ , UA , UG , US
発明者または考案者 【氏名】佐藤 寿彦
【氏名】中尾 恵
出願人 【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
個別代理人の代理人 【識別番号】110000280、【氏名又は名称】特許業務法人サンクレスト国際特許事務所
審査請求 未請求
テーマコード 4C161
Fターム 4C161BB05
4C161CC06
4C161HH42
4C161HH47
4C161HH55
4C161JJ10
4C161LL02
4C161LL08
4C161QQ06
4C161QQ07
4C161SS21
4C161VV03
4C161VV04
4C161WW02
4C161WW06
4C161XX01
要約 術者やスタッフなどの手術に参加する人に応じた最適な視野を得ることができる手術支援システムを提供する。手術支援システムは、患者の体内に配置される複数のカメラ32と、カメラ32の映像から自由視点映像を生成する生成部41と、自由視点映像を映し出す表示部12Aと、表示部12Aの位置及び姿勢に応じた自由視点映像を当該表示部12Aに表示させる表示制御部42と、を備える。
特許請求の範囲 【請求項1】
患者の体内に配置される複数のカメラと、
前記カメラの映像から自由視点映像を生成する生成部と、
自由視点映像を映し出す表示部と、
前記表示部の位置及び姿勢に応じた前記自由視点映像を当該表示部に表示させる表示制御部と、を備えていることを特徴とする手術支援システム。
【請求項2】
前記複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される取付部とを有するカメラユニットをさらに備えている、請求項1に記載の手術支援システム。
【請求項3】
前記カメラユニットは、前記複数のカメラを患者の体内に固定する固定部を有している、請求項2に記載の手術支援システム。
【請求項4】
前記取付部は、患者の体の内面に沿って配置されると共に当該内面の形状に追従して変形可能に構成されている、請求項2又は3に記載の手術支援システム。
【請求項5】
前記取付部は変形可能に構成され、前記カメラユニットは、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部をさらに備えている、請求項2~4のいずれか1項に記載の手術支援システム。
【請求項6】
前記カメラユニットは、前記取付部を変形させる駆動部をさらに備えている、請求項2~5のいずれか1項に記載の手術支援システム。
【請求項7】
前記生成部による自由視点映像の生成が可能な配置で複数のカメラを配置させるよう前記駆動部を制御する配置制御部を備えている、請求項6に記載の手術支援システム。
【請求項8】
前記配置制御部は、撮影対象物に対する注視位置についての入力に応じて複数のカメラの相対位置を変更させるよう前記駆動部を制御する、請求項7に記載の手術支援システム。
【請求項9】
前記配置制御部は、前記自由視点映像の生成結果についての評価に基づいて、前記複数のカメラの相対位置を変更させるよう前記駆動部を制御する、請求項7又は8に記載の手術支援システム。
【請求項10】
前記配置制御部は、予め設定された配置パターンで複数のカメラを配置させるよう前記駆動部を制御する、請求項7に記載の手術支援システム。
【請求項11】
前記表示部が、頭部装着型とされている、請求項1~10のいずれか1項に記載の手術支援システム。
【請求項12】
複数のカメラの映像を結合することによって広角映像を生成する第2生成部をさらに備え、前記表示制御部は、前記広角映像と前記自由視点映像とを前記表示部に表示させる、請求項1~11のいずれか1項に記載の手術支援システム。
【請求項13】
手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラを取り付けた取付部と、前記取付部を患者の体内に挿入した状態で当該取付部を固定する固定部とを備えている、カメラユニット。
【請求項14】
手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される変形可能な取付部と、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部と、前記取付部を変形させる駆動部とを備えている、カメラユニット。
発明の詳細な説明 【技術分野】
【0001】
本発明は、手術支援システムおよびこれに用いるカメラユニットに関する。
【背景技術】
【0002】
近年、患者への侵襲を少なくし術後のQOL向上等を図ることを目的として、内視鏡手術が多用されている。この内視鏡手術においては、例えば図12に示すように、患者Mの体腔内に内視鏡A1や鉗子等の処置具A2を挿入し、外部ディスプレイD1~D3に映し出された内視鏡A1の映像を確認しながら、術者X1が処置具A2を操作して所定の処置を行うのが一般的である。
また、外部ディスプレイD1~D3だけでなく、ヘッドマウントディスプレイ(HMD)と呼ばれる頭部装着型のディスプレイに内視鏡の映像を映し出す場合もある(例えば、下記特許文献1参照)。
【先行技術文献】
【0003】

【特許文献1】特開2013-192773号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前記内視鏡手術においては、通常、スタッフが内視鏡を操作するため、内視鏡が術部を撮影する方向(術部の観察方向)と、術者による処置方向とがずれてしまう場合が多い。これらの方向を一致させようとすると内視鏡を術者の真正面に配置しなければならず、内視鏡やスタッフの手が邪魔になり、術者による処置具の操作に支障を来すおそれがあるからである。このように術部の観察方向と術者の処置方向(視線方向)とがずれていると、当然のことながら処置具の操作がし難くなる。
【0005】
また、図12に示す例では、内視鏡A1の挿入方向に対して反対側にいるスタッフX3,X4は、他の外部ディスプレイD3で術部の様子を確認することが可能であるが、その映像は、スタッフX3,X4からみて左右が反転した映像となる。そのため、術部を処置している状況を直感的に把握し難くなる。
さらに、患者Mを挟んで術者X1の反対側から内視鏡A1’を挿入するような場合(図12に2点鎖線で示す)も、その映像は術者X1側から見て左右が反転した映像となるため、一層処置具A2の操作が困難となる。
このような処置具A2の操作性の問題は、特許文献1のような頭部装着型のディスプレイを用いたとしても改善されることはない。
【0006】
また、手術室に複数の外部ディスプレイD1~3が設置されていても、各ディスプレイD1~D3には同一の観察方向の映像が画一的に映し出されるだけであるため、個々の術者X1やスタッフX2~X4の立ち位置等に応じた自由な視野を得ることができない。
さらに、従来の内視鏡は視野角が狭いので、術者X1の作業効率が悪く、術者の疲労も大きくなり、処置に相当の熟練を要する。
【0007】
本発明は、以上の実情に鑑み、術者やスタッフ等、手術に参加する人に応じた最適な視野を得ることができる手術支援システムおよびそれに用いるカメラユニットを提供することを主目的とする。
【課題を解決するための手段】
【0008】
(1) 本発明に係る手術支援システムは、
患者の体内に配置される複数のカメラと、
前記カメラの映像から自由視点映像を生成する生成部と、
自由視点映像を映し出す表示部と、
前記表示部の位置及び姿勢に応じた前記自由視点映像を当該表示部に表示させる表示制御部と、を備えていることを特徴とする。
【0009】
本発明の手術支援システムは、患者の体内に設置された複数のカメラの映像から生成部が自由視点映像を生成し、表示制御部がディスプレイの位置及び姿勢に応じた自由視点映像を表示部に表示させる。言い換えると、そのディスプレイを正面から見ている人の視線の方向に合わせた映像を表示部に表示させることができる。したがって、実際にカメラが撮影する方向と、術者の処置方向や視線方向とが必ずしも一致していなくても、術部の観察方向と処置方向(視線方向)とを一致させることが可能となり、処置具の操作性を高めることができる。
【0010】
(2) 上記手術支援システムは、前記複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される取付部とを有するカメラユニットを備えていてもよい。
この構成によれば、取付部を患者の体内に挿入することによって複数のカメラを同時に体内にセットすることができる。
【0011】
(3) 前記カメラユニットは、前記複数のカメラを患者の体内に固定する固定部を有していることが好ましい。
複数のカメラと固定部とを1つのユニットとして構成することによって、その持ち運びや患者への装着等の取り扱いを容易に行うことができる。
【0012】
(4) 前記取付部は、患者の体の内面に沿って配置されると共に当該内面の形状に追従して変形可能に構成されていてもよい。
このような構成によって、体内の形状に追従するように複数のカメラを配置することができる。
【0013】
(5) 前記取付部は変形可能に構成され、前記カメラユニットは、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部をさらに備えていてもよい。
この構成によれば、取付部の変形によって複数のカメラの相対位置が変化したとしても、それを検出部によって検出し、生成部による自由視点映像の生成を可能にすることができる。
【0014】
(6) 前記カメラユニットは、前記取付部を変形させる駆動部をさらに備えていることが好ましい。
このような構成によれば、駆動部による取付部の変形によって複数のカメラの相対位置を自律的に変更することができる。
【0015】
(7) 上記手術支援システムは、前記生成部による自由視点映像の生成が可能な配置で複数のカメラを配置させるよう前記駆動部を制御する配置制御部を備えていることが好ましい。
このような構成によって、駆動部による取付部の変形によって複数のカメラの相対位置を自律的に変更させ、自由視点映像の生成を可能にすることができる。
【0016】
(8) 前記配置制御部は、撮影対象物の注視位置についての入力に応じて複数のカメラの相対位置を変更させるよう前記駆動部を制御してもよい。
このような構成によって撮影対象物の注視位置についての自由視点映像を正確に生成することができる。なお、注視位置は、一点であってもよいし、ある程度の広さを有する範囲であってもよい。
【0017】
(9) 前記配置制御部は、前記自由視点映像の生成結果についての評価に基づいて、前記複数のカメラの相対位置を変更させるよう前記駆動部を制御してもよい。
このような構成によって、自由視点映像の生成結果をフィードバックしながらより正確な自由視点映像を生成することができる。
【0018】
(10) 前記配置制御部は、予め設定された配置パターンで複数のカメラを配置させるよう前記駆動部を制御してもよい。
このような構成によっても、適切な自由視点映像を生成することができる。
【0019】
(11) 前記表示部は、頭部装着型とされていることが好ましい。
この構成によれば、表示部を装着した人が頭を動かす(視線を動かす)ことに伴って表示部の位置や姿勢が変化すると、それに応じた自由視点映像が生成部により生成され、表示制御部によって表示部に表示される。したがって、術部を観察したい方向に装着者が頭部を動かすことによって所望の方向から術部を観察することができる。
【0020】
(12) 手術支援システムは、複数のカメラの映像を結合することによって広角映像を生成する第2生成部をさらに備えていてもよく、この場合、前記表示制御部は、前記広角映像と前記自由視点映像とを前記表示部に表示させてもよい。
この構成によれば、術部を一点から観察する自由視点映像だけでなく、複数のカメラの映像を繋げた広角映像をディスプレイに表示させることによって術部を幅広く観察することが可能となる。なお、表示部には、広角画像と自由視点画像との双方を同時に表示させてもよいし、双方を切り換えて表示させてもよい。
【0021】
(13) 本発明は、手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラを取り付けた取付部と、前記取付部を患者の体内に挿入した状態で当該取付部を固定する固定部とを備えている。
【0022】
(14) 本発明は、手術支援システムに用いるカメラユニットであって、
複数のカメラと、前記複数のカメラが取り付けられかつ患者の体内に配置される変形可能な取付部と、前記取付部の変形に伴う前記複数のカメラの相対位置変化を検出する検出部と、前記取付部を変形させる駆動部とを備えている。
【発明の効果】
【0023】
本発明によれば、手術に参加する人に応じた最適な視野を得ることができる。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態に係る手術支援システムの説明図である。
【図2】カメラユニットの概略構成図である。
【図3】手術支援システムのブロック図である。
【図4】検出部の説明図である。
【図5】自由視点映像の説明図である。
【図6】本発明の第2の実施形態に係る手術支援システムの説明図である。
【図7】第3の実施形態に係る手術支援システムの説明図である。
【図8】(a)は挿入具の構造を示す側面図、(b)は平面図である。
【図9】基準となるカメラによって対象物を撮影する様子を示す説明図である。
【図10】複数のカメラの相対角度を対象物に応じて変更する様子を示す説明図である。
【図11】カメラユニットの操作具を示す説明図である。
【図12】従来例に係る手術支援システムの説明図である。
【発明を実施するための形態】
【0025】
以下、図面を参照して本発明の実施形態を詳細に説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る手術支援システムの説明図である。
本実施形態の手術支援システム10は、患者Mの体内に配置される複数のカメラを有するカメラユニット11と、術者X1や、助手や看護婦等のスタッフX2~X4が装着するヘッドマウントディスプレイ12(以下、「HMD」という)と、カメラで撮影した映像等をHMD12に表示させるための制御を行う処理装置13とを備えて構成されている。

【0026】
図1に示す例では、手術台21に横たわっている患者Mの胸腔や腹腔に、カメラユニット11を挿入・固定するとともに複数の処置具A2を挿入し、カメラユニット11で撮影した映像等を術者X1やスタッフX2~X4が装着しているHMD12に映し出し、その映像を見ながら術者X1やスタッフX2~X4がそれぞれ処置具A2の操作等の作業を行うようになっている。

【0027】
HMD12には、カメラユニット11のカメラが直接撮影した映像のほか、当該映像から生成した仮想映像(自由視点映像)も表示させることが可能となっている。この仮想映像の生成については後述する。

【0028】
図2は、カメラユニット11の概略構成図である。この図に示す例では、カメラユニット11が胸腔M1に固定されている。図中の符号M2は、肋骨であり、符号M3は、肋骨M2間に形成された貫通孔である。
カメラユニット11は、複数のカメラ32が取り付けられたベース部(取付部)31と、このベース部31を患者Mの体内に固定する固定具(固定部)35とを備えている。ベース部31は、可撓性を有する材料、例えば、シリコンゴム等を用いた合成樹脂材料により形成することができる。そして、ベース部31は、患者の体内の内面に沿って変形することが可能となっている。ベース部31には、複数のカメラ32が並んだ状態で取り付けられている。また、ベース部31には、複数の照明具33も装着されている。

【0029】
カメラ32は、例えばCCDやCMOS等の撮像素子を備えたものを使用することができる。また、照明具33は、例えばLEDを用いることができ、これらを分散して配置することによって術部を広範囲で照らすことができる。
カメラユニット11には、ベース部31の変形によるカメラ32の相対位置を検出する検出具34が設けられている。

【0030】
本実施形態の検出具34は、図4に概略的に示すように、互いに屈曲可能に接続された複数のリンク部材34Aと、このリンク部材34Aの屈曲角度を検出する角度検出器34Bとを備えている。この角度検出器34Bは、例えばリンク部材34A同士を接続する軸部34Cに設けられたポテンショメータにより構成することができる。ベース部31は、複数のリンク部材34Aの下面に取り付けられている。

【0031】
ベース部31が胸腔M1の内面に沿って変形すると、これに追従して検出具34のリンク部材34Aが屈曲する。各リンク部材34Aの相対角度は角度検出器34Bによって検出されるので、検出具34自体がどのように屈曲しているかを検出することができる。図2に示す複数のカメラ32のそれぞれと特定のリンク部材34Aとは互いに対応付けられているので、検出具34自体の屈曲の状態が検出されることによって複数のカメラ32の相対位置を検出することができる。

【0032】
なお、カメラ32の位置・姿勢を検出する方法は、前記検出具34による方法に限定されず、従来公知の方法を採用することができる。例えば、カメラ32の撮像範囲内に所定のマーカやこれに相当する映像中の特徴点を設定し、このマーカ等を撮影した映像に基づいてキャリブレーションを行うことによってカメラ32の位置・姿勢を検出してもよい。

【0033】
図2に示すように、カメラユニット11は、制御ボックス37を備えている。そして、制御ボックス37とベース部31とは、固定具35を構成するクリップ具によって連結されている。クリップ具35は、貫通孔M3を通過して胸腔M1の壁部を挟み込むことによってベース部31を胸腔M1内面に沿わせた状態で固定する。また、クリップ具35には、カメラ32、照明具33、及び検出具34の角度検出器34B等に接続される配線が内蔵されている。クリップ具35は、弾性変形可能であると共に、その弾性力によってベース部31を胸腔M1内面に押し付けるように構成されている。

【0034】
制御ボックス37は、ベース部31に設けられたカメラ32、照明具33、及び角度検出器34Bに配線を介して接続されており、カメラ32及び照明具33の動作を制御するとともに、カメラ32及び角度検出器34Bからの信号を受けて処理装置13等へ出力する機能を有している。この制御ボックス37とベース部31とは、胸腔M1の壁部を挟んで対向して配置されており、実質的にクリップとしても機能している。

【0035】
図1に示すように、HMD12は、使用者の両目を覆うように頭部に装着して使用するものである。HMD12には、使用者の両目に対応する位置にそれぞれ表示部(ディスプレイ)12Aが設けられており、この表示部12Aに表示された映像を使用者が見ることができる。表示部12Aに表示される映像は、処理装置13によって生成される。

【0036】
また、HMD12には、位置・姿勢センサ12Bが取り付けられている。この位置・姿勢センサ12Bによって、HMD12、特に表示部12Aの位置や姿勢を検出することができる。そして、表示部12Aの位置や姿勢を検出することによってHMD12を装着している人の視線方向を間接的に検出することができる。
位置・姿勢センサ12Bとしては、例えば磁気センサを用いることができる。この磁気センサは、HMD12外に配置されたトランスミッタから放出された一様な磁場を検知する。そして、HMD12の動きに伴う磁場検知の変化を処理することによってトランスミッタと磁気センサとの間の絶対的な移動量を求め、その移動量からHMD12の位置・姿勢を検出することができる。

【0037】
位置・姿勢センサ12Bとしては、磁気センサに限らず他の形態のセンサを採用することもできる。例えば、加速度センサやジャイロセンサ等を用いたモーションセンサによってHMD12の位置・姿勢を検出してもよい。また、位置・姿勢センサ12Bは、直接的にHMD12に取り付けられていなくてもよい。例えば、外部からHMD12の画像を撮像し、その画像を解析することによってHMD12の位置や姿勢を検出するものであってもよい。

【0038】
図3は、手術支援システム10のブロック図である。
手術支援システム10の処理装置13は、例えばパーソナルコンピュータから構成され、CPU等の演算部と、ROM、RAM、ハードディスク等の記憶部と、各種入出力インターフェース等を有している。そして、カメラユニット11におけるカメラ32及び角度検出器34Bの信号と、HMD12における位置・姿勢センサ12Bの信号が処理装置13に入力される。そして、処理装置13の演算部は、記憶部にインストールされたプログラムを実行することによって、入力された各種信号を用いて映像を生成し、その映像をHMD12における表示部12Aに表示させる。したがって、HMD12を装着している人X1~X4は、それぞれ表示部12Aに表示される映像を見ながら作業を行うことができる。

【0039】
処理装置13は、その機能構成として、自由視点映像を生成する生成部41と、生成した自由視点映像をHMD12の表示部12Aに表示させる表示制御部42とを備えている。
図5は、自由視点映像についての説明図である。処理装置13の生成部41は、実際のカメラ32で所定の対象物を撮影した映像を用いて、当該カメラ32とは異なる方向から対象物を撮像する仮想のカメラ32’の映像を生成(レンダリング)する。

【0040】
複数のカメラ32が対象物を撮影すると、その映像信号は処理装置13の生成部41に入力される。生成部41は、入力されたカメラ32の映像と、カメラ32の相対位置(位置・姿勢)についての情報等を用いてカメラ32間の位置を視点とする補間映像を自由視点映像として生成する。自由視点映像を生成するための具体的方法は、従来公知の種々の方法を採用することができ、特定の方法に限定されるものではない。例えば、特徴点の対応を評価する評価関数を設けて評価関数が最大となるような補間による方法や、術者からの関心領域の指定、処置具先端による空間位置のポインティングによって得られる3次元座標群に基づいて補間する方法等を用いることができる。なお、これらの方法については後述する第3の実施形態においても説明する。

【0041】
表示制御部42は、HMD12の表示部12Aの位置及び姿勢(方向)の情報が位置・姿勢センサ12Bから入力され、その位置及び姿勢に対応する方向の自由視点映像を生成部41から取得し、その映像を表示させるように表示部12Aを制御する。表示部12Aの位置及び姿勢は、この表示部12Aを正面から見る装着者の視線の方向に対応するため、HMD12の装着者は、自らの視線の方向から対象物(術部)を観察した映像を表示部12Aを介して見ることが可能となる。

【0042】
したがって、図1に示すように、手術に参加する術者X1やスタッフX2~X4は、それぞれHMD12を装着しているので、それぞれの視点から術部を観察することができる。そのため、例えば、処置具A2を用いて処置を行う術者X1は、処置方向と一致する方向に視線を向けることで、処置方向と同一の方向から術部を観察することができ、作業を行いやすくなる。また、処置方向とは異なる方向から術部を観察したい場合には、術者自身がその方向に視線の方向を変えるだけでよい。したがって、従来のようにスタッフX2~X4にカメラ32の方向を変えるために指示を与える必要も無く、自身の動作によって所望の視野を簡単に得ることができる。

【0043】
また、本実施形態では、患者Mの体内にカメラ32を固定することができるため、従来のように内視鏡を操作するスタッフの手や内視鏡自体が術者X1の邪魔になることもない。
さらに、術者X1だけでなくHMD12を装着しているスタッフX2~X4においても、それぞれの視線の方向に応じた映像を見ることができる。したがって、術者X1と対向した位置に居るスタッフX3,X4であっても、左右が反転した映像ではなく、自身の視線の方向から術部を観察した映像をHMD12を介して見ることができる。

【0044】
<第2の実施形態>
図6は、本発明の第2の実施形態に係る手術支援システムの説明図である。
本実施形態では、手術の参加者がHMD12を装着しておらず、外部ディスプレイ(表示部)D1~D3の表示を見ながら手術を行う。そして、各外部ディスプレイD1~D3には、それぞれの位置や姿勢(方向)に応じた映像が出力されるようになっている。具体的には、外部ディスプレイD1~D3を正面から見た人の視線の方向から術部を観察した映像が外部ディスプレイD1~D3に出力される。したがって、処理装置13には、外部ディスプレイD1~D3の位置及び姿勢(方向)に関する情報が入力される。

【0045】
通常、外部ディスプレイD1~D3の位置及び姿勢は固定された状態となるため、これらの情報は予め処理装置13に入力される。また、手術前後や手術中に外部ディスプレイD1~D3の位置や姿勢が変更される場合には、当該位置及び姿勢を検出するセンサを設けておき、その検出情報をリアルタイムに処理装置13に入力してもよい。

【0046】
外部ディスプレイD1~D3の位置及び姿勢は、当該外部ディスプレイD1~D3を正面から見る人間の視線の方向に対応するため、例えば、術者X1の正面に配置された外部ディスプレイD1には、術者X1の視線方向から術部を観察した映像が出力される。また、術者X1の斜め前方に配置された他の外部ディスプレイD2には、これを正面から見た人の視線の方向から術部を観察した映像が出力される。したがって、術者X1は、その視線を外部ディスプレイD1から外部ディスプレイD2に変えることによって、術部の観察方向を変えることができる。

【0047】
術者X1の横にいるスタッフX2は、術者X1と同一の外部ディスプレイD1,D2を見ることによって、2方向から術部を観察した映像を見ることができる。
他のスタッフX3,X4も、他の外部ディスプレイD3を見ることによって、自身の視線の方向にほぼ対応した術部の映像を見ることができる。

【0048】
<第3の実施形態>
図7は、第3の実施形態に係る手術支援システムの説明図である。
本実施形態の手術支援システムは、カメラユニット61と、処理装置63と、表示部62と、操作具91とを備えている。
カメラユニット61は、患者Mの体壁に形成された貫通孔M3に挿入して使用するものであり、第1の実施形態と同様に、複数のカメラ72と、この複数のカメラ72が取り付けられたベース部71と、このベース部71が取り付けられた検出具74とを備えている。また、図示はしていないが、ベース部71には照明も取り付けられる。

【0049】
検出具74は、図8に示すように、第1の実施形態と同様に、軸部74Cによって屈曲可能に連結された複数のリンク部材74Aを備えている。また、複数のリンク部材74Aの屈曲角度は、角度検出器74Bによって検出され、複数のカメラ72の相対位置を検出することができる。

【0050】
また、本実施形態のカメラユニット61は、図7に示すように、検出具74からさらに延長された延長具78を備えている。この延長具78は、検出具74を構成する複数のリンク部材74Aと同一形状の複数のリンク部材78Aを備え、リンク部材74Aに連続して接続されている。また、図8に示すように、複数のリンク部材78Aを接続する軸部78Cにも、検出具74と同様にポテンショメータ等の角度検出器78Bが設けられている。以下の説明では、検出具74と延長具78とを合わせて「挿入具」79という。

【0051】
図7に示すように、本実施形態のカメラユニット61は、患者Mの体壁に形成された貫通孔M3から体腔内に挿入され、その先端部のカメラ72を術部(対象物)に近づけて映像を取得するように構成されている。また、カメラユニット61は、例えば挿入具79の適宜箇所を体壁に固定したり、患者Mのベッドに固定したりすることができる。カメラユニット61は、挿入具79を固定するための手段として、第1の実施形態のようなクリップ具を備えてもよいし、ピン又は磁石等の他の手段を備えてもよい。

【0052】
また、カメラユニット61には、図8に示すように、複数のリンク部材74A,78Aを屈曲動作させるための駆動部80が設けられている。この駆動部80は、例えば、複数のリンク部材74A,78Aの軸部74C,78Cに設けられたモータによって構成することができる。駆動部80により複数のリンク部材74A,78Aを屈曲動作させることによって、図7に示すように、ベース部71を変形させて複数のカメラ72の相対位置を変更することができ、さらにカメラユニット61の全体を屈曲動作させることができる。

【0053】
処理装置63は、第1の実施形態と同様の生成部81及び表示制御部82を備える他、配置制御部83と、操作制御部84とを備えている。操作制御部84は、カメラユニット61の駆動部80を制御して挿入具79を屈曲操作するためのものである。
図11に示すように、カメラユニット61の挿入具79は、操作具91によって屈曲操作される。この操作具91は、マスタースレーブ型の操作具であり、カメラユニット61の挿入具79の構造を模したマスターコントローラとされている。

【0054】
操作具91は、軸部によって屈曲可能に接続された複数のリンク部材91Aと、このリンク部材91Aの屈曲角度(相対角度)を検出するポテンショメータ等の角度検出器91Bとを備えている。そして、操作具91を術者等が手動で屈曲操作すると、各角度検出器91Bによって検出された相対角度の信号が操作制御部84に入力される。操作制御部84は、入力された相対角度に基づいてカメラユニット61の駆動部80を制御し、操作具91と同様の動きをカメラユニット61の挿入具79に行わせる。

【0055】
したがって、患者Mの体腔内にカメラユニット61を挿入して先端部のカメラ72を対象物に接近させる際に、操作具91の操作を介してカメラユニット61を屈曲動作させることができ、対象物に到るまでの間にカメラユニット61が他の臓器等に干渉するのを防止し、カメラユニット61を術部に容易に到達させることができる。

【0056】
図7に示すように、処理装置63の配置制御部83は、生成部81による自由視点映像の生成が可能な配置で複数のカメラ72を配置させるように、カメラユニット61の駆動部80を制御するものである。複数のカメラ72によって撮影された映像を元に自由視点映像を生成する場合、各カメラ72の注視点(注視位置)が一致していないと各カメラ72の映像にずれが生じ、補間映像を生成することが困難となる。そのため、本実施形態の配置制御部83は、一例として、いずれかのカメラ72を基準となるカメラ72として定め、その基準のカメラ72によって撮影される映像内に設定された注視点に、他のカメラ72の注視点を一致させるように複数のカメラ72を配置させる。

【0057】
例えば、図9に示すように、複数のカメラ72のうちの1つのカメラ72(例えば、中央のカメラ72)を基準カメラに設定する。そして、体腔内に挿入したカメラユニット61の基準カメラ72の映像を外部ディスプレイ等に表示させるようにする。術者等は、対象物を撮影できる位置に基準カメラ72を配置し、さらに基準カメラ72の映像中の特定位置(例えば中心)が注視点となるように基準カメラ72を配置する。配置制御部83は、基準カメラ72によって撮影された注視点についての3次元座標群を求め、図10に示すように、他のカメラ72の注視点が、基準カメラ72の注視点に一致するように他のカメラ72の相対位置を変更する。生成部81は、複数のカメラ72によって撮影された映像を用いて自由視点映像を生成し、表示制御部82は、生成された自由視点映像を表示部62に表示させる。

【0058】
また、配置制御部83は、評価関数に基づいて複数のカメラ72の相対位置を自律的に変更することができる。この評価関数とは、例えば、複数のカメラ72によって撮影された映像やこの映像を元に生成された自由視点映像が滑らかに繋がっているか否か(ズレが生じていないか否か)等を評価し、その評価スコアが高くなるように複数のカメラ72の配置を制御するためのものである。つまり、配置制御部83は、自由視点映像の生成結果を評価した上で複数のカメラ72の相対位置をフィードバック制御する。このような評価関数を用いることによって、より正確な自由視点映像を生成することができる。

【0059】
配置制御部83は、注視点についての外部からの入力に応じて複数のカメラ72の相対位置を自律的に制御することもできる。例えば、外部ディスプレイに表示された映像に対して関心領域を入力すると、配置制御部83は、その関心領域を注視点として複数のカメラ72の相対位置を変更する。この場合も評価関数を用いることによってより適切なカメラ72の相対位置を求めることができる。外部ディスプレイに対する入力は、例えばマウスを用いたクリック操作や、タッチパネルタイプの外部ディスプレイに対するタッチ操作等により行うことができる。この場合、マウスや外部ディスプレイが入力を受け付ける受付部を構成する。

【0060】
他の入力方法として、例えば、処置具A2の先端部に磁気センサ等の位置検出センサを取り付けておき、手術中に検出された処置具A2の先端位置を注視点についての入力とすることができる。処置具A2の先端位置は、術者の関心領域と考えることができるため、その先端位置を注視点として複数のカメラ32の相対位置を変更することによって、実際に手術に応じた適切な自由視点映像を生成することができる。

【0061】
他の入力方法として、第1の実施形態で説明したHMD12において、位置・姿勢センサ12Bによって検出された表示部12Aの位置及び姿勢を注視点についての入力とすることができる。この表示部12Aを正面から見る装着者の視線の先は、装着者の関心領域と考えることができるため、視線の先を注視点として複数のカメラ72の相対位置を変更することができる。なお、本実施形態においては、表示部としてHMD12だけでなく、第2の実施形態のような外部ディスプレイD1~D3を用いることもできる。この場合、外部ディスプレイに表示されている映像に対して直接関心領域(注視点)を入力するようにすればよい。

【0062】
配置制御部83は、複数のカメラ72を予め設定した配置パターンに従って配置するように駆動部80を制御してもよい。例えば、患者Mの体腔内に挿入したカメラユニット61の基準カメラ72を撮影対象物を撮影可能な位置に配置した後、その基準カメラ72から注視点までの距離等に応じて最適な配置パターンを選択し、その配置パターンに従って他のカメラ72の相対位置を変更するようにしてもよい。

【0063】
なお、今回開示された実施形態および変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
例えば、上記第1及び第2の実施形態では、患者の胸腔にカメラユニットを装着する例について説明したが、腹腔等の他の箇所にカメラユニットを装着することも可能である。
カメラユニットの固定具は、上述のようなクリップを用いた構造に限らず、例えば、体の内面又は外面に突き刺して固定する構造等、他の形態を採用することも可能である。

【0064】
また、上記第1及び第2の実施形態では、複数のカメラを取り付けたカメラユニットを用いているが、相互に独立した複数のカメラをそれぞれ患者の体内に挿入し、固定してもよい。
上記各実施形態におけるカメラは、2Dカメラであってもよいし、3Dカメラであってもよい。また、2Dカメラと3Dカメラを混在させてもよい。例えば、複数の2Dカメラを自由視点映像を生成するために用い、単一又は複数の3Dカメラを特定の部分を狭視野で撮影するために用いることができる。

【0065】
第1及び第2の実施形態におけるカメラユニットのベース部は、体腔の内面に沿って変形しないものであってもよい。この場合、複数のカメラの相対位置を固定することができる。また、第1及び第2の実施形態におけるカメラユニットに、取付部を変形させる駆動部を設け、適切な自由視点映像を生成するために、自律的に複数のカメラの相対位置を変更できるように構成してもよい。
上記各実施形態において、カメラはベース部ではなく検出具のリンク部材に直接取り付けられていてもよい。この場合、リンク部材が取付部を構成することになる。

【0066】
処置具の操作は、術者が直接的に行うものであってもよいし、術者が遠隔操作により作動する手術用ロボットによって行うものであってもよい。
また、本発明の手術システムは、表示部として、HMDと外部ディスプレイとを併用したものであってもよい。

【0067】
本発明の手術支援システムは、処理装置の機能構成として、複数のカメラの映像を結合することによって広角映像を生成する第2生成部をさらに備えていてもよい。そして、このような広角映像と自由視点映像とを同時に又は切り換えて表示部に表示させてもよい。このような広角画像を表示部に表示させることによって、術部をより広範囲に観察することができ、適切な処置に役立てることができる。また、広角映像を生成する場合にも、第3の実施形態において説明したように、注視点についての外部からの入力に応じて複数のカメラの相対位置を自律的に制御することができる。この場合、評価関数を用いて広角映像の生成結果をフィードバックすることによって複数のカメラの相対位置を変更し、より正確な広角映像を生成するようにしてもよい。

【0068】
本発明の手術支援システムは、例えば微小ガン等の病変を特定するシステムと併用することが好適である。例えば、超音波や画像を用いてガン等の病変を確認し、確認した病変の近くに小型のタグ装置を留置するシステムと併用することができる。このシステムは、手術の際に患者の体内でタグ装置の位置を確認することによって病変の位置を特定することができるので、特定した病変の位置に合わせて本発明のカメラを設置することによって、より適切で正確な術部の撮影を行うことができる。
【符号の説明】
【0069】
10 :手術支援システム
11 :カメラユニット
12 :ヘッドマウントディスプレイ
12A :表示部
32 :カメラ
34 :検出具(検出部)
35 :クリップ具(固定部)
41 :生成部
42 :表示制御部
61 :カメラユニット
72 :カメラ
80 :駆動部
81 :生成部
82 :表示制御部
83 :配置制御部
D1~D3:外部ディスプレイ(表示部)
M :患者
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11