TOP > 国内特許検索 > 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム > 明細書

明細書 :画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成27年8月3日(2015.8.3)
発明の名称または考案の名称 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
国際特許分類 A61B   1/04        (2006.01)
A61B   1/00        (2006.01)
G02B  23/24        (2006.01)
FI A61B 1/04 370
A61B 1/00 300D
A61B 1/00 300E
G02B 23/24 B
国際予備審査の請求 未請求
全頁数 17
出願番号 特願2014-506196 (P2014-506196)
国際出願番号 PCT/JP2013/057392
国際公開番号 WO2013/141155
国際出願日 平成25年3月15日(2013.3.15)
国際公開日 平成25年9月26日(2013.9.26)
優先権出願番号 2012061285
優先日 平成24年3月17日(2012.3.17)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IS , JP , KE , KG , KM , KN , KP , KR , KZ , LA , LC , LK , LR , LS , LT , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ , UA , UG , US , UZ , VC
発明者または考案者 【氏名】藤江 正克
【氏名】小林 洋
【氏名】川村 和也
【氏名】瀬能 洸冬
【氏名】西尾 祐也
【氏名】橋爪 誠
【氏名】家入 里志
【氏名】豊田 和孝
出願人 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
個別代理人の代理人 【識別番号】100114524、【弁理士】、【氏名又は名称】榎本 英俊
審査請求 未請求
テーマコード 2H040
4C161
Fターム 2H040BA04
2H040BA06
2H040GA02
2H040GA06
2H040GA11
4C161BB06
4C161CC06
4C161GG22
4C161HH52
4C161HH55
4C161HH56
4C161JJ11
4C161JJ17
4C161LL01
4C161NN01
4C161PP12
4C161RR06
4C161RR22
4C161TT07
4C161WW02
4C161WW04
4C161WW13
要約 画像補完システム10は、対象空間が撮像された術野画像V1を取得する術野内視鏡16と、術野内視鏡16とは別の視線方向から対象空間を撮像して術野画像V1を補完する補完用画像V2を取得する補完用内視鏡17と、対象空間内に多数設定された各設定点と基準点との離間距離を計測する測距装置12と、各内視鏡16,17の3次元位置を計測する3次元位置計測装置13と、当該計測結果に基づいて、手術器具Sが対象空間とともに術野画像V1に撮像されることにより、手術器具Sの奥側に隠れた対象空間の遮蔽領域の画像情報を補完用画像V2から取得し、取得した画像情報を術野画像V1内の手術器具Sの画像情報に対して置換若しくは重畳させる画像処理装置14とを備えている。
特許請求の範囲 【請求項1】
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも3点以上設定された各設定点の3次元位置、並びに前記主撮像装置及び前記補完用撮像装置のそれぞれの3次元位置に基づき、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記主画像装置及び前記補完用撮像装置は、それぞれ移動しながら前記対象空間をほぼ同時に撮像可能に設けられ、
前記画像処理装置では、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた前記対象空間の遮蔽領域の画像情報を、逐次検出される前記各3次元位置の情報を基に前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。
【請求項2】
前記画像処理装置は、前記各3次元位置の検出結果から、前記各設定点について、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主撮像装置の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記合成画像を生成する合成画像生成手段とを備えたことを特徴とする請求項1記載の画像内遮蔽領域の画像補完システム。
【請求項3】
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも3点以上設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置と、
前記主撮像装置及び前記補完用撮像装置の3次元位置を計測する3次元位置計測装置と、
前記測距装置及び前記3次元位置計測装置からの計測結果に基づいて、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記画像処理装置は、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた対象空間の遮蔽領域の画像情報を前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。
【請求項4】
前記画像処理装置は、前記測距装置及び前記3次元位置計測装置の計測結果から、前記各設定点について、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主撮像装置の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記合成画像を生成する合成画像生成手段とを備えたことを特徴とする請求項3記載の画像内遮蔽領域の画像補完システム。
【請求項5】
前記補完用画像変形手段では、前記補完用画像内の前記各設定点が、前記主画像内に存在する同一の前記設定点の画面内座標に一致するように、前記補完用画像の画像情報を移動することで前記変形画像を生成することを特徴とする請求項2又は4記載の画像内遮蔽領域の画像補完システム。
【請求項6】
主撮像装置によって取得され、モニター対象となる対象空間の主画像と、補完用撮像装置によって前記主画像と別の視線方向からほぼ同時に撮像された前記対象空間の補完用画像とを合成することで、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像された際に、前記部材の少なくとも一部によって遮蔽された前記主画像内の遮蔽領域の画像情報を前記補完用画像の画像情報で補完する処理を行う画像処理装置であって、
前記対象空間に少なくとも3点以上設定された各設定点について、当該各設定点の3次元位置と、前記主撮像装置及び前記補完用撮像装置のそれぞれの3次元位置とから、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主画像の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記主画像の遮蔽領域を前記補完用画像で補完した合成画像を生成する合成画像生成手段とを備えたことを特徴とする画像処理装置。
【請求項7】
主撮像装置によって取得され、モニター対象となる対象空間の主画像と、補完用撮像装置によって前記主画像と別の視線方向からほぼ同時に撮像された前記対象空間の補完用画像とを合成することで、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像された際に、前記部材の少なくとも一部によって遮蔽された前記主画像内の遮蔽領域の画像情報を前記補完用画像の画像情報で補完する処理を行うコンピュータを含む画像処理装置のプログラムであって、
前記対象空間に少なくとも3点以上設定された各設定点について、当該各設定点の3次元位置と、前記主撮像装置及び前記補完用撮像装置のそれぞれの3次元位置とから、前記各設定点の前記主画像内の画面内座標及び前記補完用画像内の画面内座標を算出する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主画像の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記主画像の遮蔽領域を前記補完用画像で補完した合成画像を生成する合成画像生成手段として、前記コンピュータを機能させることを特徴とする画像処理装置のプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムに係り、更に詳しくは、所定の部材によって一部が遮蔽された状態で撮像された対象空間の画像情報を他の視線方向から撮像された他の画像情報で補完する画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムに関する。
【背景技術】
【0002】
近年、大きな切開を要さずに患者への負担を少なくする低侵襲手術が普及しており、この低侵襲手術として内視鏡下手術が知られている。この内視鏡下手術は、メス、鉗子、穿刺針等が先端側に設けられた棒状の手術器具と、内視鏡とが、患者の体表部分に開けた穴から体内に挿入され、手術者が手術器具を患者の体外側から操作することにより、患部の処置を行う手術である。このような内視鏡下手術は、手術者の手で手術器具を直接操作する態様の他に、ロボットアームの動作にて手術器具を動かす手術支援ロボットの支援による態様もある。
【0003】
ところが、前述の内視鏡下手術では、手術者が患部及びその周辺を直視することができず、モニター上の内視鏡映像でしか患部を視認できないため、手術者の視野が制限されるという問題がある。特に、内視鏡映像では、手術器具が映ると、当該手術器具の奥行側に存在する体内空間が手術器具によって隠されて視認することができない。このような場合は、内視鏡の姿勢を変える操作等で対処可能になる場合があるが、術中における当該操作が面倒となる。加えて、手術器具は、術中、患部に接近していることが多く、内視鏡の姿勢を変えても、依然、内視鏡映像のどこかに映ることが多いため、手術器具による遮蔽領域の存在により、視野が一層狭くなってしまうことが多く、患部付近の正確な空間把握が一層難しくなる。このため、前記遮蔽領域に、手術器具を接触させてはならない血管や神経等の危険部位が存在すると、当該危険部位に手術器具が不意に接触し、出血等の偶発症を発生させてしまう虞がある。
【0004】
ところで、特許文献1には、MRI(磁気共鳴画像診断装置)等で撮像された三次元画像データを処理して内視鏡映像に重畳する手術支援装置が開示されている。この手術支援装置では、三次元画像内の特定領域を抽出したセグメンテーション画像データを作成し、当該セグメンテーション画像データに投影処理を施して手術支援画像を作成し、当該手術支援画像を内視鏡映像に重畳するようになっている。
【0005】
また、特許文献2には、手術中に撮像された立体内視鏡画像と、MRI等によって手術前に撮像された画像データから得られた3次元画像との対応を取り、これら各画像内の位置合わせを行って、当該各画像を合成表示する画像処理装置が開示されている。この画像処理装置では、術具によって、立体内視鏡画像の左右何れかの画像の一部が遮られている場合に、術具の裏側に存在する組織における特徴点を幾何学的に復元し、術具の裏側に存在する組織の3次元位置を把握するようになっている。
【先行技術文献】
【0006】

【特許文献1】特開2007-7041号公報
【特許文献2】特開平11-309号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、前記特許文献1の手術支援装置にあっては、内視鏡映像に手術器具が映った場合、その奥行方向の遮蔽領域が自動的に特定され、当該遮蔽領域における体内空間の画像情報が得られる訳ではなく、内視鏡映像内の手術器具の存在による手術者の視野の制限という前述の問題を解決することができない。
【0008】
また、前記特許文献2の画像処理装置にあっては、立体内視鏡内で、手術器具等によって遮蔽された裏側の組織の3次元位置を特定するために、先ず、手術器具が映らない状態の立体内視鏡画像を取得し、手術中、その際の立体内視鏡の位置姿勢を変えないことが条件になる。従って、立体内視鏡の位置姿勢を変える度に、内視鏡画像に映らない場所に手術器具を待避させる操作が都度必要になり、手術をスムーズに行う上での障害となる。更に、MRI等によって手術前に得られた3次元画像を内視鏡画像に重ね合わせるため、手術中に内視鏡画像に映る臓器等が動かされる等、内視鏡画像に撮像される体内空間の状態が変化する場合には、リアルタイムに取得される内視鏡画像と、手術前にMRI等によって取得した過去の体内空間の状態を表す3次元画像との間で、同一部分の対応を取ることができず、前記内視鏡画像に前記3次元画像を重ね合わせることができない。
【0009】
本発明は、このような課題に着目して案出されたものであり、その目的は、所定の対象空間を撮像した画像に対し、所定の部材によって一部が遮蔽された遮蔽領域が存在する場合に、対象空間の状況が変わっても、煩雑な操作を行わずに、当該遮蔽領域における対象空間の画像情報を補完することができる画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【0010】
前記目的を達成するため、本発明は、主として、モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、前記対象空間に少なくとも3点以上設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置と、前記主撮像装置及び前記補完用撮像装置の3次元位置を計測する3次元位置計測装置と、前記測距装置及び前記3次元位置計測装置からの計測結果に基づいて、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、当該画像処理装置は、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた対象空間の遮蔽領域の画像情報を前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成する、という構成を採っている。
【発明の効果】
【0011】
本発明によれば、手術器具等の部材が対象空間とともに主画像内に撮像され、対象空間の一部の画像情報が手術器具で隠された場合に、当該隠された部分における部材の奥行側の画像情報が、リアルタイムな補完用画像の画像情報により補完され、主画像に対して、前記部材をあたかも透視したかのような合成画像をリアルタイムで得ることができる。その結果、前記部材による遮蔽領域が画像処理によって解消され、当該遮蔽領域の存在による主画像内での視野の低下が改善され、当該視野を実質的に拡げることができる。
【図面の簡単な説明】
【0012】
【図1】本実施形態に係る画像補完システムの概略システム構成図。
【図2】(A)~(F)は、術野画像V1と補完用画像V2の合成画像を取得するための手順を説明するための画像を示す図。
【図3】座標系の変換を説明するための概念図。
【図4】(A)は、設定点Pの画面内移動を説明するための画像を示す図であり、(B)は、非定点Pの画面内移動を説明するために(A)の一部を拡大した画像を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について図面を参照しながら説明する。

【0014】
図1には、本実施形態に係る画像内遮蔽領域の画像補完システムの概略システム構成図が示されている。この図において、本実施形態の画像補完システム10は、手術器具Sの先端に取り付けられたメスや鉗子等の処置部S1を体外側から操作して手術を行う内視鏡下手術時に用いられる内視鏡映像を補完するシステムである。

【0015】
この画像補完システム10は、処置対象の患部を含む臓器K及びその周辺部分からなるモニター対象の体内空間である対象空間を撮像する撮像装置11と、対象空間内の物体に仮想的に多数設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置12と、撮像装置11の3次元位置をそれぞれ計測する3次元位置計測装置13と、撮像装置11で得られた画像を処理する画像処理装置14とを備えている。

【0016】
前記撮像装置11は、手術者が手術の際に見る治療領域の内視鏡映像を構成する主画像となる術野画像V1(図2(A)参照)を取得する単眼の術野内視鏡16(主撮像装置)と、術野画像を補完する補完用画像V2(図2(B)参照)を取得する単眼の補完用内視鏡17(補完用撮像装置)とからなる。術野内視鏡16は、手術者の指示或いは操作により、所望の対象空間を撮像されるようになっている。補完用内視鏡17は、術野内視鏡16と別の視線方向から前記対象空間を撮像可能になっており、術野内視鏡16の移動に追従して一体的に移動可能にしても良いし、術野内視鏡16と相対移動可能にしても良い。但し、補完用内視鏡17は、術野内視鏡16で撮像される術野画像V1内に存在する手術器具Sによって、当該術野画像V1内で隠されてしまったその奥行側の対象空間の領域を撮像可能となるように配置される。

【0017】
前記測距装置12としては、例えば、特開2010-220787号公報等に開示された公知の構造のものが採用されており、ステレオ画像を取得可能なステレオカメラ19と、ステレオカメラ19で撮像された一対のステレオ画像の間で対応点を探索し、ステレオマッチング法を用いて、各対応点のステレオカメラ19の先端からの距離を求める距離計測手段20とを備えている。なお、測距装置12の詳細な構造及びアルゴリズムについては、公知の技術が採用され、本発明の本質部分ではないため、詳細な説明を省略する。

【0018】
ここで、前記ステレオカメラ19は、補完用内視鏡17に一体的に設けられており、補完用内視鏡17に映る空間の殆どのステレオ画像を取得可能となっている。

【0019】
前記距離計測手段20では、図2(C)に模式的に示すように、補完用内視鏡17に映る物体の表面上に、多数の設定点Pが自動的に設定され、当該各設定点Pについて、ステレオカメラ19の先端からの距離が求められ、ステレオカメラ19の所定点を原点としたステレオカメラ座標系における3次元座標(3次元位置)が特定(検出)される。ここで、各設定点Pは、特に限定されるものではなく、少なくとも3点以上存在すれば良いが、本実施形態では、補完用内視鏡17に映る物体について、画面上の縦横所定間隔毎に多数設定される。なお、ステレオカメラ19の何れか一方のカメラを補完用内視鏡17と併用してもよい。

【0020】
前記3次元位置計測装置13は、位置計測対象となる部材にそれぞれ少なくとも3箇所ずつ取り付けられるマーカ22と、各マーカ22から発光された赤外線を受光する受光部23Aを含む本体23とを備え、各マーカ22の動きに合わせて当該赤外線を追跡することにより、各マーカ22の3次元位置を検出可能な公知の構造のものが採用される。当該構造については、本発明の本質部分でないため、詳細な説明を省略する。なお、3次元位置計測装置13としては、位置計測対象となる部材の3次元位置を検出できる限りにおいて、種々の原理や構造の装置を代替的に用いることも可能である。

【0021】
ここで、前記マーカ22は、手術器具S、術野内視鏡16、及び補完用内視鏡17のそれぞれについて、手術時に体外側に位置する後端部分に取り付けられており、それら後端部分について、本体23で、所定点を原点とする基準座標系の3次元座標(位置)が測定される。また、手術器具S、術野内視鏡16、及び補完用内視鏡17が予め特定された既知の形状であるため、それら後端部分の3次元座標から、当該後端部分と相対移動しない各構成部分の3次元座標が、本体23内の演算によって求められる。なお、術野内視鏡16及び補完用内視鏡17が相対移動不能に一体化されていれば、それら何れか一方のみにマーカ22を設ければ良い。また、本実施形態では、補完用内視鏡17と測距装置12のステレオカメラ19とが相対移動不能に一体的に設けられているため、3次元位置計測装置13で補完用内視鏡17の各構成部分の位置が求められると、ステレオカメラ17の各構成部分の位置も自動的に特定される。これにより、測距装置12で求めたステレオカメラ座標系における各設定点Pの3次元座標が、3次元位置計測装置13の計測結果から、前記基準座標系の3次元座標に変換可能になる。

【0022】
なお、ステレオカメラ17が、手術器具S、術野内視鏡16、及び補完用内視鏡17の何れにも相対移動可能になっている場合には、ステレオカメラ17の後端部分にもマーカ22が取り付けられる。

【0023】
前記画像処理装置14は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。

【0024】
この画像処理装置14は、術野画像V1内に映る手術器具Sの奥行側に隠れた対象空間の遮蔽領域について、補完用画像V2から画像情報を取得し、当該取得した画像情報を術野画像V1の遮蔽領域の画像情報に対して置換若しくは重畳させることで、当該遮蔽領域を補完用画像で補完した合成画像を生成する処理を行うようになっている。

【0025】
具体的に、画像処理装置14は、測距装置12及び3次元位置計測装置13の計測結果から、各設定点Pについて、基準座標系における3次元座標(3次元位置)を特定し、術野画像V1内の画面座標系における画面内座標(2次元座標)と補完用画像V2内の画面座標系における画面内座標(2次元座標)とを求める設定点位置特定手段25と、設定点位置特定手段25で求めた各画面内座標に基づき、補完用画像V2内の画像情報を術野内視鏡16の視線方向に変換するように、補完用画像における各点(ピクセル)の画像情報を画面内で移動させた変形画像V3(図2(D)参照)を生成する補完用画像変形手段26と、術野画像V1内で、手術器具Sの処置部S1よりも後側となる棒状の本体部分S2が占める遮蔽領域を特定する遮蔽領域特定手段27と、変形画像V3内で遮蔽領域に相応する相応領域(図2(D)中の破線内領域)を特定し、術野画像V1の遮蔽領域の画像情報を変形画像V3の相応領域の画像情報に置換若しくは重畳することで、術野画像V1と補完用画像V2の合成画像を生成する合成画像生成手段28とを備えている。

【0026】
前記画像処理装置14における画像補完の手順について、以下に説明する。

【0027】
先ず、設定点位置特定手段25では、3次元位置計測装置13の計測結果から、測距装置12で求めたステレオカメラ座標系における各設定点Pの3次元座標が前記基準座標系(図3参照)の3次元座標に変換される。そして、予め記憶された以下の公知の数式により、補完用画像V2内における各設定点Pの画面内座標(2次元座標)が求められる。なお、3次元座標系である基準座標系は、z軸方向が補完用内視鏡17の光軸方向に一致するように設定されている。
【数1】
JP2013141155A1_000003t.gif
以上の各式において、(x,y,z)は、基準座標系における各設定点P(i=1~n)の3次元座標である。また、式(1)及び(2)において、(u,v)は、設定点Pの補完用画像V2における画面座標系の画面内座標、すなわち、画面横方向と画面縦方向の2次元座標である。更に、fは、術野内視鏡の焦点距離であり、kは、補完用内視鏡17の画面横方向の画面解像度であり、kは、補完用内視鏡17の画面横方向の画面解像度であり、(u,v)は、補完用画像V2の画像面上で光軸の横切る点の画面横方向と画面縦方向の座標である。ここで、f、k、k、u,v、は、補完用内視鏡17の仕様や配置状態に応じて特定され、予め記憶された定数である。

【0028】
次に、基準座標系における各設定点Pの座標(x,y,z)が、3次元位置計測装置13の計測結果による術野内視鏡16と補完用内視鏡17との相対位置関係から、術野内視鏡16の所定位置を基準とした3次元座標(x′,y′,z′)に変換され、更に、上式(1)、(2)と同様の数式により、各設定点Pの術野内視鏡16内における画面内座標(u′,v′)に変換される。

【0029】
次に、補完用画像変形手段26では、各設定点Pの術野画像V1の画面内座標(u′,v′)と、各設定点Pの補完用画像V2の画面内座標(u,v)とから、補完用画像V2内の各点の画像情報が、当該各点と同一部位が映された術野画像V1内の画面内座標に相当する位置に補完用画像V2の画面内で移動され、補完用画像V2の変形画像V3が生成される。

【0030】
すなわち、ここでは、先ず、図4(A)に示されるように、補完用画像V2の画面内座標(u,v)における各設定点Pの画像情報が、相応する各設定点Pの術野画像V1内での画面内座標(u′,v′)と同一の画面内座標になるように、補完用画像V2内で移動される。そして、図4(B)に示されるように、補完用画像V2における設定点P(同図中白丸点)以外の残り部位となる各非定点P(p=1、2・・・)(同図中黒丸点:1点のみ表示)の画像情報が、加重平均により以下のように移動される。なお、図4(B)において、設定点Pについては、同図中白丸にて表されている。一方、各非定点Pについては、図面の錯綜を回避する理由で、1点の黒丸にて表されているが、実際は、設定点Pを除く画面内のピクセル部分にそれぞれ存在することになる。

【0031】
先ず、補完用画像V2の全体よりも小さい一定範囲の仮想領域Tが設定され、一つの非定点Pを中心にして、仮想領域T内に存在する設定点Pが特定される。図4(B)の例では、仮想領域T内にPからPの4個の設定点Pが存在する。
次に、次の重み係数Wが、仮想領域T内に存在する設定点Pに対応してそれぞれ求められる。具体的には、仮想領域T内に存在する設定点Pそれぞれについて、非定点Pに対する離間距離が求められ、当該離間距離から、予め設定された演算式を用いて重み係数Wが求められる。この重み係数Wは、離間距離に応じて逆比例するように設定される。
そして、以下の式によって、各非定点Pについての移動ベクトルT(u,v)がそれぞれ求められる。なお、ここでは、仮想領域T内にN個存在する設定点Pを設定点PT(j=1、2、・・・、N)とし、当該各設定点PTにつき、前述した手順によって特定された補完用画像V2内の移動ベクトルをT(u,v)とし、非定点Pからの離間距離に応じた前述の重み係数をWとする。
【数2】
JP2013141155A1_000004t.gif
その後、補完用画像V2の各非定点Pの画像情報が、それぞれ求めた移動ベクトルT(u,v)による移動量及び移動方向に従い、補完用画像V2の画面内で移動される。その結果、補完用画像V2内の各設定点P及び各非定点Pの各画像情報を同一画面内で移動させ、補完用画像V2を術野内視鏡16の視線方向に変換させた変形画像V3が生成される。

【0032】
なお、補完用画像変形手段26では、非定点Pにおける画像情報の移動ベクトルT(u,v)を加重平均により求めたが、設定点Pの位置情報からBスプライン補完等、他の手法を用いて移動ベクトルT(u,v)を求めても良い。

【0033】
次に、前記遮蔽領域特定手段27では、次のようにして、術野画像V1内で本体部分S2が占める遮蔽領域の位置が特定される。すなわち、3次元位置計測装置13により、手術器具S1の各部位の基準座標系における3次元座標が求められる。そして、これら各3次元座標は、設定点位置特定手段25での説明した各式と同様の演算式を用い、術野画像V1の画面座標系における画面内座標(2次元座標)に変換され、術野画像V1における遮蔽領域の位置が特定される。なお、遮蔽領域の特定は、前述した手法に限定されるものではなく、本体部分S2に所定の色彩を付し、当該色彩に基づき、術野画像V1の画像情報を識別して遮蔽領域を特定する公知の手法を採用しても良い。

【0034】
その後、前記合成画像生成手段28では、以下のマスク処理を行うことで合成画像が生成される。すなわち、先ず、図2(E)に示されるように、術野画像V1内で特定された遮蔽領域を抽出したマスクが生成される。そして、生成されたマスクにより、術野画像V1内の遮蔽領域の画面内座標の範囲と一致する変形画像A3(同図(D))内の画面内座標の範囲が、相応領域(同図(D)の破線内領域)として特定され、この相応領域の画像情報が抽出される。その後、当該相応領域の画像情報が、術野画像V1内の遮蔽領域の画像情報に対して重畳若しくは置換され、同図(F)に示される合成画像が生成される。

【0035】
前記合成画像は、術野画像V1をベースに、術野画像V1に写る手術器具Sの本体部分S2を透過させたかの如く、本体部分S2の奥行側の画像情報が、補完用内視鏡17からの補完用画像V2で補完された画像となる。従って、合成画像では、術野画像V1に映された手術器具Sのうち先端の処置部S1のみ残された状態となり、術野画像V1において、手術者が術中に必要な処置部S1の他は、体内空間を映し出すことができ、内視鏡映像の術野を実質的に拡げることができる。

【0036】
なお、前記実施形態では、内視鏡下手術における内視鏡映像の画像処理を行う画像補完システム10について図示説明したが、本発明はこれに限らず、内視鏡下手術を支援する手術支援ロボットの内視鏡映像の画像処理の他、例えば、原子力発電所の原子炉内での作業等、人が立ち入ることができずに直視できない作業空間について、カメラ等の撮像装置からの映像を取得しながら、ロボットアーム等の遠隔操作を行うための画像処理にも適用可能である。この場合は、前述の手術器具Sをロボットアーム等の予め特定された部材に代え、前述と同様のアルゴリズムを適用すれば、当該用途に沿った画像補完システムとすることができる。

【0037】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【産業上の利用可能性】
【0038】
本発明は、人間が直視できない空間内の画像を取得する撮像装置による視野の制限を補完するシステムとして産業上利用可能である。
【符号の説明】
【0039】
10 画像補完システム
11 撮像装置
12 測距装置
13 3次元位置計測装置
14 画像処理装置
16 術野内視鏡(主撮像装置)
17 補完用内視鏡(補完用撮像装置)
25 画像内位置算出手段
26 補完用画像変形手段
27 遮蔽領域特定手段
28 合成画像生成手段
P 設定点
S 手術器具(部材)
V1 術野画像(主画像)
V2 補完用画像
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3