Top > Search of Japanese Patents > (In Japanese)画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム

(In Japanese)画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム

Patent code P150012476
Posted date Oct 28, 2015
Application number P2014-506196
Patent number P6083103
Date of filing Mar 15, 2013
Date of registration Feb 3, 2017
International application number JP2013057392
International publication number WO2013141155
Date of international filing Mar 15, 2013
Date of international publication Sep 26, 2013
Priority data
  • P2012-061285 (Mar 17, 2012) JP
Inventor
  • (In Japanese)藤江 正克
  • (In Japanese)小林 洋
  • (In Japanese)川村 和也
  • (In Japanese)瀬能 洸冬
  • (In Japanese)西尾 祐也
  • (In Japanese)橋爪 誠
  • (In Japanese)家入 里志
  • (In Japanese)豊田 和孝
Applicant
  • (In Japanese)学校法人早稲田大学
  • (In Japanese)国立大学法人九州大学
Title (In Japanese)画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
Abstract (In Japanese)画像補完システム10は、対象空間が撮像された術野画像V1を取得する術野内視鏡16と、術野内視鏡16とは別の視線方向から対象空間を撮像して術野画像V1を補完する補完用画像V2を取得する補完用内視鏡17と、対象空間内に多数設定された各設定点と基準点との離間距離を計測する測距装置12と、各内視鏡16,17の3次元位置を計測する3次元位置計測装置13と、当該計測結果に基づいて、手術器具Sが対象空間とともに術野画像V1に撮像されることにより、手術器具Sの奥側に隠れた対象空間の遮蔽領域の画像情報を補完用画像V2から取得し、取得した画像情報を術野画像V1内の手術器具Sの画像情報に対して置換若しくは重畳させる画像処理装置14とを備えている。
Outline of related art and contending technology (In Japanese)

近年、大きな切開を要さずに患者への負担を少なくする低侵襲手術が普及しており、この低侵襲手術として内視鏡下手術が知られている。この内視鏡下手術は、メス、鉗子、穿刺針等が先端側に設けられた棒状の手術器具と、内視鏡とが、患者の体表部分に開けた穴から体内に挿入され、手術者が手術器具を患者の体外側から操作することにより、患部の処置を行う手術である。このような内視鏡下手術は、手術者の手で手術器具を直接操作する態様の他に、ロボットアームの動作にて手術器具を動かす手術支援ロボットの支援による態様もある。

ところが、前述の内視鏡下手術では、手術者が患部及びその周辺を直視することができず、モニター上の内視鏡映像でしか患部を視認できないため、手術者の視野が制限されるという問題がある。特に、内視鏡映像では、手術器具が映ると、当該手術器具の奥行側に存在する体内空間が手術器具によって隠されて視認することができない。このような場合は、内視鏡の姿勢を変える操作等で対処可能になる場合があるが、術中における当該操作が面倒となる。加えて、手術器具は、術中、患部に接近していることが多く、内視鏡の姿勢を変えても、依然、内視鏡映像のどこかに映ることが多いため、手術器具による遮蔽領域の存在により、視野が一層狭くなってしまうことが多く、患部付近の正確な空間把握が一層難しくなる。このため、前記遮蔽領域に、手術器具を接触させてはならない血管や神経等の危険部位が存在すると、当該危険部位に手術器具が不意に接触し、出血等の偶発症を発生させてしまう虞がある。

ところで、特許文献1には、MRI(磁気共鳴画像診断装置)等で撮像された三次元画像データを処理して内視鏡映像に重畳する手術支援装置が開示されている。この手術支援装置では、三次元画像内の特定領域を抽出したセグメンテーション画像データを作成し、当該セグメンテーション画像データに投影処理を施して手術支援画像を作成し、当該手術支援画像を内視鏡映像に重畳するようになっている。

また、特許文献2には、手術中に撮像された立体内視鏡画像と、MRI等によって手術前に撮像された画像データから得られた3次元画像との対応を取り、これら各画像内の位置合わせを行って、当該各画像を合成表示する画像処理装置が開示されている。この画像処理装置では、術具によって、立体内視鏡画像の左右何れかの画像の一部が遮られている場合に、術具の裏側に存在する組織における特徴点を幾何学的に復元し、術具の裏側に存在する組織の3次元位置を把握するようになっている。

Field of industrial application (In Japanese)

本発明は、画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムに係り、更に詳しくは、所定の部材によって一部が遮蔽された状態で撮像された対象空間の画像情報を他の視線方向から撮像された他の画像情報で補完する画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも3点以上設定された各設定点の3次元位置、並びに前記主撮像装置及び前記補完用撮像装置のそれぞれの3次元位置に基づき、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記主像装置及び前記補完用撮像装置は、それぞれ移動しながら前記対象空間をほぼ同時に撮像可能に設けられ、
前記画像処理装置では、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた前記対象空間の遮蔽領域の画像情報を、逐次検出される前記各3次元位置の情報を基に前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。

【請求項2】
 
前記画像処理装置は、前記各3次元位置の検出結果から、前記各設定点について、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主撮像装置の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記合成画像を生成する合成画像生成手段とを備えたことを特徴とする請求項1記載の画像内遮蔽領域の画像補完システム。

【請求項3】
 
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも3点以上設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置と、
前記主撮像装置及び前記補完用撮像装置の3次元位置を計測する3次元位置計測装置と、
前記測距装置及び前記3次元位置計測装置からの計測結果に基づいて、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記画像処理装置は、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた対象空間の遮蔽領域の画像情報を前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。

【請求項4】
 
前記画像処理装置は、前記測距装置及び前記3次元位置計測装置の計測結果から、前記各設定点について、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主撮像装置の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記合成画像を生成する合成画像生成手段とを備えたことを特徴とする請求項3記載の画像内遮蔽領域の画像補完システム。

【請求項5】
 
前記補完用画像変形手段では、前記補完用画像内の前記各設定点が、前記主画像内に存在する同一の前記設定点の画面内座標に一致するように、前記補完用画像の画像情報を移動することで前記変形画像を生成することを特徴とする請求項2又は4記載の画像内遮蔽領域の画像補完システム。

【請求項6】
 
主撮像装置によって取得され、モニター対象となる対象空間の主画像と、補完用撮像装置によって前記主画像と別の視線方向からほぼ同時に撮像された前記対象空間の補完用画像とを合成することで、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像された際に、前記部材の少なくとも一部によって遮蔽された前記主画像内の遮蔽領域の画像情報を前記補完用画像の画像情報で補完する処理を行う画像処理装置であって、
前記対象空間に少なくとも3点以上設定された各設定点について、当該各設定点の3次元位置と、前記主撮像装置及び前記補完用撮像装置のそれぞれの3次元位置とから、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主画像の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記主画像の遮蔽領域を前記補完用画像で補完した合成画像を生成する合成画像生成手段とを備えたことを特徴とする画像処理装置。

【請求項7】
 
主撮像装置によって取得され、モニター対象となる対象空間の主画像と、補完用撮像装置によって前記主画像と別の視線方向からほぼ同時に撮像された前記対象空間の補完用画像とを合成することで、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像された際に、前記部材の少なくとも一部によって遮蔽された前記主画像内の遮蔽領域の画像情報を前記補完用画像の画像情報で補完する処理を行うコンピュータを含む画像処理装置のプログラムであって、
前記対象空間に少なくとも3点以上設定された各設定点について、当該各設定点の3次元位置と、前記主撮像装置及び前記補完用撮像装置のそれぞれの3次元位置とから、前記各設定点の前記主画像内の画面内座標及び前記補完用画像内の画面内座標を算出する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主画像の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記主画像の遮蔽領域を前記補完用画像で補完した合成画像を生成する合成画像生成手段として、前記コンピュータを機能させることを特徴とする画像処理装置のプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2014506196thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close