TOP > 国内特許検索 > 測距装置及びそのプログラム、並びに測距システム > 明細書

明細書 :測距装置及びそのプログラム、並びに測距システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5283015号 (P5283015)
公開番号 特開2010-220787 (P2010-220787A)
登録日 平成25年6月7日(2013.6.7)
発行日 平成25年9月4日(2013.9.4)
公開日 平成22年10月7日(2010.10.7)
発明の名称または考案の名称 測距装置及びそのプログラム、並びに測距システム
国際特許分類 A61B   1/00        (2006.01)
A61B   1/04        (2006.01)
FI A61B 1/00 300E
A61B 1/04 370
請求項の数または発明の数 6
全頁数 9
出願番号 特願2009-071052 (P2009-071052)
出願日 平成21年3月24日(2009.3.24)
審査請求日 平成24年3月1日(2012.3.1)
特許権者または実用新案権者 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
発明者または考案者 【氏名】藤江 正克
【氏名】岡本 淳
【氏名】豊田 和孝
【氏名】安藤 健
【氏名】井上 慎太郎
個別代理人の代理人 【識別番号】100114524、【弁理士】、【氏名又は名称】榎本 英俊
審査官 【審査官】大塚 裕一
参考文献・文献 特開2009-005020(JP,A)
特開2001-075019(JP,A)
特開2002-345735(JP,A)
特開2008-029497(JP,A)
特開2004-132759(JP,A)
調査した分野 A61B 1/00~ 1/32
G02B 23/24~23/26
特許請求の範囲 【請求項1】
ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置において、
前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備えたことを特徴とする測距装置。
【請求項2】
前記撮像部位特定手段は、左右何れか一方の基準画像データ中に設定された基準領域における各ピクセルのRGB値から、前記基準領域内のRGB値毎の平均値を求める平均RGB値演算部と、体内部位の種類毎にRGB値の範囲を区分けしてなる体内部位区分データが記憶されたデータ記憶部と、平均RGB値演算部で求めたRGB値毎の平均値から、前記体内部位区分データを用いて、前記基準領域に映し出された体内部位の種類を特定する体内部位特定部とを備えたことを特徴とする請求項1記載の測距装置。
【請求項3】
前記体内部位区分データは、RGB値を直交3軸とした3次元座標中の空間が体内部位の種類毎に仕切られてなり、
前記体内部位特定部では、前記RGB値毎の平均値が属する前記3次元座標中の空間を特定し、当該空間に対応する体内部位の種類が、前記基準領域に映し出された体内部位の種類として特定されることを特徴とする請求項2記載の測距装置。
【請求項4】
前記マッチング領域決定手段は、マッチング領域の大きさが体内部位の種類毎に記憶されたマッチング領域記憶部と、前記体内部位特定部で特定された体内部位の種類に対応するマッチング領域の大きさを前記マッチング領域記憶部から抽出する抽出部とを備えたことを特徴とする請求項2又は3記載の測距装置。

【請求項5】
ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める処理をコンピュータからなる測距装置に実行させるプログラムにおいて、
前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段として前記コンピュータを機能させることを特徴とする測距装置のプログラム。
【請求項6】
ステレオ画像を取得可能な撮像装置と、当該撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置とを備えた測距システムにおいて、
前記測距装置は、前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備えたことを特徴とする測距システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、測距装置及びそのプログラム、並びに測距システムに係り、更に詳しくは、内視鏡下手術における内視鏡と当該内視鏡により撮像された体内部位との距離を測定することに適した測距装置及びそのプログラム、並びに測距システムに関する。
【背景技術】
【0002】
近年、外科手術の低侵襲化が進み、腹腔手術等、多くの手術において内視鏡下手術が行われるようになってきた。内視鏡下手術は、体内を大きく切開することなく手術することができるため、患者へのダメージを軽減できるというメリットがある。ところが、手術者にとっては、内視鏡で映し出された映像を見ながらの手術となることから、視野の確保、奥行き感の把握が困難になり、高い技術が必要とされる手術である。特に、奥行き感の把握は、手術器具と臓器や血管との不意な接触による当該臓器や血管の損傷を防ぐために重要である。現在、多くの内視鏡下手術で使用されている内視鏡は、2次元映像を提供するものであるため、体表から患部に向かう奥行き方向の距離を把握するには多くの経験が必要とされる。この問題を解決するために、3次元映像を提供可能な立体内視鏡が開発されており、手術時における奥行き感の把握が行い易くなっている。ところが、立体内視鏡を使用しただけでは、その先端から臓器や血管等の体内部位までの距離を定量的に把握することができず、内視鏡、手術器具等の手術機器と体内部位との接触による当該体内部位の損傷を確実に防げる訳ではない。
【0003】
ところで、特許文献1には、被写体の空間特性を計測することができる内視鏡装置が開示されている。この内視鏡装置は、ステレオ画像を取得可能になっており、2つの視点から被写体を撮像して得られた2つの画像データを用い、三角測量によって被写体の空間特性を計測するようになっている。すなわち、前記内視鏡装置では、ステレオマッチング法を利用した画像処理により、被写体までの距離が測定可能になる。ここで、ステレオマッチング法とは、2台のカメラで撮像された画像を用い、一方のカメラで撮像された画像内の各点と他方のカメラで撮像された画像内の各点との間で対応点を探索する画像マッチング処理を行った上で、三角測量により画像内の各点の3次元位置を演算で求めて、前記距離を算出する手法である。ここで、特許文献1には、前記マッチング処理をどのようにするか開示されていないが、当該マッチング処理の手法としては、特許文献2に開示されているように、Area-Basedマッチング法(以下、「ウインドウマッチング法」と称する。)が知られている。このウインドウマッチング法は、一方の画像における各点を含む周囲の領域の色情報から、当該色情報に相応する他方の画像中の領域を探索することにより、前記対応点を特定する手法である。つまり、一方の画像中の各点について、当該各点が中心となる一定範囲のマッチング領域を設定し、各マッチング領域に対し、それぞれ色情報が対応する他方の画像中の領域を探索し、当該領域の中心が前記対応点として決定される。
【先行技術文献】
【0004】

【特許文献1】特開2008-29497号公報
【特許文献2】特開2004-132759号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前記ウインドウマッチング法を前記特許文献1に適用し、内視鏡から当該内視鏡で撮像された体内部位までの直線距離を求める場合には、次の問題がある。すなわち、臓器や血管等、内視鏡で撮像される体内部位は、その各領域間で色彩や模様等の色情報の差が少ないものと、各領域間で色情報の差がはっきりしたものとが存在する。そこで、各領域間で色情報の差が少ない体内部位で対応点探索を行う場合には、前記マッチング領域を大きくする必要がある。ところで、前記マッチング領域が大きくなる程、両画像間で色情報を対比する画素数が増えて複雑になるため、対応点探索に要する画像処理時間が増大する。従って、当該画像処理時間の短縮化の観点からは、マッチング領域を小さくする方が良いが、前記各領域間で色彩や模様等の色情報の差が少ない前者の場合は、マッチング領域を大きくせざるを得ない。しかしながら、全ての体内部位での対応点探索が可能となるようにマッチング領域の大きさを一定にしてしまうと、前記各領域間で色情報の差がはっきりした体内部位での対応点探索を行う際、マッチング領域を更に小さくしても十分に処理可能になることから、対応点探索時に不要な画像処理時間がかかってしまう。
【0006】
本発明は、このような課題に着目して案出されたものであり、その目的は、撮像装置で撮像された体内部位に応じてマッチング領域の大きさを変えることにより、ステレオマッチング法による画像処理を効率的に行うことができる測距装置及びそのプログラム、並びに測距システムを提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するため、本発明は、ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置において、
前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備える、という構成を採っている。
【0008】
また、前記撮像部位特定手段は、左右何れか一方の基準画像データ中に設定された基準領域における各ピクセルのRGB値から、前記基準領域内のRGB値毎の平均値を求める平均RGB値演算部と、体内部位の種類毎にRGB値の範囲を区分けしてなる体内部位区分データが記憶されたデータ記憶部と、平均RGB値演算部で求めたRGB値毎の平均値から、前記体内部位区分データを用いて、前記基準領域に映し出された体内部位の種類を特定する体内部位特定部とを備える、という構成を採っている。
【0009】
ここで、前記体内部位区分データは、RGB値を直交3軸とした3次元座標中の空間が体内部位の種類毎に仕切られてなり、
前記体内部位特定部では、前記RGB値毎の平均値が属する前記3次元座標中の空間を特定し、当該空間に対応する体内部位の種類が、前記基準領域に映し出された体内部位の種類として特定される、という構成を採っている。
【0010】
更に、前記マッチング領域決定手段は、マッチング領域の大きさが体内部位の種類毎に記憶されたマッチング領域記憶部と、前記体内部位特定部で特定された体内部位の種類に対応するマッチング領域の大きさを前記マッチング領域記憶部から抽出する抽出部とを備える、という構成を採っている。
【0011】
また、本発明は、ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める処理をコンピュータからなる測距装置に実行させるプログラムにおいて、
前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段として前記コンピュータを機能させる、という構成を採っている。
【0012】
更に、本発明は、ステレオ画像を取得可能な撮像装置と、当該撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置とを備えた測距システムにおいて、
前記測距装置は、前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備える、という構成を採っている。
【発明の効果】
【0013】
本発明によれば、撮像装置で撮像された体内部位の種類が自動的に特定されるとともに、当該種類に応じてマッチング領域の大きさが自動的に変わることになり、一対の画像データの間で、色情報の差が少ない体内部位を撮像したときと、色情報の差がはっきりした体内部位を撮像したときとで、マッチング領域を最適な大きさにすることができる。その結果、前記各画像データ間のウインドウマッチングによる対応点探索に要する時間を最小限にすることができ、ステレオマッチング法による画像処理を効率的に行うことができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態に係る測距システムの構成を概略的に表したブロック図。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照しながら説明する。

【0016】
図1には、本実施形態に係る医療用の測距システムの構成を概略的に表したブロック図が示されている。この図において、前記測距システム10は、臓器や血管等の体内部位を被写体として撮像することで当該体内部位のステレオ画像を取得可能な撮像装置としての内視鏡11と、当該内視鏡11により撮像された体内部位の画像データから、ステレオマッチング法を用いて内視鏡11と体内組織との間の距離を求める測距装置12とを備えている。

【0017】
前記内視鏡11は、図示省略している2つのカメラを備えており、当該各カメラで撮像された体内部位における左右一対の画像データを取得し、当該各画像データを処理することで、撮像された体内部位を立体的に表示可能とする3次元の立体内視鏡である。この内視鏡11は、公知のものが採用され、本発明の本質ではないため、構成等の詳細な説明は省略する。

【0018】
前記測距装置12は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。すなわち、測距装置12は、内視鏡11で取得した画像データを予め記憶された体内部位毎の画像データと対比することにより、内視鏡11で撮像された体内部位の種類を特定する撮像部位特定手段14と、撮像部位特定手段14で特定された体内部位の種類に基づき、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段15と、マッチング領域決定手段15で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索して内視鏡11と体内部位との間の距離を求める距離計測手段16とを備えている。

【0019】
前記撮像部位特定手段14は、左右何れか一方の画像データ(以下、「基準画像データ」と称する。)中に設定された基準領域における各ピクセルのRGB値から、基準領域内のRGB値毎の平均値(以下、「平均RGB値」と称する。)を求める平均RGB値演算部18と、体内部位の種類毎にRGB値の範囲を区分けしてなる体内部位区分データが記憶されたデータ記憶部19と、平均RGB値演算部18で求めた平均RGB値から、データ記憶部19で記憶された体内部位区分データを用いて、前記基準領域に映し出された体内部位の種類を特定する体内部位特定部20とを備えている。

【0020】
前記基準領域は、前記基準画像データの画像中央を中心とし、縦横それぞれ一定となるピクセル数で構成されるほぼ方形状の範囲としている。なお、本発明はこれに限らず、画像中央を中心としない特定領域を前記基準領域としても良いし、基準画像データの全域を前記基準領域としても良い。また、操作者が、内視鏡画像の中から対象としたい臓器や部位をマウス等の入力デバイスでクリッピングすることで、距離を測定する毎に前記基準領域を任意に定めることも可能である。

【0021】
前記体内部位区分データは、次のように作成される。先ず、体内部位の種類毎に、つまり、臓器毎や体腔内の所定部位毎に予め取得した画像データについて、当該画像データを構成する各ピクセルのRGB値がそれぞれ測定される。そして、RGB値からなる3次元ベクトルを各ピクセルそれぞれについて作成し、SVM(サポートベクターマシーン)等のパターン認識手法を用いることにより、RGB値を直交3軸とした3次元座標中の空間が体内部位の種類毎に仕切られ、体内部位区分データが作成される。

【0022】
前記体内部位特定部20では、平均RGB値演算部18で求めた平均RGB値が、前記体内部位区分データ上で体内部位の種類毎に区分けされた座標空間のどこに属するかが判別され、平均RGB値が属する前記座標空間が特定される。そして、当該座標空間に対応する体内部位の種類が、前記基準領域に映し出された体内部位の種類として特定される。

【0023】
前記マッチング領域決定手段15は、マッチング領域の大きさ、すなわち、マッチング領域の形状及び面積が、体内部位の種類毎に記憶されたマッチング領域記憶部22と、マッチング領域記憶部22から、体内部位特定部20で特定された体内部位の種類に対応するマッチング領域の大きさを抽出する抽出部23とを備えている。

【0024】
なお、前記マッチング領域記憶部22には、事前の試験研究等により得られたマッチング領域の大きさが記憶されている。すなわち、ここでは、事前に、体内部位の種類毎に、精度良くウインドウマッチングを行えるマッチング領域の大きさが調査検討され、その結果として得られたマッチング領域の大きさが採用されている。

【0025】
前記距離計測手段16では、次のステレオマッチング処理がなされる。すなわち、マッチング領域決定手段22で決定されたマッチング領域の大きさで、左右何れか他方の画像データ、すなわち、基準画像データでない方の探索対象画像データがスキャンされる。そして、基準画像データ中の前記基準領域の色情報に相応する前記探索対象画像データの領域が特定され、前記基準領域内の各点に相当する前記探索対象画像データ中の各点が特定される。その後、これら各画像データ中の対応点にそれぞれについて、三角測量により、内視鏡11の先端からの距離が演算で求められる。

【0026】
次に、前記測距装置12による処理手順について、例を挙げながら説明する。

【0027】
例えば、内視鏡下手術時に、体表から腹腔部分に内視鏡11が挿入されることで、処置の対象となる肝臓及びその周囲が内視鏡11で撮像され、内視鏡11からの3次元映像には、その中央付近に肝臓の表面が映っているとする。そこで、先ず、内視鏡11から左右両側の画像データが測距装置12に送られる。ここで、基準画像データとする左側の画像データ中、肝臓の表面部分が映っている中央部分が前記基準領域となる。次いで、撮像部位特定手段14では、前記基準領域の各ピクセルのRGB値が測定されて前記平均RGB値が求められた上で、体内部位区分データから、前記基準領域の被写体が肝臓であると特定される。そして、マッチング領域決定手段15では、マッチング領域記憶部22で予め記憶されたデータから、肝臓の場合のマッチング領域の大きさが抽出される。その後、距離計測手段16では、決定されたマッチング領域の大きさで前記探索対象画像データとなる右側の画像データがスキャンされ、各画像データ間の色彩の濃淡差を利用して、左右両側の画像データにおける肝臓表面の各対応点が特定され、三角測量によって、肝臓表面の各対応点における内視鏡11の先端からの距離が求められる。

【0028】
なお、以上のように求められた距離データは、手術者が視認するディスプレイやモニタ等の表示装置(図示省略)に表示しても良いし、ある一定値以下になった場合に、図示しないスピーカから警告音を発するための情報として利用しても良い。また、前記距離データは、マスタースレーブ方式等の手術支援ロボットにおいて、内視鏡や手術器具が先端に取り付けられたマニピュレータの動作制御に用いることも可能である。

【0029】
従って、このような実施形態によれば、内視鏡11で撮像された体内部分と内視鏡11の先端との直線距離をステレオマッチング法で求める場合、そのマッチング領域の大きさを体内部分の種類に応じて自動的に選択することができる。このため、表面模様が規則的か或いは全く無い臓器等の体内部分は、マッチング領域を広く取って対応点探索の精度を上げる一方、表面模様が不規則な臓器等の体内部分は、対応点探索が可能な程度にマッチング領域を狭くすることができ、対応点探索を短時間で効率良く行うことが可能になる。

【0030】
なお、本発明で用いられる撮像装置としては、前述の内視鏡11に限定されず、撮像対象の体内部位の画像を一定の2方向からそれぞれ取得可能な撮像装置であれば何でも良く、また、1方向の画像が得られる撮像装置を異なる位置で2つ配置することも可能である。

【0031】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【産業上の利用可能性】
【0032】
本発明は、手術時や検査時に内視鏡で撮像した体内部位に対する状況を把握するための医療支援機器として利用できる等、撮像装置で撮像された被写体と撮像装置との距離を自動的に測定可能な装置として利用可能となる。
【符号の説明】
【0033】
10 測距システム
11 内視鏡(撮像装置)
12 測距装置
14 撮像部位特定手段
15 マッチング領域決定手段
16 距離計測手段
18 平均RGB値演算部
19 データ記憶部
20 体内部位特定部
22 マッチング領域記憶部
23 抽出部
図面
【図1】
0