TOP > 国内特許検索 > 立体内視鏡画像からの3次元形状取得装置 > 明細書

Specification :立体内視鏡画像からの3次元形状取得装置

Country 日本国特許庁(JP)
Gazette 特許公報(B2)
Patent Number 特許第6210483号 (P6210483)
Publication number 特開2013-240590 (P2013-240590A)
Date of registration 平成29年9月22日(2017.9.22)
Date of issue 平成29年10月11日(2017.10.11)
Date of publication of application 平成25年12月5日(2013.12.5)
Title of the invention, or title of the device 立体内視鏡画像からの3次元形状取得装置
IPC (International Patent Classification) A61B   1/00        (2006.01)
A61B   1/233       (2006.01)
A61B   1/05        (2006.01)
FI (File Index) A61B 1/00 522
A61B 1/00 551
A61B 1/233
A61B 1/05
Number of claims or invention 3
Total pages 9
Application Number 特願2013-093880 (P2013-093880)
Date of filing 平成25年4月26日(2013.4.26)
Application number of the priority 2012101311
Priority date 平成24年4月26日(2012.4.26)
Claim of priority (country) 日本国(JP)
Date of request for substantive examination 平成28年2月16日(2016.2.16)
Patentee, or owner of utility model right 【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
Inventor, or creator of device 【氏名】三島 克章
Examiner 【審査官】磯野 光司
Document or reference 特開2005-287900(JP,A)
特開2011-163988(JP,A)
特開平06-201337(JP,A)
特開2011-186868(JP,A)
特開2005-279028(JP,A)
Field of search A61B 1/00-1/32
JSTPlus/JMEDPlus/JST7580(JDreamIII)
Scopus
医中誌WEB
Scope of claims 【請求項1】
先端側に1対の撮影レンズ及び撮像素子を配設したカメラと取得された画像信号を伝送する配線とを有する画像取得部と、先端側に投影レンズを有しその背後に光伝送用イメージファイバを有するパターン投影部とを備え被検査体に向けて挿入されるように細長形状に形成された挿入部と、
前記挿入部の先端から離れた位置の後端側に連接された投影パターン収容部と、
前記挿入部及び投影パターン収容部と配線を介して連結された制御処理部と、
からなる立体内視鏡画像からの3次元形状取得装置であって、前記投影パターン収容部は投影パターン及び該投影パターンをその後方の位置において照明する投影用の光源を備えており、該光源により照射された投影パターンからの像光を前記挿入部における光伝送用ファイバを介して先端側に伝送し、伝送された像光を先端側の前記投影レンズにより被検査体の位置に投影して投影パターンの像を形成するものであり、前記制御処理部は投影パターン像が投影された被検査体を1対の撮像素子を有するカメラで撮影して得られた画像についてステレオマッチング処理を行い被検査体の3次元形状を取得するものであり、前記投影レンズは15mm以上の結像深度を有するF値及び焦点距離のものであって、投影パターン像が投影される被検査体面において少なくとも20mm以上の大きさのパターン像を投影するものであることを特徴とする立体内視鏡画像からの3次元形状取得装置。
【請求項2】
前記投影パターン収容部において投影パターンを交換可能に収容配置可能にしたことを特徴とする請求項1に記載の立体内視鏡画像からの3次元形状取得装置。
【請求項3】
前記投影パターン像が投影された被検査体を1対の撮像素子を有するカメラで撮影して得られた画像について、前記制御処理部において被写体に向いた1対の撮像素子の視線軸による画像を仮想的な平行な視線軸による画像に変換するレクティファイ処理を行った後にステレオマッチング処理を行い被検査体の3次元形状を取得するようにしたことを特徴とする請求項1ないし2のいずれかに記載の立体内視鏡画像からの3次元形状取得装置。
Detailed description of the invention 【技術分野】
【0001】
本発明は、立体内視鏡画像からの3次元画像取得装置に関し、特に鼻咽腔等の医療検査に有効に適用されるパターン照射併用による立体内視鏡画像からの3次元画像取得装置に関する。
【背景技術】
【0002】
口蓋裂患者は乳児期に行う手術の後のリハビリテーションの過程で、鼻咽腔閉鎖機能を獲得することにより正常な言語を習得していくが、この鼻咽腔閉鎖機能の獲得状況によって言語治療のアプローチが大きく異なるため、言語治療を効果的に行う上では、正確に鼻咽腔閉鎖機能を評価することが重要になる。臨床では、鼻咽腔の閉鎖状態を判断するために内視鏡を用いて鼻咽腔の動きを観察するのであるが、定性的評価にとどまるものであり、この評価手法では客観性を欠き、詳細な分析ができないという問題がある。
【0003】
鼻咽腔の動きを解析するためにCTやMRによる画像を用いることも考えられ、高速撮影可能なCT、MRの開発が進められているが、鼻咽腔の場合には歯の金属や矯正装置の金属によるアーチファクトのために鼻咽腔領域の画像が的確に得られないことが多い。そのため、現状では実際上内視鏡を用いるアプローチに限られる。
【0004】
従来技術における立体内視鏡に関して、特許文献1~3に示されるようなものがあり、特許文献1に示される内視鏡は、内視鏡の先端構成部に左右像を結像する撮像手段を有し、映像切替手段により左右画像を切替えて表示し立体画像を得るものであり、特許文献2に示される内視鏡は、内視鏡の先端部に配置される左右像の撮像ユニットについて、一方側の撮像ユニットの撮像素子及び基板を他方側の撮像素子及び基板に対して上下方向の反対側に向けて配置する構成として、両ユニットにおける対物レンズの間隔を最適間隔となるように調整可能にするものである。また、特許文献3に示される内視鏡は、2つの視点から被写体を撮像して得られた画像について画像変換を行い、光学系の特性を示す光学データと画像データに基づいて被写体の空間特性を計測するようにしたものである。
【0005】
特許文献1においては、外径が制限される内視鏡において立体視のための撮像素子の配置の好適化がなされ、特許文献2においては、左右像の撮像ユニットの対物レンズ間隔を最適間隔に調整できるようにされ、また、特許文献3においては、三角測量によるステレオ計測を行うために必要な光学系の空間特性についての光学データの計測を必要とせずに被写体の空間特性を計測することができるようにするものであるが、被写体が凹凸のある奥行きを有する形状であり、また動きのある場合に、被写体を的確に、精度よく観察する上では特に有効に対応できなるものではない。
【0006】
特許文献4に示される内視鏡は、複数の計測点を有するパターン像を観察対象に投影し、これを異なる位置から複数撮影手段により撮影して得られた画像に基づいて各計測点の位置座標を演算して観察対象の立体形状を計測するものである。この内視鏡では、観察対象の立体形状を高速、高精度に計測できるが、観察対象が凹凸を有する場合にその奥行きの範囲内でパターンが鮮明に結像することが保証されないことから、立体形状の計測も精度よくなされるとは限らないものになる。
【先行技術文献】
【0007】

【特許文献1】特開平7-163517号公報
【特許文献2】特開11-56757号公報
【特許文献3】特開2008-29497号公報
【特許文献4】特開2005-287900号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
被検査体を立体内視鏡で観察し3次元形状を取得する際に、被検査体として例えば鼻咽腔の閉鎖状況を把握する場合において、被検査体面には模様のような濃淡の変化が少ないことにより指標となるような特徴点がないために、鮮明な画像ないし判別し易い画像が得られないものであった。それに対処する手法として、画像における被検査体の3次元形状取得のためにパターン像を投影し、投影パターンを合わせた被検査体について3次元形状を取得することが行われる。
ところが、鼻咽腔のように被検査体が凹凸形状をなし、加えて大きな動きをとる場合に、被検査体の観察対象範囲内で投影パターンが全体としては鮮明にならず、被検査体の観察、3次元形状の取得が精度よくなされなかった。そのようなことから、凹凸があり、動きの大きな被検査体に対しパターン像を投影して立体内視鏡により画像を生成し、精度よく3次元形状を取得することが求められていた。
【課題を解決するための手段】
【0009】
本発明は、前述した課題を解決すべくなしたものであり、本発明による立体内視鏡画像からの3次元形状取得装置は、先端側に1対の撮影レンズ及び撮像素子を配設したカメラと取得された画像信号を伝送する配線とを有する画像取得部と、先端側に投影レンズを有しその背後に光伝送用イメージファイバを有するパターン投影部とを備え被検査体に向けて挿入されるように細長形状に形成された挿入部と、前記挿入部の先端から離れた位置の後端側に連接された投影パターン収容部と、前記挿入部及び投影パターン収容部と配線を介して連結された制御処理部とからなる立体内視鏡画像からの3次元形状取得装置であって、前記投影パターン収容部は投影パターン及び該投影パターンをその後方の位置において照明する投影用の光源を備えており、該光源により照射された投影パターンからの像光を前記挿入部における光伝送用ファイバを介して先端側に伝送し、伝送された像光を先端側の前記投影レンズにより被検査体の位置に投影して投影パターンの像を形成するものであり、前記制御処理部は投影パターン像が投影された被検査体を1対の撮像素子を有するカメラで撮影して得られた画像についてステレオマッチング処理を行い被検査体の3次元形状を取得するものであり、前記投影レンズは15mm以上の結像深度を有するF値及び焦点距離のものであって、投影パターン像が投影される被検査体面において少なくとも20mm以上の大きさのパターン像を投影するものである。
【0010】
前記投影パターン収容部において投影パターンを交換可能に収容配置可能にしてもよく、また、前記投影パターン像が投影された被検査体を1対の撮像素子を有するカメラで撮影して得られた画像について、前記制御処理部において被写体に向いた1対の撮像素子の視線軸による画像を仮想的な平行な視線軸による画像に変換するレクティファイ処理を行った後にステレオマッチング処理を行い被検査体の3次元形状を取得するようにしてもよい。
【発明の効果】
【0011】
本発明では、投影パターン像を投影した被検査体を1対のカメラで撮影し得られた画像から3次元形状を取得するに際し、立体内視鏡の挿入部の先端から離れた後方の位置において投影パターンを配置し、イメージファイバにより投影パターン像を伝送し投影レンズにより被検査体の位置に投影パターンの像を投影し、投影レンズの結像深度を大きくすることにより、凹凸や動きのある被検査体においても鮮明な投影パターンを結像することができる。投影パターンを挿入部の先端から離れた位置に配置することにより、投影パターンの寸法を大きくし、投影用光源として胃内視鏡用などの輝度の高いものを使用することにより、被検査体の位置の広い範囲に明るい投影パターン像を生成することができる。それにより、鼻咽腔のような凹凸や動きのある被検査体についての3次元形状の取得を精度よく行うことが可能になる。
【図面の簡単な説明】
【0012】
【図1】本発明によるパターン照射併用による立体内視鏡画像からの3次元形状取得装置を概略的に示す図である。
【図2】内視鏡先端部を示す斜視図である。
【図3】パターン投影部の構成を断面図として示す図である。
【図4】画像取得部により画像を取得する状況を示す図である。
【図5】(a)投影パターンの一例を示す図であり、(b)他の投影パターンの例を示す図である。
【図6】画像における視差を用いた奥行きの求め方を説明する図である。
【図7】左右の画像から3次元形状を求める演算処理のフローを示す図である。
【発明を実施するための形態】
【0013】
本発明によるパターン照射併用による立体内視鏡画像からの3次元形状取得装置の具体的な形態について以下説明する。
図1は立体内視鏡画像からの3次元形状取得装置の全体的構成を示しており、内視鏡の挿入部1は画像取得部10とパターン投影部20とを一体化して有する。画像取得部10は挿入部先端側に撮影レンズを介して被検査体の画像を撮像する撮像素子が配設され、撮像素子への動作信号、撮像された画像信号を伝送する配線が画像取得部10とこれに連接された連結部30内を通り制御処理部40に接続されている。

【0014】
パターン投影部20は画像取得部10と先端が同じ位置になるようにして一体的に配設されており、20Aは投影パターン収容部であり、パターン投影部を動作させる電力を供給する配線が連結部30内を通って制御処理部に接続されるように設けられている。なお、内視鏡が視向角を有する場合、パターン投影部20の先端は、内視鏡の視野全体にパターン像が投影されるように、視向角に応じて、画像取得部10の先端より適宜後退させてもよい。このとき、画像取得部10の先端(即ち、後述の撮影レンズ11L.11R)は、画像取得部10にパターン投影部20が連設されている側と同じ方向又はそれとは逆の方向に、内視鏡がその視向角を有することができるように設置される。例えば、図2であれば、画像取得部10の下側にパターン投影部20が適宜後退して連設され、画像取得部10の先端(撮影レンズ11L.11R)は、画像取得部10の下方向(パターン投影部20の連設側と同方向)又は上方向(パターン投影部20の連設側とは逆方向)に、内視鏡がその視向角を有することができるように設置される。

【0015】
図2は画像取得部10、パターン投影部20を先端側から見た様子を示しており、画像取得部10の先端には左右1対の撮像素子に結像する撮影レンズ11L,11Rが取り付けられ、その背後の結像位置に撮像素子が配設されている。パターン投影部20の先端側には投影レンズ21が取り付けられており、その背後には光伝送用イメージファイバが設けられている。

【0016】
図3はパターン投影部20のみの構成を断面図で示している。被検査体の3次元形状を精度よく再現するには、もとになる左右の画像が極力鮮明なものとして取得されることが重要である。被検査体が鼻咽腔等の場合に、動きがあるとともに、凹凸が大きい形状になっており、鼻咽腔の粘膜表面の性状は画像上での特徴が乏しいため、正確な3次元形状取得が難しい。そのため、被検査体上にパターン像を投影し、パターン像が形成された被検査体を撮像して得られた画像をもとに3次元形状を取得するアクティブステレオ法を用いる。

【0017】
図3において、パターン投影部20の後部に連接して設けられた投影パターン収容部20A内に光源L、透過型の投影パターンP、結像レンズ22が配設されており、パターン投影部20の筒状部内で結像レンズ22と先端側の投影レンズ21との間にイメージファイバ23が配置されている。被検査体の検査の際には、投影パターンPは背後から集光レンズ24を介して光源Lにより照射され、結像レンズ22によりイメージファイバ23の入射端に結像し、イメージファイバ23の出射端から先端側の投影レンズ21を介して投影パターンPの像が被検査対象部に投影される。光源Lは配線25を介して電力を供給される。

【0018】
投影パターンは被検査体Sの面上の略正方形の一辺がaの大きさの範囲の像として投影され、この範囲ではパターン像が投影されて明るくなり、観察、撮影がなされるようになる。また、被検査体は内視鏡の光軸方向に最大dの凹凸を有するものとし、このような凹凸の高低の範囲において被検査体の面上に鮮明なパターン像を投影する。

【0019】
投影パターン像が投影された被検査体について、撮影レンズを介して内視鏡先端側の1対の撮像素子により被検査体の画像を取得し、画像信号は画像取得部内から連結部を通して設けられた伝送線を介して制御処理部40における画像信号処理部に伝送される。画像信号処理部においては、取得された左右の画像をもとに画像解析処理を行い、被検査体の3次元形状データを生成する。

【0020】
図4は投影パターン像が投影された被検査体Sを画像取得部10により撮影する状況を示しており、画像取得部10の先端側の1対の撮影レンズ11L,11Rによりそれぞれの撮像素子12L,12R上に視差のある画像が形成される。13L,13Rは画像信号を伝送する配線である。

【0021】
投影パターンはその被検査体面上に形成された画像をもとに3次元形状の取得に用いるものであり、基本的には図5(a)に示すような格子状の規則的、周期的な形状とし、あるいは、同形の点形状を格子状に配置した図5(b)のようなものとし、透過型投影パターンとして作製する。被検査体面上に鮮明な画像が投影されるために、投影パターンはある程度の大きさをもつように作製するのがよく、また被検査体の種類に応じて投影パターンを交換して用いられるようにするのがよい。

【0022】
鼻咽腔のような凹凸や動きがある表面形状の被検査体上の検査範囲にわたって鮮明な投影パターンの画像を形成するには投影光学系の結像深度を深くすることが重要になる。また、内視鏡先端部側は被検査体側への挿入部であり、寸法が限られるものでもあることから、図3のパターン投影部の構成において、先端側の投影レンズ21は径の小さいものを用い、F値が小さく、投影像の結像深度が深くなるようにする。被検査体を鼻咽腔とした場合、凹凸の程度は10mm以上、あるいは20mm程度に及ぶものであり、また、この動きは内視鏡と平行に30mm程度に及ぶものであり、このような凹凸のある動きの大きな被検査体に対して投影パターン像が鮮明になるようにする必要がある。

【0023】
イメージファイバ23の径は2mm程度であり、パターン投影部20の先端部における投影レンズ21の径も同程度である。投影レンズ21の有効径としては1.5mm程度にし、F値(焦点距離/有効径)を5.6程度の値にすることにより、イメージファイバ23の出射端面におけるパターン像を投影レンズ21で10倍程度に拡大し、かつ結像深度が15mm以上、好ましくは20mm以上、更に好ましくは20以上から30mm程度の範囲になるようにする形で投影することができる。被検査体画像の観察、3次元形状の取得を的確に行う上では、このような投影光学系により凹凸のある被検査体面上において、20mm以上、好ましくは30mm以上の大きさ範囲にわたり鮮明な投影パターンの像が形成されるようにするのがよい。

【0024】
先端側の投影レンズの有効径を小さく、F値を大きくすることから、投影光量が少なくなるので、その分投影パターンを大きくし、投影光源の輝度を高いものにすることが、投影像の鮮明化とともに、投影光量の面からも必要になる。そのため、例えば内視鏡の先端から15mmの位置に被検査体がある場合に、20mm程度の寸法の範囲に明るい投影パターン像を形成し得るように、光源の発光輝度が十分に高いものを備えるようにすることが必要である。

【0025】
〔被検査体画像の撮影、3次元形状の取得〕
本発明によるパターン像投影手段を有する立体内視鏡を用いたパターン像を投影した被検査体を撮影し、3次元形状を取得する過程について説明する。
立体内視鏡は画像取得部10の先端における1対のレンズ11L,11Rにより結像した像を撮影する撮像素子を備えており、立体内視鏡の先端を被検査体に対向する位置に設定し、パターン投影部20によりパターンが投影された状態の被検査体を撮影して左右の画像を生成する。

【0026】
撮影された左右1対の被検査体の画像について、ステレオマッチング・アルゴリズムを用いて3次元形状の取得を行う。ステレオマッチングにおいては、処理時間を短縮するために3次元復元の前処理としてレクティファイの処理を行う。レクティテァイ処理は、被写体に向いた1対の撮像素子の視線軸による画像を仮想的な平行な視線軸による画像に変換する処理である。レクティファイ処理を行うことで、ステレオマッチングとしては2つの画像の同一水平操作線上の探索問題に単純化され、演算時間が短縮される。

【0027】
レクティファイ処理により補正された平行ステレオ視の画像からステレオ視による視差を求める。これにはいくつかの手法があるが、ここではバーチフィールドの方法を用いる。バーチフィールドの方法では、次の2つの段階の処理を行う。
(1)左右の画像について一致するスキャンラインのペアを対象にマッチング処理を行う。このとき隣接するスキャンラインの影響は受けない。
(2)各スキャンラインで行われたマッチング処理により得られた視差の分布について、視差の信頼度の高い区域から信頼度の低い区域に情報を伝播することで画面全体の視差を整理する。

【0028】
これにより、左右の撮像素子の画像から視差が求められ、これを距離に変換し、奥行きを求める。図6は視差と奥行きの関係を示している。図6において、被検査体上の1点を注視点とし、VP-L,VP-Rがそれぞれ結像面におけるカメラの左右の撮像素子の中心位置(視点)であるとする。カメラの撮影レンズの主面を射影面とし、左右の撮像素子の中心間の距離をdc、視点から射影面までの距離をfl、実際の奥行きをlとする。視差は、両視点間の距離と射影面における視点から注視点へ向かう視線間距離との差として、射影面上のdsで表される。
と、視差から実際の奥行きは次の式で求められる。
l=dc/ds×fl

【0029】
左右画像のマッチング処理により視差、奥行きを求め、被検査体についての3次元座標を求めて3Dモデルを生成することができる。3Dモデル生成のフローを示すと図7のようになる。左右の撮像素子で得られた画像について画像の歪み補正を行った後、左右の画像それぞれについてレクティファイ処理により平行化を行う。平行化した左右の画像のマッチング処理により奥行き座標を計算し、さらに3次元座標値から3Dモデルを生成する。

【0030】
本発明による立体内視鏡画像からの3次元形状取得においては、鼻咽腔のような凹凸があり、動きの大きな被検査体に対し、投影パターン像を投影して、左右の撮像素子により撮影して得られた画像についてステレオマッチング処理を行って3次元形状を取得する。鼻咽腔のような被検査体の場合、凹凸があり、動きが大きいことが特徴であり、この動きは内視鏡挿入方向と同じ方向、すなわち、内視鏡先端に「近づく・遠ざかる」の前後方向の動きが少なくとも20mmというように大きいものである。本発明においては、投影パターンの投影光学系の結像深度を15mm以上になるようにしており、それにより鼻咽腔のような凹凸や動きがあり、動きの大きな被検査体に対し、内視鏡先端の前後方向に30mm程度になる運動する被検査体について鮮明なパターン像を投影して、ステレオマッチング処理により3次元形状を正確に取得することができる。
【符号の説明】
【0031】
1 挿入部
10 画像取得部
11L,11R 撮影レンズ
12L,12R 撮像素子
13L,13R 配線
20 パターン投影部
20A 投影パターン収容部
21 投影レンズ
22 結像レンズ
23 イメージファイバ
24 集光レンズ
25 配線
30 連結部
40 制御処理部
L 光源
P 投影パターン
S 被検査体












Drawing
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6