TOP > 国内特許検索 > 3次元形状計測装置及び3次元形状計測方法 > 明細書

明細書 :3次元形状計測装置及び3次元形状計測方法

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-217215 (P2017-217215A)
公開日 平成29年12月14日(2017.12.14)
発明の名称または考案の名称 3次元形状計測装置及び3次元形状計測方法
国際特許分類 A61B   1/00        (2006.01)
A61B   1/04        (2006.01)
G02B  23/24        (2006.01)
FI A61B 1/00 300E
A61B 1/00 334D
A61B 1/04 370
G02B 23/24 C
G02B 23/24 A
請求項の数または発明の数 14
出願形態 OL
全頁数 23
出願番号 特願2016-113925 (P2016-113925)
出願日 平成28年6月7日(2016.6.7)
発明者または考案者 【氏名】古川 亮
【氏名】川崎 洋
出願人 【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
個別代理人の代理人 【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満
【識別番号】100138955、【弁理士】、【氏名又は名称】末次 渉
【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典
審査請求 未請求
テーマコード 2H040
4C161
Fターム 2H040BA15
2H040CA11
2H040CA22
2H040CA27
2H040DA51
2H040GA02
2H040GA11
4C161FF43
4C161GG15
4C161HH52
4C161HH53
4C161SS21
要約 【課題】計測対象の3次元形状を、あるいはその大きさを安定して計測する。
【解決手段】線分の接続状態によって区別可能なノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光し、計測対象に投光されたパターンを撮像する。撮像された画像と2次元パターンについて、対応計算部52Aは、撮像された画像と計測用パターンについて、エピポーラ拘束に基づいて対応の解の候補となるノードを選択し、解の候補同士のグラフの接続状態に基づいて、画像に含まれるパターンの誤りを解消し解の候補の中から正しい対応の解(対応するノード)を得る。形状出力部52Bは、上述のようにして、対応の解(対応するノード)からステレオ処理(光切断法)により計測対象の3次元形状を算出して出力する。
【選択図】図5
特許請求の範囲 【請求項1】
線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光する投光部と、
前記計測対象に投光されたパターンを撮像する撮像部と、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士のグラフでの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算部と、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力部と、
を備える3次元形状計測装置。
【請求項2】
前記対応計算部は、
前記2次元パターンのグラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれるノードと、前記2次元パターンにおけるノードとを対応付けることで、前記対応の解の候補を削減する、
請求項1に記載の3次元形状計測装置。
【請求項3】
前記2次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである、
請求項2に記載の3次元形状計測装置。
【請求項4】
前記2次元パターンは、局所的に回転対称あるいは線対称な特徴があり、前記特徴の配置によって前記グラフのノードあるいはエッジが表されたパターンである、
請求項1または2に記載の3次元形状計測装置。
【請求項5】
前記対応計算部は、
前記パターンマッチングの一致度をデータ項とし、グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル(MRF)最適化により対応点を算出する、
請求項2から4のいずれか一項に記載の3次元形状計測装置。
【請求項6】
前記対応計算部は、
前記部分グラフのノードについて、前記パターンマッチングの一致度が閾値より高い場合に投票を行うことで、前記対応の解の候補から正しい対応点を得る、
請求項2に記載の3次元形状計測装置。
【請求項7】
前記対応計算部は、
前記部分グラフを複数用意し、それぞれの部分グラフでの投票を繰り返した合計得票数によって前記対応の解を決定する、
請求項6に記載の3次元形状計測装置。
【請求項8】
前記形状出力部は、
前記対応の解に基づく前記線分の対応関係から、光切断法を用いて前記3次元形状を算出する、
請求項1から7のいずれか一項に記載の3次元形状計測装置。
【請求項9】
前記2次元パターンに含まれる前記線分の連なりが、
曲線状に配置される、
請求項1から8のいずれか一項に記載の3次元形状計測装置。
【請求項10】
前記2次元パターンは、
回折光学素子によるレーザ光の回折により前記計測対象上に形成される、
請求項1から9のいずれか一項に記載の3次元形状計測装置。
【請求項11】
前記投光部が、内視鏡に組み込まれている、
請求項1から10のいずれか一項に記載の3次元形状計測装置。
【請求項12】
異なる方向から計測された、計測対象の複数の3次元形状のデータが得られた場合に、
前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出部と、
前記算出部で算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力部と、
を備える、
請求項1に記載の3次元形状計測装置。
【請求項13】
線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光し、前記計測対象に投光されたパターンを撮像するパターン撮像ステップと、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士のグラフの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算ステップと、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力ステップと、
を含む3次元形状計測方法。
【請求項14】
異なる方向から計測された、計測対象の複数の3次元形状のデータが得られた場合に、前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出ステップと、
前記算出ステップで算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力ステップと、
を含む請求項13に記載の3次元形状計測方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、3次元形状計測装置及び3次元形状計測方法に関する。
【背景技術】
【0002】
従来より、体腔内の管腔に長尺状の内視鏡挿入部を挿入し、計測対象の診断や処理を行うことができる内視鏡が用いられている(例えば、特許文献1参照)。内視鏡による診断では、計測対象としての腫瘍などの病変の形状や大きさを計測することが治療方法を選択する上で特に重要である。内視鏡メジャーや、目視による測定では、時間を要したり、人的要因による推定誤差が生じる可能性がある。
【0003】
そこで、観察部位の形状と大きさを計測するために、三角測量の原理で3次元形状を計測するアクティブステレオ法に基づいた3次元内視鏡システムが開発されている(例えば、非特許文献1参照)。このシステムでは、計測対象上に結像するパターン像の撮像結果に基づいて観察部位の3次元形状等が計測される。
【先行技術文献】
【0004】

【特許文献1】特開2011-200341号公報
【0005】

【非特許文献1】H. Aoki, R. Furukawa, M. Aoyama, S. Hiura, N. Asada, R. Sagawa, H. Kawasaki, S. Tanaka, S. Yoshida, and Y. Sanomura, Proposal on 3-d endoscope by using grid-based active stereo” in EMBC, 2013, pp. 5694-5697.
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述のシステムでは、パターン像を計測対象上に結像させる結像光学系の焦点ずれや収差によるボケのため、奥行きの計測範囲が限定されるという不都合があった。また、内部の生体組織に共通の強力な表面下散乱が生じてしまい、投影されるパターン像をボケさせるのみならず、パターン光の輝度を弱めてしまう可能性がある。この結果、計測が不安定になるおそれがある。
【0007】
プロジェクタの焦点深度は、一般にカメラの焦点深度よりも深いことが多い。例えば、プロジェクタから約40mmの距離において、焦点が合った状態で投影できる範囲は、8mm程度になる。また、内視鏡カメラはレンズ口径の大きさから、感度には限界があるので、パターン光の輝度不足は計測対象を安定して計測するうえでの深刻な問題となる。
【0008】
本発明は、上記実情に鑑みてなされたものであり、計測対象の3次元形状、あるいはその大きさを安定して計測することができる3次元形状計測装置及び3次元形状計測方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の第1の観点に係る3次元形状計測装置は、
線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光する投光部と、
前記計測対象に投光されたパターンを撮像する撮像部と、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士でのグラフの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算部と、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力部と、
を備える。
【0010】
前記対応計算部は、
前記2次元パターンのグラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれるノードと、前記2次元パターンにおけるノードとを対応付けることで、前記対応の解の候補を削減する、
こととしてもよい。
【0011】
前記2次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである、
こととしてもよい。
【0012】
前記2次元パターンは、局所的に回転対称あるいは線対称な特徴があり、前記特徴の配置によって前記グラフのノードあるいはエッジが表されたパターンである、
こととしてもよい。
【0013】
前記対応計算部は、
前記パターンマッチングの一致度をデータ項とし、グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル(MRF)最適化により対応点を算出する、
こととしてもよい。
【0014】
前記対応計算部は、
前記部分グラフのノードについて、前記パターンマッチングの一致度が閾値より高い場合に投票を行うことで、前記対応の解の候補から正しい対応点を得る、
こととしてもよい。
【0015】
前記対応計算部は、
前記部分グラフを複数用意し、それぞれの部分グラフでの投票を繰り返した合計得票数によって前記対応の解を決定する、
こととしてもよい。
【0016】
前記形状出力部は、
前記対応の解に基づく前記線分の対応関係から、光切断法を用いて前記3次元形状を算出する、
こととしてもよい。
【0017】
前記2次元パターンに含まれる前記線分の連なりが、
曲線状に配置される、
こととしてもよい。
【0018】
前記2次元パターンは、
回折光学素子によるレーザ光の回折により前記計測対象上に形成される、
こととしてもよい。
【0019】
前記投光部が、内視鏡に組み込まれている、
こととしてもよい。
【0020】
異なる方向から計測された、計測対象の複数の3次元形状のデータが得られた場合に、、
前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出部と、
前記算出部で算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力部と、
を備える、
こととしてもよい。
【0021】
本発明の第2の観点に係る3次元形状計測方法は、
線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光し、前記計測対象に投光されたパターンを撮像するパターン撮像ステップと、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士のグラフの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算ステップと、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力ステップと、
を含む。
【0022】
異なる方向から計測された、計測対象の複数の3次元形状のデータが得られた場合に、前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出ステップと、
前記算出ステップで算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力ステップと、
を含む、
こととしてもよい。
【発明の効果】
【0023】
本発明によれば、計測対象に投光される2次元パターンが、線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成されているため、表面下散乱や輝度の低下が発生しても、そのノードの位置情報を読み取り易くなっている。この結果、計測対象の3次元形状、あるいはその大きさを安定して計測することができる。
【図面の簡単な説明】
【0024】
【図1】本発明の実施の形態に係る3次元形状計測装置の構成を示す模式図である。
【図2】内視鏡の挿入端の鉗子孔周辺の拡大断面図である。
【図3】図3(A)は、計測用パターンの一例を示す図である。図3(B)は、計測用パターンの各ノードに割り振られたコードラベルの一例を示す図である。
【図4】計測対象に計測用パターンの像が投影される様子を示す図である。
【図5】3次元形状計測装置の全体構成を示すブロック図である。
【図6】図6(A)及び図6(B)は、光切断法を示す模式図である。
【図7】3次元形状計測装置の3次元形状計測動作のフローチャートである。
【図8】線検出のサブルーチンのフローチャートである。
【図9】グリッドグラフの構築のサブルーチンのフローチャートである。
【図10】グリッドグラフの一例を示す図である。
【図11】部分グラフパターンによる対応付けを行う様子を示す模式図である。
【図12】部分グラフパターンによる投票動作(その1)を示す模式図である。
【図13】部分グラフパターンによる投票動作(その2)を示す模式図である。
【図14】異なる部分グラフパターンで対応付けを行う様子を示す模式図である。
【図15】人間の胃から切除された生体標本の計測結果を示す図である。
【図16】3次元形状の合成処理の流れを示す模式図である。
【図17】3次元形状の合成処理を行う構成を示す図である。
【図18】矩形状の点からなる画像で格子を表現した計測用パターンの一例を示す図である。
【図19】図18の計測用パターン中の、格子点と格子の線の一例を示す図である。
【図20】図18の計測用パターンを投影して撮影した画像の一例を示す図である。
【図21】図20の白枠の部分の拡大図である。
【図22】図21の各点で、180度回転による自己相関を求め、これによって各点の180度回転対称性を求め画像化した図である。
【図23】図22の回転対称性のピークを求めることで、格子点を検出し、その格子点を画像化した図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施の形態について図面を参照して詳細に説明する。各図において、同一の要素には同一の符号を付している。

【0026】
図1に示すように、本実施の形態に係る3次元形状計測装置100は、レーザ光源10と、計測対象に計測用パターン21(図3参照)を投光する投光部としてのパターンプロジェクタ20と、を備える。3次元形状計測装置100は、内視鏡1とともに用いられる。内視鏡1には、鉗子孔2が形成されている。通常、鉗子孔2には、観察部位を採取する鉗子が挿通される。しかしながら、本実施の形態では、鉗子に代えて、パターンプロジェクタ20が、鉗子孔2に挿通されて用いられる。

【0027】
パターンプロジェクタ20は、レーザ光源10と接続されている。レーザ光源10は、レーザモジュール10Aと、拡散板10Bと、照明絞り10Cと、コリメータレンズ10Dと、を備える。

【0028】
レーザモジュール10Aは、緑色のレーザ光IL(例えば波長517mmのレーザ光)を発振出力する。拡散板10Bは、レーザモジュール10Aから発せられたレーザ光ILを拡散して、レーザ光ILの断面における強度を均一化する。コリメータレンズ10Dは、入射したレーザ光ILを平行光に変換する。コリメータレンズ10Dによって平行光に変換されたレーザ光ILは、パターンプロジェクタ20を構成する光ファイバ20Aに入射する。

【0029】
図2に示すように、パターンプロジェクタ20は、光ファイバ20Aと、グリンレンズ20Bと、パターンチップ20Cと、円筒部20Dと、を備える。パターンプロジェクタ20のサイズは、例えば直径2.8mm、長さ12mmである。

【0030】
光ファイバ20Aは、プラスチック又はガラス製のシングルモードの光ファイバである。光ファイバ20Aは、コリメータレンズ10Dから出射された緑色のレーザ光ILを、その一端から入射して他端から出射する。

【0031】
グリンレンズ20Bは、光ファイバ20Aから出射されたレーザ光を集光して、対象となる人体内部における生体組織に投影する。パターンチップ20Cは、DOE(Diffractive Optional Element)と呼ばれる光学素子である。DOEは、通過するレーザ光を回折させることにより、パターンを形成する。したがって、フィルムによるマスクパターンよりも光損失を低減することができ、例えば光エネルギーの損失率は5%以下となる。DOEは、距離にかかわらず明瞭なパターンを投影することができるので、結像光学系よりも計測範囲を広げることができる。また、DOEの光効率は90%以上になるので、計測対象に投影されるパターンの輝度の低下も抑制される。投影されるパターンのサイズは、30mmの距離で約30mmである。

【0032】
この光学素子は、グリンレンズ20Bから出射されるレーザ光ILの光路上に設置される。このため、生体組織に投影されるレーザ光ILは、図3に示す計測用パターン21(2次元パターン)の像を含む投影光となる。この計測用パターン21は、以下に示すように、線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグラフから構成される。

【0033】
生体組織表面の反射特性は、通常の物体とは大きく異なる。特に、表面下散乱の影響が大きい。従来、計測用パターン21としては、波型のグリッドパターンが使用されてきたが、格子点における波線の曲率などは、表面下散乱による高周波成分の損失によって検出が難しくなったり、情報が失われたりする場合がある。このような詳細情報の損失を回避するため、計測用パターン21として、より低周波の画像信号からなるパターンが採用される。

【0034】
低周波なパターンとしては,従来、密度の低いドットパターンや、疎な線を組み合わせたパターンなどがあるが、ドットパターンでは、内視鏡1のカメラとパターンプロジェクタ20の基線長L(図6参照)が長くてパターンの変形量が大きいと、パターンと観測画像の対応をとるのが困難になる。また、線が疎になれば、3次元形状を計測するための情報を埋め込む数が少なくなり、計測される3次元形状を粗くせざるを得ない。

【0035】
そこで、本実施の形態では、計測用パターン21を、表面化散乱によるボケに対して比較的頑健な、間隔の大きな線パターンを含むパターンとする。図3に示すように、計測用パターン21は、縦横線分からなる格子状パターンとなる。計測用パターン21において、縦方向の線分(縦線分)はすべて連続かつ直線上に並んでおり、全体的に等間隔に平行に並んだ縦直線となっている。これに対して、横方向の線分(横線分)には、各格子点において、隣り合う横線分(縦直線に接続する左右の横線分)の間に、小さな段差が付加されている。段差の大きさは0も含んでいる。ボケのサイズより長い線分の位置は、表面下散乱によっても失われにくいので、段差の情報は、安定して取得可能である。

【0036】
このような構成の下で、図3(B)に示すように、各格子点には、S、L、Rの3種類のコード要素(コードラベル)が割り振られている。Sは、左右の横線分の端点が連続であることを意味する。また、Lは、左側の横線分の端点の方が右側の横線分の端点より高いことを意味する。Rは、逆に右側の横線分の端点の方が左側の横線分の端点より高いことを意味する。図3(B)には、これらのコード要素(コードラベル)の配列が示されている。本実施の形態では、縦直線に接続する左右の横線分の段差によって各ノードがコード化されている。計測用パターン21は、左右の横線分の段差によってノードが特徴を持つグラフ構造のパターンである。

【0037】
本実施の形態では、内視鏡1のカメラと、パターンプロジェクタ20との位置関係について計測用パターン21の制限を仮定している。その制限とは、内視鏡1のカメラで観測される交点のエピポーラ線をパターン画像上に描いたとき、その線の方向は格子パターンの縦直線の方向と一致しない、ということである。これは、検出された縦線の形状(3次元形状)を、光切断法によって復元するためである。パターン画像上のエピポーラ線が格子パターンの縦線と一致する場合、3次元形状の復元を行うことができない。復元の精度の点からは、パターン画像上のエピポーラ線の方向は横方向に近い方がよいが、斜め方向であっても問題なく復元が可能である。

【0038】
本実施の形態では、図3(B)に示すように、横方向に延びる横線分は、それぞれの列で異なる角度に傾けられている。横方向につながる(連結された)一連の複数の横線分は、段差がないとした場合に全体として正弦波状の波線になっている。すなわち、計測用パターン21に含まれる横線分の重なりが曲線状に配置されている。これは、横線分が直線状につながっていると、カメラ画像で検出された交点のエピポーラ線がその直線に一致したとき、多数の対応点候補が生じ、復元精度の低下を招くことがあるためである。

【0039】
図2に戻り、円筒部20Dは、円筒状の部材である。円筒部20Dは内視鏡1の挿入端3から突出している。円筒部20Dの外径は、鉗子孔2に嵌まる大きさとなっている。円筒部20Dの内径は、光ファイバ20A、グリンレンズ20B及びパターンチップ20Cを実装できる径となっている。

【0040】
グリンレンズ20Bから出射されたレーザ光ILは、円筒部20Dの開口端から外部に出射される。また、円筒部20Dの外側面には、マークMが形成されている。本実施の形態では、このマークMを用いて、アクティブステレオ法におけるパターンプロジェクタ20と内視鏡1のカメラ(後述する撮像光学系30)との相対位置情報を校正するキャリブレーションが行われる。

【0041】
このように、円筒部20Dは、内視鏡1の挿入端3から突き出している。円筒部20Dの開口端から緑色のレーザ光ILが出射される。このレーザ光ILは、パターンチップ20Cにより回折され計測用パターン21の投影像を形成するため、レーザ光ILが照射される計測対象(ターゲットT)には、図4に示すように、計測用パターン21が投影される。

【0042】
内視鏡1の挿入端3には、鉗子孔2の他に、対物レンズ30A及び照明レンズ40Aが取り付けられている。対物レンズ30Aは、ターゲットTを撮像する撮像光学系30(図5参照)を構成するレンズであり、照明レンズ40Aは、ターゲットTへ照明光を照射する照明光学系40(図5参照)のレンズである。内視鏡1は、照明レンズ40Aを介してターゲットTに照明光を照射し、照射されたターゲットTを、対物レンズ30Aを介して撮像する機能を有している。

【0043】
図5には、3次元形状計測装置100の全体構成が示されている。図5に示すように、3次元形状計測装置100は、上述したレーザ光源10及びパターンプロジェクタ20の他に、コントローラ50をさらに備えている。コントローラ50は、CPU(Central Processing Unit)、記憶装置、入出力装置、ポインティングデバイス又はディスプレイ等のマンマシンインターフェイスを備えるコンピュータである。CPUが、マンマシンインターフェイスから入力される操作者の操作情報に従って、記憶装置に記憶されたプログラムを実行することにより、コントローラ50の機能が実現される。すなわち、実行されるプログラムに従って、コントローラ50は、入出力装置を介してレーザ光源10を制御したり、内視鏡1の照明光学系40を制御したり、入出力装置を介して内視鏡1の撮像光学系30から入力される撮像データを入力したりする。

【0044】
また、内視鏡1は、計測対象を撮像するための撮像光学系30と、計測対象を照明する照明光学系40と、を備える。図4に示す対物レンズ30Aは、内視鏡1の撮像光学系30を構成するレンズであり、照明レンズ40Aは、内視鏡1の照明光学系40を構成し、その照明光を外部(計測対象)に出射するレンズである。具体的には、撮像光学系30は、計測対象とともに、計測対象に投光された計測用パターン21を撮像する。

【0045】
コントローラ50は、操作部50Aと、制御部50Bと、表示部50Cと、を備える。操作部50Aは、操作者の操作に応じた操作信号を、制御部50Bに出力する。

【0046】
制御部50Bは、操作部50Aからの操作信号に従って、内視鏡1の撮像光学系30から得られた計測対象の撮像データを入力し、入力した撮像データに対する画像処理を行って、計測対象の3次元形状を計測する。制御部50Bは、指令部51と、画像処理部52と、を備える。指令部51は、操作部50Aからの操作信号に従って、レーザ光源10と内視鏡1に制御指令を出力する。画像処理部52は、計測対象に投光された計測用パターン21の画像に基づいて、アクティブステレオ法を用いた画像処理を行って、計測対象の3次元形状を求める。

【0047】
表示部50Cは、内視鏡1の撮像光学系30から得られた計測対象の撮像データ等の各種画像を表示する。

【0048】
画像処理部52において行われる3次元形状の計測処理について説明する。図6(A)に示すように、本実施の形態では、画像処理部52は、光切断法に基づいて、計測対象の3次元形状を計測する。光切断法は、アクティブステレオ法の1つであり、三角測量の原理を応用する方法である。光切断法では、パターンプロジェクタ20による計測対象の投影中心P1と、計測対象を撮像するカメラ(撮像光学系30)の撮像中心P2との視差(基線長)Lに基づいて、計測対象の3次元形状が計測される。

【0049】
計測用パターン21を含む投影光は、投影中心P1からターゲットT(計測対象)に投影され、ターゲットT上にも計測用パターン21の像が投影される。計測用パターン21には、縦直線Vが含まれている。

【0050】
ここで、計測用パターン21が投影されたターゲットT上の特定の点Pに着目する。ターゲットT上の点Pが、投影像の投影方向に沿った方向に変化した場合には、図6(B)に示すように、位置P2にある撮像光学系30からは点P上のパターンがずれるように見える。光切断法は、このパターンの位置ずれに基づいて、ターゲットTの各点の奥行きdを計測する。

【0051】
画像処理部52の構成についてより詳細に説明する。図5に示すように、画像処理部52は、対応計算部52Aと、形状出力部52Bを備える。対応計算部52Aは、撮像された画像と計測用パターン21について、エピポーラ拘束に基づいて対応の解の候補となるノード(図3(A)及び図3(B)参照)を選択し、解の候補(ノード)同士のグラフの接続状態に基づいて、画像に含まれるパターンの誤りを解消し解の候補の中から正しい対応の解(対応するノード)を得る。形状出力部52Bは、上述のようにして(図6(A)及び図6(B)に示すように)、対応の解(対応するノード)からステレオ処理(光切断法)により計測対象の3次元形状を算出して出力する。

【0052】
ターゲットTの奥行きがdだけ変化した場合の撮像光学系30の撮像結果における点Pのずれ量は、パターンプロジェクタ20と撮像光学系30との視差(基線長)Lに応じて変化するが、本実施の形態では、視差(基線長)Lはキャリブレーションにより正確に求められているものとする。

【0053】
次に、本実施の形態に係る3次元形状計測装置100を用いた3次元形状計測動作について説明する。

【0054】
図7に示すように、まず、コントローラ50(指令部51)は、パターンプロジェクタ20により計測用パターン21を計測対象(ターゲットT)に投影して、内視鏡1の撮像光学系30を用いて計測対象(ターゲットT)の撮像を行う(ステップS1)。

【0055】
(線検出)
次に、画像処理部52(対応計算部52A)は、撮像光学系30から生画像を取得し、生画像から線を検出する(ステップS2)。ステップS2において、図8に示すように、画像処理部52(対応計算部52A)は、生画像から魚眼歪みを除去する(ステップS11)。続いて、画像処理部52(対応計算部52A)は、ガウシアンフィルタ又はメディアンフィルタを用いて画像中のノイズを低減する(ステップS12)。続いて、画像処理部52(対応計算部52A)は、画像中の格子の縦直線を検出する(ステップS13)。

【0056】
次に、画像処理部52(対応計算部52A)は、隣接する縦直線同士を横方向に接続する横線分の検出を行う(ステップS14)。この処理では、検出された縦直線の左右、それぞれの側について、縦直線に沿って輝度値が追跡され、輝度値のピークが検出される。これらのピークの位置は、横線分の端点候補となる。端点候補を接続する縦直線のうち、長さが決められた範囲内にあるものを、横線分の初期候補とする。

【0057】
横線分の初期候補の端点位置には微小な誤差がある。これを補正するために、対応計算部52Aは、横線分のそれぞれの初期候補について、端点位置を縦直線に沿って微小量ずらしながら、それらを結ぶ線分上の輝度値の平均値が最大になるような端点位置を探索する。探索された端点位置にある線分を、最適化された横線分の候補とする。横線分の候補には、重なったものや、実際には投影パターンの無い位置に局所最適化によって検出されるものもある。そうした横線分の候補を除去するために、互いに距離が近い(投影パターンから予測される距離の半分以下となる)横線分の候補がある場合、線分上の平均輝度値が小さい方を除去する。

【0058】
ステップS14終了後、画像処理部52は、図7のステップS3に移行する。

【0059】
(グリッドグラフの構築)
次に、画像処理部52(対応計算部52A)は、グリッドグラフの構築を行う(ステップS3)。図9に示すように、画像処理部52(対応計算部52A)は、検出された縦直線及び横線分に基づいて、グリッドグラフ(格子グラフ)の構造を構築する(ステップS21,S22)。計測用パターン21におけるグリッドグラフの構造を図10に示す。この時点では、縦直線(例えばv,v)を含む縦直線群が検出されており、それらの間の横エッジ(例えばe,e)が検出されている。

【0060】
グリッドグラフを構成するには、ある縦直線の左右から横エッジを1つずつ選んだとき、これらの横エッジが「連続」であるか「非連続」であるかを判定する必要がある。ここで、これらの横エッジが連続であるとは、横エッジeと横エッジeのように幾何学的に連続であることのみを意味するのではない。例えば、横エッジeと横エッジeのように、幾何学的には段差のある横エッジも、グリッドグラフとしては単一のノードn1で接続しているものと見なし、これらは「連続」であると定義する。横エッジ同士の「連続」、「非連続」の分類は重要な処理である。横エッジの間で段差の無いノードのコードラベルはSとなる。

【0061】
図10において、破線の丸で示されたノードは、コードラベルがSとなるノードである。また、実線の丸で示されたノードは、コードラベルがS、L、Rのいずれかになるノードである。実線の丸のノードと、破線の丸のノードは、縦直線の上で交互に現れる。

【0062】
例えば、縦ラインvには、下から順に、実線(コードラベルR)のノードn、破線(コードラベルS)のノードn、実線(コードラベルR)のノードn、破線(コードラベルS)のノードnが現れている。この配置を考慮して、図9に示すように、画像処理部52(対応計算部52A)は、縦ラインの左右の横エッジについて、端点同士の距離が小さい閾値Tよりも小さいものを探し、それら2個の端点のペアをグループとして、コードラベルSのノードとして検出する(ステップS21)。

【0063】
次に、画像処理部52(対応計算部52A)は、残りの端点について、閾値Tよりも大きな閾値T以下の距離の端点のペアを探し、さらにそれらのエッジの上あるいは下のエッジ同士がすでに連続なエッジとしてマークされている場合、その端点のペアを1つのグループ、すなわちコードラベルL、Rのノードnとして検出する(ステップS22)。

【0064】
図10においては、例えば、横エッジeと横エッジeが連続なエッジとしてコードラベルSがそのノードにマークされ、続いて、それらのエッジの連続性を参考に、横線分eと横線分eが連続であるとしてコードラベルLがノードnにマークされる。それぞれのノード(例えば、n)は、上下左右の隣接ノードに接続されている。横エッジによっては、検出漏れなどにより、連接する横エッジが見つからない場合もある。このような場合、横方向の隣接ノードが、右または左の片側しか存在しない状態となる。

【0065】
ステップS22実行後、画像処理部52は、図7のステップS4に進む。

【0066】
(部分グラフパターンによる対応付け)
次に、画像処理部52(対応計算部52A)は、部分グラフパターンによる対応付けを行う(ステップS4)。具体的には、対応計算部52Aは、以下に説明するように、計測用パターン21のグラフの部分グラフにおけるパターンマッチングを行って、画像に含まれるノードと、計測用パターン21におけるノードとを対応付けることで、対応の解(ノード)の候補を削減し、解の候補の中から正しい対応の解(対応ノード)を得る。さらに、画像処理部52(形状出力部52B)は、得られた対応の解からステレオ処理(光切断法)により、計測対象の3次元形状を算出して出力する(ステップS5)。

【0067】
ここで、ステップS3において、内視鏡1のカメラで撮像された画像から作成された検出グリッドグラフをGとし、図3(A)に示す計測用パターン21の投影グリッドグラフをPとする。図11に示すように、検出グリッドグラフGには、エッジが欠ける場合や、余分なエッジが存在する場合、ノードのラベルS,L,Rの誤りがある場合がある。画像処理部52は、グラフトポロジーの誤りを許して検出グリッドグラフGと投影グリッドグラフPとの照合を行うために、これらのグラフの部分グラフを照合する。

【0068】
照合のための部分グラフを、局所部分グラフパターン(Local Sub-Graph Pattern、以下、LSGP)と呼ぶ。図11に示すように、LSGP(s)は、検出グリッドグラフGと投影グリッドグラフPとに共通な局所的な部分グラフを照合するテンプレートとなるグラフである。LSGPを与えることで、検出グリッドグラフGと投影グリッドグラフPとを、エッジの欠損や誤検出を許しながら照合することができる。また、図11に示すように、複数種類のLSGPを用意して、それぞれのLSGPで検出グリッドグラフGと投影グリッドグラフPを照合することで、柔軟な照合処理が可能となる。

【0069】
画像処理部52では、各LSGPは、そのノードをすべて通過するパスとして実装されている。複数のLSGPによる照合結果からの総合判定は、ノードnごとの投票によって行われる。

【0070】
照合処理は、以下手順で行われる。まず、画像処理部52は、検出グリッドグラフGのあるノードnから、あるLSGPのパスを追跡し、エッジの欠損が無ければ、その部分グラフ(画像グラフパターン)をGとする。次に、画像処理部52は、投影グリッドグラフPから、以下の全ての条件を満たす部分グラフ(部分グラフパターン)Pを探索する。

【0071】
その条件とは、以下の通りである。
(1)GとPとが同じトポロジーのグラフであること
(2)GとPの対応するノードが、全てエピポーラ拘束条件を満たすこと
(3)GとPの対応するノードのコードラベルS,L,Rが、一定の閾値以上の割合で一致していること(パターンマッチングの一致度が閾値より高いこと)
なお、(2)の条件を満たすことが、エピポーラ拘束に基づいて対応の解の候補を選択する処理に対応する。

【0072】
計測用パターン21では、検出グリッドグラフGのあるノードに対してエピポーラ拘束を満たす投影グリッドグラフP中のノード(解の候補)は比較的少数である(最大で10程度である)ので、上記の条件を満たすPが見つかったら、図12、図13に示すように、Pの全てのノードに対して、Gの各ノードについて、対応ノードとして投票が行われる。対応計算部52Aは、部分グラフのノードについて、パターンマッチングの一致度が閾値より高い場合に投票を行うことで、画像に含まれるパターンの誤りを解消し(対応の解の候補から曖昧性を解消し)正しい対応点を得る。対応計算部52Aは、図14に示すように、局所部分グラフパターンを複数用意している。この処理を、検出グリッドグラフGの全てのノードで行い、局所部分グラフパターンを変更して、予め与えられた全てのLSGPについて、マッチングを繰り返し、合計得票数を得る。繰り返し処理が終わった時点で、画像処理部52(対応計算部52A)は、検出グリッドグラフGに含まれる各ノードに対して、合計得票数が最大獲得数を獲得した投影グリッドグラフのノードについて、その投票数が閾値を超えていた場合に、投影グリッドグラフPのそのノードが、検出グリッドグラフGのノードと一致するもの、すなわち対応の解を決定し、対応付けを行う。

【0073】
(光切断法による3次元形状復元)
図7に戻り、次に、画像処理部52(形状出力部52B)は、撮影画像と計測用パターン21とにおける線分の対応を決定した後は,その線分の対応に基づいて、検出された縦直線の3次元形状を光切断法により復元する(ステップS5)。ここで、画像処理部52(形状出力部52B)は、光切断法で復元された疎な点群から、2次元回帰を利用して法線方向を推定する。そして、線間の形状を、法線方向を考慮しつつ、放射基底関数(Radial Basis Function)を重みとする補間によって復元する。これにより、計測対象の3次元形状が求められる。

【0074】
3次元形状計測装置100による計測を現実的な状況で評価するために、人間の胃から切除された生体標本を計測した。対象標本は、25mm及び15mm程度の異なる距離で観測した。図15に示すように、DOEを利用したパターンプロジェクタ20によって、異なる距離で観測したパターンであっても、両方明瞭なパターンの画像が得られた。本実施の形態に係る3次元計測方法により、それぞれの画像はおおむね正常に復元できた。計測画像から得られたグリッドパターンと、投影されたグリッドパターンとの対応は正常に獲得され、生体標本の縦横線の格子状の3次元形状が獲得された。

【0075】
図7に戻り、次に、制御部50Bは、すべての撮像が終了したか否かを判定する(ステップS6)。すべての撮像が終了していない場合(ステップS6;No)、制御部50Bは、ステップS1(投影及び撮像)→S2(線検出)→S3(グリッドグラフの構築)→S4(部分グラフパターンによる対応づけ)→S5(光切断法による3次元形状復元)が行われ、再び撮像の終了判断が行われる(ステップS6)。このようにして、何枚か撮像され、3次元形状が復元される。この間、内視鏡1の先端の位置は、撮像する毎に変わるので、各画像及びその画像から計測された3次元形状は、異なる視点で計測された計測対象の3次元形状となる。

【0076】
すべての撮像が終了すると(ステップS6;Yes)、画像処理部52は、求められた複数の3次元形状(格子データ)を合成する(ステップS7)。この3次元形状の合成は、ICP(Iterative Closest Point)アルゴリズムを用いて行われる。以下、ICPアルゴリズムについて説明する。

【0077】
従来のICPアルゴリズムでは、格子データの合成は、以下の式(1)、すなわちコスト関数を最小にする剛体変換(回転)のパラメータR、並進パラメータtを算出することにより行われる。
式(1)
【数1】
JP2017217215A_000003t.gif
ここで、図16に示すように、pは、合成元の格子データの点群であり、qは、合成相手の格子データの点群である。

【0078】
しかしながら、上記式で2つの縦線上の点群同士、横線上の点群同士の結びつきが強くなりすぎて、正確に格子データを合成することが困難であった(図16参照)。そこで、本実施の形態では、画像処理部52は、コスト関数を以下の式(2)で定義し、コスト関数を最小にする剛体変換パラメータR、並進パラメータtを算出し、算出した剛体変換パラメータR、並進パラメータtを用いて、2つの格子データの合成を行う。
式(2)
【数2】
JP2017217215A_000004t.gif
ここで、pは、合成元の格子データの横線分上の点群であり、pは、合成元の格子データの縦直線上の点群である。qは、合成元の格子の縦直線上の点群であり、qは、合成元の格子の横線分上の点群である。このようにすれば、図16に示されるように、2つの3次元形状データを、より正確に合成することが可能となる。

【0079】
まとめると、ステップS17おける画像処理部52の動作は、図17に示す手順で実行される。まず、画像処理部52(算出部)は、異なる方向から得られた計測対象の複数の3次元形状データ(p,q)のうち、第1のデータpを構成する縦線分(第1の線分)上の点pと、第1のデータpとは別の第2のデータqを構成する、横線分(第1の線分とは方向の異なる第2の線分)上の点qとの間、又は第1のデータpを構成する横線分上pと第2のデータqを構成する縦線分上qとの間のずれを最小にするような回転及び並進の補正量(回転パラメータ(回転ずれ)R、並進パラメータ(並進ずれ)t)を、回帰分析を行って算出する(ステップS31)。

【0080】
続いて、画像処理部52(出力部)は、算出された回転パラメータR及び並進パラメータ(並進ずれ)tをキャンセルした状態で、第1のデータpと第2のデータqとを合成し、合成した3次元形状のずれを補正した3次元形状として出力する(ステップS32)。

【0081】
なお、より滑らかな表面を実現するために、画像処理部52は、以下の算出式を用いて、サンプル深さデータs(x)の補間を行って深さ関数d(x)を算出することができる。
【数3】
JP2017217215A_000005t.gif
ここで、g(x)は、サンプル点x近傍でのd(x)の線形近似値であり、φ||x-x||は、重みp(x)の値である。重みp(x)は、xで最大で、xから離れたxで最小となる。重み関数φは、以下の式のものを用いることができる。
【数4】
JP2017217215A_000006t.gif
ここで、Rは、近似半径である。

【0082】
また、重みp(x)は、以下のサンプル集合
【数5】
JP2017217215A_000007t.gif
を用いたフィッティング(Rは、半径の閾値)を行って、以下の式の係数aを決定することにより、算出することができる。
pi(x)=a・(x-x)+s(x

【0083】
画像処理部52(形状出力部52B)は、上述のようにして、3次元形状データの合成を行って、計測対象全体の3次元形状を生成する(ステップS7)。生成された3次元形状は、表示部50Cに表示されるとともに、記憶装置等に記憶される。その後、制御部50Bは、処理を終了する。

【0084】
以上詳細に説明したように、本実施の形態によれば、計測対象に投光される2次元パターンが、線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグリッドグラフPから構成されているため、表面下散乱や輝度の低下が発生しても、そのノードの位置情報を読み取り易くなっている。この結果、計測対象の3次元形状、あるいはその大きさを安定して計測することができる。

【0085】
すなわち、3次元形状計測装置100によれば、直線グリッド段差パターンと、DOEによる新しい小型のパターンプロジェクタ20の利用により、広い範囲の作動距離で、生体組織の形状復元を安定して高精度で行うことができる。

【0086】
より詳細には、本実施の形態では、DOEによるパターンプロジェクタ20と,段差によるコードを埋め込んだ格子パターンを利用した、アクティブステレオ法(光切断法)による3次元形状計測装置100を開示した。この3次元形状計測装置100によれば、DOEの利用により、広い作業範囲で明瞭なパターン投影を実現することができるうえ、光エネルギーの利用効率も90%以上になった。さらに、段差によるコードを埋め込んだ直線による格子パターンにより、表面化散乱によるボケの影響を受けていても、パターンを正しく検出し、コードを認識することができた。また、本実施の形態に係る段差パターンの格子構造について、検出誤りを許容して照合をおこなう新しい検出処理を開示した。本実施の形態に係る3次元形状計測装置100によれば、人から切除された生体組織を,異なる作動距離で復元することに成功した。

【0087】
なお、上記実施の形態では、DOEによる格子パターンを線分から構成されるものとしたが、縦直線上と横直線上にドットが形成された格子パターンであってもよい。また、格子点をコード化できるのであれば、他に様々な手法を適用することができる。例えば、各ノードにおけるドットの数でノードをコード化することも可能である。

【0088】
なお、上記実施の形態では、計測用パターン21を、線分の接続状態によって区別可能な特徴を有するノードとエッジから成るものとしたが、パターンの対称性によって区別可能な特徴を有するノードとエッジから成るものとしてもよい。例えば、計測用パターン21は、局所的に回転対称あるいは線対称な特徴があり、その特徴の配置によってグラフのノードあるいはエッジが表されたパターンであってもよい。この場合、格子パターンを形成するにあたり、格子の線を直接画像パターンにするのではなく、画像上の模様の対称性から格子パターンを生成することができる。図18は、矩形状の点からなる画像で格子を表現した計測用パターン22の一例である。図19は、図18の計測用パターン22中の、格子点と格子の線の一例を示す。図19の矩形状の点Dは、図18の計測パターン22中、パターンが180度の回転対称となる中心点であり、計測用パターン22では、このような点Dが、格子上に配置されている。また、図19の縦線L1、横線L2は、図18の画像中で、周囲のパターンが鏡面対象となる中心線であり、このような中心線で、格子パターンの線を表すことができる。

【0089】
図20は、このようなパターンを投影して撮影した画像の一例である。図21は、図20の白枠の部分の拡大図である。図22は、図21の各点で、180度回転による自己相関を求め、これによって各点の180度回転対称性を求め画像化した図である。図23は、図22の回転対称性のピークを求めることで、格子点を検出し、その格子点を画像化したものである。この後、格子点同士をつなぐ線については、投影によって平行四辺形状に歪んだ、格子のブロックを仮に定め、投影による歪みを考慮しながら線対称性を検出することで、抽出することができる。

【0090】
このような計測用パターン22で、格子点や、格子の線に特徴を付与するには、複数の方法がある。例えば、図19で横線L2の箇所の画素を変化させても、横線L2は、前述の鏡面対象性を保つ。この性質を利用し、横線L2上の画素を変化させ、横線L2に特徴を付与することができる。この横線L2上の画素の変化によっては、格子点上での点対称性は必ずしも成立しないが、全体の画素中での変化量を調整すれば、格子点の点対称性は強いため、その検出は容易である。格子点や格子線の特徴を検出できれば、形状復元は上記実施の形態と同様にして、部分ブラフによる照合によって行うことができる。別の方法としては、格子を形成するブロック(長方形状の単一の格子)の内部に、他の点と区別可能な点を配置し、その点の位置をブロック内部で変化させることで、特徴を付けても良い。

【0091】
また、対応計算部52Aは、前記パターンマッチングの一致度をデータ項とし、グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル(MRF,Markov Random Field)最適化により対応点を算出するようにしてもよい。マルコフ場確率モデルは、グラフ構造中のノードにラベルが付与されているときに、ラベルの配置に対する確率を定義する方法であり、これによって、「自然なラベル配置」を確率として定義することができる。したがって、マルコフ場確率モデルを用いて、ノイズを除去しながらノードへのラベル付与を実現するアルゴリズムが複数提案されている。

【0092】
これらのアルゴリズムのモデルでは、あるグラフノードが取るラベルの確率は、そのノードにおける局所的な性質(検出されたノード特徴)と、そのノードとエッジで接続されたノード、つまり隣接ノードのラベルにのみ依存する。全体としての確率が高いラベルの配置は、グラフ全体のラベル付けの対数尤度を表す関数の最適化の形で表される。これは、
【数6】
JP2017217215A_000008t.gif
を最大化するようなラベルを求める問題である。上記の式の項のうち、第一項は、ラベルとデータ(ノード特徴)の一致度を表すのでデータ項と呼ばれ、第二項はラベリングの平滑性(グラフの接続関係)を表すので平滑化項と呼ばれる。

【0093】
上記実施の形態では、カメラで撮像された画像で検出されたグラフ構造の各ノードにおいて、対応するパターンのノードのIDが、ラベルにあたる。データ項では、そのノードを含む部分グラフでのパターンマッチングやエピポーラ拘束の充足を調べ、その一致度が高い対応ノード、あるいは、投票による得票が高い対応ノードに、高い対数尤度が割り当てられる。また、平滑化項では、ノードの接続性を調べ、カメラで撮像された画像で検出されたグラフのノードの接続性と、投影パターンのグラフのノードの接続性が、一致するエッジに高い対数尤度が割り当てられる。このようなラベルを求めるアルゴリズムとしては、graphcutアルゴリズムや、belief propagationアルゴリズムなどが知られている。

【0094】
本実施の形態に係る3次元形状計測装置100は、例えば消化管における内視鏡による診断と治療に用いることができる。初期の胃の腫瘍において、3次元形状計測装置100を用いて測定される腫瘍のサイズは、治療方法を選択するときの重要な情報となる。

【0095】
本実施の形態では、内視鏡1に用いられる3次元形状計測装置100について説明したが、本発明はこれには限られない。例えば、人間の動きや流体解析のロボット、分析および検査目的の視覚的な情報について、動的なシーンの3次元形状をキャプチャする場合に適用することができる。すなわち、ありとあらゆる物体の3次元形状の計測に適用可能である。

【0096】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0097】
本発明は、計測対象の3次元形状の計測に適用することができる。
【符号の説明】
【0098】
1 内視鏡、2 鉗子孔、3 挿入端、10 レーザ光源、10A レーザモジュール、10B 拡散板、10C 照明絞り、10D コリメータレンズ、20 パターンプロジェクタ、20A 光ファイバ、20B グリンレンズ、20C パターンチップ、20D 円筒部、21,22 計測用パターン、30 撮像光学系、30A 対物レンズ、40 照明光学系、40A 照明レンズ、50 コントローラ、50A 操作部、50B 制御部、50C 表示部、51 指令部、52 画像処理部、52A 対応計算部、52B 形状出力部、100 3次元形状計測装置、D 点、IL レーザ光、L 基線長、L1 縦線、L2 横線、M マーク、T ターゲット。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22