明細書 :３次元形状計測装置及び３次元形状計測方法
| 発行国 | 日本国特許庁(JP) | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公報種別 | 特許公報(B2) | ||||||||||||||||||||||||
| 特許番号 | 特許第6752468号 (P6752468) | ||||||||||||||||||||||||
| 公開番号 | 特開2017-217215 (P2017-217215A) | ||||||||||||||||||||||||
| 登録日 | 令和2年8月21日(2020.8.21) | ||||||||||||||||||||||||
| 発行日 | 令和2年9月9日(2020.9.9) | ||||||||||||||||||||||||
| 公開日 | 平成29年12月14日(2017.12.14) | ||||||||||||||||||||||||
| 発明の名称または考案の名称 | ３次元形状計測装置及び３次元形状計測方法 | ||||||||||||||||||||||||
| 国際特許分類 | A61B 1/00 (2006.01) A61B 1/018 (2006.01) A61B 1/045 (2006.01) G02B 23/24 (2006.01) |
||||||||||||||||||||||||
| ＦＩ | A61B 1/00 551 A61B 1/018 515 A61B 1/045 616 G02B 23/24 C G02B 23/24 A |
||||||||||||||||||||||||
| 請求項の数または発明の数 | 11 | ||||||||||||||||||||||||
| 全頁数 | 23 | ||||||||||||||||||||||||
| 出願番号 | 特願2016-113925 (P2016-113925) | ||||||||||||||||||||||||
| 出願日 | 平成28年6月7日(2016.6.7) | ||||||||||||||||||||||||
| 審査請求日 | 令和元年5月7日(2019.5.7) | ||||||||||||||||||||||||
| 特許権者または実用新案権者 | 【識別番号】510108951 【氏名又は名称】公立大学法人広島市立大学 【識別番号】504258527 【氏名又は名称】国立大学法人 鹿児島大学 |
||||||||||||||||||||||||
| 発明者または考案者 | 【氏名】古川 亮 【氏名】川崎 洋 |
||||||||||||||||||||||||
| 個別代理人の代理人 | 【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満 【識別番号】100138955、【弁理士】、【氏名又は名称】末次 渉 【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典 |
||||||||||||||||||||||||
| 審査官 | 【審査官】清水 裕勝 | ||||||||||||||||||||||||
| 参考文献・文献 | 国際公開第２０１４／０１７５６６（ＷＯ，Ａ１） 国際公開第２０１４／０２０８２３（ＷＯ，Ａ１） 特開２０１３－０２４６０８（ＪＰ，Ａ） 特開２０１５－１５５８８６（ＪＰ，Ａ） 米国特許出願公開第２０１２／００９２６８０（ＵＳ，Ａ１） 特開平０７－２６０４４６（ＪＰ，Ａ） 特開平０９－１３８８７０（ＪＰ，Ａ） |
||||||||||||||||||||||||
| 調査した分野 | Ａ６１Ｂ １／００－１／３２ Ｇ０２Ｂ ２３／２４－２３／２６ Ｇ０１Ｂ １１／００－１１／３０ |
||||||||||||||||||||||||
| 特許請求の範囲 | 【請求項1】 線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグラフから構成される２次元パターンを計測対象に投光する投光部と、 前記計測対象に投光された前記２次元パターンを撮像する撮像部と、 前記撮像部で撮像された画像と前記２次元パターンについて、エピポーラ拘束に基づいて互いに対応する前記ノードの解の候補を選択し、前記解の候補同士の前記グラフでの接続状態に基づいて、前記画像に含まれる前記２次元パターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算部と、 前記対応の解に基づいてステレオ処理により前記計測対象の３次元形状を算出して出力する形状出力部と、 を備え、 前記対応計算部は、 前記２次元パターンの前記グラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれる前記ノードと、前記２次元パターンにおける前記ノードとを対応付けることで、前記対応の解の候補を削減し、 前記２次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである、 ３次元形状計測装置。 【請求項2】 前記対応計算部は、 前記パターンマッチングの一致度をデータ項とし、前記グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル（ＭＲＦ）最適化により対応点を算出する、 請求項１に記載の３次元形状計測装置。 【請求項3】 前記対応計算部は、 前記部分グラフの前記ノードについて、前記パターンマッチングの一致度が閾値より高い場合に投票を行うことで、前記対応の解の候補から正しい対応点を得る、 請求項１に記載の３次元形状計測装置。 【請求項4】 前記対応計算部は、 前記部分グラフを複数用意し、それぞれの前記部分グラフでの投票を繰り返した合計得票数によって前記対応の解を決定する、 請求項３に記載の３次元形状計測装置。 【請求項5】 前記形状出力部は、 前記対応の解に基づく前記線分の対応関係から、光切断法を用いて前記３次元形状を算出する、 請求項１から４のいずれか一項に記載の３次元形状計測装置。 【請求項6】 前記２次元パターンに含まれる前記線分の連なりが、 曲線状に配置される、 請求項１から５のいずれか一項に記載の３次元形状計測装置。 【請求項7】 前記２次元パターンは、 回折光学素子によるレーザ光の回折により前記計測対象上に形成される、 請求項１から６のいずれか一項に記載の３次元形状計測装置。 【請求項8】 前記投光部が、内視鏡に組み込まれている、 請求項１から７のいずれか一項に記載の３次元形状計測装置。 【請求項9】 異なる方向から計測された、前記計測対象の複数の３次元形状のデータが得られた場合に、 前記複数の３次元形状のデータのうち、第１のデータを構成する第１の線分と、前記第１のデータとは別の第２のデータを構成する、前記第１の線分とは方向の異なる第２の線分との間のずれを最小にするような、回転及び並進の補正量を算出する算出部と、 前記算出部で算出された回転及び並進の前記補正量によって、前記第１のデータと前記第２のデータのずれを補正した形状を出力する出力部と、 を備える、 請求項１に記載の３次元形状計測装置。 【請求項10】 ３次元形状計測装置によって実行される３次元形状計測方法であって、 線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグラフから構成される２次元パターンを計測対象に投光し、前記計測対象に投光された前記２次元パターンを撮像するパターン撮像ステップと、 前記パターン撮像ステップで撮像された画像と前記２次元パターンについて、エピポーラ拘束に基づいて互いに対応する前記ノードの解の候補を選択し、前記解の候補同士の前記グラフの接続状態に基づいて、前記画像に含まれる前記２次元パターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算ステップと、 前記対応の解に基づいてステレオ処理により前記計測対象の３次元形状を算出して出力する形状出力ステップと、 を含み、 前記対応計算ステップでは、 前記２次元パターンの前記グラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれる前記ノードと、前記２次元パターンにおける前記ノードとを対応付けることで、前記対応の解の候補を削減し、 前記２次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである、 ３次元形状計測方法。 【請求項11】 異なる方向から計測された、前記計測対象の複数の３次元形状のデータが得られた場合に、前記複数の３次元形状のデータのうち、第１のデータを構成する第１の線分と、前記第１のデータとは別の第２のデータを構成する、前記第１の線分とは方向の異なる第２の線分との間のずれを最小にするような、回転及び並進の補正量を算出する算出ステップと、 前記算出ステップで算出された回転及び並進の前記補正量によって、前記第１のデータと前記第２のデータのずれを補正した形状を出力する出力ステップと、 を含む請求項１０に記載の３次元形状計測方法。 |
||||||||||||||||||||||||
| 発明の詳細な説明 | 【技術分野】 【0001】 本発明は、３次元形状計測装置及び３次元形状計測方法に関する。 【背景技術】 【0002】 従来より、体腔内の管腔に長尺状の内視鏡挿入部を挿入し、計測対象の診断や処理を行うことができる内視鏡が用いられている（例えば、特許文献１参照）。内視鏡による診断では、計測対象としての腫瘍などの病変の形状や大きさを計測することが治療方法を選択する上で特に重要である。内視鏡メジャーや、目視による測定では、時間を要したり、人的要因による推定誤差が生じる可能性がある。 【0003】 そこで、観察部位の形状と大きさを計測するために、三角測量の原理で３次元形状を計測するアクティブステレオ法に基づいた３次元内視鏡システムが開発されている（例えば、非特許文献１参照）。このシステムでは、計測対象上に結像するパターン像の撮像結果に基づいて観察部位の３次元形状等が計測される。 【先行技術文献】 【0004】 【特許文献1】特開２０１１－２００３４１号公報 【0005】 【非特許文献1】H. Aoki, R. Furukawa, M. Aoyama, S. Hiura, N. Asada, R. Sagawa, H. Kawasaki, S. Tanaka, S. Yoshida, and Y. Sanomura, Proposal on 3-d endoscope by using grid-based active stereo” in EMBC, 2013, pp. 5694-5697. 【発明の概要】 【発明が解決しようとする課題】 【0006】 上述のシステムでは、パターン像を計測対象上に結像させる結像光学系の焦点ずれや収差によるボケのため、奥行きの計測範囲が限定されるという不都合があった。また、内部の生体組織に共通の強力な表面下散乱が生じてしまい、投影されるパターン像をボケさせるのみならず、パターン光の輝度を弱めてしまう可能性がある。この結果、計測が不安定になるおそれがある。 【0007】 プロジェクタの焦点深度は、一般にカメラの焦点深度よりも深いことが多い。例えば、プロジェクタから約４０ｍｍの距離において、焦点が合った状態で投影できる範囲は、８ｍｍ程度になる。また、内視鏡カメラはレンズ口径の大きさから、感度には限界があるので、パターン光の輝度不足は計測対象を安定して計測するうえでの深刻な問題となる。 【0008】 本発明は、上記実情に鑑みてなされたものであり、計測対象の３次元形状、あるいはその大きさを安定して計測することができる３次元形状計測装置及び３次元形状計測方法を提供することを目的とする。 【課題を解決するための手段】 【0009】 上記目的を達成するために、本発明の第１の観点に係る３次元形状計測装置は、 線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグラフから構成される２次元パターンを計測対象に投光する投光部と、 前記計測対象に投光された前記２次元パターンを撮像する撮像部と、 前記撮像部で撮像された画像と前記２次元パターンについて、エピポーラ拘束に基づいて互いに対応する前記ノードの解の候補を選択し、前記解の候補同士の前記グラフでの接続状態に基づいて、前記画像に含まれる前記２次元パターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算部と、 前記対応の解に基づいてステレオ処理により前記計測対象の３次元形状を算出して出力する形状出力部と、 を備え、 前記対応計算部は、 前記２次元パターンの前記グラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれる前記ノードと、前記２次元パターンにおける前記ノードとを対応付けることで、前記対応の解の候補を削減し、 前記２次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである。 【0013】 前記対応計算部は、 前記パターンマッチングの一致度をデータ項とし、前記グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル（ＭＲＦ）最適化により対応点を算出する、 こととしてもよい。 【0014】 前記対応計算部は、 前記部分グラフの前記ノードについて、前記パターンマッチングの一致度が閾値より高い場合に投票を行うことで、前記対応の解の候補から正しい対応点を得る、 こととしてもよい。 【0015】 前記対応計算部は、 前記部分グラフを複数用意し、それぞれの前記部分グラフでの投票を繰り返した合計得票数によって前記対応の解を決定する、 こととしてもよい。 【0016】 前記形状出力部は、 前記対応の解に基づく前記線分の対応関係から、光切断法を用いて前記３次元形状を算出する、 こととしてもよい。 【0017】 前記２次元パターンに含まれる前記線分の連なりが、 曲線状に配置される、 こととしてもよい。 【0018】 前記２次元パターンは、 回折光学素子によるレーザ光の回折により前記計測対象上に形成される、 こととしてもよい。 【0019】 前記投光部が、内視鏡に組み込まれている、 こととしてもよい。 【0020】 異なる方向から計測された、前記計測対象の複数の３次元形状のデータが得られた場合に、 前記複数の３次元形状のデータのうち、第１のデータを構成する第１の線分と、前記第１のデータとは別の第２のデータを構成する、前記第１の線分とは方向の異なる第２の線分との間のずれを最小にするような、回転及び並進の補正量を算出する算出部と、 前記算出部で算出された回転及び並進の前記補正量によって、前記第１のデータと前記第２のデータのずれを補正した形状を出力する出力部と、 を備える、 こととしてもよい。 【0021】 本発明の第２の観点に係る３次元形状計測方法は、 ３次元形状計測装置によって実行される３次元形状計測方法であって、 線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグラフから構成される２次元パターンを計測対象に投光し、前記計測対象に投光された前記２次元パターンを撮像するパターン撮像ステップと、 前記パターン撮像ステップで撮像された画像と前記２次元パターンについて、エピポーラ拘束に基づいて互いに対応する前記ノードの解の候補を選択し、前記解の候補同士の前記グラフの接続状態に基づいて、前記画像に含まれる前記２次元パターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算ステップと、 前記対応の解に基づいてステレオ処理により前記計測対象の３次元形状を算出して出力する形状出力ステップと、 を含み、 前記対応計算ステップでは、 前記２次元パターンの前記グラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれる前記ノードと、前記２次元パターンにおける前記ノードとを対応付けることで、前記対応の解の候補を削減し、 前記２次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである。 【0022】 異なる方向から計測された、前記計測対象の複数の３次元形状のデータが得られた場合に、前記複数の３次元形状のデータのうち、第１のデータを構成する第１の線分と、前記第１のデータとは別の第２のデータを構成する、前記第１の線分とは方向の異なる第２の線分との間のずれを最小にするような、回転及び並進の補正量を算出する算出ステップと、 前記算出ステップで算出された回転及び並進の前記補正量によって、前記第１のデータと前記第２のデータのずれを補正した形状を出力する出力ステップと、 を含む、 こととしてもよい。 【発明の効果】 【0023】 本発明によれば、計測対象に投光される２次元パターンが、線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成されているため、表面下散乱や輝度の低下が発生しても、そのノードの位置情報を読み取り易くなっている。この結果、計測対象の３次元形状、あるいはその大きさを安定して計測することができる。 【図面の簡単な説明】 【0024】 【図1】本発明の実施の形態に係る３次元形状計測装置の構成を示す模式図である。 【図2】内視鏡の挿入端の鉗子孔周辺の拡大断面図である。 【図3】図３（Ａ）は、計測用パターンの一例を示す図である。図３（Ｂ）は、計測用パターンの各ノードに割り振られたコードラベルの一例を示す図である。 【図4】計測対象に計測用パターンの像が投影される様子を示す図である。 【図5】３次元形状計測装置の全体構成を示すブロック図である。 【図6】図６（Ａ）及び図６（Ｂ）は、光切断法を示す模式図である。 【図7】３次元形状計測装置の３次元形状計測動作のフローチャートである。 【図8】線検出のサブルーチンのフローチャートである。 【図9】グリッドグラフの構築のサブルーチンのフローチャートである。 【図10】グリッドグラフの一例を示す図である。 【図11】部分グラフパターンによる対応付けを行う様子を示す模式図である。 【図12】部分グラフパターンによる投票動作（その１）を示す模式図である。 【図13】部分グラフパターンによる投票動作（その２）を示す模式図である。 【図14】異なる部分グラフパターンで対応付けを行う様子を示す模式図である。 【図15】人間の胃から切除された生体標本の計測結果を示す図である。 【図16】３次元形状の合成処理の流れを示す模式図である。 【図17】３次元形状の合成処理を行う構成を示す図である。 【図18】矩形状の点からなる画像で格子を表現した計測用パターンの一例を示す図である。 【図19】図１８の計測用パターン中の、格子点と格子の線の一例を示す図である。 【図20】図１８の計測用パターンを投影して撮影した画像の一例を示す図である。 【図21】図２０の白枠の部分の拡大図である。 【図22】図２１の各点で、１８０度回転による自己相関を求め、これによって各点の１８０度回転対称性を求め画像化した図である。 【図23】図２２の回転対称性のピークを求めることで、格子点を検出し、その格子点を画像化した図である。 【発明を実施するための形態】 【0025】 以下、本発明の実施の形態について図面を参照して詳細に説明する。各図において、同一の要素には同一の符号を付している。 【0026】 図１に示すように、本実施の形態に係る３次元形状計測装置１００は、レーザ光源１０と、計測対象に計測用パターン２１（図３参照）を投光する投光部としてのパターンプロジェクタ２０と、を備える。３次元形状計測装置１００は、内視鏡１とともに用いられる。内視鏡１には、鉗子孔２が形成されている。通常、鉗子孔２には、観察部位を採取する鉗子が挿通される。しかしながら、本実施の形態では、鉗子に代えて、パターンプロジェクタ２０が、鉗子孔２に挿通されて用いられる。 【0027】 パターンプロジェクタ２０は、レーザ光源１０と接続されている。レーザ光源１０は、レーザモジュール１０Ａと、拡散板１０Ｂと、照明絞り１０Ｃと、コリメータレンズ１０Ｄと、を備える。 【0028】 レーザモジュール１０Ａは、緑色のレーザ光ＩＬ（例えば波長５１７ｍｍのレーザ光）を発振出力する。拡散板１０Ｂは、レーザモジュール１０Ａから発せられたレーザ光ＩＬを拡散して、レーザ光ＩＬの断面における強度を均一化する。コリメータレンズ１０Ｄは、入射したレーザ光ＩＬを平行光に変換する。コリメータレンズ１０Ｄによって平行光に変換されたレーザ光ＩＬは、パターンプロジェクタ２０を構成する光ファイバ２０Ａに入射する。 【0029】 図２に示すように、パターンプロジェクタ２０は、光ファイバ２０Ａと、グリンレンズ２０Ｂと、パターンチップ２０Ｃと、円筒部２０Ｄと、を備える。パターンプロジェクタ２０のサイズは、例えば直径２．８ｍｍ、長さ１２ｍｍである。 【0030】 光ファイバ２０Ａは、プラスチック又はガラス製のシングルモードの光ファイバである。光ファイバ２０Ａは、コリメータレンズ１０Ｄから出射された緑色のレーザ光ＩＬを、その一端から入射して他端から出射する。 【0031】 グリンレンズ２０Ｂは、光ファイバ２０Ａから出射されたレーザ光を集光して、対象となる人体内部における生体組織に投影する。パターンチップ２０Ｃは、ＤＯＥ（Diffractive Optional Element）と呼ばれる光学素子である。ＤＯＥは、通過するレーザ光を回折させることにより、パターンを形成する。したがって、フィルムによるマスクパターンよりも光損失を低減することができ、例えば光エネルギーの損失率は５％以下となる。ＤＯＥは、距離にかかわらず明瞭なパターンを投影することができるので、結像光学系よりも計測範囲を広げることができる。また、ＤＯＥの光効率は９０％以上になるので、計測対象に投影されるパターンの輝度の低下も抑制される。投影されるパターンのサイズは、３０ｍｍの距離で約３０ｍｍ２である。 【0032】 この光学素子は、グリンレンズ２０Ｂから出射されるレーザ光ＩＬの光路上に設置される。このため、生体組織に投影されるレーザ光ＩＬは、図３に示す計測用パターン２１（２次元パターン）の像を含む投影光となる。この計測用パターン２１は、以下に示すように、線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグラフから構成される。 【0033】 生体組織表面の反射特性は、通常の物体とは大きく異なる。特に、表面下散乱の影響が大きい。従来、計測用パターン２１としては、波型のグリッドパターンが使用されてきたが、格子点における波線の曲率などは、表面下散乱による高周波成分の損失によって検出が難しくなったり、情報が失われたりする場合がある。このような詳細情報の損失を回避するため、計測用パターン２１として、より低周波の画像信号からなるパターンが採用される。 【0034】 低周波なパターンとしては，従来、密度の低いドットパターンや、疎な線を組み合わせたパターンなどがあるが、ドットパターンでは、内視鏡１のカメラとパターンプロジェクタ２０の基線長Ｌ（図６参照）が長くてパターンの変形量が大きいと、パターンと観測画像の対応をとるのが困難になる。また、線が疎になれば、３次元形状を計測するための情報を埋め込む数が少なくなり、計測される３次元形状を粗くせざるを得ない。 【0035】 そこで、本実施の形態では、計測用パターン２１を、表面化散乱によるボケに対して比較的頑健な、間隔の大きな線パターンを含むパターンとする。図３に示すように、計測用パターン２１は、縦横線分からなる格子状パターンとなる。計測用パターン２１において、縦方向の線分（縦線分）はすべて連続かつ直線上に並んでおり、全体的に等間隔に平行に並んだ縦直線となっている。これに対して、横方向の線分（横線分）には、各格子点において、隣り合う横線分（縦直線に接続する左右の横線分）の間に、小さな段差が付加されている。段差の大きさは０も含んでいる。ボケのサイズより長い線分の位置は、表面下散乱によっても失われにくいので、段差の情報は、安定して取得可能である。 【0036】 このような構成の下で、図３（Ｂ）に示すように、各格子点には、Ｓ、Ｌ、Ｒの３種類のコード要素（コードラベル）が割り振られている。Ｓは、左右の横線分の端点が連続であることを意味する。また、Ｌは、左側の横線分の端点の方が右側の横線分の端点より高いことを意味する。Ｒは、逆に右側の横線分の端点の方が左側の横線分の端点より高いことを意味する。図３（Ｂ）には、これらのコード要素（コードラベル）の配列が示されている。本実施の形態では、縦直線に接続する左右の横線分の段差によって各ノードがコード化されている。計測用パターン２１は、左右の横線分の段差によってノードが特徴を持つグラフ構造のパターンである。 【0037】 本実施の形態では、内視鏡１のカメラと、パターンプロジェクタ２０との位置関係について計測用パターン２１の制限を仮定している。その制限とは、内視鏡１のカメラで観測される交点のエピポーラ線をパターン画像上に描いたとき、その線の方向は格子パターンの縦直線の方向と一致しない、ということである。これは、検出された縦線の形状（３次元形状）を、光切断法によって復元するためである。パターン画像上のエピポーラ線が格子パターンの縦線と一致する場合、３次元形状の復元を行うことができない。復元の精度の点からは、パターン画像上のエピポーラ線の方向は横方向に近い方がよいが、斜め方向であっても問題なく復元が可能である。 【0038】 本実施の形態では、図３（Ｂ）に示すように、横方向に延びる横線分は、それぞれの列で異なる角度に傾けられている。横方向につながる（連結された）一連の複数の横線分は、段差がないとした場合に全体として正弦波状の波線になっている。すなわち、計測用パターン２１に含まれる横線分の重なりが曲線状に配置されている。これは、横線分が直線状につながっていると、カメラ画像で検出された交点のエピポーラ線がその直線に一致したとき、多数の対応点候補が生じ、復元精度の低下を招くことがあるためである。 【0039】 図２に戻り、円筒部２０Ｄは、円筒状の部材である。円筒部２０Ｄは内視鏡１の挿入端３から突出している。円筒部２０Ｄの外径は、鉗子孔２に嵌まる大きさとなっている。円筒部２０Ｄの内径は、光ファイバ２０Ａ、グリンレンズ２０Ｂ及びパターンチップ２０Ｃを実装できる径となっている。 【0040】 グリンレンズ２０Ｂから出射されたレーザ光ＩＬは、円筒部２０Ｄの開口端から外部に出射される。また、円筒部２０Ｄの外側面には、マークＭが形成されている。本実施の形態では、このマークＭを用いて、アクティブステレオ法におけるパターンプロジェクタ２０と内視鏡１のカメラ（後述する撮像光学系３０）との相対位置情報を校正するキャリブレーションが行われる。 【0041】 このように、円筒部２０Ｄは、内視鏡１の挿入端３から突き出している。円筒部２０Ｄの開口端から緑色のレーザ光ＩＬが出射される。このレーザ光ＩＬは、パターンチップ２０Ｃにより回折され計測用パターン２１の投影像を形成するため、レーザ光ＩＬが照射される計測対象（ターゲットＴ）には、図４に示すように、計測用パターン２１が投影される。 【0042】 内視鏡１の挿入端３には、鉗子孔２の他に、対物レンズ３０Ａ及び照明レンズ４０Ａが取り付けられている。対物レンズ３０Ａは、ターゲットＴを撮像する撮像光学系３０（図５参照）を構成するレンズであり、照明レンズ４０Ａは、ターゲットＴへ照明光を照射する照明光学系４０（図５参照）のレンズである。内視鏡１は、照明レンズ４０Ａを介してターゲットＴに照明光を照射し、照射されたターゲットＴを、対物レンズ３０Ａを介して撮像する機能を有している。 【0043】 図５には、３次元形状計測装置１００の全体構成が示されている。図５に示すように、３次元形状計測装置１００は、上述したレーザ光源１０及びパターンプロジェクタ２０の他に、コントローラ５０をさらに備えている。コントローラ５０は、ＣＰＵ（Central Processing Unit）、記憶装置、入出力装置、ポインティングデバイス又はディスプレイ等のマンマシンインターフェイスを備えるコンピュータである。ＣＰＵが、マンマシンインターフェイスから入力される操作者の操作情報に従って、記憶装置に記憶されたプログラムを実行することにより、コントローラ５０の機能が実現される。すなわち、実行されるプログラムに従って、コントローラ５０は、入出力装置を介してレーザ光源１０を制御したり、内視鏡１の照明光学系４０を制御したり、入出力装置を介して内視鏡１の撮像光学系３０から入力される撮像データを入力したりする。 【0044】 また、内視鏡１は、計測対象を撮像するための撮像光学系３０と、計測対象を照明する照明光学系４０と、を備える。図４に示す対物レンズ３０Ａは、内視鏡１の撮像光学系３０を構成するレンズであり、照明レンズ４０Ａは、内視鏡１の照明光学系４０を構成し、その照明光を外部（計測対象）に出射するレンズである。具体的には、撮像光学系３０は、計測対象とともに、計測対象に投光された計測用パターン２１を撮像する。 【0045】 コントローラ５０は、操作部５０Ａと、制御部５０Ｂと、表示部５０Ｃと、を備える。操作部５０Ａは、操作者の操作に応じた操作信号を、制御部５０Ｂに出力する。 【0046】 制御部５０Ｂは、操作部５０Ａからの操作信号に従って、内視鏡１の撮像光学系３０から得られた計測対象の撮像データを入力し、入力した撮像データに対する画像処理を行って、計測対象の３次元形状を計測する。制御部５０Ｂは、指令部５１と、画像処理部５２と、を備える。指令部５１は、操作部５０Ａからの操作信号に従って、レーザ光源１０と内視鏡１に制御指令を出力する。画像処理部５２は、計測対象に投光された計測用パターン２１の画像に基づいて、アクティブステレオ法を用いた画像処理を行って、計測対象の３次元形状を求める。 【0047】 表示部５０Ｃは、内視鏡１の撮像光学系３０から得られた計測対象の撮像データ等の各種画像を表示する。 【0048】 画像処理部５２において行われる３次元形状の計測処理について説明する。図６（Ａ）に示すように、本実施の形態では、画像処理部５２は、光切断法に基づいて、計測対象の３次元形状を計測する。光切断法は、アクティブステレオ法の１つであり、三角測量の原理を応用する方法である。光切断法では、パターンプロジェクタ２０による計測対象の投影中心Ｐ１と、計測対象を撮像するカメラ（撮像光学系３０）の撮像中心Ｐ２との視差（基線長）Ｌに基づいて、計測対象の３次元形状が計測される。 【0049】 計測用パターン２１を含む投影光は、投影中心Ｐ１からターゲットＴ（計測対象）に投影され、ターゲットＴ上にも計測用パターン２１の像が投影される。計測用パターン２１には、縦直線Ｖが含まれている。 【0050】 ここで、計測用パターン２１が投影されたターゲットＴ上の特定の点Ｐに着目する。ターゲットＴ上の点Ｐが、投影像の投影方向に沿った方向に変化した場合には、図６（Ｂ）に示すように、位置Ｐ２にある撮像光学系３０からは点Ｐ上のパターンがずれるように見える。光切断法は、このパターンの位置ずれに基づいて、ターゲットＴの各点の奥行きｄを計測する。 【0051】 画像処理部５２の構成についてより詳細に説明する。図５に示すように、画像処理部５２は、対応計算部５２Ａと、形状出力部５２Ｂを備える。対応計算部５２Ａは、撮像された画像と計測用パターン２１について、エピポーラ拘束に基づいて対応の解の候補となるノード（図３（Ａ）及び図３（Ｂ）参照）を選択し、解の候補（ノード）同士のグラフの接続状態に基づいて、画像に含まれるパターンの誤りを解消し解の候補の中から正しい対応の解（対応するノード）を得る。形状出力部５２Ｂは、上述のようにして（図６（Ａ）及び図６（Ｂ）に示すように）、対応の解（対応するノード）からステレオ処理（光切断法）により計測対象の３次元形状を算出して出力する。 【0052】 ターゲットＴの奥行きがｄだけ変化した場合の撮像光学系３０の撮像結果における点Ｐのずれ量は、パターンプロジェクタ２０と撮像光学系３０との視差（基線長）Ｌに応じて変化するが、本実施の形態では、視差（基線長）Ｌはキャリブレーションにより正確に求められているものとする。 【0053】 次に、本実施の形態に係る３次元形状計測装置１００を用いた３次元形状計測動作について説明する。 【0054】 図７に示すように、まず、コントローラ５０（指令部５１）は、パターンプロジェクタ２０により計測用パターン２１を計測対象（ターゲットＴ）に投影して、内視鏡１の撮像光学系３０を用いて計測対象（ターゲットＴ）の撮像を行う（ステップＳ１）。 【0055】 （線検出） 次に、画像処理部５２（対応計算部５２Ａ）は、撮像光学系３０から生画像を取得し、生画像から線を検出する（ステップＳ２）。ステップＳ２において、図８に示すように、画像処理部５２（対応計算部５２Ａ）は、生画像から魚眼歪みを除去する（ステップＳ１１）。続いて、画像処理部５２（対応計算部５２Ａ）は、ガウシアンフィルタ又はメディアンフィルタを用いて画像中のノイズを低減する（ステップＳ１２）。続いて、画像処理部５２（対応計算部５２Ａ）は、画像中の格子の縦直線を検出する（ステップＳ１３）。 【0056】 次に、画像処理部５２（対応計算部５２Ａ）は、隣接する縦直線同士を横方向に接続する横線分の検出を行う（ステップＳ１４）。この処理では、検出された縦直線の左右、それぞれの側について、縦直線に沿って輝度値が追跡され、輝度値のピークが検出される。これらのピークの位置は、横線分の端点候補となる。端点候補を接続する縦直線のうち、長さが決められた範囲内にあるものを、横線分の初期候補とする。 【0057】 横線分の初期候補の端点位置には微小な誤差がある。これを補正するために、対応計算部５２Ａは、横線分のそれぞれの初期候補について、端点位置を縦直線に沿って微小量ずらしながら、それらを結ぶ線分上の輝度値の平均値が最大になるような端点位置を探索する。探索された端点位置にある線分を、最適化された横線分の候補とする。横線分の候補には、重なったものや、実際には投影パターンの無い位置に局所最適化によって検出されるものもある。そうした横線分の候補を除去するために、互いに距離が近い（投影パターンから予測される距離の半分以下となる）横線分の候補がある場合、線分上の平均輝度値が小さい方を除去する。 【0058】 ステップＳ１４終了後、画像処理部５２は、図７のステップＳ３に移行する。 【0059】 （グリッドグラフの構築） 次に、画像処理部５２（対応計算部５２Ａ）は、グリッドグラフの構築を行う（ステップＳ３）。図９に示すように、画像処理部５２（対応計算部５２Ａ）は、検出された縦直線及び横線分に基づいて、グリッドグラフ（格子グラフ）の構造を構築する（ステップＳ２１，Ｓ２２）。計測用パターン２１におけるグリッドグラフの構造を図１０に示す。この時点では、縦直線（例えばｖ１，ｖ２）を含む縦直線群が検出されており、それらの間の横エッジ（例えばｅ１，ｅ２）が検出されている。 【0060】 グリッドグラフを構成するには、ある縦直線の左右から横エッジを１つずつ選んだとき、これらの横エッジが「連続」であるか「非連続」であるかを判定する必要がある。ここで、これらの横エッジが連続であるとは、横エッジｅ３と横エッジｅ４のように幾何学的に連続であることのみを意味するのではない。例えば、横エッジｅ５と横エッジｅ６のように、幾何学的には段差のある横エッジも、グリッドグラフとしては単一のノードｎ１で接続しているものと見なし、これらは「連続」であると定義する。横エッジ同士の「連続」、「非連続」の分類は重要な処理である。横エッジの間で段差の無いノードのコードラベルはＳとなる。 【0061】 図１０において、破線の丸で示されたノードは、コードラベルがＳとなるノードである。また、実線の丸で示されたノードは、コードラベルがＳ、Ｌ、Ｒのいずれかになるノードである。実線の丸のノードと、破線の丸のノードは、縦直線の上で交互に現れる。 【0062】 例えば、縦ラインｖ２には、下から順に、実線（コードラベルＲ）のノードｎ２、破線（コードラベルＳ）のノードｎ３、実線（コードラベルＲ）のノードｎ４、破線（コードラベルＳ）のノードｎ５が現れている。この配置を考慮して、図９に示すように、画像処理部５２（対応計算部５２Ａ）は、縦ラインの左右の横エッジについて、端点同士の距離が小さい閾値Ｔｓよりも小さいものを探し、それら２個の端点のペアをグループとして、コードラベルＳのノードとして検出する（ステップＳ２１）。 【0063】 次に、画像処理部５２（対応計算部５２Ａ）は、残りの端点について、閾値Ｔｓよりも大きな閾値Ｔｌ以下の距離の端点のペアを探し、さらにそれらのエッジの上あるいは下のエッジ同士がすでに連続なエッジとしてマークされている場合、その端点のペアを１つのグループ、すなわちコードラベルＬ、Ｒのノードｎｉとして検出する（ステップＳ２２）。 【0064】 図１０においては、例えば、横エッジｅ３と横エッジｅ４が連続なエッジとしてコードラベルＳがそのノードにマークされ、続いて、それらのエッジの連続性を参考に、横線分ｅ５と横線分ｅ６が連続であるとしてコードラベルＬがノードｎ１にマークされる。それぞれのノード（例えば、ｎ６）は、上下左右の隣接ノードに接続されている。横エッジによっては、検出漏れなどにより、連接する横エッジが見つからない場合もある。このような場合、横方向の隣接ノードが、右または左の片側しか存在しない状態となる。 【0065】 ステップＳ２２実行後、画像処理部５２は、図７のステップＳ４に進む。 【0066】 （部分グラフパターンによる対応付け） 次に、画像処理部５２（対応計算部５２Ａ）は、部分グラフパターンによる対応付けを行う（ステップＳ４）。具体的には、対応計算部５２Ａは、以下に説明するように、計測用パターン２１のグラフの部分グラフにおけるパターンマッチングを行って、画像に含まれるノードと、計測用パターン２１におけるノードとを対応付けることで、対応の解（ノード）の候補を削減し、解の候補の中から正しい対応の解（対応ノード）を得る。さらに、画像処理部５２（形状出力部５２Ｂ）は、得られた対応の解からステレオ処理（光切断法）により、計測対象の３次元形状を算出して出力する（ステップＳ５）。 【0067】 ここで、ステップＳ３において、内視鏡１のカメラで撮像された画像から作成された検出グリッドグラフをＧとし、図３（Ａ）に示す計測用パターン２１の投影グリッドグラフをＰとする。図１１に示すように、検出グリッドグラフＧには、エッジが欠ける場合や、余分なエッジが存在する場合、ノードのラベルＳ，Ｌ，Ｒの誤りがある場合がある。画像処理部５２は、グラフトポロジーの誤りを許して検出グリッドグラフＧと投影グリッドグラフＰとの照合を行うために、これらのグラフの部分グラフを照合する。 【0068】 照合のための部分グラフを、局所部分グラフパターン（Local Sub-Graph Pattern、以下、ＬＳＧＰ）と呼ぶ。図１１に示すように、ＬＳＧＰ（ｓ）は、検出グリッドグラフＧと投影グリッドグラフＰとに共通な局所的な部分グラフを照合するテンプレートとなるグラフである。ＬＳＧＰを与えることで、検出グリッドグラフＧと投影グリッドグラフＰとを、エッジの欠損や誤検出を許しながら照合することができる。また、図１１に示すように、複数種類のＬＳＧＰを用意して、それぞれのＬＳＧＰで検出グリッドグラフＧと投影グリッドグラフＰを照合することで、柔軟な照合処理が可能となる。 【0069】 画像処理部５２では、各ＬＳＧＰは、そのノードをすべて通過するパスとして実装されている。複数のＬＳＧＰによる照合結果からの総合判定は、ノードｎｉごとの投票によって行われる。 【0070】 照合処理は、以下手順で行われる。まず、画像処理部５２は、検出グリッドグラフＧのあるノードｎｉから、あるＬＳＧＰのパスを追跡し、エッジの欠損が無ければ、その部分グラフ（画像グラフパターン）をＧ０とする。次に、画像処理部５２は、投影グリッドグラフＰから、以下の全ての条件を満たす部分グラフ（部分グラフパターン）Ｐ０を探索する。 【0071】 その条件とは、以下の通りである。 （１）Ｇ０とＰ０とが同じトポロジーのグラフであること （２）Ｇ０とＰ０の対応するノードが、全てエピポーラ拘束条件を満たすこと （３）Ｇ０とＰ０の対応するノードのコードラベルＳ，Ｌ，Ｒが、一定の閾値以上の割合で一致していること（パターンマッチングの一致度が閾値より高いこと） なお、（２）の条件を満たすことが、エピポーラ拘束に基づいて対応の解の候補を選択する処理に対応する。 【0072】 計測用パターン２１では、検出グリッドグラフＧのあるノードに対してエピポーラ拘束を満たす投影グリッドグラフＰ中のノード（解の候補）は比較的少数である（最大で１０程度である）ので、上記の条件を満たすＰ０が見つかったら、図１２、図１３に示すように、Ｐ０の全てのノードに対して、Ｇ０の各ノードについて、対応ノードとして投票が行われる。対応計算部５２Ａは、部分グラフのノードについて、パターンマッチングの一致度が閾値より高い場合に投票を行うことで、画像に含まれるパターンの誤りを解消し（対応の解の候補から曖昧性を解消し）正しい対応点を得る。対応計算部５２Ａは、図１４に示すように、局所部分グラフパターンを複数用意している。この処理を、検出グリッドグラフＧの全てのノードで行い、局所部分グラフパターンを変更して、予め与えられた全てのＬＳＧＰについて、マッチングを繰り返し、合計得票数を得る。繰り返し処理が終わった時点で、画像処理部５２（対応計算部５２Ａ）は、検出グリッドグラフＧに含まれる各ノードに対して、合計得票数が最大獲得数を獲得した投影グリッドグラフのノードについて、その投票数が閾値を超えていた場合に、投影グリッドグラフＰのそのノードが、検出グリッドグラフＧのノードと一致するもの、すなわち対応の解を決定し、対応付けを行う。 【0073】 （光切断法による３次元形状復元） 図７に戻り、次に、画像処理部５２（形状出力部５２Ｂ）は、撮影画像と計測用パターン２１とにおける線分の対応を決定した後は，その線分の対応に基づいて、検出された縦直線の３次元形状を光切断法により復元する（ステップＳ５）。ここで、画像処理部５２（形状出力部５２Ｂ）は、光切断法で復元された疎な点群から、２次元回帰を利用して法線方向を推定する。そして、線間の形状を、法線方向を考慮しつつ、放射基底関数（Radial Basis Function）を重みとする補間によって復元する。これにより、計測対象の３次元形状が求められる。 【0074】 ３次元形状計測装置１００による計測を現実的な状況で評価するために、人間の胃から切除された生体標本を計測した。対象標本は、２５ｍｍ及び１５ｍｍ程度の異なる距離で観測した。図１５に示すように、ＤＯＥを利用したパターンプロジェクタ２０によって、異なる距離で観測したパターンであっても、両方明瞭なパターンの画像が得られた。本実施の形態に係る３次元計測方法により、それぞれの画像はおおむね正常に復元できた。計測画像から得られたグリッドパターンと、投影されたグリッドパターンとの対応は正常に獲得され、生体標本の縦横線の格子状の３次元形状が獲得された。 【0075】 図７に戻り、次に、制御部５０Ｂは、すべての撮像が終了したか否かを判定する（ステップＳ６）。すべての撮像が終了していない場合（ステップＳ６；Ｎｏ）、制御部５０Ｂは、ステップＳ１（投影及び撮像）→Ｓ２（線検出）→Ｓ３（グリッドグラフの構築）→Ｓ４（部分グラフパターンによる対応づけ）→Ｓ５（光切断法による３次元形状復元）が行われ、再び撮像の終了判断が行われる（ステップＳ６）。このようにして、何枚か撮像され、３次元形状が復元される。この間、内視鏡１の先端の位置は、撮像する毎に変わるので、各画像及びその画像から計測された３次元形状は、異なる視点で計測された計測対象の３次元形状となる。 【0076】 すべての撮像が終了すると（ステップＳ６；Ｙｅｓ）、画像処理部５２は、求められた複数の３次元形状（格子データ）を合成する（ステップＳ７）。この３次元形状の合成は、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて行われる。以下、ＩＣＰアルゴリズムについて説明する。 【0077】 従来のＩＣＰアルゴリズムでは、格子データの合成は、以下の式（１）、すなわちコスト関数を最小にする剛体変換（回転）のパラメータＲ、並進パラメータｔを算出することにより行われる。 式（１） 【数1】 ここで、図１６に示すように、ｐｉは、合成元の格子データの点群であり、ｑｉは、合成相手の格子データの点群である。 【0078】 しかしながら、上記式で２つの縦線上の点群同士、横線上の点群同士の結びつきが強くなりすぎて、正確に格子データを合成することが困難であった（図１６参照）。そこで、本実施の形態では、画像処理部５２は、コスト関数を以下の式（２）で定義し、コスト関数を最小にする剛体変換パラメータＲ、並進パラメータｔを算出し、算出した剛体変換パラメータＲ、並進パラメータｔを用いて、２つの格子データの合成を行う。 式（２） 【数2】 ここで、ｐｉｈは、合成元の格子データの横線分上の点群であり、ｐｉｖは、合成元の格子データの縦直線上の点群である。ｑｉｖは、合成元の格子の縦直線上の点群であり、ｑｉｈは、合成元の格子の横線分上の点群である。このようにすれば、図１６に示されるように、２つの３次元形状データを、より正確に合成することが可能となる。 【0079】 まとめると、ステップＳ１７おける画像処理部５２の動作は、図１７に示す手順で実行される。まず、画像処理部５２（算出部）は、異なる方向から得られた計測対象の複数の３次元形状データ（ｐｉ，ｑｉ）のうち、第１のデータｐｉを構成する縦線分（第１の線分）上の点ｐｉｖと、第１のデータｐｉとは別の第２のデータｑｉを構成する、横線分（第１の線分とは方向の異なる第２の線分）上の点ｑｉｈとの間、又は第１のデータｐｉを構成する横線分上ｐｉｈと第２のデータｑｉを構成する縦線分上ｑｉｖとの間のずれを最小にするような回転及び並進の補正量（回転パラメータ（回転ずれ）Ｒ、並進パラメータ（並進ずれ）ｔ）を、回帰分析を行って算出する（ステップＳ３１）。 【0080】 続いて、画像処理部５２（出力部）は、算出された回転パラメータＲ及び並進パラメータ（並進ずれ）ｔをキャンセルした状態で、第１のデータｐｉと第２のデータｑｉとを合成し、合成した３次元形状のずれを補正した３次元形状として出力する（ステップＳ３２）。 【0081】 なお、より滑らかな表面を実現するために、画像処理部５２は、以下の算出式を用いて、サンプル深さデータｓ（ｘ）の補間を行って深さ関数ｄ（ｘ）を算出することができる。 【数3】 ここで、ｇｉ（ｘ）は、サンプル点ｘｉ近傍でのｄ（ｘ）の線形近似値であり、φ｜｜ｘ－ｘｉ｜｜は、重みｐｉ（ｘ）の値である。重みｐｉ（ｘ）は、ｘｉで最大で、ｘｉから離れたｘで最小となる。重み関数φは、以下の式のものを用いることができる。 【数4】 ここで、Ｒｗは、近似半径である。 【0082】 また、重みｐｉ（ｘ）は、以下のサンプル集合 【数5】 を用いたフィッティング（Ｒｐは、半径の閾値）を行って、以下の式の係数ａを決定することにより、算出することができる。 ｐｉ（ｘ）＝ａ・（ｘ－ｘｉ）＋ｓ（ｘｉ） 【0083】 画像処理部５２（形状出力部５２Ｂ）は、上述のようにして、３次元形状データの合成を行って、計測対象全体の３次元形状を生成する（ステップＳ７）。生成された３次元形状は、表示部５０Ｃに表示されるとともに、記憶装置等に記憶される。その後、制御部５０Ｂは、処理を終了する。 【0084】 以上詳細に説明したように、本実施の形態によれば、計測対象に投光される２次元パターンが、線分の接続状態によって区別可能な特徴を有するノードとエッジから成るグリッドグラフＰから構成されているため、表面下散乱や輝度の低下が発生しても、そのノードの位置情報を読み取り易くなっている。この結果、計測対象の３次元形状、あるいはその大きさを安定して計測することができる。 【0085】 すなわち、３次元形状計測装置１００によれば、直線グリッド段差パターンと、ＤＯＥによる新しい小型のパターンプロジェクタ２０の利用により、広い範囲の作動距離で、生体組織の形状復元を安定して高精度で行うことができる。 【0086】 より詳細には、本実施の形態では、ＤＯＥによるパターンプロジェクタ２０と，段差によるコードを埋め込んだ格子パターンを利用した、アクティブステレオ法（光切断法）による３次元形状計測装置１００を開示した。この３次元形状計測装置１００によれば、ＤＯＥの利用により、広い作業範囲で明瞭なパターン投影を実現することができるうえ、光エネルギーの利用効率も９０％以上になった。さらに、段差によるコードを埋め込んだ直線による格子パターンにより、表面化散乱によるボケの影響を受けていても、パターンを正しく検出し、コードを認識することができた。また、本実施の形態に係る段差パターンの格子構造について、検出誤りを許容して照合をおこなう新しい検出処理を開示した。本実施の形態に係る３次元形状計測装置１００によれば、人から切除された生体組織を，異なる作動距離で復元することに成功した。 【0087】 なお、上記実施の形態では、ＤＯＥによる格子パターンを線分から構成されるものとしたが、縦直線上と横直線上にドットが形成された格子パターンであってもよい。また、格子点をコード化できるのであれば、他に様々な手法を適用することができる。例えば、各ノードにおけるドットの数でノードをコード化することも可能である。 【0088】 なお、上記実施の形態では、計測用パターン２１を、線分の接続状態によって区別可能な特徴を有するノードとエッジから成るものとしたが、パターンの対称性によって区別可能な特徴を有するノードとエッジから成るものとしてもよい。例えば、計測用パターン２１は、局所的に回転対称あるいは線対称な特徴があり、その特徴の配置によってグラフのノードあるいはエッジが表されたパターンであってもよい。この場合、格子パターンを形成するにあたり、格子の線を直接画像パターンにするのではなく、画像上の模様の対称性から格子パターンを生成することができる。図１８は、矩形状の点からなる画像で格子を表現した計測用パターン２２の一例である。図１９は、図１８の計測用パターン２２中の、格子点と格子の線の一例を示す。図１９の矩形状の点Ｄは、図１８の計測パターン２２中、パターンが１８０度の回転対称となる中心点であり、計測用パターン２２では、このような点Ｄが、格子上に配置されている。また、図１９の縦線Ｌ１、横線Ｌ２は、図１８の画像中で、周囲のパターンが鏡面対象となる中心線であり、このような中心線で、格子パターンの線を表すことができる。 【0089】 図２０は、このようなパターンを投影して撮影した画像の一例である。図２１は、図２０の白枠の部分の拡大図である。図２２は、図２１の各点で、１８０度回転による自己相関を求め、これによって各点の１８０度回転対称性を求め画像化した図である。図２３は、図２２の回転対称性のピークを求めることで、格子点を検出し、その格子点を画像化したものである。この後、格子点同士をつなぐ線については、投影によって平行四辺形状に歪んだ、格子のブロックを仮に定め、投影による歪みを考慮しながら線対称性を検出することで、抽出することができる。 【0090】 このような計測用パターン２２で、格子点や、格子の線に特徴を付与するには、複数の方法がある。例えば、図１９で横線Ｌ２の箇所の画素を変化させても、横線Ｌ２は、前述の鏡面対象性を保つ。この性質を利用し、横線Ｌ２上の画素を変化させ、横線Ｌ２に特徴を付与することができる。この横線Ｌ２上の画素の変化によっては、格子点上での点対称性は必ずしも成立しないが、全体の画素中での変化量を調整すれば、格子点の点対称性は強いため、その検出は容易である。格子点や格子線の特徴を検出できれば、形状復元は上記実施の形態と同様にして、部分ブラフによる照合によって行うことができる。別の方法としては、格子を形成するブロック（長方形状の単一の格子）の内部に、他の点と区別可能な点を配置し、その点の位置をブロック内部で変化させることで、特徴を付けても良い。 【0091】 また、対応計算部５２Ａは、前記パターンマッチングの一致度をデータ項とし、グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル（ＭＲＦ，Markov Random Field）最適化により対応点を算出するようにしてもよい。マルコフ場確率モデルは、グラフ構造中のノードにラベルが付与されているときに、ラベルの配置に対する確率を定義する方法であり、これによって、「自然なラベル配置」を確率として定義することができる。したがって、マルコフ場確率モデルを用いて、ノイズを除去しながらノードへのラベル付与を実現するアルゴリズムが複数提案されている。 【0092】 これらのアルゴリズムのモデルでは、あるグラフノードが取るラベルの確率は、そのノードにおける局所的な性質（検出されたノード特徴）と、そのノードとエッジで接続されたノード、つまり隣接ノードのラベルにのみ依存する。全体としての確率が高いラベルの配置は、グラフ全体のラベル付けの対数尤度を表す関数の最適化の形で表される。これは、 【数6】 を最大化するようなラベルを求める問題である。上記の式の項のうち、第一項は、ラベルとデータ（ノード特徴）の一致度を表すのでデータ項と呼ばれ、第二項はラベリングの平滑性（グラフの接続関係）を表すので平滑化項と呼ばれる。 【0093】 上記実施の形態では、カメラで撮像された画像で検出されたグラフ構造の各ノードにおいて、対応するパターンのノードのＩＤが、ラベルにあたる。データ項では、そのノードを含む部分グラフでのパターンマッチングやエピポーラ拘束の充足を調べ、その一致度が高い対応ノード、あるいは、投票による得票が高い対応ノードに、高い対数尤度が割り当てられる。また、平滑化項では、ノードの接続性を調べ、カメラで撮像された画像で検出されたグラフのノードの接続性と、投影パターンのグラフのノードの接続性が、一致するエッジに高い対数尤度が割り当てられる。このようなラベルを求めるアルゴリズムとしては、graphcutアルゴリズムや、belief propagationアルゴリズムなどが知られている。 【0094】 本実施の形態に係る３次元形状計測装置１００は、例えば消化管における内視鏡による診断と治療に用いることができる。初期の胃の腫瘍において、３次元形状計測装置１００を用いて測定される腫瘍のサイズは、治療方法を選択するときの重要な情報となる。 【0095】 本実施の形態では、内視鏡１に用いられる３次元形状計測装置１００について説明したが、本発明はこれには限られない。例えば、人間の動きや流体解析のロボット、分析および検査目的の視覚的な情報について、動的なシーンの３次元形状をキャプチャする場合に適用することができる。すなわち、ありとあらゆる物体の３次元形状の計測に適用可能である。 【0096】 この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。 【産業上の利用可能性】 【0097】 本発明は、計測対象の３次元形状の計測に適用することができる。 【符号の説明】 【0098】 １ 内視鏡、２ 鉗子孔、３ 挿入端、１０ レーザ光源、１０Ａ レーザモジュール、１０Ｂ 拡散板、１０Ｃ 照明絞り、１０Ｄ コリメータレンズ、２０ パターンプロジェクタ、２０Ａ 光ファイバ、２０Ｂ グリンレンズ、２０Ｃ パターンチップ、２０Ｄ 円筒部、２１，２２ 計測用パターン、３０ 撮像光学系、３０Ａ 対物レンズ、４０ 照明光学系、４０Ａ 照明レンズ、５０ コントローラ、５０Ａ 操作部、５０Ｂ 制御部、５０Ｃ 表示部、５１ 指令部、５２ 画像処理部、５２Ａ 対応計算部、５２Ｂ 形状出力部、１００ ３次元形状計測装置、Ｄ 点、ＩＬ レーザ光、Ｌ 基線長、Ｌ１ 縦線、Ｌ２ 横線、Ｍ マーク、Ｔ ターゲット。 |
||||||||||||||||||||||||
| 図面 |
|