TOP > 国内特許検索 > 3次元形状計測装置、診断システム及び3次元形状計測方法 > 明細書

明細書 :3次元形状計測装置、診断システム及び3次元形状計測方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6656611号 (P6656611)
公開番号 特開2017-023562 (P2017-023562A)
登録日 令和2年2月7日(2020.2.7)
発行日 令和2年3月4日(2020.3.4)
公開日 平成29年2月2日(2017.2.2)
発明の名称または考案の名称 3次元形状計測装置、診断システム及び3次元形状計測方法
国際特許分類 A61B   1/00        (2006.01)
G02B  23/24        (2006.01)
G01B  11/25        (2006.01)
G01B  11/00        (2006.01)
FI A61B 1/00 551
G02B 23/24 A
G02B 23/24 B
G01B 11/25 H
G01B 11/00 A
請求項の数または発明の数 12
全頁数 20
出願番号 特願2015-147244 (P2015-147244)
出願日 平成27年7月24日(2015.7.24)
審査請求日 平成30年7月23日(2018.7.23)
特許権者または実用新案権者 【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】古川 亮
【氏名】佐川 立昌
【氏名】川崎 洋
【氏名】マルコ ヴィゼンティーニ スカルツァネッラ
【氏名】吉田 成人
個別代理人の代理人 【識別番号】100095407、【弁理士】、【氏名又は名称】木村 満
【識別番号】100138955、【弁理士】、【氏名又は名称】末次 渉
【識別番号】100162259、【弁理士】、【氏名又は名称】末富 孝典
審査官 【審査官】牧尾 尚能
参考文献・文献 特開平04-017834(JP,A)
米国特許第05150254(US,A)
特開平10-323322(JP,A)
特開2009-101077(JP,A)
特開2011-055938(JP,A)
特開2010-172651(JP,A)
特開平01-164352(JP,A)
米国特許出願公開第2014/0336461(US,A1)
中国特許出願公開第102283626(CN,A)
特開2011-200341(JP,A)
特開2003-130621(JP,A)
国際公開第2008/056427(WO,A1)
国際公開第2014/165344(WO,A1)
プロジェクタ・カメラを用いた3次元計測システムにおける複数形状計測時の誤差最少化による精度向上手法,画像の認識・理解シンポジウム(MIRU2007),2007年 7月,p869-874
グリッドアクティブステレオを用いた三次元消化器内視鏡におけるキャリブレーション手法,生体医工学,2014年 4月,52巻2号,p97-107
調査した分野 A61B 1/00 - 1/32
G02B 23/24 -23/26
特許請求の範囲 【請求項1】
内視鏡の鉗子孔に挿通され、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材を有し、前記部材の開口端からレーザ光による計測用パターンの投影像を観察部位に投影するパターンプロジェクタと、
前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタの前記カメラからの相対位置情報を校正するキャリブレーション部と、
前記キャリブレーション部で校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の3次元形状を算出する算出部と、
を備える3次元形状計測装置。
【請求項2】
前記キャリブレーション部は、
前記内視鏡が被検者の体内に挿入される前に、前記内視鏡のカメラによって撮像された撮像データに基づいて、前記パターンプロジェクタの前記カメラからの相対位置と、前記マークの位置情報を、前記パターンプロジェクタの基準位置の情報として算出し、
前記内視鏡が被検者の体内に挿入され前記計測用パターンの投影像が前記観察部位に投影された状態で前記内視鏡のカメラによって撮像された撮像データに基づいて、前記マークの位置情報の前記基準位置からの変化量を算出し、
前記算出部は、
前記パターンプロジェクタの基準位置の情報及び前記変化量に基づいて、前記パターンプロジェクタの校正された相対位置を利用して、前記観察部位の3次元形状を算出する、
請求項1に記載の3次元形状計測装置。
【請求項3】
前記キャリブレーション部は、
前記鉗子孔の軸心の方向への並進量及び前記軸心を中心とする回転角度に関する前記マークの位置情報を算出する、
請求項2に記載の3次元形状計測装置。
【請求項4】
前記キャリブレーション部は、
校正された前記相対位置に残る誤差を、前記計測用パターンと前記撮像データのエピポーラ拘束の誤差を補正することで修正する、
請求項2又は3のいずれか一項に記載の3次元形状計測装置。
【請求項5】
前記パターンプロジェクタは、
前記内視鏡の鉗子孔に挿通され、前記レーザ光を導光する光ファイバと、
前記円筒状の部材に内包され、前記光ファイバで導光された前記レーザ光の光路上に配置された前記計測用パターンが形成されたパターンチップと、
前記円筒状の部材に内包され、前記パターンチップを介した前記レーザ光による前記計測用パターンの投影像を投影する投影レンズと、
を備える請求項1乃至4のいずれか一項に記載の3次元形状計測装置。
【請求項6】
前記パターンプロジェクタは、
前記投影像に現れるスペックル雑音を軽減するために、前記光ファイバに前記鉗子孔の方向の振動を与える加振部を備える、
請求項に記載の3次元形状計測装置。
【請求項7】
前記レーザ光は、緑色のレーザ光である、
請求項1乃至6のいずれか一項に記載の3次元形状計測装置。
【請求項8】
前記パターンプロジェクタでは、
前記外側面の円周方向に並ぶ複数の前記マークが形成されている、
請求項1乃至7のいずれか一項に記載の3次元形状計測装置。
【請求項9】
前記マーク各々は、前記パターンプロジェクタの回転角度に応じて前記カメラで撮像される前記マークの特徴又は前記マークの組み合わせの特徴が異なるように前記パターンプロジェクタに形成されている、
請求項8に記載の3次元形状計測装置。
【請求項10】
請求項1乃至9のいずれか一項に記載の3次元形状計測装置と、
前記3次元形状計測装置を構成するパターンプロジェクタが挿通される鉗子孔を有する内視鏡と、
を備える診断システム。
【請求項11】
内視鏡の鉗子孔に挿通されたパターンプロジェクタを構成する円筒状の部材であって、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材の開口端から、レーザ光を用いて、計測用パターンの投影像を投影するパターン投影ステップと、
前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタと前記カメラの相対位置情報を校正するキャリブレーションステップと、
前記キャリブレーションステップで校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の3次元形状を算出する算出ステップと、
を含む3次元形状計測方法。
【請求項12】
前記パターンプロジェクタにより前記計測用パターンの投影像を観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第1の撮像ステップと、
前記内視鏡の挿入端に設けられた照明光学系により前記観察部位を照明し、前記パターンプロジェクタにより前記計測用パターンの投影像を前記観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第2の撮像ステップと、
前記第1の撮像ステップで撮像された撮像データと前記第2の撮像ステップで撮像された撮像データとに基づいて、前記内視鏡のカメラの非線形特性及び前記レーザ光の影響を考慮しつつ、計測用パターンの投影像が投影されていない前記観察部位の画像を生成する画像生成ステップと、
を含む、
請求項11に記載の3次元形状計測方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、3次元形状計測装置、診断システム及び3次元形状計測方法に関する。
【背景技術】
【0002】
従来より、体腔内の管腔に長尺状の内視鏡挿入部を挿入し、観察部位の診断や処理を行うことができる内視鏡が用いられている(例えば、特許文献1参照)。内視鏡による診断では、観察部位である腫瘍などの病変の形状や大きさを計測することが重要である。観察部位の形状と大きさを計測するために、アクティブステレオ法に基づいた3次元内視鏡システムが開発されている(例えば、非特許文献1参照)。この3次元内視鏡システムは、生体組織に計測用パターンの投影像を投影するパターンプロジェクタを有しており、パターンプロジェクタによって観察部位に投影された計測用パターンを撮像し、三角測量の原理に基づくアクティブステレオ法を用いて、観察部位の三次元形状を計測している。
【先行技術文献】
【0003】

【特許文献1】特開2011-200341号公報
【0004】

【非特許文献1】H. Aoki, R. Furukawa, M. Aoyama, S. Hiura, N. Asada, R. Sagawa, H. Kawasaki, S. Tanaka, S. Yoshida, and Y. Sanomura, Proposal on 3-d endoscope by using grid-based active stereo” in EMBC, 2013, pp. 5694-5697.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記非特許文献1に開示された3次元内視鏡システムでは、内視鏡の先端の外にパターンプロジェクタが取り付けられている。これにより、内視鏡全体の直径が大きくなる。また、内視鏡の外側に異物が付加されている形になる。診断時の患者の負荷とリスクを考慮すれば、内視鏡全体の直径は小さいほどよく、また内視鏡外部への器具の付加は避けた方がよい。
【0006】
また、アクティブステレオ法を用いて3次元形状を計測するには、内視鏡のカメラとパターンプロジェクタとの視差を正確に求める必要がある。
【0007】
本発明は、上記実情に鑑みてなされたものであり、患者の負荷及びリスクを低減しつつ、観察部位の3次元形状、あるいはその大きさを正確に計測することができる3次元形状計測装置、診断システム及び3次元形状計測方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の第1の観点に係る3次元形状計測装置は、
内視鏡の鉗子孔に挿通され、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材を有し、前記部材の開口端からレーザ光による計測用パターンの投影像を観察部位に投影するパターンプロジェクタと、
前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタの前記カメラからの相対位置情報を校正するキャリブレーション部と、
前記キャリブレーション部で校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の3次元形状を算出する算出部と、
を備える。
【0009】
前記キャリブレーション部は、
前記内視鏡が被検者の体内に挿入される前に、前記内視鏡のカメラによって撮像された撮像データに基づいて、前記パターンプロジェクタの前記カメラからの相対位置と、前記マークの位置情報を、前記パターンプロジェクタの基準位置の情報として算出し、
前記内視鏡が被検者の体内に挿入され前記計測用パターンの投影像が前記観察部位に投影された状態で前記内視鏡のカメラによって撮像された撮像データに基づいて、前記マークの位置情報の前記基準位置からの変化量を算出し、
前記算出部は、
前記パターンプロジェクタの基準位置の情報及び前記変化量に基づいて、前記パターンプロジェクタの校正された相対位置を利用して、前記観察部位の3次元形状を算出する、
こととしてもよい。
【0010】
前記キャリブレーション部は、
前記鉗子孔の軸心の方向への並進量及び前記軸心を中心とする回転角度に関する前記マークの位置情報を算出する、
こととしてもよい。
【0011】
前記キャリブレーション部は、
校正された前記相対位置に残る誤差を、前記計測用パターンと前記撮像データのエピポーラ拘束の誤差を補正することで修正する、
こととしてもよい。
【0012】
前記パターンプロジェクタは、
前記内視鏡の鉗子孔に挿通され、前記レーザ光を導光する光ファイバと、
前記円筒状の部材に内包され、前記光ファイバで導光された前記レーザ光の光路上に配置された前記計測用パターンが形成されたパターンチップと、
前記円筒状の部材に内包され、前記パターンチップを介した前記レーザ光による前記計測用パターンの投影像を投影する投影レンズと、
を備える、
こととしてもよい。
【0013】
前記パターンプロジェクタは、
前記投影像に現れるスペックル雑音を軽減するために、前記光ファイバに前記鉗子孔の方向の振動を与える加振部を備える、
こととしてもよい。
【0014】
前記レーザ光は、緑色のレーザ光である、
こととしてもよい。
【0015】
前記パターンプロジェクタでは、
前記外側面の円周方向に並ぶ複数の前記マークが形成されている、
こととしてもよい。
【0016】
前記マーク各々は、前記パターンプロジェクタの回転角度に応じて前記カメラで撮像される前記マークの特徴又は前記マークの組み合わせの特徴が異なるように前記パターンプロジェクタに形成されている、
こととしてもよい。
【0017】
本発明の第2の観点に係る診断システムは、
本発明の第1の観点に係る3次元形状計測装置と、
前記3次元形状計測装置を構成するパターンプロジェクタが挿通される鉗子孔を有する内視鏡と、
を備える。
【0018】
本発明の第3の観点に係る3次元形状計測方法は、
内視鏡の鉗子孔に挿通されたパターンプロジェクタを構成する円筒状の部材であって、前記内視鏡の挿入端から突出した外側面にマークが形成された円筒状の部材の開口端から、レーザ光を用いて、計測用パターンの投影像を投影するパターン投影ステップと、
前記内視鏡の挿入端に設けられたカメラによって撮像された撮像データにおける前記マークの位置情報に基づいて、前記パターンプロジェクタと前記カメラの相対位置情報を校正するキャリブレーションステップと、
前記キャリブレーションステップで校正された前記相対位置情報を利用して、観察部位に投影された計測用パターンの撮像結果に基づいて、前記観察部位の3次元形状を算出する算出ステップと、
を含む。
【0019】
前記パターンプロジェクタにより前記計測用パターンの投影像を観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第1の撮像ステップと、
前記内視鏡の挿入端に設けられた照明光学系により前記観察部位を照明し、前記パターンプロジェクタにより前記計測用パターンの投影像を前記観察部位に投影しつつ、前記内視鏡のカメラで前記観察部位を撮像する第2の撮像ステップと、
前記第1の撮像ステップで撮像された撮像データと前記第2の撮像ステップで撮像された撮像データとに基づいて、前記内視鏡のカメラの非線形特性及び前記レーザ光の影響を考慮しつつ、計測用パターンの投影像が投影されていない前記観察部位の画像を生成する画像生成ステップと、
を含む、
こととしてもよい。
【発明の効果】
【0020】
本発明によれば、観察部位に計測用パターンの投影像を投影するパターンプロジェクタが、内視鏡の鉗子孔の内部に挿入されている。これにより、内視鏡全体の径を小さくすることができる。また、パターンプロジェクタに形成されたマークを内視鏡のカメラで撮像可能で、マークの位置情報に基づいて、パターンプロジェクタとカメラの相対位置情報を校正することができる。この結果、患者の負荷及びリスクを低減しつつ、パターンプロジェクタが内視鏡に対して固定されていなくても観察部位の3次元形状、あるいはその大きさを正確に計測することができる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施の形態1に係る内視鏡に取り付けられるレーザ光源及びパターンプロジェクタの構成を示す模式図である。
【図2】内視鏡の挿入端の鉗子孔周辺の拡大断面図である。
【図3】計測用パターンの一例を示す図である。
【図4】観察部位に計測用パターンの投影像が投影される様子を示す図である。
【図5】3次元形状計測装置の全体構成を示すブロック図である。
【図6】アクティブステレオ法の計測原理を模式的に示す図である。
【図7】キャリブレーションの対象となるパターンプロジェクタの移動方向を示す図である。
【図8】図8(A)は事前キャリブレーションを示す模式図である。図8(B)は、自己キャリブレーションを示す模式図である。
【図9】図9(A)は、事前キャリブレーションで求められる情報を示す図である。図9(B)は、自己キャリブレーションで求められる情報を示す図である。
【図10】カメラ座標系と、プロジェクタ座標系とを示す図である。
【図11】事前キャリブレーションで用いられるベクトルを示す図である。
【図12】本発明の実施の形態1に係る3次元形状計測装置を用いた診断動作のフローチャートである。
【図13】図13(A)は事前キャリブレーションのみ行ったときのエピポーラ線を示す図である。図13(B)は、自己キャリブレーションまで行ったときのエピポーラ線を示す図である。
【図14】図14(A)は、照明光学系をオンしたときの撮像画像である。図14(B)は、照明光学系をオフしたときの撮像画像である。図14(C)は、テクスチャ画像である。
【図15】本発明の実施の形態2に係る3次元形状計測装置を用いた診断動作のフローチャートである。
【図16】光ファイバを振動させてスペックル雑音を低減するためのパターンプロジェクタの構成を示す断面図である。
【図17】図17(A)及び図17(B)は、パターンプロジェクタの円筒部に設けられた複数のマークを示す図である。図17(C)は、マークの配列の組み合わせの一例(その1)である。図17(D)は、マークの配列の組み合わせの一例(その2)である。
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態について図面を参照して詳細に説明する。各図において、同一の要素には同一の符号を付している。

【0023】
実施の形態1.
まず、本発明の実施の形態1について説明する。

【0024】
図1に示すように、本実施の形態に係る3次元形状計測装置100は、レーザ光源10とパターンプロジェクタ20と、を備える。3次元形状計測装置100は、内視鏡1とともに用いられる。内視鏡1には、鉗子孔2が形成されている。通常、鉗子孔2には、観察部位を採取する鉗子が挿通されるが、本実施の形態では、この鉗子に代えて、パターンプロジェクタ20が、鉗子孔2に挿通されて用いられる。

【0025】
パターンプロジェクタ20は、レーザ光源10と接続されている。レーザ光源10は、レーザモジュール10Aと、拡散板10Bと、照明絞り10Cと、コリメータレンズ10Dと、を備える。

【0026】
レーザモジュール10Aは、緑色のレーザ光IL(例えば波長532mmのレーザ光)を発振出力する。拡散板10Bは、レーザモジュール10Aから発せられたレーザ光ILを拡散して、レーザ断面におけるレーザ光ILの強度を均一化する。コリメータレンズ10Dは、入射したレーザ光ILを平行光に変換する。コリメータレンズ10Dによって平行光に変換されたレーザ光ILは、パターンプロジェクタ20を構成する光ファイバ20Aに入射する。

【0027】
図2に示すように、パターンプロジェクタ20は、光ファイバ20Aと、パターンチップ20Bと、投影レンズ20Cと、円筒部20Dと、を備える。

【0028】
光ファイバ20Aは、プラスチック製であり、光ファイバ20Aは、コリメータレンズ10Dから出射された緑色のレーザ光ILを、一端から入射して他端から出射する。

【0029】
パターンチップ20Bは、図3に示すように、計測用パターン21として、波線の2次元格子パターンが印刷されたマイクロパターンチップである。パターンチップ20Bは、光ファイバ20Aから出射されたレーザ光ILの光路上に設置される。このため、パターンチップ20Bと通過したレーザ光ILは、計測用パターン21の投影像を含む投影光となる。投影レンズ20Cは、計測用パターン21の投影像を含む投影光を外部に投影する。

【0030】
円筒部20Dは、円筒状の部材である。図2に示すように、円筒部20Dは内視鏡1の挿入端3から突出している。円筒部20Dの外径は、鉗子孔2に嵌まる大きさとなっている。円筒部20Dの内径は、光ファイバ20A、パターンチップ20B及び投影レンズ20Cを実装できる径となっている。

【0031】
投影レンズ20Cから出射されたレーザ光ILは、円筒部20Dの開口端から外部に出射される。また、円筒部20Dの外側面には、マークMが形成されている。本実施の形態では、このマークMを用いて、アクティブステレオ法におけるパターンプロジェクタ20と内視鏡1のカメラ(後述する撮像光学系30)との相対位置情報を校正するキャリブレーションが行われる。

【0032】
このように、円筒部20Dは、内視鏡1の挿入端3から突き出している。円筒部20Dの開口端から緑色のレーザ光ILが出射される。このレーザ光ILは、パターンチップ20Bに形成された計測用パターン21の投影像を含むため、レーザ光ILが照射される観察部位(ターゲットT)には、図3に示すように、計測用パターン21の投影像が投影される。

【0033】
内視鏡1の挿入端3には、鉗子孔2の他に、対物レンズ30A及び照明レンズ40Aが取り付けられている。対物レンズ30Aは、ターゲットTを撮像する撮像光学系30(図5参照)を構成するレンズであり、照明レンズ40Aは、ターゲットTへ照明光を照射する照明光学系40(図5参照)のレンズである。内視鏡1は、照明レンズ40Aを介してターゲットTに照明光を照射し、照射されたターゲットTを、対物レンズ30Aを介して撮像する機能を有している。

【0034】
図5には、3次元形状計測装置100全体の構成が示されている。図5に示すように、3次元形状計測装置100は、上述したレーザ光源10及びパターンプロジェクタ20の他に、コントローラ50をさらに備えている。コントローラ50は、CPU(Central Processing Unit)、記憶装置、入出力装置、ポインティングデバイス又はディスプレイ等のマンマシンインターフェイスを備えるコンピュータである。CPUが、マンマシンインターフェイスから入力される操作者の操作情報に従って、記憶装置に記憶されたプログラムを実行することにより、コントローラ50の機能が実現される。すなわち、実行されるプログラムに従って、コントローラ50は、入出力装置を介してレーザ光源10を制御したり、内視鏡1の照明光学系40を制御したり、入出力装置を介して内視鏡1の撮像光学系30から入力される撮像データを入力したりする。

【0035】
また、内視鏡1は、観察部位を撮像するための撮像光学系30と、観察部位を照明する照明光学系40と、を備える。図4に示す対物レンズ30Aは、内視鏡1の撮像光学系30を構成するレンズであり、照明レンズ40Aは、内視鏡1の照明光学系40を構成し、その照明光を外部(観察部位)に出射するレンズである。

【0036】
コントローラ50は、操作部50Aと、画像処理部50Bと、表示部50Cと、を備える。操作部50Aは、操作者の操作に応じた操作信号を、画像処理部50Bに出力する。

【0037】
画像処理部50Bは、操作部50Aからの操作信号に従って、内視鏡1の撮像光学系30から得られた観察部位の撮像データを入力し、入力した撮像データに対する画像処理を行って、観察部位の3次元形状を計測する。画像処理部50Bは、校正部51と、算出部52と、を備える。校正部51は、内視鏡1の挿入端に設けられた撮像光学系30によって撮像された撮像データにおけるマークMの位置情報に基づいて、パターンプロジェクタ20と撮像光学系30の相対位置情報を校正する。算出部52は、校正された相対位置情報を利用して、観察部位に投影された計測用パターン21の投影像の撮像結果に基づいて、観察部位の3次元形状を算出する。

【0038】
表示部50Cは、内視鏡1の撮像光学系30から得られた観察部位の撮像データ等の各種画像を表示する。

【0039】
画像処理部50Bにおいて行われる3次元形状の計測処理について説明する。図6に示すように、本実施の形態では、アクティブステレオ法に基づいて、観察部位の3次元形状を計測する。アクティブステレオ法では、パターンプロジェクタ20による観察部位の投影中心と、観察部位を撮像するカメラ(撮像光学系30)の撮像中心との視差Lに基づいて、観察部位の3次元形状が計測される。

【0040】
例えば、パターンプロジェクタ20の投影中心の位置をP1とし、撮像光学系30の撮像中心をP2とする。計測用パターン21の投影像を含む投影光は、位置P1からターゲットT(観察部位)に投影され、ターゲットT上にも計測用パターン21の投影像が投影される。

【0041】
ここで、計測用パターン21の投影像が投影されたターゲットT上の特定の点Pに着目する。ターゲットT上の点Pが、投影像の投影方向に沿った奥行きd1からdだけ奥の奥行きd2に変化した場合には、位置P2にある撮像光学系30には、点P上のパターンがずれるように見える。アクティブステレオ法は、このパターンの位置ずれに基づいて、三角測量の原理を利用して、ターゲットTの各点の奥行きdを計測する。

【0042】
ターゲットTの奥行きがdだけ変化した場合の撮像光学系30の撮像結果における点Pのずれ量は、パターンプロジェクタ20と撮像光学系30との視差Lに応じて変化する。したがって、点Pの奥行きを正確に求めるには、視差Lを予め求めておく必要がある。

【0043】
本実施の形態に係る3次元形状計測装置100では、パターンプロジェクタ20は、内視鏡1の鉗子孔2に挿入されて用いられる。パターンプロジェクタ20は、内視鏡1に固定されておらず、内視鏡1の挿入端3は自在に曲がる。このため、パターンプロジェクタ20と、内視鏡1の撮像光学系30との位置関係は絶えず変化する。すなわち、本実施の形態では、視差Lは絶えず変化する。このため、実際に観察部位の3次元形状を計測するには、3次元形状の計測に先だって、パターンプロジェクタ20と、撮像光学系30との位置関係のキャリブレーションを行う必要がある。

【0044】
図7に示すように、パターンプロジェクタ20は、内視鏡1に対して並進方向(鉗子孔2の軸心の方向への並進)及び回転方向(鉗子孔2の軸心を中心とする回転方向)の2つの自由度を有している。本実施の形態では、観察部位の3次元形状の計測に先立って、この2つの自由度のキャリブレーションを行う。

【0045】
このキャリブレーションは、円筒部20Dに設けられたマークMを用いて行われる。マークMは、撮像光学系30によって撮像可能な位置に設けられている。撮像光学系30による撮像データにおけるマークMの撮像位置に基づいて、パターンプロジェクタ20のキャリブレーションを行う。上述のように、内視鏡1に対するパターンプロジェクタ20の自由度は、2自由度であるため、単一のマークMだけをマーカとしてキャリブレーションを行うことができる。

【0046】
キャリブレーションは以下の2段階で行われる。
(1)内視鏡1の鉗子孔2にパターンプロジェクタ20を挿通し、まだ、観察部位を観察可能な状態となる前の段階
(2)上記(1)の段階を経て、内視鏡1が被検者の体内に挿入され、観察部位を観察可能となっている段階
本実施の形態では、(1)の段階で行われるキャリブレーションを事前キャリブレーションといい、(2)の段階で行われるキャリブレーションを自己キャリブレーションという。事前キャリブレーションは、例えば、図8(A)に示すように、球体オブジェクト22に計測用パターン21の投影像を投影した状態で行われるようにしてもよい。また、図8(B)に示すように、自己キャリブレーションは、実際に観察部位(ターゲットT)に計測用パターン21の投影像が投影された状態で行われる。

【0047】
事前キャリブレーションも、自己キャリブレーションも、前述の通り、マークMの位置を撮像光学系30で観察することにより行われる。本実施の形態では、図9(A)に示すように、まず、事前キャリブレーションにおいて、並進方向に関するマークMの位置を示す情報tと、回転方向に関するマークMの位置を示す情報Rとを、マークMの位置情報として求める。そして、図9(B)に示すように、自己キャリブレーションにおいて、並進方向に関するマークMの位置を示す情報tと、回転方向に関するマークMの位置を示す情報Rを求め、並進の変化(t-t)、回転の変化(R-R)を、マークMの位置情報の変化量として求める。

【0048】
(事前キャリブレーションの詳細)
まず、事前キャリブレーションについて説明する。このキャリブレーションを行うにあたり、図10に示すように、2つの直交座標系を設定する。撮像光学系30の撮像中心を原点とするカメラ座標系(x1、y1、z1)と、パターンプロジェクタ20の投影中心を原点とするプロジェクタ座標系(x2、y2、z2)である。プロジェクタ座標系では、パターンプロジェクタ20の軸心を通る軸を、z2軸としている。

【0049】
カメラ座標系からプロジェクタ座標系への剛体変換は、回転行列<R>と、並進ベクトル<t>とで表される。回転行列<R>、並進ベクトル<t>は、事前キャリブレーションで求められる。なお、本実施の形態では、ベクトルを<*>で表すものとする。

【0050】
ここで、内視鏡1の鉗子孔2の軸方向の単位ベクトルは、ベクトル<b>として表される。ベクトル<b>は、プロジェクタ座標系のz2軸の負の方向を示す単位ベクトルである。

【0051】
カメラ座標系の原点Oから見た、プロジェクタ座標系の原点は、ベクトル<t>で表されるものとする。ベクトル<t>で示す点は、鉗子孔2の中心軸上にあるものと仮定する。

【0052】
撮像光学系30(対物レンズ30A)からマーカ(マークM)への方向を示す単位ベクトルを、ベクトル<a>とする。また、撮像光学系30とマーカ(マークM)との距離をsとする。この場合、マーカ(マークM)の3次元位置ベクトル<m>は、次式のようになる。ベクトル<a>は、撮像データ内のマークMの位置で決まり、sは未知数である。ベクトルを視線ベクトル<m>ともいう。
<m>=s<a> …(1)

【0053】
また、マーカ(マークM)の3次元位置ベクトル<m>で表される位置から、鉗子孔2の中心軸へ降ろされる垂線の足の3次元位置ベクトル<h>は、以下のように表される。uは変数である。
<h>=<t>+u<b> …(2)

【0054】
また、ベクトル(<m>-<h>)は、ベクトル<b>と垂直であるため、以下の式が得られる。
<h>=<t>+{(s<a>-<t>)・<b>}<b> …(3)

【0055】
また、次式のように、ベクトル(<m>-<h>)の長さ(ノルム)は、次式のように、円筒部20Dの半径rに等しい。
||<m>-<h>||=r …(3)

【0056】
未知の変数sに関する方程式を拡張して以下の式が得られる。
As+B+C=0 …(4)
ただし、
A=(<a>・<a>)+(<a>・<b>)(<b>・<b>)-2(<a>・<b>)
B=-2(<a>・<b>)(<b>・<b>)(<t>・<b>)-2(<a>・<t>)+4(<a>・<b>)(<t>・<b>)
C=-2(<t>・<b>)+(<t>・<t>)+(<t>・<b>)(<b>・<b>)-r

【0057】
A、B、Cは、既知の定数であるので、sは、上述の2次元方程式を用いて算出することができる。sの2つの解は、視線ベクトルs<a>と、パターンプロジェクタ20を示す円筒部20Dとの2交点に対応する。マーカ(マークM)が観測されているので、sの正の解のうち、小さい方からベクトル<m>を計算すればよい。

【0058】
これにて、事前キャリブレーションが完了する。

【0059】
次に、自己キャリブレーションについて説明する。事前キャリブレーションが完了した後、内視鏡1が体内に挿入されると、パターンプロジェクタ20は、2自由度で鉗子孔2沿いに動く。自己キャリブレーションでは、パターンプロジェクタ20のマークMの位置情報が再び求められる。

【0060】
自己キャリブレーションでは、計測対象に投影された計測用パターン21の投影像を観測すると同時に、マークMを計測すると、以下のように2自由度の移動分(変化量)を推定することができる。

【0061】
自己キャリブレーションでは、事前キャリブレーションにおいてベクトル<a>、<m>、<h>を求めたのと同じ方法で、観測時に得られたマークMの位置から算出されたベクトルを、<a>、<m>、<h>として算出する。

【0062】
事前キャリブレーションのときのパターンプロジェクタ20の位置から観察部位の撮像時のパターンプロジェクタ20の位置への回転は、<m>-<h>、<m>-<h>間の符号を含めた角度θabとなる。また、事前キャリブレーション時のパターンプロジェクタ20の位置から観察部位の撮像時のパターンプロジェクタ20への位置への並進ベクトルは<h>-<h>となる。

【0063】
このとき、観察部位の撮像時のパターンプロジェクタ20の位置のパラメータは、以下の式で計算される。
<t>=<t>+(<h>-<h>) …(5)
<R>=<R><R(θab)> …(6)
ここで、R(θab)は、z2軸周りの回転ベクトルである。

【0064】
画像処理部50Bは、並進ベクトル<t>及び回転行列<R>に基づく相対位置情報を基準として、撮像光学系30で撮像された画像データにおける波線の2次元格子(計測用パターン21の投影像)の各格子点の位置ずれ量に基づいて、観察部位(ターゲットT)の3次元形状を計測する。

【0065】
次に、本実施の形態に係る3次元形状計測装置100を用いた診断動作について説明する。

【0066】
図12に示すように、まず、鉗子孔2にパターンプロジェクタ20を挿入する(ステップS1)。続いて、コントローラ50(画像処理部50B)は、パターンプロジェクタ20により、計測用パターン21の投影像を投影して、内視鏡1の撮像光学系30を用いて観察部位(ターゲットT)の撮像を行う(ステップS2)。続いて、コントローラ50(校正部51)は、撮像光学系30の撮像データに基づいて、上述のように、事前キャリブレーションを行う(ステップS3)。

【0067】
続いて、被検者の体内における観察部位(ターゲットT)の撮像位置へ内視鏡1を挿入する(ステップS4)。続いて、コントローラ50(画像処理部50B)は、パターンプロジェクタ20により、計測用パターン21の投影像を投影して、撮像を行う(ステップS5)。さらに、コントローラ50(校正部51)は、上述のように、自己キャリブレーションを行う(ステップS6)。続いて、コントローラ50(算出部52)は、アクティブステレオ法を用いて、3次元形状計測を行う(ステップS7)。

【0068】
図13(A)には、事前キャリブレーションのみ行い、自己キャリブレーションを行わなかった場合における計測用パターン21の投影像の格子上の3つの点(波線の交点)に対するエピポーラ線が示されている。各交点がエピポーラ線上にあれば、エピポーラ拘束が満たされているということになるが、図13(A)に示すように、各交点はエピポーラ線上になく、事前キャリブレーションだけでは、エピポーラ拘束が満たされていない。このことは、事前キャリブレーションだけでは、アクティブステレオ法で、観察部位の3次元形状を精度良く計測するのが困難であることを示している。

【0069】
また、図13(B)には、事前キャリブレーション及び自己キャリブレーションを行った場合における計測用パターン21の投影像の格子上の3つの点(波線の交点)に対するエピポーラ線が示されている。図13(B)に示すように、各交点はエピポーラ線上にあり、自己キャリブレーション後にエピポーラ拘束が満たされていることがわかる。このことは、自己キャリブレーションを行えば、アクティブステレオ法で、観察部位の3次元形状を精度良く計測するのができることを示している。

【0070】
また、前記自己キャリブレーションの結果について、誤差の影響によって、エピポーラ拘束が完全には満たされない場合、投影像の格子上の点のエピポーラ線が、対応するパターン画像の格子点からずれる場合がある。このような時、前記エピポーラ線が、前記パターン画像の最も近くの格子点を通過するように、前記位置のパラメータを更新してもよい。あるいは、パターン画像中に、他の格子点と異なる特徴を持つ格子点を少数用意しておき、このような特徴を持つ格子点を投影像の格子点から検出し、その格子点の前記エピポーラ線が、前記パターン画像の格子点で該当する特徴を持つものを通過するように、前記位置のパラメータを更新してもよい。

【0071】
以上詳細に説明したように、本実施の形態によれば、観察部位に計測用パターン21の投影像を投影するパターンプロジェクタ20が、鉗子孔2の内部に挿入されている。これにより、内視鏡1全体の径を小さくすることができる。また、パターンプロジェクタ20に形成されたマークMを内視鏡1の撮像光学系30で撮像可能であり、マークMの位置情報に基づいて、パターンプロジェクタ20と撮像光学系30の相対位置情報を校正することができる。この結果、患者の負荷及びリスクを低減しつつ、観察部位の3次元形状、あるいはその大きさを正確に計測することができる。

【0072】
実施の形態2.
次に、本発明の実施の形態2について説明する。本実施の形態に係る3次元形状計測装置100の構成は、図5に示す構成と同じである。

【0073】
本実施の形態に係る3次元形状計測装置100は、計測用パターン21の投影像が投影されていない観察部位のテクスチャ画像を得る。観察部位のテクスチャの視認性と、投影される計測用パターン21の投影像の視認性との間にはトレードオフの関係がある。すなわち、内視鏡1の照明光学系40による照明を消した状態で、観察部位を内視鏡1の撮像光学系30で撮像すると、計測用パターン21の投影像のコントラストを上げることができるが、観察部位のテクスチャは観察しづらくなる。逆に、内視鏡1の照明光学系40で照明しながら観察部位を撮像すると、計測用パターン21の投影像の計測が難しくなる。

【0074】
したがって、本実施の形態では、内視鏡1の照明光学系40をオンオフしながら撮像を行い、照明光学系40をオンしたときの画像Iと、照明光学系40をオフしたときの画像Iとを得る。図14(A)には、照明光学系40をオンしたときの画像Iの一例が示されている。図14(B)には、照明光学系40をオフしたときの画像Iの一例が示されている。

【0075】
そして、コントローラ50(画像処理部50B)は、画像I、Iに対して画像処理を行って、計測用パターン21の投影像が投影されていないテクスチャ画像Iを得る。テクスチャ画像Iにより、観察部位(患部)の色をよく観察し、腫瘍が悪性かどうかの判定精度を向上することができる。

【0076】
ここで、内視鏡1の撮像光学系30の放射測定応答関数は、標準マクベスチャートを用いてキャリブレーションされているものとする。内視鏡1の撮像光学系30の放射測定応答は、以下の式で表される。
y=a・ebx … (7)
ここで、xは、観察部位の実際の色を示し、yは,画像I、Iにおける観察部位の色を示している。2パラメータa、bの値は、赤(R)、緑(G)、青(B)それぞれのカラーチャンネルの画像について、指数関数曲線をフィッティングすることによって、求められる。

【0077】
具体的には、それぞれの画像I、Iの各画素の強度に、推定された関数y=a・ebxの逆関数をかけることにより、実際の観察部位の色を忠実に再現する画像を得ることができる。

【0078】
また、緑色のレーザ光は、狭帯域の波長の光であるが、赤、青の画像も、このレーザ光の影響を受ける。このため、照明光学系40をオフとしたときの画像Iの零でない各ピクセルの各色の輝度値(I,I,I)に基づいて、次式を用いて、ホワイトバランスmを求める。
m=min(I,I,I) …(8)

【0079】
次いで、各画素における緑の光強度を、以下の式で推定する。
c=I-m …(9)

【0080】
さらに、次式を用いて、cの成分を画像Iから除去して、観察部位のテクスチャ画像Iを生成する。
=I-c …(10)

【0081】
次いで、得られたテクスチャ画像Itにおける、計測用パターン21の投影像が照射される領域の輝度の平均が、照射されない領域の平均と一致するように、各画素の輝度値をシフトする。これにより、計測用パターン21の投影像が投影されていない最終的なテクスチャ画像Iが得られる。図14(C)には、テクスチャ画像Itの一例が示されている。

【0082】
図15には、本実施の形態に係る3次元形状計測装置100の動作が示されている。この動作は、例えば、図12のステップS7実行後に開始される。

【0083】
図15に示すように、まず、コントローラ50(画像処理部50B)は、内視鏡1の照明光学系40をオンして、観察部位を照明する(ステップS10)。続いて、コントローラ50は、計測用パターン21を投影して観察部位を撮像する(ステップS11)。これにより、図14(A)に示す画像Iが得られる。

【0084】
続いて、コントローラ50は、内視鏡1の照明光学系40をオフして、観察部位の照明を停止する(ステップS12)。続いて、コントローラ50は、計測用パターン21を投影して観察部位を撮像する(ステップS13)。これにより、図14(B)に示す画像Iが得られる。

【0085】
続いて、コントローラ50は、上記式(7)を用いて放射測定応答の補正を行う(ステップS14)。これにより、画像I、Iの非線形性が補正される。

【0086】
続いて、コントローラ50は、上記式(8)を用いて、ホワイトバランスmを算出する(ステップS15)。これにより、画像Iからホワイトバランスmが得られる。

【0087】
続いて、コントローラ50は、各画素について、上記式(9)を用いて緑色成分cを算出し、上記式(10)を用いて、画像Iから緑色成分cを除去する(ステップS16)。

【0088】
さらに、コントローラ50は、計測用パターン21の投影像が照射された観察部位の領域の輝度の平均が、照射されない他の領域の平均と一致するように、各画素の値をシフトする領域レベル調整を行う(ステップS17)。この結果、計測用パターン21の投影像が投影されていない最終的なテクスチャ画像Iが得られる。

【0089】
なお、パターンプロジェクタ20によるレーザ光ILでは、その投影像にスペックル雑音が生じる場合がある。これを軽減するために、図16に示すように、光ファイバ20Aに振動を与える加振部60(例えば圧電体)がパターンプロジェクタ20に設けられていてもよい。この加振部60は、ケーブル線61を介して電圧が印加させると、光ファイバ20Aを鉗子孔2の軸心方向(矢印で示す方向)に振動する。この振動により、観察部位に投影される投影像のスペックル雑音が低減される。この結果、精度良く観察部位の3次元形状を計測することができる。

【0090】
また、パターンプロジェクタ20では、マークMを、円筒部20D上の1カ所に形成するだけでも良いし、図17(A)及び図17(B)に示すように、円筒部20Dを取り囲むように、その円周方向に沿って複数個形成するようにしてもよい。複数のマークMが形成されている場合、パターンプロジェクタ20の回転にかかわらず、内視鏡1の撮像光学系30で、いずれかのマークMを観測可能である。マークMを45度間隔で設けた場合には、内視鏡1の撮像光学系30で3つのマークMを同時に撮像可能となる。

【0091】
なお、鉗子孔2の軸心の方向は、内視鏡1の撮像光学系30の正面方向(光軸方向)であると仮定してもよい。さらに精度が必要な場合には、事前キャリブレーションの際に、鉗子孔2の軸心の方向にパターンプロジェクタ20を動かしながら複数回キャリブレーションを行うことで、パターンプロジェクタ20の相対位置を複数回取得し、それらを通過する直線の方向を鉗子孔2の軸心の方向として求めても良い。

【0092】
複数のマークMを形成する場合、パターンプロジェクタ20の回転角度を特定できるように、複数のマークM各々の特徴(例えば、長さや色)を変更するようにしてもよい。例えば、8つのマークMを45度間隔に配列し、8つのマークMの色を、図17(C)に示すように、黒、黒、黒、白、黒、白、白、白とするようにしてもよい。このようにすれば、内視鏡1の撮像光学系30で撮像される3つのマークMの色の組み合わせは、パターンプロジェクタ20の回転方向に応じて異なったものとなるので、撮像されたマークMの色の組み合わせからパターンプロジェクタ20の回転位置を特定することができる。また、8つのマークの長さを、図17(D)に示すように、短、短、短、長、短、長、長、長とするようにしてもよい。このようにすれば、内視鏡1の撮像光学系30で撮像される3つのマークの色の組み合わせは、パターンプロジェクタ20の回転方向に応じて異なったものとなるので、撮像されたマークMの色の組み合わせからパターンプロジェクタ20の回転位置を特定することができる。

【0093】
この他、マークMの形状や配列間隔の組み合わせを変更するようにしてもよい。また、すべてのマークMの色、長さ、形状をユニークなものにしてもよい。

【0094】
なお、上記実施の形態では、投影レンズ20Cとして、非球面(GRIN)レンズを用いてもよい。このようにすれば、パターンプロジェクタ20の径をさらに小さくすることができる。

【0095】
また、上記実施の形態では、波線の2次元格子の計測用パターン21を使用したが、本発明はこれには限られない。例えば、直線状の2次元格子パターン又は点状の行列パターンを計測用パターンとして用いるようにしてもよい。

【0096】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0097】
本発明は、内視鏡を用いた診断に適用することができる。
【符号の説明】
【0098】
1 内視鏡、2 鉗子孔、3 挿入端、10 レーザ光源、10A レーザモジュール、10B 拡散板、10C 照明絞り、10D コリメータレンズ、20 パターンプロジェクタ、20A 光ファイバ、20B パターンチップ、20C 投影レンズ、20D 円筒部、21 計測用パターン、22 球体オブジェクト、30 撮像光学系、30A 対物レンズ、40 照明光学系、40A 照明レンズ、50 コントローラ、50A 操作部、50B 画像処理部、50C 表示部、51 校正部、52 算出部、60 加振部、61 ケーブル線、100 3次元形状計測装置、IL レーザ光、M マーク、T ターゲット。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16