TOP > 国内特許検索 > 画像処理装置及び方法、並びにコンピュータプログラム > 明細書

明細書 :画像処理装置及び方法、並びにコンピュータプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6608165号 (P6608165)
公開番号 特開2016-209399 (P2016-209399A)
登録日 令和元年11月1日(2019.11.1)
発行日 令和元年11月20日(2019.11.20)
公開日 平成28年12月15日(2016.12.15)
発明の名称または考案の名称 画像処理装置及び方法、並びにコンピュータプログラム
国際特許分類 G06T   1/00        (2006.01)
G06T  17/00        (2006.01)
A61B   1/045       (2006.01)
FI G06T 1/00 315
G06T 17/00
A61B 1/045 610
請求項の数または発明の数 8
全頁数 20
出願番号 特願2015-097380 (P2015-097380)
出願日 平成27年5月12日(2015.5.12)
審査請求日 平成30年4月25日(2018.4.25)
特許権者または実用新案権者 【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
発明者または考案者 【氏名】中尾 恵
【氏名】浦西 友樹
【氏名】齋藤 陽
個別代理人の代理人 【識別番号】110000280、【氏名又は名称】特許業務法人サンクレスト国際特許事務所
審査官 【審査官】▲高▼ 芳徳
参考文献・文献 国際公開第2013/174671(WO,A1)
特開2002-236909(JP,A)
特開2007-315777(JP,A)
特開2007-236629(JP,A)
特開2003-115042(JP,A)
特開2013-069026(JP,A)
特開2012-165838(JP,A)
特開2008-15863(JP,A)
特開2010-128742(JP,A)
特開2007-287037(JP,A)
調査した分野 G06T 1/00
G06T 17/00 - 17/30
A61B 1/00 - 1/32
特許請求の範囲 【請求項1】
第1の時刻における対象物の3次元モデルを記憶する記憶部と、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における対象物の形状として前記3次元モデルを更新する解析部と、を備えている、画像処理装置。
【請求項2】
前記解析用モデル上の前記対応箇所は、前記第1の時刻における前記3次元モデルから所定の範囲内に配置されることを条件として探索される、請求項1に記載の画像処理装置。
【請求項3】
前記解析用モデル上の前記対応箇所は、前記画像を撮影するカメラの視線方向に対して略垂直な法線を有することを条件として探索される、請求項1又は2に記載の画像処理装置。
【請求項4】
前記3次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所から最も近いことを条件として探索される、請求項1~3のいずれか1項に記載の画像処理装置。
【請求項5】
前記3次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所と近似する法線ベクトルを有することを条件として探索される、請求項1~4のいずれか1項に記載の画像処理装置。
【請求項6】
前記3次元モデルと前記解析用モデルとの対応箇所は、色、模様、及びテクスチャの少なくとも一つが互いに近似していることを条件として探索される、請求項1に記載の画像処理装置。
【請求項7】
コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第1の時刻における対象物の3次元モデルを記憶するステップと、
前記コンピュータが、前記第1の時刻よりも後の第2の時刻における対象物画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成するステップと、
前記コンピュータが、前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新するステップとを含む、画像処理方法。
【請求項8】
第1の時刻における対象物の3次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部、及び
前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新する解析部、としてコンピュータを機能させるコンピュータプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理装置及び方法、並びにコンピュータプログラムに関する。
【背景技術】
【0002】
近年、患者への侵襲を少なくし術後のQOL向上等を図ることを目的として、内視鏡手術が数多く実施されている。この内視鏡手術は、患者の負担は軽減できる反面、術者への負担は増大する傾向にある。その原因の一つとして、微細な術具の操作が要求されることに加え、術中に視野の狭い二次元の内視鏡を観察しなければならず、モニタの注視と術野の確認との間で起こる視線方向の不一致が術者のストレスとなることが考えられる。
最近では、視覚的な術者の負担を軽減するために、複数の内視鏡カメラから立体視画像を作成する立体内視鏡を用いることで、3次元的な術部の提示が試みられている。
例えば、特許文献1には、アレイ状に配置されたカメラによって取得される多視点画像から、臓器等の対象物の3次元形状を復元するシステムが開示されている。
【先行技術文献】
【0003】

【特許文献1】国際公開第2013-073061号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された技術は、時刻毎に変形する臓器の形状を独立して復元するものであり、時間の経過に伴う局所的な変位を求めることができない。
また、特許文献1には、複数のカメラから撮影した画像を用いて視体積交差法により臓器の3次元モデルを生成し、仮想的な視点から臓器を観察することも開示されている。しかし、視体積交差法を用いてより正確な3次元モデルを生成するには、多くのカメラが必要となる。特許文献1記載の技術では、多数のカメラを有する撮影装置を変形させることによって、体腔内の制限された空間に多くのカメラを配置することを可能にしているが、構造が極めて特殊となる。
【0005】
本発明は、形状の変化を伴う対象物について、より少ない画像を用いて精度よく当該変化を推定し、変化後の対象物の3次元モデルを取得することができる画像処理装置及び画像処理方法、並びにコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
(1) 本発明に係る画像処理装置は、
第1の時刻における対象物の3次元モデルを記憶する記憶部と、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における対象物の形状として前記3次元モデルを更新する解析部と、を備えているものである。
【0007】
上記構成によれば、例えば特許文献1記載のように視体積交差法によって生成した3次元モデルのみによって対象物の形状を取得するのではなく、記憶部に記憶された第1の時刻における3次元モデルを基準とする対象物の形状の変化(変位)を解析用モデルを用いて推定し、その変位を反映させた3次元モデルの形状を第2の時刻における対象物の形状とする。したがって、解析用モデルを生成するために多くの画像を必要とせず、精度よく対象物の形状の変化を推定し、3次元モデルを更新することができる。
【0008】
(2) 前記解析用モデル上の前記対応箇所は、前記第1の時刻における前記3次元モデルから所定の範囲内に配置されることを条件として探索されることが好ましい。
例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられる。したがって、解析用モデル上の対応箇所を探索する際に、第1の時刻における3次元モデルから所定の範囲内に配置されていることを条件とすることで、大きな形状の変化を排除することができる。
【0009】
(3) 前記解析用モデル上の前記対応箇所は、前記画像を撮影するカメラの視線方向に対して略垂直な法線を有することを条件として探索されてもよい。
解析用モデル上において、カメラの視線方向に略垂直な法線を有する箇所は、第2の時刻における対象物が内接する箇所である可能性が高い。そのため、解析用モデル上の対応箇所を探索する際に、カメラの視線方向に略垂直な法線を有することを条件とすることで、変形後の対象物上の箇所又はそれに近い箇所を探索することができる。
【0010】
(4) 前記3次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所から最も近いことを条件として探索されてもよい。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられるので、3次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所から最も近いことを条件とすることで、第1の時刻における3次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
【0011】
(5) 前記3次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所と近似する法線ベクトルを有することを条件として探索されてもよい。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないので、3次元モデルと解析用モデルとが対応する箇所においては、法線ベクトルも近似していると考えられる。そのため、3次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所と法線ベクトルが近似することを条件とすることで、第1の時刻における3次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
【0012】
(6) 前記3次元モデルと前記解析用モデルとの対応箇所は、色、模様、及びテクスチャの少なくとも一つが互いに近似していることを条件として探索されてもよい。
この構成によれば、3次元モデル及び解析用モデルに、予め色、模様、又はテクスチャの情報を付与しておけば、これらが互いに近似する箇所を、3次元モデルと解析用モデルとが対応する箇所として設定することができる。なお、テクスチャとは、対象物の表面の材質や凹凸等を表す質感をいう。
【0013】
(7) 前記解析部は、前記3次元モデルと前記解析用モデルとの対応箇所の探索から、前記第2の時刻における前記3次元モデルの更新までの処理を複数回反復して実行し、直前の実行からの形状の差分が所定の閾値以下の場合に、前記処理を終了することが好ましい。
このような構成によって、形状の変化を適切に反映した3次元モデルの更新を行うことができる。
【0014】
(8) 本発明の画像処理方法は、
コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第1の時刻における対象物の3次元モデルを記憶するステップと、
前記コンピュータが、前記第1の時刻よりも後の第2の時刻における対象物画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成するステップと、
前記コンピュータが、前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新するステップとを含むものである。
【0015】
(9) 本発明のコンピュータプログラムは、
第1の時刻における対象物の3次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第1の時刻よりも後の第2の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて3次元の解析用モデルを生成する生成部、及び
前記3次元モデルと前記解析用モデルとの対応箇所を探索し、前記3次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第2の時刻における前記3次元モデルの形状を更新する解析部、としてコンピュータを機能させるものである。
【発明の効果】
【0016】
本発明によれば、形状の変化を伴う対象物について、より少ない画像を用いて精度よく変化を推定することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る画像処理装置の説明図である。
【図2】画像処理装置による変形推定処理の流れを示す図である。
【図3】変形推定処理のアルゴリズムの概念図である。
【図4】ビジュアルハル(視体積交差領域)を説明する図である。
【図5】シルエット画像の取得態様を示す説明図である。
【図6】ビジュアルハルを生成するためのボクセルデータを示す説明図である。
【図7】平均曲率法線の説明図である。
【図8】内接条件を示す模式図である。
【図9】評価実験に用いる肝臓、腎臓、及び角材の初期モデルを示す図である。
【図10】評価実験で用いるカメラの配置を示す図である。
【図11】評価実験に用いる初期モデルの形状と変形後の形状を示す図、及びカメラの配置に応じたビジュアルハルを示す図である。
【図12】評価実験における肝臓の変形についての推定結果を示す図である。
【図13】評価実験における肝臓の変形についての他の推定結果を示す図である。
【図14】評価実験における腎臓の変形についての推定結果を示す図である。
【図15】評価実験における角材の変形についての推定結果を示す図である。
【図16】評価実験における真の形状と推定形状との推定誤差を示すグラフである。
【図17】評価実験における真の形状と推定形状との推定誤差を示すグラフである。
【発明を実施するための形態】
【0018】
以下、図面を参照して本発明の実施形態を詳細に説明する。
[画像処理システムの全体構成]
図1は、本発明の実施形態に係る画像処理システムの説明図である。
本実施形態の画像処理システム10は、解析対象物を画像を撮影するカメラ(撮像装置)11と、カメラ11により撮影された画像を処理する画像処理装置12と、画像処理装置12の出力結果を表示する表示装置13とを備えている。

【0019】
この画像処理システム10は、例えば、内視鏡下手術の支援のために用いることができる。この場合、患者の体内に配置された内視鏡等のカメラ11によって臓器等の術部を撮影し、その画像を画像処理装置12が処理することによって、仮想的な視点を含め所望の視点から術部を観察するような画像を生成し、生成された画像を、術者又は手術スタッフ(以下、「術者等」ともいう)の視界に配置されたモニター、又は、術者等が装着したヘッドマウントディスプレイ等からなる表示装置13に表示させることができる。

【0020】
また、本実施形態の画像処理システム10は、変形を伴う物体を処理の対象物としている。前述したように手術支援のために画像処理システムを用いる場合、手術の対象となる臓器や血管等は柔軟な物体であるため、術具等から外力が作用することによって容易に変形する。また、臓器や血管が自ら変形することもある。本実施形態の画像処理システムは、このような対象物の変形、特に局所的な変形を推定して3次元モデルを生成し、その3次元モデルから取得される画像を術者に提供することを可能にする。

【0021】
本実施形態のカメラ11は、CCDやCMOS等の撮像素子を備えたものを使用することができる。また、本実施形態の画像処理システム10は、複数のカメラ11を使用する。複数のカメラ11によって撮像された画像の情報は、画像処理装置12に入力される。

【0022】
画像処理装置12は、例えばパーソナルコンピュータから構成され、CPU等の演算部と、ROM、RAM、ハードディスク等の記憶部と、各種入出力インターフェース等を有している。カメラ11によって撮影された画像の情報は、入出力インタフェースを介して画像処理装置12に入力される。そして、画像処理装置12の演算部は、記憶部にインストールされたプログラムを実行することによって、入力された画像情報を用いて画像を解析し、解析後の画像を表示装置13に表示させる。記憶部には、画像の解析に用いられる種々の情報が記憶されている。

【0023】
画像処理装置12は、その機能構成として、カメラ11から画像情報の入力を受け付ける入力受付部21と、入力された画像情報を処理する処理部22と、対象物の3次元モデルを記憶する記憶部23とを有している。
また、処理部22は、変形後の対象物を撮影したカメラ11の画像から解析用モデルを生成する生成部31と、解析用モデルを用いて対象物の変形(変位)を推定し、変形後の対象物の3次元モデルを生成する解析部32とを備えている。記憶部23は、パーソナルコンピュータのメモリーやハードディスク等によって構成される。

【0024】
[処理部22における処理内容]
以下、画像処理装置12における処理部22の生成部31及び解析部32の具体的な処理を詳細に説明する。
図2は、画像処理装置12による変形推定処理の流れを示す図である。
本実施形態の画像処理装置12は、臓器等の対象物を3次元でモデル化し、そのモデルを用いて時間の経過に伴う対象物の変形を推定し、推定された変位によってモデルの形状を随時更新する処理を行う。本実施形態では、3次元モデルとして、対象物の表面を三角形のメッシュ(ポリゴンメッシュ)により表現したメッシュモデルMが用いられる。そして、現時刻t(第1の時刻)における3次元モデルM(t)から、次時刻t+1(第2の時刻)における変形後の3次元モデルM(t+1)が生成される。この対象物の変位の推定のために、カメラ11によって撮影されたN枚の画像I(t+1)(k=1,…,N)が利用される。

【0025】
画像処理装置12の記憶部23には、解析処理を実行する前の段階で、予め対象物の初期形状の3次元モデルM(0)が既知データとして記憶されている。初期形状の3次元モデル(初期3次元モデルともいう)M(0)は、例えば対象物のCT(Computed Tomography)画像を用いて生成される。対象物が手術の対象となる臓器である場合には、術前に撮影された臓器のCT画像から初期3次元モデルM(0)を生成することができる。

【0026】
そして、カメラ11によって撮影された次時刻の対象物の画像I(1)を用い、初期3次元モデルM(0)から次時刻の3次元モデルM(1)を生成する。さらに、次々時刻の解析対象物の画像I(2)を用いることによって、次時刻の3次元モデルM(1)から、次々時刻の3次元モデルM(2)を生成する。このように、時間の経過に従って初期3次元モデルM(0)から順次3次元モデルMを更新していくことによって、対象物の変形を反映させた画像をほぼリアルタイムに術者等に提供することができる。なお、初期3次元モデルや更新された3次元モデルは、随時記憶部23(図1参照)に記憶され、術者等への画像の提供のため、及び、次の更新のために利用される。

【0027】
図3は、変形推定処理のアルゴリズムの概念図、図4は、ビジュアルハル(視体積交差領域)を説明する図である。
画像処理装置12における生成部31は、カメラ11によって撮影された複数の画像I(t+1)からビジュアルハル(Visual hull)を生成する。図3には、時刻tにおける3次元モデルM(t)と、時刻t+1における3次元モデルM(t+1)と、ビジュアルハルH(t+1)との関係が示されている。

【0028】
ビジュアルハルは次のように生成することができる。まず、図5に示すように、複数のカメラ11によって対象物Aを撮影する。この撮影によって取得される画像G1には、対象物Aのシルエット(輪郭)を含む情報が映し出される。そして、生成部31は、この画像G1中における対象物を1、背景を0として二値化した「シルエット画像」を生成する。

【0029】
ついで、図4に示すように、シルエット画像G2を、各視点から3次元空間に逆投影し、各視点から3次元空間に向けて生成される錐体(視体積)が互いに交差する領域をビジュアルハル(視体積交差領域)Hとする。本実施形態では、ビジュアルハルHは、変形後のメッシュモデルMの頂点を推定する際の制約条件の1つである視体積制約となる。また、ビジュアルハルHは、本発明における解析用モデルに相当する。

【0030】
図6は、ビジュアルハルHを生成するためのボクセルデータを示す説明図である。
ビジュアルハルHをコンピュータ上で生成するには、例えば図6(a)に示すように、256×256×256個の各ボクセルに初期値として1を与えたボリュームデータを用意し、カメラ11の位置及び視線の情報を用いて、各ボクセルを各シルエット画像G2上へ投影する。そして、投影された点が全てシルエット内部に位置する場合は、ボクセル値を1とし、それ以外は0に変更する。これによって得られる2値のボリュームデータ(図6(b)参照)に対して、公知のマーチングキューブ法を適用することにより、三角形メッシュモデルを生成し、これをビジュアルハルHとする。

【0031】
一般に、ビジュアルハルHは、次の1~4のような性質を有している。
1.シルエット情報から復元できる形状の中で体積が最大である。
2.原理的に必ず凸形状を有する。
3.対象物を必ず内包する。
4.シルエット境界近傍の対象物の表面上の点における法線ベクトルは、なめらかな形状であればカメラの視線ベクトル(視線方向)と直交する。なお、視線ベクトルとは、カメラ11のレンズ中心からカメラ11の焦点へ向かうベクトルである。

【0032】
上記の性質3により、図3に示すように、時刻t+1における対象物の3次元モデルM(t+1)は、ビジュアルハルH(t+1)に内接する形状と推定することができる。図3において、3次元モデルM(t+1)がビジュアルハルH(t+1)に内接する点を○印で示している。

【0033】
また、上記の性質4により、視線ベクトルと直交する法線ベクトルを有する対象物の表面上の点は、実際の対象物の形状(以下、「真の形状」ともいう)とビジュアルハルH(t+1)との接点、あるいはその近傍となる可能性が高いといえる。
本実施形態では、上記3及び4の性質を利用し、ビジュアルハルH(t+1)と3次元モデルM(t)のそれぞれに対して接点候補を算出し対応付けることで、3次元モデルM(t+1)を推定するための制約条件である視体積制約とする。

【0034】
本実施形態で用いるアルゴリズムでは、変形後の3次元モデルM(t+1)の頂点を推定する際の制約条件として、前述の視体積制約に加えて、「形状保持制約」をも用いる。形状保持制約は、ある時刻tと次の時刻t+1との間では、解析対象物は大きく変形せず、概ね形状が保持されることを制約とするものである。この制約のために、本実施形態では、平均曲率法線を解析対象物の形状を示す指標として用いる。この平均曲率法線は、図7に示すように、任意の曲面f上のある点の接平面の法線方向に平均曲率を大きさとして持つベクトルのことをいう。

【0035】
また、本実施形態では、滑らかな3次元モデルM(t)の各頂点における平均曲率法線の近似的な算出法として、離散ラプラシアンを用いる。この離散ラプラシアンδは、次の式(1)で表すことができる。

【0036】
【数1】
JP0006608165B2_000002t.gif

【0037】
ここで、iは、メッシュモデルM(t)におけるメッシュの頂点の番号、vは、i番目の頂点の座標、vは、i番目の頂点に隣接する頂点の座標、|N(i)|は、i番目の頂点に隣接する頂点の個数である。

【0038】
本実施形態では、式(1)で定義される離散ラプラシアンδの集合であるL(t)をアルゴリズムにおける形状記述子として用い、このL(t)をできるだけ保持しつつ現時刻の3次元モデルM(t)を更新して次時刻の3次元モデルM(t+1)を求める。具体的には、各点における離散ラプラシアンの差(ずれ)を最小化するような全体形状を最小二乗法に基づいて算出し、修正することによって形状の保持を達成する。

【0039】
以上より、本実施形態のアルゴリズムにおいては、以下の流れで処理が行われる。
(ステップ1)N枚のカメラ画像I(t+1)(k=1,…,N)の各シルエット画像からビジュアルハルH(t+1)を生成する。
(ステップ2)現時刻の3次元モデルM(t)により形状記述子L(t)を算出する。
(ステップ3)形状記述子L(t)をできるだけ保持しつつ、H(t+1)から得られる制約条件を満たす3次元モデルM(t+1)の推定形状を算出する。

【0040】
[推定形状の算出方法]
次に、上記アルゴリズムのステップ3における3次元モデルM(t+1)の推定形状の算出方法について、より詳細に説明する。このステップ3は、主に、次の5つの手順からなる。
(手順1)vの探索
(手順2)vの探索
(手順3)位置制約の設定
(手順4)形状保持制約の適用
(手順5)反復試行

【0041】
(手順1)
前述したように、ビジュアルハルは、視線ベクトルと直交する法線を有する対象物の表面上の点は、真の形状とビジュアルハルとの接点、あるいはその近傍である可能性が高い、という性質を有する。このような性質を用い、3次元モデルM(t+1)との接点である可能性が高いビジュアルハルH(t+1)上の点vの集合Vを算出する。

【0042】
具体的には、次の条件1及び2を満たすような点を探索することで集合Vを算出する。
条件1:vは、各カメラの視線ベクトルeに概ね垂直(90°±ε(ただし、εはごく小さい任意の実数))な法線nを有する。
条件2:vは、3次元モデルM(t)の表面上の少なくとも1点から距離dth以内にある。

【0043】
条件1及び条件2をそれぞれ定式化すると、次の式(2)及び式(3)で表すことができる。

【0044】
【数2】
JP0006608165B2_000003t.gif

【0045】
【数3】
JP0006608165B2_000004t.gif

【0046】
ただし、vは、3次元モデルM(t)上の任意の点、nはvの正規化された法線である。

【0047】
条件1及び式(2)は、上述したようなビジュアルハルの性質4を利用したものである。条件1において、「概ね垂直」としているのは、ビジュアルハルH(t+1)及び3次元モデルM(t)はともにメッシュモデルであって連続的な曲面ではなく、真に垂直な法線をもつ曲面上の1点が必ずしもメッシュの頂点にはならないからである。

【0048】
条件2及び式(3)は、法線は概ね一致しているが3次元モデルM(t)のどの頂点からも閾値dth以上離れている点は、接点又はその近傍である可能性が低いため、探索から除外するために用いている。この条件2及び式(3)は、時刻tと時刻t+1との間に、ビジュアルハルH(t+1)と3次元モデルM(t)の対応する接点は互いに大きく離れることはないという前提を反映したものである。

【0049】
(手順2)
次に、集合Vの各点vごとに3次元モデルM(t)上の接点(対応点)vを求め、その集合Vを算出する。これは、上述したように、滑らかな形状であれば、真の形状とビジュアルハルとの接点において法線ベクトルは一致している、という事実に基づく。
集合Vを算出するとき、以下の指標を用いる。
(指標1)3次元モデルM(t)上の各点が、vからどれだけ近いか
(指標2)3次元モデルM(t)上の各点の法線ベクトルnと、vの法線ベクトルnの差分がどれだけ小さいか。

【0050】
そして、上記の指標1及び指標2に基づいて、次の式(4)で表される評価値Qを求める。

【0051】
【数4】
JP0006608165B2_000005t.gif
ここで、wは、指標2についての重み付けである。wは、試行実験等により適切な値を選択することができ、例えば、w=0.5に設定することができる。

【0052】
(手順3)
手順2で求めた、vとvとの対応関係を用い、3次元モデルM(t)がビジュアルハルH(t+1)に接するような位置制約を与える。
図8は、内接条件を示す模式図である。特に、図8(a)は、内接条件を二次元で示したもの、図8(b)は、内接条件を3次元で示したものである。

【0053】
手順1において、ビジュアルハルH(t+1)と3次元モデルM(t)とは、ともに多数の頂点を有する3次元モデルであるため、連続的な曲面ではない。したがって、ビジュアルハルH(t+1)と3次元モデルM(t)とは、必ずしも点vと点vで接するとは限らない。そのため、点vにおいて、3次元モデルM(t)上の曲面が接するような位置制約を与えることで内接条件を達成する。

【0054】
具体的には、図8(b)に示すように、点vを法線nの方向にn・(v-v)の大きさだけ変位させる。
また、本実施形態では、vの過度の変位を抑制するために変位量に所定のパラメータを設定している。具体的には、次の式(5)を用いて、点vをuの位置に変位させる。

【0055】
【数5】
JP0006608165B2_000006t.gif

【0056】
ここで、Paは、変位量を抑制するためのパラメータであり、0<Pa≦1.0の範囲で設定することができる。Pa=1.0の場合、点vは、図8(b)における点v’に変位することになる。

【0057】
(手順4)
手順4においては、解析対象物の変形前後の離散ラプラシアンのずれ(差)を最小化する形状を、位置制約を満たすように最小二乗法に基づいて更新する。反復試行の中では、常に反復試行を行う前の離散ラプラシアンL(t)とのずれを用いて形状を更新していく。更新後の頂点座標vは、次の式(6)によって求めることができる。

【0058】
【数6】
JP0006608165B2_000007t.gif

【0059】
iは、3次元モデルの頂点の番号、vは、i番目の頂点の座標、vは、i番目の頂点に隣接する頂点の座標、|N(i)|は、i番目の頂点に隣接する頂点の個数である。また、Pは変位を与えた頂点の集合、δ’は、試行前の離散ラプラシアンである。uは、前述の式(5)により求められ、手順3において点vを変位させた後の頂点である。
また、wは、離散ラプラシアンに対する重み付け、λは、位置制約に対する重み付けである。w及びλは、試行実験結果に基づいて定めることができ、例えば、w=1.0、λ=1.0とすることができる。

【0060】
式(6)は、関数の値が最小になる頂点vの位置を求めるものであり、この式を満たすvの集合を求めることで、3次元モデルの形状を保持しつつ、位置制約を満たした形状の更新を行うことができる。

【0061】
(手順5)
手順5においては、試行前からの形状の差分が、所定の閾値以下になった時点で更新を終了し、その時点での形状をM(t+1)として出力し、そうでなければ再び手順1から試行を行う。この閾値は、例えば、変位が5~30mm程度を想定した場合に十分小さいとみなせる、0.001mm程度とすることができる。

【0062】
また、この反復試行中は、反復ごとの更新量を制限することによって少しずつ修正を行う。この制限は、上述の式(5)により設定したパラメータPaにより設定することができる。例えば、Pa=0.25に設定することによって、更新量を25%に制限することができる。この工程により更新量が大きい場合の過修正を防ぎ、より推定誤りの少ない推定結果を得ることができる。

【0063】
[評価実験]
本出願の発明者は、上記において説明したアルゴリズムの有効性を確認するため、評価実験を行った。この評価実験では、時刻t=0における対象物の初期形状を既知とし、時刻t=1における変形した対象物の形状を、2~4台のカメラにより撮影してシルエット画像を取得し、このシルエット画像から生成した解析用モデル(ビジュアルハル)を用いて変位を推定した。また、後述する推定誤差を算出し、その誤差により推定精度を検証した。

【0064】
この評価実験では、対象物の初期形状の3次元モデルの一端に一定の外力を加えて変形させた形状を時刻t=1の真の形状とした。この3次元モデルの変形には、弾性変形解析に用いられる有限要素法を用いた。そして、t=1の変形後のビジュアルハルを用いて上述したアルゴリズムにより初期形状の3次元モデルを更新し、更新後の3次元モデルと真の形状との推定精度を定量的に評価した。

【0065】
初期形状の3次元モデルは、ジオメトリモデリングソフトウェアであるマーキュリー社製のAvizoを用いてCTデータからメッシュモデルとして生成した。
図9には、評価の対象となる臓器としての肝臓及び腎臓と、直方体形状の角材との3種類の3次元モデルを示す。この評価実験では、背景を黒とし、3次元モデルのサーフェスを白とすることで、シルエット画像を取得しやすい状態とした。図9の左側には、3次元モデルを+y方向から見た形状、右側には、3次元モデルを-z方向から見た形状をそれぞれ示す。

【0066】
評価実験は、以下の手順で行った。
(a)初期形状の四面体メッシュモデルM(0)を予めを用意した。
(b)有限要素法に基づいて初期形状の3次元モデルM(0)の一端に-z方向に、一定の外力を与え、変形した3次元モデル(真の形状)を作成した。
(c)複数台のカメラの配置を想定した各視点から変形後の3次元モデルの形状をキャプチャし、ビジュアルハル(解析用モデル)H(1)を取得した。
(d)上記に説明したアルゴリズムに基づいて、初期形状の3次元モデルM(0)と、ビジュアルハルH(1)とから推定される3次元モデルM(1)を算出した。
(e)推定された3次元モデルM(1)と真の形状の3次元モデルとの間で推定誤差を求め、評価した。

【0067】
上記手順(c)において、カメラの配置は、図10に示すものを想定した。図10(a)においては、xy平面上に原点を中心に視野角±15°をなすよう2台のカメラを配置した。この配置を、「カメラ位置(1)」という。
図10(b)においては、xy平面上に原点を中心に視野角±30°で2台のカメラを配置し、xz平面と平行な面上で、前記2台のカメラと正三角形の配置となるように3台目のカメラを配置した。この配置を、「カメラ位置(2)」という。

【0068】
図10(c)においては、xy平面上に4台のカメラを配置したものであり、そのうち2台のカメラを視野角±15°をなすように配置し、他の2台のカメラを視野角±30°をなすように配置した。この配置を、「カメラ位置(3-a)」という。
図10(d)においては、xy平面上で視野角±30°をなす2台のカメラと、yz平面上で視野角30°をなす2台のカメラとを配置し、合計4台のカメラを十字状に配置した。この配置を、「カメラ位置(3-b)」という。

【0069】
上記手順(d)において、肝臓のモデルについては、以下の設定で評価実験を行った。
まず、アルゴリズムの手順1で用いる閾値dthを5.0mm、7.5mm、10.0mm、12.5mmの4段階に設定した。また、初期形状の3次元モデルM(0)に外力を与えた点の変位量を5mm~30mmの間で6段階に設定した。したがって、閾値dthと変位量の各段階を組み合わせて、合計24通りのパターンで評価実験を行った。
また、各パターンについて、カメラの配置を、カメラ位置(1),(2),(3-a),(3-b)の4通りとした。

【0070】
腎臓及び角材のモデルについては、カメラの配置をカメラ位置(3-b)とし、上記の24通りのパターンで評価実験を行った。
また、アルゴリズムの手順5で行う反復試行は、推定誤差の差分が0.00256mm以下になるまで繰り返した。また、反復試行が1000回に達したら停止することとした。推定誤差には、次の式(7)に示すRMS(Root Mean Square)を採用した。

【0071】
【数7】
JP0006608165B2_000008t.gif

【0072】
ただし、Nは3次元モデルの頂点数、iは頂点番号、v、v’をそれぞれ真の形状、推定形状のi番目の頂点とする。
検証では、推定前の誤差・推定後の誤差それぞれを記録し、推定前後の誤差の減少分をもって評価した。

【0073】
図11(a)には、初期形状の肝臓の3次元モデルと、変位量22.5mmで変位させた真の形状の3次元モデルとを示す。
図11(b)には、カメラ位置(1),(2),(3-a),(3-b)の4つのパターンにおいて、視線+y方向からビジュアルハルH(1)を見たもの(図11(b)の上側)、及び、視線-z方向からビジュアルハルH(1)を見たもの(図11(b)の下側)を示す。各ビジュアルハルH(1)の内部に白い点で示されるものは、探索されたvである。閾値dthは10mmに設定している。

【0074】
図11(b)から明らかなように、3台のカメラを三角形状に配置したカメラ位置(2)と、4台のカメラを十字状に配置したカメラ位置(3-b)とは、他のカメラ位置(1),(3-a)に比べてビジュアルハルH(1)の形状が真の形状に近づいている。これは、視線ベクトルにz成分が入ることで、対象物の裏側の情報を取得することができるためと考えられる。また、図11には示されていないが、点vは、閾値dthが大きくなるほど数が多くなる。

【0075】
図12には、対象物を肝臓とした場合の形状推定結果のレンダリング像を示している。(I)は、形状推定前の状態を示しており、初期形状をメッシュモデル(ワイヤーフレーム)M(0)で示し、変形後の真の形状を白色のサーフェスデータで示している。初期形状からの変位は、11.3mmとした。

【0076】
(II)~(IV)は、2台のカメラを図10に示すカメラ位置(1)で配置した場合と、4台のカメラをカメラ位置(3-b)で配置した場合とについて、それぞれ変形後の形状を推定した結果を示す。推定形状をメッシュモデルで示し、真の形状をサーフェスデータで示している。また、(II)~(IV)は、それぞれの像を+y方向、-x方向、-z方向から見たものである。

【0077】
また、図13は、初期形状からの変位を33.8mmとした場合の形状推定結果のレンダリング像を示す。他の条件は、図12に示すものと同様である。
図12及び図13に示すように、(I)の形状推定前(初期形状)のメッシュモデルは、変形後の真の形状であるサーフェスデータの内部に埋もれていたり、外側に離れている領域が多く存在しているが、(II)~(IV)の形状推定後のメッシュモデルは、(I)に比べて、真の形状のサーフェスデータに沿って配置される領域が増大している。また、(II)~(IV)のそれぞれにおいて、カメラ2台の場合と4台の場合とを比較すると、特に丸で囲んだ領域において、4台のカメラを用いた方が、より形状推定後のメッシュモデルが真の形状のサーフェスデータに沿って配置されていることがわかる。

【0078】
図14及び図15は、上記と略同様の評価実験を腎臓及び角材に対して行った結果を示す。この評価実験では、4台のカメラをカメラ位置(3-b)で配置し、腎臓の変位量を31.9mm、角材の変位量を30.1とし、閾値dthを10.0mmとした。(a)は、形状推定前のメッシュモデルと真の形状のサーフェスデータとを、+y方向、-x方向、及び-z方向からみたもの、(b)は、形状推定後のメッシュモデルと真の形状のサーフェスデータとを同方向からみたものである。

【0079】
図14及び図15に示す結果から、腎臓及び角材のいずれにおいても形状推定後のメッシュモデルは、形状推定前に比べて真の形状のサーフェスデータに沿って配置される領域が大幅に増大していることが分かる。

【0080】
図16は、肝臓についての推定誤差(RMS)を算出した結果を示している。4つの各グラフは、それぞれカメラの配置をカメラ位置(1),(2),(3-a),(3-b)とした場合の結果を示している。また、各グラフの横軸は、肝臓の変位量を6段階で示し、各段階について、4つの閾値dthを用いた場合のRMSを棒グラフで示している。併せて、形状推定前のRMSを折れ線グラフで示している。

【0081】
図16に示す結果より、カメラの台数が増えることで、どの変位量においても概ねRMSが減少していることがわかる。つまり、カメラの台数が多いほど正確に形状を推定できているといえる。これは、カメラの台数が多いほどビジュアルハルが真の形状に近づき、探索される頂点vが、真の形状の接点又はその近傍である確率が高くなることが考えられる。

【0082】
図17は、カメラの配置をカメラ位置(3-b)とした場合における肝臓、腎臓、及び角材についてのRMSを示す。いずれの対象物においても、変位量が大きくても推定誤差が8mm以下に抑えられていることが分かる。

【0083】
以上のように、本実施形態の画像処理システムは、2~4台の少ないカメラの台数であっても、対象物の変形、特に局所的な変形であっても推定することができ、変形後の対象物の形状を取得することができる。そのため、手術中において患者の体腔内の限られたスペースに少ない台数のカメラを配置することによって臓器の画像を術者等に提供することができる。また、形状推定後の3次元モデルに基づいて、仮想的な視点を含む、任意の視点から観察される対象物の画像を術者等に提供することが可能となる。

【0084】
また、上記実施形態の画像処理システムは、対象物を撮影した画像中のシルエット情報を用いてビジュアルハルを生成し、これを解析用モデルとしている。そして、解析用モデルと変形前の3次元モデルとの対応する頂点(対応箇所)v、vを、両者の距離や法線ベクトルの近似性等を利用して探索し、頂点vを頂点vに近づけるように変位させることによって変形後の形状を推定している。そのため、対象物に対する照明のあたり具合や陰影の生じ方等に影響されることなく、頑健な形状推定を行うことができる。

【0085】
なお、上記実施形態では、解析用モデルと3次元モデルとの対応する頂点v,vを探索するにあたり、両頂点v,vの距離と法線ベクトルの近似性との双方の条件を用いているが、いずれか一方の条件のみを用いてもよい。
また、これらの条件に加えて、又は代えて、他の条件を適用してもよい。例えば、解析用モデルと3次元モデルとの頂点に、色、模様、テクスチャ等の少なくとも1つの追加情報を付与しておき、解析用モデルと3次元モデルとの追加情報の近似性を利用して、頂点v,vを探索してもよい。ただし、上述したように、色、模様、テクスチャ等は照明や陰影の影響で変化しやすいため、少なくとも両頂点v,vの距離及び法線ベクトルの近似性のいずれか一方を用いることがより好ましい。

【0086】
本実施形態の画像処理システムは、内視鏡下手術に好適に適用することができるが、これに限定されるものではなく、あらゆる物体の経時的な形状の変化を観察するために好適に利用することができる。例えば、木造やコンクリート造等の構造物や建築物の経年による形状の変化等を推定するために本実施形態の画像処理システムを利用することができる。従来、建築物等の経年による変形は、目視によって推定を行ったり、カメラで撮影した写真やサーモグラフィのデータ等をもとに推定を行ったりしていたが、これらの方法は、検査者の経験に委ねられるところが大きい。また、カメラを用いる場合は、撮影時のカメラの設置位置が地盤の変化や風等によって変化し、その影響で撮影誤差が発生する可能性があり、実際に建築物等に変形が生じているのか、撮影誤差が生じているのかを判別し難い。この点、本発明の画像処理システムを用いれば、建築直後の建築物等の画像を「第1の時刻における対象物の3次元モデル」を生成するために予め撮影しておき、数年後の建築物等の画像をカメラによって撮影し、その画像を用いて解析用モデルを生成することで、検査者の経験を要することなく、撮影誤差の影響も少なくして建築物等の変形を正確に推定することができる。

【0087】
また、本実施形態の画像処理システムは、1台のカメラの画像のシルエット情報を用いて解析用モデルを生成することも可能である。この場合、1台のカメラによって撮影された1枚の画像から解析用モデルを生成してもよいし、1台のカメラによって複数の視点から撮影した複数枚の画像から解析用モデルを生成してもよい。
【符号の説明】
【0088】
10 :画像処理システム
11 :カメラ
12 :画像処理装置
23 :記憶部
31 :生成部
32 :解析部
A :対象物
G1 :画像
G2 :シルエット画像
H :ビジュアルハル(解析用モデル)
:カメラ画像
M :メッシュモデル(三次元モデル)
th :閾値
:視線ベクトル
:法線ベクトル
:法線ベクトル
:頂点
:頂点
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16