Top > Search of Japanese Patents > (In Japanese)情報処理装置、情報処理方法及びプログラム > Specification

Specification :(In Japanese)情報処理装置、情報処理方法及びプログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)再公表特許(A1)
Date of issue Nov 14, 2019
Title of the invention, or title of the device (In Japanese)情報処理装置、情報処理方法及びプログラム
IPC (International Patent Classification) G06T  17/00        (2006.01)
A61B   5/00        (2006.01)
FI (File Index) G06T 17/00
A61B 5/00 G
Demand for international preliminary examination (In Japanese)未請求
Total pages 25
Application Number P2018-561894
International application number PCT/JP2017/045816
International publication number WO2018/131416
Date of international filing Dec 20, 2017
Date of international publication Jul 19, 2018
Application number of the priority 2017002641
Priority date Jan 11, 2017
Claim of priority (country) (In Japanese)日本国(JP)
Designated state AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
Inventor, or creator of device (In Japanese)【氏名】中尾 恵
Applicant (In Japanese)【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
Representative (In Japanese)【識別番号】100104880、【弁理士】、【氏名又は名称】古部 次郎
【識別番号】100114546、【弁理士】、【氏名又は名称】頭師 教文
Request for examination (In Japanese)未請求
Theme code 4C117
5B080
F-term 4C117XE43
4C117XE44
4C117XE46
4C117XG14
4C117XG22
4C117XK33
4C117XR07
4C117XR09
4C117XR10
5B080AA14
5B080AA19
5B080BA01
5B080BA02
5B080DA06
5B080FA02
5B080GA00
5B080GA11
Abstract (In Japanese) 情報処理装置は、少なくとも1つの方向から撮像された弾性体の表面画像と、未知の外力により弾性変形された弾性体の三次元モデルについて生成される、前記方向から観察したレンダリング画像との差分を最小化する外力の最適解を求める演算部を有する。
Scope of claims (In Japanese)【請求項1】
少なくとも1つの方向から撮像された弾性体の表面画像と、未知の外力により弾性変形された当該弾性体の三次元モデルについて生成される、前記方向から観察したレンダリング画像との差分を最小化する当該外力の最適解を求める演算部
を有する情報処理装置。
【請求項2】
前記演算部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項1に記載の情報処理装置。
JP2018131416A1_000009t.gif ここで、
f*は、評価関数を最小にする外力制約であり、
It(x)は、時間tと画素位置xについての弾性体の表面画像であり、
Jt(x)は、時間tと画素位置xについて三次元モデルを二次元画像にレンダリングした画像であり、
fは、外力の大きさであり、
λは、係数であり、
| |は、絶対値であり、
| |1は、1次元のノルムである。
【請求項3】
少なくとも1つの方向から撮像された弾性体の表面画像を記憶する記憶部と、
未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する生成部と、
前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める最適化部と
を有する情報処理装置。
【請求項4】
前記最適化部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項3に記載の情報処理装置。
JP2018131416A1_000010t.gif ここで、
f*は、評価関数を最小にする外力制約であり、
It(x)は、時間tと画素位置xについての弾性体の表面画像であり、
Jt(x)は、時間tと画素位置xについて三次元モデルを二次元画像にレンダリングした画像であり、
fは、外力の大きさであり、
λは、係数であり、
| |は、絶対値であり、
| |1は、1次元のノルムである。
【請求項5】
最適解として求められた前記外力に基づいて弾性変形された前記三次元モデルを表現する表現部を更に有すること
を特徴とする請求項1又は3に記載の情報処理装置。
【請求項6】
前記表面画像は、1つの方向のみから撮像された静止画像であること
を特徴とする請求項1又は3に記載の情報処理装置。
【請求項7】
前記表面画像は、単一の撮像カメラによって撮像された静止画像であること
を特徴とする請求項1又は3に記載の情報処理装置。
【請求項8】
前記レンダリング画像の表面には、前記弾性体の表面の情報が付与されていること
を特徴とする請求項1又は3に記載の情報処理装置。
【請求項9】
異なる方向から前記弾性体を撮像した複数の表面画像と当該異なる方向にそれぞれ対応する複数の前記レンダリング画像との個々の前記差分の総和を最小化する最適解を求めること
を特徴とする請求項1又は3に記載の情報処理装置。
【請求項10】
前記外力の絶対値和を前記差分に対する制約条件として用い、当該制約条件と当該差分との和を最小化する最適解を求めること
を特徴とする請求項1又は3に記載の情報処理装置。
【請求項11】
少なくとも1つの方向から撮像された弾性体の表面画像を取得する処理と、
未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、
前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理と
を有する情報処理方法。
【請求項12】
コンピュータに、
少なくとも1つの方向から撮像された弾性体の表面画像を取得する処理と、
未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、
前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理と
を実行させるプログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、患者負担の軽減を目的として、内視鏡を用いた手術が急速に増えている。一方で、内視鏡を用いた手術は視野が限られ、術者の負担が増加している。そこで、臓器の奥行き感や臓器の変形度合いの把握を支援する手術支援システムの研究及び開発が進められている。
例えば非特許文献1には、多視点から撮像された術野画像(いわゆるステレオ画像)から取得した臓器上の各点における局所変位を用いて、CT(Computed Tomography)データから構築したメッシュモデルを変形することにより、臓器内部の構造を表現する手法が提案されている。
【先行技術文献】
【0003】

【非特許文献1】N. Haouchine, J. Dequidt, I. Peterlik, E. Kerrien, M. O. Berger, and S. Cotin, "Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery", International Symposium on Mixed and Augmented Reality (ISMAR), pp. 199-208, 2013.
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、非特許文献1で提示される手法では、多次元特徴量のマッチングによって局所的な変位を算出するため、画素値の変化が小さい領域では特徴点を検出できない欠点がある。また、非特許文献1で提示される手法は、局所マッチング法により局所的な変位を算出するため、照明変化やノイズにより算出結果が大きな影響を受ける欠点がある。
【0005】
そこで、本発明は、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる手法を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、少なくとも1つの方向から撮像された弾性体の表面画像と、未知の外力により弾性変形された当該弾性体の三次元モデルについて生成される、前記方向から観察したレンダリング画像との差分を最小化する当該外力の最適解を求める演算部を有する情報処理装置である。
請求項2に記載の発明は、前記演算部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項1に記載の情報処理装置である。
JP2018131416A1_000003t.gif ここで、f*は、評価関数を最小にする外力制約であり、It(x)は、時間tと画素位置xについての弾性体の表面画像であり、Jt(x)は、時間tと画素位置xについて三次元モデルを二次元画像にレンダリングした画像であり、fは、外力の大きさであり、λは、係数であり、| |は、絶対値であり、| |1は、1次元のノルムである。
請求項3に記載の発明は、少なくとも1つの方向から撮像された弾性体の表面画像を記憶する記憶部と、未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する生成部と、前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める最適化部とを有する情報処理装置である。
請求項4に記載の発明は、前記最適化部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項3に記載の情報処理装置である。
JP2018131416A1_000004t.gif ここで、f*は、評価関数を最小にする外力制約であり、It(x)は、時間tと画素位置xについての弾性体の表面画像であり、Jt(x)は、時間tと画素位置xについて三次元モデルを二次元画像にレンダリングした画像であり、fは、外力の大きさであり、λは、係数であり、| |は、絶対値であり、| |1は、1次元のノルムである。
請求項5に記載の発明は、最適解として求められた前記外力に基づいて弾性変形された前記三次元モデルを表現する表現部を更に有することを特徴とする請求項1又は3に記載の情報処理装置である。
請求項6に記載の発明は、前記表面画像は、1つの方向のみから撮像された静止画像であることを特徴とする請求項1又は3に記載の情報処理装置である。
請求項7に記載の発明は、前記表面画像は、単一の撮像カメラによって撮像された静止画像であることを特徴とする請求項1又は3に記載の情報処理装置である。
請求項8に記載の発明は、前記レンダリング画像の表面には、前記弾性体の表面の情報が付与されていることを特徴とする請求項1又は3に記載の情報処理装置である。
請求項9に記載の発明は、異なる方向から前記弾性体を撮像した複数の表面画像と当該異なる方向にそれぞれ対応する複数の前記レンダリング画像との個々の前記差分の総和を最小化する最適解を求めることを特徴とする請求項1又は3に記載の情報処理装置である。
請求項10に記載の発明は、前記外力の絶対値和を前記差分に対する制約条件として用い、当該制約条件と当該差分との和を最小化する最適解を求めることを特徴とする請求項1又は3に記載の情報処理装置である。
請求項11に記載の発明は、少なくとも1つの方向から撮像された弾性体の表面画像を取得する処理と、未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理とを有する情報処理方法である。
請求項12に記載の発明は、コンピュータに、少なくとも1つの方向から撮像された弾性体の表面画像を取得する処理と、未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理とを実行させるプログラムである。
【発明の効果】
【0007】
請求項1記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項2記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項3記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項4記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項5記載の発明によれば、弾性変形された三次元モデルを視覚的に確認できる。
請求項6記載の発明によれば、弾性体の観察に使用する装置構成を簡素化できる。
請求項7記載の発明によれば、弾性体の観察に使用する装置構成を簡素化できる。
請求項8記載の発明によれば、弾性体の表面の情報を用いることで、弾性体の一部分の画像しか利用できない場合でも変位の推定精度を高めることができる。
請求項9記載の発明によれば、異なる方向から撮像された複数の画像の情報を用いることで、弾性体の一部分の画像しか利用できない場合でも変位の推定精度を高めることができる。
請求項10記載の発明によれば、制約条件を用いない場合に比して推定精度を高めることができる。
請求項11記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項12記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態で採用する推定手法の概念イメージを説明する図である。
【図2】情報処理システムのハードウェア構成例を示す図である。
【図3】コンピュータプログラムの実行を通じて実現される機能構成例を説明する図である。
【図4】弾性体をメッシュ構造で表現したメッシュモデルの例を示す図である。
【図5】正則項を用いない場合に推定される外力制約の候補を説明する図である。
【図6】最適化部による推定処理の流れを示す図である。
【図7】固定点Pfと制御点Pcの位置関係を説明する図であり、(a)はx-z面を観察した図、(b)はy-z面を観察した図である。
【図8】実験1で使用した固定点Pfと作用点Paの関係を説明する図であり、(a)は弾性体を変形させる前の図であり、(b)は弾性体を変形させた後の図である。
【図9】パラメータλと推定結果の平均二乗誤差(RMSE)との関係を示す図表である。
【図10】肝臓形状の弾性体について実験2で使用した固定点Pfと作用点Paの関係を説明する図であり、(a)は弾性体を変形させる前の図であり、(b)は弾性体を変形させた後の図である。
【図11】球形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。
【図12】肝臓形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。
【図13】球形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。
【図14】肝臓形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。
【図15】実験で用いたブタの肝臓片のカメラ画像を示す図である。(a)は外力を加える前の初期形状、(b)は外力による変形後の変形形状1、(c)は外力による更なる変形後の変形形状2を表している。
【図16】初期形状、変形形状1、変形形状2のそれぞれに対応する有限要素モデルを示す図である。(a)は初期状態を示し、(b)は変形形状1を示し、(c)は変形形状2を示す。
【図17】初期形状を入力として変形形状1を推定した結果の形状誤差を説明する図である。(a)は入力形状としての初期形状、(b)は外力制約から推定された変形形状1、(c)はGround truth形状に局所誤差をマッピングした表示である。
【図18】変形形状1を入力として変形形状2を推定した結果の形状誤差を説明する図である。(a)は入力形状としての変形形状1、(b)は外力制約から推定された変形形状2、(c)はGround truth形状に局所誤差をマッピングした表示である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

【0010】
<概念イメージ>
図1は、後述する実施の形態で採用する推定手法の概念イメージを説明する図である。
後述する実施の形態では、弾性体1の全体を観察できない場合(すなわち、観察できる部分と観察できない部分がある場合)を前提条件としており、部分的な観察画像しか取得できない場合でも、弾性体全体における各部の変位量を推定する手法について説明する。

【0011】
より具体的には、実施の形態における推定手法では、大きさfが未知である外力Fによって弾性変形された弾性体1の部分的な観察画像が入力として与えられる場合に、弾性体1に対応する三次元モデルを部分画像に近づけるように変形させる外力Fの大きさfを推定することにより、弾性体全体の各部における変位を推定する手法を採用する。

【0012】
なお、実施の形態における推定手法は、推定した外力Fで変形した三次元モデル(具体的にはレンダリング画像)と弾性体1の観察画像との類似度合いを、局所的特徴点のマッチングではなく、弾性体1の表面の輝度等の情報を大域的に(グローバルに)評価しながら最適な外力Fの大きさfを推定し、結果的に弾性体全体の各部における変位量を特定する点で既存の手法と異なる。

【0013】
因みに、後述する実施の形態では、弾性体1内の弾性率の分布は、既知であるものとして扱う。例えば弾性体1内における弾性率の分布は一様(均一)であるものとして扱う。もっとも、弾性体1内の詳細な弾性率の分布が事前に与えられる場合(例えば測定データがある場合や推定処理により求められている場合)にはその情報を使用する。「分布」であるので、弾性率の相対的な位置関係が分かればよく、数値自体は未知でよい。例えば相対的に硬い部位と柔らかい部位が特定されれば、具体的な数値は未知でよい。

【0014】
ところで、弾性体1を変形させる外力Fが作用する位置(すなわち、作用点Paの位置)は、既知でも未知でも構わない。図1の例では、作用点Paの位置が観察できる部分に存在しているが、作用点Paの位置が観察できない部分に存在してもよい。また、作用点Paの個数についての制限もなく、1つでも複数でもよい。また、作用点Paは、弾性体1の表面全体に設けられていてもよい。ただし、計算量を削減する観点からは、作用点Paの数が少なく位置が事前に特定されることが望ましい。

【0015】
弾性体1の動きを制約する位置(すなわち、固定点Pfの位置)は、既知でも未知でも構わない。アルゴリズム的には、固定点Pfの位置が既知である方が望ましいが、未知でもシフト処理を組み合わせればよい。図1の例では、固定点Pfの位置が観察できない部分に存在しているが、固定点Pfの位置が観察できる部分に存在してもよい。また、固定点Pfの個数についての制限もなく、1つでも複数でもよい。なお、弾性体1が臓器の場合には、固定点Pfの位置が既知である。
既知である情報が増えるほど、一般的には推定精度が高くなり、推定に要する計算時間も少なく済む。

【0016】
図1では、観察できる部分と観察できない部分の説明のため、弾性体1の一部分が遮蔽物2によって覆われている様子を表しているが、弾性体1の一部分が遮蔽物2で覆われていることを必須とするものではない。例えば弾性体1を一方向のみから観察する場合、観察視野に含まれる部分が観察できる部分であり、観察視野に含まれない部分が観察できない部分となる。従って、観察方向から見て弾性体1の陰になる部分(例えば裏側や背面側)は、観察できない部分の一例である。

【0017】
<用語>
実施の形態における弾性率には、押込方向や引張方向についての硬さを表すヤング率E、せん断方向についての硬さを表す剛性率G、ポアソン比ν、体積弾性率Kなどが含まれ、後述する実施の形態では、弾性率がヤング率であるものとする。
実施の形態において、弾性体1とは、外力Fの作用により歪みが生じる(変形する)一方、外力Fの作用が停止されると元の寸法に戻る性質を有する物質をいうものとする。本実施の形態では、例えば生体組織における各種の臓器など、近似的にフックの法則を用いて表現される弾性体を想定する。

【0018】
<システム構成>
図2は、情報処理システム100のハードウェア構成例を示す図である。
情報処理システム100は、弾性体1(図1参照)を構成する各部の変位量を推定する演算処理を実行する情報処理装置10と、弾性体1の撮像に用いる少なくとも1つの撮像カメラ20と、弾性体1のメッシュモデルの作成に使用する三次元画像データ(ボリュームデータ)を記憶する三次元画像データ記憶装置30と、推定結果に基づいて変形したメッシュモデルの表示等に用いる表示装置40と、ユーザが操作するマウスやポインティングデバイス等で構成される入力装置50とを有している。

【0019】
情報処理装置10は、いわゆるコンピュータであり、プログラムを実行するCPU(Central Processing Unit)11と、BIOS(Basic Input / Output System)やファームウェアなどのプログラムやデータを記憶するROM(Read Only Memory)12と、プログラムに作業エリアを与えるRAM(Random Access Memory)13と、処理対象とする画像データを記憶する記憶部14とにより構成される。記憶部14は、ハードディスク装置や半導体メモリなどの記憶装置である。CPU11によるプログラムの実行を通じて実現される機能については後述する。

【0020】
撮像カメラ20は、弾性体1の観察に使用される撮像装置である。撮像カメラ20は、弾性体1の観察に適した撮像装置であればよい。例えば撮像カメラ20には、赤外線カメラ、内視鏡カメラ、超音波イメージング装置、光超音波イメージング装置、X線透過装置などを使用する。なお、内視鏡カメラの撮像素子は、CCD(Charge Coupled Device)でもCMOS(Complementary MOS)でもよい。
本実施の形態では、単眼の撮像カメラ20を1台使用し、弾性体1を一方向から撮影した静止画像(表面画像)が出力される。

【0021】
三次元画像データ記憶装置30は、弾性体1を断層撮影することにより取得した断層画像データを積み重ねるように再構成した画像(再構成画像)を三次元画像データとして記憶する大容量のハードディスク装置等で構成される。
三次元画像データ記憶装置30は、情報処理装置10に対して直接接続される場合だけでなく、ネットワーク上にサーバやネットワークストレージとして存在してもよい。ここで、断層画像データの取得には、例えばCT(Computed Tomography)、PET(Positron Emission Tomography)、MRI等を使用する。

【0022】
表示装置40は、例えば液晶ディスプレイで構成される。液晶ディスプレイは、液晶パネル、バックライトなどで構成される。なお、表示装置40は、有機EL(ElectroLuminescence)ディスプレイ等でもよい。

【0023】
図3は、CPU11によるコンピュータプログラムの実行を通じて実現される機能構成例を説明する図である。ここで、図3に示す機能構成の入出力関係は、情報処理方法の一例である。
処理機能の観点から見た情報処理装置10は、三次元のメッシュモデル(三次元モデル)を生成するメッシュモデル生成部111と、フックの法則に基づいて三次元モデルを変形する変形部112と、変形後の三次元モデルをレンダリングしてレンダリング画像を生成するレンダリング部113と、レンダリング画像とカメラ画像との差分を最小化する外力Fを最適解として求める最適化部114と、外力Fによって変形された三次元マトリクスと各部の変位量を表示装置40に出力する表現部115とを有している。これらの機能部は、請求の範囲における「演算部」の一例である。

【0024】
メッシュモデル生成部111は、三次元画像データ記憶装置30から観察対象とする弾性体1の三次元画像データを取り込むと、連続体として与えられた三次元画像データから単純な形状要素の集合体であるメッシュモデルを生成する機能部である。ここでのメッシュモデルは三次元モデルの一例であり、最小要素は立方体や四面体(三角錐)で表現される。以下の説明では、最小要素が四面体であるものとして説明する。

【0025】
図4は、弾性体1をメッシュ構造で表現したメッシュモデル200の例を示す図である。図4は、外力Fが作用点Pa(図1参照)に加えられる前のメッシュモデル200を表している。図中の丸印は最小要素の頂点、すなわちノードを示す。

【0026】
図3の説明に戻る。変形部112は、逐次更新される外力Fの大きさfに応じて三次元モデルを弾性変形する動作を実行する機能部である。変形部112は、最適化部114から与えられる大きさfと既知の弾性率とを用い(フックの法則により)、三次元モデルを構成する個々のノードの変位量を算出する。個々のノードの変位量が計算されることで、弾性変形後の三次元モデルの形状が決定される。なお、フックの法則は広義で解するものとし、弾性変形の計算には例えば有限要素法(Finite Element Method: FEM)を使用する。

【0027】
フックの法則では、全体剛性マトリクスをKとする力の釣り合い式(f=Ku)を変形した式1に基づいて、三次元モデルを構成する各ノードにおける変位量uを計算することができる。
u=K-1f=Lf …式1
なお、Lは、全体剛性マトリクスKの逆行列(K-1)を意味する。

【0028】
ここでは、弾性体1におけるヤング率の分布が既知であり、弾性体1に加わる外力Fの大きさf(ベクトル)は変数であるものとする。なお、大きさfの初期値は0(ゼロ)である。
ヤング率は、全体剛性マトリクスKの内包パラメータであるので、既知のヤング率から全体剛性マトリクスKとその逆行列Lを計算することができる。すなわち、式1における逆行列Lは既知である。

【0029】
レンダリング部113は、三次元モデルに弾性体1の表面情報をレンダリングした二次元画像(レンダリング画像)を生成する機能部である。
レンダリング部113は、最適化処理が開始される前に、弾性体1に外力Fが作用する前のカメラ画像(初期画像)とできるだけ一致するレンダリング画像が得られるように、三次元モデルの向きと寸法を修正する校正処理を実行する。校正処理において、レンダリング部113は、画像マッチングの結果、弾性体1を観察する方向に関する情報などを用い、三次元モデルの向きと寸法を校正する。

【0030】
レンダリング部113は、校正処理が終了した後の三次元モデルの表面に対し、弾性体1の表面に現れる凹凸や起伏によって生じる陰影(すなわち輝度情報)を少なくとも付与したレンダリング画像を生成する。もっとも、陰影は必須ではない。
ここで、レンダリング画像には、好ましくは色、模様、構造的特徴、境界など、カメラ画像や既知の知識から自動的に取得可能な情報が含まれることが望ましい。レンダリング画像に含まれる情報が多いほど、最適化部114で実行されるグローバルマッチングの精度が向上する。

【0031】
最適化部114は、カメラ画像の外観とレンダリング画像の外観とをグローバルマッチングして求まる差分が最小になるように、三次元モデルを変形させる外力Fの大きさfの最適解を推定する機能部である。
ここでの最適化部114は、次式(式2)によって定義される評価関数Eを用いて最適解を推定する。
JP2018131416A1_000005t.gif ここで、It(x)はカメラ画像、Jt(x)はレンダリング画像である。なお、添え字のtは時間を表し、変数のxはレンダリング画像内の画素位置を与える。

【0032】
具体的には、最適化部114は、評価関数Eを最小化する(すなわち、観察結果に最も近い変形を与える)外力制約f*を、次式(式3)で与えられる最小化問題の式により求める。
JP2018131416A1_000006t.gif ここで、第1項は画像に含まれる個々の情報の差分(例えば対応する画素位置における輝度値の差分)を表し、第2項は1ノルムの正則項を表している。λは正則項に対する重みである。
1ノルムは、外力Fが複数である場合、個々の大きさfの絶対値和で与えられる。ここでの第2項は、請求の範囲における「制約条件」の一例である。

【0033】
一般に、1枚のカメラ画像から得られる弾性体1の変形と同様の変形を生成する外力制約f*を与える大きさfの組み合わせは無数に存在する。
図5は、正則項を用いない場合に推定される外力制約f*を与える大きさfの組み合わせ候補を説明する図である。正則項の導入によって、作用する外力Fの個数と大きさfが小さく済む解の導出が可能になる。

【0034】
図6は、最適化部114による推定処理の流れを示す図である。図6に示すように、評価関数Eを最小にするように更新された外力制約f*を三次元モデルの初期形状M0に適用し、有限要素法により変形された時刻tにおける推定形状Mtについて、評価Thより小さくなるまで最適解の探索が継続される。
最適化部114は、最適解が得られるまで外力Fの個数と大きさfを更新し、更新情報を変形部112(図3参照)に与える。最適解が得られたときに式1で算出される変位量uにより三次元モデルの推定形状Mtが求まる。

【0035】
本実施の形態では、最適化問題を解く手法として、共分散行列適応進化戦略(Covariance Matrix Adaptation Evolution Strategy:CMA-ES)を使用した。もっとも、最適化問題を解く手法には既知の他の手法を用いてもよい。例えば勾配法、モンテカルロ法、焼きなまし法などを用いてもよい。

【0036】
図3の説明に戻る。表現部115は、推定された三次元モデルの形状を表示装置40(図2参照)に表示する機能部である。表現部115は、三次元モデルの表面に輝度情報などの情報を付与して表現してもよい。
表現部115は、必要に応じ、最適解として求まった外力Fの大きさfについて算出された各部の変位量を、色や輝度などを用いて表示してもよい。
この表示により、ユーザは、観察できない部分も含めた弾性体1の外観全体を視覚的に理解できる。また、ユーザは、弾性体1の内部構造(例えば血管や腫瘍の位置)の変形も理解できる。

【0037】
<シミュレーション実験による検証>
以下では、弾性体1について作成したメッシュモデル200(図4参照)から作成されるレンダリング画像と、弾性体1の一部分を観察したカメラ画像とから推定された推定形状Mt(図6参照)の精度を検証した結果について説明する。

【0038】
<検証条件>
理論上の外力制約f*は、メッシュモデル200(図4参照)の全てのノードに与えることができる。
しかし、ノード数がN個のメッシュモデル200(又は200A)において、全てのノードに外力制約f*が与えられる可能性があると、推定形状Mtを求める計算は、3×N次元のパラメータ最適化問題となり、計算量が膨大となって実時間内で解けなくなるおそれがある。

【0039】
そこで、シミュレーション実験では、推定精度と計算量とのバランスを考慮して、パラメータ数を削減した。
具体的には、弾性体1に作用する外力Fを引っ張り力に制限すると共に、外力Fが作用するノードの位置と数も制限し、外力制約f*の低次元化を図った。なお、引っ張り力が作用する作用点Paは、固定点Pfから十分離れた部位にあるものと想定した。

【0040】
以下では、作用点Paとなる可能性があるノード(候補点)を制御点Pcと呼び、以下の条件を満たす位置に予め定めた個数だけ設定する。
(1)固定点Pfの重心位置からの距離が最も遠いノードを制御点Pcに選択する。
(2)選択済みの他の制御点Pcから一定範囲内にあるノードを、制御点Pcの探索範囲から除外する。
(3)予め定めた個数の制御点Pcが選択されるまで条件(1)と(2)を繰り返す。

【0041】
図7は、前述の条件(1)~(3)を適用して定めた固定点Pfと制御点Pcの位置関係を説明する図である。図7は、弾性体1の初期状態が球形であり、制御点Pcの個数を「6」とする場合における固定点Pfと制御点Pcの位置関係を示している。
図7(a)では、図中右端に1つの固定点Pfを設けた場合に、6個の制御点Pcが図中左端に配置される様子を表している。なお、図7(a)は固定点Pfを視野内に含む図であるので、6個の制御点Pcのうちの3個だけが見えている。図7(b)は、固定点Pfの反対側を見た図であり、6個の制御点Pcが配置されている。
最適化部114(図3参照)は、これら6個の制御点Pcのいずれか又は複数が作用点Paであるものとして外力Fの大きさfの最適化処理を実行する。

【0042】
以下の実験1及び2においては、初期形状が既知の弾性体1に外力Fを作用させて作用点Paの重心を強制的に一定距離(正解値)だけ移動させ、その際に撮像カメラ20によってキャプチャされたカメラ画像を情報処理装置10に与えて弾性体1の各部における変位量を推定し、その推定結果の精度を定量的に評価する。

【0043】
その際、最適化部114は、空間の中心を原点として弾性体1の座標と撮像カメラ20の座標を表現した。
また、各実験では、撮像カメラ20が弾性体1に対して-y方向側に位置し、+y方向に弾性体1の表面を撮像している。従って、撮像カメラ20では、図7(a)に示すように固定点Pfを右端に含むカメラ画像が取得される。なお、光源の位置は、撮像カメラ20の位置と同じであるものとする。もっとも、光源の位置は撮像カメラ20の位置と異なっていてもよい。ただし、光源の位置は撮影されるカメラ画像に現れる陰影の向きなどに影響するため、光源の位置情報はレンダリング部113に事前に与えられるものとする。

【0044】
<実験1>
実験1では、単眼の撮像カメラ20が1台である場合を想定し、式3の重みパラメータλの値が推定精度に与える影響を調査した。
図8は、実験1で使用した固定点Pfと作用点Paの関係を説明する図である。図8(a)は外力Fが作用する前の球形状の弾性体1の初期形状を示し、図8(b)は外力Fの作用により-x方向に変形された後の弾性体1の形状を示している。なお、図8では、弾性体1の表面位置にメッシュモデル200(図4参照)のノードをマッピングして表している。

【0045】
実験1で使用する球形状の弾性体1に対応するメッシュモデル200のノード数は642個、四面体要素の数は1280個である。
実験1では、固定点Pfとして図中右端に位置する15個のノードを使用し、作用点Paとして図中左端に位置する15個のノードを使用した。
前述したように、実験1では、固定点Pfが既知であるものとし、対応する制御点Pcの数を6個としている。
さらに、弾性体1内部のヤング率の分布は一様であり、絶対値は1MPaであるものとした。

【0046】
実験1では、図8(a)に示す球形状の弾性体1を初期形状とし、作用点Paについてx、y、z方向へそれぞれ0mm、±25.6mmの計27(=3×3×3)通りの強制変位を与えた。なお、弾性体1の半径は64mmとした。
図8(b)は、弾性体1の作用点Paを初期位置から-x方向に25.6mm(正解値)だけ強制的に変位させたときの形状である。

【0047】
実験1では、式3のパラメータλの値が推定精度に与える影響を検証するため、"0.0"、"0.05"、"0.1"、"0.25"、"0.5"、"1.0"の6つの値を使用した。
そして、単眼の撮像カメラ20を1台用いて弾性体1を撮像したカメラ画像を情報処理装置10に入力し、6通りのパラメータλの値それぞれについて、評価関数Eを最小化する変形をメッシュモデル200に与える外力Fの大きさfを推定し、そのときの変位量と正解値とのノード間距離の平均二乗誤差(Root Mean Square Error:RMSE)の平均値を計算した。
ただし、本実施の形態で用いるCMA-ESでは乱数を用いて最適化を行うため、推定ごとに結果が一定とならない。そこで、実験1では推定処理を5回行い、その中で最も評価値の良い結果を、パラメータλの各設定での推定結果とした。

【0048】
表1に、パラメータλの6通りの値について求めた27通りの推定結果の平均二乗誤差RMSE(mm)の平均値を示す。
表1:
JP2018131416A1_000007t.gif

【0049】
図9は、パラメータλと推定結果の平均二乗誤差(RMSE)との関係を示す図表である。
図9の横軸はパラメータλであり、縦軸は27通りの変位の平均二乗誤差の平均値(mm)である。図9では、平均二乗誤差のばらつきを四分位点で区切られた箱ひげ図によって示している。
図9の場合、最も誤差が少なく箱ひげ図の分散も小さいλ=0.05が、情報処理装置10による推定誤差を小さくできている。

【0050】
<実験2>
実験2では、式3のパラメータλに0.05を用い、x、y、zの各方向に弾性体1を強制的に変位させた場合における推定精度の方向依存性について検証した。
実験2では、実験1で使用した球形状の弾性体1に加え、肝臓形状の弾性体1についても評価した。

【0051】
図10は、肝臓形状の弾性体1について実験2で使用した固定点Pfと作用点Paの関係を説明する図である。
図10(a)は外力Fが作用する前の弾性体1の初期形状を示し、図10(b)は外力Fの作用により-x方向に変形された後の弾性体1の形状を示している。なお、図10では、弾性体1の表面位置にメッシュモデル200(図4参照)のノードをマッピングして表している。

【0052】
実験2で使用する肝臓形状の弾性体1に対応するメッシュモデル200のノード数は202個、四面体要素の数は600個である。
実験2では、固定点Pfとして図中右端に位置する38個のノードを使用し、作用点Paとして図中左端に位置する41個のノードを使用した。
実験2でも、固定点Pfが既知であるものとし、対応する制御点Pcの数を6個としている。
さらに、弾性体1内部のヤング率の分布は一様であり、絶対値は1MPaであるものとした。

【0053】
実験2では、作用点Paに与える強制変位をx、y、z方向へそれぞれ±6.4mm、±12.8mm、±19.2、±25.6mmの8通りとした。なお、各方向への精度の依存性を調査するため一方向に変位を与えているときは他方向への変位成分は0とした。従って、計24(=8+8+8)通りについて実験した。なお、弾性体1の幅方向(図中x方向)の寸法は210mm、奥行方向(図中y方向)の寸法は140mm、高さ方向(図中z方向)の寸法は75mmとした。

【0054】
図10(b)は、41個のノードで与えられる作用点Paに外力Fを与え、弾性体1を初期形状から-x方向に25.6mm変位させたときの真の形状を示している。
実験2では、前述したように式3のパラメータλに0.05を使用し、単眼の撮像カメラ20を1台用いて弾性体1を撮像したカメラ画像を情報処理装置10に入力し、評価関数Eを最小化する変形をメッシュモデル200Aに与える外力Fの大きさfを推定し、そのときの変位量と正解値とのノード間距離の平均二乗誤差RMSEをノード毎に計算した。

【0055】
図11は、球形状のメッシュモデル200について、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。図12は、肝臓形状のメッシュモデル200Aについて、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。
図11では、弾性体1をx方向にだけ-25.6mm、又はy方向にだけ+25.6mm、又はz方向にだけ+25.6mmの強制変位を与えたときの目的形状(真の形状)と、推定結果(メッシュモデル200の推定形状)と、局所誤差の分布との関係が示され、図12では、弾性体1をx方向にだけ+25.6mm、又はy方向にだけ+25.6mm、又はz方向にだけ-19.2mmの強制変位を与えたときの目的形状(真の形状)と、推定結果(メッシュモデル200の推定形状)と、局所誤差の分布との関係が示されている。

【0056】
図11及び図12では、誤差が5mm以上の領域を濃い網掛けで示し、誤差0mmの領域を白抜きで、中間誤差の領域を薄い網掛けで示している。
図11及び図12の例では、球形状の弾性体1に-x方向への大きな強制変位を与えた場合と肝臓形状の弾性体1に+y方向への大きな強制変位を与えた場合に5mm以上の局所誤差が多く生じている。

【0057】
図13は、球形状のメッシュモデル200について、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。図14は、肝臓形状のメッシュモデル200Aについて、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。
図13及び図14は、横軸を変位量(mm)、縦軸を平均二乗誤差RMSE(mm)とした棒グラフを示している。
弾性体1が球形状(図13)の場合には、-x方向に大きな強制変位を与えた場合のみ6mm程度の局所誤差が現れているが、他の方向の場合ではおおよそ1mm程度の局所誤差で収まっている。
弾性体1が肝臓形状(図14)の場合には、+y方向に大きな強制変位を与えた場合のみ8mm程度の局所誤差が現れているが、他の方向の場合ではおおよそ2~3mm程度の局所誤差で収まっている。

【0058】
<まとめ>
前述の実験1及び実験2によれば、強制的に変位させた弾性体1を1台の撮像カメラ20で一方向から撮像した1枚のカメラ画像を情報処理装置10に与えるだけで、平均で8.6%程度の推定誤差により、メッシュモデル200(又は200A)の変位量を推定できることが確かめられた。
すなわち、本実施の形態に係る手法によれば、対象物体の二次元の外観のみから十分な精度でメッシュモデル200及び200Aを構成する全てのノード(ボリューム全体)について、局所的な変位を高い精度で再構成できる。

【0059】
なお、弾性体1が球形状の場合には、-x方向へ大きな変位を与えた場合に誤差が増大しているが、その原因の一つには、CMA-ESが乱数を利用しているためと考えられる。
従って、例えば最終的な推定結果を得るまでに実行される推定処理の回数を5回以上に増やしたり、撮像条件(例えば撮像部位、照明量など)に応じた最適なパラメータλの値を用いたりすることにより、推定誤差を低減できる。

【0060】
また、弾性体1が肝臓形状の場合には、+y方向へ大きな変位を与えた場合に誤差が増大しているが、その原因は、+y方向が撮像カメラ20の視線方向と同じであるために、視線方向に平行な方向への弾性体1の変形に対応して出現するカメラ画像内の輝度変化が少ないためと考えられる。この場合には、別の方向から弾性体1の変形を撮像することで推定誤差を低減できると想定される。

【0061】
前述した実験1及び2で採用した有限要素法を用いた変位量の算出処理(直接的には外力Fの大きさfの算出処理)では、弾性体1内における弾性率の分布が一様であることを前提とする一方で、弾性率の絶対値は未知として扱っている。
このため、計算に用いる弾性率の絶対値と実際の弾性率との間でズレが想定されるが、弾性率の絶対値が未知であっても、外力Fの大きさf(ベクトル)の算出の妨げにはならない。

【0062】
<ブタの肝臓を用いた形状誤差の評価>
以下では、観察の対象としてブタの肝臓片を使用し、算出された外力制約f*の確からしさを、算出された外力制約f*により特定される形状と真値との差として評価した結果について説明する。
なお、真値には、肝臓片のCTデータを使用した。また、外力制約f*により特定される形状には、初期形状の肝臓片のCTデータから形成したメッシュモデルを外力制約f*で変形した形状を使用した。

【0063】
<実験の方法>
図15は、実験で用いたブタの肝臓片300のカメラ画像を示す図である。(a)は外力Fを加える前の初期形状、(b)は外力F1による変形後の変形形状1、(c)は外力F2による更なる変形後の変形形状2を表している。

【0064】
実験には、市販されている食用ブタの肝臓片300を使用した。
図15に示す肝臓片300の大きさは、おおよそ200mm×150mm×100mmである。
ブタの肝臓片300のヤング率の測定には、株式会社テック技販のYAWASAを使用した。臓器内部の血管構造などにより、局所的な硬さの違いが触知できた。なお、測定値は、全体的に、5~10kPa程度であった。

【0065】
ブタの肝臓片300の計測には、動物実験用のX線CT装置を使用した。
計測は、肝臓片300を載せたボード310をCT装置のテーブルに設置した状態で行った。
図15(a)は、肝臓片300の初期形状である。実験時には、図中破線で囲んで示す部分を、テグス糸でボードに縫いつけて固定点Pfとした。図15(b)及び(c)では、肝臓片300に強制的な変位を与える外力F1、F2の作用方向を矢印で表現した。なお、肝臓片300の姿勢は、ボード310との摩擦力で保持した。

【0066】
図15(b)は、初期形状の肝臓片300の紙面の右下部分に対して紙面の右下方向に外力F1を加えた後の形状(変形形状1)を表している。図15(c)は、変形形状1の肝臓片300の紙面の右下部分に対して紙面の右上方向に外力F2を加えた後の形状(変形形状2)を表している。
各形状に対応するカメラ画像は、1台のデジタルカメラで撮影している。なお、撮影方向は同じである。また、各形状の肝臓片300をCT装置で撮影し、CTデータを得た。

【0067】
続いて、推定プロセス(図3参照)について説明する。
まず、前処理として、初期形状、変形形状1、変形形状2に対応するメッシュモデルをCTデータから生成した。メッシュモデルの生成には、ジオメトリモデリングソフトウェアであるMercury社製のAvizoを使用した。
いずれのメッシュモデルも、頂点数は302個であり、三角形の要素数は600個とした。ただし、各メッシュモデル間で頂点どうしの対応関係はない。
カメラ画像は、デジタルカメラで撮影された画像の中から肝臓片300の領域部分を選択的に抽出している。すなわち、背景を削除している。

【0068】
なお、初期形状を撮影する段階で、メッシュモデルのレンダリング像がカメラ画像に最も近づくように情報処理装置10(図2参照)内のカメラパラメータを調整した。また、カメラ画像の肝臓片300の平均色を求め、メッシュモデルの各頂点にカラー情報として与えることでレンダリングを行った。
その後、変形形状1又は2に対応するカメラ画像に有限要素モデルを一致させるように、評価関数E(式2)を最小化する外力制約f*を求めた。

【0069】
本実験の場合、初期形状から変形形状2への変形度合いが極めて大きいため、初期形状から変形形状1を推定する場合と、変形形状1を初期形状として変形形状2を推定する場合との2つについて各時刻間の変形を与える外力制約f*を推定した。
図16は、初期形状、変形形状1、変形形状2のそれぞれに対応する有限要素モデルを示す図である。(a)は初期状態を示し、(b)は変形形状1を示し、(c)は変形形状2を示す。

【0070】
図16では、設定された固定点Pfと制御点Pcを破線で囲んで示している。
本実験の場合、前述したように、各形状の頂点間には対応関係が存在しない。このため、形状間の双方向距離(bidirectional distance)と呼ばれる形状誤差指標を採用し、変形形状のメッシュデータと推定形状のモデル間の形状との差を表す指標とした。
ここで、双方向距離とは、一方の形状から他方の形状に対して最も近い頂点との距離の算出を双方向に行った値である。すなわち、双方向距離は、前述したシミュレーション実験(図7~図14)での評価に用いた対応点間の距離ではなく、両形状のおよそのずれを表している。

【0071】
この双方向距離は、比較する両形状のメッシュが密なほど精密な値を算出できる。そこで、推定処理が終えた後、推定形状とGround truth形状(ブタの肝臓片300)のそれぞれをさらにメッシュ分割し、頂点数を302から約2万とした後に双方向距離により全体の形状誤差(mm)を算出した。

【0072】
以下では、図17及び図18を使用して推定結果が高い精度を有することを示す。
図17は、初期形状を入力として変形形状1を推定した結果の形状誤差を説明する図である。(a)は入力形状としての初期形状、(b)は外力制約f*から推定された変形形状1、(c)はGround truth形状に局所誤差をマッピングした表示である。
図18は、変形形状1を入力として変形形状2を推定した結果の形状誤差を説明する図である。(a)は入力形状としての変形形状1、(b)は外力制約f*から推定された変形形状2、(c)はGround truth形状に局所誤差をマッピングした表示である。

【0073】
また、表2に、推定精度の指標となる各種の数値を示す。ここでは、双方向距離の初期値の平均と最大値、推定後の双方向距離の平均と最大値とを示す。ただし、単位は、全てmmとする。
表2:
JP2018131416A1_000008t.gif

【0074】
例えば初期形状から変形形状1を与える外力制約f*の推定を開始してすぐの段階では、双方向距離の平均で53mm、最大値で127mmの誤差が生じている。しかし、評価関数Eを最小化する外力制約f*が推定された段階では、双方向距離の平均が9割減の5.3mmに、最大値も22mmまで減少させることができた。
この結果は、最大で120mm程度あった局所のずれに対して推定誤差が約8.2%であることに相当する。

【0075】
また例えば変形形状1から変形形状2を与える外力制約f*の推定を開始してすぐの段階では、双方向距離の平均で18mm、最大値で60mmの誤差が生じている。しかし、評価関数Eを最小化する外力制約f*が推定された段階では、双方向距離の平均が7.4mmに、最大値も23mmまで減少させることができた。
いずれも大幅に誤差の減少が認められた。

【0076】
図17及び図18では、具体的な局所誤差の分布を確認できる。
例えば図17に示す変形形状1の推定結果の場合、比較的大きな局所誤差は、固定点Pfの付近の2か所と左側の手前部分に認められるものの、全体的には誤差がほとんど生じていないことが確認できる。
固定点Pf付近に局所誤差が現れているのは、この部分が変形の際に伸張され、その結果として上端部分が丸く変形されたためと考えられる。

【0077】
なお、左手前部分の局所誤差は、計測誤差によるものと考えられる。具体的には、初期形状(図15参照)では確認できなかったヒダのような部位が、変形形状1に現れたことに原因が認められる。
なお、このヒダ状の部位は、初期形状の撮影の時点で、互いに密着していたためにCTデータとしてモデリングされていない。

【0078】
一方、図18に示す変形形状2の推定結果の場合、比較的大きな局所誤差は、肝臓片の先端部分の両端と右側中央付近のくぼみ部分に認められる。
これらの部位に局所誤差が現れているのは、変形の際の伸張やひねりによって局所的な変形が生じたためと考えられる。

【0079】
<他の実施の形態>
前述の実施の形態においては、弾性体1における弾性率の分布が一様である場合(硬い部位と柔らかい部位が存在しない場合)について実験したが、実際に扱う弾性体1では、弾性率の分布が一様でない場合も多い。その場合でも、1枚のカメラ画像を用いるだけで弾性体1の各部における変位量をボリューム全体について推定できることの実用的な効果は大きい。
また、弾性率の分布が既知の場合には、正確な分布を式1の全体剛性マトリクスKに与えることにより、弾性体1の各部における変位量をより正確に推定できる。

【0080】
前述の実施の形態では、式3において正則項を用いているが、事前に外力Fの作用点Paが分かっている場合など観察条件によっては正則項の追加は不要である。
前述の実施の形態では、単眼の撮像カメラ20を用い、1つの方向から弾性体1を撮像しているが、1つの方向から複眼の撮像カメラ20(いわゆるステレオカメラ)や複数台の撮像カメラ20を用いて弾性体1を撮像してもよい。この場合、視差に相当する複数のカメラ画像が得られることになる。

【0081】
この場合、一度に複数枚のカメラ画像が取得されるが、いずれか1枚だけを用いて前述の推定処理を実行してもよいし、複数枚のカメラ画像を用いて前述の推定処理を実行してもよい。複数枚のカメラ画像を用いる場合には、個々のカメラ画像と対応するレンダリング画像との間の差分の総和を最小化する外力Fの大きさfを推定すればよい。

【0082】
前述の実施の形態では、単眼の撮像カメラ20を用い、1つの方向から弾性体1を撮像しているが、複数の方向から弾性体1を撮像してもよい。複数の方向に対応するカメラ画像は、複数台の撮像カメラ20を用いて一度に複数の方向から撮像してもよいし、1台の単眼の撮像カメラ20を時間差で異なる方向から撮像してもよい。

【0083】
前述の実験2では、λ=0.05を用いているが、外力Fの大きさfが小さい場合には大きな値を用いて、外力Fの大きさfの違いが評価に反映されやすくしてもよい。
前述の実験1及び2では、外力制約f*のパラメータ数を削減するために外力Fの作用点Paの候補点(制御点Pc)の数や固定点Pfの位置を既知としているが、常にこれらの情報を必要とするわけではない。

【0084】
前述の実施の形態においては、撮像カメラ20を通じて静止画像を撮像することを前提に説明したが、撮像カメラ20は弾性体1を動画像として撮像できる撮像手段であってもよい。この場合には、撮像された動画像からキャプチャされた静止画像を用いればよい。

【0085】
実施の形態に係る情報処理装置10は、様々な用途において活用できる。例えば医師による診断や手術を支援する医療支援システムに情報処理システム100を活用できる他、医療分野以外の産業分野にも、観察や分析の用途にも、生産又は製造の用途にも活用できる。

【0086】
例えば情報処理システム100を医療支援システムとして活用する場合には、前述したように、視野が限られるために臓器の全体像を一度に観察できなくても、観察できる部位の部分画像(カメラ画像)を用いて、被検体である患者の臓器全体の局所変形を高精度に推定することができる。

【0087】
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、請求の範囲の記載から明らかである。
【符号の説明】
【0088】
1…弾性体、10…情報処理装置、100…情報処理システム、111…メッシュモデル生成部、112…変形部、113…レンダリング部、114…最適化部、115…表現部、200、200A…メッシュモデル、F…外力、f…外力の大きさ、Pa…作用点、Pc…制御点、Pf…固定点
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16
(In Japanese)【図18】
17