TOP > 国内特許検索 > 三次元像表示装置 > 明細書

明細書 :三次元像表示装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4660771号 (P4660771)
公開番号 特開2008-085641 (P2008-085641A)
登録日 平成23年1月14日(2011.1.14)
発行日 平成23年3月30日(2011.3.30)
公開日 平成20年4月10日(2008.4.10)
発明の名称または考案の名称 三次元像表示装置
国際特許分類 H04N   5/74        (2006.01)
H04N  13/04        (2006.01)
G03B  21/00        (2006.01)
G06T  19/20        (2011.01)
FI H04N 5/74 Z
H04N 13/04
G03B 21/00 D
G06T 17/40 B
請求項の数または発明の数 6
全頁数 15
出願番号 特願2006-263092 (P2006-263092)
出願日 平成18年9月27日(2006.9.27)
審査請求日 平成21年7月28日(2009.7.28)
特許権者または実用新案権者 【識別番号】304019399
【氏名又は名称】国立大学法人岐阜大学
発明者または考案者 【氏名】木島 竜吾
個別代理人の代理人 【識別番号】100076048、【弁理士】、【氏名又は名称】山本 喜幾
【識別番号】100141645、【弁理士】、【氏名又は名称】山田 健司
審査官 【審査官】伊東 和重
参考文献・文献 特開2000-010194(JP,A)
特開2005-201926(JP,A)
特開2009-216958(JP,A)
調査した分野 H04N 5/74
G03B 21/00
G06T 17/00
H04N 13/00
特許請求の範囲 【請求項1】
対象物の三次元画像(AD)が投影・表示される第1三次元スクリーン(40)と、前記第1三次元スクリーン(40)の位置および姿勢を計測する第1位置姿勢計測手段(42)と、前記第1三次元スクリーン(40)を観察する観察者(V)の視点位置を計測する観察者位置計測手段(60)と、対象物の三次元構造を記憶する記憶手段(22)と、前記第1位置姿勢計測手段(42)に計測される前記第1三次元スクリーン(40)の位置および姿勢並びに観察者位置計測手段(60)に計測される該第1三次元スクリーン(40)を観察する観察者(V)の視点位置の相対関係に基づいて、前記記憶手段(22)に記憶された三次元構造から三次元画像データを生成する第1生成手段(24)と、前記第1生成手段(24)により生成された三次元画像データに基づいた三次元画像(AD)を第1三次元スクリーン(40)に投影する第1投影手段(30)とを備える三次元像表示装置であって、
前記第1三次元スクリーン(40)に表示される三次元画像(AD)における任意の拡大表示部位(P)の三次元部分画像データを生成する第2生成手段(26)と、
前記第2生成手段(26)で生成された三次元部分画像データに基づいた三次元部分画像(PD)を投影する第2投影手段(32)と、
前記第2投影手段(32)により三次元部分画像(PD)が投影・表示される第2三次元スクリーン(50)とを備え、
前記第2三次元スクリーン(50)に表示される三次元部分画像(PD)の表示倍率を、前記第1三次元スクリーン(40)に表示される三次元画像(AD)の表示倍率より大きくした
ことを特徴とする三次元像表示装置。
【請求項2】
前記第2三次元スクリーン(50)は、半球形状である請求項1記載の三次元像表示装置。
【請求項3】
前記第2投影手段(32)は、前記三次元部分画像(PD)を半球形状の前記第2三次元スクリーン(50)の内部に投影する請求項2記載の三次元像表示装置。
【請求項4】
前記第2三次元スクリーン(50)の位置および姿勢を計測する第2位置姿勢計測手段(52)を備え、前記第2生成手段(26)は、該第2位置姿勢計測手段(52)によって計測される該第2三次元スクリーン(50)の位置および姿勢と、前記観察者位置計測手段(60)で計測される観察者(V)の視点位置との相対関係に基づいて三次元部分画像データを生成する請求項1~3の何れか一項に記載の三次元像表示装置。
【請求項5】
前記第2位置姿勢計測手段(52)により計測される第2三次元スクリーン(50)の位置および姿勢の変化をリセットするリセット手段(62)を備え、このリセット手段(62)の作動により、該第2三次元スクリーン(50)に表示される三次元部分画像(PD)の表示姿勢を、前記第1三次元スクリーン(40)に表示される三次元画像(AD)の表示姿勢に一致させるよう、前記第2生成手段(26)が該三次元部分画像(PD)の基となる三次元部分画像データを生成する請求項4記載の三次元像表示装置。
【請求項6】
前記三次元画像(AD)における任意の拡大表示部位(P)を指定する指定具(28)を備え、この指定具(28)により指定した該三次元画像(AD)の任意の拡大表示部位(P)が第2三次元スクリーン(50)に拡大表示されるようにした請求項1~5の何れか一項に記載の三次元像表示装置。
発明の詳細な説明 【技術分野】
【0001】
この発明は、対象物の内部を三次元(立体)的に表示すると共に、該内部の一部分を三次元的に拡大して表示する三次元像表示装置に関するものである。
【背景技術】
【0002】
対象物の形状に対応した形状を有する実物体をスクリーンとして用い、この対象物に関連した情報を実物体スクリーン上に表示することで、実物体(実空間)に仮想物体(三次元像)を挿入するような情報提供手法が知られている。例えば、対象物を人体とし、実物体スクリーンとして人体形状の実物体(人体模型)を用い、この人体模型上に対象物の人体内部のデータである人体内部情報(三次元構造)を表示することで、好適な人体内部情報の提供が可能となる。
【0003】
このような対象物の内部情報の提供をなす三次元像表示装置が、例えば以下の非特許文献1に開示されており、人体の内部(各種臓器および骨格)が、人体の胴体型に成形された実物体スクリーンに表示されるようになっている。ここで、三次元像表示装置とは、予め記憶させた三次元構造から内部を表示したい対象物の三次元画像データを生成し、このデータの基づいた画像を実物体に投影することで、該実物体に対象物の内部構造が埋め込まれたような状態を表示する装置である。また、人体内部情報は、運動視差や両眼視差を利用することで、観察者から三次元的に認識できるように実物体スクリーン上に表示されている。

【非特許文献1】“A Virtual Anatomical Torso for Medical Education using Free From Image Projection” Procs of the Tenth International Conference on VSMM 2004, pp678-685
【発明の開示】
【発明が解決しようとする課題】
【0004】
この三次元像表示装置は、対象物内部の全体構造を把握する点では好適であるが、対象物内部の一部を詳細に観察する場合には、解像度が低く充分な観察に適さないといった問題があった。この問題を解決する手段として、詳細な観察を望む部位を二次元ディスプレイに拡大して表示する方法が考えられる。しかしこの場合、詳細な観察を望む部位が二次元ディスプレイに平面的に表示されるため、対象物の内部構造と二次元ディスプレイとを一体的に関連付けた観察ができなくなってしまう。すなわち、対象物の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る三次元像表示装置を用いる利点が損なわれてしまう。
【0005】
この発明は、前述した従来の技術に内在している前記問題に鑑み、これを好適に解決するべく提案されたものであって、対象物の内部の一部分を三次元的に拡大表示する際に、拡大表示に係る画像と該対象物とを一体的に関連付けた表示を可能とする三次元像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記課題を克服し、所期の目的を達成するため、請求項1に記載の発明に係る三次元像表示装置は、対象物の三次元画像が投影・表示される第1三次元スクリーンと、前記第1三次元スクリーンの位置および姿勢を計測する第1位置姿勢計測手段と、前記第1三次元スクリーンを観察する観察者の視点位置を計測する観察者位置計測手段と、対象物の三次元構造を記憶する記憶手段と、前記第1位置姿勢計測手段に計測される前記第1三次元スクリーンの位置および姿勢並びに観察者位置計測手段に計測される該第1三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から三次元画像データを生成する第1生成手段と、前記第1生成手段により生成された三次元画像データに基づいた三次元画像を投影する第1投影手段とを備える三次元像表示装置であって、
前記第1三次元スクリーンに表示される三次元画像における任意の拡大表示部位の三次元部分画像データを生成する第2生成手段と、
前記第2生成手段で生成された三次元部分画像データに基づいた三次元部分画像を投影する第2投影手段と、
前記第2投影手段により三次元部分画像が投影・表示される第2三次元スクリーンとを備え、
前記第2三次元スクリーンに表示される三次元部分画像の表示倍率を、前記第1三次元スクリーンに表示される三次元画像の表示倍率より大きくしたことを要旨とする。
従って、請求項1に係る発明によれば、対象物の内部の一部分を三次元的に拡大表示した画像と該対象物とを一体的に関連付けた表示が可能となる。また、対象物の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る。
【0007】
請求項2に記載の発明では、前記第2三次元スクリーンは、半球形状であることを要旨とする。
従って、請求項2に係る発明によれば、三次元部分画像の形状に関係なく、第2三次元スクリーンに該三次元部分画像を好適に表示し得る。また、観察者の位置に関係なく好適な表示が可能となる。
【0008】
請求項3に記載の発明では、前記第2投影手段は、前記三次元部分画像を半球形状の前記第2三次元スクリーンの内部に投影することを要旨とする。
従って、請求項3に係る発明によれば、三次元部分画像の形状に関係なく、第2三次元スクリーンに該三次元部分画像を好適に表示し得る。また、観察者の位置に関係なく好適な表示が可能となる。更に、第2投影手段および第2三次元スクリーンを一体的に構成し得るため、三次元像表示装置の構成を簡略化し得る。
【0009】
請求項4に記載の発明では、前記第2三次元スクリーンの位置および姿勢を計測する第2位置姿勢計測手段を備え、前記第2生成手段は、該第2位置姿勢計測手段によって計測される該第2三次元スクリーンの位置および姿勢と、前記観察者位置計測手段で計測される観察者の視点位置との相対関係に基づいて三次元部分画像データを生成することを要旨とする。
従って、請求項4に係る発明によれば、第2三次元スクリーンの位置および姿勢の変化に対応させて第2三次元スクリーンに表示される三次元部分画像を変化させることが可能となり、対象物における任意の拡大表示部位を様々な角度から観察し得るため、観察者の利便性が向上する。
【0010】
請求項5に記載の発明では、前記第2位置姿勢計測手段により計測される第2三次元スクリーンの位置および姿勢の変化をリセットするリセット手段を備え、このリセット手段の作動により、該第2三次元スクリーンに表示される三次元部分画像の表示姿勢を、前記第1三次元スクリーンに表示される三次元画像の表示姿勢に一致させるよう、前記第2生成手段が該三次元部分画像の基となる三次元部分画像データを生成することを要旨とする。
従って、請求項5に係る発明によれば、第2三次元スクリーンの位置および姿勢を変化させて、第1三次元スクリーンに表示される三次元画像の表示姿勢と、該第2三次元スクリーンに表示される三次元部分画像の表示姿勢とが一致しなくなった場合に、迅速に両三次元スクリーンの表示姿勢を一致させ得るため、観察者の利便性が向上する。
【0011】
請求項6に記載の発明では、前記三次元画像における任意の拡大表示部位を指定する指定具を備え、この指定具により指定した該三次元画像の任意の拡大表示部位が第2三次元スクリーンに拡大表示されるようにしたことを要旨とする。
従って、請求項6に係る発明によれば、観察者が詳細に観察したい部位を任意に指定できるため、観察者の利便性が向上する。
【発明の効果】
【0012】
以上に説明した如く、本発明に係る三次元像表示装置によれば、対象物の内部の一部分を三次元的に拡大表示する際に、拡大表示に係る画像と該対象物とを一体的に関連付けた表示が可能となる。
【発明を実施するための最良の形態】
【0013】
次に、本発明に係る三次元像表示装置につき、好適な実施例を挙げて、添付図面を参照して以下説明する。なお実施例では、内部を表示する対象物として人体(胴部)を用い、また人体内にカテーテルを挿入した際の人体内の様子を擬似的に観察するカテーテル挿入シミュレーターを運用する三次元像表示装置を例に挙げて説明する。
【実施例】
【0014】
実施例に係る三次元像表示装置10は、図1に示す如く、装置全体の記憶・演算等をなすコンピュータの如き計算機20と、第1投影手段30と、第2投影手段32と、 第1三次元スクリーン40と、第2三次元スクリーン50とを基本的に備える。前記計算機20は、記憶手段22、第1生成手段24および第2生成手段26を有し、三次元像表示装置10の全体的な制御を行なっている。ここで前記記憶手段22は、対象物としての人体の三次元構造(人体内部情報)と、第1三次元スクリーン40および第2三次元スクリーン50の夫々に係る表面形状データと、カテーテルK(後述)の形状データと、第1投影手段30および第2投影手段32の配置位置とを記憶している。この人体内部情報は、ボクセルデータで構成されており、少なくとも人体内の各種臓器および骨格のデータおよび体内に挿入されるカテーテルKの通過経路(血管)データより構成されている例を示す。なお、カテーテルKの形状データとは、該カテーテルKが通過経路(血管)内に挿入された様子を表示するためカテーテルK全体の形状に係るデータである。
【0015】
また、実施例に係る三次元像表示装置10を使用する観察者Vは、計算機20に接続された観察者位置計測手段60を保持するようにされている。この観察者位置計測手段60は、両三次元スクリーン40,50を観察する観察者Vの視点位置を計測する手段である。実施例では、3D位置センサが用いられ、観察者Vの頭部、特には眼鏡等に装着される。そして、三次元像表示装置10を構成する各要素は、有線または無線で必要とされる信号を伝送可能なように電気的に接続されている。
【0016】
前記第1三次元スクリーン40は、前記第1投影手段30により三次元画像ADが投影・表示されるディスプレイであり、立体的な胴体形状物が使用されている。ここで第1三次元スクリーン40は、この第1三次元スクリーン40の位置および姿勢の変化を計測する第1位置姿勢計測手段42を有しており、実施例では磁気を用いた3D位置姿勢センサが使用されている。この第1位置姿勢計測手段42によって、観察者位置計測手段60で計測される観察者Vの視点位置に対する第1三次元スクリーン40の相対的な位置および姿勢を計算機20が常に把握可能となっている。また、第1三次元スクリーン40において人体の大腿部に対応する位置には、カテーテルKの挿入部40aが設けられている。そして、この挿入部40aの近傍に挿入部40aから挿入されるカテーテルKの長さを計測する指定具としてのカテーテル長計測手段28が備えられている。
【0017】
前記第1生成手段24は、前記記憶手段22に記憶された各種情報と、前記カテーテル長計測手段28に計測されるカテーテルKの長さと、前記第1位置姿勢計測手段42に計測される前記第1三次元スクリーン40の位置および姿勢並びに観察者位置計測手段60に計測される観察者Vの視点位置の相対関係とに基づいて、第1三次元スクリーン40に表示する三次元画像ADの基となる三次元画像データを生成する。ここで、前記第1生成手段24が利用する前記記憶手段22の各種情報とは、人体内部情報、第1投影手段30の配置位置、第1三次元スクリーン40の表面形状データおよびカテーテルKの形状データである。また三次元画像データは、第1三次元スクリーン40の位置・姿勢に対応して表示される人体内の各種臓器および骨格の画像に係る情報である。そして、前記第1三次元スクリーン40に対して、前記第1投影手段30が第1生成手段24により生成された三次元画像データに基づいた三次元画像ADを投影することにより、該第1三次元スクリーン40に三次元画像ADが表示されるように構成される。本実施例では、前記第1投影手段30としてプロジェクタが使用されている。
【0018】
また前記第1生成手段24は、前記第1位置姿勢計測手段42に計測される第1三次元スクリーン40の位置と、観察者位置計測手段60に計測される観察者Vの視点位置と、記憶手段22に記憶されている第1投影手段30の配置位置との相対関係の確定により、以下の非特許文献2に開示されている双対レンダリングによって三次元画像データを生成している。この双対レンダリングによって生成された三次元画像データは、胴体形状物である第1三次元スクリーン40に、観察者Vから歪みのない三次元画像ADとして認識されるように表示される。すなわち、前記第1三次元スクリーン40に人体内部情報を三次元的に表示した画像と人体とを一体的に関連付けた表示を可能とし、人体の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る。
<nplcit num="2"> <text>“人型への投影を用いた医学教育システム”, 日本バーチャルリアリティ学会, 第9回大会論文抄録集, pp.101, 2004, VRSJ</text></nplcit>
【0019】
この第1生成手段24は、第1位置姿勢計測手段42および観察者位置計測手段60で夫々計測される第1三次元スクリーン40および観察者Vの相対的な位置および姿勢に対応して、第1投影手段30によって第1三次元スクリーン40に投影・表示される三次元画像ADの基となる三次元画像データを常に生成するよう構成されている。すなわち、第1位置姿勢計測手段42および観察者位置計測手段60で夫々計測される第1三次元スクリーン40および観察者Vの相対的な位置および姿勢を常に把握することで、第1三次元スクリーン40の位置および姿勢の変化や観察者Vの視線位置の変化に対応した三次元画像データが第1生成手段24によって生成される。
【0020】
ここで、第1三次元スクリーン40の相対的な位置および姿勢に対応する三次元画像データとは、観察者Vが第1三次元スクリーン40に表示される三次元画像ADを観察した際に、該三次元画像ADが第1三次元スクリーン40内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。なお、実施例では第1位置姿勢計測手段42は、第1三次元スクリーン40に取り付けられているが、該第1位置姿勢計測手段42と第1三次元スクリーン40とを分離して、例えば光学的な方法で該第1三次元スクリーン40の位置および姿勢の変化を計測するようにしてもよい。
【0021】
前記第2三次元スクリーン50は、前記第2投影手段32により三次元部分画像PDが投影・表示されるディスプレイである。本実施例では、第2投影手段32に向けて突出した半球状物が使用され、半球状物の外面に第2投影手段32から投影された三次元部分画像PDが表示されるように構成されている。ここで第2三次元スクリーン50の形状は、半球状には限定されるものではない。前記第2三次元スクリーン50の形状を半球状とする場合、三次元部分画像PDの形状に関係なく、第2三次元スクリーン50に該三次元部分画像PDを好適に表示し得る。また第2三次元スクリーン50は、この第2三次元スクリーン50の位置および姿勢を計測する第2位置姿勢計測手段52を有している。実施例では第2位置姿勢計測手段52として、前記第1位置姿勢計測手段42と同様の磁気を用いた3D位置姿勢センサが使用されている。この第2位置姿勢計測手段52によって、観察者位置計測手段60で計測される観察者Vの視点位置と第2三次元スクリーン50との相対的な位置および姿勢の把握が常に可能となっている。
【0022】
前記第2生成手段26は、前記記憶手段22に記憶された各種情報と、前記第2位置姿勢計測手段52に計測される前記第2三次元スクリーン50の位置および姿勢並びに観察者位置計測手段60に計測される観察者Vの視点位置の相対関係と、前記第1三次元スクリーン40に表示される三次元画像ADにおける任意の拡大表示部位Pの情報とに基づいて、第2三次元スクリーン50に表示する三次元部分画像PDの基となる三次元部分画像データを生成する。ここで、前記第2生成手段26が利用する前記記憶手段22の各種情報とは、人体内部情報、第2投影手段32の配置位置、第2三次元スクリーン50の表面形状データおよびカテーテルKの形状データである。また三次元部分画像データは、前記第1三次元スクリーン40に表示される三次元画像ADの任意の拡大表示部位Pを拡大表示する三次元部分画像PDの基となる情報である。
【0023】
ここで三次元部分画像PDの拡大倍率は、第2三次元スクリーン50で詳細に表示する三次元部分画像PDに求められる解像度に応じて任意に決定される。本実施例においては、第1三次元スクリーン40内に挿入されるカテーテルKの先端位置が任意の拡大表示部位Pとされている。すなわち、任意の拡大表示部位Pは、第1三次元スクリーン40に設けられる挿入部40aから挿入されるカテーテルKの長さを計測する指定具としてのカテーテル長計測手段28によって決定される。すなわち、挿入部40aに挿入されたカテーテルKの先端位置における三次元画像データに基づいて三次元部分画像データが生成される。
【0024】
また前記第2生成手段26は、前記第2位置姿勢計測手段52に計測される第2三次元スクリーン50と、観察者位置計測手段60に計測される観察者Vの視点位置と、記憶手段22に記憶されている第2投影手段32の配置位置との相対関係の確定により、前記第1生成手段24と同様に双対レンダリングによって三次元部分画像データを生成している。この三次元部分画像データは、半球状物である第2三次元スクリーン50に、観察者Vから歪みのない三次元部分画像PDとして認識されるように表示される。
【0025】
更に前記第2生成手段26は、前記第2位置姿勢計測手段52により計測される第2三次元スクリーン50の位置および姿勢の変化をリセットするリセット手段62を備えている。このリセット手段62は、第2位置姿勢計測手段52で計測される第2三次元スクリーン50の位置および姿勢が入力され、該第2三次元スクリーン50の位置および姿勢が一定の条件(後述)を満たしたことを検出した場合に作動する。そしてリセット手段62が作動すると、第2位置姿勢計測手段52が計測する位置または姿勢に拘わらず第2三次元スクリーン50に表示される三次元部分画像PDの表示姿勢を、第1三次元スクリーン40に表示される三次元画像ADの表示姿勢に一致させるよう、第2生成手段26が該三次元部分画像PDの基となる三次元部分画像データを生成する。そして、前記第2三次元スクリーン50に対して、前記第2投影手段32が第2生成手段26により生成された三次元部分画像データに基づいた三次元部分画像PDを投影することにより、該第2三次元スクリーン50に三次元部分画像PDが表示されるように構成される。本実施例では前記第2投影手段32として、プロジェクタが使用されている。
【0026】
この第2生成手段26は、第2位置姿勢計測手段52および観察者位置計測手段60で夫々計測される第2三次元スクリーン50および観察者Vの相対的な位置および姿勢に対応して、第2投影手段32によって第2三次元スクリーン50に投影・表示される三次元部分画像PDの基となる三次元部分画像データを常に生成するよう構成されている。すなわち、第2位置姿勢計測手段52および観察者位置計測手段60で夫々計測される第2三次元スクリーン50および観察者Vの相対的な位置および姿勢を常に把握することで、第2三次元スクリーン50の位置および姿勢の変化や観察者Vの視線位置の変化に対応した三次元画像データが第2生成手段26によって生成される。
【0027】
ここで、第2三次元スクリーン50の相対的な位置および姿勢に対応する三次元部分画像データとは、観察者Vが第2三次元スクリーン50に表示される三次元部分画像PDを観察した際に、該三次元部分画像PDが第2三次元スクリーン50内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。なお、実施例では第2位置姿勢計測手段52は、第2三次元スクリーン50に取り付けられているが、該第2位置姿勢計測手段52と第2三次元スクリーン50とを分離して、例えば光学的な方法で該第2三次元スクリーン50の位置・姿勢の変化を計測するようにしてもよい。
【0028】
なお、第1三次元スクリーン40および第2三次元スクリーン50の表面については、夫々第1投影手段30および第2投影手段32から夫々投影される三次元画像ADおよび三次元部分画像PDを表示した際に、表示内容に影響しないよう例えば明色無地とすることが好ましい。
【0029】
〔実施例の作用〕
次に、実施例に係る三次元像表示装置10の作用について説明する。ここで、第1三次元スクリーン40および第2三次元スクリーン50は、夫々第1投影手段30および第2投影手段32の投影範囲に配置され、また観察者Vは観察者位置計測手段60を保持した状態で、該第1三次元スクリーン40および第2三次元スクリーン50を観察できる位置にいるものとする。また、三次元像表示装置10の作動開始後、第2位置姿勢計測手段52が第2三次元スクリーン50の位置または姿勢の変化を計測するまでは、前記第2三次元スクリーン50に表示される三次元部分画像PDの表示姿勢は、図2に示す如く、第1三次元スクリーン40に表示される三次元画像ADの表示姿勢と一致した状態となっている。
【0030】
そして前記記憶手段22には、ボクセルデータで構成された対象物である人体についての人体内部情報と、第1三次元スクリーン40および第2三次元スクリーン50の表面形状データと、カテーテルKの形状データと、第1投影手段30および第2投影手段32の配置位置等の情報が予め入力されているものとする。前記カテーテル長計測手段28については、カテーテルKが第1三次元スクリーン40の挿入部40aには挿入されておらず、該カテーテルKの先端位置を決定するカテーテルKの第1三次元スクリーン40への挿入長さがゼロとなるように、すなわち第2三次元スクリーン50に表示される任意の拡大表示部位Pが挿入部40aの形成位置と一致するようにされている。
【0031】
前記三次元像表示装置10の作動は、図3に示す如く、基本的に三次元画像データに関係する三次元画像データ生成段階S1および三次元画像表示段階S2と、三次元部分画像データに関係する三次元部分画像データ生成段階S3、三次元部分画像表示段階S4およびリセット手段作動確認段階S5とからなる。そして、これら三次元画像データ生成段階S1および三次元画像表示段階S2と、三次元部分画像データ生成段階S3、三次元部分画像表示段階S4およびリセット手段作動確認段階S5とは、夫々繰り返し実施されている。
【0032】
三次元像表示装置10では、前記三次元画像データ生成段階S1において、図4に示すようにデータが処理される。すなわち、前記記憶手段22に記憶された各種情報を基本とし、更に第1位置姿勢計測手段42、観察者位置計測手段60およびカテーテル長計測手段28からの夫々の情報を加えて、第1生成手段24が、第1三次元スクリーン40に表示すべき三次元画像ADの基となる三次元画像データを生成する。ここで、前記三次元画像データ生成段階S1において用いられる記憶手段22に記憶された各種情報とは、人体内部情報、第1投影手段30の配置位置、第1三次元スクリーン40の表面形状データおよびカテーテルKの形状データである。
【0033】
このように前記第1生成手段24で生成された三次元画像データは、三次元画像表示段階S2の実行によって第1投影手段30に送られ、この三次元画像データに基づいた三次元画像ADが第1三次元スクリーン40に向けて投影される。これにより第1三次元スクリーン40に、三次元画像ADが投影・表示される。そして、第1位置姿勢計測手段42で計測される第1三次元スクリーン40の位置および姿勢や、観察者位置計測手段60で計測される観察者Vの視線位置や、カテーテル長計測手段28で計測されるカテーテルKの先端位置が変化すれば、これに伴って第1三次元スクリーン40に投影・表示される三次元画像ADが変化して、常に観察者Vが観察したい三次元画像ADが提供される。
【0034】
また、前記第1生成手段24で生成された三次元画像データと、カテーテル長計測手段28で計測されるカテーテルKの先端位置に基づいた任意の拡大表示部位Pのデータとは、第2投影手段32で第2三次元スクリーン50に投影・表示される三次元部分画像PDの基となる三次元部分画像データの生成にも使用されている。このため、第1三次元スクリーン40の位置および姿勢や、観察者Vの視線位置や、カテーテルKの先端位置の変化に対応して三次元画像ADが変化すれば、この三次元画像ADの変化に対応した三次元部分画像PDが第2三次元スクリーン50に表示されることになる。
【0035】
前記三次元部分画像データ生成段階S3において三次元像表示装置10は、前記記憶手段22に記憶された各種情報と、前記三次元画像データ生成段階S1で得られた任意の拡大表示部位Pにおける三次元画像データとを基本とし、更に第2位置姿勢計測手段52からの情報を加えることで、第2生成手段26によって第2三次元スクリーン50に表示すべき三次元部分画像PDの基となる三次元部分画像データを生成している(図4参照)。ここで、前記三次元部分画像データ生成段階S3において用いられる記憶手段22に記憶された各種情報とは、人体内部情報、第2投影手段32の配置位置、第2三次元スクリーン50の表面形状データおよびカテーテルKの形状データである。
【0036】
このように前記第2生成手段26で生成された三次元部分画像データは、三次元部分画像表示段階S4の実行によって第2投影手段32に送られ、この三次元部分画像データに基づいた三次元部分画像PDが半球状の第2三次元スクリーン50に向けて投影される。これにより第2三次元スクリーン50には、三次元部分画像PDが投影・表示された状態となる。そして、第2位置姿勢計測手段52で計測される第2三次元スクリーン50の位置および姿勢が単独で変化すれば、第1三次元スクリーン40に表示される三次元画像ADに表示姿勢に拘わらず、これに伴って第2三次元スクリーン50に投影・表示される三次元部分画像PDが変化する。すなわち、前記第2三次元スクリーン50に、常に観察者Vが観察したい拡大表示部位Pについての三次元部分画像PDが提供され、様々な角度からの観察も可能となる。
【0037】
また、前記第2三次元スクリーン50の形状が半球状であるため、三次元部分画像PDの形状に関係なく、第2三次元スクリーン50に該三次元部分画像PDを好適に表示し得る。そして、カテーテル長計測手段28によって観察者Vが詳細に観察したい任意の拡大表示部位Pを好適に指定できるため、観察者の利便性が向上する。
【0038】
前記リセット手段作動確認段階S5は、第2三次元スクリーン50の位置および姿勢を計測する第2位置姿勢計測手段52を用いて、該第2三次元スクリーン50の位置および姿勢が一定の条件を満たしているかを確認する段階である。実施例における条件は、前記第2三次元スクリーン50が最初に配置された高さ位置で水平状態となることで満たされる。そして、第2位置姿勢計測手段52で計測される第2三次元スクリーン50の位置および姿勢が、前述した条件を満たしている場合には、第2位置姿勢計測手段52による第2三次元スクリーン50の位置および姿勢の計測についての情報がリセットされる。すなわち、リセット手段62が作動するまでの第2三次元スクリーン50の位置または姿勢に拘わらず、該第2三次元スクリーン50の表示姿勢が、第1三次元スクリーン40の表示姿勢と一致するよう、第2生成手段26が三次元部分画像データを生成する。一方、第2位置姿勢計測手段52で計測される第2三次元スクリーン50の位置または姿勢が、前述した条件を満たしていない場合には、第2位置姿勢計測手段52による第2三次元スクリーン50の位置および姿勢の計測についての情報はリセットされず、図3のフローに従ってそのまま三次元部分画像データ生成段階S3に戻る。すなわち、前記第2三次元スクリーン50の位置および姿勢に応じた三次元部分画像PDが、該第2三次元スクリーン50に表示される。なお、ここでは前記リセット手段62が作動する条件を、「第2三次元スクリーン50が最初に配置された高さ位置で水平状態になっていること」としているが、本発明は特にこれに限定されず、観察者Vの三次元像表示装置10の使用形態等に合わせて、適宜設定すればよい。
【0039】
基本的に、前述した三次元画像データ生成段階S1および三次元画像表示段階S2と、三次元部分画像データ生成段階S3、三次元部分画像表示段階S4およびリセット手段作動確認段階S5とが夫々繰り返し実施されることで、三次元画像データに基づいた三次元画像ADが第1三次元スクリーン40に表示され、三次元部分画像データに基づいた三次元部分画像PDが第2三次元スクリーン50に表示されている。この状態から、(a)観察者Vの視点位置が変化した場合、(b)第1三次元スクリーン40の位置・姿勢が変化した場合、(c)第1三次元スクリーン40に挿入されたカテーテルKの長さが変化した場合、(d)第2三次元スクリーン50の位置・姿勢が変化した場合、を分けて説明する。しかし、これら(a)~(d)の作用は、夫々の変化が複合的に発生した場合には、(a)~(d)の作用は同時複合的に発生し、その都度、適切な三次元画像データおよび三次元部分画像データが生成される。
【0040】
〔a.観察者Vの視点位置が変化した場合〕
観察者Vの視点位置の変化は、観察者位置計測手段60によって検出される。この観察者Vの視点位置の変化は、観察者位置計測手段60から第1生成手段24に入力される。そして、変化した観察者Vの視点と第1三次元スクリーン40との位置関係から、この新しい位置関係に対応した三次元画像データが第1生成手段24で生成され、該三次元画像データに基づいた三次元画像ADが第1三次元スクリーン40に投影・表示される。すなわち、この観察者位置計測手段60および第1生成手段24の働きにより、前記第1三次元スクリーン40に現実に形成されている人体の内部構造のように認識される三次元画像ADは、観察者Vの視点位置の変化した場合であってもこれに対応して変化する。
【0041】
このとき、この新しい観察者Vの視線位置に対応した三次元画像データは第2生成手段26に送られる。これにより第2生成手段26は、新しい観察者Vの視線位置に対応した三次元部分画像データを生成し、該三次元部分画像データに基づいた三次元部分画像PDが第2三次元スクリーン50に投影・表示される。すなわち、観察者位置計測手段60および第1生成手段24と、第2生成手段26との働きにより、前記第2三次元スクリーン50で、任意の拡大表示部位Pに係る三次元画像ADを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像PDは、観察者Vの視点位置の変化した場合であってもこれに対応して変化する。
【0042】
〔b.第1三次元スクリーン40の位置・姿勢が変化した場合〕
第1三次元スクリーン40の位置・姿勢の変化は、第1位置姿勢計測手段42によって検出される。この第1三次元スクリーン40の位置・姿勢の変化は、第1位置姿勢計測手段42から第1生成手段24に入力される。そして、変化後の第1三次元スクリーン40の位置・姿勢に対応した三次元画像データが第1生成手段24で生成され、該三次元画像データに基づいた三次元画像ADが第1三次元スクリーン40に投影・表示される。すなわち、この第1位置姿勢計測手段42および第1生成手段24の働きにより、前記第1三次元スクリーン40に現実に形成されている人体の内部構造のように認識される三次元画像ADは、観察者Vが第1三次元スクリーン40を横にずらしたり、裏返す等の姿勢を変化させた場合であってもこれに対応して変化する。
【0043】
このとき、この新しい第1三次元スクリーン40の位置・姿勢に対応した三次元画像データは第2生成手段26に送られる。これにより第2生成手段26は、新しい第1三次元スクリーン40の位置・姿勢に対応した三次元部分画像データを生成し、該三次元部分画像データに基づいた三次元部分画像PDが第2三次元スクリーン50に投影・表示される。すなわち、第1位置姿勢計測手段42および第1生成手段24と、第2生成手段26との働きにより、前記第2三次元スクリーン50で、任意の拡大表示部位Pに係る三次元画像ADを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像PDは、観察者Vが第1三次元スクリーン40を横にずらしたり、裏返す等の姿勢を変化させた場合であってもこれに対応して変化する。
【0044】
〔c.第1三次元スクリーン40に挿入されたカテーテルKの長さが変化した場合〕
第1三次元スクリーン40の挿入部40aから挿入されたカテーテルKの長さの変化は、カテーテル長計測手段28によって検出される。このカテーテルKの長さの変化は、カテーテル長計測手段28から第1生成手段24に入力される。そして、カテーテルKの長さの変化から算出したカテーテルKの先端位置から、変化後のカテーテルKの先端位置に対応した三次元画像データが第1生成手段24で生成され、該三次元画像データに基づいた三次元画像ADが第1三次元スクリーン40に投影・表示される。すなわち、このカテーテル長計測手段28および第1生成手段24の働きにより、観察者Vは常にカテーテルKの先端位置を、三次元画像データに基づいた三次元画像AD内に把握し得る。
【0045】
このとき、この新しいカテーテルKの先端位置に対応した拡大表示部位Pに係る三次元画像データは第2生成手段26に送られる。これにより第2生成手段26は、新しいカテーテルKの先端位置に対応した三次元部分画像データを生成し、該三次元部分画像データに基づいた三次元部分画像PDが第2三次元スクリーン50に投影・表示される。すなわち、カテーテル長計測手段28および第1生成手段24と、第2生成手段26との働きにより、前記第2三次元スクリーン50で、任意の拡大表示部位Pに係る三次元画像ADを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像PDは、カテーテルKの先端位置を変化させた場合であってもこれに対応して変化する。
【0046】
〔d.第2三次元スクリーン50の位置・姿勢が変化した場合〕
第2三次元スクリーン50の位置・姿勢の変化は、第2位置姿勢計測手段52によって検出される。この第2三次元スクリーン50の位置・姿勢の変化は、第2位置姿勢計測手段52から第2生成手段26に入力される。そして、変化後の第2三次元スクリーン50の位置・姿勢に対応した三次元部分画像データが第2生成手段26で生成され、該三次元部分画像データに基づいた三次元部分画像PDが第2三次元スクリーン50に投影・表示される。すなわち、この第2位置姿勢計測手段52およびこの第2生成手段26の働きにより、前記第2三次元スクリーン50で、任意の拡大表示部位Pに係る三次元画像ADを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像PDは、観察者Vが第1三次元スクリーン40を横にずらしたり、裏返す等の姿勢を変化させた場合であってもこれに対応して変化する。
【0047】
このようにして、第1三次元スクリーン40および第2三次元スクリーン50の位置・姿勢が観察者Vに対して変化した場合、両三次元スクリーン40,50の位置・姿勢の変化に応じた三次元画像データや三次元部分画像データが第1生成手段24や第2生成手段26で即座に生成される。そして、第1生成手段24および第2生成手段26で夫々生成された三次元画像データおよび三次元部分画像データに基づいた三次元画像ADまたは三次元部分画像PDが、第1三次元スクリーン40または第2三次元スクリーン50に表示される。すなわち、人体の内部の一部分を三次元的に拡大表示した画像と、該人体とを一体的に関連付けた表示が可能となり、人体の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る。
【0048】
ここで(d)に前述した如く、第2三次元スクリーン50の位置・姿勢だけが変化した場合には、該第2三次元スクリーン50に表示される三次元部分画像PDは、該第2三次元スクリーン50の位置・姿勢の変化に対応して変化する。このとき三次元部分画像PDの表示姿勢は、最初に配置された際の第1三次元スクリーン40に表示される三次元画像ADの表示姿勢と一致しなくなり、該三次元画像ADの表示姿勢とは別の表示姿勢となって関連が失われる。すなわち、前記三次元画像ADの表示姿勢とは異なる表示姿勢の三次元部分画像PDを、分離して観察できるようになる。このため、前記三次元画像ADにおいて詳細に観察したい拡大表示部位Pを拡大して表示している三次元部分画像PDだけを、様々な方向から観察可能となり、観察者Vの利便性を大きく向上し得る。
【0049】
このように、前記第2三次元スクリーン50の位置または姿勢を単独で変化させ、第1三次元スクリーン40に表示される三次元画像ADと第2三次元スクリーン50に表示される三次元部分画像PDとの表示姿勢の関連がいったん失われた場合、該三次元画像ADと三次元部分画像PDとの表示姿勢を一致させるように、該第2三次元スクリーン50の位置または姿勢を変化させるよう操作するには困難が伴う。そこで実施例においては、リセット手段62を用いたリセット手段作動確認段階S5によって、観察者Vが第2三次元スクリーン50が最初に配置された高さ位置で水平状態にすることで、必要に応じて該第2三次元スクリーン50に表示される三次元部分画像PDの表示姿勢と三次元画像ADの表示姿勢とを一致させ得るようになっている。この三次元部分画像PDの表示姿勢と三次元画像ADの表示姿勢との一致によって、第2三次元スクリーン50に表示される三次元部分画像PDと、人体の各種臓器等との一体的な関連付けは回復する。すなわち、迅速に両三次元スクリーン40,50の表示姿勢を一致させ得るため、観察者の利便性が向上する。
【0050】
〔変更例について〕
実施例では、指定具としてカテーテル長計測手段28を採用し、常にカテーテルKの先端部分が任意の拡大表示部位Pとして指定され、該拡大表示部位Pが第2三次元スクリーン50に拡大表示されるように構成されているが、本発明はこれに限定されない。例えば、図5に示す如く、位置および姿勢を計測する計測手段を備えるレーザーポインタの如き器具を指定具として採用してもよい。この場合、レーザーポインタの位置および姿勢を計測する計測手段からの情報と、第2三次元スクリーン50に備えられる第2位置姿勢計測手段52からの情報とを統合することで、算出される三次元画像AD上において該レーザーポインタが発するレーザー光線のポイントする部位が拡大表示部位Pとして指定される。すなわち、観察者Vが詳細に観察したい任意の拡大表示部位Pを任意に指定できるため、該観察者Vの利便性を向上させ得る。また、本実施例においても、カテーテル長計測手段28の使用と併せてこのような別の指定具を採用し、観察者Vが適宜使い分けるようにしてもよい。
【0051】
また実施例では、リセット手段62は第2生成手段26に設けられて、第2三次元スクリーン50の位置および姿勢が一定条件を満たした場合に、前記第2位置姿勢計測手段52により計測される第2三次元スクリーン50の位置および姿勢の変化をリセットしている。しかし、本発明はこれに限定されるものではなく、観察者Vの操作や、音声入力等によって反応するボタン式や音声反応式のリセット手段62を採用してもよい。すなわち、第2三次元スクリーン50の位置および姿勢を変化させて、第1三次元スクリーン40に表示される三次元画像ADの表示姿勢と、該第2三次元スクリーン50に表示される三次元部分画像PDの表示姿勢とが一致しなくなった場合に、該第2三次元スクリーン50の位置・姿勢を変化させなくても、迅速に両三次元スクリーン40,50の表示姿勢を一致させ得るため、観察者Vの利便性が向上する。
【0052】
更に実施例では、両位置姿勢計測手段42,52および観察者位置計測手段60が、対応する両スクリーン40,50および観察者Vの位置等に変化がない場合でも、逐次並列的に三次元画像データ生成段階S1および三次元画像表示段階S2と、三次元部分画像データ生成段階S3、三次元部分画像表示段階S4およびリセット手段作動確認段階S5とを繰り返すようになっている。しかし、本発明はこれに限定されるものではなく、図6に示す如く、三次元画像表示段階S2の処理後に実施する三次元画像生成判別段階S6を、リセット手段作動確認段階S5の処理後に実施する三次元部分画像生成判別段階S7を夫々設けてもよい。
【0053】
すなわち、第1生成手段24における三次元画像データの生成に関しては、三次元画像生成判別段階S6において第1位置姿勢計測手段42、観察者位置計測手段60またはカテーテル長計測手段28が夫々計測している第1三次元スクリーン40の位置および姿勢、観察者Vの視点位置またはカテーテル先端位置を表す任意の拡大表示部位Pの位置の変化を検出した場合には、三次元画像データ生成段階S1に戻り、変化が検出されない場合には三次元画像表示段階S2に戻ることになる。また、第2生成手段26における三次元部分画像データの生成に関しては、三次元部分画像生成判別段階S7において第2位置姿勢計測手段52が第2三次元スクリーン50の位置または姿勢の変化を検出した場合には、三次元部分画像データ生成段階S3に戻り、変化が検出されない場合には三次元部分画像表示段階S4に戻ることになる。このようなフローを利用することで、前記第1生成手段24および第2生成手段26をなす計算機20の負荷を軽減し得る効果を奏する。
【0054】
また前述の指定具28またはリセット手段62や、その他の操作器具に、第2三次元スクリーン50に表示する三次元部分画像PDの、三次元画像ADに対する拡大倍率の変更機能を持たせるようにしてもよい。この場合、観察者Vの詳細に観察したい任意の拡大表示部位Pを、必要に応じて好適な大きさで観察し得る。
【0055】
更に実施例では、第2三次元スクリーン50の形状は半球状とされ、半球状物の外部に第2投影手段32から投影された三次元部分画像PDが表示されている。しかし、本発明はこれに限定されず、図7に示す三次元像表示装置70のように、第2三次元スクリーン50を中空の半球状物とし、この内部に向けて第2投影手段32から三次元部分画像PDを投影するように一体的に構成した三次元部分画像表示手段72を用いてもよい。この場合、第2投影手段および第2三次元スクリーンを一体的に構成し得るため、三次元像表示装置の構成を簡略化し得る。
【0056】
なおこの場合、観察者Vは、前記第2三次元スクリーン50の内部に投影される三次元部分画像PDを、該第2三次元スクリーン50を構成する壁面を介して外部から観察することになる。このため、前記第2三次元スクリーン50については、第2投影手段32が第2三次元スクリーン50の内部へ三次元部分画像PDを投影した際に、該第2三次元スクリーン50の外部への表示内容に影響しないよう例えば色を明色無地として、壁面を三次元部分画像PDが充分透過するよう構成することが好ましい。
【0057】
この他、実施例では内部を表示する対象物として人体を用いた例を挙げているが、本発明はこれに限定されるものではない。多数の構成要素が三次元的に組み合わさり、分解等しなければ外部からの内部構造の把握が困難であって、分解が困難なもの、例えばエンジンや、三次元的に構成された基板等を対象物としてもよい。
【図面の簡単な説明】
【0058】
【図1】本発明の好適な実施例に係る三次元像表示装置を示す概略図である。
【図2】第1三次元スクリーンに表示される三次元画像の表示姿勢と、第2三次元スクリーンに表示される三次元部分画像の表示姿勢とが一致した状態を示す概略図である。
【図3】実施例に係る三次元像表示装置の作動内容を示すフロー図である。
【図4】図3に示す三次元像表示装置が三次元画像データ生成段階S1、三次元画像表示段階S2、三次元部分画像データ生成段階S3および三次元部分画像表示段階S4の各段階におけるデータの流れを示す図である。
【図5】変更例に係る三次元像表示装置を示す概略図である。
【図6】更に別の変更例に係る三次元像表示装置の作動内容を示すフロー図である。
【図7】更に別の変更例に係る三次元像表示装置を示す概略図である。
【符号の説明】
【0059】
22 記憶手段、24 第1生成手段、26 第2生成手段、28 指定具
30 第1投影手段、32 第2投影手段、40 第1三次元スクリーン
42 第1位置姿勢計測手段、50 第2三次元スクリーン
60 観察者位置計測手段、62 リセット手段
AD 三次元画像、P 拡大表示部位、PD 三次元部分画像、V 観察者
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6