TOP > 国内特許検索 > 画像処理装置、画像処理方法、およびプログラム > 明細書

明細書 :画像処理装置、画像処理方法、およびプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5808004号 (P5808004)
公開番号 特開2013-045284 (P2013-045284A)
登録日 平成27年9月18日(2015.9.18)
発行日 平成27年11月10日(2015.11.10)
公開日 平成25年3月4日(2013.3.4)
発明の名称または考案の名称 画像処理装置、画像処理方法、およびプログラム
国際特許分類 G06T   1/00        (2006.01)
G06T  15/08        (2011.01)
FI G06T 1/00 290B
G06T 15/08
請求項の数または発明の数 9
全頁数 28
出願番号 特願2011-182615 (P2011-182615)
出願日 平成23年8月24日(2011.8.24)
審査請求日 平成26年6月2日(2014.6.2)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】中尾 恵
【氏名】湊 小太郎
個別代理人の代理人 【識別番号】100115749、【弁理士】、【氏名又は名称】谷川 英和
審査官 【審査官】真木 健彦
参考文献・文献 特開2006-320427(JP,A)
特開2002-263053(JP,A)
特開平09-253038(JP,A)
特開2008-220802(JP,A)
特開2006-061274(JP,A)
特開2000-051202(JP,A)
特開2002-238887(JP,A)
穴吹まほろ,屋外装着型複合現実感システムの開発と応用,日本バーチャルリアリティ学会第6回大会論文集,日本,日本バーチャルリアリティ学会,2001年 9月19日,P.277-280
調査した分野 G06T 1/00
G06T 19/00
G06T 15/08
A61B 6/00 - 6/03
特許請求の範囲 【請求項1】
1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部とを具備する画像処理装置。
【請求項2】
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、
前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、
前記深さ情報取得部が平面上の位置情報ごとに取得した2以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、
前記深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、前記深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である請求項1記載の画像処理装置。
【請求項3】
前記深さ情報付き二次元画像処理部は、
前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する請求項1または請求項2記載の画像処理装置。
【請求項4】
前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する請求項1から請求項3いずれか記載の画像処理装置。
【請求項5】
出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示を受け付ける受付部と、
前記指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、
前記三次元画像処理部は、
前記指示ボクセル情報決定部が決定した2以上のボクセル情報、または当該2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する請求項4記載の画像処理装置。
【請求項6】
前記三次元画像は、
1以上の3次元の物体のボリュームテクスチャである3Dボクセル情報である請求項1から請求項5いずれか記載の画像処理装置。
【請求項7】
前記三次元画像は、
1以上の三次元の物体のボリュームテクスチャである3Dボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群からなる請求項1から請求項5いずれか記載の画像処理装置。
【請求項8】
記憶媒体に、
1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
深さ情報付き二次元画像処理部、拡張像生成部、および出力部により実現され得る画像処理方法であって、
前記深さ情報付き二次元画像処理部が、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理ステップと、
前記拡張像生成部が、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成ステップと、
前記出力部が、前記拡張像を出力する出力ステップとを具備する画像処理方法。
【請求項9】
記憶媒体に、
1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
前記記憶媒体を具備したコンピュータを、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部として機能させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、二次元画像と三次元画像とを重ね合わせる画像処理装置等に関するものである。
【背景技術】
【0002】
従来、内視鏡による二次元画像を用いて、外科手術、診断、または医師の手術教育がなされていた。
【0003】
また、三次元物体の変形を、色情報を伴ってリアルタイムでシミュレートできる情報処理装置があった(例えば、特許文献1参照)。
【先行技術文献】
【0004】

【特許文献1】特許第4337987号公報(第1頁、第1図等)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の装置においては、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができなかった。そのため、例えば、医師が執刀する際に必要な支援情報の提示が困難であった。
【課題を解決するための手段】
【0006】
本第一の発明の画像処理装置は、1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、1以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像または三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置である。
【0007】
かかる構成により、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
【0008】
また、本第二の発明の画像処理装置は、第一の発明に対して、1以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、深さ情報取得部が平面上の位置情報ごとに取得した2以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である画像処理装置である。
【0009】
かかる構成により、深さ情報を有する二次元画像である深さ情報付き二次元画像を自動的に取得できる。
【0010】
また、本第三の発明の画像処理装置は、第一または第二の発明に対して、深さ情報付き二次元画像処理部は、深さ情報付き二次元画像が有する複数のピクセル情報に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する画像処理装置である。
【0011】
かかる構成により、重ね合わせる二次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
【0012】
また、本第四の発明の画像処理装置は、第一から第三いずれかの発明に対して、三次元画像が有する複数のボクセル情報に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する画像処理装置である。
【0013】
かかる構成により、重ね合わせる三次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
【0014】
また、本第五の発明の画像処理装置は、第四の発明に対して、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示を受け付ける受付部と、指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、三次元画像処理部は、指示ボクセル情報決定部が決定した2以上のボクセル情報、または2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する画像処理装置である。
【0015】
かかる構成により、指示した物体を効果的に表示し得る適切な画像を得ることができる。
【発明の効果】
【0016】
本発明による画像処理装置によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
【図面の簡単な説明】
【0017】
【図1】実施の形態1における画像処理装置のブロック図
【図2】同画像処理装置の動作について説明するフローチャート
【図3】同深さ情報取得処理の動作について説明するフローチャート
【図4】同拡張像生成処理の動作について説明するフローチャート
【図5】同深さ情報付き二次元画像処理の動作について説明するフローチャート
【図6】同三次元画像処理の動作について説明するフローチャート
【図7】同三次元画像処理の動作について説明するフローチャート
【図8】同指示ボクセル情報決定処理の動作について説明するフローチャート
【図9】同連続ボクセル情報取得処理の動作について説明するフローチャート
【図10】同二次元画像を示す図
【図11】同三次元画像を示す図
【図12】同生成した拡張像を示す図
【図13】同生成した拡張像を示す図
【図14】同連続領域指示を説明する図
【図15】同処理後三次元画像を示す図
【図16】同内視鏡で人間の体内を撮影した二次元画像を示す図
【図17】同人間の体内の三次元画像を示す図
【図18】同人間の体内の拡張像を示す図
【図19】同画像処理装置の他のブロック図
【図20】同コンピュータシステムの概観図
【図21】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0018】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

【0019】
(実施の形態1)
本実施の形態において、深さ情報を用いて、二次元の画像を画像処理し、画像処理した二次元の画像と三次元画像等とを重ね合わせる画像処理装置について説明する。

【0020】
図1は、本実施の形態における画像処理装置1のブロック図である。画像処理装置1は、二次元画像格納部101、三次元画像格納部102、深さ情報付き二次元画像格納部103、受付部104、深さ情報取得部105、深さ情報付き二次元画像取得部106、深さ情報付き二次元画像蓄積部107、深さ情報付き二次元画像処理部108、指示ボクセル情報決定部109、三次元画像処理部110、拡張像生成部111、および出力部112を具備する。

【0021】
二次元画像格納部101は、複数のピクセル情報から構成される二次元画像を格納し得る。ピクセル情報は、位置を示す情報である位置情報と色についての情報である色情報とを有する点の情報である。また、ここでの位置情報は、平面上での位置情報(例えば、(x,y))である。また、ピクセル情報は、位置情報と色情報と不透明度を示す不透明度情報(α値,ブレンディングパラメータとも言う。)を有しても良い。なお、不透明度情報は、透明度を示す透明度情報と捉えても良い。また、二次元画像は、1以上の三次元の物体を撮影した画像であり、後述する三次元画像と位置合わせがされている画像である。なお、「二次元画像と三次元画像とが位置合わせをされている」とは、カメラによって撮影された二次元画像と、CT等で撮影された三次元画像をレンダリングすることで生成される投影像とが位置合わせがされていることである。また、二次元画像は、1以上の三次元の物体を撮影した画像である。また、投影像は当該物体の三次元画像をレンダリングすることで生成される。そして、二次元画像に位置合わせされた投影像は、例えば、カメラの位置、アングル、視野角等のカメラパラメータを、三次元の物体を撮影する際のカメラの状態と同一に設定してレンダリングすることで生成される。

【0022】
二次元画像格納部101は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。二次元画像格納部101に二次元画像が記憶される過程は問わない。例えば、記録媒体を介して二次元画像が二次元画像格納部101で記憶されるようになってもよく、通信回線等を介して送信された二次元画像が二次元画像格納部101で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された二次元画像が二次元画像格納部101で記憶されるようになってもよい。

【0023】
三次元画像格納部102は、複数のボクセル情報から構成される三次元画像を格納し得る。ボクセル情報は、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である。また、三次元画像は、1以上の三次元の物体の画像データである。

【0024】
また、三次元画像は、例えば、1以上の3次元の物体のボリュームテクスチャである3Dボクセル情報である。3Dボクセル情報は、例えば、(x,y,z,col)で構成される点の情報である。(x,y,z,col)の(x,y,z)は、座標情報である。「col」は、色情報である。3Dボクセル情報は、例えば、(x,y,z,col,α値)で構成される点の情報であっても良い。3Dボクセル情報は、ここでは、点の間隔がなく、詰まっている点の情報でることが好適であるが、離散的な点の情報でも良い。3Dボクセル情報は、例えば、CTやMRIやPETなどの医用機器により取得される二次元画像の集合である。3Dボクセル情報は、例えば、CTやMRIなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。また、(x,y,z)の「z」は、深さ情報でも良い。なお、位置情報が(x,y)である場合、深さ情報(d)を含めた(x,y,d)が三次元空間内の位置を示す。

【0025】
また、三次元画像は、1以上の三次元の物体のボリュームテクスチャである3Dボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群であっても良い。
スライス情報群は、3Dボクセル情報から、視線(視線ベクトル)に対して垂直で、かつ間隔を一定にして切り出された複数のスライス情報である。視線とは、例えば、スライス情報群を出力するディスプレイに対して垂直な線(当該ディスプレイを見る者の視線)である。スライス情報は、平面を構成する点の情報の集合であり、点間の間隔がなく、詰まっている。

【0026】
三次元画像格納部102は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。三次元画像格納部102に三次元画像が記憶される過程は問わない。

【0027】
深さ情報付き二次元画像格納部103は、深さ情報付き二次元画像を格納し得る。深さ情報付き二次元画像は、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される画像である。また、深さ情報付き二次元画像は、1以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像である。ここで、位置合わせがされている画像とは、カメラの位置、アングル、視野角等のカメラパラメータが、三次元画像のカメラパラメータと同一である画像である。

【0028】
深さ情報付き二次元画像格納部103は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。深さ情報付き二次元画像格納部103に深さ情報付き二次元画像が記憶される過程は問わない。

【0029】
受付部104は、指示を受け付ける。指示とは、例えば、深さ情報付き二次元画像取得指示、拡張像取得指示、連続領域指示等である、深さ情報付き二次元画像取得指示とは、二次元画像のピクセル情報に深さ情報を付加した深さ情報付き二次元画像を取得する指示である。拡張像取得指示とは、拡張像を取得する指示である。また、連続領域指示とは、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示であり、当該1以上の点が含まれるオブジェクト(連続領域)を他のオブジェクトと異なる態様(例えば、色情報または/および不透明度情報が異なる)で出力する指示である。ここで、受け付けとは、マウス、タッチパネル、キーボードなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、マウスやメニュー画面によるもの等、何でも良い。受付部104は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

【0030】
深さ情報取得部105は、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する。ここで、平面とは、通常、カメラの位置や視線ベクトルに対して垂直の平面である。平面上の同一の位置情報を有する複数の点とは、例えば、(x,y)が同一で、深さ情報またはzが異なる複数の点である。また、基準位置とは、通常、三次元画像を取得するカメラや視線の位置である。

【0031】
深さ情報付き二次元画像取得部106は、二次元画像が有する複数の各ピクセル情報に深さ情報を付加し、深さ情報付き二次元画像を取得する。さらに具体的には、深さ情報付き二次元画像取得部106は、深さ情報取得部105が平面上の位置情報ごとに取得した2以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する。つまり、深さ情報付き二次元画像は、二次元画像が有する複数の各ピクセル情報に深さ情報が付加された画像である。

【0032】
深さ情報付き二次元画像蓄積部107は、深さ情報付き二次元画像取得部106が取得した深さ情報付き二次元画像を深さ情報付き二次元画像格納部103に蓄積する。

【0033】
深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像に対して、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。深さ情報付き二次元画像処理部108は、通常、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。

【0034】
深さ情報付き二次元画像処理部108は、例えば、深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。ここで、少なくとも2以上の異なる色情報を設定するとは、元々、一の色情報が設定されている場合、一部のピクセル情報に対して、他の色情報を設定する処理でも良い。また、少なくとも2以上の異なる不透明度情報を設定するとは、元々、一の不透明度情報が設定されている場合、一部のピクセル情報に対して、他の不透明度情報を設定する処理でも良い。第一の画像処理は、処理の結果として、2種類以上の異なる色情報または/および異なる不透明度情報を有するようになれば良い。なお、上記の「異なる色情報または/および異なる不透明度情報」とは、異なる色情報、異なる不透明度情報、異なる色情報および異なる不透明度情報のうちのいずれかであることである。

【0035】
また、第一の画像処理は、ピクセル情報が有する深さ情報の違いに応じて、輪郭を強調したり、カラーマップによって部分領域の色情報を変更したり、ピクセル単位でRGBA値(色情報と不透明度情報)を変更する等の任意の画像処理で良い。

【0036】
指示ボクセル情報決定部109は、指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する。連続する2以上のボクセル情報とは、隣接するボクセル情報が有する色情報と同一または閾値以内の差の色情報を有する2以上のボクセル情報である。

【0037】
三次元画像処理部110は、三次元画像に対して、第二の画像処理を行い、処理後三次元画像を取得する。三次元画像処理部110は、例えば、三次元画像に対して、三次元画像に含まれるボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。

【0038】
三次元画像処理部110は、例えば、指示ボクセル情報決定部109が決定した2以上のボクセル情報、または2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。

【0039】
拡張像生成部111は、処理後深さ情報付き二次元画像と、三次元画像とを重ね合わせた拡張像を生成する。また、拡張像生成部111は、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像とを重ね合わせた拡張像を生成しても良い。つまり、拡張像生成部111は、二次元画像内で選択され画像処理された領域(処理後深さ情報付き二次元画像)と、三次元画像の投影像(の一部あるいは全体)を任意にブレンドして拡張像を生成する。

【0040】
出力部112は、拡張像生成部111が生成した拡張像を出力する。出力部112は、二次元画像格納部101の二次元画像や、三次元画像格納部102の三次元画像や、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像などを出力しても良い。

【0041】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

【0042】
出力部112は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部112は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

【0043】
深さ情報取得部105、深さ情報付き二次元画像取得部106、深さ情報付き二次元画像蓄積部107、深さ情報付き二次元画像処理部108、指示ボクセル情報決定部109、三次元画像処理部110、および拡張像生成部111は、通常、MPUやメモリ等から実現され得る。深さ情報取得部105等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。

【0044】
次に、画像処理装置1の動作について、図2のフローチャートを用いて説明する。

【0045】
(ステップS201)受付部104は、深さ情報付き二次元画像取得指示を受け付けたか否かを判断する。深さ情報付き二次元画像取得指示を受け付ければステップS202に行き、深さ情報付き二次元画像取得指示を受け付けなければステップS208に行く。

【0046】
(ステップS202)深さ情報取得部105は、カウンタiに1を代入する。

【0047】
(ステップS203)深さ情報取得部105は、二次元画像格納部101の二次元画像の中に、i番目の点(ピクセル情報)が存在するか否かを判断する。i番目の点が存在すればステップS204に行き、存在しなければステップS207に行く。

【0048】
(ステップS204)深さ情報取得部105は、二次元画像の中のi番目のピクセル情報の深さ情報を取得する。かかる処理は、深さ情報取得処理と言う。深さ情報取得処理について、図3のフローチャートを用いて説明する。

【0049】
(ステップS205)深さ情報付き二次元画像取得部106は、ステップS204で取得された深さ情報を、二次元画像の中のi番目のピクセル情報に設定する。なお、ここで、深さ情報付き二次元画像取得部106は、二次元画像格納部101の二次元画像の中に深さ情報を書き込む必要はなく、二次元画像格納部101の二次元画像を複写した画像の中に深さ情報を書き込むことは好適である。

【0050】
(ステップS206)深さ情報取得部105は、カウンタiを1、インクリメントする。ステップS203に戻る。

【0051】
(ステップS207)深さ情報付き二次元画像蓄積部107は、取得された深さ情報付き二次元画像を深さ情報付き二次元画像格納部103に蓄積する。ステップS201に戻る。

【0052】
(ステップS208)受付部104は、拡張像取得指示を受け付けたか否かを判断する。拡張像取得指示を受け付ければステップS209に行き、拡張像取得指示を受け付けなければステップS211に行く。

【0053】
(ステップS209)拡張像生成部111等は、拡張像生成処理を行う。拡張像生成処理について、図4のフローチャートを用いて説明する。

【0054】
(ステップS210)出力部112は、ステップS209で生成された拡張像を出力する。ステップS201に戻る。

【0055】
(ステップS211)受付部104は、連続領域指示を受け付けたか否かを判断する。連続領域指示を受け付ければステップS212に行き、連続領域指示を受け付けなければステップS201に戻る。

【0056】
(ステップS212)指示ボクセル情報決定部109は、指示ボクセル情報決定処理を行う。指示ボクセル情報決定処理について、図8のフローチャートを用いて説明する。ステップS209に行く。

【0057】
なお、図2のフローチャートにおいて、ステップS202からステップS207までの処理により深さ情報付き二次元画像が生成される。

【0058】
また、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0059】
次に、ステップS204の深さ情報取得処理について、図3のフローチャートを用いて説明する。

【0060】
(ステップS301)深さ情報取得部105は、カウンタjに1を代入する。

【0061】
(ステップS302)深さ情報取得部105は、三次元画像格納部102の三次元画像において、i番目の点と同位置(平面上の同位置)にあるj番目の点(ボクセル情報)が存在するか否かを判断する。j番目の点が存在すればステップS303に行き、j番目の点が存在しなければステップS307に行く。なお、ここで、深さ情報取得部105は、j番目の点を手前から選択する。なお、手前の点とは、「深さ情報が浅い点」や「zの値が小さい点(zの値が小さいほど、手前にある場合)」や「zの値が大きい点(zの値が大きいほど、手前にある場合)」と言っても良い。

【0062】
(ステップS303)深さ情報取得部105は、j番目の点の色情報を取得する。

【0063】
(ステップS304)深さ情報取得部105は、ステップS303で取得した色情報が「透明」を示す情報であるか否かを判断する。「透明」であればステップS306に行き、「透明」でなければステップS305に行く。

【0064】
(ステップS305)深さ情報取得部105は、j番目のボクセル情報が有する深さ情報を取得する。上位処理にリターンする。

【0065】
(ステップS306)深さ情報取得部105は、カウンタjを1、インクリメントする。ステップS302に戻る。

【0066】
(ステップS307)深さ情報取得部105は、深さ情報にNULLを代入する。上位処理にリターンする。なお、本ステップは無くても良い。

【0067】
次に、ステップS209の拡張像生成処理について、図4のフローチャートを用いて説明する。

【0068】
(ステップS401)深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像に対して、処理を行う。かかる深さ情報付き二次元画像処理について、図5のフローチャートを用いて説明する。

【0069】
(ステップS402)三次元画像処理部110は、三次元画像に対する処理が必要か否かを判断する。なお、三次元画像処理部110は、例えば、ユーザから三次元画像処理の指示の入力があったか否かにより、三次元画像に対する処理が必要か否かを判断する。また、三次元画像処理部110は、例えば、ユーザから入力された指示中に、三次元画像の処理に対応する条件が含まれるか否かにより、三次元画像に対する処理が必要か否かを判断しても良い。三次元画像に対する処理が必要であればステップS403に行き、三次元画像に対する処理が必要でなければステップS405に行く。

【0070】
(ステップS403)三次元画像処理部110は、三次元画像処理を行う。三次元画像処理について、図6、図7のフローチャートを用いて説明する。

【0071】
(ステップS404)拡張像生成部111は、処理後深さ情報付き二次元画像と処理後三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。

【0072】
(ステップS405)拡張像生成部111は、三次元画像格納部102から三次元画像を読み出す。

【0073】
(ステップS406)拡張像生成部111は、処理後深さ情報付き二次元画像とステップS405で読み出した三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。

【0074】
次に、ステップS401の深さ情報付き二次元画像処理について、図5のフローチャートを用いて説明する。

【0075】
(ステップS501)深さ情報付き二次元画像処理部108は、指示に含まれる1以上の条件を取得する。なお、この条件とは、深さ情報付き二次元画像に対する画像処理を示す情報である。条件とは、例えば、色情報または/および不透明度情報を設定する深さ情報の範囲と、設定する色情報または/および不透明度情報とを有する。

【0076】
(ステップS502)深さ情報付き二次元画像処理部108は、カウンタiに1を代入する。

【0077】
(ステップS503)深さ情報付き二次元画像処理部108は、i番目の条件が存在するか否かを判断する。i番目の条件が存在すればステップS504に行き、i番目の条件が存在しなければ上位処理にリターンする。

【0078】
(ステップS504)深さ情報付き二次元画像処理部108は、i番目の条件に含まれる深さ情報の範囲と、設定する色情報または/および不透明度情報とを取得する。

【0079】
(ステップS505)深さ情報付き二次元画像処理部108は、カウンタjに1を代入する。

【0080】
(ステップS506)深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像に含まれるj番目のピクセル情報が存在するか否かを判断する。j番目のピクセル情報が存在すればステップS507に行き、存在しなければステップS511に行く。

【0081】
(ステップS507)深さ情報付き二次元画像処理部108は、j番目のピクセル情報が有する深さ情報を取得する。

【0082】
(ステップS508)深さ情報付き二次元画像処理部108は、ステップS507で取得した深さ情報が、i番目の条件に含まれる深さ情報の範囲内であるか否かを判断する。範囲内であればステップS509に行き、範囲内でなければステップS510に行く。

【0083】
(ステップS509)深さ情報付き二次元画像処理部108は、j番目のピクセル情報に、i番目の条件に含まれる色情報または/および不透明度情報を設定する。

【0084】
(ステップS510)深さ情報付き二次元画像処理部108は、カウンタjを1、インクリメントする。ステップS506に戻る。

【0085】
(ステップS511)深さ情報付き二次元画像処理部108は、カウンタiを1、インクリメントする。ステップS503に戻る。

【0086】
次に、ステップS403の三次元画像処理の第一の例について、図6のフローチャートを用いて説明する。なお、図6のフローチャートにおいて、図5のフローチャートと同一のステップについて、説明を省略する。三次元画像処理の第一の例は、所定の色情報または/および不透明度情報を設定する深さ情報の範囲が定まっている場合の例である。

【0087】
(ステップS601)三次元画像処理部110は、三次元画像格納部102の三次元画像の中に、j番目のボクセル情報が存在するか否かを判断する。j番目のボクセル情報が存在すればステップS602に行き、存在しなければステップS511に行く。

【0088】
(ステップS602)三次元画像処理部110は、j番目のボクセル情報が有する深さ情報を取得する。

【0089】
(ステップS603)三次元画像処理部110は、三次元画像の中のj番目のボクセル情報に、i番目の条件に含まれる色情報または/および不透明度情報を設定する。

【0090】
次に、ステップS403の三次元画像処理の第二の例について、図7のフローチャートを用いて説明する。三次元画像処理の第二の例は、所定の色情報または/および不透明度情報を設定するボクセル情報群が定まっている場合の例である。

【0091】
(ステップS701)三次元画像処理部110は、設定する色情報または/および不透明度情報を取得する。

【0092】
(ステップS702)三次元画像処理部110は、カウンタiに1を代入する。

【0093】
(ステップS703)三次元画像処理部110は、色情報または/および不透明度情報の設定対象のi番目のボクセル情報が存在するか否かを判断する。i番目のボクセル情報が存在すればステップS704に行き、存在しなければ上位処理にリターンする。

【0094】
(ステップS704)三次元画像処理部110は、設定対象のi番目のボクセル情報に、ステップS701で取得した色情報または/および不透明度情報を設定する。

【0095】
(ステップS705)三次元画像処理部110は、カウンタiを1、インクリメントする。ステップS703に戻る。

【0096】
次に、ステップS212の指示ボクセル情報決定処理について、図8のフローチャートを用いて説明する。

【0097】
(ステップS801)指示ボクセル情報決定部109は、指示された点の座標値(通常、(x,y))を取得する。

【0098】
(ステップS802)指示ボクセル情報決定部109は、ステップS801で取得した座標値と同一の平面座標値(例えば、(x,y))を有するすべてのボクセル情報を、三次元画像格納部102の三次元画像から取得する。

【0099】
(ステップS803)指示ボクセル情報決定部109は、ステップS802で取得したボクセル情報の中で、透明ではなく、最も手前のボクセル情報を取得する。このボクセル情報を基準ボクセル情報と言うこととする。なお、最も手前のボクセル情報とは、例えば、z座標値の値が最も小さいボクセル情報である。

【0100】
(ステップS804)指示ボクセル情報決定部109は、ステップS803で取得した基準ボクセル情報を、指示ボクセル情報として決定する。なお、かかる決定する処理とは、例えば、指示ボクセル情報を格納するバッファに、基準ボクセル情報を書き込む処理である。

【0101】
(ステップS805)指示ボクセル情報決定部109は、基準ボクセル情報を基準として、連続するボクセル情報を取得する処理を行う。かかる処理を連続ボクセル情報取得処理という。連続ボクセル情報取得処理について、図9のフローチャートを用いて説明する。上位処理にリターンする。

【0102】
次に、ステップS805の連続ボクセル情報取得処理について、図9のフローチャートを用いて説明する。図9のフローチャートにおいて、図8のフローチャートと同一のステップについて、説明を省略する。

【0103】
(ステップS901)指示ボクセル情報決定部109は、基準ボクセル情報の色情報を取得する。

【0104】
(ステップS902)指示ボクセル情報決定部109は、基準ボクセル情報に隣接するすべてのボクセル情報を、三次元画像格納部102の三次元画像から取得する。

【0105】
(ステップS903)指示ボクセル情報決定部109は、カウンタiに1を代入する。

【0106】
(ステップS904)指示ボクセル情報決定部109は、ステップS902で取得したボクセル情報の中で、i番目のボクセル情報が存在するか否かを判断する。i番目のピクセル情報が存在すればステップS905に行き、存在しなければ上位処理にリターンする。

【0107】
(ステップS905)指示ボクセル情報決定部109は、i番目のボクセル情報が有する色情報を取得する。

【0108】
(ステップS906)指示ボクセル情報決定部109は、ステップS901で取得した基準ボクセル情報の色情報と、ステップS905で取得したi番目のボクセル情報の色情報とを比較し、2つの色情報の差異が閾値以内であるか否かを判断する。閾値以内であればステップS907に行き、閾値以内でなければステップS909に行く。なお、ここでは、2つの色情報の差異が閾値以内である場合は、2つの点は、同一のオブジェクト内の点である、と考えるとする。

【0109】
(ステップS907)指示ボクセル情報決定部109は、i番目のボクセル情報を、指示ボクセル情報として決定する。

【0110】
(ステップS908)指示ボクセル情報決定部109は、i番目のボクセル情報を、基準ボクセル情報とする。ステップS805に行く。

【0111】
(ステップS909)指示ボクセル情報決定部109は、カウンタiを1、インクリメントする。ステップS904に戻る。

【0112】
以下、本実施の形態における画像処理装置1の具体的な動作について説明する。以下、3つの具体例について説明する。

【0113】
(具体例1)
今、基準点に対して、手前から円柱、球、および立方体の3つの物体が並べられている、とする。そして、基準点に配置されたカメラを用いて3つの物体が撮影され、取得された実映像Icam(二次元画像)が、二次元画像格納部101に格納されている、とする(図10参照)。

【0114】
また、上記の3つの物体に対してCTまたはMRIを用いて取得された三次元画像Ivolが三次元画像格納部102に格納されている、とする(図11参照)。

【0115】
なお、二次元画像格納部101の二次元画像と、三次元画像格納部102の三次元画像とは、位置合わせがされているものとする。

【0116】
かかる場合、ユーザが深さ情報付き二次元画像取得指示を入力した、とする。すると、受付部104は、深さ情報付き二次元画像取得指示を受け付ける。

【0117】
次に、深さ情報取得部105は、二次元画像格納部101の二次元画像Icamの中の各ピクセル情報に対して、以下のような処理を行う。つまり、深さ情報取得部105は、Icamのピクセル情報ごとに、ピクセル情報が有する平面座標(x,y)と同一の平面座標(x,y)を有する複数のボクセル情報の中で、基準点に近い(ここでは、zの値が小さい)順に、三次元画像Ivolからボクセル情報を選択していく。そして、深さ情報取得部105は、選択したボクセル情報に含まれる色情報が、「透明」を示す情報であるか否かを判断する。そして、深さ情報取得部105は、ピクセル情報ごとに、色情報が「透明」を示す情報でないボクセル情報であり、最初に見つけたボクセル情報を、対象ボクセル情報に決定する。なお、対象ボクセル情報は、色情報が「透明」を示す情報でないボクセル情報の中で、最も基準点に近いボクセル情報である。そして、深さ情報取得部105は、ピクセル情報ごとに、対象ボクセル情報が有する深さ情報を取得し、各ピクセル情報に付加する。以上の処理により、Icamに深さ情報が付加された深さ情報付き二次元画像を生成できた。なお、深さ情報付き二次元画像蓄積部107は、生成された深さ情報付き二次元画像を深さ情報付き二次元画像格納部103に蓄積する、とする。

【0118】
次に、ユーザが第一の拡張像取得指示を入力した、とする。すると、受付部104は、第一の拡張像取得指示を受け付ける。なお、ここでの第一の拡張像取得指示は、深さ情報付き二次元画像において、円柱までの深さ情報を有するピクセル情報を半透明にし、かつ、球を輪郭のみにする処理を施した処理後深さ情報付き二次元画像I'camに、三次元画像Ivolの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第一の拡張像取得指示は、条件1「d0<=d<=d1:α値=0.5」および条件2「d2<=d<=d3:"輪郭のみ出力"」を有する。

【0119】
ここで、「d」は深さ情報の変数、「d0」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。また、「d1」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。「d2」は、球を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。「d3」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。また、「輪郭のみ出力」する処理は、深さ情報「d2<=d<=d3」を有するピクセル情報の中で、輪郭を構成するピクセル情報以外のピクセル情報のα値を0に設定する処理である。

【0120】
次に、深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「d0<=d<=d1」を満たすか否かを判断する。そして、条件「d0<=d<=d1」を満たす深さ情報を有するピクセル情報のα値を「0.5」に書き換える。次に、深さ情報付き二次元画像処理部108は、上記の「輪郭のみ出力」する処理を行う。そして、深さ情報付き二次元画像処理部108は、処理後深さ情報付き二次元画像I'camを得る。

【0121】
次に、拡張像生成部111は、三次元画像格納部102から三次元画像Ivolを読み出す。そして、拡張像生成部111は、処理後深さ情報付き二次元画像と読み出したIvolとを重ね合わせ、拡張像Iaugを生成する。生成した拡張像Iaugを、図12に示す。そして、出力部112は、拡張像Iaugを出力する。

【0122】
(具体例2)
具体例2において、具体例1と同様に、二次元画像格納部101に実映像Icam(二次元画像)が格納され、三次元画像格納部102に三次元画像Ivolが格納されている。そして、Icamに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部103に格納されている。

【0123】
かかる場合、ユーザが第二の拡張像取得指示を入力した、とする。すると、受付部104は、第二の拡張像取得指示を受け付ける。なお、ここでの第二の拡張像取得指示は、深さ情報付き二次元画像において、球までの深さ情報を有するピクセル情報を透明にした処理後深さ情報付き二次元画像I'camに、三次元画像Ivolの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第二の拡張像取得指示は、条件「0<=d<=d3,α値=0」を有する。ここで、「d3」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。

【0124】
次に、深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「0<=d<=d3」を満たすか否かを判断する。そして、条件「0<=d<=d1」を満たす深さ情報を有するピクセル情報のα値を「0」に書き換える。そして、深さ情報付き二次元画像処理部108は、処理後深さ情報付き二次元画像I'camを得る。

【0125】
次に、拡張像生成部111は、三次元画像格納部102から三次元画像Ivolを読み出す。拡張像生成部111は、処理後深さ情報付き二次元画像と読み出したIvolとを重ね合わせ、拡張像Iaugを生成する。生成した拡張像Iaugを、図13に示す。そして、出力部112は、拡張像Iaugを出力する。

【0126】
上記の具体例1、2において、拡張像Iaugを生成する場合に、IcamにとIvolの用い方が異なる例を示した。しかし、IcamにとIvolを、どの程度用いるかは、ピクセル情報またはボクセル情報が有するα値を変更することにより、自由に決定され得る。

【0127】
(具体例3)
具体例3において、具体例1と同様に、二次元画像格納部101に二次元画像Icamが格納され、三次元画像格納部102に三次元画像Ivolが格納されている。そして、Icamに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部103に格納されている。

【0128】
そして、今、ユーザの指示により、出力部112が二次元画像Icamを出力した、とする。次に、ユーザは、図14に示すように、出力されているIcamの中の球の箇所に入力手段(例えば、マウス)のポインタを持って行き、指示した、とする。すると、受付部104は、連続領域指示を受け付ける。ここで、連続領域指示は、球全体を指示したこととなる。

【0129】
次に、指示ボクセル情報決定部109は、指示された点の座標値(x1,y1)を取得する。

【0130】
次に、指示ボクセル情報決定部109は、取得した座標値(x1,y1)と同一の平面座標(x1,y1)を有するすべてのボクセル情報を、三次元画像Ivolから取得する。

【0131】
次に、指示ボクセル情報決定部109は、取得したすべてのボクセル情報の中で、透明ではなく、最も手前のボクセル情報である基準ボクセル情報を取得する。

【0132】
次に、指示ボクセル情報決定部109は、基準ボクセル情報の色情報(col1)を取得する。

【0133】
次に、指示ボクセル情報決定部109は、基準ボクセル情報に隣接するすべてのボクセル情報をIvolから取得する。

【0134】
次に、指示ボクセル情報決定部109は、基準ボクセル情報の色情報(col1)と、隣接する各ボクセル情報の色情報(col2)とを比較し、2つの色情報の差異が閾値以内であるか否か(|col1-col2|<X(Xは予め決められている))を判断する。そして、条件「|col1-col2|<X」を満たすボクセル情報を、指示ボクセル情報として決定する。

【0135】
次に、各指示ボクセル情報を基準ボクセル情報として、上記の処理を再帰的に繰り返す。そして、指示ボクセル情報決定部109は、球を構成するすべてのボクセル情報を得る。

【0136】
次に、三次元画像処理部110は、例えば、指示ボクセル情報決定部109が得たすべてのボクセル情報のα値を1にし、それ以外のボクセル情報のα値を0に設定する。そして、三次元画像処理部110は、図15に示す処理後三次元画像I'volを得る。なお、図15のI'volの破線は、実際は見えない。

【0137】
次に、具体例1、2と同様に、拡張像生成部111は、処理後三次元画像I'volと、深さ情報付き二次元画像または処理後深さ情報付き二次元画像とを重ね合わせ、拡張像Iaugを生成する。なお、処理後深さ情報付き二次元画像は、どのような処理を行っていても良い。

【0138】
(具体例4)
今、二次元画像格納部101には、内視鏡で人間の体内を撮影した二次元画像(図16)が格納されている。そして、この二次元画像と位置合わせをされた三次元画像(図17)が三次元画像格納部102に格納されている。なお、三次元画像は、人間に対してMRIを用いて取得された画像である。また、三次元画像には、ユーザにより入力された切削予定箇所1701が存在している。また、深さ情報付き二次元画像格納部103には、二次元画像(図16)に深さ情報が付与された深さ情報付き二次元画像が格納されている、とする。

【0139】
かかる状況において、ユーザが第三の拡張像取得指示を入力した、とする。すると、受付部104は、第三の拡張像取得指示を受け付ける。なお、ここでの第三の拡張像取得指示は、深さ情報付き二次元画像のα値をα1(定数)、三次元画像のα値をα2(定数)に設定し、処理後深さ情報付き二次元画像I'cam(α値「α1」の深さ情報付き二次元画像)に、処理後三次元画像I'vol(α値「α2」の三次元画像)の投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。

【0140】
次に、深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像のすべてのピクセル情報のα値をα1に設定し、処理後深さ情報付き二次元画像I'camを得る。また、三次元画像処理部110は、三次元画像のすべてのボクセル情報のα値をα2に設定し、処理後三次元画像I'volを得る。

【0141】
次に、拡張像生成部111は、I'camとI'volとを重ね合わせ、拡張像Iaugを生成する。そして、出力部112は、拡張像Iaugを出力する。かかるIaugの出力例は、図18である。

【0142】
以上、本実施の形態によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。

【0143】
また、本実施の形態によれば、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。

【0144】
また、本実施の形態における画像処理装置1を手術支援システムに用いれば、例えば、内視鏡映像への切削予定箇所や周辺の血管・神経などの肉眼で直接見えない情報の重ね合わせが可能となり、効果的な手術支援が行える。

【0145】
なお、本実施の形態によれば、画像処理装置1は、二次元画像格納部101、三次元画像格納部102、深さ情報付き二次元画像格納部103、受付部104、深さ情報取得部105、深さ情報付き二次元画像取得部106、深さ情報付き二次元画像蓄積部107、深さ情報付き二次元画像処理部108、指示ボクセル情報決定部109、三次元画像処理部110、拡張像生成部111、および出力部112を具備した。しかし、画像処理装置1は、上記構成のうちの一部の構成を省略しても良い。例えば、図19に示すように、画像処理装置1は、三次元画像格納部102、深さ情報付き二次元画像格納部103、受付部104、深さ情報付き二次元画像処理部108、拡張像生成部111、および出力部112だけでも良い。

【0146】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成され深さ情報付き二次元画像とを格納しており、前記記憶媒体を具備したコンピュータを、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、前記拡張像を出力する出力部として機能させるためのプログラム、である。

【0147】
また、上記プログラムにおいて、前記記憶媒体に、さらに、前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納しており、前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、前記深さ情報取得部が平面上の位置情報ごとに取得した2以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部として、コンピュータを、さらに機能させるプログラムであることは好適である。

【0148】
また、上記プログラムにおいて、前記深さ情報付き二次元画像処理部は、前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。

【0149】
また、上記プログラムにおいて、前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部として、コンピュータを、さらに機能させるプログラムであることは好適である。

【0150】
また、上記プログラムにおいて、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示を受け付ける受付部と、前記指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する指示ボクセル情報決定部として、コンピュータを、さらに機能させるプログラムであって、前記三次元画像処理部は、前記指示ボクセル情報決定部が決定した2以上のボクセル情報、または当該2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得するものとしてコンピュータを機能させるプログラムであることは好適である。

【0151】
また、図20は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図20は、このコンピュータシステム340の概観図であり、図21は、コンピュータシステム340のブロック図である。

【0152】
図20において、コンピュータシステム340は、FDドライブ、CD-ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。

【0153】
図21において、コンピュータ341は、FDドライブ3411、CD-ROMドライブ3412に加えて、MPU3413と、CD-ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。

【0154】
コンピュータシステム340に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、CD-ROM3501、またはFD3502に記憶されて、CD-ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD-ROM3501、FD3502またはネットワークから直接、ロードされても良い。

【0155】
プログラムは、コンピュータ341に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。

【0156】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

【0157】
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

【0158】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0159】
以上のように、本発明にかかる画像処理装置は、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる、という効果を有し、手術支援システム等として有用である。
【符号の説明】
【0160】
1 画像処理装置
101 二次元画像格納部
102 三次元画像格納部
103 深さ情報付き二次元画像格納部
104 受付部
105 情報取得部
106 深さ情報付き二次元画像取得部
107 深さ情報付き二次元画像蓄積部
108 深さ情報付き二次元画像処理部
109 指示ボクセル情報決定部
110 三次元画像処理部
111 拡張像生成部
112 出力部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図19】
9
【図20】
10
【図21】
11
【図10】
12
【図11】
13
【図12】
14
【図13】
15
【図14】
16
【図15】
17
【図16】
18
【図17】
19
【図18】
20