TOP > 国内特許検索 > 識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム > 明細書

明細書 :識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2016-077574 (P2016-077574A)
公開日 平成28年5月16日(2016.5.16)
発明の名称または考案の名称 識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム
国際特許分類 A61B   5/00        (2006.01)
G06Q  50/24        (2012.01)
FI A61B 5/00 D
G06Q 50/24 140
請求項の数または発明の数 7
出願形態 OL
全頁数 19
出願番号 特願2014-212372 (P2014-212372)
出願日 平成26年10月17日(2014.10.17)
発明者または考案者 【氏名】佐藤 彰一
出願人 【識別番号】504013775
【氏名又は名称】学校法人 埼玉医科大学
個別代理人の代理人 【識別番号】100107515、【弁理士】、【氏名又は名称】廣田 浩一
【識別番号】100107733、【弁理士】、【氏名又は名称】流 良広
【識別番号】100115347、【弁理士】、【氏名又は名称】松田 奈緒子
【識別番号】100163038、【弁理士】、【氏名又は名称】山下 武志
審査請求 未請求
テーマコード 4C117
5L099
Fターム 4C117XD27
4C117XE43
4C117XE44
4C117XE45
4C117XE65
4C117XG13
4C117XG14
4C117XG34
4C117XG40
4C117XG51
4C117XJ01
4C117XK05
4C117XK13
4C117XK17
4C117XK19
4C117XK24
4C117XK44
4C117XK46
4C117XQ12
4C117XR07
4C117XR08
5L099AA26
要約 【課題】患者の所定の部位の撮影画像と、前記撮影画像に重畳させて表示する仮想画像との表示位置を合わせる際に、前記仮想画像の表示位置の補正時間を低減可能な識別標識体を提供する。
【解決手段】撮影手段により撮影されると、前記撮影手段により撮影した撮影画像と、対応する仮想画像とを重畳させて表示手段により表示するための識別標識体であって、縫着孔が設けられ、患者の所定の部位に縫い付けて固定される基体と、前記基体に固定され、前記撮影手段により撮影された際、前記表示手段により前記対応する仮想画像を表示させるための識別画像と、を有する識別標識体である。
【選択図】図1A
特許請求の範囲 【請求項1】
撮影手段により撮影されると、前記撮影手段により撮影した撮影画像と、対応する仮想画像とを重畳させて表示手段により表示するための識別標識体であって、
縫着孔が設けられ、患者の所定の部位に縫い付けて固定される基体と、
前記基体に固定され、前記撮影手段により撮影された際、前記表示手段により前記対応する仮想画像を表示させるための識別画像と、を有することを特徴とする識別標識体。
【請求項2】
識別画像が表示された識別表示部品を有し、
前記識別表示部品が、少なくとも1つの突起部を有し、
基体が、前記突起部を嵌め込んで固定する嵌合孔又は溝を有する請求項1に記載の識別標識体。
【請求項3】
基体及び識別表示部品が、生体適合材料により形成され、滅菌可能である請求項1から2のいずれかに記載の識別標識体。
【請求項4】
識別画像が、AR識別マーカである請求項1から3のいずれかに記載の識別標識体。
【請求項5】
識別画像が表示された識別表示部品の表面が、光を拡散反射させる少なくとも1つの凹部を有する請求項1から4のいずれかに記載の識別標識体。
【請求項6】
手術の際に請求項1から5のいずれかに記載の前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影する撮影手段と、
前記撮影手段により撮影した、前記識別標識体における識別画像を含む撮影画像を表示する表示手段と、
あらかじめ撮影された前記患者の体内における立体的な部位の仮想画像データ毎に対応づけた識別画像の識別画像データを生成する生成手段と、
前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納するデータ格納手段と、
前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別標識体の識別画像を認識し、識別画像データを抽出する抽出手段と、を有し、
前記表示手段が、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の部位の仮想画像を、前記識別標識体の前記識別画像を認識した位置で前記撮影画像に重畳させて表示することを特徴とする医療支援システム。
【請求項7】
患者の部位の断層画像データを取得する断層撮影手段と、
前記断層撮影手段により取得した前記断層画像データに基づいて前記患者の体内における立体的な部位の仮想画像データを生成する仮想画像データ生成手段と、
前記仮想画像データ生成手段により生成された前記仮想画像データをデータ格納手段に格納するために送信する通信手段と、を有する断層撮影装置を含む請求項6に記載の医療支援システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、識別標識体と、識別標識体を用いた拡張現実技術による医療支援システムに関する。
【背景技術】
【0002】
従来より、デジタルビデオカメラなどの撮影手段により撮影した撮影画像に、所定の識別画像が含まれていると認識すると、前記識別画像に応じた仮想画像(3次元コンピュータグラフィックス)をリアルタイムで前記撮影画像に重畳させて表示するAR(Augmented Reality、拡張現実)技術が利用されている。前記AR技術のひとつとして、例えば、前記識別画像として、AR識別マーカ(二次元バーコード)を用いる技術がある。この技術では、前記撮影画像に前記AR識別マーカを認識すると、前記AR識別マーカに対応づけられた前記仮想画像を、前記撮影画像における前記AR識別マーカを認識した位置で、前記撮影画像に重畳させて液晶ディスプレイなどの表示手段に表示する。
前記AR技術を利用して、手術に関する情報をリアルタイムで術者に提供する医療支援装置が既に知られている。
前記医療支援装置では、手術を行う部位そのものではなく、前記部位から離れた位置にあらかじめ貼付された前記AR識別マーカが前記撮影画像に含まれていると認識すると、前記AR識別マーカの表示、位置、姿勢、大きさに応じた前記患者の体内における立体的な部位の前記仮想画像を前記撮影画像に重畳させて表示し、手術の際に切断箇所、血管の位置などを術者に示す医療支援装置が提案されている(特許文献1参照)。
しかしながら、前記医療支援装置は、前記AR識別マーカの表示等に基づいた前記仮想画像を術者に示すことは可能であるが、手術を行う部位から離れた位置に前記AR識別マーカが貼付されているため、前記部位の血管の位置などを示す前記仮想画像を、前記撮影画像における手術を行う部位の表示位置に合わせて重畳させて表示しようとすると、前記仮想画像の表示位置の補正量が大きくなるため時間がかかるという問題がある。また、前記AR識別マーカが両面テープで患者の皮膚等に貼付されているため、患者の体液などにより前記AR識別マーカの貼付位置がずれ、前記仮想画像の表示位置が不安定になりやすく、前記AR識別マーカの貼付位置がずれる度に前記仮想画像の表示位置を補正する必要がある。これらのことは、一分一秒を争う手術において、患者の生命に関わることになり得るため効果が十分ではない。
【先行技術文献】
【0003】

【特許文献1】特開2014-131552号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、従来における前記諸問題を解決し、以下の目的を達成することを課題とする。即ち、本発明は、患者の所定の部位の撮影画像と、前記撮影画像に重畳させて表示する仮想画像との表示位置を合わせる際に、前記仮想画像の表示位置の補正時間を低減可能な識別標識体を提供することを目的とする。
【課題を解決するための手段】
【0005】
前記課題を解決するための手段は、以下のとおりである。即ち、
<1> 撮影手段により撮影されると、前記撮影手段により撮影した撮影画像と、対応する仮想画像とを重畳させて表示手段により表示するための識別標識体であって、
縫着孔が設けられ、患者の所定の部位に縫い付けて固定される基体と、
前記基体に固定され、前記撮影手段により撮影された際、前記表示手段により前記対応する仮想画像を表示させるための識別画像と、を有することを特徴とする識別標識体である。
前記<1>に記載の識別標識体においては、前記部位に直接縫い付けられた前記基板に前記識別画像が固定されるため、前記識別画像が前記撮影手段により撮影された際に、前記撮影画像における前記識別画像の位置、即ち、前記撮影画像における前記部位の位置で、前記表示手段により前記対応する前記仮想画像を前記撮影画像に重畳させて表示する。
【0006】
<2> 識別画像が表示された識別表示部品を有し、前記識別表示部品が、少なくとも1つの突起部を有し、基体が、前記突起部を嵌め込んで固定する嵌合孔又は溝を有する前記<1>に記載の識別標識体である。
前記<2>に記載の識別標識体においては、識別画像が表示された識別表示部品を有し、前記識別表示部品が、少なくとも1つの突起部を有し、基体が、前記突起部を嵌め込んで固定する嵌合孔又は溝を有するため、前記基体が、前記識別画像が表示された前記識別表示部品を固定する。
【0007】
<3> 基体及び識別表示部品が、生体適合材料により形成され、滅菌可能である前記<1>から<2>のいずれかに記載の識別標識体である。
前記<3>に記載の識別標識体においては、基体及び識別表示部品が、生体適合材料により形成され、滅菌可能であるため、患者の所定の部位に前記識別標識体を直接縫い付けることが可能となる。
【0008】
<4> 識別画像が、AR識別マーカである前記<1>から<3>のいずれかに記載の識別標識体である。
前記<4>に記載の識別標識体においては、識別画像がAR識別マーカであるため、前記撮影手段により撮影された撮影画像に前記AR識別マーカが含まれていると認識すると、AR技術が利用可能となる。
【0009】
<5> 識別画像が表示された識別表示部品の表面が、光を拡散反射させる少なくとも1つの凹部を有する前記<1>から<4>のいずれかに記載の識別標識体である。
前記<5>に記載の識別標識体においては、識別画像が表示された識別表示部品の表面が、光を拡散反射させる少なくとも1つの凹部を有するため、前記撮影手段により撮影された際に、表面の光沢で光が正反射することによる前記識別画像の誤認識を防止する。
【0010】
<6> 手術の際に前記<1>から<5>のいずれかに記載の前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影する撮影手段と、
前記撮影手段により撮影した、前記識別標識体における識別画像を含む撮影画像を表示する表示手段と、
あらかじめ撮影された前記患者の体内における立体的な部位の仮想画像データ毎に対応づけた識別画像の識別画像データを生成する生成手段と、
前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納するデータ格納手段と、
前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別標識体の識別画像を認識し、識別画像データを抽出する抽出手段と、を有し、
前記表示手段が、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の所定の仮想画像を、前記識別標識体の前記識別画像を認識した位置で前記撮影画像に重畳させて表示することを特徴とする医療支援システムである。
前記<6>に記載の医療支援システムにおいては、前記識別標識体に加えて、撮影手段と、表示手段と、生成手段と、データ格納手段と、抽出手段と、を有している。手術の前段階において、前記生成手段が、あらかじめ撮影された前記患者の体内における立体的な部位の仮想画像データ毎に対応づけた前記識別画像の識別画像データを生成する。前記データ格納手段が、前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納する。手術の際において、前記撮影手段が、前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影する。前記表示手段が、前記撮影手段により撮影された、前記識別標識体における識別画像を含む撮影画像を表示する。前記抽出手段が、前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別画像を認識し、前記識別画像データを抽出する。すると、前記医療支援システムが、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の所定の部位の仮想画像を、前記識別標識体の前記識別画像を認識した位置で前記撮影画像に重畳させて前記表示手段により表示する。そのため、前記医療支援システムが、前記撮影画像における前記部位に近い位置で前記仮想画像を重畳させて表示する。
【0011】
<7> 患者の部位の断層画像データを取得する断層撮影手段と、前記断層撮影手段により取得した前記断層画像データに基づいて前記患者の体内における立体的な部位の仮想画像データを生成する仮想画像データ生成手段と、前記仮想画像データ生成手段により生成された前記仮想画像データをデータ格納手段に格納するために送信する通信手段と、を有する断層撮影装置を含む請求項6に記載の医療支援システムである。
前記<7>に記載の医療支援システムにおいては、患者の部位の断層画像データを取得する断層撮影手段と、前記断層撮影手段により取得した前記断層画像データに基づいて前記患者の体内における立体的な部位の仮想画像データを生成する仮想画像データ生成手段と、前記仮想画像データ生成手段により生成された前記仮想画像データを送信する通信手段とを有する断層撮影装置が、前記仮想画像データをデータ格納手段にあらかじめ格納するために送信する。
【発明の効果】
【0012】
本発明によると、従来における前記諸問題を解決することができ、患者の所定の部位の撮影画像と、前記撮影画像に重畳させて表示する仮想画像との表示位置を合わせる際に、前記仮想画像の表示位置の補正時間を低減可能な識別標識体を提供することができる。
【図面の簡単な説明】
【0013】
【図1A】図1Aは、本発明における識別標識体の一例を示す概略斜視図である。
【図1B】図1Bは、図1Aで示した識別標識体の概略断面図である。
【図2A】図2Aは、本発明における識別標識体の他の一例を示す概略斜視図である。
【図2B】図2Bは、図2Aで示した識別標識体の概略断面図である。
【図3A】図3Aは、本発明における識別標識体の他の一例を示す概略斜視図である。
【図3B】図3Bは、図3Aで示した識別標識体の概略断面図である。
【図4A】図4Aは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図4B】図4Bは、図4Aで示した識別標識体を上方から見たときの説明図である。
【図5A】図5Aは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図5B】図5Bは、図5Aで示した識別標識体を上方から見たときの説明図である。
【図6A】図6Aは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図6B】図6Bは、図6Aで示した識別標識体を上方から見たときの説明図である。
【図7A】図7Aは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図7B】図7Bは、図7Aで示した識別標識体を上方から見たときの説明図である。
【図8】図8は、本発明における識別標識体を患者の所定の部位から取り外す手順を示す概略断面図である。
【図9】図9は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示す説明図である。
【図10】図10は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示すブロック図である。
【図11】図11は、本発明における断層撮影装置が仮想画像データを生成して送信する処理の流れを示すフローチャートである。
【図12】図12は、本発明における入出力端末装置が識別画像データを生成して仮想画像データとともに格納する処理の流れを示すフローチャートである。
【図13】図13は、本発明における入出力端末装置が仮想画像を撮影画像に重畳させて表示する処理の流れを示すフローチャートである。
【図14A】図14Aは、本発明における仮想画像のみを表示した際の画面を示す説明図である。
【図14B】図14Bは、本発明における識別標識体及び肝臓を撮影した際の撮影画像を表示した画面を示す説明図である。
【図14C】図14Cは、本発明における識別標識体及び肝臓を撮影した際に肝臓の仮想画像を重畳させて表示した画面を示す説明図である。
【発明を実施するための形態】
【0014】
(識別標識体)
本発明の識別標識体は、識別画像と、識別表示部品と、基体と、を有してなり、更に必要に応じて適宜選択したその他の部材を有していてもよい。

【0015】
<識別画像>
前記識別画像としては、デジタルビデオカメラなどの後述する撮影手段が撮影可能な画像であれば、その形状、大きさなどに特に制限はなく、目的に応じて適宜選択することができる。
前記識別画像の形状としては、前記撮影手段により撮影された撮影画像から、後述する抽出手段が表示、位置、姿勢、大きさを認識し、識別画像データとして抽出可能な形状であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、一般的なAR(Augmented Reality、拡張現実)識別マーカのような黒い四角で囲われた記号、文字、絵を含む形状、QRコード(登録商標)のような形状などが挙げられる。また、上記のような形状を表すために、例えば、前記識別表示部品の表面にレーザなどを照射して黒く変色させることが挙げられる。
前記識別画像の大きさとしては、手術を妨害しない大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
また、後述する実施例における前記識別画像は、AR識別マーカであり、AR技術を利用する際に用いられる。前記AR技術は、前記撮影画像に前記識別画像が含まれていると認識すると、認識した前記識別画像の表示、位置、姿勢、大きさに対応した仮想画像をリアルタイムで前記撮影画像に重畳させて、液晶表示モニタなどの後述する表示手段に表示するものである。
なお、仮想画像とは、3次元コンピュータグラフィックスのことであり、コンピュータグラフィックスのうち、コンピュータ上で立体空間の情報を生成し、仮想的な3次元の世界を投影したコンピュータグラフィックスのことである。また、仮想画像データとは、前記仮想画像を前記表示手段に表示するための情報である。
本発明においては、CT(Computed Tomography)スキャン装置などの後述する断層撮影装置が、あらかじめ撮影した患者の体の断層画像データに基づいて前記患者の体の部位毎の仮想画像データを生成する。更に後述する生成手段が前記仮想画像データに対応づけられた前記識別画像を生成する。例えば、肝臓の前記仮想画像データに対応づけられた前記識別画像を生成し、手術の際に前記識別画像を肝臓に固定した場合、肝臓に固定された前記識別画像が前記撮影手段により撮影されると、前記表示手段により前記識別画像の位置、姿勢、大きさに応じた肝臓の前記仮想画像を、前記撮影画像における肝臓と近い位置に重畳させて表示する。
また、表示する肝臓の前記仮想画像は、所定の画像処理により血管以外を半透明化することができるため、前記撮影画像における肝臓と、前記撮影画像に重畳させて表示する肝臓の血管以外を半透明化した前記仮想画像との表示位置を合わせることにより、手術で接触不要な血管の位置を視認することができ、より正確な手術が可能となる。

【0016】
<識別表示部品>
前記識別表示部品としては、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができる。
前記識別表示部品の形状としては、前記識別画像の全体を表示することができれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、円形、四角形の略平板形状などが挙げられる。
また、前記識別画像を表示する前記識別表示部品の表面の形状としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、光の正反射による前記識別画像の誤認識を防止するため、サンドブラスト加工などにより光を拡散反射させる少なくとも1つの凹部を有する形状などが挙げられる。
前記識別表示部品の構造としては、前記識別画像の全体を表示可能であり、前記基体に固定可能な構造であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、円形、四角形等の平板状とした構造、又は前記平板状の構造に加えて、前記基体の嵌合孔に嵌め合わせて固定するための突起部を裏面に少なくとも1つ以上設ける構造などが挙げられる。また、前記識別表示部品は、前記基体と着脱可能に固定される構造としてもよい。
前記識別表示部品の大きさとしては、手術を妨害しない大きさであって、前記識別画像の全体が表示できる大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
前記識別表示部品の材質としては、臓器などに接触するため、生体適合材料であって滅菌可能であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、ポリエーテルエーテルケトン(PEEK)、変性ポリフェニレンエーテルなどが挙げられる。

【0017】
<基体>
前記基体としては、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができる。
前記基体の形状としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、円形、四角形の平板形状などが挙げられる。
前記基体の構造としては、前記識別表示部品を固定可能な構造であって、患者の所定の部位に縫い付けるための縫着孔を少なくとも1つ以上有していれば、特に制限はなく、目的に応じて適宜選択することができる。
なお、患者の所定の部位とは、手術を行う必要がある臓器などであり、後述する本実施例では肝臓とする。
また、前記識別表示部品の構造が平板状である場合、前記基体が、前記識別表示部品の全体を枠組みにより固定するようにしてもよい。
更に、例えば、一端に縫合糸が係止されて湾曲している縫合針で患者の所定の部位に刺し通した際、前記部位の表面から露出した縫合糸の間隔と同程度になりやすいことから、前記基体を前記部位に縫い付けることを容易にするため、前記基体に前記縫着孔が少なくとも1つ以上設けられた場合、複数の前記縫着孔のうち少なくともいずれか2つの前記縫着孔の中心の間隔を1.5cm程度としてもよい。
前記基体の大きさとしては、手術を妨害しない大きさであって、前記識別画像の全体を表示可能な大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
前記基体の材質としては、手術で用いるため、生体適合材料であって滅菌可能であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、ポリエーテルエーテルケトン(PEEK)、変性ポリフェニレンエーテルなどが挙げられる。
なお、前記識別画像を表示する前記識別表示部品と、前記基体とを別個のものとして説明したが、特に制限はなく、目的に応じて適宜選択することができ、前記基体が前記識別画像と縫着孔を有し、前記基体と前記識別表示部品とを一体とした前記識別標識体としてもよい。

【0018】
(医療支援システム)
本発明の医療支援システムとしては、前記識別標識体に加えて、前記撮影手段と、前記表示手段と、生成手段と、データ格納手段と、抽出手段と、を有してなり、更に必要に応じて適宜選択した、例えば、端末通信手段、制御手段などのその他の部材を有していてもよい。

【0019】
<撮影手段>
前記撮影手段としては、前記識別画像の全体が撮影可能であり、撮影した前記撮影画像を電気信号に変換するものであれば、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができ、例えば、CMOS(Complementary Metal‐Oxide Semiconductor)イメージセンサ、CCD(Charge‐Coupled Device)イメージセンサ等を用いたデジタルビデオカメラ、デジタルビデオカメラ機能を有するタブレット型の端末などが挙げられる。
前記撮影手段の形状としては、特に制限はなく、目的に応じて適宜選択することができる。
前記撮影手段の構造としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、デジタルビデオカメラ自体の構造、又はタブレット型の端末等に組み込まれている構造などが挙げられる。
前記撮影手段の大きさとしては、手術を妨害しない大きさであって、前記識別画像の全体が表示可能な大きさであれば、特に制限はなく、目的に応じて適宜選択することができ、手術を妨害しないように小型であることが望ましい。
前記撮影手段の材質としては、特に制限はなく、目的に応じて適宜選択することができる。

【0020】
<表示手段>
前記表示手段としては、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができ、例えば、例えば、液晶ディスプレイ、デジタルビデオカメラ又はタブレット型の端末等に搭載されている液晶ディスプレイ、プロジェクタなどが挙げられる。
前記表示手段の形状としては、特に制限はなく、目的に応じて適宜選択することができる。
前記表示手段の構造としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、液晶表示モニタ自体の構造、デジタルビデオカメラ又はタブレット型の端末等に組み込まれている液晶表示モニタの構造などが挙げられる。
前記表示手段の大きさとしては、手術を妨害しない大きさであって、術者が視認可能な大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
前記表示手段の材質としては、特に制限はなく、目的に応じて適宜選択することができる。

【0021】
<生成手段>
前記生成手段としては、あらかじめ断層撮影装置により撮影された断層画像データに基づいて生成された前記患者の体内における立体的な部位の仮想画像データ毎に、対応づけた識別画像の識別画像データを生成するものであれば、特に制限はなく、目的に応じて適宜選択することができる。

【0022】
<データ格納手段>
前記データ格納手段としては、前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納可能であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、記憶媒体などが挙げられる。

【0023】
<抽出手段>
前記抽出手段としては、前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別標識体の識別画像の表示、位置、姿勢、大きさの情報を前記識別画像データとして抽出可能であれば、特に制限はなく、目的に応じて適宜選択することができる。

【0024】
<<その他の手段>>
前記その他の手段としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、端末通信手段、制御手段などが挙げられる。

【0025】
<<端末通信手段>>
前記端末通信手段としては、接続されている装置などと通信可能であれば、特に制限はなく、目的に応じて適宜選択することができる。

【0026】
<<制御手段>>
前記制御手段としては、記憶媒体などに記憶されているソフトウェアに基づいて各手段を制御するものであれば、特に制限はなく、目的に応じて適宜選択することができる。

【0027】
(断層撮影装置)
本発明の断層撮影装置としては、断層撮影手段と、仮想画像データ生成手段と、通信手段と、を有してなり、更に必要に応じて適宜選択したその他の部材を有していてもよい。また、本発明の断層撮影装置としては、例えば、CTスキャン装置、MRI(Magnetic Resonanse Imaging)装置などが挙げられる。

【0028】
<断層撮影手段>
前記断層撮影手段としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、X線、MRIなどが挙げられる。

【0029】
<仮想画像データ生成手段>
前記仮想画像データ生成手段としては、前記断層撮影手段により取得した断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成可能であれば、特に制限はなく、目的に応じて適宜選択することができる。

【0030】
<通信手段>
前記通信手段としては、接続されている装置などと通信可能であれば、特に制限はなく、目的に応じて適宜選択することができる。

【0031】
以下、本発明の前記識別標識体、及び前記識別標識体を用いた拡張現実技術による医療支援システムについての説明を行う。
前記識別標識体は、前記識別画像と、前記識別表示部品と、前記基体とを有している。前記基体には、患者の手術を行う部位に縫い付けるための前記縫着孔が設けられている。前記基体が前記縫着孔により前記部位に縫い付けられた後、前記識別画像が表示された識別表示部品が前記基体に固定される。つまり、前記部位に直接縫い付けられた前記基板に前記識別画像が固定されるため、前記撮影手段により前記識別画像が撮影された際に、前記識別画像を認識した位置、即ち、前記撮影画像における前記部位の表示位置で前記表示手段により前記患者の体内における立体的な部位の前記仮想画像を重畳させて表示する。

【0032】
前記医療支援システムは、前記識別標識体に加えて、前記撮影手段と、前記表示手段と、前記生成手段と、前記データ格納手段と、前記抽出手段と、を有している。
まず、前記生成手段は、撮影された前記患者の体内における立体的な部位の前記仮想画像データ毎に対応づけた前記識別画像の識別画像データを生成する。次に、前記データ格納手段は、前記仮想画像データと、前記生成手段により生成した前記識別画像データとをあらかじめ格納する。手術の際に、前記撮影手段は、前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影し、前記表示手段は、前記撮影手段により撮影された、前記識別標識体における識別画像を含む撮影画像を表示する。すると、前記抽出手段は、前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別画像を認識し、前記識別画像データを抽出する。前記医療支援システムは、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の体内の立体的な部位の仮想画像を、前記識別標識体の前記識別画像を認識した位置で、前記撮影画像に重畳させて前記表示手段により表示する。

【0033】
(実施例)
以下、この発明の一実施例につき、図面を参照しながら説明するが、本発明はこの実施例に何ら限定されるものではない。なお、各図面における「1」等の符号は、それぞれ同じものを意味している。

【0034】
図1Aは、本発明における識別標識体の一例を示す概略斜視図である。図1Bは、図1Aで示した識別標識体の概略断面図である。
図1A及び図1Bにおいて、識別標識体1は、識別画像11と、識別表示部品12と、基体20と、を有している。

【0035】
識別標識体1は、手術の際に患者の所定の部位に縫い付けられて固定され、識別画像11を固定するものである。
識別標識体1は、後述する撮影手段111により撮影されると、撮影手段111により撮影された撮影画像に、後述する断層撮影装置120によりあらかじめ撮影された患者の体内における立体的な部位の仮想画像を、撮影画像における識別画像11を認識した位置で、撮影画像に重畳させて表示するAR技術を利用するときに用いられる。

【0036】
識別画像11は、撮影手段111により撮影された際、表示手段112により前記対応する仮想画像を表示させるためのAR識別マーカである。

【0037】
識別表示部品12は、表面に識別画像11が表示されており、全体が基体20の枠組み22に嵌め込まれることにより固定される。また、識別表示部品12の表面は、識別画像11が光の正反射により誤認識されないように、光を拡散反射させる少なくとも1つの凹部を有しており、例えば、サンドブラスト加工されることにより微細な凹部が設けられている。

【0038】
基体20は、手術の際、患者の所定の部位に縫い付けられて固定される。また、基体20には、縫い付けられて固定される際に、後述する縫合糸101が通される4つの縫着孔21が設けられている。患者の所定の部位に縫着孔21により縫合糸101で固定された基体20は、表面に設けられた枠組み22により識別表示部品12の全体を嵌め込んで、識別表示部品12に表示された識別画像11を患者の所定の部位に固定する。なお、本実施例では、患者の所定の部位を肝臓とする。
また、基体の枠組みが識別表示部品の全体を固定するという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、図2A及び図2Bに示すようにすることができる。

【0039】
図2Aは、本発明における識別標識体の他の一例を示す概略斜視図である。図2Bは、図2Aで示した識別標識体の概略断面図である。
図2A及び図2Bにおいて、識別標識体2は、識別画像11と、識別表示部品12と、基体20とを有している。
識別画像11は、図1Aに示した識別画像11と同様であるため説明を省略する。

【0040】
識別表示部品12は、図1Aに示した識別表示部品12と同様に、表面に識別画像11が表示されており、裏面に図2Bに示すように少なくとも1つの突起部13が設けられ、この突起部13が基体20に設けられた嵌合孔23に嵌め込まれることにより固定される。

【0041】
基体20には、4つの縫着孔21が設けられており、この縫着孔21により患者の所定の部位に縫い付けられて固定される。また、基体20には、1つの嵌合孔23が設けられている。この嵌合孔23には、突起部13が嵌め込まれて識別表示部品12を固定する。
なお、基体が識別表示部品の全体又は突起部を嵌め込んで固定するという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、着脱可能に固定することができる。また、嵌合孔に突起部が嵌め込まれて識別表示部品が固定されるという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、貫通している孔ではなく溝とすることができる。更に、図1A及び図1B並びに図2A及び図2Bにおいて、基体に識別画像が表示された識別表示部品の全体又は一部を嵌め込んで固定するという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、図3A及び図3Bに示すように基体と識別表示部品とを一体にすることができる。
また、識別表示部品12及び基体20は、生体適合材料により形成されており、更に滅菌可能である。生体適合材料としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、ポリエーテルエーテルケトン(PEEK)、変性ポリフェニレンエーテルなどが挙げられる。

【0042】
図3Aは、本発明における識別標識体の他の一例を示す概略斜視図である。図3Bは、図3Aで示した識別標識体の概略断面図である。
図3A及び図3Bにおいて、識別標識体3は、識別画像11と、縫着孔21と、を有している。
識別画像11及び縫着孔21は、図1Aに示した識別画像11及び縫着孔21と同様であるため説明を省略する。
識別標識体3は、表面に識別画像11が表示されており、更に縫着孔21が設けられており、縫着孔21により患者の所定の部位に縫い付けられて固定される。

【0043】
次に、図1A及び図1Bで示した識別標識体1を、患者の所定の部位としての肝臓に固定する手順の一例について、図4A~図7Bを参照しながら説明する。
図4A、図5A、図6A、図7Aは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。図4B、図5B、図6B、図7Bは、図4A、図5A、図6A、図7Aで示した識別標識体をそれぞれ上方から見たときの説明図である。
図4A及び図4Bにおいて、縫合糸101が一端に係止された縫合針102を2つ用いて、肝臓301に2本の縫合糸101が通される。
図5A及び図5Bにおいて、基体20が有する4つの縫着孔21に2本の縫合糸101の両端部がそれぞれ通された状態で、基体20が肝臓301の上面に載置される。
図6A及び図6Bにおいて、2本の縫合糸101の両端部をそれぞれ結び、肝臓301に基体20を固定する。
図7A及び図7Bにおいて、肝臓301に固定された基体20に、識別表示部品12が嵌め合わされて固定されることにより、肝臓301に識別標識体1が固定される。
なお、肝臓301から識別標識体1を取り除く際は、図8に示すようにする。

【0044】
図8は、本発明における識別標識体を患者の所定の部位から取り外す手順を示す概略断面図である。
図8において、識別標識体1の一端を持ち上げて浮かせ、図中矢印Aで示す方向からメスなどにより縫合糸101を切断することにより、肝臓301から識別標識体1を取り外すことができる。

【0045】
次に、識別標識体を用いた拡張現実技術による医療支援システムについて説明する。
図9は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示す説明図である。
図9において、医療支援システム100は、識別標識体1と、入出力端末装置110と、断層撮影装置120と、ネットワーク130と、を有している。
識別標識体1は、図1A及び図1Bで示したものと同様であるので説明を省略する。

【0046】
入出力端末装置110は、例えば、タブレット型の端末などであり、デジタルビデオカメラ機能及び表示機能を有しており、患者の所定の部位を撮影した撮影画像を液晶表示画面に表示可能な端末である。

【0047】
断層撮影装置120は、例えば、CTスキャン装置、MRI装置などであり、患者の所定の部位の断層画像データを取得し、取得した断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成するものである。

【0048】
ネットワーク130は、入出力端末装置110と断層撮影装置120とを通信可能に接続するものであれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、インターネットなどが挙げられる。

【0049】
図10は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示すブロック図である。
図10において、医療支援システム100は、識別標識体1と、入出力端末装置110と、断層撮影装置120と、ネットワーク130と、を有している。

【0050】
入出力端末装置110は、撮影手段111と、表示手段112と、生成手段113と、データ格納手段114と、抽出手段115と、端末通信手段116と、制御手段117と、を有している。

【0051】
撮影手段111は、例えば、CMOSイメージセンサ、CCDイメージセンサ等を用いたデジタルビデオカメラ、デジタルビデオカメラ機能を有するタブレット型の端末などであり、手術の際に識別標識体1が縫い付けて固定されている患者の所定の部位を撮影する。

【0052】
表示手段112は、例えば、液晶ディスプレイ、デジタルビデオカメラ又はタブレット型の端末等に搭載されている液晶ディスプレイ、プロジェクタなどであり、撮影手段111により撮影した撮影画像を表示する。

【0053】
生成手段113は、あらかじめ撮影された患者の体内における立体的な部位の仮想画像データ毎に対応づけた識別画像の識別画像データを生成するものである。

【0054】
データ格納手段114は、例えば、RAM(Random Access Memory)などの記憶媒体であり、断層撮影装置120により送信された仮想画像データと、生成手段113により生成した識別画像データとを格納する。

【0055】
抽出手段115は、撮影画像の撮影画像データに基づいて、識別標識体の識別画像を認識し、認識した識別画像の表示、位置、姿勢、大きさの情報を含む識別画像データを抽出する。これにより、医療支援システム100は、抽出手段115の識別画像データに応じた種類、位置、姿勢、大きさの患者の体内における立体的な部位の仮想画像を表示手段112に表示することができる。

【0056】
端末通信手段116は、断層撮影装置120の後述する通信手段123と、ネットワーク130を介して通信可能に接続されており、断層撮影装置120により仮想画像データを受信する。

【0057】
制御手段117は、例えば、CPU(Centoral Processing Unit)などであり、記憶媒体などに記憶されているソフトウェアに基づいて各手段を制御するものであれば、特に制限はなく、目的に応じて適宜選択することができる。

【0058】
このように構成されている入出力端末装置110は、抽出手段115により抽出した識別画像データとデータ格納手段114に格納された識別画像データとを比較し、抽出手段115により抽出した識別画像データがデータ格納手段114の識別画像データのいずれかと一致すると判定した場合、一致するデータ格納手段114の識別画像データに対応する仮想画像データに基づいた患者の所定の部位の仮想画像を、識別標識体1の識別画像11を認識した位置で撮影画像に重畳させて表示する。
なお、この患者の所定の部位の仮想画像を、識別標識体の識別画像を認識した位置で撮影画像に重畳させて表示する動作は、入出力端末装置が行うと説明したが、特に制限はなく、目的に応じて適宜選択することができ、例えば、制御手段が行うようにしてもよい。

【0059】
断層撮影装置120は、例えば、CTスキャン装置であり、断層撮影手段121と、仮想画像データ生成手段122と、通信手段123と、を有している。

【0060】
断層撮影手段121は、例えば、X線、MRIであり、患者の体の断層画像データを取得する。

【0061】
仮想画像データ生成手段122は、断層撮影手段121により取得した断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成するものである。

【0062】
通信手段123は、入出力端末装置110の端末通信手段116と、ネットワーク130を介して通信可能に接続されており、仮想画像データ生成手段122により生成された仮想画像データをデータ格納手段114に格納するために送信する。

【0063】
次に、断層撮影装置及び入出力端末装置の処理の流れについて説明する。
断層撮影装置120が行う仮想画像データを生成して送信する処理を、図11の本発明における断層撮影装置が仮想画像データを生成して送信する処理の流れを示すフローチャートの図中Sで表すステップにしたがって、図10を参照しながら説明する。
図11において、断層撮影手段121が、患者の体の断層画像データを取得する(S11)。仮想画像データ生成手段122が、その断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成する(S12)。通信手段123が、仮想画像データ生成手段122が生成した仮想画像データを入出力端末装置110に送信し(S13)、本処理を終了する。

【0064】
次に、入出力端末装置110が行う仮想画像データに基づいて識別画像データを生成し、仮想画像データとともに格納する処理を、図12の本発明における入出力端末装置が識別画像データを生成して仮想画像データとともに格納する処理の流れを示すフローチャートの図中Sで表すステップにしたがって図10及び図14Aを参照しながら説明する。また、図14Aは、本発明における仮想画像のみを表示した際の画面を示す説明図である。
図12において、端末通信手段116が患者の体内における立体的な部位の仮想画像データを断層撮影装置120から受信する(S21)。生成手段113が仮想画像データ毎に対応づけた識別画像データを生成する(S22)。データ格納手段114が仮想画像データ及び識別画像データを格納し(S23)、本処理を終了する。
なお、S23でデータ格納手段114に格納した仮想画像データに基づき、図14Aで示すように、肝臓の仮想画像401を表示手段112に表示した際には、肝臓自体の外形の仮想画像のみならず、肝臓の血管の仮想画像についても表示することができる。

【0065】
次に、入出力端末装置110が行う仮想画像データに基づいて識別画像データを生成し、仮想画像データとともに格納する処理を、図13の本発明における入出力端末装置が仮想画像を撮影画像に重畳させて表示する処理の流れを示すフローチャートの図中Sで表すステップにしたがって図10、図14B、及び図14Cを参照しながら説明する。
また、図14Bは、本発明における識別標識体及び肝臓を撮影した際の撮影画像を表示した画面を示す説明図である。図14Cは、本発明における識別標識体及び肝臓を撮影した際に肝臓の仮想画像を重畳させて表示した画面を示す説明図である。
図13において、撮影手段111が患者の肝臓301を撮影する(S31)。このとき、抽出手段115が肝臓301を撮影した撮影画像に識別画像11が含まれていないと判定するとS31へ処理を移行する。また、図14Bで示すように、抽出手段115が肝臓301を撮影した撮影画像に識別画像11が含まれていると認識して判定するとS33へ処理を移行する(S32)。撮影画像に識別画像11が含まれていると認識して判定した場合、抽出手段115が識別画像11を抽出する(S33)。入出力端末装置110が抽出した識別画像11と格納した識別画像とが一致するか否かを判定し、一致すると判定すると処理をS35に移行し、一致しないと判定すると処理をS31に移行する(S34)。抽出手段115が一致すると判定した場合、図14Cに示すように、入出力端末装置110が肝臓の仮想画像を肝臓301の撮影画像に重畳させて表示し(S35)、本処理を終了する。
【産業上の利用可能性】
【0066】
本発明の識別標識体、及び識別標識体を用いた医療支援システムは、人体等の開腹手術などの医療行為において、本発明の識別標識体を、患者の所定の部位に固定することにより、好適に利用することができる。
【符号の説明】
【0067】
1 識別標識体
11 識別画像
12 識別表示部品
13 突起部
20 基体
21 縫着孔
22 枠組み
23 嵌合孔
100 医療支援システム
110 入出力端末装置
111 撮影手段
112 表示手段
113 生成手段
114 データ格納手段
115 抽出手段
116 端末通信手段
117 制御手段
120 断層撮影装置
121 断層撮影手段
122 仮想画像データ生成手段
123 通信手段
130 ネットワーク
201 縫合糸
202 縫合針
301 肝臓
401 肝臓の仮想画像
図面
【図1A】
0
【図1B】
1
【図2A】
2
【図2B】
3
【図3A】
4
【図3B】
5
【図4A】
6
【図4B】
7
【図5A】
8
【図5B】
9
【図6A】
10
【図6B】
11
【図7A】
12
【図7B】
13
【図8】
14
【図9】
15
【図10】
16
【図11】
17
【図12】
18
【図13】
19
【図14A】
20
【図14B】
21
【図14C】
22