TOP > 国内特許検索 > 透過型ヘッドマウントディスプレイ装置及びプログラム > 明細書

明細書 :透過型ヘッドマウントディスプレイ装置及びプログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-014160 (P2020-014160A)
公開日 令和2年1月23日(2020.1.23)
発明の名称または考案の名称 透過型ヘッドマウントディスプレイ装置及びプログラム
国際特許分類 H04N   5/66        (2006.01)
A61B   1/00        (2006.01)
A61B   1/045       (2006.01)
G02C  11/00        (2006.01)
G06F   3/01        (2006.01)
FI H04N 5/66 Z
A61B 1/00 522
A61B 1/045 622
G02C 11/00
G06F 3/01 515
請求項の数または発明の数 10
出願形態 OL
全頁数 15
出願番号 特願2018-136222 (P2018-136222)
出願日 平成30年7月19日(2018.7.19)
発明者または考案者 【氏名】河本 浩明
【氏名】朝倉 靖成
【氏名】上原 皓
【氏名】丸島 愛樹
【氏名】松村 英明
出願人 【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
個別代理人の代理人 【識別番号】100106909、【弁理士】、【氏名又は名称】棚井 澄雄
【識別番号】100188558、【弁理士】、【氏名又は名称】飯田 雅人
【識別番号】100169764、【弁理士】、【氏名又は名称】清水 雄一郎
審査請求 未請求
テーマコード 2H006
4C161
5C058
5E555
Fターム 2H006CA00
4C161BB05
4C161VV01
4C161WW03
4C161WW04
4C161WW15
5C058AA06
5C058AA18
5C058BA17
5E555AA11
5E555BA22
5E555BB22
5E555BB38
5E555BC08
5E555BE10
5E555CA41
5E555CA42
5E555CB69
5E555CC24
5E555DA08
5E555DA09
5E555DB57
5E555DC09
5E555DC26
5E555FA00
要約 【課題】使い勝手を向上させることができる透過型ヘッドマウントディスプレイ装置及びプログラムを提供する。
【解決手段】透過型ヘッドマウントディスプレイ装置は、被写体を撮像する撮像部と、被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、撮像部が撮像する被写体の像が拡大された拡大画像を生成するとともに、生成した拡大画像を示す画像信号を透過型表示部に出力することにより、透過型表示部の表示面の少なくとも一部に拡大画像を表示させる表示制御部とを備える。
【選択図】図1
特許請求の範囲 【請求項1】
被写体を撮像する撮像部と、
前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、
前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成するとともに、生成した前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる表示制御部と、
を備える透過型ヘッドマウントディスプレイ装置。
【請求項2】
装着者の顔の筋肉の状態を検出する筋状態検出部
をさらに備え、
前記表示制御部は、前記筋状態検出部の検出結果に基づいて前記拡大画像を生成する
請求項1に記載の透過型ヘッドマウントディスプレイ装置。
【請求項3】
前記筋状態検出部の検出結果に基づいて、前記拡大画像の拡大率を算出する拡大率算出部
をさらに備え、
前記表示制御部は、
前記拡大率算出部が算出する前記拡大率に応じた前記拡大画像を生成する
請求項2に記載の透過型ヘッドマウントディスプレイ装置。
【請求項4】
前記筋状態検出部の検出結果に基づいて、前記拡大画像の前記表示面における表示面積を算出する表示面積算出部
をさらに備え、
前記表示制御部は、
前記表示面積算出部が算出する前記表示面積に応じた前記拡大画像を生成する
請求項2又は請求項3に記載の透過型ヘッドマウントディスプレイ装置。
【請求項5】
前記表示制御部は、
予め記憶されている前記被写体の三次元画像を、前記表示面を介して装着者に視認される前記被写体の像に重ねて前記表示面に表示させる
請求項1から請求項4のいずれか一項に記載の透過型ヘッドマウントディスプレイ装置。
【請求項6】
前記表示面を介して装着者に視認される前記被写体の像とは、前記拡大画像である
請求項5に記載の透過型ヘッドマウントディスプレイ装置。
【請求項7】
前記表示面を介して装着者に視認される前記被写体の像とは、前記表示面を透過する光による前記被写体の像である
請求項5に記載の透過型ヘッドマウントディスプレイ装置。
【請求項8】
前記被写体とは手術中の患者であり、
前記患者の容体を示す患者情報を取得する患者情報取得部と、
予め記憶されている手術手順情報と、前記患者に対する手術の状況を示す手術状況情報とに基づいて、手術の状況を判定する状況判定部と、
をさらに備え、
前記表示制御部は、
前記状況判定部の判定結果に基づいて、前記患者情報取得部が取得する前記患者情報に基づく患者情報画像を前記表示面に表示させる
請求項1から請求項7のいずれか一項に記載の透過型ヘッドマウントディスプレイ装置。
【請求項9】
前記拡大画像と、前記表示制御部が画像を拡大する前の前記被写体の画像とを、記憶部に記憶させる画像記憶制御部
をさらに備える請求項1から請求項7のいずれか一項に記載の透過型ヘッドマウントディスプレイ装置。
【請求項10】
被写体を撮像する撮像部と、前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、を備える透過型ヘッドマウントディスプレイ装置のコンピュータに、
前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成する拡大画像生成ステップと、
前記拡大画像生成ステップにおいて生成された前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる画像信号出力ステップと、
を実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、透過型ヘッドマウントディスプレイ装置及びプログラムに関する。
【背景技術】
【0002】
従来、例えば手術時の術野の像を拡大するルーペ機能と、拡大された像を撮像して記録する撮像機能とを併せ持つ双眼ルーペに関する技術が開示されている(例えば、特許文献1を参照)。
【先行技術文献】
【0003】

【特許文献1】特開2003-204972号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に示すような従来技術によると、拡大倍率が容易に変更できないために作業内容に応じた視野が得られなかったり、像を拡大することにより視野が狭まるために視野範囲外の異変に気づきにくかったりするという課題があった。また、例えば手術中においては、装着者(例えば、医師などの術者)は、手技のために両手や両足がふさがっていることがある。したがって、仮に拡大倍率などを変更する機能を有していたとしても、その操作に手や足などを使えないという操作上の制約も生じていた。すなわち、従来技術によると、装着者にとって使い勝手のよい製品を提供することができないという課題があった。
【課題を解決するための手段】
【0005】
本発明の一実施形態は、被写体を撮像する撮像部と、前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成するとともに、生成した前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる表示制御部とを備える透過型ヘッドマウントディスプレイ装置である。
【0006】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、装着者の顔の筋肉の状態を検出する筋状態検出部をさらに備え、前記表示制御部は、前記筋状態検出部の検出結果に基づいて前記拡大画像を生成する。
【0007】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記筋状態検出部の検出結果に基づいて、前記拡大画像の拡大率を算出する拡大率算出部をさらに備え、前記表示制御部は、前記拡大率算出部が算出する前記拡大率に応じた前記拡大画像を生成する。
【0008】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記筋状態検出部の検出結果に基づいて、前記拡大画像の前記表示面における表示面積を算出する表示面積算出部をさらに備え、前記表示制御部は、前記表示面積算出部が算出する前記表示面積に応じた前記拡大画像を生成する。
【0009】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記表示制御部は、予め記憶されている前記被写体の三次元画像を、前記表示面を介して装着者に視認される前記被写体の像に重ねて前記表示面に表示させる。
【0010】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記表示面を介して装着者に視認される前記被写体の像とは、前記拡大画像である。
【0011】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記表示面を介して装着者に視認される前記被写体の像とは、前記表示面を透過する光による前記被写体の像である。
【0012】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記被写体とは手術中の患者であり、前記患者の容体を示す患者情報を取得する患者情報取得部と、予め記憶されている手術手順情報と、前記患者に対する手術の状況を示す手術状況情報とに基づいて、手術の状況を判定する状況判定部とをさらに備え、前記表示制御部は、前記状況判定部の判定結果に基づいて、前記患者情報取得部が取得する前記患者情報に基づく患者情報画像を前記表示面に表示させる。
【0013】
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記拡大画像と、前記表示制御部が画像を拡大する前の前記被写体の画像とを、記憶部に記憶させる画像記憶制御部をさらに備える。
【0014】
本発明の一実施形態は、被写体を撮像する撮像部と、前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、を備える透過型ヘッドマウントディスプレイ装置のコンピュータに、前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成する拡大画像生成ステップと、前記拡大画像生成ステップにおいて生成された前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる画像信号出力ステップとを実行させるためのプログラムである。
【発明の効果】
【0015】
本発明によれば、使い勝手を向上させることができる透過型ヘッドマウントディスプレイ装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】本実施形態の透過型ヘッドマウントディスプレイ装置の外観構成の一例を示す図である。
【図2】本実施形態の透過型ヘッドマウントディスプレイ装置の機能構成の一例を示す図である。
【図3】本実施形態の透過型ヘッドマウントディスプレイ装置の表示形態の概要を示す図である。
【図4】本実施形態の表示制御部が表示させる拡大画像の一例を示す図である。
【図5】本実施形態の透過型ヘッドマウントディスプレイ装置の動作の一例を示す図である。
【図6】本実施形態の拡大画像の拡大率の変更の具体例を示す図である。
【図7】本実施形態の拡大画像の表示面積の変更の具体例を示す図である。
【発明を実施するための形態】
【0017】
[実施形態]
以下、図面を参照して本実施形態の透過型ヘッドマウントディスプレイ装置10について説明する。

【0018】
[透過型ヘッドマウントディスプレイ装置10の外観構成]
図1は、本実施形態の透過型ヘッドマウントディスプレイ装置10の外観構成の一例を示す図である。
透過型ヘッドマウントディスプレイ装置10は、装着者WRの頭部に装着される。透過型ヘッドマウントディスプレイ装置10は、筋状態センサ20に接続される。筋状態センサ20は、装着者WRの顔の筋肉の状態を取得する。ここで、「筋肉の状態」との用語には、筋電位、筋肉又は皮膚の変位量、皮膚の皺の数や形状などの意味が含まれる。本実施形態の一例では、筋状態センサ20は、装着者WRの顔の筋肉の筋電位を取得する。
また、透過型ヘッドマウントディスプレイ装置10は、撮像部CAMと、透過型表示部DSと、表示制御部100とを備える。この透過型ヘッドマウントディスプレイ装置10の機能構成について図2を参照して説明する。

【0019】
[透過型ヘッドマウントディスプレイ装置10の機能構成]
図2は、本実施形態の透過型ヘッドマウントディスプレイ装置10の機能構成の一例を示す図である。透過型ヘッドマウントディスプレイ装置10は、上述した撮像部CAM、透過型表示部DS及び表示制御部100の他に、筋状態検出部200と、相対位置検出部300と、三次元画像取得部400と、手術手順情報取得部500と、患者情報取得部600とを備える。
これら各部のうち、まず撮像部CAM、透過型表示部DS、表示制御部100及び筋状態検出部200について説明する。相対位置検出部300、三次元画像取得部400、手術手順情報取得部500及び患者情報取得部600については、後述の「変形例」において説明する。

【0020】
撮像部CAMは、例えば動画カラーカメラなどを備えており、被写体SJを撮像する。撮像部CAMは、撮像した被写体SJの像を示す画像信号CPを表示制御部100に出力する。
透過型表示部DSは、透明の液晶ディスプレイなどを備えており、光を透過させるとともに、表示制御部100の制御に基づく画像IMGを表示可能である。これら撮像部CAMが撮像する像及び透過型表示部DSに表示される画像IMGの表示形態について、図3を参照して説明する。

【0021】
[表示形態の概要]
図3は、本実施形態の透過型ヘッドマウントディスプレイ装置10の表示形態の概要を示す図である。被写体SJから透過型表示部DSに対して入射する光(入射光L1)は、透過型表示部DSを透過して透過光L1aとなり、装着者WRの目EYEに到達する。また、被写体SJから撮像部CAMに入射する光(被写体光L3)は、撮像部CAMに撮像される。撮像部CAMに撮像された被写体光L3は、表示制御部100によって画像処理され、透過型表示部DSの表示面SFに画像IMG(例えば、拡大画像PZ)として表示される。

【0022】
すなわち、透過型表示部DSは、被写体SJから入射する入射光L1を装着者WRの目EYEに対して透過させつつ、入力される画像信号PSに基づく画像IMGを装着者WRの目EYEに対して表示する。

【0023】
ここで、撮像部CAMが撮像した画像IMGが透過型表示部DSの表示面SFに表示された場合に、透過型表示部DSの表示面SFを透過して装着者WRに視認される像と重なり合うように、撮像部CAMの撮像方向及び画角が定められていることが好ましい。

【0024】
表示制御部100は、撮像部CAMが撮像する被写体SJの像が拡大された拡大画像PZを生成する。表示制御部100は、生成した拡大画像PZを示す画像信号PSを透過型表示部DSに出力することにより、透過型表示部DSの表示面SFの少なくとも一部に拡大画像PZを表示させる。
ここで、「表示面SFの少なくとも一部に拡大画像PZを表示させる」とは、表示面SFの表示可能面積のうちの一部の領域に拡大画像PZが表示されることと、表示制御部100が動作している時間のうちの一部の時間帯に拡大画像PZが表示されることとのいずれもが含まれる。

【0025】
[拡大画像PZの一例]
図4は、本実施形態の表示制御部100が表示させる拡大画像PZの一例を示す図である。この一例では、被写体SJとは、手術中の患者PTの一部(例えば、術野)である。また、装着者WRとは、手術中の医師である。装着者WRは、透過型ヘッドマウントディスプレイ装置10を装着しながら被写体SJを見る。この場合、被写体SJから透過型表示部DSの表示面SFを透過した透過光L1aは、装着者WRに被写体像TIとして視認される。表示制御部100は、この被写体像TIのうちの一部を拡大した画像IMGを拡大画像PZとして表示面SFに表示させる。この結果、表示面SFを見る装着者WRには、被写体像TIと拡大画像PZとが重なって視認される。

【0026】
[拡大画像PZの表示態様の変更]
次に、表示制御部100による拡大画像PZの表示態様の変更について説明する。
透過型ヘッドマウントディスプレイ装置10は、筋状態検出部200を備えている。表示制御部100は、筋状態検出部200の筋状態検出結果MSに基づいて拡大画像PZを生成する。ここで、筋状態検出部200は、筋状態センサ20が出力する筋状態信号MSGに基づいて、装着者WRの顔の筋肉の状態を検出する。この一例では、筋状態センサ20は、装着者WRの右目の周囲に貼付される右目用センサSREと、装着者WRの左目の周囲に貼付される左目用センサSLEとを備えている。筋状態センサ20は、右目用センサSREによって装着者WRの右目周辺の顔の筋肉(例えば、眼輪筋、側頭筋など)の筋電位を取得する。筋状態センサ20は、左目用センサSLEによって装着者WRの左目周辺の顔の筋肉(例えば、眼輪筋、側頭筋など)の筋電位を取得する。すなわち、本実施形態の一例の構成によると、筋状態センサ20は、装着者WRの右目の筋電位と、左目の筋電位とを個別に取得可能である。筋状態センサ20は、取得した筋電位を示す筋状態信号MSGを筋状態検出部200に出力する。
筋状態検出部200は、筋状態センサ20が出力する筋状態信号MSGに基づいて、装着者WRの目の筋肉の状態を検出する。本実施形態の一例では、筋状態検出部200は、左目右目それぞれについて、眼瞼を閉じる動作又は眼瞼を開く動作を検出可能である。

【0027】
なお、本実施形態の一例において筋状態検出部200は、開瞼動作や閉瞼動作を検出するとして説明するが、これに限られない。筋状態検出部200は、口や顎の動作(例えば、奥歯の噛みしめ動作や口をあける動作)を検出するものであってもかまわない。

【0028】
表示制御部100は、筋状態検出部200が検出する装着者WRの筋肉の状態に応じて、透過型表示部DSに表示させる画像IMGを変更する。本実施形態の一例では、右目の動作が、透過型表示部DSに表示される画像IMGの拡大率ZRの変更操作に割り当てられている。また、左目の動作が、透過型表示部DSに表示される画像IMGの表示面積DAの変更操作に割り当てられている。なお、この目の動作と変更操作との割り当ての関係は一例であって、例えば、右目の動作が表示面積DAの変更操作に、左目の動作が拡大率ZRの変更操作に、それぞれ割り当てられていてもよい。

【0029】
[拡大率ZRの変更]
表示制御部100は、画像生成部110と、拡大率算出部120と、表示面積算出部130とを備えている。
拡大率算出部120は、筋状態検出部200の筋状態検出結果MSに基づいて、拡大画像PZの拡大率ZRを算出する。画像生成部110は、拡大率算出部120が算出する拡大率ZRに応じた拡大画像PZを生成する。

【0030】
[表示面積DAの変更]
筋状態検出部200の筋状態検出結果MSに基づいて、拡大画像PZの表示面SFにおける表示面積DAを算出する。画像生成部110は、表示面積算出部130が算出する表示面積DAに応じた拡大画像PZを生成する。

【0031】
[透過型ヘッドマウントディスプレイ装置10の動作の一例]
次に図5を参照して、透過型ヘッドマウントディスプレイ装置10の動作の一例について説明する。

【0032】
図5は、本実施形態の透過型ヘッドマウントディスプレイ装置10の動作の一例を示す図である。
(ステップS10)撮像部CAMは、被写体SJを撮像する。撮像部CAMは、撮像した像の画像信号CPを表示制御部100に対して出力する。表示制御部100の画像生成部110は、画像信号CPを取得する。
(ステップS20)筋状態検出部200は、筋状態信号MSGを取得する。この筋状態信号MSGは、装着者WRの右目及び左目のそれぞれの筋肉の状態を示す。筋状態検出部200は、取得した筋状態信号MSGに基づいて、右目の開瞼又は閉瞼、及び左目の開瞼又は閉瞼を検出して、筋状態検出結果MSを生成する。筋状態検出部200は、筋状態検出結果MSを拡大率算出部120及び表示面積算出部130に出力する。この一例では、筋状態検出部200は、右目の筋状態検出結果MSを拡大率算出部120に、左目の筋状態検出結果MSを表示面積算出部130にそれぞれ出力する。筋状態検出部200は、右目の開瞼又は閉瞼が行われた場合(ステップS30;YES)には、処理をステップS40に進める。筋状態検出部200は、左目の開瞼又は閉瞼が行われた場合(ステップS30;NO)には、処理をステップS70に進める。

【0033】
なお、ここでいう開瞼動作(又は、単に開瞼)には、瞼を閉じた状態から開いた状態にする動作や、瞼を開いた状態からさらに大きく開く動作が含まれる。また、ここでいう閉瞼動作(又は、単に閉瞼)には、瞼を開いた状態から閉じた状態にする動作や、瞼を開いた状態から閉じきらずに細める動作や、瞼を閉じた状態からさらにきつく閉じる動作が含まれる。
また、開瞼動作又は閉瞼動作の筋状態検出部200による判定条件(筋電位の変化の幅やしきい値など。)は、装着者WRごとに設定可能であってもよい。この場合には、装着者WRは、透過型ヘッドマウントディスプレイ装置10の初期設定時のキャリブレーション操作によって、開瞼動作又は閉瞼動作の判定条件を登録する。

【0034】
[右目の動作:拡大率ZRの変更]
この一例では、右目の開瞼動作が拡大画像PZの倍率拡大に、閉瞼動作が拡大画像PZの倍率縮小にそれぞれ割り当てられている。
(ステップS40)拡大率算出部120は、筋状態信号MSGが右目の開瞼動作を示す場合(ステップS40;YES)には、拡大画像PZの拡大率ZRを拡大する(ステップS50)。また、拡大率算出部120は、筋状態信号MSGが右目の閉瞼動作を示す場合(ステップS40;NO)には、拡大画像PZの拡大率ZRを縮小する(ステップS60)。

【0035】
図6は、本実施形態の拡大画像PZの拡大率ZRの変更の具体例を示す図である。同図(A)~(C)には、拡大率ZRが3倍である拡大画像PZ(拡大画像PZ1)、4倍である拡大画像PZ(拡大画像PZ2)、5倍である拡大画像PZ(拡大画像PZ3)をそれぞれ示す。ここで、拡大率ZRとは、透過型表示部DSの表示面SFを透過する被写体像TIの像の大きさに対する拡大画像PZの像の大きさの比である。
なお、この一例では、拡大率ZRが3倍~5倍の3段階に変化するように説明したが、これに限られない。拡大率ZRは、2段階や4段階以上に変化してもよく、実質上無段階に変化してもよい。

【0036】
[左目の動作:表示面積DAの変更]
図5に戻り、この一例では、左目の開瞼動作が拡大画像PZの表示面積DAの拡大に、閉瞼動作が拡大画像PZの表示面積DAの縮小にそれぞれ割り当てられている。
(ステップS70)表示面積算出部130は、筋状態信号MSGが左目の開瞼動作を示す場合(ステップS70;YES)には、拡大画像PZの表示面積DAを拡大する(ステップS80)。また、表示面積算出部130は、筋状態信号MSGが左目の閉瞼動作を示す場合(ステップS70;NO)には、拡大画像PZの表示面積DAを縮小する(ステップS90)。

【0037】
図7は、本実施形態の拡大画像PZの表示面積DAの変更の具体例を示す図である。同図(A)~(C)には、表示面積DAが小さい場合の拡大画像PZ(拡大画像PZ11)、中程度である拡大画像PZ(拡大画像PZ12)、大きい拡大画像PZ(拡大画像PZ13)をそれぞれ示す。ここで、表示面積DAとは、透過型表示部DSの表示面SFに表示される拡大画像PZの面積である。また、表示面積DAとは、表示面SFの全面積に対する拡大画像PZの面積の比であってもよい。
なお、この一例では、表示面積DAが小~大の3段階に変化するように説明したが、これに限られない。表示面積DAは、2段階や4段階以上に変化してもよく、実質上無段階に変化してもよい。

【0038】
(ステップS100)図5に戻り、画像生成部110は、ステップS40~ステップS60において算出された拡大率ZR、又はステップS70~ステップS90において算出された表示面積DAに基づいて、撮像部CAMが出力した画像信号CPを画像処理して、拡大画像PZを生成する。画像生成部110は、生成した拡大画像PZを透過型表示部DSに出力する。これにより、透過型表示部DSには、拡大画像PZが表示される。

【0039】
[実施形態のまとめ]
以上説明したように、透過型ヘッドマウントディスプレイ装置10は、表示制御部100は、透過型表示部DSの表示面SFの少なくとも一部に拡大画像PZを表示させる。このように構成された透過型ヘッドマウントディスプレイ装置10によれば、装着者WRに対して透過像と拡大画像PZとを同時に提示することができる。
また、透過型ヘッドマウントディスプレイ装置10は、透過型表示部DSの表示面SFの全面に拡大画像PZを表示させることにより、表示面積DAの比較的大きな拡大画像PZを提示することができる。表示面積DAの比較的大きな拡大画像PZが提示されることにより、装着者WRは、拡大画像PZの拡大率ZRが比較的大きい場合であっても、拡大画像PZの画角(視野)を比較的大きくすることができる。
また、透過型ヘッドマウントディスプレイ装置10は、透過型表示部DSの表示面SFの一部に拡大画像PZを表示させることにより、拡大画像PZを表示しない部分に、拡大画像PZの周囲視野を透過させて提示することができる。ここで一般に拡大鏡などによって被写体SJを拡大して観察している場合に、拡大された部分とともに、拡大された部分の周囲を同時に観察できることが好ましい。例えば、被写体SJが手術中の患者PTの術野である場合に、拡大された部分の周囲において出血等の異変が発生している場合がある。透過型ヘッドマウントディスプレイ装置10は、装着者WRに対して、拡大画像PZの周囲視野を提示することにより、拡大画像PZの周囲の異変(例えば、手術中の出血)等に気づかせやすくすることができる。

【0040】
また、拡大画像PZの拡大率ZRは、小さすぎても大きすぎても装着者WRにとって不便であるため、状況によって変更できることが望ましい。透過型ヘッドマウントディスプレイ装置10は、装着者WRの顔の筋肉の状態に応じた操作に基づいて、拡大率ZRを変更する。このように構成された透過型ヘッドマウントディスプレイ装置10によれば、装着者WRは、両手両足がふさがった状態(例えば、手術中)であっても拡大画像PZの拡大率ZRを変更することができる。

【0041】
また、拡大画像PZの表示面積DAは、小さすぎても大きすぎても装着者WRにとって不便であるため、状況によって変更できることが望ましい。透過型ヘッドマウントディスプレイ装置10は、装着者WRの顔の筋肉の状態に応じた操作に基づいて、表示面積DAを変更する。このように構成された透過型ヘッドマウントディスプレイ装置10によれば、装着者WRは、両手両足がふさがった状態(例えば、手術中)であっても拡大画像PZの表示面積DAを変更することができる。

【0042】
[変形例]
再び図2及び図4を参照して、透過型ヘッドマウントディスプレイ装置10の変形例について説明する。

【0043】
[画像重畳機能(MRI/CTの3次元画像)]
透過型ヘッドマウントディスプレイ装置10は、三次元画像取得部400を備えていてもよい。三次元画像記憶部30には、被写体SJの三次元画像TDIが予め記憶されている。ここで、被写体SJの三次元画像TDIとは、被写体SJが患者PTである場合、患者PTの術野のCT(Computed Tomography)や、MRI(magnetic resonance imaging)による画像が含まれる。
三次元画像取得部400は、三次元画像記憶部30から三次元画像TDIを取得する。三次元画像取得部400は、取得した画像生成部110に出力する。画像生成部110は、拡大画像PZとともに、三次元画像TDIを透過型表示部DSの表示面SFに表示させる。

【0044】
画像生成部110は、三次元画像TDIを、表示面SFを介して装着者WRに視認される被写体SJの像に重ねて表示面SFに表示させてもよい。

【0045】
[その1:拡大画像PZに対する三次元画像TDIの重畳表示]
表示制御部100、拡大画像PZに対して三次元画像TDIを重畳表示させる。具体的には、相対位置検出部300は、被写体SJに対する透過型ヘッドマウントディスプレイ装置10の相対位置を、既知の手法によって検出する。より具体的には、相対位置検出部300は、拡大画像PZに示される画像の大きさ、位置及び方向と、三次元画像TDIに示される画像の大きさ、位置及び方向との相対差を、パターンマッチングなどの手法により算出する。
相対位置検出部300は、算出した相対差を相対位置情報RPとして画像生成部110に出力する。
画像生成部110は、相対位置検出部300が算出した相対位置情報RPに基づいて三次元画像TDIの表示サイズ、表示倍率、表示位置及び表示方向を算出し、三次元画像TDIの画像変換を行う。
画像生成部110は、画像変換後の三次元画像TDIを透過型表示部DSの表示面SFに表示させる。この結果、表示面SFには、拡大画像PZが示す画像と、三次元画像TDIが示す画像とが重畳表示される。
この一例の場合、表示面SFを介して装着者WRに視認される被写体SJの像とは、拡大画像PZである。

【0046】
[その2:透過光L1aによる透過像に対する三次元画像TDIの重畳表示]
表示制御部100、透過光L1aによる被写体SJの像(透過像)に対して三次元画像TDIを重畳表示させる。具体的には、相対位置検出部300は、被写体SJに対する透過型ヘッドマウントディスプレイ装置10の相対位置を、既知の手法によって検出する。より具体的には、相対位置検出部300は、撮像部CAMが撮像した画像(すなわち、画像生成部110による拡大前の画像)に示される画像の大きさ、位置及び方向と、三次元画像TDIに示される画像の大きさ、位置及び方向との相対差を、パターンマッチングなどの手法により算出する。
相対位置検出部300は、算出した相対差を相対位置情報RPとして画像生成部110に出力する。
画像生成部110は、相対位置検出部300が算出した相対位置情報RPに基づいて三次元画像TDIの表示サイズ、表示倍率、表示位置及び表示方向を算出し、三次元画像TDIの画像変換を行う。
画像生成部110は、画像変換後の三次元画像TDIを透過型表示部DSの表示面SFに表示させる。この結果、表示面SFには、透過光L1aによる被写体SJの像と、三次元画像TDIが示す画像とが重畳表示される。
この一例の場合、表示面SFを介して装着者WRに視認される被写体SJの像とは、表示面SFを透過する透過光L1aによる被写体SJの像である。

【0047】
このように構成された透過型ヘッドマウントディスプレイ装置10によれば、装着者WRは、表示面SFを透過する透過像や、拡大画像PZ(すなわち、現在撮像されているライブ画像)と、三次元画像TDI(すなわち、予め記憶されている過去画像)とを比較しつつ、作業を進めることができる。例えば、被写体SJが手術中の患者PTである場合に、装着者WR(例えば、手術中の医師)は、透過像や拡大画像PZが示す部分(例えば、血管)を手術によって切開する前に、当該部分の構造を把握することができる。したがって、本変形例の透過型ヘッドマウントディスプレイ装置10によれば、三次元画像TDIを手術などの作業のガイド画像として提示することができるため、作業をより精度よく進めることができる。

【0048】
[患者情報の表示機能]
被写体SJが手術中の患者PTである場合において、透過型ヘッドマウントディスプレイ装置10は、手術手順情報取得部500及び患者情報取得部600を備えていてもよい。
手術手順情報取得部500は、手術手順情報記憶部40に記憶されている手術手順情報SIを取得する。この手術手順情報SIには、患者PTの手術の術式に応じた手術の手順、手術手順の各段階における患者PTの容体(例えば、体温、心拍数、呼吸状態、血圧、酸素飽和度、血糖値、脳波、尿量)の管理値が含まれている。
患者情報取得部600は、既存のモニタ装置50が出力する患者情報PIを取得する。患者情報PIは、手術中の患者PTの容体を示す。この患者情報PIには、手術手順情報取得部500が取得する手術手順情報SIに応じた各種の情報が含まれている。

【0049】
表示制御部100は、状況判定部140を備える。状況判定部140は、手術手順情報取得部500が取得する手術手順情報SIと、患者PTに対する手術の状況を示す手術状況情報SSとに基づいて、手術の状況を判定する。ここで、手術状況情報SSとは、例えば撮像部CAMによって撮像された画像である。

【0050】
一例として、状況判定部140は、撮像部CAMによって撮像された画像と、手術手順情報SIが示す手術の進行状況との関係が予め学習された機械学習モデルを有している。状況判定部140は、撮像部CAMによって撮像された画像を取得すると、この画像の内容を機械学習モデルが解釈することにより手術の進行状況を判定し、判定結果としての手術状況情報SSを生成する。状況判定部140は、生成した手術状況情報SSと、手術手順情報SIとを比較することにより、手術中の患者PTの容体が安定しているか否か(又は、手術が順調に進行しているか否か)を判定する。

【0051】
一例として、手術手順情報SIに、手術の各進行段階における患者PTの血圧変化の計画値が含まれる場合について説明する。
状況判定部140は、撮像部CAMによって撮像された画像(つまり、手術状況情報SS)に基づいて、手術の進行段階を判定する。状況判定部140は、この手術の進行段階に対応する患者PTの血圧変化の計画値を手術手順情報SIから取得する。状況判定部140は、取得した血圧変化の計画値と、モニタ装置50による患者情報PIが示す患者PTの血圧変化(すなわち、モニタ値)とを比較する。状況判定部140は、計画値とモニタ値とが所定値以上に乖離している場合には、患者PTの容体が安定していないと判定する。状況判定部140が患者PTの容体が安定していないと判定している場合、画像生成部110は、患者情報PI(例えば、心拍数HR、酸素飽和度SpO2、血圧BP)を示す患者情報画像PPIを透過型表示部DSに提示する(図4を参照)。

【0052】
すなわち、状況判定部140は、予め記憶されている手術手順情報SIと、患者PTに対する手術の状況を示す手術状況情報SSとに基づいて、手術の状況を判定する。
また、画像生成部110は、状況判定部140の判定結果に基づいて、患者情報取得部600が取得する患者情報PIに基づく患者情報画像PPIを表示面SFに表示させる。

【0053】
このように構成された透過型ヘッドマウントディスプレイ装置10によれば、患者PTの容体が変化した場合に、警告音や点滅光などを発する従来手法に比べて、より具体的かつ精密な情報を装着者WRに提供することができる。
また、手術手順情報SIには、手術に使用する器具、医療器材の種類や個数が含まれていてもよい。この場合、状況判定部140は、手術創の閉創時までに患者PTの体内から取り出すべき器具や医療器材が体内から適切に取り出されているか否かの状況判定をすることもできる。

【0054】
[画像ストレージ機能]
また、透過型ヘッドマウントディスプレイ装置10は、画像記憶制御部150を備えていてもよい。画像記憶制御部150は、拡大画像PZと、表示制御部100が画像を拡大する前の被写体SJの画像とを、画像記憶部60に記憶させる。これにより、例えば、熟練者に透過型ヘッドマウントディスプレイ装置10を装着させて画像記録することにより、熟練者である装着者WRの作業を、熟練者の視点からの画像として記録して、熟練者の手技を共有化することができる。
また、このように構成された透過型ヘッドマウントディスプレイ装置10によれば、拡大画像PZだけでなく、拡大画像PZの周囲視野の画像を併せて記録させることができる。このように構成することにより、熟練者がどの程度の周囲視野を把握しつつ作業を進めているのか、という点も含めて熟練者の手技を共有化することができる。
なお、画像記憶部60は、透過型ヘッドマウントディスプレイ装置10が備えていてもよく、透過型ヘッドマウントディスプレイ装置10に接続された他の装置が備えていてもよい。また、画像記憶部60は、ネットワーク上のクラウドシステムとして構成されていてもよい。

【0055】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

【0056】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0057】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0058】
10…透過型ヘッドマウントディスプレイ装置、110…画像生成部、120…拡大率算出部、130…表示面積算出部、140…状況判定部、DS…透過型表示部、CAM…撮像部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6