TOP > 国内特許検索 > 聴診システム > 明細書

明細書 :聴診システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-136248 (P2017-136248A)
公開日 平成29年8月10日(2017.8.10)
発明の名称または考案の名称 聴診システム
国際特許分類 A61B   7/00        (2006.01)
A61B   5/113       (2006.01)
FI A61B 7/00 D
A61B 5/10 315
請求項の数または発明の数 17
出願形態 OL
全頁数 15
出願番号 特願2016-020021 (P2016-020021)
出願日 平成28年2月4日(2016.2.4)
発明者または考案者 【氏名】村田 嘉利
【氏名】小山 奈都子
【氏名】遠藤 良仁
出願人 【識別番号】507234427
【氏名又は名称】公立大学法人岩手県立大学
個別代理人の代理人 【識別番号】100082876、【弁理士】、【氏名又は名称】平山 一幸
【識別番号】100184262、【弁理士】、【氏名又は名称】森田 義則
審査請求 未請求
テーマコード 4C038
Fターム 4C038VA04
4C038VB01
4C038VC05
要約 【課題】出来るだけ安価で聴診スキルを取得できるような聴診システムを提供する。
【解決手段】聴診システム10は、聴診される人物に向けて配置されるカメラ11と、カメラ11により作成された人物の像に関する画像データから当該人物の骨格フレームを推定し、当該聴診器2が当てられるべき位置を推定する処理部12と、を備える。聴診器2の位置を、別途、認識又は追跡し、聴診器2が当てられるべき位置と聴診器の位置とを比較し、当該人物に聴診器が当たっているか否かを判断する。
【選択図】図1
特許請求の範囲 【請求項1】
聴診器を用いて聴診される人物に向けて配置されるカメラと、
前記カメラにより作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、当該聴診器が当てられるべき位置を推定する処理部と、
を備える、聴診システム。
【請求項2】
前記処理部は、前記聴診器を追跡し、前記カメラの位置を原点として、前記骨格フレームのうちの両肩及び両腰の座標データと前記聴診器の座標データとを求め、前記聴診器が両肩及び両腰の位置から一定の範囲内にあるか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、請求項1に記載の聴診システム。
【請求項3】
前記処理部は、前記聴診器を追跡し、前記骨格フレームのうちの両肩及び両腰の前記カメラの位置からの距離データと前記聴診器の前記カメラの位置からの距離データとの差が一定の範囲内に入っているか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、請求項1又は2に記載の聴診システム。
【請求項4】
前記処理部は、前記聴診器を追跡し、前記聴診器周りの一又は複数のポイントの前記カメラからの距離データと前記聴診器の前記カメラからの距離データとを求め、その求めた距離データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、請求項1乃至3の何れかに記載の聴診システム。
【請求項5】
前記処理部は、前記聴診器を追跡し、前記カメラを原点として、前記聴診器周りの一又は複数のポイントの座標データと前記聴診器の座標データとを求め、その求めた座標データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、請求項1乃至4の何れかに記載の聴診システム。
【請求項6】
前記処理部は、前記聴診器が身体の表面に当てられた時間を測定する、請求項1乃至5の何れかに記載の聴診システム。
【請求項7】
前記処理部は、前記骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の前記計測ポイントの前記カメラを原点とする座標データ、若しくは各々の前記計測ポイントの前記カメラからの距離データの時間経過に伴う変化、前記骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化又は前記変化の組合せに基づき、空気を吸っているか又は空気を吐いているかを判断する、請求項1乃至6の何れかに記載の聴診システム。
【請求項8】
前記処理部は、吸気と呼気の繰り返しを1サイクル以上にわたって前記聴診器が身体に当てられたか否か判断する、請求項7に記載の聴診システム。
【請求項9】
呼吸音、心音、腹部音の少なくとも何れかの音を記憶した記憶部をさらに備え、
前記処理部は、骨格フレームに対する聴診器の位置に応じて前記記憶部中の音を選択して出力する、請求項1乃至8の何れかに記載の聴診システム。
【請求項10】
前記処理部は、前記記憶部に記憶した呼吸音から、空気を吸っている期間は吸気音を、空気を吐いている期間は呼気音を再生する、請求項9に記載の聴診システム。
【請求項11】
前記カメラが作成した画像データと前記記憶部から選択した音とを関連付けて、聴診の状況を記憶するトレーニー状況記憶部を、さらに備える、請求項9又は10に記載の聴診システム。
【請求項12】
前記処理部は、前記カメラが撮影した人物の像の上に聴診する位置を表示する、請求項1乃至11の何れかに記載の聴診システム。
【請求項13】
前記処理部は、前記聴診器が当てられるべき位置を、前記カメラの位置を原点とする骨格フレームのうちの両肩及び両腰の座標データから決定する、請求項1乃至12の何れかに記載の聴診システム。
【請求項14】
基準となる人物の両肩の位置データと両腰の位置データと当該人物に対する聴診位置に関するデータとを、聴診の順番の情報を特定して格納する参照データ部を備えた、請求項1乃至13の何れかに記載の聴診システム。
【請求項15】
前記処理部は、骨格フレームに対して聴診器の位置が一定時間上下左右に変化しないと判断すると、前記参照データ部と照合し、聴診の位置及び順番が正しいか否かを判断する、請求項14に記載の聴診システム。
【請求項16】
前記処理部は、前記参照データ部に格納された両肩の位置データ及び両腰の位置データと、人物の両肩の位置データ及び両腰の位置データとを比較して、前記参照データ部に格納された聴診位置に関するデータを校正する、請求項14又は15に記載の聴診システム。
【請求項17】
前記処理部は、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する、請求項1乃至16の何れかに記載の聴診システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えば聴診のトレーニングの際に利用される聴診システムに関する。
【背景技術】
【0002】
医師を目指す医学生、看護師を目指す看護学生などの実習生は、聴診のスキルを修得しなければならない。そのための技術として、マネキン、教育用聴診システムなどが開発されている(例えば特許文献1乃至5)。
【0003】
特許文献1は聴診教育用装置を開示ており、その聴診教育用装置では、人体の上半身を模して形成された人体モデルと、人体モデルに対して模擬的に聴診動作を行うための模擬聴診器と、模擬聴診器による聴診動作を検知する聴診検知センサと、模擬聴診器及び聴診検知センサとそれぞれ接続された制御部とを備えており、制御部が聴診動作を検知した聴診検知センサから送出される検知シグナルを受け付け、模擬聴診器の耳管部に設けられた生体音再生部から、検知シグナルに対応する聴診位置の心音及び呼吸音などの生体音を再生させている。
【0004】
特許文献2では、ウェットスーツタイプの装着具本体3の全面に面接触型圧力センサを埋設しておき、各面接触型圧力センサが接触位置及び接触圧力を検出することで、センサ信号を出力し、聴診動作を認識及び把握を可能にしている。
【0005】
特許文献3は聴診訓練装置を開示しており、その聴診訓練装置では、マネキンに対して聴診装置の位置を検出するための手段を含む医療用訓練マネキンと、相対的な位置を検出するための手段と電子的な通信状態にある制御器と、制御器と電子的な通信状態にある聴診訓練音データベースと、そのデータベースから伝えられる音ファイルを音波信号に変換する音発生装置と、その音発生装置からの音波信号を人間の耳に送信するように適合された耳ピースを有する聴診装置と、を備えている。医療用訓練マネキンにおいて聴診装置の位置を検出するための手段としては、マネキンに近接した聴診装置の相対的な位置を求めるように適合された近接スイッチを少なくとも一つ配列した形態、聴診装置に配列された少なくとも一つの送信器ビーコンとマネキン上に配置された少なくとも二つ以上の受信器を含む三角測量システムを用いる形態が開示されている。
【0006】
特許文献4は聴覚トレーニングシステムを開示しており、そのシステムでは、実習生が模擬的に聴診動作を行うために使用する模擬聴診器と、模擬聴診器の採音部の位置を検出する位置検知手段と、模擬患者に対して呼吸タイミングを提示する呼吸タイミング提示手段と、生体音データベースを内蔵し、模擬聴診器の位置に応じて適切な生体音を生成する制御手段と、制御手段で生成した生体音を無線通信により送信する送信部を備えて構成されている。ここで、採音部は、機械的スイッチを配した当接検知手段と、採音部の上面である聴診面の裏面に取着され採音部が体表に当接した時に赤外線光を発する位置表示手段と有して構成する。一方、位置検知手段は、位置表示手段の位置を検知するために、赤外線記録が可能な二次元CCDカメラが利用される。このような構成により、当接検知手段は、採音部の模擬患者体表に対する当接状態を検知し、採音部が模擬患者の体表へ当接している状態でのみ発光するので、位置検知手段がその発光を検知する。
【0007】
特許文献5では、医学的容態をシミュレートして医学トレーニングを容易に実現するシステムについて開示されており、そのシステムでは、移動式であるように形成されたローミングデバイスと、ローミングデバイスの位置情報を決定するように構成されたポジショニングデバイスと、位置情報を受け取り位置情報の領域の既定セットと比較しかつ位置情報が領域の既定セットと一致する場合に医学的様態を示す情報を送信するように構成されたコンピューティングデバイスを備えている。ローミングデバイスの位置はポジショニングデバイスにより決定され、そのために磁気追跡システム、光学的追跡システム、センサデバイスの何れかが使用される。
【先行技術文献】
【0008】

【特許文献1】特開2005-077521号公報(フロント頁)
【特許文献2】特開2005-227534号公報(フロント頁)
【特許文献3】特表2011-502640号公報(請求項1、請求項6、請求項7)
【特許文献4】特開2012‐247513号公報(段落0030)
【特許文献5】特表2008-518277号公報(段落0009、段落0010、0033、0034)
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献1乃至4のように、聴診スキルを修得するために利用されるマネキンや疑似聴診器はセンサを装着しており、実習生がそのセンサに接触して、その場所を特定しているので、正確な接触位置を求めることができる。しかしながら、そのようなマネキンや疑似聴診器の類は高価であるのみならず、体型の違いによる聴診器を当てる位置の変更に対応できない。特許文献5では、ローミングデバイスの位置を三次元的に取得し、デバイスと被験者の接触を位置情報から判定するように設計されているが、接触の判定を位置情報から判定することが極めて精度が求められ誤判定が多発するという課題があると、特許文献4では述べている。また、特許文献1乃至5のいずれも、呼吸に伴う体動の変化に応じて呼気音と排気音を発生することは出来ない。
【0010】
そこで、本発明は、出来るだけ安価で聴診スキルを取得できるような聴診システムを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明のコンセプトは以下のとおりである。
[1] 聴診器を用いて聴診される人物に向けて配置されるカメラと、
前記カメラにより作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、当該聴診器が当てられるべき位置を推定する処理部と、
を備える、聴診システム。
[2] 前記処理部は、前記聴診器を追跡し、前記カメラの位置を原点として、前記骨格フレームのうちの両肩及び両腰の座標データと前記聴診器の座標データとを求め、前記聴診器が両肩及び両腰の位置から一定の範囲内にあるか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、前記[1]に記載の聴診システム。
[3] 前記処理部は、前記聴診器を追跡し、前記骨格フレームのうちの両肩及び両腰の前記カメラの位置からの距離データと前記聴診器の前記カメラの位置からの距離データとの差が一定の範囲内に入っているか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、前記[1]又は[2]に記載の聴診システム。
[4] 前記処理部は、前記聴診器を追跡し、前記聴診器周りの一又は複数のポイントの前記カメラからの距離データと前記聴診器の前記カメラからの距離データとを求め、その求めた距離データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、前記[1]乃至[3]の何れかに記載の聴診システム。
[5] 前記処理部は、前記聴診器を追跡し、前記カメラを原点として、前記聴診器周りの一又は複数のポイントの座標データと前記聴診器の座標データとを求め、その求めた座標データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、前記[1]乃至[4]の何れかに記載の聴診システム。
[6] 前記処理部は、前記聴診器が身体の表面に当てられた時間を測定する、前記[1]乃至[5]の何れかに記載の聴診システム。
[7] 前記処理部は、前記骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の前記計測ポイントの前記カメラを原点とする座標データ、若しくは各々の前記計測ポイントの前記カメラからの距離データの時間経過に伴う変化、前記骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化又は前記変化の組合せに基づき、空気を吸っているか又は空気を吐いているかを判断する、前記[1]乃至[6]の何れかに記載の聴診システム。
[8] 前記処理部は、吸気と呼気の繰り返しを1サイクル以上にわたって前記聴診器が身体に当てられたか否か判断する、前記[7]に記載の聴診システム。
[9] 呼吸音、心音、腹部音の少なくとも何れかの音を記憶した記憶部をさらに備え、
前記処理部は、骨格フレームに対する聴診器の位置に応じて前記記憶部中の音を選択して出力する、前記[1]乃至[8]の何れかに記載の聴診システム。
[10] 前記処理部は、前記記憶部に記憶した呼吸音から、空気を吸っている期間は吸気音を、空気を吐いている期間は呼気音を再生する、前記[9]に記載の聴診システム。
[11] 前記カメラが作成した画像データと前記記憶部から選択した音とを関連付けて、聴診の状況を記憶するトレーニー状況記憶部を、さらに備える、前記[9]又は[10]に記載の聴診システム。
[12] 前記処理部は、前記カメラが撮影した人物の像の上に聴診する位置を表示する、前記[1]乃至[11]の何れかに記載の聴診システム。
[13] 前記処理部は、前記聴診器が当てられるべき位置を、前記カメラの位置を原点とする骨格フレームのうちの両肩及び両腰の座標データから決定する、前記[1]乃至[12]の何れかに記載の聴診システム。
[14] 基準となる人物の両肩の位置データと両腰の位置データと当該人物に対する聴診位置に関するデータとを、聴診の順番の情報を特定して格納する参照データ部を備えた、前記[1]乃至[13]の何れかに記載の聴診システム。
[15] 前記処理部は、骨格フレームに対して聴診器の位置が一定時間上下左右に変化しないと判断すると、前記参照データ部と照合し、聴診の位置及び順番が正しいか否かを判断する、前記[14]に記載の聴診システム。
[16] 前記処理部は、前記参照データ部に格納された両肩の位置データ及び両腰の位置データと、人物の両肩の位置データ及び両腰の位置データとを比較して、前記参照データ部に格納された聴診位置に関するデータを校正する、前記[14]又は[15]に記載の聴診システム。
[17] 前記処理部は、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する、前記[1]乃至[16]の何れかに記載の聴診システム。
【発明の効果】
【0012】
本発明によれば、処理部が、カメラにより作成された人物を含む像に関する画像データに基いて、当該人物の任意の部位、例えば肩、腰などを推定し、聴診器が当てられるべき位置を推定する。よって、聴診器の位置を、別途、認識又は追跡し、聴診器が当てられるべき位置と聴診器の位置とを比較し、当該人物に聴診器が適切な位置に当たっているか否かを判断することができる。従って、専用のマネキンを使用しないで、例えば学生同士、先輩後輩同士で訓練をすることができ、出来るだけ安価で聴診スキルを修得可能な聴診システムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る聴診システムの構成図である。
【図2】図1に示す聴診システムの具体的な構成を示す図である。
【図3】骨格フレームについて説明するための図である。
【図4】図1に示す聴診システムを用いて、聴診器が疑似患者の体表に当たっているか否かを判断する方法を説明するための図であり、カメラ側からみた図である。
【図5】図1に示す聴診システムを用いて、聴診器が疑似患者の体表に当たっているか否かを判断する方法を説明するための図であり、疑似患者の側面側からみた図である。
【図6】図1に示す聴診システムを用いて、疑似患者の呼吸に合わせて聴診トレーニングをサポートする方法を説明するための図である。
【図7】聴診のトレーニング状況を説明するための説明図である。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための形態について詳細に説明するが、本発明の実施形態に係る聴診システムは、図面を参照して説明するものに限られることなく、ICT(Information Communication Technology)に関する技術進歩や、適用される社会や制度に応じて適宜変更されるものも含まれる。

【0015】
(聴診システムの構成)
図1は本発明の実施形態に係る聴診システムの構成図である。聴診システム10は、カメラ11と、処理部12と、記憶部13とを含んで構成される。

【0016】
図2は、図1に示す聴診システムの具体的な構成を示す図である。カメラ11は、疑似患者1に対して向けられて配置される。カメラ11は、一つでも複数設けても構わない。

【0017】
カメラ11は、カメラセンサとも呼ばれ、位置距離センサ14とカラーセンサ18を備えている。カラーセンサ18は、例えばRGBカラーカメラであり、通常のビデオカメラに相当し、動画像信号を画像データとして出力する。位置距離センサ14は、3D深度カメラなどの位置計測センサに相当し、画像データの指定したポイントに対する位置距離センサ14からの位置情報を出力する。位置距離センサ14は、対象に光を照射する照射部15と、対象からの反射光を受ける受光部16と、照射部15及び受光部16に接続され、照射、受光及び外部へのデータ出力に関する制御を行う制御部17と、を含んで構成される。照射部15は、赤外線レーザから発振した光を単一の照射パターンに変換し、対象物に照射する。照射パターンとしては、ランダムなドットが散りばめられた四角形などのパターンなどがある。照射パターンは対象物体に当たると歪んで、照射部からの距離が長くなると歪みが大きく広がる。受光部16は、照射部15から異なる距離の複数の照射パターンを複眼で検出する。検出した信号が制御部17に入力されて統計処理されることにより、対象物との距離、つまり深度を検出することができる。

【0018】
位置距離センサ14は、受光部16におけるビデオの画像領域を例えば640ドット×480ドットに分解し、ドット毎に深度カメラからそのドットに対応した画像までの距離を出力する。ビデオカメラにおける画素としてのドットと位置計測センサのドットの位置関係を対応付けることによって、疑似患者1の各部位と聴診器2に対し、それぞれの位置と深度カメラからの距離とが求まる。

【0019】
本発明の実施形態において、位置計測の手法はこれらに限定されることなく、次のような手法でもよい。すなわち、赤外線を発射し、戻ってくるまでの遅延時間から位置計測センサと任意の部位との間の距離や位置計測センサを起点とする指定位置の座標を求める方法であってもよい。

【0020】
処理部12は、カメラ11により作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、聴診器2が当てられるべき位置を推定する。聴診器2が当てられるべき位置、すなわち聴診されるべき位置として、一又は複数の位置を推定する。カメラ11により作成された像は、距離データを含む画像データであることから、カメラ11の基準位置(原点)に対する疑似患者1の位置座標データと、基準位置からの距離データを有する。

【0021】
ここで、画像データからどのように聴診器2が当てられるべき位置を推定するかについて、詳細に説明する。処理部12は、図3に示すような骨格フレームに関するデータを有している。図3は、骨格フレームについて説明するための図である。聴診は、主に人物の胸に聴診器を当てることでなされることから、骨格フレームは両肩、両腰を含むように構成される。骨格フレームの各部については、個人差があることから、少なくとも両肩と両腰の位置を特定し、両肩同士の距離、両腰同士の距離、肩と腰と距離を規定することで、当該疑似患者の骨格フレームを定めることができる。このように、個人差を吸収して正規化することができる。そのため、処理部12は、個人毎に、骨格フレームをデータとして保有する必要がなく、汎用性に富む。

【0022】
聴診器2が当てられるべき位置を推定する手法としては次のようにしてもよい。処理部12は、先ず、カメラ11からの画像データから疑似患者の体形のアウトラインを求め、関節の位置を統計的に特定する。関節の位置を統計的に特定するために、多数の人物の各姿勢パターンについての実写及び/又はコンピュータグラフィックス(CG)のデータから、距離画像群を入力して学習したRandom Decision Forestsを用い、入力される画像データの各フレームにおいて、各画素がどのパーツに属するかを識別する。その結果、パーツのうち関節のパーツに属する画素を抽出し、関節の位置を特定する。これにより、聴診器2を当てるべき位置を骨格フレーム上で推定することができる。このように推定した位置であって、聴診器2が当てられるべき位置は、カメラ11の位置を原点とし、骨格フレームのうち両肩及び両腰の座標データから定める。

【0023】
聴診の実習生は聴診器を疑似患者1の胸部などの各部位に当てる。処理部12は、疑似患者1と聴診器2を含む像に関する画像データから、聴診器2の位置を推定する。聴診器2の輪郭に対応した形状を含む画素群や聴診器2の色に対応した色を含む画素群を判定し、色や形状の追跡により、聴診器2の位置を推定する。当該位置は、カメラ11の位置を原点とした座標データ、その原点からの距離として求めることができる。聴診器2の位置推定には、聴診器2に付されている色に基いて色追跡の手法により、特定することができる。カラーセンサ18による像による画素で聴診器2の色や輪郭を特定しておき、聴診器2の色に適合するピクセルを選択する等の手法を用いればよい。

【0024】
このようにして、カメラ11で作成された画像データから骨格フレームを特定し、聴診器2が当てられるべき位置を推定し、その位置の座標データ、カメラ11からの距離データが求められる。また、カメラ11で作成された画像データから聴診器2を推定し、その位置の座標データ、カメラ11からの距離データがそれぞれ求められる。処理部12は所定の時間間隔で推定を繰り返し行い、聴診器2を追跡し、認識する。

【0025】
その後、処理部12は、骨格フレームと聴診器2の相対的な位置及び相対的な距離を求める。これにより、処理部12は、聴診器2が一定の範囲にあるか否かを判定することができる。その一定の範囲は、聴診器2が疑似患者1に接している状態において、疑似患者1又は骨格フレームと聴診器2との相対的な位置及び距離を求め、それらの値に基いて定めておけばよい。

【0026】
なお、処理部12は、聴診器2を追跡し、骨格フレームのうち、例えば両肩及び両腰の座標データと、聴診器2の座標データとを求め、聴診器が両肩及び両腰の位置から一定範囲にあるか否かにより聴診器2が身体の表面に当てられたか否かを判断してもよい。

【0027】
処理部12は、骨格フレームと聴診器2との相対的な位置及び相対的な距離データを求める際に、例えば、骨格フレームのうち両肩及び両腰の位置座標データ及び距離データと聴診器2の位置データと距離データを用いても良い。聴診器2の原点からの距離データが両肩及び両腰の原点からの距離データに対して一定の範囲(以下、「判定基準範囲」と呼ぶ。)内に入っていれば、聴診器2が身体の表面に当てられたか否か、おおよそ判断できる。ここで、判定基準範囲は多くの疑似患者に対する実験データを基に決定される。

【0028】
このように、処理部12は、聴診器2を追跡し、カメラ11の位置を原点として、骨格フレームのうちの両肩及び両腰の座標データと聴診器2の座標データとを求め、聴診器2が両肩及び両腰の位置から一定の範囲内にあるか否かにより聴診器2が身体の表面に当てられたか否かを判断する。または、処理部12は、聴診器2を追跡し、骨格フレームのうちの両肩及び両腰のカメラ11の位置からの距離データと聴診器2のカメラ11の位置からの距離データとの差が一定の範囲内に入っているか否かにより、聴診器2が身体の表面に当てられたか否かを判断する。

【0029】
これらの方法では、両肩及び両腰の深度に対して聴診ポイントや深度は人によって異なることから、聴診器2が当たったことの判定が甘くなる。更に聴診器2が身体に当たったことをより厳密に判定する方法として、骨格フレームのうち両肩及び両腰の原点からの距離データと、聴診器2の原点からの距離データに加えて、図4及び図5に示すように、聴診器2が存在している周りに、骨格フレーム上の点を含め、測定ポイントPmeasureを設定する。聴診器2と測定ポイントの原点からの各距離データを比較する。聴診器2の距離データが両肩及び両腰の距離データに対して、上述の判定基準範囲内にあり、図4及び図5における各測定ポイントPmeasureの原点からの距離データL1から聴診器2の距離データL2を減算した値が、一定の範囲、つまり聴診器2の厚みと許容値との合計の範囲内にあれば、身体に当たっていると判断する。この方法では、聴診器2の厚みに加えたマージンが判定誤差になるだけであることから、より厳密に聴診器が身体に当たっているか否かを判断することができる。

【0030】
このように、処理部12は、聴診器2を追跡し、聴診器2の周りの一又は複数のポイントのカメラ11からの距離データと、聴診器2のカメラ11からの距離データとを求め、その求めた距離データを比較することにより、聴診器2が身体の表面に当てられたか否かを判定する。

【0031】
以上の説明では、距離データを比較したが、カメラ11を原点として設定した座標で、疑似患者側にZ座標の正の方向を向けて三次元座標を設定し、そのZ座標同士を比較しても良い。具体的に説明すると、先ず、聴診器2が存在している周りに、骨格フレーム上の点を含め、測定ポイントPmeasureを設定する。そして、測定ポイントPmeasureの座標データと聴診器2の座標データを求める。次に、聴診器2周りのそれらのポイントの座標データと聴診器2の座標データとを比べる。その座標データのうち特にZ座標同士を比較し、ポイントのZ座標と聴診器のZ座標との差分が、聴診器の厚みとマージンとの和よりも小さければ、聴診器2が当たっていると判断する。座標データ同士を比較する際には、聴診器2周りのポイントのうち、手や腕で覆われたポイントの座標データを除いた測定ポイントの座標データと、聴診器2の座標データとを比べても良い。

【0032】
このように、処理部12は、聴診器2を追跡し、カメラ11を原点として、聴診器2周りの一又は複数のポイントの座標データと、聴診器2の座標データとを求め、その求めた座標データを比較することにより、聴診器2が身体の表面に当てられたか否かを判断する。

【0033】
聴診器2が身体の表面に当たっているか否かを判定する方法は、上述した一つに限らず、複数を兼用してもよい。また、この判定を非常に短い所定の間隔で繰り返すことにより、聴診器3が身体の表面に当たっている時点が分かるので、当たっている時点が連続している場合には、処理部12は、聴診器2が身体の表面に当てられた時間を測定することができる。

【0034】
このように、距離データを生成できるカメラ11と処理部12とを用いて、疑似患者1の骨格フレームを推定し、聴診器2と骨格フレームとの相対的な位置及び深さ(距離)を求めることで、どのような聴診器2であっても、疑似患者1に聴診器2を当てているか否かを求めることができ、汎用性の高い聴診システム10を提供することができる。

【0035】
処理部12は、図5に示すように、両肩に加えて胸部及び腹部に一又は複数の計測ポイント(「測定ポイント」と呼んでもよい。)を設定し、それぞれについて位置データ及び距離データを測定し、両肩の上下方向への変化及び新たに設定した計測ポイントの距離データ(「深度データ」と呼んでもよい。)の変化から空気を吸っている状態(吸気)か吐いているか状態(呼気)を判定する。

【0036】
具体的には、処理部12は、骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の計測ポイントのカメラ11を原点とする座標データの時間経過に伴う変化、各々の計測ポイントのカメラ11からの距離データの時間経過に伴う変化、骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化、の何れか一つ以上を求める。空気を吸っている場合と、空気を吐いている場合には、体表のポイントの動きは逆になるので、これらの何れかの変化又はこれらの変化の組合せに基いて、吸気の状態か呼気の何れの状態であるかを判断することができる。

【0037】
図7は、聴診のトレーニング状況を説明するための説明図である。図7に示すように、疑似患者1が着座していることで、処理部12はカメラ11からの画像データを処理することによって、左肩L1、右肩R1、左腰L2、右腰R2の位置を推定し、図3に示す骨格フレームを推定することができる。そして、図5に示すように、疑似患者1と聴診器2との位置関係を深さ方向に推定することができ、聴診器2が疑似患者1に当接しているか否かを判断することができる。

【0038】
聴診器2が疑似患者1に当接しているか否かの判断は、次のようにしてもよい。骨格フレームと聴診器2との相対的な位置及び相対的な距離データを求める際に、例えば、骨格フレームのうち両肩及び両腰の位置座標データ及び距離データと聴診器2の位置データと距離データを用いても良い。聴診器2の原点からの距離データが、両肩及び両腰の原点からの距離データに対して、判定基準範囲内に入っていれば、聴診器2が身体の表面に当てられたか否か、おおよそ判断できる。

【0039】
また、骨格フレームのうち両肩及び両腰の原点からの距離データと、聴診器2の原点からの距離データと、骨格フレームのち聴診器2が存在している周りに設定した測定ポイントの距離データと、を比較する。つまり、聴診器2と測定ポイントの各距離データを比較する。聴診器2の距離データが両肩及び両腰の距離データに対して、上述の判定基準範囲内であって、かつ図5に示す各測定ポイントの原点からの距離データから聴診器2の距離データを減算した値が、聴診器2の厚みと許容との合計の範囲内にあれば、身体に当たっていると判断する。

【0040】
このような聴診システム10は、更に、付加価値を持たせるために、次の手段を設けておいても良い。

【0041】
処理部12は、疑似患者1に聴診器2が当たっているか否かを判定する際、一定の時間聴診器2がその位置に留まっているか否かを判断するようにしてもよい。これは、聴診器2が疑似患者1に当たっている際には、疑似患者1の呼吸によって胸のふくらみが変化しても、聴診器2は上下左右に変化し難いからである。

【0042】
聴診システム10は、呼吸音、心音、腹部音の少なくとも何れか又は複数の音を記憶した記憶部13を備える。記憶部13は、聴診器2が骨格フレームに対してどの位置にあれば、聴診器2によって採音することができるのかについて関係付けて記憶しておく。これに対応し、処理部12は、聴診器2が疑似患者1のどの部位に接触しているかに応じて、疑似音を出力することができる。

【0043】
聴診システム10では、処理部12が、両肩、胸部及び腹部に、一又は複数の計測ポイントを設定しておき、各計測ポイントについての原点からの位置データ及び距離データを測定し、両肩の上下方向への変化および新たに設定した測定ポイントの距離データの変化から空気を吸っている状態(吸気)か吐いているか状態(呼気)を判定する。すると、処理部12は、聴診システム10の記憶部13から選択した呼吸音を用いて、検出した吸気タイミングで吸気音を、呼気タイミングで呼気音を出力する。これにより、疑似患者1の呼吸の状態に応じて吸気音と排気音を再生でき、よりリアリティある実習が可能となる。その際、吸気と呼気の繰り返しを1サイクル以上にわたって聴診器2が身体に当てられたか否か判断すると好適である。

【0044】
聴診システム10は、実習生にトレーニング状況を知らせるために、スピーカー19と、モニターなどの表示部20とを備える。処理部12は、カメラ11のカラーセンサ18からの画像データを表示部20に出力表示する。処理部12は、カメラ11が撮影した人物の像の上に、聴診する位置を表示しながら、疑似患者1に対して聴診器2が当たっていて、採音されるべき音を記憶部13から選択してスピーカー19により音声出力することができる。これにより、よりリアルな聴診トレーニングを提供することができる。

【0045】
聴診システム10はトレーニー状況記憶部21を備えており、トレーニー状況記憶部21は、カメラ11が作成した画像データと記憶部13から選択した音とを関連付けて、聴診のトレーニング状況を記憶する。これにより、実習生がどの程度のトレーニングを行って、スキルを取得したかの履歴データを記録することができる。この記録は、他の実習生のトレーニングプログラムを立てる際にも役立てることができる。

【0046】
聴診システム10は参照データ部22を備えており、参照データ部22が、基準となる人物の両肩の位置データと、両腰の位置データと、当該人物に対する適切な聴診位置に関するデータと、聴診の順番に関する情報を格納している。よって、処理部12は、骨格フレームに対して聴診器が一定時間上下左右に変化しないと判断すると、参照データ部22のデータと照合し、聴診の位置及び順番が正しいか否かを判断する。判断結果は表示部20に表示される。これにより、より適切なトレーニングをすることができる。

【0047】
聴診システム10において、処理部12が、疑似患者の画像上に、参照データ部22から基準となる人物の両肩及び両腰の位置データを取り出し、疑似患者の両肩及び両腰の位置データを比較することで、基準となる人物に対して設計した標準聴診ポイントの位置データを校正し、疑似患者の画像上に表示する。表示された各点に聴診器を当てることで、患者の体格に関係なく適切なポイントにおける疾患別の音を聞くことができる。

【0048】
聴診システム10は、処理部12において、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する。このことについて、図1に示す聴診システム10の使用方法を説明しながら説明する。

【0049】
事前準備として、基準となる人物を男女別に選択し、それぞれについて、図7に示すように、両肩L1,R1の位置データと両腰L2,R2の位置データと適切な聴診ポイントの位置を参照データ部22に記憶させる。また、記憶部13に聴診ポイント別に疾患音を記憶させる。

【0050】
(聴診システムを利用した学習その1:学習)
聴診システム10を利用して、疾患別に各聴診ポイントの音を学習する態様について説明する。

【0051】
先ず、実習生は、図示しない入力部から、IDとパスワードを入力するなどして聴診システム10にログインする(Step1)。

【0052】
次に、聴診システム10において、図示しない入力部から、学習モードの選択をし、正常を含めた疾患の中から学習したい疾患を選択する(Step2)。疑似患者1の横に配置された図示しないディスプレイ上に、処理部12からの制御で表示された疑似患者上の聴診ポイントを1から順に聴診器2を当てていく(Step3)。すると、処理部12はカメラ11からの画像データを処理し、聴診器2が疑似患者1の体表に当たっているか否かを判別し、当たっていると判断すると、処理部12は記憶部13に記録されている音を疾患別かつポイント別に再生する(Step4)。

【0053】
呼吸に関する疾患の場合、聴診システム10は疑似患者1の吸気状態と呼気状態を判断し、各状態に対して吸気音又は呼気音を再生する。

【0054】
次に、実習生は、学習したい別の疾患を選択し、Step3以降を繰り返す。
実習生は、実習が終了すると、ログアウトする。

【0055】
(聴診システムを利用した学習その2:テスト)
実習生は上記学習その1で学習した後に、実習生が聴診スキルを修得したか否かを確認することができる。
先ず、実習生は、図示しない入力部から、IDとパスワードを入力するなどして聴診システム10にログインする(Step11)。
次に、実習生は、テストモードを選択する(Step12)。それに伴い、聴診システム10は、ランダムに疾患を選択し、聴診器2が当てられたポイントに近い適正ポイントの音を再生する(Step13)。
実習生は、学習モードで学習したポイントに聴診器2を順次当てていく(Step14)。全て当て終えたら、聴診システム10の入力部に対して完了の指示を入力し、回答の指示を入力する(Step15)。すると、プルダウン形式で表示された疾患の中から正しいと思われる疾患を選択する(Step16)。
その後、聴診システム10はStep13に戻り、疾患を変更して、テストを繰り返す。
実習生は、テストを終了するときは入力部の学習終了ボタンを押す。

【0056】
(聴診システムを利用した学習その3:学習ログの返却)
学習終了ボタンが押されたら、聴診システム10は、疾患に関する回答と正解、聴診の順序の正誤を、表形式に編集し、例えば紙媒体に印刷するなどして渡す。表形式に編集する際には、呼吸器系疾患を想定している場合には吸気と呼気の1周期以上に渡って聴診器2を当てていたか否かの結果が分かるようにする。その後、実習生は聴診システム10からログアウトする。

【0057】
(教員へのレポート)
教員は、聴診システム10にログインし、聴診システム10は、教員が選択した実習生別に、学習完了した疾患、正誤ログを、表示する。その際、表形式で実習生の一覧で表示してもよい。

【0058】
聴診システム10はこのように使用されることにより、実習生は、同僚、学生同士、先輩後輩同士で、聴診のトレーニングをすることができる。また、教員も指導可能となる。
【符号の説明】
【0059】
1:疑似患者
2:聴診器
10:聴診システム
11:カメラ
12:処理部
13:記憶部
14:位置距離センサ
15:照射部
16:受光部
17:制御部
18:カラーセンサ
19:スピーカー
20:表示部
21:トレーニー状況記憶部
22:参照データ部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6