TOP > 国内特許検索 > 動き学習支援装置 > 明細書

明細書 :動き学習支援装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6014450号 (P6014450)
公開番号 特開2014-071443 (P2014-071443A)
登録日 平成28年9月30日(2016.9.30)
発行日 平成28年10月25日(2016.10.25)
公開日 平成26年4月21日(2014.4.21)
発明の名称または考案の名称 動き学習支援装置
国際特許分類 G09B   5/02        (2006.01)
G09B   9/00        (2006.01)
G09B  23/28        (2006.01)
FI G09B 5/02
G09B 9/00 Z
G09B 23/28
請求項の数または発明の数 7
全頁数 15
出願番号 特願2012-220235 (P2012-220235)
出願日 平成24年10月2日(2012.10.2)
審査請求日 平成27年8月25日(2015.8.25)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】国立研究開発法人科学技術振興機構
発明者または考案者 【氏名】安藤 英由樹
【氏名】前田 太郎
【氏名】飯塚 博幸
【氏名】近藤 大祐
【氏名】小濱 和貴
個別代理人の代理人 【識別番号】110000970、【氏名又は名称】特許業務法人 楓国際特許事務所
【識別番号】100096150、【弁理士】、【氏名又は名称】伊藤 孝夫
審査官 【審査官】鈴木 崇雅
参考文献・文献 特開平10-274918(JP,A)
特開2004-228803(JP,A)
特開2006-163269(JP,A)
特開2011-227365(JP,A)
米国特許出願公開第2013/0295540(US,A1)
調査した分野 G09B 5/02
G09B 9/00
特許請求の範囲 【請求項1】
時間方向に繋がる複数の動き要素を含む一連の動きの教材映像を介して学習する動き学習支援装置であって、
映像を表示するモニタと、
前記教材映像と同一の撮影位置で学習者側の動きを撮像する撮像部と、
前記教材映像の動き要素に対応する動き要素映像を個別に前記モニタに表示し、当該動き要素映像の表示に続いて、前記撮像部の撮像映像を前記モニタに表示する第1の学習支援処理手段と、
前記モニタに、前記一連の動きの教材映像と前記撮像部の撮像映像とを合成して表示する第2の学習支援処理手段とを備えたことを特徴とする動き学習支援装置。
【請求項2】
前記第2の学習支援処理手段は、前記第1の学習支援処理手段の実行後に実行が許可されるものであることを特徴とする請求項1に記載の動き学習支援装置。
【請求項3】
前記一連の動きを含む教材映像から各動き要素映像を抽出する動き要素映像作成手段を備えたことを特徴とする請求項1又は2に記載の動き学習支援装置。
【請求項4】
前記第1の学習支援処理手段は、前記撮像部の撮像映像内に対応する動き要素映像の最終フレーム映像を前記モニタに併記表示することを特徴とする請求項1~3のいずれかに記載の動き学習支援装置。
【請求項5】
学習者が操作可能な操作部を有し、
前記第1の学習支援処理手段は、1の動き要素映像を前記モニタに表示した後、前記撮像部の撮像映像を前記モニタに表示し、次いで前記操作部への操作を受け付けると、時間方向における次の動き要素映像の前記モニタへの表示に移行するものであることを特徴とする請求項1~4のいずれかに記載の動き学習支援装置。
【請求項6】
前記第2の学習支援処理手段は、前記一連の動きの教材映像と前記撮像部の撮像映像とを交互に前記モニタに表示することを特徴とする請求項1~5のいずれかに記載の動き学習支援装置。
【請求項7】
前記一連の動きの教材映像は、腹腔鏡手術時の鉗子を用いた結紮縫合を内視鏡カメラで撮影した映像であることを特徴とする請求項1~6のいずれかに記載の動き学習支援装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えば腹腔鏡手術トレーニング等の、時間方向に繋がる複数の動き要素を含む一連の動きの教材映像を介して学習する動き学習支援装置に関する。
【背景技術】
【0002】
近年、例えば臓器手術において切開の必要のない腹腔鏡手術は、患者への負担が軽く、回復が早いというメリットがあり、特に体力が不十分である高齢者や子どもには効果的であることから普及が望まれている。しかしながら、腹腔鏡手術は高度な技術を要するため、専門医の数が必ずしも十分とはいえず、熟練者の養成(トレーニング)が重要な課題である。従来、そのためのトレーニング方法として、ドライボックスを用いたトレーニング手法が提案されてきた。しかし、このトレーニング方法は、あくまで手術の模擬(シミュレーション)を行うのみである。熟練者が非熟練者にスキルを教示する場合には、モニタ画面を指さしで指摘したり、口頭で指示したりすることがほとんどで、多くの場合、非熟練者は、熟練者のスキルにおける“コツ”を完全には理解しないまま、ドライボックストレーニングによる試行錯誤を繰り返す程度のものであった。例えば特許文献1には、手術シミュレーションについて生徒と教員の両映像を合成表示する手術トレーニングシミュレータが記載されている。
【0003】
また、より高次なシステムとして、コンピュータシミュレーションと内視鏡用鉗子型触覚提示インタフェースが実現されており、例えばシンビオニクス社のメディカルシュミレータLAP Mentor(非特許文献1)が挙げられる。また、遠隔手術システムda Vinci(非特許文献2)では、手術中の状況をモニタし、データ化して、シミュレーションやトレーニングに応用する試みもなされている。
【先行技術文献】
【0004】

【特許文献1】特表2005-525598号公報
【0005】

【非特許文献1】http://www.tri-med.co.jp/
【非特許文献2】http://www.kyudai2geka.com/contents/davinci.html
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1は、生徒と教員の両映像を合成して表示することが記載されているのみである。また、非特許文献1,2からも、訓練者のトレーニングに際し、何をどうしたらうまく出来るかというスキルを獲得するという観点からは、訓練者を観察する教育者の口頭乃至は言語的な指示によるフィードバックと、訓練者の試行錯誤による習得が主体であるため、習得には時間を要する上、正しくない癖などがついてしまう虞があるなどの問題点があった。
【0007】
本発明は、各動き要素を学習する手順学習と一連の動きを追従する学習とを段階的に行うよう支援するようにして、短時間かつ効果的に、正しい動きを習得し得る動き学習支援装置を提案するものである。
【課題を解決するための手段】
【0008】
本発明に係る動き学習支援装置は、時間方向に繋がる複数の動き要素を含む一連の動きの教材映像を介して学習する動き学習支援装置であって、映像を表示するモニタと、前記教材映像と同一の撮影位置で学習者側の動きを撮像する撮像部と、前記教材映像の動き要素に対応する動き要素映像を個別に前記モニタに表示し、当該動き要素映像の表示に続いて、前記撮像部の撮像映像を前記モニタに表示する第1の学習支援処理手段と、前記モニタに、前記一連の動きの教材映像と前記撮像部の撮像映像とを合成して表示する第2の学習支援処理手段とを備えたものである。
【0009】
この発明によれば、第1の学習支援処理手段によって、教材映像の動き要素に対応する動き要素映像が個別にモニタに表示され、次いで撮像部の撮像映像が前記モニタに表示される。これにより、学習者は動き要素映像を視認した上で、直前に表示された動き要素の練習をモニタに表示される自己の映像を観察しながら行うことが可能となる。そして、各手順学習を一通り済ますことで各手順を理解することが可能となる。次いで、モニタに、一連の動きの教材映像と撮像部の撮像映像とが合成して表示されるので、学習者は一連の動きの教材映像を参考にしながら、モニタに表示される自己の動きを教材映像の動きに合わせるよう練習することができる。従って、各動き要素を学習する手順学習と一連の動きを追従する学習とが段階的に行われるように支援して、短時間かつ効果的に、正しい動きの習得が図れる。
【0010】
請求項2記載の発明は、請求項1に記載の動き学習支援装置において、前記第2の学習支援処理手段は、前記第1の学習支援処理手段の実行後に実行が許可されるものであることを特徴とする。この構成によれば、第1の学習支援処理の後に第2の学習支援処理が行われるので、まず動き要素に対して学習し、次いで一連の動きを学習するので、習得性の高い学習支援装置が提供される。
【0011】
請求項3記載の発明は、請求項1又は2に記載の動き学習支援装置において、前記一連の動きを含む教材映像から各動き要素映像を抽出する動き要素映像作成手段を備えたことを特徴とする。この構成によれば、各動き要素が自動的に作成されるので、効果的となる。
【0012】
請求項4記載の発明は、請求項1~3のいずれかに記載の動き学習支援装置において、前記第1の学習支援処理手段は、前記撮像部の撮像映像内に対応する動き要素映像の最終フレーム映像を前記モニタに併記表示することを特徴とする。この構成によれば、学習者は学習中の動き要素の最終状況が解るので、スムースな動きが可能となる。
【0013】
請求項5記載の発明は、請求項1~4のいずれかに記載の動き学習支援装置において、学習者が操作可能な操作部を有し、前記第1の学習支援処理手段は、1の動き要素映像を前記モニタに表示した後、前記撮像部の撮像映像を前記モニタに表示し、次いで前記操作部への操作を受け付けると、時間方向における次の動き要素映像の前記モニタへの表示に移行するものであることを特徴とする。この構成によれば、1の動き要素をマスタしたと判断した段階で、次の動き要素の学習に移行することが可能となり、効果的な学習が提供される。
【0014】
請求項6記載の発明は、請求項1~5のいずれかに記載の動き学習支援装置において、前記第2の学習支援処理手段は、前記一連の動きの教材映像と前記撮像部の撮像映像とを交互に前記モニタに表示することを特徴とする。この構成によれば、いわゆる時分割表示方法を採用することで、運動の誘発性が発揮され、学習効率が向上する装置が提供される。
【0015】
請求項7記載の発明は、請求項1~6のいずれかに記載の動き学習支援装置において、前記一連の動きの教材映像は、腹腔鏡手術時の鉗子を用いた結紮縫合を内視鏡カメラで撮影した映像であることを特徴とする。この構成によれば、鉗子を用いた結紮縫合処置の正しい技能が短時間かつ効果的に向上する装置が提供される。
【発明の効果】
【0016】
本発明によれば、模範となる一連の動きを短時間かつ効果的に、正しく習得し得る動き学習支援装置を提供できる。
【図面の簡単な説明】
【0017】
【図1】本発明に係る動き学習支援装置の一実施形態を示す概略構成図である。
【図2】本発明に係る動き学習支援装置の一実施形態を示す回路構成図である。
【図3】手順学習のフレーム映像の例を示す図で、(A)は針を持ち直すフレーム映像、(B)は針を差し込むフレーム映像、(C)は縫合用糸を巻く状態を示すフレーム映像の図である。
【図4】教材映像(A)と学習者のライブ映像(B)との時分割表示を説明するための概略図である。
【図5】手順学習教材作成処理の一実施形態を示すフローチャートである。
【図6】手順学習教材表示モード処理の一実施形態を示すフローチャートである。
【図7】追従学習教材表示モード処理の一実施形態を示すフローチャートである。
【図8】追従学習教材表示モード処理内の時分割切替表示処理の一実施形態を示すフローチャートである。
【図9】効果を説明するための図表で、(A)は学習の進捗に応じて行った、各実験者による一連の動作に要した所要時間の推移を示す図表、(B)は比較実験者と学習終了後における各実験者とによるそれぞれ一連の動作に要した所要時間の差を示す図表である。
【図10】効果を説明するための図表で、(A)は学習の進捗に応じて行った、各実験者による一連の動作中に起こしたエラー(動きミス)数の推移を示す図表、(B)は比較実験者と学習終了後における各実験者とによるそれぞれ一連の動作中に起こしたエラー数の平均の差を示す図表である。
【発明を実施するための形態】
【0018】
図1は、本発明に係る動き学習支援装置の一実施形態を示す概略構成図である。動き学習支援装置1は、種々の動きを学習する装置に適用可能である。以下では、動き学習支援装置1を、腹腔鏡手術における、特に鉗子を用いた結紮縫合の動きの学習(練習)に対する支援に適用した装置として説明する。

【0019】
図1において、動き学習支援装置1は、練習台装置10と、情報処理装置20とを備えている。練習台装置10は、患者の胴体を模擬したドライボックス11と、ドライボックスを上部の所定位置に載置する基台12と、映像を表示するモニタ13とを備えている。ドライボックス11は、平坦な底面を有する横向けにされた筒体111を有する。筐体111は、人体の腹部を模擬するべく、凸状曲面に形成された上面部112を有している。上面部112は、不透明乃至は半透明の部材で構成され、適所に複数の円孔が形成されている。この円孔には樹脂材等の膜材113が貼られ、その中央には、後述する鉗子や内視鏡カメラを抜き差しする円筒状のトロカーを、機能面で模擬した十字状の切り込みが形成されている。なお、トロカーを模擬した構造体を直接配設する態様でもよい。

【0020】
膜材113の十字状切り込みを介して上方から鉗子114が挿通される。鉗子114は、公知のように、例えば結紮用の場合、手元側に一対の指入れ部を有し、他方側に一対の開閉可能な作用部(一対の挟持部材)を有し、両者間が所定長のパイプ部で連結されているものである。パイプ部には、指入れ部での操作力を作用部まで伝達する機構が内装されている。かかる力伝達機構によって、使用者による指入れ部からの開閉操作に連動して先端の一対の作用部が開閉して、対象物を挟持したり、開放したりできるようになっている。鉗子114は、作用部を開くことで、後述する針や縫合用糸を一対の作用部間に導入可能姿勢にし、次いで、一対の作用部を閉じることで、針や縫合用糸を挟み込むことができるものである。

【0021】
なお、ドライボックス11の内部には、図略の樹脂材等のダミー患部が配置されている。ダミー患部は、例えば直方体形状物からなり、その上面にダミー切開部が縫合可能に形成されているものとして想定することができる。また、膜材113は本実施形態では、鉗子114のみを抜き差しするもので、内視鏡カメラ115はドライボックス11の適所に固設されている。内視鏡カメラ115は、学習者に処置空間を観察可能に提示するもので、前記ダミー患部が視野の中央になるような向きに設定されて、当該ダミー患部の縫合を行う鉗子114の先端作用部の動きを撮像するようになっている。

【0022】
基台12には、その適所、例えば底部に操作部121の一例としてのフットペダルが配設されている。操作部121は、公知のように揺動可能構造と、踏み込み操作によりオンするスイッチが内装されているものである。また、練習台装置10には、必要に応じて動き検出部116が設けられている。動き検出部116は、磁気発生器1161と磁気センサ1162とから構成されている。磁気発生器1161は、磁気信号の生成源であり、基台12の適所に固設されている。一方、磁気センサ1162は、鉗子114の所定箇所に3軸方向に向けられて取り付けられている。磁気発生器1161からの3軸の軸毎に対応して発生される磁気信号をそれぞれ検出することで、3次元位置と向きとを検出する。鉗子114への取付位置と向き及び鉗子114の既知の形状寸法等を用いて、動き検出器116での検出情報に基づいて鉗子114の先端の作用部の位置、姿勢(向き)が、後述の動き情報取得部215で相対情報として算出される。なお、磁気による動き検出器116に代えて、3次元の加速度センサを採用してもよい。

【0023】
モニタ13は、本実施形態では基台12に取り付けられている。モニタ13は、ドライボックス11を用いての動き学習中の学習者が見やすい位置、好ましくは基台12の後部かつ学習者の視点高さに対応する位置に配設されている。

【0024】
情報処理装置20は、練習台装置10との間で情報の入出力を行うと共に、入力された情報及びその他の情報を用いて、後述するように、動き学習教材を作成し、モニタ13に送出するものである。

【0025】
図2は、本発明に係る動き学習支援装置の一実施形態を示す回路構成図である。図2において、練習台装置10にはマイク1151、スピーカ131が設けられている。マイク1151は、学習教材を作成する時点において、模範動きを行う者の動きに対するコツやガイダンスを音声情報としても取り込むようにしたものである。スピーカ131は、後述するように、マイク1151で取得した音声情報を学習時に再生するためのものである。

【0026】
情報処理装置20は、CPU(Central Processing Unit)で構成される制御部21と、制御部21に接続されたROM(Read Only Memory)22、RAMRandom Access Memory)23、操作部24及び必要に応じて設けられる通信部25を備えている。ROM22は必要な処理プログラムやプログラムの実行に必要な情報が予め格納されたものであり、RAM23は情報処理を実行すると共に処理情報を一時的に保管するものである。また、RAM23は、一連の模範動きの映像を記憶する追従学習教材記憶部231と、一連の模範動きの映像から、後述するようにして各動き要素の映像分に分割された手順教材映像を記憶する手順学習教材記憶部232とを備えている。

【0027】
操作部24は、タッチパネル、マウスやキーボードなどで構成され、学習教材の作成、学習支援処理の実行に必要な操作指示を行うものである。通信部25は、2台の動き学習支援装置が接続されて、一方側に模範者が、他方側で学習者がいずれもライブ映像で合成表示(本実施形態では、時分割表示法)する場合に、互いの映像情報を授受するべく使用される。

【0028】
情報処理装置20は、ROM22の処理プログラムがCPUで実行されることによって、手順学習映像作成部211、手順学習映像表示処理部212、追従学習映像表示処理部213、表示形態設定部214、動き情報取得部215及必要に応じて採用された通信処理部216として機能する。

【0029】
練習台装置10で予め模範者による結紮縫合のお手本動作が行われ、このお手本動作の状況が内視鏡カメラ115及びマイク1151で取得され、RAM23の追従学習教材記憶部231に保管される。あるいは、予め結紮縫合処置の映像(必要に応じて音声含む)が格納されている外部記録媒体から教材取込部30を介して追従学習教材記憶部231に格納されてもよい。また、前記手本は実際の手術の映像を採用するものでもよい。

【0030】
手順学習映像作成部211は、模範者による結紮縫合処置の映像等から手順学習映像(教材)を作成するものである。手順学習映像作成部211は、模範者による結紮縫合処置の映像等を再生し、再生中に、鉗子114の動きが停止したとか、音声ガイドが途切れているとかの分割条件が発生すると、動き要素の区切りと判断して、それまでの映像部分を分割し(切り出し)、手順番号を例えば連番で付す処理を行う。分割されたそれぞれの時間幅分の動き要素の映像は、手順番号に対応して手順学習教材記憶部232に順次書き込まれる。なお、再生中の鉗子114の動きの停止は、映像中の鉗子114の映像をピックアップし、その映像の動きから判断するようにしてもよいが、動き検出部116で得られた3次元情報から、後述の動き情報取得部215で取得される、鉗子114の先端作用部の動きを3次元の動き情報(位置、動き速度)を用いて判断する態様でもよい。

【0031】
結紮縫合処置にいう鉗子114(なお、針、縫合用糸の動きを含めてもよい。)の一連の動きには、時間方向に複数の動き要素(それぞれが各手順に相当)が含まれている。例えば、(1)鉗子で針を持ち直す動き(手順番号1)、(2)針を刺入する動き(手順番号2)、(3)縫合用糸を引き、Cの字を作る動き(手順番号3)、(4)2回巻の動き(手順番号4)、(5)結紮の動き(手順番号5)である。

【0032】
図3は、手順学習のフレーム映像の一例を示す参考図で、(A)は、手順番号1に相当する針を持ち直すフレーム映像、(B)は、手順番号2に相当する針を差し込むフレーム映像、(C)は、手順番号3に相当する縫合用糸を巻く状態を示すフレーム映像の図である。図3において、モニタ画面13aには、内視鏡カメラ115で撮像された映像が表示されており、画面全体にはダミー患部映像1171が表示され、略中央に切開部映像1181が表示されている。また、モニタ画面13a内には、鉗子映像1141、鉗子114の先端作用部に挟持された状態の針映像1191及び針映像1191の一端に繋がれている縫合用糸映像1192が表示されている。

【0033】
手順学習映像表示処理部212は、手順学習の指示を受け付けて手順学習映像表示モードに移行することで、付与された手順番号に従って各動き要素の映像を手順学習教材記憶部232から読み出してモニタ13に表示する。これによって、学習者は、各手順、各手順の動き要素の動かし方及びポイントを理解する。手順学習映像表示処理部212は、各動き要素の映像の再生が終了すると、続いて、モニタ13を内視鏡カメラ115側に切り替える。すなわち、モニタ13に、手順学習教材記憶部232からの読み出し映像に代えて、内視鏡カメラ13の撮像映像が表示される。これにより、学習者は直前に観察した動き要素を模倣することが可能となる。

【0034】
また、手順学習映像表示処理部212は、各動き要素の映像の再生が終了すると、モニタ13に対応する動き要素の映像の最終フレーム映像を静止映像として併記表示するようにしている。これにより、各動き要素における鉗子114の最終辿り位置が把握容易となる。要素併記表示は、模範者の鉗子映像のみをピックアップして表示することが好ましい。この鉗子映像のピックアップは、例えば、模範映像の撮影時に照明光を利用して鉗子に光が当たるようにした状態で行い、最終フレーム映像に輝度方向の閾値を設定することで可能である。あるいは、鉗子114に所定の色を付しておくなどして、色彩差で鉗子映像を抽出することも可能である。本実施形態では、最終フレーム映像を点滅表示することで、内視鏡カメラ115の撮像映像と識別容易にしている。点滅表示は、例えば、最終フレーム映像を所定時間毎にモニタに表示させることで実現可能である。

【0035】
手順学習映像表示処理部212は、フットペダルである操作部121の信号を受け付けると、手順番号が途中であれば、モニタ13を切り替えて次の手順番号の動き要素映像を手順学習教材記憶部232から読み出してモニタ13に表示し、一方、最終の手順番号であれば、最初の手順番号に戻るリピート処理を行う。操作部121への操作が別の態様で行われた場合、例えば2度押しとか押し時間の長短を利用しての別の押し操作であれば、手順学習映像表示モードを終了する指示として扱うこともできる。あるいは別の操作部材を設けてもよい。

【0036】
追従学習映像表示処理部213は、追従学習の指示を受け付けて追従学習映像表示モードに移行することで、追従学習教材記憶部231の一連の動き映像と内視鏡カメラ115の撮像映像とをモニタ13上で合成表示、ここでは交互に時分割表示するものである。

【0037】
図4は、この表示モードの一部分を概略的に示すもので、(A)は追従学習教材記憶部231の一連の動き映像の各フレームを、(B)は内視鏡カメラ115の撮像映像の各フレームである。モニタ13は例えば16.7ms(1/60Hz)のフレーム周期で映像が書き替えられている。この実施例に示す図4は、時間方向に連続する(A)映像がAフレーム数に相当する表示時間、時間方向に連続する(B)映像がBフレーム数に相当する表示時間だけ交互に切り替えられて表示されることを示している。従って、表示周期(1サイクル)は、(A+B)フレーム数に相当する時間となり、自他(学習者/模範者)比率は、(B/A)となる。

【0038】
表示形態設定部214は、追従学習映像表示モードでの表示周期及び自他比率の少なくとも一方を、操作部24を介して変更設定可能にするものである。

【0039】
追従学習映像表示処理部213は、本実施形態では映像の合成法として時分割表示法を採用しているが、両映像を重畳する重畳法や並列して併記する並列表示法も、適用対象によっては考えられる。ところで、腹腔鏡手術のトレーニングに適用する場合、視野重畳提示では、小さな変位で複雑に重なっている鉗子の追従を行う際の追従特性が悪化するケースが考えられる。この場合には多数の特徴点間の対応を取ることから、学習者の映像と模範者の映像との煩雑な注意の切り替えが追従特性を悪化させると考えられる。そこで、注意を遷移することなく追従させる手法として、映像を交互に切り替えて提示する時分割法がむしろ好ましいと思料する。これにより学習者が模範者との同一感を保ちながら,融合感も生起する錯覚現象が起こると期待できる。すなわち、時分割法では、互いに協調的な身体運動を行う場合に、自己映像と教材映像との同一視点の映像を、モニタ13上で交互に切り替えることによって、自己運動の随意性が失われず、かつ自然と相手と運動が揃ってしまうような、運動の誘発がある。教材映像の動きの追従を行う場合に、視野中に逐次的に表示される両者の運動部位が融合して一つの自己の運動部位であると錯覚させる、いわゆる融合感をもたらす(生起させる)ことが可能となる。ここに、融合感とは、自分側の運動部位なのに勝手に動いているような、思った通りにも動くような、随意と不随意とが融合した印象をいう。すなわち、教材映像の運動部位には見えず、自分の運動部位以外のものには思えないという主観的な感覚をもたらすことである。この結果として、自己側では、追従誤差を明確に認識しない乃至はできないままの状態で追従できてしまうという意識下で多点対応付け及び追従の実行を達成するものと考えられる。

【0040】
本出願人は、先願(特願2012-97328)において、同一視点で撮像した自己の動き映像と追従対象の映像とをモニタに時分割法で表示した場合に、上述の効果を生むための周期が周波数換算で略2Hz~4Hzであり、自他比率が1対1~1対3であることが好ましいとしている。この条件では、前記融合感の生起によって、追従精度をより高いものとすることが可能となる。

【0041】
動き情報取得部215は、前記した動き検出部116からの計測情報を元に鉗子114の先端作用部の位置、向きを相対算出するものである。また、学習者や鉗子の動きを、例えば基端の指入れ部に指圧を図る圧力センサを取り付けて、指の動き時の力の加減を計測したり、学習者の腕等の身体適所に筋電センサ(電極板等)を取り付けて、運動時に発生する筋電位を計測することで、動きの円滑さ、スムースさ等も評価できるようにすることが好ましい。動き情報取得部215は、さらに模範者の動きの計測結果と、学習者の動きの計測結果を比較することで、例えば差分を求めることで、評価に使用することが可能となる。

【0042】
図5は、手順学習教材作成処理の一実施形態を示すフローチャートである。まず、模範者が行った原教材の再生が開始される(ステップS1)。次いで、再生中に動き検出情報の動き速度0及び音声の途切れの少なくとも一方の条件が分割条件として満たされたか否かが判断される(ステップS3)。分割条件に合致すると、最初から現時点までの映像、あるいは1番目の手順以降において分割条件に合致した場合には直前の分割箇所から現時点までの映像を切り出し、手順番号が連番で付されて手順学習教材記憶部232に保存される(ステップS5)。なお、映像は実際に切り出して個別に保管する態様でもよいが、分割箇所の情報(保存アドレス)を手順番号と関連付けて記録し、アドレス管理によって同様な分割処理を可能とする態様でもよい。次いで、再生が終了したか否かが判断される(ステップS7)。終了であれば、本フローが終了する。

【0043】
一方、ステップS3で、分割条件がなければ、ステップS7に進み、再生終了でないことを条件に、ステップS3に戻って同様な切り出し処理が繰り返される。

【0044】
図6は、手順学習教材表示モード処理の一実施形態を示すフローチャートである。先ず、手順番号を示すiが、i=1に設定される(ステップS21)。次いで、手順番号iに相当する教材映像が手順学習教材記憶部232から読み出されてモニタ13に表示(再生)される(ステップS23)。この手順番号iの教材映像が読み出されると、当該教材映像の読み出しが終了した(再生が終了した)か否かが判断される(ステップS25)。当該教材映像の読み出しが終了していなければ(再生途中であれば)、ステップS23に戻る。一方、当該教材映像の読み出しが終了したのであれば、モニタ13が内視鏡カメラ115側に切り替えられ、かつ当該手順番号iの教材映像の最後のフレーム映像が点滅状態にされて併記表示される(ステップS27)。

【0045】
この状態では、学習者はモニタ13を観察しながら、当該手順番号iに対応する動きを練習することが可能となる。続いて、次の手順の教材映像への移行指示操作、すなわち操作部121による操作の待機状態となる(ステップS29)。次の手順の教材映像への移行指示操作があると(ステップS29でYes)、手順番号i=i+1にインクリメントされ(ステップS31)、次いで手順番号i>I、すなわち最後の手順番号Iを超えたか否かが判断される(ステップS33)。手順番号i>Iでなければ、ステップS23に戻って、次の手順番号の教材映像がモニタ13に導かれる。

【0046】
一方、手順番号i>Iであれば、最後の手順番号の教材映像まで手順学習が終了したとして、再度、手順学習を行うか否かの指示、すなわちリピート指示操作の有無が判断される(ステップST35)。ここで、リピート指示操作があれば、ステップS21に戻って最初の手順番号の教材映像から手順学習が開始される。一方、リピート指示操作がなければ(あるいは手順学習を終了したい旨の操作指示があれば)、手順学習から追従学習のための追従学習教材表示モードへ移行する(ステップS37)。

【0047】
図7は、追従学習教材表示モード処理の一実施形態を示すフローチャートである。このフローチャートでは時分割切替表示処理が実行される(ステップS41)。この時分割切替表示処理も学習者の意向によって、すなわち操作部121への指示操作を受け付けて所望する回数だけ実行することができ、また、終了することができる(ステップS43)。

【0048】
図8は、追従学習教材表示モード処理内の時分割切替表示処理の一実施形態を示すフローチャートである。まず、追従学習教材記憶部231から教材映像が読み出されてモニタ13に出力され、かつフレーム数の計数処理が行われる(ステップS51)。次いで、Aフレーム数だけ表示が行われると(ステップS53でYes)、Aフレーム数の読み出し時点で、教材映像の読み出しが中断される(ステップS55)。

【0049】
続いて、モニタ13が内視鏡カメラ115側に切り替えられ、内視鏡カメラ115の撮像映像がモニタ13に表示され、かつフレーム数の計数処理が行われる(ステップS57)。次いで、Bフレーム数だけ表示が行われると(ステップS59でYes)、モニタ13が教材映像側に切り替えられ、追従学習教材記憶部231内の、直前に中断したアドレス箇所から教材映像がモニタ13へ出力され、かつフレーム数の計数が行われる(ステップS61)。続いて、教材映像の読み出しが終了したか否かが判断され(ステップS63)、教材映像の読み出しが終了していなければ、ステップS53に戻り、同様に、Aフレーム数の教材映像とBフレーム数の内視鏡カメラの映像とが交互にモニタ13に表示される処理が繰り返される。一方、教材映像の読み出しが終了したのであれば、本フローが終了する。

【0050】
なお、時分割切替表示処理においては、追従学習教材記憶部231からAフレームずつ読み出すようにした(ステップS53でYes)が、追従学習教材記憶部231からは継続的にフレーム映像が読み出されており、内視鏡カメラ115の撮像映像が表示される間は、モニタ13に導かれず、あるいは導かれても表示されない態様としてもよい。このようにすることで、追従学習教材記憶部231からのフレーム映像の時間方向の変化が実時間に対応するものとなる。

【0051】
続いて、図9、図10は、効果を説明するための図表である。図9(A)は学習の進捗に応じて行った、各実験者による一連の動作に要した所要時間の推移を示す図表、図9(B)は比較実験者と学習終了後における各実験者とによるそれぞれ一連の動作に要した所要時間の差を示す図表である。また、図10(A)は学習の進捗に応じて行った、各実験者による一連の動作中に起こしたエラー(動きミス)数の推移を示す図表、図10(B)は比較実験者と学習終了後における各実験者とによるそれぞれ一連の動作中に起こしたエラー数の平均の差を示す図表である。

【0052】
図9、図10は、研修医A,B,C,D,Eの5人に対して、手順学習を30分行い、次いで追従学習(鉗子運動学習)を30分行った場合の実験結果を示している。なお、追従学習では、追従学習と自主練習とが交互に行われ、自主練習の所要時間は26分であった。まず、図9(A)において、横軸は学習中の時間経過であって0分,15分、30分、45分及び60分の各時点を示し、縦軸は各時点で行った結紮のための一連の動き動作に要した所要時間(秒)を示している。図9(A)に示すように、学習開始前は、平均して120秒程度要していた時間が、15分、30分、45分に進むにつれて漸減する傾向を示し、60分の時点つまり学習後には、ほぼ全員が40秒程度にまで低下していることが判る。これにより、本学習方法が誰にも有効であることが認められる。

【0053】
図9(B)において、横軸は、システム使用すなわち前記同様60分の学習を行った研修医A~E、及びシステム不使用すなわち本学習方法によらず、従来の学習台装置10のみを使用してトータルで7時間練習した独学の医師G,H,I(結紮縫合手術の実績無し)を示し、縦軸は各研修医の学習終了後の結紮のための一連の動き動作に要した所要時間(秒)を示している。そして、熟練医の平均所要時間が35秒程度である場合に、研修医A~Eの平均は40秒程度であり、かつバラツキも少ない。一方、独学の医師G,H,Iについては、平均は50秒程度であり、研修医A~Eの平均と少し差が認められる。しかも、各人のバラツキ(個人差)が大きいという問題がある。

【0054】
図10(A)は、各研修医A~Eについて学習前、30分経過後(すなわち手順学習のみ終了した時点)及び60分後での結紮のための一連の動き動作におけるエラーの個数の推移を示している。

【0055】
エラーのチェックリストは、結紮縫合を行う上で重要なポイントをリストアップしたもので、以下のとおりであり、ここでは19個を挙げている。なお、追従学習時でのエラー内容には、*印を付して、手順学習時と区別している。

【0056】
手順番号1 内容:針の把持(持ち替え)
(01)針を掴みやすいように最初に角度を考えて入れているか
(02)針を直角(もしくは直角よりもやや鈍角)に持てているか
(03)針の1/3から1/4の箇所を持てているか
(04*)針の掴み方はスムースか(一度もエラーがないか)
手順番号2 内容:針の刺入
(05*)針の入れ位置と出し位置の関係がほぼ等間隔か
(06)狙ったところに針を持って行き、狙ったところに針先を出しているか(刺入位置と水平なところから針先を出させているか)
(07)組織を痛めないように針を抜くことができているか
(08)鉗子を順手に持って時計回りに鉗子をひねり、針を抜いているか
手順番号3 内容:糸を引き、Cの字形成
(09*)スムースに糸を手操れているか
(10*)左手でエラーなく糸を掴み、一度で引くことができているか
(11)ショートテールは長くなりすぎていないか(1.5cm~2.0cm程度)
手順番号4 内容:外科結紮(2回巻き)
(12)右手で持った糸を立てることができているか
(13)左の鉗子の湾曲は上向きになっているか
(14*)右手と左手が協調して動いて巻き付けができているか
(15)縫合部位に近いところで巻き付け操作を行っているか
手順番号5 内容:結紮(針を入れた側の糸を左鉗子で引っ張る)
(16)左の鉗子でショートテールの糸を掴むときに右の鉗子が離れたところに行っていないか
(17*)エラーなくショートテールを掴めるか
(18*)掴んだ後、左の鉗子をスムースに抜くことが出来ているか
(19)緩まずに適切な力で締めることができるか。

【0057】
図10(A)に示すように、研修医Aは、学習前には手順学習時に9個、追従学習時に4個の計13個であったが、30分後の手順学習時に1個、60分後の手順学習時に1個と大きく減少している。研修医Bは、学習前には手順学習時に9個、追従学習時に4個の計13個であったが、30分後の手順学習時に3個、追従学習時に1個となり、60分後は0と大きく減少している。研修医Cは、学習前には手順学習時に8個、追従学習時に4個の計12個であったが、30分後の手順学習時に4個、追従学習時に3個となり、60分後の手順学習時に2個と段階敵に減少している。研修医Dは、学習前には手順学習時に7個、追従学習時に3個の計10個であったが、30分後の手順学習時に3個、追従学習時に3個となり、60分後の手順学習時に2個、追従学習時に1個と段階敵に減少している。研修医Eは、学習前には手順学習時に10個、追従学習時に3個の計13個であったが、30分後の手順学習時に2個、追従学習時に2個となり、60分後の手順学習時に3個、追従学習時に1個と段階敵に減少している。

【0058】
このように、30分後の段階で大きくエラーが減少していることが判り、次いで、60分後で漸減していることが判る。

【0059】
さらに、図10(B)に示すように、本システムを使用しての学習の終了後における各実験者(研修医A~E)によるそれぞれ一連の動作中に起こしたエラー数の平均は、19個中2個であり、一方、本システム不使用の比較実験者(独学医師G~I)によるそれぞれ一連の動作中に起こしたエラー数の平均は19個中13個であり、大きな差があることが判り、本システムを使用した学習方法に顕著な学習効果があることが認められる。

【0060】
そして、動き学習装置1は、従来装置に情報処理装置20を組み込むことで実現する構造であることから、ロボット式のアクチュエータセンサや高度な計算処理が必要なシミュレーションシステムを必要とする従来方式に比して、極めて低コストで導入可能となる。

【0061】
なお、本発明は、以下の態様を採用してもよい。

【0062】
(1)本実施形態では結紮縫合処置の例で説明したが、これに限らず、内視鏡カメラで行う専門的な医療処置についても適用可能である。また、患部画像をモニタを介して遠隔観察しながら手術用ロボットを用いて行う遠隔手術も専門的で、扱える医師数も少ないことから、かかる遠隔手術における各種の医療処置に対しても適用可能である。

【0063】
(2)本発明の適用範囲は医療分野に限定されず、その他の分野でも適用可能である。例えば技能乃至は技倆が要求される分野、例えば製品(作品)の作成過程に応じた各動作要素があり、これらの動作要素を経て一連の動作が終了することで製品等が完成する陶芸の分野が想定される。また、各食材に対する固有の調理を施して、最終的に目的の料理を完成させる料理実習の教材にも適用可能である。

【0064】
(3)本実施形態では学習者の前方にモニタ13を配置した態様であるが、モニタとして、身体動作の視覚的なガイダンスを実現する装置としてのビデオシースルーヘッドマウンテッドディスプレイ(VST-HMD)を採用する態様でもよい。

【0065】
(4)また、内視鏡カメラ115の映像をモニタ13に導くに際して、情報処理装置20で所定のタイムラグを設定する遅延処理を施すことで、学習者に力覚を付与でき、より臨場感のある学習が期待できる。また、映像に微分処理を行うデジタルフィルタを介在させることで、映像のエッジ強調が図れ、映像認識が向上する。

【0066】
(5)本実施形態では、時分割表示の各時間をフレーム数の設定で説明したが、フレーム数の計数に代えて計時手段を備え、時間で時分割切り替えする態様でもよい。

【0067】
(6)本実施形態では、手順学習から追従学習への切替を操作部121への指示で行う態様としたが、これに代えて、手順学習終了時点から一定時間経過で自動的に追従学習に移行するようにしてもよい。
【符号の説明】
【0068】
1 動き学習支援装置
10 練習台装置
11 ドライボックス
114 鉗子
115 内視鏡カメラ(撮像部)
121 操作部
13 モニタ
20 情報処理装置
21 制御部
211 手順学習映像作成部(動き要素映像作成手段)
212 手順学習映像表示処理部(第1の学習支援処理手段)
213 追従学習映像表示処理部(第2の学習支援処理手段)
23 RAM
231 追従学習教材記憶部
232 手順学習教材記憶部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9