TOP > 国内特許検索 > 眼球運動を用いた視線入力コミュニケーション方法

眼球運動を用いた視線入力コミュニケーション方法

国内特許コード P06P004007
整理番号 IP43
掲載日 2006年4月14日
出願番号 特願2004-236083
公開番号 特開2005-100366
登録番号 特許第3673834号
出願日 平成16年8月13日(2004.8.13)
公開日 平成17年4月14日(2005.4.14)
登録日 平成17年5月13日(2005.5.13)
優先権データ
  • 特願2003-294213 (2003.8.18) JP
発明者
  • 田中 幹也
  • 水上 嘉樹
  • 若佐 裕治
出願人
  • 国立大学法人山口大学
  • 株式会社医療福祉工学研究所
発明の名称 眼球運動を用いた視線入力コミュニケーション方法
発明の概要

【課題】 本発明は、眼球運動を用いた視線入力コミュニケーションシステムの開発を課題として、ビデオカメラを用いて患者の顔画像を取得し、画像処理により非接触的に患者の視線方向検出を行うことにより、表示画面上の意図する項目を選択するとともに、眼球運動と瞼の開閉動作による眼球機能のみで入力し、スイッチング操作で仮想ボードによる操作により、在宅勤務を行うようにした眼球運動を用いた視線入力コミュニケーションシステムの構築を目的とする。
【解決手段】 被験者の顔全体をとらえた画像より被験者に目の開閉をさせて差画像を取得し、次いで目と眉のテンプレートを登録し、キャリブレーション時に得たデータと入力画像により得られたデータを比較して視線方向を検出するようにした。
【選択図】 図5

従来技術、競合技術の概要


ビデオカメラより取り込んだ画像から、視線方向を推定する研究は歴史が長く、従来の研究には近赤外線を用いる手法や、蛍光灯を瞳孔内に映し出すことにより、視線方向を検出する手法等がある。



まず、ALS患者等が意思伝達装置を使用している際、顔が動くことによって、眼球の注視位置が検出できない状況をなくし、意思伝達装置が誤操作しないようにすると共に、制御装置の小型化と経済性の優れたものとする特許が公開されている(例えば、特許文献1)。該装置は、視線を利用して意思伝達装置を使用する際には誤操作せず、容易且つ正確に制御できる装置とした。また、該装置は小型で経済性の優れたものとした。具体的には、被験者の顔をデータとして読み込む際に使用する方法を赤外線からCCDカメラとした。また、顔の画像データ量(眼球の位置だけではなく顔の位置、向き、視線方向などとした)を増やした。更に、予めモニターを分割化して被験者がどの部分を見ていたか認識させ画像としてデータ化(辞書)し、実際に使用時には被験者がどのキーを見ているかを辞書から画像データを選定させることで誤操作をなくし、小型化を実現し、経済性の優れたものとする。意思伝達装置を容易且つ正確に、視線による指示入力し制御する具体的な手順は以下の通りである。予め意思伝達装置のモニターを分割化し、被験者に分割箇所の一つ一つの箇所を見てもらい、その都度CCDカメラによって被験者の画像(顔の位置、向き、視線方向)を読み込み認識させデータ化(辞書)しておく。意思伝達装置の使用時には、CCDカメラによって使用者の画像データを読み取り、実際に被験者が操作する上で前記モニター上のキーを見た画像と予め画像データ化しておいた辞書とを比較して辞書の中から類似した画像データを選出し、選出した画像データと対応した箇所に録音されている会話の発声と操作手順を実行する。ところが、特許文献1に記載のものは、本発明のようにALS患者等が眼球機能のみで操作が簡単で汎用的なPCソフトが利用できないといった問題がある。



次に、ビデオカメラより取り込んだ画像から、視線方向を検出する従来の技術について説明する。表示画面上に取り付けた2台の小型カメラで取り込んで操作者の顔面の映像から、画像処理装置によりいくつか決定する。視線方向算出装置は、事前に決められている。表示画面上の基準点を見ている時いくつかの点を初期値として記憶する。また、画像処理装置により決定された点と初期値として記憶している点から顔面と眼球の方向を決定し、これらに基づいて視線の方向を算出する。算出された視線方向は演算処理装置に与えられる。また、操作者までの距離が決定され、結果が演算処理装置に与えられる。演算処理装置は、操作者が事前に決められた距離よりも近くにいる場合にかぎり、表示画面上にカーソルを出力する。しかも、視線の方向に応じてカーソルを移動させるようになっている(例えば、特許文献2)。ところが、特許文献2に記載のものは、本発明のようにALS患者等が眼球機能のみで操作が簡単で汎用的なPCソフトが利用できないといった問題がある。



また、ユーザのジェスチャ、音声、操作、視線、瞬きの少なくとも一つの情報に基づき、視線検出の機能を中断、再開することで、ユーザの意思に従ってカーソルを制御するようにしたものであり、利用者の視線方向を検出する視線検出手段と、検出した視線位置にカーソルを移動させるかさせないかのカーソル追従モードを管理するカーソル管理手段と、検出された視線位置にカーソルを移動させるカーソル制御部とを備えたものがある(例えば、特許文献3)。ところが、特許文献3に記載のものは特許文献2と同様に、本発明のようにALS患者等が眼球機能のみで操作が簡単で汎用的なPCソフトが利用できないといった問題がある。



T.N.Cornsweetらは、近赤外線を目に照射することによって作られる、第1~第4
Purkinje像の中で、第1 Purkinje像(角膜表面の反射像)と第4 Purkinje像(水晶体裏面の反射像)が頭部の動きの影響を相殺することに着目し、頭部をあご台とヘッドレストで簡単に固定するだけで高精度な視線検出を可能にした(非特許文献1)。しかし、第1Purkinje像に比べて1/500倍程度の第4Purkinje像からの信号を分離し検出するための光学系が、複雑かつ大掛かりになるという問題がある。



飯田と伴野は、角膜強膜反射法を利用したアイカメラと3次元磁気センサの併用により、使用者の頭の動きによらずに、表示画面上の注視点を検出する手法について提案している(非特許文献2)。ところが、アイカメラは角膜(黒目)と強膜(白目)の光の反射率の違いを利用したLBM方式のアイカメラを用いており、頭部に装着する必要がある。精度評価を行った結果は、検出された注視点と指標の間の平均誤差として0.89 deg.であった。また、視線とマウスを併用することにより、マウス単体による指示入力に比べて、指標の移動距離が大きい場合には有利であることが確認されている。しかし、単一色の背景中に指標やカーソルを表示するという、特殊なケースで実験した等の問題が残る。そこで、実際のワークステーションで表示画面を指示する場合にできるだけ近い指示入力実験を行い、有効性を実用に合った方法で確認している(非特許文献3)。



伴野は、近赤外線を眼に照射した時に反射し瞳孔から出る光をカメラでとらえるには、照明装置の配置条件に大きく依存してしまうことに着目し、配置条件の異なる2種類の照明を用いて、瞳孔を抽出する方法を提案している(非特許文献4)。眼球を二つの球が重なったモデルで近似し、レイトレーシングにより、瞳孔全体が同様な明るさで撮影される照明配置条件と、瞳孔が暗く撮影される照明配置条件を求めた。この2つの配置条件の下で、瞳孔が明るい画像と暗い画像を同一カメラで撮影し、これらの差分をとることで瞳孔を抽出している。



伴野と岸野は、ステレオ画像計測により顔の3点と瞳孔の空間位置を求め、特徴点の位置情報より、眼球中心を計測し、視線検出を行っている(非特許文献5)。縁に三つのマークをつけた、レンズのない眼鏡を装着することにより、顔上に動きの少ない三つの特徴点を作り出す。2台のカメラシステムは、各々四つの特徴点を撮影画面いっぱいにとらえることで、特徴点の相対的な3次元位置を0.1~0.15mm程度の精度で検出できる。



向井らは、濃淡画像を用いて特徴パターン抽出による視線方向検出を行っている(非特許文献6)。照明には一般的な蛍光灯を用いており、赤外線光などの特殊照明灯は使用していないのが特徴である。100インチ表示画面内を3×3に分割し、9方向の視線識別を行っている。入力画像には、顔の鼻より上が用いられており、ソーベルフィルタを用いて、目の位置を検出する。得られた目の位置情報より、目周辺画像を抜き出す。肌の色がノイズとなり黒目の位置を得ることが難しいので、肌の色に近い色彩を除去し、濃淡化することにより特徴パターンを抽出している。標準パターンとのマッチングにより、視線方向を識別する。標準パターンは学習用画像データより作成され、両目それぞれに対して水平・垂直各3パターンが用意されている。実験の結果、9方向識別において、正解率が71.4%であった。表示画面が100インチという大きさを考慮すると、実用的ではないと考えられる。



青山らは、眼球の回転角度に顔方向を加算することにより視線方向を求めている(非特許文献7)。心理実験を行い、視線方向の推定には、両目と口の情報から推定できることを確認している。入力画像は胸上の上半身全体であり、エッジ、モザイクパターンを用いて、入力画像より顔画像領域を抽出する。両目と口の抽出には、テンプレートマッチングを用いる。あらかじめ、本人の正面画像より切り出した両目、口の画像を用いてマッチングを行い、各々候補領域を10個ずつ決定する。得られた候補領域より、両目、口として適切な距離にある組み合わせを選択する。目頭・顔の両端も検出し、顔の方向を推定する。テクスチャマッピング画像を用いることにより、投影像と入力画像を比較することにより方向の補正を行っている。評価実験結果は、まず特徴抽出に成功したのが126枚中113枚、89.7%であった。左右方向の平均誤差は円筒モデルで12.9度、平面モデルで10.2度であった。上下方向に関しては、今後の課題となっている。



堀場らは、目周辺領域を拡大した画像を2値化することによって、眉毛端点、虹彩中心を抽出し、2点間の相対距離の変位によって視線方向を推定している(非特許文献8)。基準点を顔画像上に設けることにより、頭部の動きを許容するとあるが、目周辺画像が拡大されており、頭部が揺らぐとカメラ画像内から目、眉がはみ出してしまうことが十分に考えられる。



西内らは、マーカーを必要とせずに顔の特徴点の抽出を行うことによって顔の向きを検出し、黒目中心の位置を加算することにより視線検出を行っている(非特許文献9)。2値化によって白と黒のみに変換された顔画像より、両目頭と二つの鼻の穴の最も近接する位置の中点を、鼻の特徴点として抽出する。各個人の顔の特徴点間の距離は、あらかじめ測定されており、この距離より三次元空間における座標を計算し顔の向きを推定する。なお、赤外線を用いない代わりに、蛍光灯をCRTの下部に置き、それ以外の照明は無いものとしている。黒目中心は、虹彩領域内に映し出された蛍光灯の光の反射と、黒目の端点より求められる。



竹上、後藤は、角膜反射像と虹彩領域の相対関係に基づき、視線方向を推定している(非特許文献10)。視線方向の変化に伴って、角膜における光源の反射像の位置が虹彩領域内で相対的に変化することに着目している。また、角膜反射像と虹彩領域のエッジ部分を特徴点として利用することにより、頭部の固定や指標等を装着することなく、単一カメラで比較的高精度な計測を可能としている。光源によって、安定的に角膜反射像が作り出せるのか問題は残るが、固視微動とほぼ対応する精度(±0.5~0.9 deg.)で検出できることを実験により確認している。




【特許文献1】特開2001-350578号公報

【特許文献2】特開平5-298015号公報

【特許文献3】特開2001-100903号公報




【非特許文献1】T.N. Cornsweet and H.D. Crane,“Accurate two-dimensional eye tracker using first and fourth Purkinje images,”JournalOpt.Soc.Am.,vol.62,No.8,pp.921-928,1973.

【非特許文献2】飯田,伴野,“頭部の動きを許容した注視点検出装置と指示入力への応用,”電子情報通信学会論文誌,D-II,No.4,pp.520-527,1991.

【非特許文献3】伴野,鉄谷,岸野,“視線とマウスを併用する指示入力法の評価,”電子情報通信学会論文誌,D-II,No.6,pp.867-875,1993.

【非特許文献4】伴野,“視線検出のための瞳孔撮影光学系の設計法,”電子情報通信学会論文誌,D-II,No.6,1991.

【非特許文献5】伴野,岸野,“顔と瞳孔の3次元位置計測に基づく注視点検出アルゴリズム,”電子情報通信学会論文誌,D-II,No.5,pp.861-872,1992.

【非特許文献6】向井,三谷,外川,“画像処理による視線方向検出手法,”第2回画像センシングシンポジウム講演論文集,pp.135-138,1996.

【非特許文献7】青山,山村,“一台のカメラによる顔と視線方向の推定,”電子情報通信学会技術報告書,PRU.95-233,pp.131-136,1996.

【非特許文献8】堀場,李,井上,“画像処理による視線検出手法とその応用,”第40回システム制御情報学会研究発表講演会,pp.187-188,1996.

【非特許文献9】西内,柴田,高田,“画像処理による非接触視線検出法の研究,”日本機械学会論文集(C編),64巻620号,pp121-127,1998.

【非特許文献10】竹上,後藤,“角膜反射像と虹彩輪郭情報を併用した視線検出法,”電子情報通信学会論文誌,D-I,vol.J82,pp.1295-1303,1999.

産業上の利用分野


本発明は、重度の筋萎縮性側策硬化症患者(以下、ALSという)等と介護者、家族等とのコミュニケーションを支援する、眼球運動を用いた視線入力コミュニケーションシステムに関する。

特許請求の範囲 【請求項1】
被験者の顔全体をとらえた画像より被験者の目が開いている画像と閉じている状態の画像の各画素における値の差を計算し、この差を画素値としてもつ新しい画像を作成させて差画像を取得し、次いで該差画像から目の中心となる座標を求め、その座標から目と眉のテンプレートを登録し、該キャリブレーションを行う時、パソコン画面を数分割した領域を該被験者が各分割領域を見た方向別の画像を登録しておき、黒目の位置を画像処理手法により求め、視線方向検出のための各方向別の基準となる黒目と眉の相対距離を求めておくようにしたことを特徴とする眼球運動を用いた視線入力コミュニケーション方法

【請求項2】
高速テンプレートマッチングを用いて目の位置を連続的に追従しつつ、カメラのズームイン機能により目周辺を大きくとらえた画像で該キャリブレーションおよび視線方向を取得するようにしたことを特徴とする請求項1記載の眼球運動を用いた視線入力コミュニケーション方法

【請求項3】
該キャリブレーション後、数分割した領域の該パソコン画面上に、視線ポインタを眼球と瞼の開閉動作のみの機能でマウスの代わりに入力し、スイッチング操作により、仮想キーボードによる操作を可能としたことを特徴とする請求項1記載の眼球運動を用いた視線入力コミュニケーション方法

【請求項4】
起動させたいアプリケーションを含む区画された画面表示を2秒以上注視することにより、注視していた該区画の領域を拡大し、該被験者の視線が3秒間以上同一方向に向けられていると画面のスクロール速度が高速化する方式を採用し、該高速スクロールによって起動させたい該アプリケーションを該表示画面中央付近まで移動した後、意識的な瞬きを行うことにより、該視線ポインタを該表示画面中央付近に位置するように移動したことを特徴とする請求項1記載の眼球運動を用いた視線入力コミュニケーション方法
産業区分
  • 入出力装置
  • 計算機応用
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2004236083thum.jpg
出願権利状態 権利存続中
山口TLOは平成11年11月に山口大学の教官50名の出資により設立された、リエゾン一体型のTLO活動会社です。山口大学を主とし、山口県内の大学・高専の研究成果をご紹介致します。特許の内容に興味を持たれた方は、下記までご連絡ください。


PAGE TOP

close
close
close
close
close
close
close