TOP > 国内特許検索 > 瞳孔位置検出によるポインティング装置及び方法 > 明細書

明細書 :瞳孔位置検出によるポインティング装置及び方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4839432号 (P4839432)
公開番号 特開2005-182247 (P2005-182247A)
登録日 平成23年10月14日(2011.10.14)
発行日 平成23年12月21日(2011.12.21)
公開日 平成17年7月7日(2005.7.7)
発明の名称または考案の名称 瞳孔位置検出によるポインティング装置及び方法
国際特許分類 G06F   3/033       (2006.01)
G06T   1/00        (2006.01)
G06T   7/20        (2006.01)
G06T   7/60        (2006.01)
FI G06F 3/033 310A
G06T 1/00 340A
G06T 7/20 A
G06T 7/60 150B
請求項の数または発明の数 3
全頁数 9
出願番号 特願2003-419110 (P2003-419110)
出願日 平成15年12月17日(2003.12.17)
審判番号 不服 2009-004262(P2009-004262/J1)
審査請求日 平成18年12月15日(2006.12.15)
審判請求日 平成21年2月26日(2009.2.26)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
【識別番号】100139000、【弁理士】、【氏名又は名称】城戸 博兒
【識別番号】100152191、【弁理士】、【氏名又は名称】池田 正人
参考文献・文献 特開平11-86005(JP,A)
特開昭63-75824(JP,A)
特開平10-20998(JP,A)
特開平9-146692(JP,A)
特開平9-167049(JP,A)
特開平9-212082(JP,A)
特開平4-23027(JP,A)
特開2001-154794(JP,A)
特開平7-49744(JP,A)
特開平10-20996(JP,A)
特開2000-187552(JP,A)
特開平10-260772(JP,A)
調査した分野 G06F 3/033 - 3/041,340
特許請求の範囲 【請求項1】
対象者の顔面を撮像するカメラと、
該カメラの近傍に配置され近赤外光を照射する第1の光源と、
該第1の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第2の光源と、
前記第1及び第2の光源の照射を制御すると共に、前記カメラにより得られる前記第1の光源の照射時の画像と前記第2の光源の照射時の画像との差分を演算して瞳孔の位置を直接検出し、該瞳孔の位置座標の変化分を直接モニタ上のカーソル移動量に相当する信号として外部に出力する制御装置と
からなる瞳孔位置検出によるポインティング装置。
【請求項2】
対象者の顔面を撮像するカメラと、
該カメラの近傍に配置され近赤外光を照射する第1の光源と、
該第1の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第2の光源と、
前記第1及び第2の光源の照射を制御すると共に、前記カメラにより得られる前記第1の光源の照射時の画像と前記第2の光源の照射時の画像との差分を演算して瞳孔の位置を直接検出し、かつ前記カメラにより得られる画像の時系列的な変化から瞳孔の有無を検出して、該瞳孔の位置座標の変化分を直接モニタ上のカーソル移動量に相当する信号として、該瞳孔の有無をカーソル関連のボタン押下信号として外部に出力する制御装置と
からなる瞳孔位置検出によるポインティング装置。
【請求項3】
カメラの近傍に配置された第1の光源により対象者の顔面を照射して第1の顔画像を得る段階と、
前記第1の光源よりもカメラから離隔した位置に配置された第2の光源により対象者の顔面を照射して第2の顔画像を得る段階と、
前記第1の顔画像及び前記第2の顔画像の差分を演算して瞳孔の位置を直接検出する段階と、
該瞳孔の位置座標の変化分に直接対応してモニタ上のカーソルの移動を制御することにより前記モニタ上にカーソルを表示する段階と
からなる瞳孔位置検出によるポインティング方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、コンピュータにおける入力装置としてのマウスに代替できるポインティング装置に関する。
【背景技術】
【0002】
従来方式と問題点:
これまでに視点(ユーザの視線方向)によるポインティングが種々提案されている(たとえば、Webアドレスの http://www.ericainc.com/ (Human-computer interaction using eye-gaze input.pdf),http://www.eyegaze.com/など参照)。
しかし、視点によって、ポインティングする場合は、表示装置上のポインティングしたい場所へ視点を動かさなければならないが、見るべき位置を探索している間も、カーソルが視点の位置に常に現れるため、カーソルを移動させたい位置にカーソルを移動させにくいという問題がある。また、視点位置にいつもカーソルが提示されることにより、それが視覚刺激となり、見たい対象が見にくいなどの問題がある。
【0003】
頭部の運動によれば、見ているところとカーソルのでる位置は異なり、しかも、前方の表示装置上の必要なところに視線を向けながらも、周辺視でカーソルを見ながら目的の位置にカーソルを動かすことができる。
従来の頭部の動きによるポインティングシステムの例:
・Eagle eye (非特許文献1及びWebアドレス http://www.cs.bc.edu/~gips/CM/ を参照)
Eagle eyeは、パソコンの横にビデオカメラを設置し、顔の画像を撮影しながら、画像処理により、予め指定する顔の一部をテンプレートマッチングにより追尾し、その動きに応じて、パソコン画面上のカーソルを動かす方式である。追尾対象としては、鼻の先、あごの先、黒眼などをためしている。しかし、テンプレートを更新しても、急減な周囲の明るさの変化などに対応しにくい可能性があり、また、追尾すべき対象が徐々にずれていくなどの問題も発生しやすい。
・Origin Instruments Corporation (Webアドレス http://www.orin.com/access/ を参照)
Origin Instruments の方式では、一種のステレオカメラで、頭に取り付けたマーカの動きを検出して、それに合わせて、カーソルを動かすものである。これの問題点は、マーカをいちいち取り付けなければならないことである。このため一般には使用しにくい。
【0004】
・顔の額などにシールでできたマーカを取り付け、ビデオカメラの横に設置した赤外光源により顔を照らし、マーカを検出し、頭部の動きによって動くマーカの2次元位置を検出して、パソコン画面上のカーソルを動かす方式がある。これの問題点は、マーカを顔に取り付けなければならない点である。
・磁気センサを利用した方式:これは頭部に磁気センサを取り付ける必要があるので不便である。
・超音波を利用した方式:超音波センサを頭部に取り付ける必要がある。
また、これら先行技術はマウスにおけるクリック相当の操作が行えず、クリック操作のためには別の補助入力装置を用いる必要がある。

【非特許文献1】"The Camera Mouse:Visual Tracking of Body Features to Provide Computer Access for People With Severe Disabilities", (Margrit Betke, James Gips, and Peter Fleming), IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol.10, No. 1, March 2002
【発明を実施するための最良の形態】
【0005】
方式の概要:
この発明は、不可視な赤外光源によって顔を照らし、ビデオカメラによって、顔の横幅全体が楽に入る拡大率で撮影し、ビデオカメラによって撮影される画像内の2つもしくは1つの瞳孔を直接検出する方式である。そして頭の動きによって生じる画像内の瞳孔の動きに合わせて、パソコン等のモニター上のカーソルを動かしたり、モニター上に表示されているメニューの選択をしたり、キーボードソフトを利用して文字を入力したり、複数のウインドウを切り替えたりすることができる。また、装置単独でマウスの左右ボタンの押下に相当する信号を発生することができ、他のクリック操作用入力補助装置の必要がない。
【0006】
瞳孔検出には、カメラの光軸に近いところに設置した光源と遠いところに設置した光源をフィールド毎に交互に点灯させ、瞳孔の明るい画像と暗い画像を得て、画像差分演算を行なう。このことで、瞳孔検出を容易にする。
瞳孔の明るい画像と暗い画像を得る原理は、瞳孔からの反射は、眼球の水晶体から入射した光が網膜により反射して概ね元の光源に返ってくる現象に基づくものであり、この光軸を外れた位置で観察しても、反射光を認めることはできないとの知見に基づくものである。
【0007】
システム構成:
図1にシステム全体の構成を示す。
カメラ1は、近赤外線に感度を持つ汎用のCCDビデオカメラであり、カメラ1の開口部(光の通る部分)の近くに1つの光源2、そして、カメラの開口部から離れたところにもう一つの光源3を設ける。カメラ1、光源2及び光源3は制御装置4に接続される。制御装置4はモニタ6を有すパーソナルコンピュータ(以下「パソコン」という)5に接続されている。接続インタフェースは、制御装置をPCIスロットに挿入する場合にはPCIバス・インタフェースによるものとし、外部アダプタとする場合にはUSBインタフェースによるものが好ましい。
さらには、パソコンそのものを制御装置として用いることも可能であり、その場合には、光源の照射(点滅)制御部分を分離して外部に設けることも考えられる。
所望により制御装置の制御機能を分割し、ソフトウエアで実行する部分、ハードウエアで実行する部分、パソコン自体で実行する部分、PCIボードで実行する部分など、適宜機能分散することが可能であることは、当業者であれば理解できよう。
【0008】
対象者(ユーザ)7に対し、カメラ近傍の光源2と離れた光源3とを交互に発光させて、その瞳孔からの反射画像をカメラ1で撮像する。光源2による画像と、光源3による画像との差分を制御装置4で演算し、得られた瞳孔位置の変化をUSBインタフェースにより、パソコン5に転送する。パソコン5においては、制御装置4からの信号をポインティングデバイスの一種であるマウスと同等であるものと見なして、モニタ6上に表示されたカーソル8の位置を制御する。
また、制御装置4は片目のみを閉じる動作を検出し、左右ボタンの押下に相当する信号を発生する。
ここで制御装置は光源の発光を制御するものとしたが、光源の発光・消灯に同期して画像信号を取り込むことができるものであれば動作上に支障はなく、たとえば商用周波数に同期して点滅する光源と、同じく商用周波数に同期して画像を取り込む制御装置とにより構成することが可能である。
【0009】
このカメラ1、近傍の光源2、離れた光源3及び制御装置4により構成されるシステムは、通常のパソコン用マウスと同等の機能を有する。したがって、普通のマウスのように、移動の方向やスピード、2つのボタンなどに相当する信号を、全く同じ形式で出力することが好ましい。なお、この瞳孔マウスと普通のマウスは併用ができる。本システムをUSBケーブルなどを介して、ごく普通に、別のパソコンに接続する。したがって、パソコンにとっては、通常のマウスと同等に見えることになる。同時に通常のマウスを同じパソコンに接続すれば、本システムとマウスが併用できる。
ここでは,接続インタフェースをUSBとして例示したが、これに限ることなくPS/2,RS232Cやパラレルポートなども利用できるものである。
【0010】
本システムにより、文字入力を行うためには以下に述べるようにソフトウエア・キーボードを用いるものとする。
パソコンの表示画面には、ソフトウエアにより図2のようなキーボード入力ツールを表示する。希望の文字のところにカーソルを持っていき、クリックをすればその文字が、Word(商標)など一般のアプリケーションソフトに入力される(Webアドレス http://orin.com/access/softype/index.htm を参照)。このキーボード入力ツール以外のところにカーソルを移動させた場合は、ごく普通のマウス操作と同様のことができる。
【実施例1】
【0011】
瞳孔位置検出のシステム構成:
現状では、カメラ1として近赤外線に感度を持つ汎用のCCDビデオカメラを用いる。図1のように、カメラ1の開口部(光の通る部分)の近くに1つの光源2、そして、カメラの開口部から離れたところにもう一つの光源3を設ける。
実際の光源例を2種類、図3に示す。図3(a)には、カメラの開口部(レンズ)10の最近傍領域12に同心円状に発光ダイオード(LED)11を配置し、その外周領域13に同じく同心円状に発光ダイオード11を配置した例を示している。
【0012】
図3(b)には、カメラの開口部10の近傍領域14に同心円状に発光ダイオード11を配置し、カメラ開口部10からやや離隔した位置に円状領域15を設け発光ダイオード11を配置した例を示している。これら発光ダイオードの位置は、以下に述べるように、瞳孔からの反射光を得るための照明と、差分演算を行うために必要な顔全体画像を得るための照明であるので、2群の照明光による顔画像に差があることは好ましくなく、また、離れた位置からの照明は瞳孔からの反射光を得るためではないので、適切な位置に配置することが望まれる。
【0013】
実際に対象者7を撮像した画像を図4に示す。
カメラ1の画像は図4に示すように、基本的に2つの瞳孔がフレームに十分入る大きさに写すものとする。この状態で,カメラの開口に近い光源を光らせると、図4左(a)のように瞳孔が明るく写る(明瞳孔)。一方で,カメラの開口から遠い光源を光らせると、図4中(b)のように瞳孔が暗く写る(暗瞳孔)。ただし、これら2つの画像中に見られる瞳孔中の小さな点は、各光源が角膜表面で反射して映る角膜反射と呼ばれるものである。本方式では、角膜反射は利用しない。
【0014】
さて、上述の2つの光源をカメラのビデオ信号の奇数、偶数フィールドに同期させて2つの光源を交互に光らせ,明瞳孔と暗瞳孔の画像を交互に得る。それらの画像を差分すると図4右(c)のような画像を得ることができる。この差分画像においては、瞳孔が他の部分(背景)から浮き出るように現れ、比較的簡単に2つの瞳孔を検出できる。
【実施例2】
【0015】
目の開閉情報とマウス信号への対応:
瞳孔移動によるポインティング装置の出力は、通常のマウス信号に対応させるため、マウスの移動量を表す信号、右ボタンの押されているかどうかの情報、左ボタンの押されているかどうかの情報が出力される。
左クリックをしたか、ドラッグをしたかなどの判断は、受け手のパソコンが判断する。なお、受け手のパソコンでは、クリック時間などを調整できるので、本装置では、その点を考慮する必要がない。
【0016】
基本的に、すばやく左目または右目のウインクをしたときに、それぞれマウスの左クリックまたは右クリックに相当し、左目を閉眼しながら頭部を動かしたとき、ドラッグに相当する。両目を開けながら、頭部を動かしたとき、単にマウスを動かすことに相当する。ただし、注意しなければならないのは、瞬きで両目をつぶった場合である。幸いなことに、2ボタンマウスでは、両方のボタンを押すという動作は必要ないため、両目をつぶったときは瞬きであると判断し、その場合は無視する。
【0017】
ある程度具体的に表現すると、次のようにまとめられる。
・両目の瞳孔(両瞳孔)が検出されるとき、各瞳孔中心座標の平均座標を計算し、直前のフレームの同座標との変化分に相当する信号を出力。
・左目の瞳孔(左瞳孔)が検出されて、右目の瞳孔(右瞳孔)が検出されないとき、右ボタンが押されたのに相当し、それに対応する信号を出力すると同時に、直前のフレームと現在のフレーム間の左瞳孔座標の変化分をカーソル移動に相当する信号として出力。
・右目の瞳孔(右瞳孔)が検出されて、左目の瞳孔(左瞳孔)が検出されないとき、左ボタンが押されたのに相当し、それに対応する信号を出力すると同時に、直前のフレームと現在のフレーム間の右瞳孔座標の変化分をカーソル移動に相当する信号として出力。
・両瞳孔が共に検出されないとき、瞬きが発生したとして、直前のフレームと現在のフレーム間の座標変化信号がゼロであることを示す信号をカーソル移動がゼロであることに相当する信号として出力すると同時に、両ボタンとも押されていないことを示す信号を出力し、両目が現れるのを待つ。
【0018】
これを図示すると、図5のようになる。図5(a)は両瞳孔が検出されているときのカーソルの移動を示している。最初の位置として左瞳孔20、右瞳孔22が存在し、顔の移動により左瞳孔21、右瞳孔23の位置に移動が検出される。制御装置4において、両瞳孔の初期位置の平均座標を求め、さらに移動後の平均座標を求める。求められた2つの平均座標の差に基づいてカーソル移動信号を発生する。パソコン5はカーソル移動信号に基づき、モニタ上のカーソル24を新しい位置であるカーソル25に移動させる。
また、簡略化する場合には両瞳孔の平均座標を求めるのではなく、片方の瞳孔位置検出のみによりカーソル位置を制御してもよい。これは、マウスにおいて右ボタン押下によるドラッグ操作が存在していないため実用上問題が生じないからである。
【0019】
図5(b)は、一方の瞳孔(左瞳孔)が消滅し、他方の瞳孔(右瞳孔)の移動が検出された場合を示している。左瞳孔26はこの位置で消滅し、右瞳孔22は右瞳孔23に移動したものとして新しい位置が検出される。この場合には、対象者(ユーザ)がカーソルによるドラッグを指示したものと判断し、マウスにおける左ボタンを押下しながらの移動として、制御装置4はカーソル24の位置からカーソル25の位置までのドラッグとしての信号を作成する。
ここでは、左瞳孔の消滅がマウスの左ボタン押下に相当し、右瞳孔の消滅がマウスの右ボタンの押下に相当するとしたが、この対応は任意に設定できるものであり、これに限定するものではない。
【実施例3】
【0020】
画像中の2つの瞳孔の検出法と閉眼の検出:
まず輝度情報を利用して瞳孔のおよそのありかを探す。次にその周囲にウインドウを与え、ウインドウ内の輝度ヒストグラムを作る。輝度ヒストグラムには、瞳孔部と背景部を表す2つのピーク(山)が現れる。したがって、適当な方法により、2つのピークの中間の値を閾値とし、2値化する。この閾値決定は自動的に行われる。これから瞳孔部の画素数を計数する。瞳孔画素数は瞳孔面積に対応させて利用する。
【0021】
さて、もし、閉眼し、画像中に瞳孔がなくなったとき、瞳孔が確かに無くなったと判断するのは困難である。そこで、瞳孔の検出を確実にする意味でも、両眼が開眼しているときに2つの瞳孔を検出したら、カルマンフィルター等の予測モデルを利用して、次のフレームの瞳孔位置を予測し、はじめから予想される瞳孔位置付近にウインドウを与える。そして、そのウインドウ内だけを前述のように自動的に閾値を決定して、瞳孔部を判断して、瞳孔中心を決定する。
【0022】
ただし、閉眼するとウインドウ内の輝度ヒストグラムが背景の1つのピークしか現れなくなることを利用して閉眼を判断する。もし、片眼だけが閉眼された場合は、閉眼したほうの瞳孔ウインドウだけが解除される。次のフレームでは、前フレームでの開眼しているほうの瞳孔に与えられたウインドウは維持され、その外の画像全体から、瞳孔検出を試みる。そして瞳孔候補として挙げられた位置にウインドウを与え、ウインドウ内の同様に解析して、瞳孔部が存在すると判断された場合は、そこに新たにウインドウが与えられ、閉眼していた目が開眼したと判断される。しかし、瞳孔部が存在しないと判断された場合は、まだ閉眼されているものとし、同様に開眼しているほうの瞳孔ウインドウを維持する。
【0023】
もし、さらに両目が閉眼した場合には、両方のウインドウが解除される。次のフレームにおいても、画像全体の中から瞳孔候補位置が2つ探される。しかし、それぞれのウインドウの中において、同様の方法により瞳孔が存在の有無を判断する。
2つの瞳孔とも無い(両目が閉じた)と判断されたら、次のフレームにおいて同じ作業を繰り返す。しかし、両目が閉じた場合は単なる瞬きであると判断し、さらに次の両瞳孔が出現するまでの期間は、瞳孔移動はなかったものとする。
片方の瞳孔があると判断された場合は、次のフレームではそちらだけ予測位置にウインドウを与え、もう一つの瞳孔の探索を試みて、無ければ片目が開いたと判断し、あれば両目とも開いたと判断し、次のフレームにおいては両瞳孔にウインドウを与える。
【0024】
以上のような方法により、2つの瞳孔のそれぞれの有無により、2つの眼の開眼、閉眼を区別し、もし、瞳孔が存在すると判断された場合は、各瞳孔の中心座標を重心法などにより算出する。
以上の処理は、ソフトウエアにより容易に作成可能である。また、ハードウエアとして実現することも可能である。
また、これまでカーソルの移動は瞳孔の移動に比例するかのように述べたが、頭の移動による瞳孔の移動は、特に上下方向においては小さく、瞳孔位置の基準点からのずれを積分することによりカーソル位置を決定する方が好ましい場合も存在するので、このような実施態様を否定するものではない
【産業上の利用可能性】
【0025】
本装置の用途として、次のようなことが考えられる。
1.首から下が動かない身体障害者が通常のパソコンを操作したり、パソコンを介して介護機器を制御するために利用する。
2.車内でフロントに呈示されたナビゲーションシステムなどをドライバーが前方を見ながら,頭部の回転によって制御できるようにする。
3.通常のパソコン操作などにおいて、キー操作をしながら、マウスカーソルを移動させたり、アクティブウインドウを変更したり、移動する、など、パソコン操作を高速化、効率化させるために利用する。
4.頭部の前後の動きがあまりないとき、画像中の瞳孔の動きから、頭部の左右、上下のおよその動きを検出し、それを利用して、頭部の動きの検出の必要なバーチャルリアリティーなど、特に頭部の動きに合わせてディスプレー上の表示する視覚情報を変化させるために利用する。
【図面の簡単な説明】
【0026】
【図1】システム全体の構成図
【図2】ソフトウエアによるモニタ上のキーボードの表示例
【図3】照明光の配置例を表す図
【図4】瞳孔からの反射像と差分画像を示す画像例
【図5】瞳孔の移動と消滅に対応するカーソルの移動を示す模式図
【符号の説明】
【0027】
1 カメラ
2,3 光源
4 制御装置
5 パーソナルコンピュータ
6 モニタ
7 対象者(ユーザ)
8 カーソル
10 カメラの開口部(レンズ)
11 発光ダイオード
12,13,14,15 発光ダイオードが配置される領域
20~23 瞳孔
24,25 カーソル
26 消滅した瞳孔
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4