TOP > 国内特許検索 > 視線方向特定システム > 明細書

明細書 :視線方向特定システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4654434号 (P4654434)
公開番号 特開2006-141862 (P2006-141862A)
登録日 平成23年1月7日(2011.1.7)
発行日 平成23年3月23日(2011.3.23)
公開日 平成18年6月8日(2006.6.8)
発明の名称または考案の名称 視線方向特定システム
国際特許分類 A61B   3/113       (2006.01)
G06F   3/033       (2006.01)
G06T   1/00        (2006.01)
G06T   7/60        (2006.01)
FI A61B 3/10 B
G06F 3/033 310A
G06T 1/00 340A
G06T 7/60 150B
請求項の数または発明の数 6
全頁数 16
出願番号 特願2004-338939 (P2004-338939)
出願日 平成16年11月24日(2004.11.24)
審査請求日 平成19年9月28日(2007.9.28)
特許権者または実用新案権者 【識別番号】504209655
【氏名又は名称】国立大学法人佐賀大学
発明者または考案者 【氏名】新井 康平
個別代理人の代理人 【識別番号】100099634、【弁理士】、【氏名又は名称】平井 安雄
審査官 【審査官】宮川 哲伸
参考文献・文献 特開2003-015816(JP,A)
特開平05-298015(JP,A)
特開2003-196017(JP,A)
特開平02-138673(JP,A)
特開2003-079577(JP,A)
特開平05-046309(JP,A)
特開平06-105808(JP,A)
調査した分野 A61B 3/113
G06F 3/033
G06T 1/00
G06T 7/60
特許請求の範囲 【請求項1】
任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で指定される複数の注視点を注視する毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元(口角)を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における前記使用者の黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えることを
特徴とする視線方向特定システム。
【請求項2】
前記請求項1の視線方向特定システムにおいて、
表示装置を備え、
前記基準面が表示装置の表示面であることを
特徴とする視線方向特定システム。
【請求項3】
前記請求項2に記載の視線方向特定システムにおいて、
前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定することを
特徴とする視線方向特定システム。
【請求項4】
前記請求項2又は3に記載の視線方向特定システムにおいて、
使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを
特徴とする視線方向特定システム。
【請求項5】
前記請求項2なしい4のいずれか記載の視線方向特定システムにおいて、
前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを
特徴とする視線方向特定システム。
【請求項6】
前記請求項1ないし5のいずれかに記載の視線方向特定システムにおいて、
前記基準画像が、可視波長の画像であることを
特徴とする視線方向特定システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、使用者が視線を向けている視線対象物における視線方向先の座標を求める視線方向特定システムに関する。
【背景技術】
【0002】
背景技術となる視線方向特定システムに類似する技術としては、特開2003-271932号公報に開示される視線方向検出装置がある。この視線方向検出装置は、顔画像撮像手段によって撮像された顔画像から目の位置を特定し、この眼位置特定手段により特定された画像から眼球の回転角を検出するとともに、顔画像位置特定手段によって撮像された顔画像から顔の向きを検出し、これら眼球回転角と顔の向きから視線方向を検出する構成である。この視線方向検出装置によれば、視線方向検出の精度をある程度向上させることができる。

【特許文献1】特開2003-271932号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、前記背景技術は以上のように構成され、視線方向検出の精度をある程度改善することができるものの、主に車両用の視線方向検出であってより精度が求められる分野、例えば、視線方向の検出によってキータイピングを行う分野等においては不十分であるという課題を有する。
【0004】
また、前記公報を精査すると、眼球の回転角、及び、顔の向きに基づいて、視線方向のうち横座標を検出することはできるものの、縦座標を検出する手段は開示されておらず、視線の縦座標も検出できないという課題を有する。
【0005】
本発明は、前記課題を解決するためになされたものであり、視線方向検出の精度をより向上させると共に、視線の横座標だけでなく縦座標を把握し、視線対象物における視線方向先の座標を求める視線方向特定システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は係る視線特定システムは、任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で設定される複数の注視点を注しする毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元(口角)を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるものである。このように本発明においては、任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で設定される複数の注視点を注しする毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元(口角)を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。
また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるので、複数の基準画像から目尻検出、口元検出及び黒目中心検出を行うことができ精度が向上すると共に、黒目方向特定手段が異なる注視点の基準画像を比較することで容易に黒目方向の特定を行うことができる。
さらに、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し、検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心を求めることができる。

【0011】
また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準面が表示装置の表示面であるものである。このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。
【0012】
また、本発明に係る視線方向特定システムは必要に応じて、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するものである。このように本発明においては、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。
【0013】
また、本発明に係る視線方向特定システムは必要に応じて、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるものである。このように本発明においては、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。
【0014】
また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するものである。このように本発明においては、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。
【0015】
また、本発明に係る視線方向特定システムは必要に応じて、前記基準画像が、可視波長の画像であるものである。このように本発明は、前記基準画像が、可視波長の画像であるので、前記撮像装置も一般的なCCDカメラを適用でき安価に構成できると共に、基準画像の情報量をおさえることができ、目尻検出手段、口元検出手段及び黒目中心検出手段が処理する情報量も少なくなるため処理の迅速化を実現することができる。従来方式においては、誤差が大きいため、他の処理要素として近赤外線画像を用いて眼球内部及び網膜の結像を使用して視線方向特定の精度を高めていた。しかしながら、本発明によれば、近赤外線画像を用いることなく、精度高い視線方向を特定することができる。
【発明を実施するための最良の形態】
【0016】
(本発明の第1の実施形態)
本発明の第1の実施形態に係る視線方向特定システムについて、図1ないし図5に基づき説明する。図1は本実施形態に係る視線方向特定システムの構成ブロック図、図2は本実施形態に係る視線方向特定システムの前に使用者が対面した概観図、図3は本実施形態に係る視線方向特定システムのディスプレイに表示されたシンボル、図4は本実施形態に係る視線方向特定システムの動作フローチャート、図5は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。なお、図5のキーボードでは、各キーの数字、アルファベット等のラベルの印字は省略している(図6も同様である)。
【0017】
本実施形態に係る視線方向特定システムは、撮像装置10と、この撮像装置10により撮像した画像内の両眼の目尻を検出する目尻検出手段21と、同撮像した画像内の両口元(口角)を検出する口元検出手段22と、同撮像した画像内の黒目中心を検出する黒目中心検出手段23と、前記目尻検出手段21で検出した目尻及び前記口元検出手段22で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段24と、前記黒目中心検出手段23で検出した黒目中心から黒目方向を特定する黒目方向特定手段25と、前記顔位置方向特定手段24で特定した顔の位置及び方向並びに前記黒目方向特定手段25で特定した黒目方向から視線方向を特定する視線方向特定手段26とを備え、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置10により撮像し、この撮像した基準画像から前記目尻検出手段21が目尻を検出し、基準画像から前記口元検出手段22が口元を検出し、基準画像から前記黒目中心検出手段23が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置10が行い、この撮像した視線検出するための画像から前記目尻検出手段21が目尻を検出し、視線検出するための画像から前記口元検出手段22が口元を検出し、視線検出するための画像から前記黒目中心検出手段23が黒目中心を検出し、前記顔位置方向特定手段24が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段25が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段26が、前記顔の位置及び方向並びに黒目方向から視線方向を特定する構成である。また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置10により撮像し、撮像した画像を基準画像として用いる構成である。また、前記顔位置方向特定手段24が顔の位置及び方向を特定する場合にアフィン変換を用いた構成である。また、前記黒目中心検出手段23は、極座標変換を用いて黒目中心を検出する構成である。また、表示装置となるディスプレイ30を備え、前記基準面がディスプレイ30の表示面である構成である。また、前記ディスプレイ30にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定する構成である。
【0018】
前記視線方向特定システムは、図2に示すように、ハードウェアの構成が撮像装置10であるCCDカメラ11と、目尻検出手段21、口元検出手段22、黒目中心検出手段23、顔位置方向特定手段24、黒目方向特定手段25及び視線方向特定手段26が実装されたコンピュータ40と、ディスプレイ30からなる。視線方向のみを検出する場合には、基準画像を取得することができれば、必ずしもディスプレイ30は必要はない。ただし、本システムからの使用者への指示等を考えれば、ディスプレイ30の存在価値が大きい。
前記指定する注視点としては、前記ディスプレイ30の中心(図3のa)、ディスプレイ30の四隅(図3のb、c、d、e)とする。ここで、注視点としては、ディスプレイ30の他の部分であってもよい。
【0019】
前記黒目中心検出手段23は、黒目中心の座標検出を行うために、まず、取得画像の輪郭画像を得るべく、縦、横方向の差分を計算して画像化する。差分が15未満の画素は無視し、差分の8倍を画素として用いて輪郭画像を得る。8倍したときに画素の範囲を超えた画素は補正する。さらに、目の付近でラスタ走査しながら、ある点Aを中心にして周りの画素Bを極座標に変換する。ただし、極座標に変換するのはAからBの距離(半径)が黒目の半径に近いBだけとする。黒目中心Cを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。即ち、極座標の定義より円の形に応じて直線に変換させることから、この直線成分は、直交座標における円の形の半径に応じて求められる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Cを黒目の中心座標とする。

【0020】
前記目尻検出手段21は、前記同様に輪郭画像にし、目付近の緩やかな曲線を検出し、目尻の座標を求める。なお、目尻は、黒目中心検出の後に行うこともでき、黒目中心の座標が分かれば、容易にまぶたの曲線を検出することができる。また、目頭も同様に求めて目尻と同様に用いることもできる。
前記口元検出手段22は、前記同様に輪郭画像にし、鼻付近の横方向の直線を検出し、口元の座標を求める。
【0021】
前記顔位置方向特定手段24は、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、アフィン変換を用いて顔の位置及び方向を特定する。アフィン変換式は以下の通りとなる。なお、0x、0yは上下、左右の顔の移動、また、A、B、C、Dは拡大縮小(顔の前後の動き)、回転(ロール)、スキュー(ヨー、ピッチ)、アスペクト(縦横)比(ヨー、ピッチ)である。
【数1】
JP0004654434B2_000002t.gif
すなわち、(1)式及び基準画像の両目尻、両口元の4座標(x,y)を参照し、これ等の位置が変わったときの座標(x',y')から、顔のロール、ピッチ、ヨー角度と上下、左右、前後の位置の移動を推定することができる。なお、ある程度の許容範囲を前提に頭の大きさを仮定(黒目の位置と頭中心の相対関係)して、顔位置方向を特定することもできる。また、基準画像から仮定する頭の大きさをある程度特定することができる。
【0022】
前記黒目方向特定手段25は、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定する。基準画像は、注視点が前記ディスプレイの中心、ディスプレイの四隅の5点であるため、5枚ある。5枚は、使用者が体位移動(体自体の移動、首の各種回転等を含む)をしていないため、目尻、口元の座標は変わっていないが、異なる注視点を注視しているため、黒目中心の位置が異なる。これらの基準画像から、どの位置に黒目があればどの方向を向いているかを特定することができる。
【0023】
前記視線方向特定手段26は、前記顔の位置及び方向並びに黒目方向から視線方向を特定する。前記黒目方向特定手段25により黒目方向は特定をすることはでき、使用者が体位移動しなければ、基準面のどの部分を注視しているかは、黒目中心の位置で容易に分かる。しかしながら、使用者は無意識のうちに微妙に体が動いており、この動きが誤差となって、視線方向を正確に特定することができなかった。そこで、この視線方向特定手段26は、顔位置方向特定手段24により求められた顔位置及び方向を、黒目方向に合成して視線方向を特定している。
【0024】
次に、本実施形態に係る視線方向特定システムの使用動作について図4に基づき説明する。まず、ディスプレイ30表示制御を行う表示手段27が、ディスプレイ30の中央にシンボルaを表示する(ステップ11)。表示手段27は、かかるシンボルaを表示したまま、「ディスプレイに対して正面を向き、中央のシンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から5秒後に撮像を行います。」とのテキスト表示を行う(ステップ12)。使用者は、基準面となるディスプレイ30に対して正面を向く。CCDカメラ11は、前記5秒後に撮像を行う(ステップ13)。
【0025】
次に、目尻検出手段21がシンボルaについての基準画像から目尻の座標を検出する(ステップ21)。同基準画像から口元検出手段が口元の座標を検出する(ステップ22)。前記黒目中心検出手段23が、基準画像について黒目中心を検出する(ステップ23)。
【0026】
次に、表示手段27は、シンボルaの表示を止め、シンボルbのみの表示を行う。表示手段27は、かかるシンボルbを表示したまま、「ディスプレイに対して正面を向き、シンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から5秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記5秒後に撮像を行う。他のシンボルc、シンボルd及びシンボルeについてもシンボルbと同様に、表示を行い、撮像を行う(ステップ31)。これらの撮像による基準画像が5つ得られることとなる。前記黒目中心検出手段23が、シンボルb、シンボルc、シンボルd及びシンボルeに係る画像について黒目中心を検出する(ステップ32)。
【0027】
前記表示手段27は、シンボルeの表示を止め、キーボードを表示する。続けて、表示手段27は、「表示しているキーボードの任意のキーを選択して注視して下さい。」とのテキスト表示を行う(ステップ41)。さらに、「今から2秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記2秒後に撮像を行う(ステップ42)。
【0028】
次に、目尻検出手段21がシンボルaについての基準画像から目尻の座標を検出する(ステップ51)。同基準画像から口元検出手段22が口元の座標を検出する(ステップ52)。前記黒目中心検出手段12が、基準画像について黒目中心を検出する(ステップ53)。
【0029】
顔位置方向特定手段24がアフィン変換により顔位置(相対位置)、顔方向(ロール、ピッチ、ヨー)を求める(ステップ61)。黒目方向特定手段25が、標準黒目中心座標と検出黒目中心座標とから黒目方向を求める(ステップ62)。視線方向特定手段26が、顔位置(相対位置)、顔方向(ロール、ピッチ、ヨー)及び、黒目方向の合成により視線方向を決定する(ステップ63)。
【0030】
選択キー特定手段28が、前記求めた視線方向のディスプレイ平面における交点を求め、かかる交点に対応するビットを決定し、かかる決定されたビットが表示しているキーを特定する(ステップ71)。表示手段は、「このキーでいいですね?」「次に、キー入力に移行します」とのテキスト表示を行う(ステップ72)。
ここで、確定、キー入力の終了、停止、一時停止等の操作は、手を振る、頭を振る等の身振り手振りでシステムに認識して行う。
【0031】
このように本実施形態に係る視線方向特定システムによれば、撮像装置10と、この撮像装置10により撮像した画像内の両眼の目尻を検出する目尻検出手段21と、同撮像した画像内の両口元(口角)を検出する口元検出手段22と、同撮像した画像内の黒目中心を検出する黒目中心検出手段23と、前記目尻検出手段21で検出した目尻及び前記口元検出手段22で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段24と、前記黒目中心検出手段23で検出した黒目中心から黒目方向を特定する黒目方向特定手段25と、前記顔位置方向特定手段24で特定した顔の位置及び方向並びに前記黒目方向特定手段25で特定した黒目方向から視線方向を特定する視線方向特定手段26とを備えるので、使用者が撮像装置により顔を撮像することで視線方向を検出することができる。また、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置10により撮像し、この撮像した基準画像から前記目尻検出手段21が目尻を検出し、基準画像から前記口元検出手段22が口元を検出し、基準画像から前記黒目中心検出手段23が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置10が行い、この撮像した視線検出するための画像から前記目尻検出手段21が目尻を検出し、視線検出するための画像から前記口元検出手段22が口元を検出し、視線検出するための画像から前記黒目中心検出手段23が黒目中心を検出し、前記顔位置方向特定手段24が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段25が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段26が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。また、前記顔位置方向特定手段24が顔の位置及び方向を特定する場合にアフィン変換を用いたので、Z軸まわりの回転であるロール、Y軸まわりの回転であるピッチ、新しいZ軸まわりの回転であるヨーの回転を正確に求めることができ、すなわち、頭の微小な動きによる回転であっても検出し、黒目方向と共に視線方向を特定するので、精度高く視線方向を特定することができる。また、前記黒目中心検出手段23は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心をもとめることができる。また、このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。また、前記ディスプレイ30にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。
【0032】
なお、本実施形態に係る視線方向特定システムの黒目中心検出手段23は以上のような動作を行うが、かかる動作によってうまくいかない画像があり、これを原因究明すると前記画像には多くの睫毛が撮像されていることが分かった。このような睫毛の影響を抑え、黒目中心検出の精度を向上させるために、次のことを行う。第1に目の付近の画像に上下左右4[dot]単位で平滑化を行う。この平滑化により、ノイズの影響を抑えることができる。第2に、画像の輪郭画像を得るために、縦、横方向の差分を計算して画像化し、差分が15未満の画素は無視し、横方向の差分の8倍、縦方向の差分の4倍を足したものを画素として用いて輪郭画像を得、画素の範囲を超えた画素は補正するようにした。これにより、瞼と目との輪郭と睫毛の輪郭が中心検出に与える影響を抑えることができる。第3に、目の付近でラスタ走査しながら、前記と同様に以下のことを行う。すなわち、目の付近でラスタ走査しながら、ある点Aを中心にして周りの画素Bを極座標に変換する。ただし、極座標に変換するのはAからBの距離(半径)が黒目の半径に近いBだけとする。黒目中心Cを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。即ち、極座標の定義より円の形に応じて直線に変換させることから、この直線成分は、直交座標における円の形の半径に応じて求められる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Cを黒目の中心座標とする。

【0033】
また、本実施形態に係る視線方向特定システムの黒目中心検出手段23は差分するときの閾値を15画素と決めていたが、これを眼の付近のコントラスト平均値の15分の1にすることもでき、コントラスト変化により耐え得ることができる。
【0034】
また、本実施形態に係る視線方向特定システムにおいては、各ステップにおいて目尻、口元、黒目中心、黒目方向、顔位置、顔方向及び視線方向を検出することができなかったことについて説明していないが、一般的な例外処理と同様に、エラー表示を行って終了処理を行うこともできる。また、エラー表示を行った場合に、通常の使用者であればエラーの意味が理解できない場合もあるため、例えば、エラーとなった画像を表示するようにすることもできる。
また、本実施形態に係る視線方向特定システムにおいては、目尻と口元を対象としているが、容易に検出できる特徴点であれば顔の他の部位であってもよい。
【0035】
(本発明の第2の実施形態)
本発明の第2の実施形態に係る視線方向特定システムについて、図6に基づき説明する。図6は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムと同様に構成され、使用者の視線方向を検出し、前記ディスプレイの表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを異にする構成である。
【0036】
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムの動作と略同じであるが、前記ステップ71でシステムが特定したキーをステップ72で注視したものと同一であるかを使用者に問うことなく、図6に示すように、特定したキーのみブラシングし、さらに、カーソルで指す。また、ステップ42でカメラが所定時間後に撮像をしているが、所定間隔毎に撮像し、ステップ51ないしステップ71の処理を行いキーを特定することで、より迅速にキー入力を行うことができる。また、特定したキーが前記ブラシングし、そのまま注視することで確定となって次のキー入力に移行することもできる。すなわち、ブラシングした状態で注視を止めることで確定を停止し、次のキー入力に移行することができる。確定を停止する状態としては、システム側がキーの特定を誤った場合もあるが、使用者側の入力ミスを考えることができる。この実施形態では、CCDカメラ11が所定間隔毎に撮像していることで、使用者が慣れれば、所定間隔を短くし、高速のキー入力を実現することができる。特に、人間の視点移動はトレーニングにより著しく向上することが知られている。
【0037】
このように本実施形態に係る視線方向特定システムによれば、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。
なお、本実施形態に係る視線方向特定システムにおいては、前記カーソルをそのままGUIのカーソル操作に用いることもできる。
【0038】
(本発明の第3の実施形態)
本発明の第3の実施形態に係る視線方向特定システムについて、図7に基づき説明する。図7は本実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムと同様に構成され、ディスプレイ30に前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを異にする構成である。具体的には、図に示すように検出した目尻、口元及び黒目中心を明示する。
【0039】
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムの動作と略同じであり、ステップ23の後に、前記図に示すように検出した目尻、口元及び黒目中心を明示するフローである。
【0040】
このように本実施形態に係る視線方向特定システムによれば、ディスプレイ30を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。
【0041】
(本発明のその他の実施形態)
前記各実施形態に係る視線方向特定システムにおいては、黒目方向特定手段25がより具体的には、シンボルaについての基準画像のときの眼が図8(a)のように目頭、黒目中心、目尻の3点で構成される三角形の各辺、角度が形成され、シンボルdについて画像のときの眼が図8(b)のように目頭、黒目中心、目尻の3点で構成される三角形の各辺、角度が形成され、他のシンボルのときも形成される三角形が異なり、この三角形の各辺、角度(一部であってもよい)の比率により黒目方向を特定することができる。また、一方の目の目尻及び黒目中心と、他方の目の目頭とでできる三角形であってもよい。
【0042】
前記各実施形態に係る視線方向特定システムにおいては、システムの動作は前記ステップ11ないしステップ72までのステップがなされるが、ステップ11ないしステップ32のステップ(すなわち、基準画像の取得、目尻、口元及び黒目中心の検出。)はそれぞれの使用者が初回に1回のみ行い、かかる初回の処理で得られる情報を保存し、再び同じ使用者が使用する場合には保存した情報を読み出すようにすることもでき、2回目以降の使用は使用者がステップ11ないしステップ32までのステップを省略することができ、実際のキー入力をすぐに行うことができる。さらに、顔認識システムを本システムとあわせて用いることにより、顔認識システムにより使用者を特定し、本システムで特定された使用者の情報を読出し、ステップ32以降のステップに移行することで、より利便性の高いシステムを構築することができる。ここで、顔認識システムを挙げたのは、本システムでCCDカメラ11を用いてるからであり、機器の追加がないからである。よって、顔認識システムに限らず、指紋認証システム等の他の個人特定システムを適用してもよいが、できればCCDカメラ11を用いて撮像装置を流用することが望ましい。
【0043】
また、図9に前記各実施形態に関する各種実験結果の図を示す。図9(a)は目周辺の輪郭画像を曲座標にしたものであり、図9(b)は黒目中心を求めて実際の撮像画像に重畳させて表示したものであり、図9(c)は黒目中心を求める過程で導出される画素値である。
【図面の簡単な説明】
【0044】
【図1】本発明の第1の実施形態に係る視線方向特定システムの構成ブロック図である。
【図2】本発明の第1の実施形態に係る視線方向特定システムの前に使用者が対面した概観図である。
【図3】本発明の第1の実施形態に係る視線方向特定システムのディスプレイに表示されたシンボルである。
【図4】本発明の第1の実施形態に係る実施形態に係る視線方向特定システムの動作フローチャートである。
【図5】本発明の第1の実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
【図6】本発明の第2の実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
【図7】本発明の第3の実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。
【図8】本発明のその他の実施形態に係る視線方向特定システムの黒目方向特定の説明図である。
【図9】各実施形態に関する各種実験結果の図である。
【符号の説明】
【0045】
10 撮像装置
11 CCDカメラ
21 目尻検出手段
22 口元検出手段
23 黒目中心検出手段
24 顔位置方向特定手段
25 黒目方向特定手段
26 視線方向特定手段
27 表示手段
28 選択キー特定手段
30 ディスプレイ
40 コンピュータ

図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図8】
6
【図7】
7
【図9】
8