TOP > 国内特許検索 > 視点検出装置 > 明細書

明細書 :視点検出装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5167545号 (P5167545)
登録日 平成25年1月11日(2013.1.11)
発行日 平成25年3月21日(2013.3.21)
発明の名称または考案の名称 視点検出装置
国際特許分類 G06F   3/0346      (2013.01)
FI G06F 3/033 423
請求項の数または発明の数 7
全頁数 16
出願番号 特願2008-508469 (P2008-508469)
出願日 平成19年3月7日(2007.3.7)
国際出願番号 PCT/JP2007/054434
国際公開番号 WO2007/113975
国際公開日 平成19年10月11日(2007.10.11)
優先権出願番号 2006100205
優先日 平成18年3月31日(2006.3.31)
優先権主張国 日本国(JP)
審査請求日 平成22年2月23日(2010.2.23)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
審査官 【審査官】岩崎 志保
参考文献・文献 特開平10-108840(JP,A)
特開平11-195131(JP,A)
特開平08-006708(JP,A)
特開2000-210257(JP,A)
国際公開第2004/099851(WO,A1)
特開平10-307314(JP,A)
調査した分野 G06F 3/033
特許請求の範囲 【請求項1】
画像表示手段によって表示された表示画像を窓部を介して外部に投射すると共に、前記窓部の外部に位置する対象者に向けて照射された照明光に応じて、前記対象者の眼画像を撮像手段によって撮像することによって、前記対象者の前記表示画像上の視点を検出する視点検出装置であって、
前記窓部と前記撮像手段との間の光路上に配置され、前記眼画像を前記光路に平行な光に限定して前記撮像手段に入射させるテレセントリックレンズ、及び該テレセントリックレンズの焦点位置に配置されたテレセントリック絞りと、
前記画像表示手段と前記窓部との間の光路上に配置され、前記テレセントリックレンズの一部を構成するレンズと、
前記撮像手段によって撮像された眼画像に基づいて前記対象者の視点位置を検出する検出手段と、
を備え、
前記画像表示手段の表示面が前記画像表示手段と前記窓部との間に配置された前記レンズの焦点位置に配置されることにより、前記画像表示手段の所定位置からの表示画像が平行光に変換されて外部に投射されるように構成されている
ことを特徴とする視点検出装置。
【請求項2】
前記照明光は、前記画像表示手段と前記窓部との間の光路上において前記対象者から無限遠の距離に位置するとみなせる光源から照射される、
ことを特徴とする請求項に記載の視点検出装置。
【請求項3】
前記検出手段は、前記眼画像における角膜反射の位置と瞳孔中心の位置とを検出し、前記角膜反射の位置と前記瞳孔中心の位置との位置関係に応じて前記視点位置を算出する、
ことを特徴とする請求項1又は2のいずれか一項に記載の視点検出装置。
【請求項4】
前記検出手段は、前記画像表示手段において指標画像を表示させながら、前記角膜反射の位置と前記瞳孔中心の位置とを検出し、前記角膜反射の位置と前記瞳孔中心の位置とが一致する第1の指標画像の座標を探索すると共に、前記画像表示手段において前記第1の指標画像とは異なる位置に第2の指標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置関係を求め、当該位置関係と前記第1及び第2の指標画像の座標とに基づいて前記視点位置を較正する、
ことを特徴とする請求項に記載の視点検出装置。
【請求項5】
前記検出手段は、前記画像表示手段における特定位置に第1の指標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置との第1の位置関係を求めると共に、前記画像表示手段において前記第1の指標画像とは異なる位置に第2の指標画像を表示させながら前記角膜反射の位置と前記瞳孔中心の位置との第2の位置関係を求め、当該第1及び第2の位置関係と前記第1及び第2の指標画像の座標とに基づいて前記視点位置を較正する、
ことを特徴とする請求項に記載の視点検出装置。
【請求項6】
前記対象者に入力文字を選択させるための選択用画像を前記画像表示手段に表示させた後、前記検出手段によって検出された視点位置に基づいて前記入力文字を特定する入力文字特定手段を更に備える、
ことを特徴とする請求項1~のいずれか一項に記載の視点検出装置。
【請求項7】
前記入力文字特定手段は、特定した前記入力文字を外部の情報表示手段に出力することを特徴とする請求項に記載の視点検出装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、表示させた画像に対する対象者の視点を検出する視線検出装置に関するものである。
【背景技術】
【0002】
従来から、ディスプレイ等の観察対象物上の対象者の視線方向又は視点を検出する装置が知られている。例えば、下記非特許文献1には、対象者の顔から50cmから80cm程度の距離にカメラを置き、対象者が表示画面内のどこを見ているかを計測する装置が記載されている。また、カメラを用いて顔画像から瞳孔を検出し、対象者の頭の動きにより発生する瞳孔の動きに合わせて表示画面上のカーソルを動かすようなポインティング装置も知られている(下記特許文献1参照)。
【0003】
一方で、対象者の頭部の大きな動きにも対応できるようにヘッドマウントディスプレイ(以下、HMDという)型の視線検出装置が、様々な応用面で有望視されている。例えば、パーソナルコンピュータから出力された画像を映し出すとともに、その画像上の視点を検出するためのカメラを備え、対象者の頭部の動きに起因する誤差を求めて、その誤差に基づいて検出結果の位置ずれを補正するHMD型の視線検出装置が開示されている(下記特許文献2参照)。また、対象者の視線方向を検出することによって外部の観察対象物のどの部分を注視しているかを算出するHMDも開示されている(下記特許文献3参照)。

【特許文献1】特開2005-182247号公報
【特許文献2】特開2001-134371号公報
【特許文献3】特開2005-286141号公報
【非特許文献1】Kay Talmi, Jin Liu “Eye and gaze tracking for visually controlled interactive stereoscopic displays”, Signal Processing Image Communication vol.14, August 1999, p.799-810
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の視線検出装置においては、装着位置のずれ等により装置に対する対象者の位置が変動した場合に、ディスプレイ等の観察対象物に対する視線又は視点を精度よく検出することが困難である。これは、対象者の頭の位置が変動すると対象者に対する観察対象物の見え方及び対象者の顔画像の位置が変化することに起因する。上記特許文献2に記載された視線検出装置は、視線入力が困難になった場合に再較正を行う機能を有するが、装着ずれに対して再三にわたり較正処理を行っていたのでは、ユーザの利便性が低下する。
【0005】
そこで、本発明は、かかる課題に鑑みて為されたものであり、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の精度を向上させることが可能な視点検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の視点検出装置は、画像表示手段によって表示された表示画像を窓部を介して外部に投射すると共に、窓部の外部に位置する対象者に向けて照射された照明光に応じて、対象者の眼画像を撮像手段によって撮像することによって、対象者の表示画像上の視点を検出する視点検出装置であって、窓部と撮像手段との間の光路上に配置されたテレセントリックレンズと、画像表示手段と窓部との間の光路上に配置され、テレセントリックレンズの一部を構成するレンズと、撮像手段によって撮像された眼画像に基づいて対象者の視点位置を検出する検出手段とを備える。
【0007】
このような視点検出装置によれば、窓部から外部に表示画像が投射される際に、表示面からテレセントリックレンズを経由することによって、表示面上の1点と対象者の視線の角度とが1対1に対応することになると同時に、照明光の照射に応じて対象者の眼画像がテレセントリックレンズを経由して撮像手段に映し出されることにより、対象者の位置が窓部に対して前後に変化しても撮像される眼画像の大きさは変化しない。これにより、対象者の眼画像に基づいて視点位置を検出する際に、表示面上の対象者の実際の視点と、検出される視線方向とが1対1に対応するので、窓部に対する対象者の位置が変化しても対象者の視点検出の誤差が低減される。
【発明の効果】
【0008】
本発明による視点検出装置によれば、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の精度を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の好適な一実施形態である視点検出装置1の概略構成を示す一部断面構成図である。
【図2】図1のHMDにおける画像表示光学系の光路を等価的に示す光路図である。
【図3】図1のHMDにおける撮像光学系の光路を等価的に示す光路図である。
【図4】図1の制御装置による視点検出処理の原理について説明する図であり、(a)は、対象者の眼球と撮像面の位置関係を示す図であり、(b)は、(a)における眼画像を示す図である。
【図5】図1の制御装置による視点検出処理の原理について説明する図であり、(a)は、対象者の眼球と撮像面の位置関係を示す図、(b)は、(a)における眼画像を示す図である。
【図6】図1のLCDによって表示される表示画像のイメージを示す図である。
【図7】図1のCCDによって撮像される眼画像のイメージを示す図である。
【図8】対象者の眼球の光軸及び視軸との関係を示す図である。
【図9】(a)は、図1のLCDによって表示されるカーソルを示す図、(b)は、図1のCCDによって撮像される眼画像のイメージを示す図である。
【図10】(a)は、図1のLCDによって表示されるカーソルを示す図、(b)は、図1のCCDによって撮像される眼画像のイメージを示す図である。
【図11】(a)は、図1のLCDによって表示されるカーソルを示す図、(b)は、図1のCCDによって撮像される眼画像のイメージを示す図である。
【図12】(a)は、図1のLCDによって表示されるカーソルを示す図、(b)は、図1のCCDによって撮像される眼画像のイメージを示す図である。
【図13】本発明の視点検出装置の応用例を示す概念図である。
【図14】本発明の変形例であるHMDの概略構成を示す図である。
【図15】(a)は、本発明の変形例において、LCDによって表示されるカーソルを示す図、(b)は、本発明の変形例において、CCDによって撮像される眼画像のイメージを示す図である。
【図16】(a)は、本発明の変形例において、LCDによって表示されるカーソルを示す図、(b)は、本発明の変形例において、CCDによって撮像される眼画像のイメージを示す図である。
【符号の説明】
【0010】
1…視点検出装置、2,102…HMD、3…制御装置(検出手段)、4…ファインダー(窓部)、5,105a,105b…光学系(テレセントリックレンズ)、8…LCD(画像表示手段)、8a…表示面、9…絞り部(テレセントリック絞り)、11…CCD(撮像手段)。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照しつつ本発明に係る視点検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。また、各図面は説明用のために作成されたものであり、説明の対象部位を特に強調するように描かれている。そのため、図面における各部材の寸法比率は、必ずしも実際のものとは一致しない。
【0012】
図1は、本発明の好適な一実施形態である視点検出装置1の概略構成を示す一部断面構成図である。同図に示すように、視点検出装置1は、視線を検出する対象者の頭部に装着されるヘッドマウントディスプレイ(以下、HMDという)2と、HMD2に接続されるパーソナルコンピュータ、サーバ装置等の制御装置(検出手段)3とを有している。なお、HMD2は実際には筐体を有しているがその図示を省略している。
【0013】
HMD2は、HMD2が対象者の頭部に装着された状態で対象者の眼球Eの前方に位置するファインダー(窓部)4と、ファインダー4の内側に設けられた3枚のレンズからなる光学系(テレセントリックレンズ)5と、光学系5の光軸L1に沿って光学系5から離れる方向にこの順で設けられたプリズム6及びLCD(画像表示手段)8と、光学系5の光軸L1に垂直に交わる光軸L2に沿って光学系5から離れる方向にこの順で設けられたプリズム7、絞り部(テレセントリック絞り)9、光学系10、及びCCD(撮像手段)11と、CCD11に並列に設けられた光ファイバケーブル12とを筐体内に備えて構成されている。以下、HMD2の各構成要素について詳細に説明する。
【0014】
光学系5は、その光軸と眼球E側の主光線とが平行となるように構成されたいわゆるテレセントリックレンズである。この光学系5の光軸L1上に設けられたプリズム6の光学系5側の傾斜面6aは、ダイクロイックミラーコーティングが施されており、LCD8の表示面8aから投射された可視光成分を有する表示画像を光学系5側に透過させる。一方、傾斜面6aは、光ファイバケーブル12から出射され、光軸L1に垂直に交わる光軸L2に沿って傾斜面6aに入射する近赤外光成分を有する照明光を、光学系5側に反射させるとともに、照明光が眼球Eにおいて反射されることによって入射した光(眼画像)を、プリズム7側に反射させる。
【0015】
このプリズム6によって折り曲げられた光学系5の光軸L2上には、プリズム7が位置している。このプリズム7のプリズム6側の傾斜面7aは、ハーフミラーコーティングが施されており、光軸L2に沿って入射した眼画像をCCD11側に透過させる。その一方、傾斜面7aは、光源(図示せず)から光ファイバケーブル12を通って照射された後にプリズム13において反射されて入射した照明光を、光軸L2に沿ってプリズム6側に反射させる。
【0016】
このような構成により、眼球EとHMD2の内部との間には、光軸L1に沿った画像表示光学系の光路(第1の光路)と、光軸L2に沿った撮像光学系の光路(第2の光路)とが構成される。
【0017】
図2は、画像表示光学系の光路を等価的に示す光路図である。なお、図2においては光学系5を等価的に1つのレンズとして示している。同図に示すように、LCD8は、その表示面8aの中心とファインダー4の中心との間に光軸L1が通るように設けられるとともに、表示面8aが光学系5からその焦点距離f分だけ離間するように配置されている。このような配置により、LCD8の表示面8a上に表示された表示画像は、可視光として光学系5に向けて出射され、光学系5においてほぼ平行な光線に変換されてファインダー4を介して外部の眼球Eに投射される。眼球に入射した光線は、瞳孔を通って網膜に投影されて、対象者に認識される。
【0018】
ここで、眼球Eが実線の位置から点線の位置にずれた場合を想定すると、光学系5の作用により、表示面8a上の一点から出射された可視光のそれぞれの主光線R01,R02は、対象者の眼球に入射する際には光軸L1との成す角が等しくなるように変換される。その結果、主光線R01,R02は、対象者が同じ角度を見ていたとすると、眼球Eの網膜の同一点に投影されるので、HMD2の筐体14と眼球Eとの相対的な位置がずれても、表示面8a上の表示画像は同じ位置に認識される。例えば、対象者が表示画像を見ている際に眼球Eに対して筐体14が平行移動しても、表示画像は静止しているように見えることになる。このことは、逆に対象者が表示面8a上の一点を固視しているときに筐体14がずれても視線方向は動かないことを意味する。その一方で、眼球Eに対して筐体14が回転移動した場合は、表示面8a上の一点から投射される画像はそれに従って回転する。
【0019】
図3は、撮像光学系の光路を等価的に示す光路図である。なお、図3においては光学系5を等価的に1つのレンズとして示している。同図に示すように、ファインダー4とCCD11との間の光軸L2上に光学系5が配置され、絞り部9が、その中心に光軸L1が通るように、光学系5から焦点距離f分だけ離間して配置されている。絞り部9は、CCD11によって撮像される像が暗くならないように、適切な内径に設定される。
【0020】
この光学系5と絞り部9とでテレセントリック光学系を構成する。具体的には、光学系5の絞り部9の反対側に位置する面M上にある点Qから発せられた光線は、絞り部9によって斜線の部分に絞られ、CCD11の撮像面11a上の点Qに結像し、面M上の点yから発せられた光線は、斜線の部分に絞られて撮像面11a上の点yに結像する。その結果、主光線R11,R12を含むそれぞれの光線は、光学系5に入射する時に光軸L2にほぼ平行である光線に限定されて撮像面11aに入射する。従って、光学系5及びファインダー4と被写体との距離が変化してもCCD11によって撮像される像の大きさは変化しない。
【0021】
このような撮像光学系において面Mを眼球の表面として考えると、光ファイバケーブル12からファインダー4を通して外部に照射された照明光に応じて対象者から反射された光線による像(眼画像)は、光学系5及び絞り部9を経由してCCD11の撮像面11aによって撮像される。このとき、CCD11及び光源と被写体である眼球との距離が常に無限遠とみなせる。
【0022】
言い換えると、撮像光学系のテレセントリック光学系の一部を構成する光学系5が、画像表示光学系の光学系としても共用されている。
【0023】
図1に戻って、絞り部9とCCD1との間の光軸L2上に配置された光学系10は、可視光遮断フィルター(赤外透過フィルター)10aとレンズ10b,10cとからなり、撮像面11aへ向けて入射する可視光成分の遮断、及び収差の補正等のために設けられている。
【0024】
制御装置3は、LCD8に表示させるための画像信号を生成するとともに、CCD11によって撮像された画像データを受け取って画像処理を行うCPU、メモリ、入出力装置からなるコンピュータシステムである。また、制御装置3は、対象者の表示面8a上の視点を検出するために視点検出処理、及び検出された視点を補正するための視点較正処理を実行する。以下、制御装置3によって実行される各処理について説明する。
【0025】
(視点検出処理)
まず、制御装置3による視点検出処理の原理について、図4及び図5を参照しながら説明する。
【0026】
一般に、対象者の眼球は近似的に眼球Eと角膜球Cとからなる2重球にモデル化することができる(図4(a)参照)。CCD11及び光源15と眼球Eとの距離は無限遠とみさせ、光源15はCCD11の光軸L2上に存在すると考えることができるので、光源15からの照明光は平行光として眼球Eに照射される。対象者の視線方向を示す視線ベクトルDが光軸L2に沿った方向を向いている場合は、照明光に応じて角膜球Cの表面において反射(角膜反射)される反射光の光路と、瞳孔の中心Cから反射される反射光の光路とがほぼ一致する。従って、撮像面11aによって撮像される角膜反射の位置P01と瞳孔中心の位置P02とがほぼ一致することになる(図4(b))。このとき、眼球Eが撮像された眼画像G01のどこに位置していても、眼球Eが常に撮像面11aから無限遠にあると見なせるので、角膜反射の位置P01と瞳孔中心の位置P02との位置関係が変化することはない。
【0027】
これに対して、対象者の視線ベクトルDが光軸L2からずれて斜め方向を向いている場合は、視線ベクトルDと光軸L2とが成す角度に比例して、撮像される眼画像G02における角膜反射の位置P11と瞳孔中心の位置P12との相対的な位置関係である座標のずれが大きくなる(図5(a)及び図5(b)参照)。このとき、眼球Eが撮像された眼画像G02のどこに位置していても、角膜反射の位置P11と瞳孔中心の位置P12との位置関係は変化しないし、眼球Eと撮像面11aとの距離が有限値だけ変化してもその位置関係は変化しない。従って、眼球Eと撮像面11aとの位置が3次元的にずれても撮像された角膜反射の位置と瞳孔中心の位置との位置関係を検出すれば、眼球EとCCD11及び光源15との位置関係が分からなくても対象者の視線方向を特定することができる。
【0028】
以上のような原理を利用するため、制御装置3は、まず、CCD11から出力された眼画像に基づいて、所定の閾値と眼画像の輝度とを比較することにより角膜反射の位置を検出する。さらに、制御装置3は、眼画像を含む対象者の顔画像に基づいて、瞳孔の中心位置を検出する。より詳細には、CCD11によって撮像される顔画像は、近赤外光成分を有する照明光の照射によって瞳孔の周辺の顔よりも瞳孔の輝度が高いという性質を有するので、制御装置3は、この輝度差を検出することによって瞳孔の位置を検出することができる。そして、制御装置3は、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。
【0029】
また、制御装置3は、光源から波長850nm付近の照明光と波長950nm付近の照明光とを、対象者の顔の表面における輝度が同一になるような光強度で交互に点灯させて、得られた顔画像の差分を取ることによって、瞳孔の位置を検出するようにしても良い。こうすれば、瞳孔の部分の反射光のレベルは波長850nmの場合のほうが波長950nmの場合より高くなり、差分を取ることで瞳孔以外の部分が相殺されるので、瞳孔部分をより精度よく検出することができる。
【0030】
上述のようにして得られた角膜反射の位置及び瞳孔中心の位置に基づいて、制御装置3は、以下のようにして対象者の視点を検出する。
【0031】
図6に示すような表示画像がLCD8によって表示された場合を考える。ここで、対象者が表示面8aの中心に位置する原点Oから位置ベクトルgだけ離れた点DPを見ているとする。この場合、CCD11によって図7に示すような眼画像が撮像され、制御装置3が角膜反射の位置から瞳孔中心の位置に至るベクトルrを相対的位置関係として算出する。LCD8の表示面8aの中心Oは、対象者から見て、撮像面11aの中心を通る光軸L2及び光源の光路と一致しているため、中心Oを見ることは撮像面11aの中心を見ることに相当する。また、既に述べたように、対象者が撮像面11aの中心を見る時は、角膜反射と瞳孔中心との像位置は一致する。従って、位置ベクトルgの表示面8aの横軸との成す角と、ベクトルrの撮像面11aの横軸との成す角とはφで一致する。
【0032】
そこで、制御装置3は、位置ベクトルgの大きさ|g|とベクトルrの大きさ|r|との間に比例関係があることを利用して、予め求めておいた比例係数から位置ベクトルgを算出して表示面8a上の視点DPを検出する。
【0033】
(視点較正処理)
しかしながら、実際の人間の眼球Eでは、図8に示すように眼球Eの光軸L3と視線方向を示す視軸Dとは異なる方向を向いている。ここでいう、光軸L3は、眼球Eの中心と瞳孔中心Cとを通る直線と考えられ、眼球光学系の対称軸である。また、視軸Dは、網膜上で視覚の分解能が最も高い部分である中心窩に像が投影されるときの光の経路を示す軸であり、一般には視軸の先に視対象が存在すると考えられる。このようにとらえると、図9(a)に示すような表示画像がLCD8に表示され、視対象が原点Oに位置している場合は、図9(b)に示すように、撮像面11aにおける角膜反射の位置P21と瞳孔中心の位置P22とがずれることになる。このずれ量は、対象者毎に個人差が生じるので、位置ベクトルg(図6参照)の大きさ|g|とベクトルr(図7参照)の大きさ|r|との間の関係が一律には決まらなくなる。そこで、制御装置3は、以下のようにして視点較正処理を実行する。
【0034】
まず、制御装置3は、表示面8a上にカーソル(指標画像)Cuを表示させながら、撮像された眼画像において角膜反射の位置P31と瞳孔中心の位置P32とが一致する方向にカーソルCuを移動させて、両位置P31,P32が一致するカーソル(第1の指標画像)Cuの座標を探索し記憶する(図10(a)及び図10(b)参照)。そして、記憶した点を新たな原点O’に置き換える(図11(a))。
【0035】
このような原点補正後に、図12(a)に示すように、制御装置3は、表示面8a上の別の位置にカーソル(第2の指標画像)Cuを表示させると同時に、図12(b)に示す眼画像における角膜反射の位置から瞳孔中心の位置に至るベクトルrを算出する。その後、制御装置3は、カーソルCuの位置に対応して原点補正されたカーソルCuの位置ベクトルgと、ベクトルrとの関係を示す係数kを、下記式(1);
|g|=k|r| …(1)
に基づいて求める。
【0036】
また、HMD2の筐体が眼球に対して斜めに装着されているときは、位置ベクトルgの表示面8aの横軸との成す角φ’と、ベクトルrの撮像面11aの横軸との成す角φとは異なる値になる。そこで、制御装置3は、下記式(2);
φ-φ’ ≡Δφ …(2)
によって角度補正値Δφを求めておく。そして、制御装置3は、実際の視点検出時の角膜反射の位置から瞳孔中心の位置に至るベクトルrを求めた後、下記式(3);
φ’=φ-Δφ …(3)
により、ベクトルrの撮像面11aの横軸との成す角φをΔφで補正することによって、視点検出対象の位置ベクトルgの表示面8aの横軸との成す角φ’を求める。
【0037】
最後に、制御装置3は、原点O’(x0’,y0’)に対する対象者の視点座標g(x,y)を、下記式(4);
(x,y)=(x0’+k|r|cosφ’,y0’+k|r|sinφ’) …(4)
によって算出する。
【0038】
なお、LCD8の表示面8aに対する対象者の視角が小さければ、位置ベクトルgとベクトルrとの間に線形関係が成り立つが、視角が大きいときは次のようにして両ベクトルの関係を求める。すなわち、制御装置3は、表示面8aに複数のカーソルCuを表示させて、対象者がそれを見たときの両ベクトルg,rを記憶しておく。そして、次式(5);
|g|=a|r| …(5)
を用いてカーブフィッティング(曲線近似)して係数a,bを求める。また、制御装置3は、それぞれのカーソルCuについて角度補正値Δφを式(2)を用いて求め、その平均値を式(3)に適用して位置ベクトルgの成す角を算出する。
【0039】
以上説明した視点検出装置1の応用例について説明する。図13は、視点検出装置1の応用例について説明する概念図である。同図に示すように、患者等の対象者Hの眼にHMD2が眼鏡等を介して装着され、HMD2の外部に接続されたパーソナルコンピュータ(検出手段、入力文字特定手段)3が、入力文字を選択するための複数の範囲に区切られた選択用画像16を表示面8aに表示させる。パーソナルコンピュータ3は、対象者Hの選択用画像16上の視点位置を検出し、視点位置を所定時間以上特定範囲内に認識した場合、特定範囲において対象者Hの瞬きを検出した場合、又は、対象者の手足の一部(例えば、足の親指のみ)に残存機能があるときはその部分によるボタン(図示せず)等の操作を検知した場合に、その範囲に対応する入力文字が対象者Hによって入力されたものと特定する。また、パーソナルコンピュータ3は、入力文字を認識すると、その文字を音声出力すると同時に外部に接続されたディスプレイ(情報表示手段)17に出力する。このようにすれば、患者等の体の不自由な方を対象にしても、周囲の人間が対象者の意志を簡単に読み取ることができる。
【0040】
このような視点検出装置1によれば、ファインダー4から外部に表示画像が投射される際に、表示面8aから焦点距離fの位置に設けられた光学系5を経由することによって、表示面8a上の1点と対象者の視線の角度とが1対1に対応する。それと同時に、照明光の照射に応じて対象者の眼画像がテレセントリック光学系を経由してCCD11に映し出されることにより、対象者の位置がファインダー4に対して前後に変化しても撮像される眼画像の大きさは変化しない。換言すれば、対象者は無限遠から光を照射されながら無限遠から撮像されていることになるので、HMD2の筐体と眼球とのずれが生じても、一定の方向に視線が向いている限り瞳孔中心と角膜反射位置との相対関係は変化しない。これにより、対象者の眼画像に基づいて視点位置を検出する際に、表示面8a上の対象者の実際の視点と、検出される視線方向とが1対1に対応するので、筐体に対する対象者の位置が変化しても対象者の視点検出の誤差が低減される。
【0041】
特に、制御装置3においては、眼画像における角膜反射の位置と瞳孔中心の位置との位置関係に応じて視点位置を算出しているので、対象者の位置が窓部に対して垂直な方向又は平行な方向に変化しても、撮像される眼画像における角膜反射の位置と瞳孔中心の位置との位置関係は変化しないので、対象者の視点検出の誤差が確実に低減される。
【0042】
また、制御装置3において視点較正処理が実行されることにより、対象者の眼球の光軸と視線(視軸)の方向とが異なる場合であっても、予め表示されたカーソルに対する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。
【0043】
なお、本発明は、前述した実施形態に限定されるものではない。例えば、HMD2の各構成要素の光軸L1,L2上の配置については、様々な変形態様を採ることができる。例えば、図14に示す本発明の変形例であるHMD102のように、画像表示光学系の光軸L1上に設けられたテレセントリックレンズである光学系105aと、撮像光学系の光軸L2上に設けられたテレセントリックレンズである光学系105bとを別体に設けてもよい。また、同図に示すように、光ファイバケーブル12から照射される照明光を、画像表示光学系の光軸L1に沿って照射させるように構成してもよい。なお、この照明光は、図14の光ファイバケーブル12の先端に相当する位置に固定したLED等の小型の光源装置から照射させてもよい。このようなHMD102においては、LCD8の前面に、照明光を光軸L1に沿った方向に反射させ、LCD8によって表示される表示画像を光軸L1に沿って透過させるダイクロイックミラー103が配置され、ファインダー4の内側に、照明光により対象者の眼球から反射された光を光軸L2に沿った方向に反射させるハーフミラー104が配置される。
【0044】
また、制御装置3は、前述した視点較正処理に代えて、以下のように処理してもよい。具体的には、制御装置3は、図15(a)に示すように、表示面8a上の原点OにカーソルCuを表示し、そのときの角膜反射の位置から瞳孔中心の位置に至るベクトルΔr(図15(b)参照)を算出する。次に、制御装置3は、そのカーソルCuとは別の位置に別のカーソルCuを表示させ(図16(a)参照)、そのときの角膜反射の位置から瞳孔中心の位置に至るベクトルr(図16(b)参照)を求める。そして、制御装置3は、ベクトルrを下記式(6);
’=r-Δr …(6)
を用いてベクトルr’に補正する。その後は、上述したように、式(1)及び式(2)にベクトルr’を適用するとともに、視点検出時の角膜反射の位置から瞳孔中心の位置に至るベクトルを上記式(6)を用いて補正した後に、式(3)及び式(4)を適用することによって、表示面8a上の視点位置を検出することができる。このような視点較正処理によれば、対象者にカーソルを追跡視させる必要がないため、ユーザに対する負担をかけることなく精度の高い視点位置の検出が可能となる。
【0045】
また、制御装置3は、HMD2に外部接続された装置に限定されるものではなく、HMD2の筐体に内蔵されるCPUボード等の演算装置であってもよい。
【0046】
本発明において、窓部と撮像手段との間の光路上において該テレセントリックレンズの焦点位置に配置されたテレセントリック絞りを更に有することが好ましい。
【0047】
また、画像表示手段は、その表示面が画像表示手段と窓部との間に配置されたレンズの焦点位置に配置されていることも好ましい。
【0048】
また、照明光は、画像表示手段と窓部との間の光路上において対象者から無限遠の距離に位置するとみなせる光源から照射されることが好ましい。こうすれば、対象者の位置がずれた場合であっても照射される照明光が常に平行光として照射されるので、対象者の視線方向が安定して検出される。
【0049】
また、検出手段は、眼画像における角膜反射の位置と瞳孔中心の位置とを検出し、角膜反射の位置と瞳孔中心の位置との位置関係に応じて視点位置を算出することも好ましい。この場合、対象者の位置が窓部に対して垂直な方向又は平行な方向に変化しても、撮像される眼画像における角膜反射の位置と瞳孔中心の位置との位置関係は変化しないので、対象者の視点検出の誤差が確実に低減される。
【0050】
また、検出手段は、画像表示手段において指標画像を表示させながら、角膜反射の位置と瞳孔中心の位置とを検出し、角膜反射の位置と瞳孔中心の位置とが一致する第1の指標画像の座標を探索すると共に、画像表示手段において第1の指標画像とは異なる位置に第2の指標画像を表示させながら角膜反射の位置と瞳孔中心の位置関係を求め、当該位置関係と第1及び第2の指標画像の座標とに基づいて視点位置を較正することも好ましい。こうすれば、対象者の眼球の光軸と視線(視軸)の方向とが異なる場合であっても、予め指標画像に対する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。
【0051】
さらに、検出手段は、画像表示手段における特定位置に第1の指標画像を表示させながら角膜反射の位置と瞳孔中心の位置との第1の位置関係を求めると共に、画像表示手段において第1の指標画像とは異なる位置に第2の指標画像を表示させながら角膜反射の位置と瞳孔中心の位置との第2の位置関係を求め、当該第1及び第2の位置関係と第1及び第2の指標画像の座標とに基づいて視点位置を較正することも好ましい。このような構成により、対象者の眼球の光軸と視線(視軸)の方向とが異なる場合であっても、予め指標画像に対する角膜反射の位置と瞳孔中心の位置関係を求めて視点位置を較正することで、視点検出の誤差が更に低減される。
【0052】
またさらに、対象者に入力文字を選択させるための選択用画像を画像表示手段に表示させた後、検出手段によって検出された視点位置に基づいて入力文字を特定する入力文字特定手段を更に備えることも好ましい。このようにすることで、対象者が視線の動きのみで文字入力を行う際に対象者の位置が変動しても、文字入力の精度及びユーザの利便性を高めることができる。
【0053】
さらにまた、入力文字特定手段は、特定した入力文字を外部の情報表示手段に出力することも好ましい。かかる構成を採れば、対象者の入力した入力文字を読み取ることができるので、周囲の人間が対象者の意志を簡単に把握することができる。
【産業上の利用可能性】
【0054】
本発明は、表示させた画像に対する対象者の視点を検出する視線検出装置を使用用途とし、ユーザの利便性を維持しつつ表示画像に対する対象者の視点検出の精度を向上させるものである。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15