TOP > 国内特許検索 > 三次元視点計測装置 > 明細書

明細書 :三次元視点計測装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4500992号 (P4500992)
公開番号 特開2005-198743 (P2005-198743A)
登録日 平成22年4月30日(2010.4.30)
発行日 平成22年7月14日(2010.7.14)
公開日 平成17年7月28日(2005.7.28)
発明の名称または考案の名称 三次元視点計測装置
国際特許分類 A61B   3/113       (2006.01)
FI A61B 3/10 B
請求項の数または発明の数 4
全頁数 13
出願番号 特願2004-006359 (P2004-006359)
出願日 平成16年1月14日(2004.1.14)
審査請求日 平成18年12月15日(2006.12.15)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】後藤 順也
参考文献・文献 特開平09-238905(JP,A)
特許第2739331(JP,B2)
特表2006-507054(JP,A)
特開平11-056782(JP,A)
特開平10-005178(JP,A)
特開平02-138673(JP,A)
調査した分野 A61B 3/113
JSTPlus/JMEDPlus/JST7580(JDreamII)
特許請求の範囲 【請求項1】
第1のカメラと、第2のカメラと、前記第1のカメラの近傍に配置された第1の光源と、前記第2のカメラの近傍に配置された第2の光源と、前記第1の光源及び前記第2の光源の点灯・消灯を制御すると共に点灯・消灯に同期した画像信号を得る制御手段と、得られた画像信号から被験者の2つの瞳孔及び2つの角膜反射を抽出する演算手段とからなる三次元視点計測装置であって、
演算手段により抽出された被験者の2つの瞳孔及び2つの角膜反射から被験者の2つの眼の視線を検出し、検出された2つの眼の視線から視点の三次元位置を計測することを特徴とする三次元視点計測装置。
【請求項2】
前記第1の光源と前記第2の光源の発光波長はほぼ同一である請求項1記載の三次元視点計測装置。
【請求項3】
前記演算手段は、前記制御手段によって前記第1の光源及び前記第2の光源を交互に点灯させることで得られた画像信号である明瞳孔画像と暗瞳孔画像とから、画像差分により瞳孔部を検出し、被験者の2つの瞳孔及び2つの角膜反射を抽出することを特徴とする、請求項1または2に記載の三次元視点計測装置。
【請求項4】
被験者の2つの眼の視線を同時に検出することを特徴とする、請求項1~3の何れか一項に記載の三次元視点計測装置。
発明の詳細な説明 【技術分野】
【0001】
この発明は、人の両目の視線方向を同時に検出することにより、三次元視点を計測する装置に関する。
【背景技術】
【0002】
・特許文献1(特許2739331号:ATR)には、網膜の反射を使用することによって瞳孔検出し、顔画像から瞳孔中心30の3次元位置を2台のカメラで捉えて三角測量によって決める技術が記載されている。これは瞳孔の3次元位置を検出しているものと考えられる。また、照明光として別の波長のものを用意する必要がある。
・特許文献2(特開平10-066678号公報:NTT,NAC)には、顔面に3点のマーカを貼付し、ステレオタイプの2台のワイドカメラにより眼球位置を検出し、1台のナローカメラにより眼球トラッキングを行なう技術が記載されている。
・特許文献3(特許第2988235号:日産自動車)には、複数の照明により角膜反射像から角膜球中心を求め、角膜球中心と瞳孔中心とから視線方向を求める技術が記載されている。
・特許文献4(特許第3324295号:日産自動車)には、特許文献3と同様に複数の照明により角膜反射像から角膜球中心を求め、角膜球中心と瞳孔中心とから視線方向を求める技術が記載されている。これらの技術はいずれも視線方向の向いている視点の位置を求めるものではなく、あくまでも視線方向を検出する技術である。

【特許文献1】特許第2739331号
【特許文献2】特開平10-066678号公報
【特許文献3】特許第2988235号
【特許文献4】特許第3324295号
【発明を実施するための最良の形態】
【0003】
この発明は、従来の視線方向の検出に留まらず視線の収束点を求めることにより、視点の3次元位置を求めるものである。
本装置は、被験者の顔から離れた2台のカメラの開口近傍に設けた光源で顔全体を照らし、それら2台のカメラで捉えた両目を含む顔画像から、頭部の前後、左右の大きな動き(たとえば、30cm)を許容しながら非接触で両目の視線を同時に検出できる非接触視線検出装置であって2台のカメラで捉えた顔画像から三角測量により、2つの瞳孔の3次元位置を検出し、さらに2つの顔画像のそれぞれにおいて検出される2つの瞳孔のそれぞれの周りを詳細に解析し、2つの正確な瞳孔中心と2つの角膜反射中心を検出し、2つの眼の視線を検出する。それら2本の視線の交点が視点であり、三次元の視点の計測ができる。
【実施例1】
【0004】
図1のように、2台のカメラ1、2を被験者の顔7から離れたところに設置し、それら2台のカメラのレンズ3,4の実質的に開口の中、もしくは、開口の近くに同一の波長の光源5、6を設け、顔7の全体を照らす。2つのカメラ1、2を同期させて駆動させ、2つのカメラに取り付けられている光源5、6を奇数フィールドと偶数フィールドに同期させて交互に点灯させる。
図2に示すように、カメラ1に取り付けてある光源5を奇数フィールドで点灯させると、カメラ1の奇数フィールドの画像では瞳孔が周囲より明るく写る現象が起こり(明瞳孔:図3左)、カメラ2の奇数フィールドの画像には瞳孔が周囲よりも暗く写る現象が起こる(暗瞳孔:図3右)。
同様に、カメラ2に取り付けてある光源6を偶数フィールドで点灯させると、カメラ1とカメラ2の偶数フィールドの画像において、それぞれの暗瞳孔(図4左)と明瞳孔(図4右)が観察される。
【0005】
基本的に各カメラから得られる連続する明瞳孔画像から暗瞳孔画像を画像差分することにより、瞳孔以外の部分が相殺しあって、瞳孔部のみが容易に検出できる。
瞳孔検出処理の高速化のためには、初期画像においては、画面全体に対して、飛び飛びの画素を解析することにより、2つの瞳孔のおよそのありかを検出する。その後、検出したおよその瞳孔を中心にウインドウを与え(図5中の2つの四角)、次のフレームからは、同ウインドウ内だけを画像解析をするか、もしくは、はじめからカメラからウインドウ内の画像だけを取り込み、画像解析にかかる時間を短縮する。
2つのウインドウ内の解析においては、基本的に全画素を詳細に解析し、両目の瞳孔中心と角膜反射中心を精度よく検出し、視線を決定する(図6)。
【0006】
イメージセンサとしては高細精度でかつランダムアクセスもしくはウインドウ切り出しのできるCMOSセンサなどを利用し、イメージセンサから画像処理部へのデータ転送を高速化する。それにより、瞳孔中心と角膜反射中心の座標の検出を頻繁に行えることにする。得られる視線もしくは視点データを移動平均することにより、よりこれらを安定させることができる。
さらに、差分をする連続する2つの画像間の時間間隔を短くすることによって、2つの画像における瞳孔像に位置ずれが生じにくいために、視点や視線だけでなく、三次元瞳孔位置の精度や検出率の向上に寄与する。それにより頭部が移動して瞳孔像がカメラフレーム内をすばやく移動しても、差分により瞳孔が検出しやすくすると同時に、2つのカメラの同期を実質的に取ることを可能にする。
なお、カメラ2台を使用することは変わらないが、光源を増やしたり光学フィルターを利用したり、専用のカメラを製作することで、カメラ同士の同期のずれを改善する方法などが考えられる。
【実施例2】
【0007】
基本的に2つのカメラのそれぞれにおいて両方の目の視線を検出することができる。いま、図7に示すように、片目の視線は、まず、2台のカメラのカメラ較正を行った際に構成される世界座標系における瞳孔の三次元座標を2台のカメラから得られる瞳孔座標から推定する。いま、向かって左側のカメラのみに注目すると、カメラ較正により 求まるこのカメラの座標と推定された瞳孔三次元座標より、世界座標系におけるカメラ-瞳孔ベクトルが求まる。視線ベクトルを瞳孔から視点へ向かうベクトルとすると、カメラ-瞳孔ベクトルと視線ベクトルのなす角度は図中のθとφで表現できる。ここで、θは±30度程度の範囲で、図8に示す画像中の角膜反射中心から瞳孔中心へ向かうベクトルrの長さ|r|とほぼ線形関係がある(θ=k|r|、ただし、kは定数)。また、φはrの方向を示すφ’とφ=φ’の関係がある。視点Gは、視線ベクトルと視対象との交点として求まる。
視対象の存在する平面が不明であるときには、両目の視線ベクトルの交点が視点Gである。
【0008】
これらの処理は、片目の視線ベクトルについても、2つのカメラのそれぞれから求まるので、それらの平均を最終的な視線ベクトルとすることもできる。また、θが大きくなると角膜反射が消失し、代わりに白目が光るようになり、事実上、瞳孔中心と角膜反射中心との相対位置関係から視線を検出することが不可能となったとき(例えば、図7において向かって右側のカメラのさらに右側を見たとき)、左側のカメラによって視線を検出するのは難しいので、右側のカメラから求まる視線ベクトルのみを利用するなどの工夫をする。
さらに大きく右を見たときは、右側のカメラでさえも角膜反射が検出できなくなる。その場合は、瞳孔の楕円度からおよその視線方向を検出する。θ>30°のとき、もしくは何らかの理由(例えば、眼鏡反射やまつげが角膜反射に重なったとき)で角膜反射が検出不可能なとき瞳孔の楕円度を利用することとする。このように、瞳孔の楕円度を利用する方法は精度の面で問題があるものの、正面に対して大きくずれたところを見た場合であって精度を必要としない場合などに有効である。
【0009】
ここで、角膜反射と瞳孔中心との相対座標から視線方向が検出できる理由を以下に述べる。
<角膜反射の特徴>
図11左のように、光源21(点光源)から発射した光が、反射平面で反射し、カメラに入射する場合、入射角と反射角が等しいため、このように表現される。ここで、対象は平面ではなく、球面だとすると図11右のように表現できる。この場合、カメラ20から見たとき、あたかも光源21は、球面の接平面25と球面24との接点22にあるように見える。このとき球面の中心23と接点22とを結ぶ直線に対し、入射角と反射角が等しくなる。
【0010】
ここで、もし、球面(眼球の角膜)が空間内をカメラ20と光源21に対して移動すると、図12左のように、カメラ20から見ると光源21の反射はカメラから視角が変化するため画像中で移動する。このように一般に球面を角膜球面と考えると、角膜が頭部の動きなどで移動すると角膜反射像が画像中で移動することがわかる。さらに、光源21の位置や、カメラ20の位置や方向が異なった場合も、角膜反射像の位置がカメラ画像内で異なってくることが容易に想像できる。
【0011】
今、光源とカメラの位置が一致している場合を考える(図12右)。この場合は、光源から球面へ向かう光線と球面からカメラへ戻る光線とは一致する。このような条件では、光源とカメラが異なる位置にある場合よりも優れている。なぜならば、光源とカメラの位置が不一致の場合は,図13左のように、光源とカメラに対して奥行き方向の動きをすると、角膜反射像が画像中で移動するが、一致している場合(図13右)には、カメラの撮影方向に対する固定した角度上を角膜球が移動する場合に画像中では同じ位置に撮影されるという特徴がある。したがって、光源とカメラの位置が一致している場合は、角膜反射像について問題になるのは、カメラ(光源)周りの回転だけである。
【0012】
<撮影画像中の角膜反射中心と瞳孔中心の間の距離|r|からカメラ-瞳孔ベクトルと視線ベクトルとのなす角度がわかる理由と方法>
図14のように、視線検出用カメラの視野内を眼球が移動するとする。いま、ステレオカメラによって、瞳孔の三次元位置がわかっているので、瞳孔がカメラおよび光源から同一の距離上を移動したとする。ただし、そのとき、カメラ-瞳孔ベクトルと視線ベクトルのなす角度θは変化しなかったとする。ただし、ここでは、簡単のため、カメラの水平軸上を瞳孔(眼球)が動いたとする。このとき、注意すべきことは、カメラから見た角膜反射像と瞳孔像の位置関係は全く変化しないことである。瞳孔がカメラ(レンズ,光源)を中心とした円周上を動くときは、画像上で角膜反射像と瞳孔像の相対距離は変化しない。
【0013】
一方で、図15左のように、視線ベクトルの起点が同じ(瞳孔の3次元位置が同一)方向ベクトルが異なるときを考えると、このとき、図のように角膜反射の位置が変化する。カメラから見ると、カメラ-瞳孔ベクトルに対する視線ベクトルのなす角度が大きくなるほど、すなわちθが大きくなると画像中の角膜反射中心—瞳孔中心間の距離|r|は、大きくなることがわかる。また、図15右が示すように、目がカメラの方を向いているとき、基本的に瞳孔中心に角膜反射中心が位置し、|r|=0となる。
【0014】
したがって、カメラ-瞳孔ベクトルと視線ベクトルのなす角度θと画像中の角膜反射中心-瞳孔中心ベクトルrの大きさ|r|には図16のような原点を通る単純増加関係がある。この関係は、眼球の光学系の違いから、個々の被験者によって異なる。θ-|r|関係を求めることが本手法の視線の較正であるということができる。さらに、通常は、眼の光学系の光軸と視軸とのずれがあるため、上の関係は、原点を必ずしも通らないので、補正する必要がある。これらについては、後述する。
【0015】
さて、図15の左右のどちらの場合にも、カメラの向き(点O周りの撮影方向)が変わっただけでは、θおよび|r|は変化しないことに注意しなければならない。したがって、カメラの向きの情報は必要はなく、単にカメラのフレーム内に瞳孔と角膜反射が写っていれば良い。さらに、図14を使用して述べたように、点O周りに眼球が動いたとしても、θを一定に保ったまま、点Oから瞳孔中心Pまでの距離を一定に保っていれば、やはり|r|は一定となることを再度述べておく。
【0016】
しかし、カメラ位置の点Oと瞳孔中心Pの距離(OP)が変わると、θが変化しなくとも|r|は変化する。すなわち、カメラレンズが固定焦点レンズであるとすると、カメラの物体との距離が長くなると物体は小さく写ることに起因する。したがって、これを補正する必要がある。上述のように、カメラ-瞳孔ベクトルのカメラの光軸とのなす角度にかかわりなく同一のθ-|r|関係が常に成立するということを利用して考える。今、図示しやすくするために、図17のように、カメラから瞳孔中心までの距離は変化するが、視線の向きが変わらない位置に瞳孔が存在するとする。この図からわかるように、カメラから見た距離が変わると、カメラに写る瞳孔中心と角膜反射中心の距離|r|は変化する。(なお、このとき、当然、画像中の瞳孔中心座標は変化する。しかし、これを考慮する必要はなく、あくまでも角膜反射と瞳孔中心の相対的な位置関係だけに注目すればよい。)
【0017】
しかし、今、このように|r|が変化するのが距離OPの変化によるためであるので、これを補正していつも物体を同一の大きさで撮影するカメラがあると仮定することにし、図18のように、距離OPに応じて、物体(今は眼球)の大きさを変えて作図すると、距離OPに関係なく|r|を一定に保つことができる。距離が変わっても物体を同一の大きさに撮影することができない固定焦点カメラの場合、距離OPに応じて、画像中の|r|を補正すればよい。ただし、補正するための距離OPと|r|の関係はあらかじめ調べておく必要がある。ただし、これは視線の較正とは違い、いわば、カメラの補正であるので、被験者には関係ない。なお、OPは、ステレオカメラから求まるPの座標から計算する。
また、図17において、実際には、光源と瞳孔中心とを結ぶ光経路は直線ではなく、空気と角膜前面との境界面,角膜後面と房水との境界面などで屈折する。図17で明らかなように、距離OPが変化すると、光源と瞳孔中心とを結ぶ光経路は変化し、その経路は別の角膜位置を通る。角膜位置に依存して、前記境界面への光の入射角度が変化するため、境界面における屈折角度も変化する。したがって、前記のカメラの補正をしても、|r|は距離OPの影響を微妙に受ける。必要に応じて、人間の標準的な角膜及び房水の屈折率および角膜曲率半径情報を用いるなどして、|r|を補正する。
【0018】
<カメラ-瞳孔ベクトル周りの視線ベクトルの角度(φ)と視線の較正>
ところで、視線ベクトルを決定するためには、θだけでなくφを明らかにしなければならない。ただし、以前述べたように、基本的には、φと画像中の角膜反射から瞳孔中心へ向かうベクトルrとカメラの水平軸(図8中の横軸)とのなす角度φ’は等しくなるはずである。
したがって、カメラ-瞳孔ベクトル周りの視線ベクトルの角度(φ)に関しては、較正が必要ないことを示唆する。もし、それが正しく、さらに、図16に示したθ-|r|関係に線形性があり、原点を通るならば、視線の較正は、どこか一点を被験者に見させさえすればできることになる。
【実施例3】
【0019】
両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点(両目の視線の交差点)が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に3次元空間における視点がわかる。
このことは、発展型3Dディプレイなどへの応用が考えられる。通常の3Dディスプレイでは、眼の焦点はディスプレイ上に合っていなければクリアーな画像を見ることができない。よって、輻輳角は変わっても目の焦点が変わらないという人間の通常の視覚機能とは異なった不自然な見方をしなければならない。ところが、奥行き方向に焦点をずらしてもそれに応じてピントが合うような発展型3Dディスプレイを用いれば、より自然な立体視感を持つことができる。
この種のディスプレイでは、眼の空間位置と眼の焦点位置を与えれば、それに合わせて2つの眼の方向に映像を選択的に映し出すと同時に眼の焦点位置において実際にピントが合うようにディスプレイを調整することができる。これを行うための情報(2つの瞳孔の三次元位置および両目の視線の交差した点、3D視点)を本システムから得ることができる。また、視線による3次元的なポインティングが可能となる。
すなわち、普通の2Dディスプレイと片目による視点マウスにおいては、単に2次元平面に並んだウインドウの選択に視点マウスが用いられるだけだが、上述の本格的な3Dディスプレイにおいては、ウインドウが3D空間に配列されることになり、奥に隠れているウインドウを三次元視点により瞬時に手前に表示させることなどができる。このように、本システムは立体的なポインティングにも使用できる。
【実施例4】
【0020】
これまで述べた構成により、2つの瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか(どこを見ているかではなく)がわかる。
1つの応用としては、仮想現実や現実の世界において、ユーザの前方にスクリーンと壁があり、その先をみることができないと仮定する(図9)。しかし、スクリーンの先には、スクリーンに映し出す画像を撮影するためのカメラがおいてあるとし、スクリーン以外のところは壁があるとする。
このとき、あたかもスクリーンが窓であり、窓の外を眺めるように作用させることができる。つまり頭部が動いたら(図10)、それに合わせて、広角のカメラで撮影した画像の内の一部をスクリーンに表示させるわけである。このように臨場感あふれた形態で必要な画像を表示することができる。
本発明者が提案する「瞳孔移動によるポインティングシステム」の概念では、単にカメラフレーム内の瞳孔の動きをカーソルの動きに反映させたものであったが、本方式では、瞳孔の三次元位置がわかるために、スクリーンに対する奥行き方向の頭部の動きを反映させることができる。
【0021】
スクリーンとカメラの配置は、応用により異なる。いずれにしても、拡大して映し出している画像において隠れて見えていない場所を頭部の動きにとって窓の外を覗くように見ることができるものである。よってスクリーンに映し出す画像は、必ずしもすぐそばのものである必要はなく、遠方のものや、ミクロの世界のものを拡大撮影したものでもよい。頭を左右、上下に動かすことにより(回転でもよい)、見たい部分を変え、さらに頭部の前後の動きにより、拡大率を大きく変化させ、好きなアングル、拡大率で対象を見ることができる。
したがって、パソコンと組み合わせて使用すれば、3次元物体(例えば分子モデル)をパソコン画面に表示してそれを回転させるなどして見たいとき、通常はデスクトップパソコン用のマウスを利用するが、本装置を利用すれば、頭を回転させたり、平行移動させたりするだけで、対象の物体を自然な雰囲気で自由に動かすことができるようになる。
この方式では、このままだと、2つの眼に同一の映像が映ることになる。これが、不都合であれば、3Dディスプレイを用いて、カメラも2台用いて、左右の眼に、別々のカメラからの映像を入射させればよい。
【実施例5】
【0022】
この応用には、セキュリティーシステムなど人に見られたくない環境で有用である。たとえば、銀行のATMのシステムなどの使用時に、他人に覗き込まれても、ディスプレイが見えないようにするために、使用者の2つの瞳孔位置もしくはその近傍の方向からしか、ディスプレイが見えないようにディスプレイを制御する方式に使用できる。
同様に、周囲に人がいる中で(例えば、新幹線の中で)他人に見られたくないパソコン作業をしたいとき、ある特定の方向にからしか内容が見えないようにできるディスプレイを本方式と組み合わせることによって、操作している人にしか見えないようにできる。
この目的のためには、液晶ディスプレイのような視野角が狭く、かつ制御可能な表示装置が好適である。
この方法では、べつの利点がある。強い指向性をディスプレイに持たせることができるため、電気消費量を少なくして強い光を眼に送り込むことができる。
【実施例6】
【0023】
また,他の実施形態として電子図書の分野が考えられる。電子図書の利点の一つとして、専用装置を用いることにより、ページめくりがボタン1つでできることが挙げられる。しかし、相変わらず手による操作が必要である。このような、電子図書用専用装置に視点検出手段を組み合わせれば、例えば縦書きテキストにおいて視点が左から右に大きく動いたら自動的にページがめくれるようにできる。または、画面あるいは装置の左下にページめくり用のボタン領域を設け、それに視点が一致したら自動的にページがめくれるようにできる。このような装置によれば、手を使わずにベッド等に横になりながら本が読めるようになる。これにより、読書は楽になり、電子図書の利点が更に増すこととなる。四肢麻痺患者にとっては非常に有効な手段となる。本発明の視点検出手段は小型化が可能であり、このような形態の実施が容易である。
ここでは、電子図書用専用装置に視点検出手段を組み合わせるものとして説明したが、ノートパソコン使用状況下であっても有効であり、液晶ディスプレイの周辺に2つのカメラを埋め込めば、ユーザの視線を利用して、アクティブウインドウの選択や、高速マウス移動などに視線を利用できる。
【産業上の利用可能性】
【0024】
1.最低2台のカメラと2個の光源で両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点(両目の視線の交差点)が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に3次元空間における視点がわかる(両目の視線の交差した点、3D視点)。
2.2つの瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか(どこを見ているかではなく)がわかる。したがって、どこから見ているかを厳密に知る必要のあるシステムにおいて有効である。
(従来は、頭部に磁気センサ等を取り付けて頭の動きを計ることによってこれを実現しなければならなかったが、頭部にセンサを取り付けねばならないだけでなく、瞳孔のありかを正確に測ることができなかった)
3.本方式は、駆動部がなく、2個のカメラは固定されているので、実現が容易である。
また、カメラの感度さえあれば、カメラの開口部を小さくできるし、光源も高輝度のものを製作すれば、小型化が容易である。
4.2つのカメラの両方で視線検出ができるため、それらから得られる検出結果を平均するなどの処理により、より視線精度を高めることができる。
【図面の簡単な説明】
【0025】
【図1】2台のカメラと被験者との配置を示す図
【図2】光源の点灯・消灯と、明瞳孔・暗瞳孔の対応を示す図
【図3】光源5の点灯と、被験者の瞳孔の画像を示す図
【図4】光源6の点灯と、被験者の瞳孔の画像を示す図
【図5】顔全体と、トラッキング対象範囲を示す図
【図6】両目の視線検出により視点を求める模式図
【図7】視線ベクトルとφ,θとの関連を示す図
【図8】瞳孔中心と角膜反射から視線ベクトルを求める図
【図9】瞳孔の三次元位置を検出し、スクリーンに映し出す映像の大きさ、位置を制御する模式図
【図10】瞳孔位置の変化により映像の画角が変化する様子を示す図
【図11】スネルの定理を示す図
【図12】球面がカメラと光源に対して横方向に移動する場合を示す図。(a)は光源とカメラの位置が不一致である場合、(b)は光源とカメラの位置が一致している場合
【図13】球面が奥行き方向に移動する場合を示す図。(a)は光源とカメラの位置が不一致である場合、(b)は光源とカメラの位置が一致している場合
【図14】瞳孔がカメラ及び光源から同一の距離上を移動する場合を示す図
【図15】瞳孔中心の位置を一定にしたときに、視線ベクトルの変化と角膜反射との関係を示す図
【図16】カメラ-瞳孔ベクトルと視線ベクトルのなす角度θと、カメラ画像中の角膜反射中心-瞳孔中心ベクトルrの大きさ|r|との関係を示す図
【図17】カメラと瞳孔中心までの距離の変化による|r|への影響を示す図
【図18】カメラと瞳孔中心までの距離の変化に応じて眼球の大きさを変化させるよう補正する例を示す図
【符号の説明】
【0026】
1,2 カメラ1,カメラ2
3,4 レンズ
5,6 光源
7 顔
8 瞳孔
9 角膜反射
10 カメラ
11 スクリーン
20 カメラ
21 光源
22 球面の接平面と球面との接点
23 球面の中心
24 球面
25 球面の接平面
26 眼球
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17