TOP > 国内特許検索 > カーソル移動制御方法及びカーソル移動制御装置 > 明細書

明細書 :カーソル移動制御方法及びカーソル移動制御装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5004099号 (P5004099)
公開番号 特開2010-020619 (P2010-020619A)
登録日 平成24年6月1日(2012.6.1)
発行日 平成24年8月22日(2012.8.22)
公開日 平成22年1月28日(2010.1.28)
発明の名称または考案の名称 カーソル移動制御方法及びカーソル移動制御装置
国際特許分類 G06F   3/033       (2006.01)
G06F   3/038       (2006.01)
G06T   1/00        (2006.01)
G06T   7/60        (2006.01)
G06F   3/048       (2006.01)
FI G06F 3/033 423
G06F 3/038 310A
G06T 1/00 340A
G06T 7/60 150P
G06F 3/048 658B
請求項の数または発明の数 4
全頁数 14
出願番号 特願2008-181690 (P2008-181690)
出願日 平成20年7月11日(2008.7.11)
審査請求日 平成23年7月8日(2011.7.8)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】中田 剛史
参考文献・文献 特開平01-091005(JP,A)
特開平10-020998(JP,A)
特開2006-309291(JP,A)
特開2007-268164(JP,A)
特開2006-167256(JP,A)
特開2000-010723(JP,A)
調査した分野 G06F 3/033
G06F 3/048
G06T 1/00
G06T 7/60
G06F 3/033
G06F 3/038
G06F 3/048
G06T 1/00
G06T 7/60
特許請求の範囲 【請求項1】
対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御方法であって、
前記対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも3つの組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出ステップと、
前記特徴点部位群の前記3次元位置に基づいて前記対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出ステップと、
前記特徴点部位群の少なくとも1つの2次元位置の変位量に対して変換係数を乗ずることによって、前記カーソルの移動量を決定する移動量決定ステップとを備え、
前記移動量決定ステップでは、前記表示画面上の前記カーソルの位置である第1の座標と、前記顔正面ベクトルが示す前記表示画面上の第2の座標との位置関係を算出し、前記位置関係に応じて前記変換係数を変化させる、
ことを特徴とするカーソル移動制御方法。
【請求項2】
前記移動量決定ステップでは、前記表示画面上での前記第2の座標の移動方向において前記第1の座標が前記第2の座標よりも前方に進んでいると判別された場合には、前記変換係数を減少させ、前記第2の座標の移動方向において前記第1の座標が前記第2の座標よりも後方に遅れている場合には、前記変換係数を増加させる、
ことを特徴とする請求項1記載のカーソル移動制御方法。
【請求項3】
前記移動量決定ステップでは、前記変換係数が上限値及び下限値を超えないように前記変換係数を調整する、
ことを特徴とする請求項1又は2に記載のカーソル移動制御方法。
【請求項4】
対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御装置であって、
前記対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも3つの組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、前記特徴部位群の3次元位置を時系列で検出する位置検出手段と、
前記特徴点部位群の前記3次元位置に基づいて前記対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出手段と、
前記特徴点部位群の少なくとも1つの2次元位置の変位量に対して変換係数を乗ずることによって、前記カーソルの移動量を決定する移動量決定手段とを備え、
前記移動量決定手段は、前記表示画面上の前記カーソルの位置である第1の座標と、前記顔正面ベクトルが示す前記表示画面上の第2の座標との位置関係を算出し、前記位置関係に応じて前記変換係数を変化させる、
ことを特徴とするカーソル移動制御装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、対象者の画像に基づいてコンピュータのディスプレイ上のカーソルを移動させるカーソル移動制御方法及びカーソル移動制御装置に関するものである。
【背景技術】
【0002】
従来から、パーソナルコンピュータのモニター画面上のカーソルを、対象者の顔を撮影することによって検出される瞳孔等の特徴点に応じて移動させる方法について種々検討されている(下記特許文献1~4参照)。このような方法には、対象者の画像内の瞳孔の絶対位置を画面上のカーソル位置に反映させる方法と、時間的に前後する画像フレーム間の瞳孔位置の変化をカーソルの位置変化に対応させる方法とが存在する。

【特許文献1】特開2005-182247号公報
【特許文献2】特開2005-352580号公報
【特許文献3】特開2006-167256号公報
【特許文献4】特開2006-309291号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特徴点の絶対位置をカーソル位置に反映させる方法では、対象者のカメラに対する初期位置がカーソルの初期位置に反映されるため、カメラ前での対象者の座った位置によっては、ディスプレイ上の端部等の不都合な位置にカーソルが現れる場合がある。これに対して、特徴点の位置変化をカーソルの位置変化に対応させる方法によれば、このようなカーソルの初期位置の不都合は防ぐことができる。しかしながら、この場合でも何らかの理由により画面上のカーソル位置が対象者の正面から大きくずれると、カーソル位置を正面側に移動させるために余計な操作が必要になりユーザの使い勝手が悪くなる。
【0004】
そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者が意識しなくても表示画面上のカーソル位置を対象者の正面に導くように制御することにより、ユーザの使い勝手を向上させることが可能なカーソル移動制御方法及びカーソル移動制御装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明のカーソル移動制御方法は、対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御方法であって、対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも3つの組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、特徴部位群の3次元位置を時系列で検出する位置検出ステップと、特徴点部位群の3次元位置に基づいて対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出ステップと、特徴点部位群の少なくとも1つの2次元位置の変位量に対して変換係数を乗ずることによって、カーソルの移動量を決定する移動量決定ステップとを備え、移動量決定ステップでは、表示画面上のカーソルの位置である第1の座標と、顔正面ベクトルが示す表示画面上の第2の座標との位置関係を算出し、位置関係に応じて変換係数を変化させる。
【0006】
或いは、本発明のカーソル移動制御装置は、対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御装置であって、対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも3つの組み合わせである特徴部位群の2次元位置を撮像手段によって撮像し、特徴部位群の3次元位置を時系列で検出する位置検出手段と、特徴点部位群の3次元位置に基づいて対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出手段と、特徴点部位群の少なくとも1つの2次元位置の変位量に対して変換係数を乗ずることによって、カーソルの移動量を決定する移動量決定手段とを備え、移動量決定手段は、表示画面上のカーソルの位置である第1の座標と、顔正面ベクトルが示す表示画面上の第2の座標との位置関係を算出し、位置関係に応じて変換係数を変化させる。
【0007】
このようなカーソル移動制御方法及びカーソル移動制御装置によれば、撮像手段によって生成された対象者の画像から瞳孔及び鼻孔のうちの少なくとも3つの特徴部位群の3次元位置が検出され、その特徴部位群の3次元位置に基づいて対象者の顔方向ベクトルとそれに基づく顔正面ベクトルが算出され、特徴部位群の2次元位置の変位量に変換係数が乗算されることによりカーソルの移動量が決定される。このとき、表示画面上のカーソルの位置と顔正面ベクトルが示す表示画面上の位置との位置関係に応じて変換係数を変化させるので、カーソルの操作時に対象者が意識しなくても、顔正面の位置との関係に基づいてカーソルの位置を円滑に顔正面の位置に近づけることができる。これにより、ユーザの使い勝手を向上させることができる。
【0008】
移動量決定ステップでは、表示画面上での第2の座標の移動方向において第1の座標が第2の座標よりも前方に進んでいると判別された場合には、変換係数を減少させ、第2の座標の移動方向において第1の座標が第2の座標よりも後方に遅れている場合には、変換係数を増加させる、ことが好ましい。この場合、カーソルの操作時に頭の移動方向に対してカーソルが先に進んでいる場合にカーソルの移動速度を落とし顔正面がカーソルに追いつくようにし、カーソルが後に遅れている場合にはカーソルの移動速度が上げられてカーソルが顔正面に追いつくように制御されるので、対象者が意識しなくてもカーソル位置と顔正面の位置とをスムーズに合わせることができる。
【0009】
また、移動量決定ステップでは、変換係数が上限値及び下限値を超えないように変換係数を調整する、ことも好ましい。こうすれば、変換係数が大きくなりすぎたり、小さくなりすぎたりすることによるユーザのカーソルの操作性の低下を防止することができる。
【発明の効果】
【0010】
本発明によるカーソル移動制御方法及びカーソル移動制御装置によれば、対象者が意識しなくても表示画面上のカーソル位置を対象者の正面に導くように制御することにより、ユーザの使い勝手を向上させることができる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照しつつ本発明に係るカーソル移動制御方法及びカーソル移動制御装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0012】
まず、本発明にかかるカーソル移動制御方法を実施するためのカーソル移動制御装置の構成について、図面を参照しながら説明する。なお、本発明のカーソル移動制御装置は、パーソナルコンピュータ、サーバ装置やプロジェクタ装置等の情報表示機能を有する情報処理装置に広く適用される。
【0013】
図1は、本発明のカーソル移動制御装置の好適な一実施形態であるコンピュータシステム10を示す平面図である。同図に示すように、コンピュータシステム10は、対象者Aの顔画像を撮像する1台のカメラ(撮像手段)2と、カメラ2の前面2aの撮像レンズの近傍に設けられた光源3aと、カメラ2の前面2aから離れた位置に設けられた光源3bと、カメラ2の上方において対象者Aと対面するように設けられた表示画面4と、カメラ2、光源3a,3b、及び表示画面4と接続された制御装置1とを備えている。この制御装置1は、カーソル移動制御における位置検出手段、顔正面ベクトル算出手段、移動量決定手段として機能する。
【0014】
カメラ2は、対象者Aの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、CCD、CMOS等の撮像素子を内蔵するデジタルカメラを用いる。対象者Aは、コンピュータシステム10の操作時にはこのカメラ2の撮像レンズ(図示せず)の光軸L1上に位置するようにする。
【0015】
光源3aは、カメラ2の光軸L1に沿って、光軸L1上に位置する対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源3bは、光軸L1からの距離が光源3aよりも離れた位置に固定され、光軸L1に沿って対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、2つの光源3a,3bから照射される照明光が瞳孔の部分に輝度差を生じさせるような異なる波長成分(例えば、中心波長が850nmと950nm)を有するように設定され、かつ、光源3bは光軸L1からの距離が光源3aと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【0016】
なお、カメラ2及び光源3a,3bは、対象者Aが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Aの鼻孔を検出し易くする目的で、対象者Aの顔の高さよりも低い位置(例えば、光軸L1の表示画面4の垂線に対する傾斜角が20~35度となり、光軸L1が対象者Aの方向を向くような位置)に設けられることが好ましい。
【0017】
表示画面4は、制御装置1から出力された画像データや文字データ等に基づいて、対象者Aに対して各種の画像を表示し、その画像の中に対象者Aに情報を選択させるためのカーソルも含めて表示する。
【0018】
制御装置1は、カメラ2による撮像、光源3a,3bによる照明光の照射、及び表示画面4における画像表示を制御し、CPU及びRAM、ROM等のメモリによって構成されている。具体的には、制御装置1は、カメラ2によって生成された対象者Aの画像データに基づいて表示画面4上のカーソルの移動を制御する。
【0019】
次に、上述したコンピュータシステム10の動作について説明するとともに、コンピュータシステム10を用いたカーソル移動制御方法について説明する。
【0020】
まず、対象者Aの左右の瞳孔中心及び左の鼻孔中心(第1基準部位群)の3つの各特徴部位間の距離を実測しておく。また、対象者Aの左右の瞳孔中心及び右の鼻孔中心(第2基準部位群)の3つの各特徴部位間の距離、及び左右の鼻孔中心間の距離も併せて実測しておく。ただし、これらの距離情報は概算でもよく多少実際の値からずれていても問題ない。なぜならば、この距離のずれによって生じる顔正面ベクトルと顔方向ベクトルと顔正面ベクトルとのずれは、後述する方法によって補正されるからである。
【0021】
次に、対象者Aをカメラ2の光軸L1上に位置させ、制御装置1によって撮像タイミング及び照明タイミングが制御されることにより、任意の方向を向いた対象者Aの顔画像が時系列で撮像される。このようにしてカメラ2によって生成された時系列の画像フレームは制御装置1に送られ、制御装置1によってそれぞれのフレーム画像上の左右の瞳孔中心の2次元座標、及び左右の鼻孔中心の2次元座標が検出される。その後、制御装置1によって、第1基準部位群及び第2基準部位群の2次元座標が3次元座標に変換される(以上、位置検出ステップ)。そして、制御装置1によって、変換された3次元座標に基づいて対象者Aの顔方向ベクトル及びそれに基づく顔正面ベクトルが算出される(顔正面ベクトル算出ステップ)。
【0022】
ここで、位置検出ステップ及び顔正面ベクトル算出ステップについて詳細に説明する。
【0023】
(位置検出ステップ)
対象者Aの撮像時には、制御装置1は、光源3a,3bを交互に点灯させて、それぞれの点灯に同期した顔画像を交互に生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源3aの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源3bの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの2種類の画像は、2つの光源3a,3bからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。例えば、フィールド走査を採用するカメラの場合は、光源3a,3bをカメラ2のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離することができる。そして、制御装置1は、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
【0024】
その後、制御装置1は、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施された画像を用いて、その画像を2値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開2005-348832号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
【0025】
さらに、制御装置1は、左右の鼻孔中心の2次元座標を、明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Aが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、画像の大ウィンドウ内を対象にP-tile法により輝度が低いほうから0.8%の画素を検出し、HIGH画素及びLOW画素からなる2値化画像に変換する。その後、検出された2値化画像の膨張処理及び収縮処理(モルフォロジー処理)を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから2つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、2値画像中で対象画素の近傍の8画素の1つでもHIGH画素がある場合に、対象画素をHIGH画素に変換する処理であり、収縮処理とは、2値画像中で対象画素の近傍の8画素の1つでもLOW画素がある場合に、対象画素をLOW画素に変換する処理である。そして、縦横比が0.5より小さいか0.7より大きく、かつ、全体の画像サイズが640×240画素に対して面積が100画素より小さいか300画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に30×30画素の小ウィンドウを設定し、もとの画像の小ウィンドウ内を対象に、P-tile法により輝度が低いほうから5%の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が130画素以上か70画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、2つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
【0026】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる2つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。
【0027】
対象者Aを撮像するコンピュータシステム10におけるカメラ光学系は、図2に示すように焦点距離fのピンホールモデルと仮定することができる。同図に示すように、制御装置1が検出したフレーム画像上の右瞳孔、左瞳孔、左鼻孔、及び右鼻孔の2次元座標を、それぞれ、Q(x,y)、Q(x,y)、Q(x,y)、及びQ(x,y)とする。この場合、ピンホールを原点Oとしたカメラ座標系X-Y-Zにおける各特徴点の3次元座標Qは、(x,y,f)(n=0,1,2,3)で表される。また、ピンホールOから各特徴点へ向かう位置ベクトルに対応した単位ベクトルは、下記式(1);
【数1】
JP0005004099B2_000002t.gif

で表され、各特徴点の位置ベクトルは定数a(n=0,1,2,3)を用いて下記式(2);
【数2】
JP0005004099B2_000003t.gif

で表される。
【0028】
ここで、各特徴点間の距離Lmn(m,n=0,1,2,3)は予め測定され既知であるので、両瞳孔P,Pと左鼻孔Pを組み合わせた三角形について考えると、下記式(3);
【数3】
JP0005004099B2_000004t.gif

が成立する。従って、制御装置1は、3つの特徴点P,P,Pについての次の連立方程式(4)を解くことにより、位置ベクトルP,P,Pを求めることができる。
【数4】
JP0005004099B2_000005t.gif

【0029】
(顔正面ベクトル算出ステップ)
そして、制御装置1は、特徴点P,P,Pの重心、及び特徴点P,P,Pを通る平面の法線ベクトルを求める。さらに、制御装置1は、P,Pと右鼻孔Pを組み合わせた三角形についても、同様の手順によって重心と法線ベクトルとを求めた後、2つの三角形の重心の中間位置を顔位置G(x,y,z)として求め、2つの法線ベクトルの平均を顔方向ベクトルV=(n,n,n)として求める。また、制御装置1は、この顔方向ベクトルVのカメラ座標系における水平角α及び垂直角βを、下記式(5)及び(6)により算出する。
【数5】
JP0005004099B2_000006t.gif

【数6】
JP0005004099B2_000007t.gif

【0030】
上述のようにして顔方向ベクトルを計算した後に、制御装置1は、表示画面4におけるカーソルの移動量を決定し(移動量決定ステップ)、その移動量に基づいて表示画面4上に表示されているカーソルを移動するように表示画面4を出力制御する。
【0031】
この移動量決定ステップに先立って、制御装置1は、世界座標系における顔正面から表示画面4に向かう顔正面ベクトル、及びこのベクトルの表示画面4上の交点である顔正面ポイントを求める。図3に示すように、カメラ2はその光軸L1が表示画面4の垂線に対して所定角度(例えば、35度)上方を向くように配置され、表示画面4はカメラ2を原点とする世界座標系x-y-zのxy平面に平行で、かつxy平面から距離Lの位置に配置されているものとする。
【0032】
まず、制御装置1は、対象者Aに表示画面4の中央などの基準点Cが顔の正面になるように頭部を向けさせた状態で、カメラ座標系X-Y-Zにおける顔位置Gと顔方向ベクトルVFCを求める。そして、制御装置1は、この顔位置Gと顔方向ベクトルVFCを世界座標系における顔位置Gと顔方向ベクトルVFWに変換し、世界座標系における顔位置Gから表示画面4の中央Cへ向かうベクトルである顔正面ベクトルVGCを算出する。次に、制御装置1は、顔方向ベクトルVFWと顔正面ベクトルVGCとのなす角である水平角度αH1及び垂直角度βV1を求める。以降、制御装置1は、対象者Aに任意の方向を向かせたときの世界座標系における顔方向ベクトルVFWを水平角度αH1及び垂直角度βV1の分だけ回転させることにより、顔正面ベクトルVF1に補正する。このように顔方向ベクトルVFWを補正することにより、対象者Aが正面であると意識している方向を示す顔正面ベクトルVF1を求めることができる。
【0033】
さらに、対象者Aに任意の方向を向かせた際の顔正面ベクトルVF1=(nx1,ny1,nz1)の表示画面4上の交点、すなわち顔正面ポイントF(x,y,z)は、下記式(7);
【数7】
JP0005004099B2_000008t.gif

によって定数kを用いて表されるので、制御装置1は、z=-Lの条件から顔正面ポイントFの3次元座標を求めることができる。その後、制御装置1は、求めた3次元座標を表示画面4上の2次元座標に変換して、表示画面上4上の顔正面ポイントFを算出する。
【0034】
(移動量決定ステップ)
その後、制御装置1は、時間的に連続する2つのフレーム画像間の瞳孔のx軸及びy軸に沿った変位量(ΔP,ΔP)に対して変換係数である可変ゲイン(k,k)を乗ずることによって、表示画面4上におけるカーソルのx軸及びy軸に沿った移動量(M,M)を算出する。具体的には、制御装置1は、変位量(ΔP,ΔP)に閾値(Th,Th)を設け、それぞれの変位量の絶対値が閾値を超えている場合は、下記式(8)及び(9);
【数8】
JP0005004099B2_000009t.gif

【数9】
JP0005004099B2_000010t.gif

を用いて、移動量(M,M)を求める。これに対して、それぞれの変位量の絶対値が閾値を超えていない場合は、対応する移動量M,Mを0と設定する。これにより、頭部や目の振動によるカーソルのふらつきを防ぐことができる。
【0035】
この際、制御装置1は、表示画面4上の現在のカーソルの位置と顔正面ベクトルVF1が示す表示画面4上の顔正面ポイントFとの位置関係を算出して、その位置関係に応じて可変ゲイン(k,k)を変化させる。
【0036】
詳細には、現フレーム画像の直前のタイミングの前フレーム画像の顔正面ポイントがFn-1(Fn-1,x,Fn-1,y)であり、現フレーム画像の顔正面ポイントがF(Fn,x,Fn,y)であり、前フレーム画像のカーソルの座標をCn-1(Cn-1,x,Cn-1,y)である場合を考える。そこで、制御装置1は、現フレーム画像と前フレーム画像の顔正面ポイントの移動量ΔF(ΔFn,x,ΔFn,y)を、ΔFn,x=Fn,x-Fn-1,x,ΔFn,y=Fn,y-Fn-1,yにより計算する。また、制御装置1は、前フレーム画像における顔正面ポイントとカーソル位置との位置誤差R(R,R)を、R=Fn-1,x-Cn-1,x,R=Fn-1,y-Cn-1,yにより計算する。
【0037】
そして、制御装置1は、(i)ΔFn,x>0かつR>0、又は(ii)ΔFn,x<0かつR<0の場合は、下記式(10);
【数10】
JP0005004099B2_000011t.gif

を用いて、可変ゲインkを計算する(aは正の定数)。つまり、顔正面ポイントの移動方向においてカーソルの座標が顔正面ポイントの座標よりも後に遅れていると判別された場合には、可変ゲインkを位置誤差Rに応じて増加させる。
【0038】
一方、制御装置1は、(iii)ΔFn,x>0かつR<0、又は(iv)ΔFn,x<0かつR>0の場合は、上記式(10)においてaを負の定数に置き換えて可変ゲインkを計算する。つまり、顔正面ポイントの移動方向においてカーソルの座標が顔正面ポイントの座標よりも先に進んでいると判別された場合には、可変ゲインkを位置誤差Rに応じて減少させる。
【0039】
同様にして、制御装置1は、移動量ΔFn,yと位置誤差Rを参照することにより、顔正面ポイントの移動方向とカーソル位置との関係を判別して、下記式(11);
【数11】
JP0005004099B2_000012t.gif

を用いて、可変ゲインkを計算する(aは正又は負の定数)。
【0040】
また、可変ゲイン(k,k)が大きくなりすぎたり、小さくなりすぎたりすることによるカーソルの操作性の低下を防止するために、制御装置1は、可変ゲイン(k,k)に上限値(kxmax,kymax)及び下限値(kxmin,kymin)を設ける。図4は、可変ゲイン(k,k)の位置誤差R,Rに対する変化を示すグラフである。同図に示すように、制御装置1は、位置誤差R,Rの絶対値がある程度増加した場合には、上限値(kxmax,kymax)及び下限値(kxmin,kymin)を超えないように可変ゲイン(k,k)を飽和させることにより、可変ゲイン(k,k)を調整する。
【0041】
以上説明したコンピュータシステム10及びコンピュータシステム10を用いたカーソル移動制御方法によれば、カメラ2によって生成された対象者Aの画像から瞳孔及び鼻孔の4つの特徴部位群の3次元位置が検出され、その特徴部位群の3次元位置に基づいて対象者Aの顔方向ベクトルV及びそれに基づいた顔正面ベクトルVF1が算出され、特徴部位群の2次元位置の変位量(ΔP,ΔP)に可変ゲイン(k,k)が式(8)及び(9)に基づいて乗算されることによりカーソルの移動量(M,M)が決定される。このとき、表示画面4上のカーソルの位置と顔正面ベクトルVF1が示す表示画面4上の顔正面ポイントFとの位置関係に応じて変換係数を変化させるので、カーソルの操作時に対象者Aが意識しなくても、顔正面の位置との関係に基づいてカーソルの位置を円滑に顔正面の位置に近づけることができる。これにより、ユーザの使い勝手を向上させることができる。
【0042】
また、表示画面4においてカーソルが顔正面の移動よりも進んでいる場合には変換係数を減少させ、カーソルが顔正面の移動よりも遅れている場合には変換係数を増加させるので、何らかの理由でカーソルが顔の正面からずれた場合でも、カーソルの操作時に頭の移動方向に対してカーソルが先に進んでいる場合にカーソルの移動速度を落とし顔正面がカーソルに追いつくようにし、カーソルが後に遅れている場合にはカーソルの移動速度が上げられてカーソルが顔正面に追いつくように制御される。これにより、カーソルを操作していると自然に顔の正面付近にカーソルが戻ってくることになり、操作時に対象者が意識しなくてもカーソル位置と顔正面の位置とをスムーズに合わせることができる。
【0043】
図5は、本実施形態のコンピュータシステム10における表示画面4上のカーソル及び顔正面ポイントの軌跡を示す図であり、図6は、図5の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。また、図7は、コンピュータシステム10においてゲイン(k,k)を固定値に設定した場合の表示画面4上のカーソル及び顔正面ポイントの軌跡を示す図であり、図8は、図7の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。これらの結果より、対象者Aが瞳孔を適当に移動させたとき(例えば回転させたとき)、可変ゲインの場合は時間の経過に伴ってカーソルが顔正面に次第に近づいていることが分かる。これに対して、固定ゲインの場合はいったんカーソルが顔正面から外れてしまうと、時間が経過しても顔正面の位置とカーソル位置とは離れたままであることがわかる。
【0044】
なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明のカーソル移動制御方法においては、顔方向ベクトルVを算出する際には左右の瞳孔及び鼻孔のうちの最低3つの特徴部位を検出すればよく、その組み合わせは任意の組み合わせを選択することができる。
【0045】
また、本実施形態においては1台のカメラ2によって特徴部位の位置を検出していたが、2台のカメラによってその3次元位置を検出してもよい。
【0046】
また、本実施形態においては瞳孔の変位量(ΔP,ΔP)に基づいてカーソルの移動量(M,M)を算出していたが、鼻孔の変位量や重心位置の変化に基づいてカーソルの移動量を算出してもよい。
【図面の簡単な説明】
【0047】
【図1】本発明のカーソル移動制御装置の好適な一実施形態であるコンピュータシステムを示す平面図である。
【図2】図1のカメラの撮像レンズの主点を原点とした2次元座標系における画像平面と対象者との位置関係を示す図である。
【図3】図1のカメラ及び表示画面と対象者との位置関係を示す図である。
【図4】図1の制御装置が算出する可変ゲインを示すグラフである。
【図5】図1のコンピュータシステムにおける表示画面上のカーソル及び顔正面ポイントの軌跡を示す図である。
【図6】図5の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。
【図7】本発明の比較例における表示画面上のカーソル及び顔正面ポイントの軌跡を示す図である。
【図8】図7の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。
【符号の説明】
【0048】
1…制御装置、2…カメラ(撮像手段)、4…表示画面、10…コンピュータシステム、k,k…可変ゲイン(変換係数)、ΔP,ΔP…変位量、M,M…カーソル移動量、R,R…位置誤差、V…顔方向ベクトル、VF1…顔正面ベクトル、A…対象者。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7