TOP > 国内特許検索 > 瞳孔と鼻孔を用いた頭部の方向を検出する方法 > 明細書

明細書 :瞳孔と鼻孔を用いた頭部の方向を検出する方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4765008号 (P4765008)
公開番号 特開2005-266868 (P2005-266868A)
登録日 平成23年6月24日(2011.6.24)
発行日 平成23年9月7日(2011.9.7)
公開日 平成17年9月29日(2005.9.29)
発明の名称または考案の名称 瞳孔と鼻孔を用いた頭部の方向を検出する方法
国際特許分類 G06T   7/60        (2006.01)
G06T   1/00        (2006.01)
A61B   3/113       (2006.01)
A61B   5/11        (2006.01)
B60R  11/04        (2006.01)
FI G06T 7/60 150P
G06T 1/00 340A
G06T 1/00 315
A61B 3/10 B
A61B 5/10 310A
B60R 11/04
請求項の数または発明の数 6
全頁数 9
出願番号 特願2004-073998 (P2004-073998)
出願日 平成16年3月16日(2004.3.16)
審査請求日 平成19年1月12日(2007.1.12)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
審査官 【審査官】松永 稔
参考文献・文献 特開平11-086005(JP,A)
特開平02-138673(JP,A)
特開平11-056782(JP,A)
国際公開第00/055811(WO,A1)
特開平11-288259(JP,A)
特開2001-229400(JP,A)
特開平07-156712(JP,A)
特開2001-112715(JP,A)
特開2004-261598(JP,A)
特表2002-513176(JP,A)
特開2001-331799(JP,A)
特開2003-115043(JP,A)
特開2004-259215(JP,A)
特開2005-87284(JP,A)
大村和典 外2名,単眼視画像による顔の向き検出法の指示入力への応用,電子情報通信学会論文誌,日本,1989年 9月25日,Vol.J72-D-2 No.9,pp.1441-1447
調査した分野 G06T 7/60
A61B 3/113
A61B 5/11
B60R 11/04
G06T 1/00
特許請求の範囲 【請求項1】
既知の基線長を保って配置された一対のカメラと、前記各カメラと被検者の頭部との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置され照明手段と、を備えた装置における頭部の方向を検出する方法であって、
前記装置が、前記カメラと前記照明手段を連動動作させ、被検者の頭部を撮影して、各瞳孔と少なくとも何れかの鼻孔の像を明孔照明および暗孔照明で獲得する像獲得ステップと、
前記装置が、前記像を差分演算処理して各孔の中心座標を演算する孔座標演算ステップと、
前記装置が、前記中心座標で決まる顔の方向平面を演算する方向平面演算ステップと、
を実行する頭部の方向を検出する方法。
【請求項2】
前記方向平面は瞳孔の中心と鼻孔の重心を含む3角平面であり、前記装置が、前記3角平面の重心の法線を頭部の方向として検出するものである請求項1記載の頭部の方向を検出する方法。
【請求項3】
前記一対のカメラとそれらの照明光源が、被検者の頭部を前方下方から照明し撮影する配置である請求項1記載の頭部の方向を検出する方法。
【請求項4】
前記照明手段は各カメラの光軸に近接する近接光源であり、当該カメラの明孔照明光源として利用され、他方のカメラの暗孔照明光源として利用されるものである請求項1記載の頭部の方向を検出する方法。
【請求項5】
前記照明手段は各カメラ光軸に近接して設けられた近接光源であり当該カメラの明孔照明光源として利用され、他方の光源は光軸から所定の距離離れた離隔光源であり、当該カメラの暗孔照明光源として利用されるものである請求項1記載の頭部の方向を検出する方法。
【請求項6】
請求項5記載の頭部の方向を検出する方法において、
前記近接光源は、カメラ開口に隣接する領域またはカメラ開口に近接する円環内に設けられた発光素子群を含み、前記離隔光源はカメラの開口から離れた領域または円環内に設けられた発光素子群を含むものである頭部の方向を検出する方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、ステレオ測定により、瞳孔と鼻孔の座標位置を特定し、それらに基づいて、頭部の位置と方向を検出する方法に関する。
【背景技術】
【0002】
顔のおよその向きを検出することは、乗り物の運転手の顔の向きを監視するなどの目的で重要な意味を持ち、視線を監視するのと同様に大切である。
顔の向きの検出方法として代表的なものとしては、2台のカメラ(ステレオカメラ配置)のそれぞれにより捉えた顔の目尻,目頭,鼻先,唇の両端など、多くの特徴点を画像処理の一種であるテンプレートマッチング法によるもので、テンプレートと類似した部分として顔画像より検出しその座標を求め、さらに、両カメラでの各特徴点の座標をマッチングさせ、各特徴点の3次元座標を求める方法がある。
しかし、テンプレートマッチングを使用した画像処理法の場合、あらかじめ、テンプレート画像を用意する必要があるため、カメラの前に座ってすぐには使用できない。また、テンプレートマッチング法では、画像処理に時間がかかるため、高価な画像処理ボードを使用する必要があるなどの問題がある。このような方法で、周囲の明るい環境では照明は必要ないが、暗いところでは不可視光を顔に照射する必要がある。
【0003】
一方で、目の瞳孔は、一般に、照明を用いないと画像処理によって検出しづらい。
しかし、照明を当てると突然容易になり、画像処理コストは減少する。たとえば、カメラのレンズの開口部の中もしくは近傍から照明器により光を顔に対して照射し、それをカメラで写すと、瞳孔が他の部分よりも明るく写る(明瞳孔)傾向が生じる。この現象が起こる理由は、照明器の光源からの光が瞳孔を通り網膜に達し、そこで乱反射をした光が瞳孔を通り戻ってくる際に、水晶体、角膜を通るため、強い指向性を持って光源の方へ戻る性質があるからである。よって光源がカメラの開口の近くにあると、一部の光が開口部に入射し、瞳孔部が明るくうつる。
【0004】
それに対して、顔に当たった光は、乱反射をし、カメラの開口以外の方向にも戻る傾向があるために、相対的に瞳孔に比べて暗く写る。しかしながら、このような現象があったとしても、額やそのほか、瞳孔よりも明るく写る部分は多々生じ、現実には、周囲の暗い環境下などでなければ瞳孔検出は簡単ではない。一方で、カメラの開口部から離れた位置から照明する方法があるが、その場合も瞳孔から戻る光は光源の方に戻るため、カメラ開口部には入射しにくいため、瞳孔は周囲よりも暗く写る傾向が生じる(暗瞳孔)。この場合も、まつげなどが瞳孔と区別しにくく、安定した瞳孔検出は困難である。そのためカメラの開口部の近くと遠くに光源を設置し、それらをビデオのフィールドもしくはフレームに同期させ、交互に点灯させ、それによって得られる明瞳孔画像と暗瞳孔画像を画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔だけが浮き彫りになるという効果が得られる。しかし、この効果は、明瞳孔現象を強く生じさせるほど大きくなり、瞳孔検出が容易になるので、カメラの開口部のできるだけ近くに光源を配置することが重要である。特許文献1はカメラの開口部の中央に置く方法を提案している。

【特許文献1】特開平11-56782号公報
【0005】
頭部全体を写す必要があるため、広角のカメラレンズを使用しなければならない。広角のカメラレンズの場合は、光源が画像の中央に黒い影として写り込んでしまい、開口部の中央に設置する方法は用いることができない。その対処法として特許文献2記載の発明はカメラの開口部の周辺に光源を並べる方法を提案している。
本件出願人も視線検出方法および視線検出装置を特許文献3により提案している。この提案は、2つのカメラにより、瞳孔の座標点を求め、瞳孔と角膜反射の関係から視線を導くものである。

【特許文献2】特開平2-134130号公報(登録第2739331号)
【特許文献3】特願2003-429344号
【発明の開示】
【発明が解決しようとする課題】
【0006】
前述のように、顔のおよその向きを検出することは、乗り物の運転手の顔の向きを監視するなどの目的で重要な意味を持つ。
顔の位置を固定したり、移動の範囲を制限したりすることなく顔の向きを検出したいという強い要請がある。
本発明の目的は瞳孔と鼻孔を検出することにより、頭部の方向を検出する方法を提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するための、本発明による請求項1記載の頭部の方向を検出する方法を図面等を参照して説明する。図1は、本発明による方法を実施するための装置と被検者の位置関係を示す平面図である。
カメラ準備ステップでは、一対のカメラ1,2は、被検者の頭部10に対して既知の基線長Dを保って配置する。
照明手段準備ステップでは、照明手段である光源5,6が前記各カメラ1,2と被検者の頭部10との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される。
なお本願において、明孔照明とは明瞳孔照明と明鼻孔照明を含む意味で用い、暗孔照明とは暗瞳孔照明と暗鼻孔照明を含む意味で用いている。
各瞳孔と少なくとも何れかの鼻孔の像を明孔照明および暗孔照明で獲得する像獲得ステップでは、前記カメラ1,2と前記照明手段である光源5,6を連動動作させ、被検者の頭部を撮影する。
孔座標演算ステップでは、前記像獲得ステップ得た前記像を差分演算処理して各孔の中心座標を演算する。方向平面演算ステップでは、前記中心座標で決まる顔の方向平面を演算する。
【0008】
請求項2記載の方法は、請求項1記載の方法において、前記方向平面は瞳孔の中心と鼻孔の重心を含む3角平面であり、前記3角平面の重心の法線を頭部の方向とするものである。
請求項3記載の方法は、請求項1記載の頭部の方向を検出する方法において、鼻孔と瞳孔のデータの同時取得の際に、鼻孔のデータの取得を容易にするために、前記一対のカメラとそれらの照明光源が、被検者の頭部を前方下方から照明し撮影する配置としてある。
【0009】
請求項4記載の方法は、請求項1記載の頭部の方向を検出する方法において、前記照明手段は各カメラの光軸に近接する近接光源であり、当該カメラの明孔照明光源として利用され、他方のカメラの暗孔照明光源として利用されるものである。
請求項5記載の方法は、請求項1記載の頭部の方向を検出する方法において、前記照明手段は各カメラ光軸に近接して設けられた近接光源であり当該カメラの明孔照明光源として利用され、他方の光源は光軸から所定の距離離れた離隔光源であり、当該カメラの暗孔照明光源として利用されるものである。
請求項6記載の方法は、請求項5記載の頭部の方向を検出する方法において、前記近接光源は、カメラ開口に隣接する領域またはカメラ開口に近接する円環内に設けられた発光素子群を含み、前記離隔光源はカメラの開口から離れた領域または円環内に設けられた発光素子群を含むものである。
【0010】
本発明による請求項7記載の方法は、鼻孔の検出に変形を施したものであって、
カメラ一対を既知の基線長を保って配置するカメラ準備ステップと、
前記各カメラと被検者の頭部との関係において各カメラに対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される照明手段を準備する照明手段準備ステップと、
前記カメラと前記照明手段を連動動作させ、被検者の頭部を撮影して、各瞳孔の像を明孔照明および暗孔照明で、前記鼻孔の像を明孔照明または暗孔照明で獲得する像獲得ステップと、
前記瞳孔像を差分演算処理して前記各瞳孔の中心座標を演算する瞳孔像座標演算ステップと、
前記鼻孔の像を処理して鼻孔の座標を演算する鼻孔像座標演算ステップと、
前記中心座標で決まる顔の方向平面を演算する方向平面演算ステップと、
から構成されている。鼻孔の座標の演算の前に2値化処理演算などをすることができる。
【発明の効果】
【0011】
前記構成によれば、簡単な方法で確実に頭部の方向を検出することができる。
【発明を実施するための最良の形態】
【0012】
以下図面等を参照して本発明による装置の実施の形態を説明する。
本発明では瞳孔と鼻孔の像を得るために、カメラの開口部の近くの光源(近接光源)と遠くの光源(離隔光源)を用いる。それらをビデオのフィールドもしくはフレームに同期させ、交互に点灯させ、それによって得られる明瞳孔(鼻孔)画像と暗瞳孔(鼻孔)画像を画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔と鼻孔を浮き彫りにする。
【0013】
図2に示すように奇数フィールドでは光源5を点灯し、光源6を消灯し、同期してカメラ1,2を動作させる。瞳孔と鼻孔については、全く同じ明暗の関係が生じるから、瞳孔のみについて、説明する。
光源5はカメラ1については近接光源であり、カメラ2については離隔光源であるから、カメラ1に写る瞳孔は明瞳孔であり、カメラ2に写る瞳孔は暗瞳孔となる。
偶数フィールドでは光源5を消灯し、光源6を点灯し、これに同期してカメラ1,2を動作させる。光源6はカメラ1については離隔光源であり、カメラ2については近接光源であるから、カメラ2に写る瞳孔は明瞳孔であり、カメラ1に写る瞳孔は暗瞳孔となる。
隣接する奇数と偶数のフレームの画像差分すると、瞳孔部以外はおよそ相殺し合い、瞳孔と鼻孔を浮き彫りにすることができるのである。
【0014】
図3は、近接光源と離隔光源の概念を説明するための斜視図である。
なお、カメラの開口部3(または4)から離れたほうの光源(離隔光源)7(または8)の設置法については、できるだけ離れているほうが、暗瞳孔の現象が強くでるため、差分の効果が生じやすく、差分画像における瞳孔がより明るくなる傾向がある。
しかし、一方で、開口部に近い光源、近接光源5(または6)と遠い光源、離隔光源7(または8)による顔画像の輝度値が、瞳孔以外の部分でも生じてくるため、画像差分したときに瞳孔以外のところに明るい部分が残りやすくなる。
【0015】
図4は近接光源と離隔光源の配置の第1の例を示す。近接光源5A(6A)は、カメラ開口3(4)に近接する円環内に設けられた発光素子(LED)群からなり離隔光源7A(8A)はカメラの開口から離れた円環内に設けられた発光素子(LED)群から形成されている。
【0016】
図5は近接光源と離隔光源の配置の第2の例を示す。近接光源5A(6A)は、カメラ開口3(4)に近接する円環内に設けられた発光素子(LED)群からなり、離隔光源7B(8B)はカメラの開口から離れた領域に設けられた発光素子群を含むものである。
【0017】
鼻孔は、瞳孔とある意味で類似している点がある。すなわち、もし、カメラのレンズの開口内あるいは開口近くに光源を取り付けて同カメラで撮影すれば、鼻孔の奥深くまで光源によって明るく照らされ明るく写る。これは、同軸落射に類似しており、鼻孔の中においてカメラの撮影しているところに光が当たる傾向があるからである。それに対して、カメラレンズの開口から離れたところに光源を設けると、鼻孔の奥深くには光が届かず、相対的に暗く写る。つまり、鼻孔中においてカメラが撮影しているところには光が届かない傾向があるからである。両者の光源を交互に点灯させ、画像差分を行うことにより、瞳孔とほぼ同様に鼻孔が容易に検出できる。ただし、通常、顔の正面からでは、鼻孔は写りにくいので、斜め下にカメラと光源を設置する必要がある。
【実施例1】
【0018】
本発明方法では、2つの瞳孔と2つの鼻孔は同一のシステムで検出する。2台のカメラ、カメラ1または2によって撮影し、各カメラにおいて写るこれら4個の孔を検出し、ステレオマッチング法により、各孔の3次元座標を求める。
図6は、1台のカメラを顔の正面よりやや下から撮影したときに検出できる瞳孔(各図において上の互いに離れた2点)と鼻孔(各図において下の近接した2点)の画像中の座標を表している。この図からも、矢印で示したように、およその顔の方向は類推できる。
図6に6通り方向を例示してある。
【0019】
ステレオカメラの原理で瞳孔と鼻孔の3次元座標を検出すれば、さらに正確に顔の方向が推定できる。簡単のために、2つの鼻孔の3次元座標の平均を取り、その座標(S0)と2つの瞳孔の座標(S1, S2とする)の3個の座標を用いて、三角形を構成する。この三角形を含む平面が顔の方向平面である。
S0, S1, S2の各座標を(l, m, n), (p, q, r), (s, t, u) とすると,S0, S1, S2を含む平顔の方向平面の法線ベクトルn=( nx, ny, nz )は次式で与えられる。
nx = (q-m)(u-n)-(t-m)(r-n)
ny = (s-l)(r-n)-(p-l)(u-n)
nz = (p-l)(t-m)-(s-l)(q-m)
【0020】
S0, S1, S2の重心Gを頭部の位置とし、n を頭部の方向とする。また、重心Gを通り、n と同じ方向ベクトルを持つベクトルを、頭部ベクトルと呼ぶことにする。このように、頭部の位置と頭部の方向を同時に検出することができる。頭部が動かなくとも眼球が回転すると、多少頭部の位置や方向に影響を与えるが、この回転によって主に変化するのは、頭部ベクトル周りの回転成分であり、頭部ベクトルの方向にはあまり影響しない。
また、特にカメラの方向に顔も視線も向けられている状態では、頭部ベクトル周りの回転角度も、S0, S1, S2の重心GとS0, S1, S2のうちのどれかの座標を利用して精度良く検出できる。頭部ベクトルは、頭の動きや回転によって、パソコンのカーソルをジョイスティックやマウスのようなポインティングシステムとして使用することもできる。
【実施例2】
【0021】
各カメラにおける瞳孔検出は、1組の光源と画像差分によりできるが、鼻孔の検出は被検者によっては難しい場合がある。その場合には、次のように対処する。差分を行う前の原画像(例では、明瞳孔画像(奇数フィールド))を2値化すると、図7のように、鼻孔は黒い楕円に近い形状で現れる。図7には左側のカメラ(左)と右側のカメラ(右)の像を示してある。例えば、鼻孔が存在すると範囲を、2つの瞳孔の中間位置から一定距離下方の点を中心とする長方形内であると仮定し、その長方形内部のみをラベリングし、ラベリングされた領域の縦横比や大きさから、鼻孔部を示す領域、2つを決定し、各領域の重心を、各鼻孔の中心とする。その他の構成は前述した実施態様および実施例と異ならない。
【産業上の利用可能性】
【0022】
本発明による頭部の方向を検出できるから、運転者等の姿勢監視等に広く利用できる。
【図面の簡単な説明】
【0023】
【図1】本発明による方法を実施するための装置と被検者の位置関係を示す平面図である。
【図2】光源動作と像の関係を説明するための図表である。
【図3】近接光源と離隔光源の概念を説明するための斜視図である。
【図4】近接光源と離隔光源の配置の第1の例を示す図である。
【図5】近接光源と離隔光源の配置の第2の例を示す図である。
【図6】顔の方向平面を説明するための略図である。
【図7】鼻孔検出の変形例を説明するための略図である。
【符号の説明】
【0024】
1 第1のカメラ
2 第2のカメラ
3,4 カメラの開口
5,6 カメラの近接光源
7,8 カメラの離隔光源
10 頭部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6