TOP > 国内特許検索 > 覚醒状態検知方法および覚醒状態検知装置 > 明細書

明細書 :覚醒状態検知方法および覚醒状態検知装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4977856号 (P4977856)
公開番号 特開2007-293587 (P2007-293587A)
登録日 平成24年4月27日(2012.4.27)
発行日 平成24年7月18日(2012.7.18)
公開日 平成19年11月8日(2007.11.8)
発明の名称または考案の名称 覚醒状態検知方法および覚醒状態検知装置
国際特許分類 G08G   1/16        (2006.01)
G06T   7/20        (2006.01)
G06T   1/00        (2006.01)
A61B   5/16        (2006.01)
FI G08G 1/16 F
G06T 7/20 300B
G06T 1/00 340A
A61B 5/16 300A
請求項の数または発明の数 5
全頁数 7
出願番号 特願2006-120561 (P2006-120561)
出願日 平成18年4月25日(2006.4.25)
審査請求日 平成21年4月22日(2009.4.22)
特許権者または実用新案権者 【識別番号】304027349
【氏名又は名称】国立大学法人豊橋技術科学大学
発明者または考案者 【氏名】章 忠
【氏名】三宅哲夫
【氏名】安田好文
審査官 【審査官】池田 貴俊
参考文献・文献 特開平11-276461(JP,A)
特開2002-254956(JP,A)
特開平07-093700(JP,A)
調査した分野 G08G 1/16
A61B 5/16
G06T 1/00
G06T 7/20
特許請求の範囲 【請求項1】
人の眼球運動の変化を検出し、検出結果を生体情報の変化と評価することによって、その変化により人の意識の覚醒状態を検知する方法であって、
人の顔の画像に基づいて、左右の眼球の中心間距離の中点(眼球中心の中点)の位置を推定するとともに、この中点の位置を画像面に投影する点を算出し、前記画像に基づいて、左右の眼球の黒目の中心間距離の中点(黒目中心の中点)を測定し、眼球中心の中点を画像面に投影した点と黒目中心の中点との距離を黒目変位量として計算し、この黒目変位量を生体情報として、その変化の状態により人の意識の覚醒状態を検知することを特徴とする覚醒状態検知方法。
【請求項2】
人の眼球の運動の変化を検出し、検出結果を視線の変化と評価することにより、その微小変動量を解析することによって、人の眠気または注意低下検知する方法であって、
人の顔の画像に基づいて、左右の眼球の中心間距離の中点(眼球中心の中点)の位置を推定するとともに、この中点の位置を画像面に投影する点を算出し、前記画像に基づいて、左右の眼球の黒目の中心間距離の中点(黒目中心の中点)を測定し、眼球中心の中点を画像面に投影した点と黒目中心の中点との距離を黒目変位量として計算し、この黒目変位量を視線の変動として、その微小変動量の範囲により人の眠気または注意力低下を検知することを特徴とする覚醒状態検知方法。
【請求項3】
前記黒目変位量の計算は、前記眼球中心の中点の位置を画像面に投影する点の位置ベクトルと前記黒目中心の中点の位置ベクトルとに基づき黒目変位ベクトルを算出するとともに、基本画像の黒目変位ベクトルと判定画像の黒目変位ベクトルのユークリッド距離を算出するものであることを特徴とする請求項1または2に記載の覚醒状態検知方法。
【請求項4】
人の顔を撮影するカメラと、このカメラによって撮影された顔画像から視線の微小な変位量を測定する視線解析装置と、この視線解析装置により測定された視線の変位量に基づいて、視線の移動範囲により覚醒状態を判定する覚醒状態判定装置とを備え、
前記視線解析装置は、人の顔の画像に基づいて、左右の眼球の中心間距離の中点(眼球中心の中点)の位置を推定するとともに、この中点の位置を画像面に投影する点を算出し、前記画像に基づいて、左右の眼球の黒目の中心間距離の中点(黒目中心の中点)を測定し、眼球中心の中点を画像面に投影した点と黒目中心の中点との距離を黒目変位量として計算し、この黒目変位量を視線の変位と推定することを特徴とする覚醒状態検知装置。
【請求項5】
前記覚醒状態判定装置による判定結果は、警告装置に出力され、覚醒状態でないと判断される場合に該警告装置を作動させることを特徴とする請求項4に記載の覚醒状態検知装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、車両等の運転手の微小な眼球運動を生体情報として検出し解析することにより、運転手の意識の覚醒状態の変化を早期に検知する方法ならびに装置に関する。
【背景技術】
【0002】
特許文献1乃至特許文献7にみられるように、車両の安全運行のために車両運転手の状態を検出する技術、または状態を検出後、解析を行い、安全制御を行う技術が、非常に多く開発されている。とくに、自動車における居眠りやわき見運転の状態を検出する技術が多く存在する。
【0003】
前述した特許文献では、自動車等の限られたスペースなどの設置条件や、さまざまな気象や光源からの照明などの環境条件に対応して、運転手の状態を的確に検出するための技術がほとんどである。以上から、従来技術は、安全性を高めるための技術というよりは、事故に対するサポートや被害の軽減に寄与するためのものということができる。
【0004】
しかし、進行中の自動車や列車などの車両に対して、居眠りやわき見の状態を検出するのでは対応が遅くなり、事故の発生を未然に防ぐことは難しい。さらに、車両を運転中に、ほかの事を考えたりして注意力が低下することによる事故を未然に防ぐことも従来技術では極めて困難である。

【特許文献1】特開2002-254956公報
【特許文献2】特開平11-276461公報
【特許文献3】特開平9-20157公報
【特許文献4】特開2001-005952公報
【特許文献5】特開平7-093700公報
【特許文献6】特開平8-083344公報
【特許文献7】特開平7-032907公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
居眠り運転などによる事故や運転手の注意力の低下による事故の発生を未然に防ぐことができるように、居眠りの前段階、すなわち眠気の発生や、注意力の低下を早期に発見する覚醒状態の変化を検知する方法ならびに装置を提供することである。
【課題を解決するための手段】
【0006】
覚醒状態の変化を検知するために、対象となる車両運転手などの生体情報を検出し、解析する方法と解析情報を元に状態を判定処理する方法を提供する。非接触測定が可能であること、人の情報源としてほとんどを占めているといわれていることから、生体情報源として眼球に着目する。
【0007】
とくに、眼球の持つ生体情報として、人が注視するときの眼球の微小運動を視線の微小な変動量として計測し、視線の微小な動きを解析し判定処理を行う。非特許文献1に示したように、覚醒状態と眼球の微小運動、すなわち視線の変動量との間には関係がある。前述の文献では、四つの電極を眼球の周りに付けることで変動量の信号を検出している。
【0008】
本発明は、前述した生体情報の関係を元にしているが、カメラ等による視点の検出と画像処理を組み合わせて、視線の微小な変動量を非接触に検出できる点に、これまでにない大きな進歩性がある。
<nplcit num="1"><text>鈴木直也、“生体信号を用いた眠気の検出法に関する研究”、豊橋技術科学大学卒業論文、2005</text></nplcit>
【発明の効果】
【0009】
覚醒時の注視による微小な眼球運動は、活発で変動量が大きいという特徴がある。一方、覚醒状態の低下時には、注視による微小眼球運動は、ほとんど停滞し、変動量は小さいという生体情報としての特徴がある。これらの特徴を視線の微小変動量として検出し解析することで覚醒状態を判定できるようになる。
【発明を実施するための最良の形態】
【0010】
本発明は図1に示すように実施される。まずカメラ等を用いて顔画像を計測し、視線を検出する。次に視線の微細な動きを解析する。最後に視線の微小な変位量から覚醒状態を判定し眠気および注意力低下を早期発見する。
【0011】
図2に示すのは頭上から見た眼球と正面からみた目を画像面に投影した図である。ただし、図中の1と4は眼球の中心、2は眼球中心線、3は左右眼球中心の中点、5は左右黒目中心の中点、6は左右眼球中心の中点の画像面に投影した点、7は,左右の目尻間距離である。図2に示した目のモデルを元にして視線検出の流れを図3に示す。
【0012】
図3に示すのは視線検出の流れである。まずカメラ等で顔画像を計測し、顔の特徴点や基本参照点などを取得する。次に顔の向きや回転を考慮し顔の特徴点の追跡や瞬きの検出などを経て左右眼球中心の中点を推定する。最後に推定された左右眼球中心の中点からそれの画像面に投影した点を算出し、以下に示す数式(1)および数式(2)により黒目変位量dを計算して視線を推定する。なお、数式(1)および数式(2)において、右矢印を冠するアルファベット文字を用いて、ベクトル量を表すこととする。
【0013】
【数1】
JP0004977856B2_000002t.gif

【0014】
上記の数式において、黒目変位ベクトルwは、画像上の左右黒目中心の中点位置ベクトルPと眼球中心の中点位置ベクトルQの差を目尻間距離Lで正規化したベクトルである。
【0015】
【数2】
JP0004977856B2_000003t.gif

【0016】
上記の数式において、黒目変位量dは、基本画像の黒目変位ベクトルw_0と判定画像の黒目変位ベクトルwのユークリッド距離である。
【実施例】
【0017】
図4には、眼球中心の中点と、眼球中心の中点を推定するために用いる顔面の特徴点の関係、およびカメラと顔の相対位置関係を表す視線推定方法の実施例の概略図を示す。図中の8は推定される左右眼球中心の中点、9は左右黒目中心の中点、10は顔面の特徴点、11は顔の横軸x、12は顔の縦軸y、13は顔の前後方向の軸z、14はカメラと顔の左右黒目中心の中点との間の距離、15はカメラである。
【0018】
従来の視線推定手法である特許文献1では、画像面上の角膜反射点と瞳孔中心点との相対位置から視点位置を推定する手法を用いている。
【0019】
一方、図4の実施例では前述の手法とは異なり、顔の特徴点や基本参照点などを元にして左右眼球中心の中点を推定し、それの画像面に投影した点と左右黒目中心の中点との距離、すなわち黒目変位量を計算して視線を推定するものである。
【0020】
図4の視線推定方法の実施例では以下の特徴を持っている。1)カメラ校正や顔モデルの作成など、複雑な初期設定を必要としない。2)計算速度が速く、1台のカメラを用いて高精度で視線を推定できる。3)顔の縦、横、左右の回転の影響を受けず、視線の動きを正しく検出することができる。
【0021】
図5は視線解析結果の例である。図5の視線解析例は、正面付近に置かれたカメラおよびその周辺を自由に見ている状態の視線の動きを示す。変位量0.01は視線角度で約6度に相当しており、この図では、縦方向±約4度、横方向±約3度の範囲内を視線がランダムに移動する様子が検出されている。
【0022】
図5に示すように、車両運転手は集中して前方を注視するときに、視線の動きは活発で範囲が大きく、前方の情報を正しく獲得できる。しかし、車両運転手は眠気が発生するとき、またはほかの事を考えて注意力が低下したときに、視線の動きは不活発で範囲が狭く、前方の情報を正しく獲得できなくなる。すなわち、視線の動きの範囲検出により眠気と注意力低下を早期発見することができる。
【産業上の利用可能性】
【0023】
図6は、本発明による覚醒状態検知装置システムの概略を示したものである。まず車両等の運転手の顔20をカメラ16により撮影し、得られた顔画像から本発明に係る視線推定方法を用いて視線解析装置17により運転手の視線の微小な変位量を測定する。その測定された変位量を用いて、覚醒状態判定装置18は視線の移動範囲から覚醒状態の判定を行う。覚醒状態でないと判断されると、例として、警告装置19を動作させ、運転手20に覚醒状態でないことを表示や音や振動などで通知するとともに注意力を取り戻させることができる。
【0024】
前述した覚醒状態検知装置システムのように、本発明は眠気および注意力低下の早期発見により、列車および自動車の交通事故を低減すること、さらに機器作業中、または監視中の操作員の眠気および注意力低下の早期発見により、事故を未然に防いだり、その発生頻度を低減したりすることに寄与できる。
【図面の簡単な説明】
【0025】
【図1】本発明に係る全体的な処理の流れ図である。
【図2】視線検出における基本原理を示す図である。
【図3】視線推定の手順を示す図である。
【図4】本発明に係る視線推定方法の実施例の概略図である。
【図5】本発明による視線検出解析例の図である。
【図6】本発明による覚醒状態検知装置システムの概略図である。
【符号の説明】
【0026】
1 眼球の中心
2 眼球中心線
3 左右眼球中心の中点
4 眼球の中心
5 左右黒目中心の中点
6 左右眼球中心の中点の画像面に投影した点
7 左右の目尻間距離
8 推定される左右眼球中心の中点
9 左右黒目中心の中点
10 顔面の特徴点
11 顔の横軸x
12 顔の縦軸y
13 顔の前後方向の軸z
14 カメラと顔の左右黒目中心の中点との間の距離
15 カメラ
16 カメラ
17 視線解析装置
18 眠気判定装置
19 警告装置
20 車両等運転手の顔
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5