TOP > 国内特許検索 > 眠気検知装置 > 明細書

明細書 :眠気検知装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4899059号 (P4899059)
公開番号 特開2008-246013 (P2008-246013A)
登録日 平成24年1月13日(2012.1.13)
発行日 平成24年3月21日(2012.3.21)
公開日 平成20年10月16日(2008.10.16)
発明の名称または考案の名称 眠気検知装置
国際特許分類 A61B   5/18        (2006.01)
A61B   3/11        (2006.01)
G08B  21/06        (2006.01)
G08G   1/16        (2006.01)
B60R  11/04        (2006.01)
FI A61B 5/18
A61B 3/10 A
G08B 21/06
G08G 1/16 F
B60R 11/04
請求項の数または発明の数 7
全頁数 26
出願番号 特願2007-092541 (P2007-092541)
出願日 平成19年3月30日(2007.3.30)
審査請求日 平成22年3月17日(2010.3.17)
特許権者または実用新案権者 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
発明者または考案者 【氏名】海老澤 嘉伸
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
【識別番号】100139000、【弁理士】、【氏名又は名称】城戸 博兒
審査官 【審査官】宮澤 浩
参考文献・文献 特開平 6-270711(JP,A)
特開平 7-249197(JP,A)
特開平11-316884(JP,A)
特開平11-342765(JP,A)
特開2004- 89272(JP,A)
特開2005-266868(JP,A)
特開2007- 3618(JP,A)
特開2007-275115(JP,A)
米国特許第5745038(US,A)
調査した分野 A61B 5/18
A61B 3/11
B60R 11/04
G08B 21/06
G08G 1/16
特許請求の範囲 【請求項1】
対象者の顔を撮影する撮影手段と、
撮影された顔画像から瞳孔の面積を検出する瞳孔面積検出手段と、
検出された瞳孔面積を基準値と比較することにより、対象者の眠気を検知する眠気検知手段とを備えることを特徴とする眠気検知装置。
【請求項2】
前記眠気検知手段において、瞬きによる信号を除去して瞳孔面積の信号とする演算手段を備えることを特徴とする請求項1に記載の眠気検知装置。
【請求項3】
前記眠気検知手段において、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えたときに眠気と判定する手段を備えることを特徴とする請求項1又は2に記載の眠気検知装置。
【請求項4】
前記瞳孔面積検出手段において、明瞳孔画像と暗瞳孔画像を画像差分して得られる差分画像を2値化することによって得た画素数を換算して瞳孔面積とする演算手段を備えることを特徴とする請求項1~3のいずれかに記載の眠気検知装置。
【請求項5】
前記眠気検知装置は、車載用であることを特徴とする請求項1~4のいずれかに記載の眠気検知装置
【請求項6】
前記眠気検知手段によって対象者の眠気を検知した場合に、警告音を発する手段を備えることを特徴とする請求項1~5のいずれかに記載の眠気検知装置。
【請求項7】
さらに、対象者の顔の撮影における周囲光の強さによって、眠気の判定を修正する手段を備えることを特徴とする請求項1~6のいずれかに記載の眠気検知装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、撮影した画像によって、対象者の瞳孔の面積を検出し、それに基づいて対象者の眠気を検知する装置に関するものである。
【背景技術】
【0002】
車両、特に大型トラックを利用した運送業における運転手の居眠り運転は、多くの犠牲者を出しやすく、居眠り運転防止対策は近々の重要課題である。そのため、対象者の眠気を検知する手段を、車両の運転手の居眠り防止手段として適用することが検討されている。
眠気検知には、脳波、心拍、脈拍を計測して、その変化から検知する方法が一般的には信頼が高いと考えられているが、運転中の運転者のそれらを非接触で計測することは難しく、また運転手にこれらの計測装置を装着することも現実的でなく、実用化は難しいと考えられる。
運転手に非接触の状態で眠気を検出するために、運転手の顔画像における顔の表情や眼の様子に注目した開発も行なわれている。
【0003】
例えば、特許文献1では、運転手の意識レベルを画像によって検出するための装置において、運転手の瞳孔の大きさによって運転手の目に入射する赤外光を調整することが開示されている。
特許文献2では、目の開度を検出することで、運転手の状態を検出することが開示されている。
また、特許文献3では、瞳孔径の変化速度が所定値より大きいときに、操作者が緊張状態にあるとして、車両を制御することが開示されている。
【0004】
さらに、運転者の意識レベル低下を検出するには、PERCLOSという手法も有望視されている。ここで、PERCLOS (Percent of the time eyelids are closed)とは、アメリカ道路交通安全局に認可された、運転者の疲労度を測定する手段で、目を閉じている時間割合を表すものである。(D. F. Dinges, M. Mallis, G. Maislin, and J. W. Powell. Evaluationof techniques for ocular measurement as an index of fatigue and the basis foralertness management. Department of Transportation Highway Safety publication808 762, April, 1998.)
【0005】
また、ACEM(the average eye closure/opening speed, i.e., the amount of timeneeded to fully close the eyes and to fully open the eyes)という目の開閉速度に注目した手法もある。例えば、QiangJi and Xiaojie Yang, Real Time Visual Cues Extraction for Monitoring DriverVigilance" Lecture Notes in Computer Science: Computer Vision Systems,vol. 2095, (Ed.) B. Schiele, G. Sagerer (Eds.), Springer, pp. 107, June, 2001.
では、PERCLOSとACEMを測定した事例を記載している。

【特許文献1】特開平7-32907号公報
【特許文献2】特開2000-142164号公報
【特許文献3】特開2000-351337号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
前記のとおり、運転手の状態を検知するために、目瞼の状態や瞳孔径を検出することも検討されている。ところで、ここでいう瞳孔径は横方向の瞳孔径であることが想定される。なぜなら、特許文献3にも、「検出した瞳孔の位置に対応する画像データの水平方向ピクセル数のうち最大値を、瞳孔径Lとして検出する。ここで、水平方向に注目するのは、垂直方向に注目した場合にはドライバによる「瞬き」が影響することによって正確な瞳孔径が検出できないからである。」という記述があるように、瞳孔は上下の目瞼によって隠れることから、縦方向の径の検出は横方向の場合に対して困難だからである。
しかし、横方向の瞳孔径であっても、縦方向ほどではなくとも、目瞼によって隠されて正確に検出できないことも当然に生じる。
【0007】
また、覚醒度が高いときには、瞳孔は大きくサイズも安定しているが、覚醒度が低下すると瞳孔径の平均は小さくなり、振動することが知られている。これは、リラックス度が増したり、覚醒度が低下したりしたときに、瞳孔面積が揺らぐ現象(hippus)である。Hippusは、瞳孔面積が0.2Hz(5秒に一回)ほどの周波数で振動する現象であり、古くから眠気に関連すると考えられてきた。(Mathematical procedures in data recording and processing ofpupillary fatigue waves, Vision Research, Volume 38, Issue 19, October 1998,Pages 2889-2896、Holger Ludtke, Barbara Wilhelm, Martin Adler, Frank Schaeffel andHelmut Wilhelm)。
この論文においては、実験的に、可視光を遮断するが近赤外を透過するカバーで両目を覆い、外側から近赤外線を照射して同様に外側からカメラで撮影し、瞳孔の横の長さを撮影した。しかし、眼のそばから、眼を大きく映し出しているような環境下では瞳孔の横の長さを検出するのは可能かも知れないが、この論文に示されているように、瞬目(瞬き)も生じる中、瞳孔の水平方向の径を正確に計測するのは、このように、目のすぐそばにカメラと光源を設置するような方法でない限り難しく、実用的ではない。
また、瞳孔の横の径は、まつ毛によって分断されることがあり、安定した値として検出し難いという問題もある。
【0008】
また、画像処理により眼瞼を検出して、その動きから目の開閉を検出し、瞬きを検出することで、対象者の状態を検知する方法もある。しかし、眼瞼の検出は、車中のように周囲の光環境が大きく変化する中では難しい。
さらに、眠くなると視線が下を向く傾向があることから、視線計測を利用した方法も提案されている。この場合も、目頭、目尻等をテンプレートマッチング法で検出して、黒目を分離度フィルターを利用するなどして、検出するのが一般的であるが、どちらも周囲の光環境の変化に弱い。最近ではステレオカメラを用いてテンプレートマッチングにより、検出した特徴同士の三次元的形状を記録し、それを基にロバストに目頭、目尻を検出しようとする方法もある。しかし、この方法でも、周囲の光環境の変化に弱い。したがって、顔表情の変化を検出するのも現状では困難である。
【0009】
一方で、トラック等の事故は夜中から朝方にかけて多い。したがって、眠気検知装置を実用化する上で、周囲が暗い中で眠気が検知できれば、必ずしも昼間の明るい場合まで検知できなくても、十分有用である。
ところで、前記の顔画像から眠気を検知しようとする方法において、周囲が暗ければ近赤外線を顔に照射しなければならない。しかし、その光源が原因で、眼鏡のレンズの表面やフレームに生じる反射光(眼鏡反射)が生じ、それが眼瞼を検出する方法や、黒目検出とテンプレートマッチング法では致命的な影響を与える。また、眼鏡の形状によっては、眼鏡のフレームによって、眼瞼が隠れやすいことさえあるため、実用的とは言えない。
【0010】
以上のような状況の中で、本発明者は、顔画像によって瞳孔の面積を検出して、これによって対象者の眠気を検知することで、以下のような理由から、上記の問題を解決できるという知見を得て本発明をなし得たものである。
すなわち、先ず最初の理由として、顔画像から瞳孔を検出し、その瞳孔部分を画定して、眠気判定のファクターとする面積を検出することが、他の箇所におけるファクター、とりわけ従来手法で用いられる瞳孔径や目瞼の状態の検出に比べて容易でかつロバスト性が高い。
特に、車両の運転において、眠気検知の実用化が最も望まれる夜間においては、瞳孔は眠気がないときは、大きく開いており、瞳孔部分及びその面積の検出が容易である。また、近赤外線をカメラ近傍から照射する等によって、明瞳孔の撮影画像を利用すれば、さらに、容易である。また、瞳孔及びその面積の検出には、明瞳孔と暗瞳孔の差分をとる手法も採用可能であって、その場合は、尚更、検出が容易で正確なものとできる。
【0011】
また、次の理由として、従来の瞳孔径を検出しようとする技術においては、目瞼によって瞳孔が隠れることについて、対応を考慮していなかった。しかし、本発明では、瞳孔の面積を眠気の検出に用いることで、この問題も解決できている。
すなわち、眠くなると、眼瞼がゆっくりと閉じてくるが、眼瞼によって瞳孔が隠れることにより、カメラに写る面積も小さくなることと、眠気によって実際に瞳孔が小さくなることとはほぼ同時に起っており、眠気検出するのが目的であるならば、それらを区別する必要がないという知見を見出した。
このように、カメラによって顔の前方から検出される瞳孔の面積は、実際の瞳孔面積の変化だけでなく、上下の眼瞼が瞳孔に被さることによっても変化する。その場合、瞳孔の形状が変化するが、本発明では、カメラに写る瞳孔の形状と関係なく単にファクターとなる瞳孔面積を計測することにより、容易にかつ正確で迅速に対象者の眠気を検知できる。
【0012】
本発明は、以上のようになされたものであり、観察対象者の眠気を容易に、迅速に、ロバスト性高く検知でき、特に車両に適用して有用な眠気検知装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
このような目的を達成するために、本発明の眠気検知装置は、対象者の顔を撮影する撮影手段と、撮影された顔画像から瞳孔の面積を検出する瞳孔面積検出手段と、検出された瞳孔面積を基準値と比較することにより、対象者の眠気を検知する眠気検知手段とを備えることを特徴とする。
本発明によれば、撮影手段によって撮影された対象者の顔画像から、瞳孔の箇所とその面積を検出することができる。そして、その瞳孔面積を基準値と比較することにより、対象者が眠気によって瞳孔が小さくなることと、目瞼によって瞳孔が塞がれていくことも合わせて、しかも、瞳孔の形状の変化にもかかわらず、容易にかつ正確に算定される瞳孔面積よって、対象者の眠気を容易に、迅速に、ロバスト性高く検知できる。
【0014】
また、本発明において、眠気検知手段が、瞬きによる信号を除去して瞳孔面積の信号とする演算手段を備える場合は、眠気とは関係の無い短い瞬き等によって影響を受けることなく、眠気を検知することができる。
【0015】
また、本発明において、眠気検知手段が、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えたときに眠気と判定する手段を備える場合は、状況に合わせた設定によって、擾乱を排除した安定した眠気の判定ができる。
【0016】
また、本発明において、瞳孔面積検出手段が、明瞳孔画像と暗瞳孔画像を画像差分して得られる差分画像を2値化することによって得た画素数を換算して瞳孔面積とする演算手段を備える場合は、周囲が明るい場合や対象者の瞳孔の近くにメガネの反射やまつ毛が存在するような場合にも、支障なく瞳孔面積の検出ができる。なお、画素数を瞳孔面積に換算するということは、画素数自体を瞳孔面積の値とすることも含む。
また、本発明において、眠気検知装置は、車載用である場合は、観察対象者である車両運転手の眠気をすばやく検知することができる。
【0017】
また、本発明において、眠気検知手段によって対象者の眠気を検知した場合に、警告音を発する手段を備える場合は、対象者に対して、眠気を検知した際に警告音を発し、運転手などの観察対象者が眠気によって事故を起こす等を防止することができる。
【0018】
また、本発明において、対象者の顔の撮影における周囲光の強さによって、眠気の判定を修正する手段を備える場合は、撮影の周囲光の変化によって対象者の瞳孔面積が変化し、それによる眠気の判定の誤りを防止することができる。
【発明の効果】
【0019】
本発明は、観察対象者の眠気を容易に、迅速に、ロバスト性高く検知でき、特に車両に適用して有用な眠気検知装置を提供することができる。
【発明を実施するための最良の形態】
【0020】
以下、図面に基づいて、本発明による装置の好適な実施形態について説明する。
図1は、本実施形態の眠気検知装置1の概念図である。眠気検知装置1は、撮影手段2、制御手段3、瞳孔面積検出手段4、眠気検知手段5を備えている。
撮影手段2は、カメラ21及び光源22、23を備えており、撮影者Aの瞳孔Pを含む顔画像を撮影する。カメラ21は、車内に設置することから、対象者の顔から70~80cm程度離し、前方下方斜めから撮影することが瞳孔を撮影するためには好ましい。
カメラ21としては、例えば、NTSC方式のカメラ等が採用される。カメラ21による撮影や光源の点灯は、例えば、パソコン等の制御装置3によって制御される。
撮影された顔画像は、瞳孔面積検出手段4において、画像が解析されて瞳孔の面積が演算される。
瞳孔面積検出手段4において、演算された瞳孔面積の値は、眠気検知手段5において、演算処理されて、対象者が眠気の状態かどうかが判定され、必要に応じて、警告音が発せられる。ここで、制御手段3、瞳孔面積検出手段4、眠気検知手段5は、それぞれ、別の装置であっても、同じ1つのパソコン等であってもよい。
また、瞳孔面積検出のために、明瞳孔画像と暗瞳孔画像による差分画像を利用しない場合であれば、図のように撮影手段2に2つの光源を用いる必要はない。また、差分画像を利用する場合であっても、1つの光源によることも可能である。
また、カメラには、光源が発する光だけを通すバンドパスフィルタを取り付ける。これにより、瞳孔検出に余分な可視光をある程度カットできる。
【0021】
図2に、明瞳孔画像と暗瞳孔画像の差分画像を用いて瞳孔面積の検出を行なう場合の瞳孔面積検出手段4における処理ステップの一例を記載する。ここでは、ステップ41において、明瞳孔画像と暗瞳孔画像を取得し、その差分を演算することで瞳孔部分の差分画像を画定し(ステップ42)、得られた差分画像の画素数を計数する等によって瞳孔面積を演算する(ステップ43)。なお、瞳孔面積は、両方の瞳孔が検出されている場合は、その平均値とし、片方のみが検出されているときはそれを瞳孔面積としてもよい。
【0022】
ここで、明瞳孔と暗瞳孔について、説明する。
図1において、カメラ21の開口近くに近赤外線等の光源22を設け、カメラの光軸に沿うようにして光を対象者Aの顔に照射して撮影すると、光は瞳孔Pから網膜に達して反射し、水晶体、角膜を通ってカメラ21の開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラ21の開口から離した近赤外線等の光源23による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラ21の開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲にはまつ毛等もあり、また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることがある。そのため、特に、昼間の明るくて瞳孔が小さくなっているようなときには、瞳孔を検出してその面積を求めるのに困難な場合もある。
しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分演算を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが明るく浮き彫りになる。これによって、瞳孔を容易に検出し、正確な面積を計数することができる。
【0023】
例えば、NTSC方式のカメラ撮影における1/30秒毎の1フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像として取得し、それらの差分画像を演算し、さらにPタイル法などのよって輝度の閾値を決定して画素を2値化することで、瞳孔の存在する部分の画素数を得て、この換算値を瞳孔面積とすることができる。
また、対象者の顔が移動することで、瞳孔の位置も変化するが、予め、瞳孔を含む小さなウインドウを設定しておき、カルマンフィルターなどの予測モデルによって、ウインドウの位置変化を予測して、予測される範囲に次のウインドウを設け、ウインドウ内だけを差分する等によって、演算を効率化することも可能である。
【0024】
次に、図3に眠気検知手段5における処理ステップの一例を示す。
前記のように、例えば、1/30秒ごとに明瞳孔画像と暗瞳孔画像の差分画像に基づく瞳孔面積を検出すると、対象者が眠気を感じていない通常の状態であっても、短い瞬きやその他急激な顔の移動などで、検出された瞳孔面積が零又はそれに近い小さな値になることやその反動で急激な突出した値となることがある。このような瞬時の急激な信号変動する瞳孔面積を眠気判定のデータとしていたのでは、かえって正確な判定ができない。そのために、ステップ51においては、そのような短時間の瞬き等による瞳孔面積の変動したデータ信号を除去する演算を行なっている。
そのための手段としては、論理回路やフィルタによって単発的で急激に変動した信号を除くことや信号を平滑化するなどの各種の手法を用いることができる。
そして、以下の処理ステップにおいては、このように短い瞬きや何らかの測定上のエラーに基づく短時間の変動の信号を除去した瞳孔面積によって、眠気判定のための演算を行なう。
【0025】
ステップ52において、瞳孔の平均面積を演算する。この値は、以後の眠気判定における1つの基準値ともなるものであるから、対象者が眠気を伴っていない瞳孔検出の初期における平均を求めることが望ましい。
しかし、一方で、たとえば夜中営業用トラックで出発する直前に明るい車庫内で基準値が決まってしまうと、上述の基準値が最適値よりも小さめに算定されるため、結果的に、警告が発生しにくくなる。そこで、たとえば、常に10分ほど前の3分間の平均値を基準値とすることも有効である。逆に、暗所で基準値が決まり、明るいところへ出たとすると、瞳孔が常に小さめになる。この場合、警告が出続ける可能性がある。しかし、この場合は、警告をならす条件が一度満たされなくなり再度満たされたときに警告を出すようにすれば、最初一度だけ警告がなるだけで済むため、あまり問題はない。
次に、瞳孔面積と比較すべき閾値を設定する(ステップ53)。例えば、前記瞳孔面積の平均値の55%を閾値とする。
そして、検出した連続する瞳孔面積のデータを次々と閾値と比較し(ステップ54)、所定の一定期間、例えば5秒間(150フレーム)又は10秒間(300フレーム)の間に、検出した瞳孔面積が閾値を下回る割合が例えば50%を超えたときに、対象者が眠気に該当すると判定する(ステップ55)。
眠気の判定がされたときには、対象者に対して警告音を発して眠気を覚ます。この警告音は、ブザー等の音でも音声でもよく、また、対象者のみでなく、事業所に通知する等を同時に行なうこともあり得る。
ここで、眠気の判定は、瞳孔の平均面積よりも小さな閾値を設定し、一定期間内において瞳孔面積が閾値を下回る割合が予め設定した割合を超えることにより行なっている。しかし、このような手法に限らず、単に一定の閾値を設定しておき、検出した瞳孔面積がこれを下回ったときに眠気を判定することや、一定期間内に所定回数この閾値を下回ったときに眠気と判定することなども可能である。
【0026】
次に、撮影における周囲光の強さによる眠気判定の修正手段を説明する。
瞳孔面積は、周囲の明るさが暗い所から明るいところへ出ても、小さくなる。これによる眠気誤検出を防ぐためには、顔にあたる周囲光強度を計測すればよい。太陽光などの環境光(多くの場合、光源と同じ波長の光を含む)は、本発明による装置のカメラにおいても顔画像の明暗に影響を与える。
もし、光源の電流量を一定に保っていれば、明瞳孔画像もしくは暗瞳孔画像は、光源が起源となる画像の明暗は維持されるのに対して、周囲光が起源となる明暗が加算されるため、暗黒中での同画像の明るさを記録しておき、それに対して、どれだけ同画像が明るくなったかを計測することで、周囲光の強さを判断できる。瞳孔面積の減少から警告を出す条件が満たされた時に、さらに周囲光を鑑みて、警告を出すかどうかを判断する。
光源の電流を変化させる場合も、電流値と画像の明るさとの関係をあらかじめ計測してそれを利用して判断する。
別の周囲光の強さを判定する方法としては、瞳孔面積の減少から警告を出す条件が満たされた時に、1フレーム分だけでよいので、光源を消灯して、無照明画像を得て、その画像の明るさから周囲光の強さを判定し、警告を出すかどうかを決定する。
さらに、瞳孔面積に影響を与える可視光を正確に測る方法としては、別途、顔を撮影するカメラもしくは光センサにより、顔にあたる可視光強度を計測する方法がある。
以上のような方法によれば、特に周囲が急激に明るくなって瞳孔が小さくなったときに、誤って警告を出すことを防ぐことができる。
【実施例1】
【0027】
次に、本実施形態について実際に実験した実施例を、図4~21によって説明する。
実際に運転中の運転者の居眠り状態を観察することは困難であるので、図4のように、暗室で、車載実験を模擬した実験を行った。CCDカメラ2を対象者Aの顔に向けて設置し、プロジェクタを用いて高速道路運転中の映像を映した。
実験は瞳孔が大きくなるよう、夜を想定したため照明を消し、室温は眠りやすいよう25℃以上に設定した。被験者は、15分間、実際運転しているようにハンドルを動かすこととされた。
瞳孔面積検出手段4について説明したように、明瞳孔画像と暗瞳孔画像を撮影して、瞳孔の差分画像を得たのが、図5の写真である。この差分画像の画素数(pixel)を瞳孔面積とした。瞳孔面積は、両瞳孔が検出できているときは、両者の瞳孔面積(画素数)を平均値とし、片方の瞳孔のみが検出されているときは、それを瞳孔面積とした。
【0028】
「瞳孔面積変動波形の抽出」
瞬きによって眼を閉じると瞳孔が消失することから、検出される瞳孔面積は0になる。
瞳孔面積の変化の例を図6に示す。ここで、実験は0秒で始まり、全部で15分間程度であった。実験開始時に、瞳孔面積は大きく、しかし、3分ごろから徐々に下がり始めている。矢印で示した時刻に警告音を鳴らした。すると、瞳孔が急激に大きくなった。ここで、警告は、被験者が完全に目を閉じたのを確認したときに警告音を出した。すなわち、その警告の直前には被験者が眠ったことを意味する。なお、ここで行なった警告は、本件発明における警告音の発生とは必ずしも一致するものではない。本件発明においては、後述するように、瞳孔面積変動波形を解析することにより、さらに迅速に警告音を発することが可能であるが、ここでは、被験者の状態を種々観察するためもあって、このような段階での警告を行なっている。
【0029】
この図6における、実験開始直後の0秒から120秒を引き伸ばして示したのが、図7である。この図において、瞳孔面積が300pixelから500pixelの範囲で緩やかに変化しており、実際に瞳孔自体の面積が時折、小さくなり、また、およそ元の面積に戻る様子が分かる。さらに、グラフにおいて、下に飛び出て、ほとんど瞳孔面積が0になっているところが、瞬きが発生した部分である。
0秒から120秒の間の代表的な顔画像が図8と図9である。それぞれ、約5秒と約47秒のときの画像である。瞳孔が、後者のほうがやや小さくなっているが、両方とも目が大きく開いており、瞳孔が大きいことがわかる。そして、どちらの顔画像においても、被験者の表情から特に眠気を感じていない様子が分かる。
図10は、図6の瞳孔面積変化が360秒~540秒までを拡大して示したものである。ここでは、瞳孔面積が大きく変化していることがわかる。図11から図13にはそれぞれ約395秒、約418秒、約482秒における顔画像を示した。図11と図12を比較すると、瞳孔面積も変化しているが、眼瞼の開閉度も変化している。図13では、瞳孔はほとんど見えない状態になっているが、図10の結果をみると、瞳孔は検出できており、面積が零にはなっていない。ここで、図11から図13の写真を見ると被験者は明らかに眠気を感じていることが分かる。このことから、少なくとも、この時点で警告を出す必要があるであろう。
【0030】
図14に図6の630秒~780秒の範囲を拡大して示した。ここで、660秒付近と750秒付近で警告音を出している。図15から図18は748秒から768秒までの顔画像を示した。748秒では、ほぼ完全に目を閉じており、図14においても、瞳孔面積は零を示したが、警告を鳴らした直後、752秒(図16)、759秒(図17)と目が開くと共に瞳孔が大きくなっていることがわかる。このことは図14においても、その傾向がはっきりと見られる。さらに768秒(図18)になると意識が戻っていることが顔の表情から読み取れる。
以上のように、顔表情を見ると、瞳孔面積が眠気と対応していることが分かる。
【0031】
「眠気検知」
瞳孔面積波形には、瞬きや多少のエラーが入っている。また、図10からわかるように、覚醒度が高くとも、対光反射などで瞳孔面積に変化があるため、それらの影響を除去して瞳孔面積が減少したのを捉える必要がある。
そのための信号処理について次に述べる。
図7の多数の矢印で示されている上に突出している部分は、瞳孔面積が過大推定されている部分であり、これを取り除くために、(1)連続5フレーム(150ms)間毎に、値の大きい方から2番目までの値を零に置き換える。その後に、(2)連続する30フレーム(1秒)の中から最大の瞳孔面積を求め、最後のフレームの瞳孔面積に置き換える処理を行う。この処理を1フレームずつずらしながら実行する。この処理によって、瞬きのように短い時間(たとえば、6フレーム)だけ零が続くような場合に、(1)の処理で瞳孔面積が零になっても、補正されて零でなくなる。なお、ここで、(2)で30フレームを選択することにより、被験者が目を30フレーム(1秒)以上閉じると、初めて処理後の瞳孔面積は零になる。換言すれば、遅延時間は最大で35フレーム(1.15秒)である。
【0032】
以上の処理を施すことにより、たとえば、図19(a)の瞳孔面積原波形(図6と同じ)は、図19(b)のように整形される。図20には、別の被験者に対する同様の実験結果を示した。図20(a)が瞳孔面積の原波形、図20(b)は、それを上記の処理を行った瞳孔面積波形である。ここでも、警告音を出すと瞳孔面積が実験はじめの状態にほぼ戻っている。
【0033】
図21(a)(b)に、図19の処理後の瞳孔面積波形を利用した眠気検知処理の結果を示している(実験開始から2分~10分)。
眠気検知の方法は、実験開始後の最初の10秒間(300フレーム)の処理後の瞳孔面積の平均値の55%を閾値とする。連続5秒間(150フレーム)もしくは10秒間(300フレーム)に、閾値を下回る割合が50%を越えたときを、それぞれ図21(a)(b)中の方形波において、高いレベルで示している。
この時点において、対象者を眠気とを判定することができる。
【0034】
「従来手法との比較」
ここで、本発明の有効性を示すために、従来の代表的な方法を本実験における瞳孔検出結果に応用して、本発明の本実施例と比較する。
前記のPERCLOS(Percent of the time eyelids are closed)による手法と対比するために、連続する300フレーム(10秒間)のうちで目の閉じている割合を1フレームごとに求めた。ここで、300という数は、眠気を判定しやすいと思われるフレーム数として選択した。
また、瞬き頻度による手法と対比するために、連続する300フレーム(10秒間)における瞳孔検出状態から非検出状態への移行の回数を瞬き回数として計数した。
【0035】
図19から分かるように、(b)の本実施例では、瞳孔面積は最初の警告が出されるまでに徐々に減少している。(c)のPERCLOSでは、最初の警告の前に、立ち上がっていることがわかる。しかし、図19からは分かりにくいが、PERCLOSが立ち上がっている部分は、ピークが50%程度を示しており、10秒あたり5秒も目を閉じていることになる。すなわち、すでに眠っていると言ってもよい状態になっていることを意味する。
また、(d)の瞬き数では、そのピークもはっきりしていない。
図20の例では、12.5分から13分の間にPERCLOSが50%程度になり、長時間の閉眼があり、居眠りをしたことが分かる。居眠りを予測するという観点からは、11.5分から12分の間のPERCLOSもしくは瞬き頻度の上昇で眠気検知をしたいところであるが、そのときの値よりも、図20中に破線の楕円で囲ったように、ずっと高い値を示している。楕円で囲ったあたりの時間帯は、実験開始直後ということもあり、顔の表情を見ても、まだ、眠気を感じていない状態であったにもかかわらず、PERCLOSと瞬き頻度が高かった。
このことから、PERCLOSと瞬き頻度は、眠気検知にあまり有効ではないと推測される。それに対して、(b)の本実施例の瞳孔面積は、9.5分あたりから徐々に値が低下したことがわかる。これを検出すれば、瞳孔面積は眠気検知にPERCLOSや瞬き頻度より有効であることが分かる。
【0036】
図21において、低レベルから高レベルに移行するときに、警告音を発するとすると、前記のとおりの本実施例の図21(a)場合は6.6分ごろに、(b)の図21(b)の場合は8分ごろに警告が発せられることを意味する。それに対して、PERCLOSでは、9.4分にならないと警告が出せない(図20のように眠くなくとも瞬きが多発することもあるため、閾値を調整するのが難しい。)。このように、本実施例では、PERCLOSに比較して、1分以上早く警告を出すことができる。
【0037】
次に、従来手法の瞳孔径検出と本件発明の実施例の対比を行なう。
図22に、いくつかの瞳孔径と眼瞼の閉じ具合によって、瞳孔サイズと瞳孔形状が代わることを示した。ここで、黒い部分が画像解析によって明らかになる瞳孔面積であり、検出される瞳孔部を上下の端と左右の端を通る長方形の幅を横瞳孔径、高さを縦瞳孔径と呼ぶことにする。ここで、従来、他の特許で瞳孔径と呼ばれているのは、横瞳孔径に相当する。
図23と図24は、それぞれ、図19と図20に示したデータに対応させて、実験開始から約11.5分までの、上から横瞳孔径、縦瞳孔径、瞳孔面積を示している。両図から、横瞳孔径は、あまり変化していないのに対して、縦瞳孔径と瞳孔面積は大きく変化していることが分かる。さらに、縦瞳孔径よりも瞳孔面積の方がより、大きく変化していることが分かる。(なお、ここでは、それぞれ元形をそのまま示してある。)
このように、本件発明の瞳孔面積によるその変化の検出は、容易でかつ正確であるといえる。
【図面の簡単な説明】
【0038】
【図1】本発明の実施形態の眠気検知装置を示す概念図である。
【図2】本発明の実施形態の瞳孔面積検出手段についてのブロック図である。
【図3】本発明の実施形態の眠気検知手段についてのブロック図である。
【図4】本発明の実施形態の実施例での実験装置を示す写真である。
【図5】本発明の実施形態の実施例での結果を示す写真である。
【図6】本発明の実施形態の実施例での結果を示すグラフである。
【図7】本発明の実施形態の実施例での結果を示すグラフである。
【図8】本発明の実施形態の実施例での結果を示す写真である。
【図9】本発明の実施形態の実施例での結果を示す写真である。
【図10】本発明の実施形態の実施例での結果を示すグラフである。
【図11】本発明の実施形態の実施例での結果を示す写真である。
【図12】本発明の実施形態の実施例での結果を示す写真である。
【図13】本発明の実施形態の実施例での結果を示す写真である。
【図14】本発明の実施形態の実施例での結果を示すグラフである。
【図15】本発明の実施形態の実施例での結果を示す写真である。
【図16】本発明の実施形態の実施例での結果を示す写真である。
【図17】本発明の実施形態の実施例での結果を示す写真である。
【図18】本発明の実施形態の実施例での結果を示す写真である。
【図19】本発明の実施形態の実施例での結果を示すグラフである。
【図20】本発明の実施形態の実施例での結果を示すグラフである。
【図21】本発明の実施形態の実施例での結果を示すグラフである。
【図22】本発明と対比するための瞳孔径検出の説明図である。
【図23】瞳孔径と瞳孔面積検出を対比するグラフである。
【図24】瞳孔径と瞳孔面積検出を対比するグラフである。
【符号の説明】
【0039】
1‥眠気検知装置、2‥撮影手段、21‥カメラ、22,23‥光源、3‥制御手段、4‥瞳孔面積検出手段、5‥眠気検知手段
図面
【図1】
0
【図2】
1
【図3】
2
【図6】
3
【図7】
4
【図10】
5
【図14】
6
【図19】
7
【図20】
8
【図21】
9
【図22】
10
【図23】
11
【図24】
12
【図4】
13
【図5】
14
【図8】
15
【図9】
16
【図11】
17
【図12】
18
【図13】
19
【図15】
20
【図16】
21
【図17】
22
【図18】
23