TOP > 国内特許検索 > 眠気判定装置 > 明細書

明細書 :眠気判定装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5411653号 (P5411653)
公開番号 特開2011-086186 (P2011-086186A)
登録日 平成25年11月15日(2013.11.15)
発行日 平成26年2月12日(2014.2.12)
公開日 平成23年4月28日(2011.4.28)
発明の名称または考案の名称 眠気判定装置
国際特許分類 G08G   1/16        (2006.01)
A61B   5/18        (2006.01)
G06T   1/00        (2006.01)
FI G08G 1/16 F
A61B 5/18
G06T 1/00 340A
請求項の数または発明の数 4
全頁数 13
出願番号 特願2009-239597 (P2009-239597)
出願日 平成21年10月16日(2009.10.16)
審査請求日 平成24年10月16日(2012.10.16)
特許権者または実用新案権者 【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
発明者または考案者 【氏名】宮城 大輔
【氏名】塚原 金二
【氏名】中川 匡弘
個別代理人の代理人 【識別番号】100107308、【弁理士】、【氏名又は名称】北村 修一郎
【識別番号】100114959、【弁理士】、【氏名又は名称】山▲崎▼ 徹也
審査官 【審査官】奥隅 隆
参考文献・文献 特開平09-039603(JP,A)
特開平07-117595(JP,A)
特開平06-270711(JP,A)
特開2007-025871(JP,A)
特開平09-308614(JP,A)
国際公開第2005/000119(WO,A1)
調査した分野 G08G 1/16
A61B 5/18
G06T 1/00
特許請求の範囲 【請求項1】
所定間隔で撮影されたドライバーの顔を含む撮影画像を取得する画像取得部と、
前記撮影画像に基づいて前記ドライバーの瞼を検出する顔検出部と、
前記ドライバーの瞼の開閉状態の時系列の変化を示す瞬き情報を演算する瞬き情報演算部と、
前記瞬き情報から、前記瞬き情報の変化の特徴を表すフラクタル次元を演算するフラクタル次元演算部と、
複数の被験者の眠気の度合いに応じて取得され、統計的に設定された基準フラクタル次元と前記ドライバーのフラクタル次元とに基づいて、前記ドライバーの眠気の度合いを判定する眠気判定部と、
を備える眠気判定装置。
【請求項2】
前記フラクタル次元演算部は、
時系列に変化する前記瞬き情報が、前記瞬き情報の変域内に設定された基準値と交差する時刻をインパルス状のクロスデータとして抽出するクロスデータ生成部と、
前記クロスデータを平滑化して、連続データである平滑クロスデータに変換するクロスデータ平滑部と、
前記平滑クロスデータのパワースペクトルを導出し、当該パワースペクトルから時間シフト量の関数で相関値を示す自己相関関数を演算する自己相関関数演算部と、
時間シフト量と相関値とを両対数で表した場合において、時間シフト量が少ない側の所定の範囲における前記自己相関関数の実数部の変化の直線成分の傾きに基づいて前記フラクタル次元を演算する自己相似次元演算部と、を備える請求項1に記載の眠気判定装置。
【請求項3】
前記基準フラクタル次元が複数設定され、前記眠気判定部は、各基準フラクタル次元に応じて前記ドライバーの眠気の度合いを判定する請求項1又は2に記載の眠気判定装置。
【請求項4】
前記基準フラクタル次元は、眠気が高いほど高い値に設定される請求項3に記載の眠気判定装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、ドライバーの眠気を検出する眠気判定装置に関する。
【背景技術】
【0002】
近年、衝突(クラッシュ)の発生前から衝突発生後までを広く手当てする総合的な安全システムが種々提案され、実用化されてきている。例えば、ドライバーの状態を見守るドライバーモニタにより、ドライバーの顔の向きや眼の開閉状態を検知し、警告を発したり、ブレーキを作動させたりすることによって衝突の回避を図るシステムが提案されている。例えば、特開2008-65776号公報(特許文献1)には、眼の開閉を検出し、連続閉眼時間が第1判定時間以上の場合に、居眠りを検知する居眠り検知装置の技術が開示されている。この装置は、ドライバーの眼の開閉状態が短時間のみ変化した場合であっても居眠りの状態を的確に判断できるように、連続開眼時間と連続閉眼時間とを計測する。閉眼から開眼した場合には、閉眼からの連続開眼時間が第1判定時間以上となると、当該開眼前の連続閉眼時間がリセットされる。閉眼からの連続開眼時間が第1判定時間よりも短い時間で再度閉眼した場合には、開眼前の連続閉眼時間に続けて連続閉眼時間が計測される。これにより、ドライバーの一瞬の瞬きや光の影響などによって眼が開眼状態となっても、的確に居眠りが検知される。
【先行技術文献】
【0003】

【特許文献1】特開2008-65776号公報(第4~8段落等)
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1においては、眼球の大きさの割合の変化により眼の開き具合を判定し、開閉状態の時間の割合に応じて居眠りの判定を実施している。但し、眼球の大きさの割合や、開閉状態の時間の割合には個人差が大きい。また、ドライバーが眠気と対抗しているような場合には、精度が低下する可能性がある。別の技術として、ドライバーの視線を検出して覚醒度合いを判定する方法もあるが、正確な視線の検出にはドライバーが専用の眼鏡を着用する必要があり、画像処理を用いて簡便なシステムを構築することは困難である。
【0005】
従って、画像処理を用いた簡便なシステムにより、個人差を吸収し、精度良くドライバーの眠気を検出する技術が求められる。
【課題を解決するための手段】
【0006】
上記課題に鑑みて創案された本発明に係る眠気判定装置の特徴構成は、
所定間隔で撮影されたドライバーの顔を含む撮影画像を取得する画像取得部と、
前記撮影画像に基づいて前記ドライバーの瞼を検出する顔検出部と、
前記ドライバーの瞼の開閉状態の時系列の変化を示す瞬き情報を演算する瞬き情報演算部と、
前記瞬き情報から、前記瞬き情報の変化の特徴を表すフラクタル次元を演算するフラクタル次元演算部と、
複数の被験者の眠気の度合いに応じて取得され、統計的に設定された基準フラクタル次元と前記ドライバーのフラクタル次元とに基づいて、前記ドライバーの眠気の度合いを判定する眠気判定部と、を備える点にある。
【0007】
発明者らにより、複数の被験者に対して実施された実車走行試験に基づく実験解析によれば、眠気に対応してフラクタル次元が増減することが確認された。また、フラクタル次元の値は、被験者の個人差による影響が小さいことも確認された。従って、統計的に設定された基準フラクタル次元と、ドライバーのフラクタル次元とに基づいて、ドライバーの眠気の度合いが良好に判定される。上述したように、ドライバーの眼の開き具合や、開閉時間の割合は、個人差が大きいことも確認されている。従って、特許文献1などに記載された眠気判定装置においては、判定基準は、各ドライバーに応じて設定される必要がある。この判定基準は、ドライバーが運転を開始してから眠気判定装置において演算される。つまり、判定基準の演算が完了するまでは眠気を判定することはできず、判定基準を演算するために演算負荷も増大する。また、ドライバーごとに判定基準の精度がばらつく可能性もある。これに対し、本特徴構成によれば、統一された基準フラクタル次元に基づいて、精度の高い眠気判定が可能であり、演算負荷も小さい。つまり、画像処理を用いた簡便なシステムにより、個人差を吸収し、精度良くドライバーの眠気を検出する眠気判定装置が提供される。
【0008】
また、本発明に係る眠気判定装置の前記フラクタル次元演算部は、
時系列に変化する前記瞬き情報が、前記瞬き情報の変域内に設定された基準値と交差する時刻をインパルス状のクロスデータとして抽出するクロスデータ生成部と、
前記クロスデータを平滑化して、連続データである平滑クロスデータに変換するクロスデータ平滑部と、
前記平滑クロスデータのパワースペクトルを導出し、当該パワースペクトルから時間シフト量の関数で相関値を示す自己相関関数を演算する自己相関関数演算部と、
時間シフト量と相関値とを両対数で表した場合において、時間シフト量が少ない側の所定の範囲における前記自己相関関数の実数部の変化の直線成分の傾きに基づいて前記フラクタル次元を演算する自己相似次元演算部と、を備えると好適である。
【0009】
クロスデータは、汎用的なコンパレート演算により生成可能であり、平滑クロスデータは、低域通過フィルタを用いて生成可能である。また、パワースペクトルは、高速フーリエ変換により演算可能であり、自己相関関数は逆高速フーリエ変換により演算可能である。高速フーリエ変換及び逆高速フーリエ変換、対数変換処理は、マイクロコンピュータのプログラムを含む演算サブセットや、DSP(digital signal processor)などの論理演算プロセッサの演算モジュールなどでも提供されており、実用性が高い。また、直線成分の傾きの演算は線形演算であるから、演算負荷も軽い。このように、フラクタル次元は、実用性の高い演算を経て算出されるので、簡便なシステムにより眠気判定装置が構成される。
【0010】
また、本発明に係る眠気判定装置は、前記基準フラクタル次元が複数設定され、前記眠気判定部は、各基準フラクタル次元に応じて前記ドライバーの眠気の度合いを判定すると好適である。
【0011】
上述したように、発明者らによる実験解析により、眠気に対応してフラクタル次元が増減することが確認されている。従って、眠気の強さに応じて基準フラクタル次元が複数段階設定されれば、眠気判定部は、ドライバーが眠気を生じているか否かにとどまらず、眠気の度合いを判定することができる。その結果、眠気の判定結果を受けて、注意や警報作動を実行させる場合に、適切な作動が選択される。
【0012】
ここで、前記基準フラクタル次元は、眠気が高いほど高い値に設定されると好適である。発明者らによる実験解析により、眠気が高いほど、フラクタル次元が増加することが確認されている。従って、基準フラクタル次元は、眠気が高いほど高い値に設定されると良好にドライバーの眠気の度合いが判定される。
【図面の簡単な説明】
【0013】
【図1】車両のシステム構成を模式的に示すブロック図
【図2】眠気判定装置の構成を模式的に示すブロック図
【図3】ドライバーとカメラとの関係を模式的に示す図
【図4】顔検出方法の概念を示す説明図
【図5】眼の開度を算出する概念を示す説明図
【図6】瞬き情報の一例を示すグラフ
【図7】図6の瞬き情報に対応するクロスデータの一例を示すグラフ
【図8】瞬き情報・クロスデータ・平滑クロスデータの関係を示すグラフ
【図9】平滑クロスデータ・自己相関関数の関係を示すグラフ
【図10】両対数化された自己相関関数の傾き算出方法の一例を示す図
【図11】眠気検出の一連の処理を示すフローチャート
【発明を実施するための形態】
【0014】
以下、本発明の眠気判定装置の実施形態を、車両に搭乗中の乗員の安全性を向上させる安全システムに適用する場合を例として説明する。図1は、このような安全システムが搭載された車両のシステム構成を模式的に示すブロック図である。安全システムには、衝突などが生じた際にその被害を軽減する衝突安全システム(パッシブセーフティシステム)と、事前に衝突などを予測して被害を軽減するという予防安全システム(アクティブセーフティシステム)と、両者が融合された総合的なシステムとがある。図1には、ミリ波レーダ51やカメラ52を用いて、他車両などの他の物体と自車両との間での衝突の可能性を判定する衝突判定システム50を含み、総合的な安全システムとして機能するシステム構成を例示している。衝突判定システム50は、衝突の可能性をドライバーに報知したり、緊急ブレーキの作動などの衝突回避動作を実行させたり、シート姿勢の変更やシートベルトのテンション強化などにより衝突時の衝撃を緩和する準備をさせたりする。

【0015】
眠気判定装置もまた、総合的な安全システムを構成する1つのシステムとして機能する。具体的な例としては、ドライバーモニタECU9によりドライバーの眠気を検出すると、第1段階としてブザー7やモニタ装置20のスピーカ20cを介して警報が発せられる。メータパネルのランプなどが点滅させられたりして視覚的に報知されてもよい。さらに、ドライバーの状態が改善しなければ、第2段階としてブレーキシステム40を介して警報ブレーキを作動させ、体感的な警告がなされる。その他、衝突判定システム50を介して、種々の報知を行うことも可能である。

【0016】
モニタ装置20は、ナビゲーションシステム30の表示装置である。モニタ装置20は、ナビゲーションシステム30のGUI(graphic user interface)として機能する表示部20aやタッチパネル20b、音声案内のためのスピーカ20cを備えている。ナビゲーションシステム30は、道順案内などを行ってドライバーの運転を支援するシステムである。不図示のGPS装置や、不図示のジャイロなどの自律航法装置などにより、現在位置を特定し、システムに記憶された地図と照らし合わせることでドライバーの運転を支援する。

【0017】
ブレーキシステム40は、ドライバーにより操作されるブレーキペダルの操作量をブレーキセンサ42により検出して、アクチュエータ41を介して車両に制動力を付加してブレーキ力を増強させるブレーキアシスト機能などを有した電動ブレーキシステムである。ブレーキのロックを抑制するABS(anti lock braking system)や、コーナリング時の車両の横滑りを抑制する横滑り防止装置(ESC : electronic stability control)、BBW(brake-by-wire)システムも含まれる。ブレーキシステム40は、安全システムとして機能することも可能である。例えば、ドライバーにより操作されるブレーキペダルの操作量に拘わらずブレーキの油圧を高めるブレーキアシストや、自動的にブレーキを掛ける緊急ブレーキや警告ブレーキとして機能させることもできる。

【0018】
図1及び図2に示すように、本発明の眠気判定装置10は、ドライバーモニタECU(electronic control unit)9として構成される。ECU9は車内ネットワークであるCAN(controller area network)60を介して、上述したナビゲーションシステム30やブレーキシステム40、衝突判定システム50の他、不図示の種々のシステムやセンサ類に接続されている。

【0019】
図1に示すように、眠気判定装置10を構成するドライバーモニタECU9は、CPU(central processing unit)2を中核として、プログラムメモリ3やワークメモリ4、画像処理モジュール5、音声処理モジュール6、その他不図示の周辺回路などを有して構成される。CPU2は、プログラムメモリ3に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、CPU2は、必要に応じてワークメモリ4に一時的にデータなどを格納して演算を実行する。ここでは、プログラムメモリ3やワークメモリ4が、CPU2とは別のメモリである例を示しているが、CPU2と同一のパッケージ内に集積されていてもよい。また、本例では、CPU2を中核としたが、DSP(digital signal processor)など、他の論理演算プロセッサや論理回路を中核としてECU9が構成されてもよい。DSPには、低域通過フィルタ(LPF)やフーリエ変換などの演算モジュールが搭載されている汎用品が多数提供されており、安価に高速演算が可能である。眠気判定装置10を構成する各機能部は、ハードウェアとソフトウェア(プログラム)との協働により実現される。

【0020】
図3に示すように、カメラ1は、ステアリングコラム91のカバー上に設置され、ステアリングホイール92の隙間を通して、ドライバー100の頭部を正面から撮影する。カメラ1は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒10~30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)を出力するデジタルカメラである。各フレームの2次元画像は、画像処理モジュール5が有するフレームメモリに格納され、CPU2との協働によりフレームごとに画像処理を施されることが可能である。尚、カメラ1は、赤外線カメラを用いてもよく、この場合にはドライバー100の頭部(顔面)を投光する赤外線ランプや赤外線ストロボが備えられていてもよい。また、カメラ1は、ドライバー100の頭部を正面側から撮影可能に設置されていれば足り、ステアリングコラム91のカバー上ではなく、メータパネル93内や、ルームミラーなどに設置されていてもよい。

【0021】
眠気判定装置10の画像取得部11は、カメラ1により、1/10秒~1/30秒の所定間隔で撮影されたドライバー100の顔を含むフレームデータ(撮影画像)を取得する機能部である。つまり、画像取得部11は、10Hz~30Hzのサンプリングレートで撮影画像を取得する。顔検出部12は、フレームデータを用いてドライバー100の顔を検出する機能部である。顔検出部12は、輪郭検出部12aと、顔部品検出部12bと、中心演算部12cと、顔向き演算部12dとを有して構成されている。

【0022】
フレームデータには、ドライバー100の顔だけではなく、背景も含まれているため、輪郭検出部12aにより顔検出処理が実行される。具体的には、背景とのコントラストの差を利用し、公知のエッジ検出技法などを用いて輪郭が検出され、図4に示すように顔幅Eが検出される。時系列に取得される撮影画像の差分を利用してもよい。次に、顔部品検出部12bにより顔部品、具体的には眼、鼻、口、耳などの位置が検出される。この場合にも、公知のエッジ検出技法などを利用することができる。当然、エッジ検出に用いるフィルタやオペレータなどの特性はそれぞれの機能部に応じて設定される。

【0023】
顔部品が検出され、それぞれの顔部品の位置が検出されると、顔部品が概ね左右対称に配置されていることを利用して、中心演算部12cが顔の中心線Cを演算する。演算された中心線を基準として、輪郭検出部12aにより検出されている顔幅Eの左右比率及びこの左右比率に基づく顔向き度が、顔向き演算部12dにより演算される。脇見判定部19は、顔向き度に基づいてドライバー100が脇見をしたり、居眠りによりうつむいたりしたことを判定する。ドライバーモニタECU9は、この判定結果に基づいて、ブザー7を介して警報を発したり、音声処理モジュール6を介して警告メッセージを発したりする。

【0024】
続いて、眠気判定装置10による眠気判定処理について説明する。顔部品検出部12bにより眼が検出されると、眼の領域の画像を用いて、瞬き情報演算部13により開度が演算される。瞬き情報演算部13は、顔部品検出部12bにより検出された眼の位置に基づいて、図5に示すように眼が含まれる領域(眼領域)の画像を抽出する。公知のエッジ検出技法などにより、上瞼及び下瞼、眼球などが検出され、上瞼の下側と下瞼との距離(開眼距離)A及びBによって眼の開度が演算される。図5において、距離Aはドライバー100の最大の開眼距離(最大開眼距離)であり、距離Bは撮影画像に基づいて都度求められる開眼距離(現在距離)である。眼の開度Hは、最大開眼距離Aを分母、現在距離Bを分子として、「H=B/A」で求められる。尚、開度Hは、除算結果の有効桁数が分解能となる。発明者らの実験によれば、開と閉、つまり、開度H=1と開度H=0との2値データであっても、眠気の判別が可能であることが確認されている。

【0025】
最も眼を開いている状態、即ち上瞼と下瞼との現在距離Bが最大開眼距離Aの場合には、開度Hは「1」となる。眼を閉じている状態、即ち上瞼と下瞼とが接触し、現在距離Bが「0」の場合には、開度Hは「0」となる。ここで、最大開眼距離Aが、運転開始時に初期値にリセットされ、瞬き情報演算部13により検出された現在距離Bの内の最大値に更新されていくと、同一のドライバー100に応じた値に設定されて好適である。一般的に、運転を開始する際には、ドライバー100が覚醒状態にあることが多く、眼もしっかり開いていると考えられる。従って、運転開始時からほどなく、最大開眼距離Aは適切な値に設定される。但し、この方法に限定される必要はない。最大開眼距離Aが最大値に更新されず開度Hが「1」を超えることがあっても、最終的に「1」と「0」との間に規格化されるように構成されていてもよい。

【0026】
瞬き情報演算部13は、時系列に取得される撮影画像(フレーム)ごとに開度Hを求める。例えば、カメラ1が毎秒10フレームの2次元画像を時系列に撮影し、画像取得部11が全てのフレームを取得する場合には、0.1秒ごとに開度Hが求められる。時系列の開度Hの変化は、折れ線、又は線形補間などによりアナログ的な変化に近似した曲線により連続的なデータに変換される。図6は、線形補間による近似曲線を示している。図6では、眼を閉じた状態から大きく開いて再び閉じた「瞬き」を誇張して示している。図6に示すように、時系列の開度Hの変化、即ちドライバー100の瞼の開閉状態の変化を示す情報が、瞬き情報Wである。つまり、瞬き情報演算部13は、ドライバー100の瞼の開閉状態の変化を示す瞬き情報を演算する。

【0027】
フラクタル次元演算部14は、瞬き情報Wからフラクタル次元を演算する機能部である。フラクタル次元演算部14は、クロスデータ生成部14aと、クロスデータ平滑部14bと、自己相関関数演算部14cと、対数変換部14dと、自己相似次元演算部14eとの機能部を有して構成される。クロスデータ生成部14aは、瞬き情報Wの変域である[0,1]間に設定された所定の基準値THに瞬き情報Wが交差するポイント(時刻)を検出する機能部である。即ち、時間の経過に応じて変化する瞬き情報Wが基準値THと交差する時刻を特定し、インパルス状のクロスデータXを生成する。クロスデータXは、図7に示すように、交差時を「1」、非交差時を「0」とするインパルス状のフラグデータとして生成される。基準値THは、開度20%~50%、瞬き情報Wの変域でいえば0.2~0.5程度の値に設定されると好適である。

【0028】
次に、クロスデータ平滑部14bは、クロスデータXに対して低域通過フィルタを規定回数掛けて擬似的なアナログデータである平滑クロスデータSを生成する。図8(a)~(c)は、それぞれ、図6及び図7よりも長い時間における瞬き情報W、クロスデータX、平滑クロスデータSの一例を示している。後述するように、この平滑クロスデータSは、所定のスライド幅STずつずらされて、所定の解析単位時間ATごとに切り出される。例えば、解析単位時間ATが60秒程度の場合には、スライド幅STは7.5秒程度、解析単位時間ATが6~10秒程度の場合には、スライド幅STは0.75~1.2秒程度であると好適である。そして、当該切り出された解析単位時間ATにおいてフラクタル次元が1つ演算される。尚、発明者らの実験により、解析単位時間ATが13.6秒程度の短時間でもあっても、眠気の判別が可能であることが確認されている。

【0029】
自己相関関数演算部14cは、切り出された解析単位時間ATにおける平滑クロスデータSに対して高速フーリエ変換(FFT)処理を施してFFTデータFDを生成する。次に、自己相関関数演算部14cは、FFTデータFDの共役複素数FDconをとり、この共役複素数FDconとFFTデータFDとを掛けてパワースペクトルPを導出する。さらに、自己相関関数演算部14cは、パワースペクトルPに逆高速フーリエ変換(逆FFT)処理を施して自己相関関数AFを導出する。図9(a)は、図8(c)と同じ平滑クロスデータSの一例であり、図9(b)は、この平滑クロスデータSから導出された自己相関関数AFの実数部を示している。自己相関とは、解析単位時間ATにおける平滑クロスデータSを時間的にシフトした場合に、シフト前とどれだけ良く整合するかを測る尺度である。自己相関(相関値)をこの時間シフトの大きさτの関数として表したものが自己相関関数AF(τ)である。

【0030】
対数変換部14dは、図9(b)に示す自己相関関数AFの実数部を図9(c)に示すような両対数スケール上に展開する。そして、この両対数スケール上にプロットされた自己相関関数AFの実数部の時間シフト量τが少ない領域における自己相関関数AFの傾きaが求められる。好適には、時間シフト量τがゼロのτ0から所定の時間シフト量τ1までにおける自己相関関数AFの傾きaが求められるとよい。一例として、解析単位時間ATにおける時間軸方向の分解能が1000点程度ある場合には、最初の10点程度の自己相関関数AFの値を用いて傾きaが求められる。例えば、図10に示すようにτ0~τ1までの10点間において形成される9つの直線の傾きa1~a9が求められ、それらの平均値が自己相関関数AFの傾きaとして算出される。両対数プロットされたグラフの直線部分、1ディケード以上がフラクタル(自己相似)である。ここでは、最初の10点は常に直線であるとみなしている。尚、傾きaの算出に際しては、τ0~τ1における自己相関関数AFを公知のハフ変換や、最小自乗法、RANSAC(random sample consensus)等によって直線近似し、近似された直線の傾きを演算してもよい。

【0031】
自己相似次元演算部14eは、自己相関関数AFの傾きaを用いて、自己相似次元Dを演算する。この自己相似次元Dがフラクタル次元である。本実施形態においては、下記式に示すように、1から傾きaを減じて自己相似次元Dが演算される。
D = 1 - a

【0032】
複数の被験者を対象とした発明者らによる実験結果によれば、フラクタル次元Dは、被験者の眠気が高いと上昇することが判った。また、フラクタル次元Dは、被験者間の個人差にはほとんど影響を受けることなく、眠気を表す指標となることも判った。従って、統計情報処理などにより個人差を吸収して、眠気の基準となる基準フラクタル次元Drefを設定することによって、ドライバー100の眠気を判定することが可能となる。基準フラクタル次元Drefは、プログラムメモリ3などに予め設定されている。眠気判定部15は、基準フラクタル次元Drefとドライバー100のフラクタル次元Dとに基づいて、ドライバー100の眠気の度合いを判定する。

【0033】
基準フラクタル次元Drefは、被験者の表情に対する判定者の目視による判定基準(顔評定)に基づいて判定された眠気度合いと、その際の被験者のフラクタル次元Dとを統計処理して設定することができる。また、被験者に脳波のα波成分などの生体情報を取得するためのセンサを取り付け、センサの検出結果に基づいて判定された眠気度合いと、その際の被験者のフラクタル次元Dとを統計処理して設定することもできる。

【0034】
このように、本実施形態の眠気判定装置10は、ドライバー100の表情や、声、運転行動、視線、生体情報など、瞬き以外の情報を用いることなくドライバー100の眠気を判定することが可能である。当然、視線や生体情報を検出するための検出装置をドライバー100が身につける必要もない。また、カオス解析で用いられるようなリアプノフ指数導出のような複雑な演算を要しないので、高速なリアルタイム処理が比較的安価な構成で実現可能である。また、フラクタル次元の導出に関しても、相関積分法などの複雑な演算を行う必要はない。汎用的なDSPやCPUにおいて、ハードウェアやソフトウェアによってモジュール化されたコンパレート演算、フィルタリング、フーリエ変換などを利用して導出可能である。また、上述したように、複数の被験者を対象としてデータ収集を行って事前に基準フラクタル次元Drefが設定されるので、学習機能も必要とはしない。

【0035】
以下、ドライバー100が車両を運転中の、車両眠気判定装置10による眠気判定の手順について図11のフローチャートも利用して説明する。画像取得部11、顔検出部12、瞬き情報生成部13の処理については適宜省略し、フラクタル次元演算部14の処理を中心として説明する。

【0036】
上述したように、カメラ1により撮影され、画像取得部11が取得した撮影画像に基づいて顔検出部12において眼が検出され、開眼距離(最大開眼距離A及び現在距離B)が取得される(#1)。瞬き情報演算部13は、最大開眼距離A及び現在距離Bに基づいて、[0,1]区間に規格化された眼の開度H(=B/A)を演算する(#2)。瞬き情報演算部13は、時系列に取得される撮影画像(フレーム)ごとに開度Hを求める。時系列の開度Hの変化は、例えば線形補間により連続的なデータである瞬き情報Wに変換される(#3)。次に、クロスデータ生成部14aは、瞬き情報Wの変域である[0,1]間に設定された所定の基準値THに瞬き情報Wが交差するポイント(時刻)を検出し、クロスデータXを生成する(#4)。続いて、クロスデータ平滑部14bは、クロスデータXに対して低域通過フィルタを規定回数掛けて擬似的なアナログデータである平滑クロスデータSを生成する(#5)。ここまでの処理#1~#5は、後続の処理と同期することなく、実施されてもよい。つまり、平滑クロスデータSが、ワークメモリ4などに蓄積されて平滑クロスデータSが充分にある場合には、処理#6以降が繰り返されてもよい。

【0037】
平滑クロスデータSが蓄積されると自己相関関数演算部14cは、所定の解析単位時間AT分の平滑クロスデータSを切り出す(#6)。そして、自己相関関数演算部14cは、切り出された解析単位時間ATにおける平滑クロスデータSに対して高速フーリエ変換(FFT)処理を施してFFTデータFDを生成する(#7)。次に、自己相関関数演算部14cは、FFTデータFDの共役複素数FDconをとり(#8)、この共役複素数FDconとFFTデータFDとを掛けてパワースペクトルPを導出する(#9)。さらに、自己相関関数演算部14cは、パワースペクトルPに逆高速フーリエ変換(逆FFT)処理を施して自己相関関数AFを導出する(#10)。

【0038】
対数変換部14dは、自己相関関数AFの実数部を両対数スケール上にプロットする(#11)。対数変換部14d又は自己相似次元演算部14eは、両対数スケール上にプロットされた自己相関関数AFの実数部の時間シフト量τが少ない領域における自己相関関数AFの傾きaを求める(#12)。続いて、自己相似次元演算部14eは、自己相関関数AFの傾きaを用いて、フラクタル次元D(=1-a)を演算する(#13)。

【0039】
眠気判定部15は、基準フラクタル次元Drefとドライバー100のフラクタル次元Dとに基づいて、ドライバー100の眠気の度合いを判定する(#14)。例えば、ドライバー100のフラクタル次元Dが、基準フラクタル次元Dref以上であるとき、ECU9は眠気検出信号を出力する(#15)。これにより、ブザー7が鳴動されたり、モニタ装置20のスピーカ20cより警告メッセージが発せられたりする。また、処理#14における判定は、図11に例示するような2者択一ではなく、複数段階の判定であってもよい。つまり、ドライバー100の眠気の程度を複数の基準フラクタル次元Drefによって判定し、眠気の程度に応じた注意や警告を実施させてもよい。

【0040】
次に、平滑クロスデータSが、所定のスライド幅ST分を含めて蓄積されているか否かが判定され(#16)、蓄積されている場合には、解析単位時間ATをスライド幅STだけシフトする(#17)。そして、新たな解析単位時間AT分の平滑クロスデータSを切り出して、フラクタル次元Dを求め、ドライバー100の眠気を判定する。平滑クロスデータSが、所定のスライド幅ST分を含めて蓄積されていない場合(#16:No分岐)には、処理#1~#5を実行して平滑クロスデータSが生成される。

【0041】
以上、説明したように、本発明によって、画像処理を用いた簡便なシステムにより、個人差を吸収し、精度良くドライバーの眠気を検出する技術が提供される。この技術は、衝突の発生前から衝突発生後までを広く手当てする総合的な車両の安全システムに適用することができる。
【符号の説明】
【0042】
10:眠気判定装置
11:画像取得部
13:瞬き情報演算部
14:フラクタル次元演算部
14a:クロスデータ生成部
14b:クロスデータ平滑部
14c:自己相関関数演算部
14e:自己相似次元演算部
15:眠気判定部
100:ドライバー
AF:自己相関関数
D:フラクタル次元
Dref:基準フラクタル次元
P:パワースペクトル
S:平滑クロスデータ
TH:瞬き情報の変域内に設定された基準値
W:瞬き情報
X:クロスデータ
a:自己相関関数の実数部の変化の直線成分の傾き
τ:時間シフト量
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10