TOP > 国内特許検索 > 状況認識推定システム及び運転支援システム > 明細書

明細書 :状況認識推定システム及び運転支援システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2020-197952 (P2020-197952A)
公開日 令和2年12月10日(2020.12.10)
発明の名称または考案の名称 状況認識推定システム及び運転支援システム
国際特許分類 G08G   1/16        (2006.01)
B60W  50/14        (2020.01)
FI G08G 1/16 C
B60W 50/14
請求項の数または発明の数 7
出願形態 OL
全頁数 17
出願番号 特願2019-104020 (P2019-104020)
出願日 令和元年6月3日(2019.6.3)
発明者または考案者 【氏名】亀▲崎▼ 允啓
【氏名】林 弘昭
【氏名】岡 直樹
【氏名】マナワドゥ ウダーラ
【氏名】菅野 重樹
出願人 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
個別代理人の代理人 【識別番号】100114524、【弁理士】、【氏名又は名称】榎本 英俊
審査請求 未請求
テーマコード 3D241
5H181
Fターム 3D241BA57
3D241CE02
3D241CE04
3D241CE05
3D241DA13A
3D241DA13B
3D241DA39A
3D241DA39B
3D241DA52A
3D241DA52B
3D241DB02A
3D241DB02B
3D241DB05A
3D241DB05B
3D241DC01A
3D241DC01B
3D241DC02A
3D241DC02B
3D241DC18A
3D241DC18B
3D241DC20A
3D241DC20B
3D241DC21A
3D241DC21B
3D241DC31A
3D241DC31B
3D241DC35A
3D241DC35B
3D241DC39A
3D241DC39B
3D241DC44A
3D241DC44B
3D241DC51A
3D241DC51B
3D241DC54A
3D241DC54B
3D241DC59A
3D241DC59B
3D241DD07A
3D241DD07B
5H181AA01
5H181AA21
5H181BB04
5H181CC03
5H181CC04
5H181CC14
5H181CC24
5H181FF04
5H181LL01
5H181LL02
5H181LL04
5H181LL06
要約 【課題】所定の環境中を移動する対象者がその周囲に存在する認識対象物の状況を適切に認識しているか否かを推定する状況認識推定システム及び運転支援システムを提供する。
【解決手段】運転支援システム10において、状況認識推定システム11は、各種情報を取得する情報取得手段14と、運転者の認識対象物の視認状況を把握する視認状況把握手段15と、近い将来行われる運転タスクを特定するタスク特定手段16と、状況認識について判定する認識判定手段17とを備えている。認識判定手段は、基準となる状況認識に対応する視線モデルが運転タスク毎に記憶され、視線データと視線モデルから、運転者が認識対象物を視認すべき各視認エリアにおいて認識対象物を視認するタイミングと、認識対象物を視認する視認時間とが適切か否かを判定する。
【選択図】図1
特許請求の範囲 【請求項1】
対象者の周囲を相対移動する認識対象物について、前記対象者が適切に認識しているか否かを推定する状況認識推定システムにおいて、
前記対象者の動作及び前記対象者の周辺環境に関係する各種情報を取得する情報取得手段と、当該情報取得手段からの情報により、前記対象者における前記認識対象物の視認状況を把握する視認状況把握手段と、前記情報に基づき、前記対象者によって近い将来行われるタスクを特定するタスク特定手段と、前記視認状況に基づき、前記タスクにおける前記対象者の状況認識について判定する認識判定手段とを備え、
前記視認状況把握手段は、前記対象者の視線方向を複数の視認エリア毎に分類する視認エリア特定部と、当該視認エリア特定部での分類結果から、前記視認エリア毎に、前記認識対象物の存在と前記視認状況を各時刻で対応させてなる時系列の視線データを生成する視線データ生成部とを備え、
前記認識判定手段は、基準となる状況認識に対応する視線モデルが前記タスク毎に記憶され、前記視線データと前記視線モデルから、前記認識対象物に対する状況認識が適切になされているか否かを判定する判定部を備え、
前記判定部では、前記対象者が前記認識対象物を視認すべき前記各視認エリアにおいて前記認識対象物を視認するタイミングと、当該認識対象物を視認する視認時間とが適切か否かを判定することで、前記状況認識の判定を行うことを特徴とする状況認識推定システム。
【請求項2】
前記認識判定手段は、前記状況認識が適切とされた過去の前記視線データを使って前記視線モデルを生成する視線モデル生成部を更に備えたことを特徴とする請求項1記載の状況認識推定システム。
【請求項3】
前記視線モデルは、前記タスク毎に、視認すべき前記視認エリアと、前記状況認識を行うのに必要となる前記視認時間に相当する基準時間とが設定され、
前記判定部では、前記視線データから、視認すべき前記視認エリアで前記認識対象物を視認し、且つ、実際の前記視認時間が前記基準時間に達しているか否かが判定されることを特徴とする請求項1又は2記載の状況認識推定システム。
【請求項4】
前記基準時間は、前記状況認識の判定時における前記対象者の周辺空間の光の伝達性に影響する光学要素、前記各視認エリアに対する前記対象者の視覚上のアクセス容易性に影響する位置要素、及び/又は、同一のタイミングでターゲットとなる前記認識対象物に対する前記対象者の視認回数をパラメータとした所定の関係式により求められることを特徴とする請求項3記載の状況認識推定システム。
【請求項5】
前記関係式を構成する定数は、前記状況認識が適切とされた過去の前記視線データを統計処理することで求められることを特徴とする請求項4記載の状況認識推定システム。
【請求項6】
前記タスクは、前記対象者を移動体の運転者とした運転タスクであり、
前記情報取得手段では、前記移動体の現在位置情報と、前記移動体が走行する道路が交差点かそうでない単路かについての道路情報と、前記移動体に対する運転者の操作情報とを含む各種情報が取得され、
前記タスク特定手段では、前記現在位置情報、前記道路情報、及び前記操作情報に基づき、前記運転タスクについて予め記憶された複数のパターンの中から該当する前記運転タスクが選択されることを特徴とする請求項1記載の状況認識推定システム。
【請求項7】
請求項1~6の何れかに記載の状況認識推定システムが適用され、前記対象者を移動体の運転者とし、前記状況認識推定システムによる前記移動体の周囲の状況認識の推定結果により、前記運転者への運転支援を行う運転支援システムにおいて、
前記認識判定手段で前記運転者の運転中の状況認識が適切になされていないと判定された場合に、前記運転者に対するサポートを行うサポート手段を備えたことを特徴とする運転支援システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、状況認識推定システム及び運転支援システムに係り、更に詳しくは、所定の対象者の周囲を相対移動する認識対象物について、その対象者が適切に認識しているか否かを推定する状況認識推定システム、及び当該状況認識推定システムを利用して、対象者による自動車等の移動体の運転支援を行う運転支援システムに関する。
【背景技術】
【0002】
自動車を安全且つ効率的に運転するには、運転者の正しい状況認識が極めて重要となる。運転者が行うべき状況認識は、右折、合流等の運転タスクや車の混雑具合、周辺車両や歩行者の存在等によって大きく異なる。ここでの状況認識は、環境に存在する要素の状態や特性を知る知覚のみならず、知覚した要素を統合し、現在の事象について把握する理解と、理解した情報と自らの知識や経験から将来の動きを推定する予測とを段階的に行うことで十分となる。
【0003】
ところで、特許文献1には、運転者が本来確認しなければならない方向を見落としている場合に、当該方向への視認を運転者に伝達する運転支援装置が開示されている。この運転支援装置では、GPS信号により、対象となる運転者が運転する自車両の位置情報を獲得するとともに、予め記憶された地図情報に基づいて自車両の走行する分岐の種類等の道路情報が判定され、当該道路情報と、探索された経路による進行方向とに応じ、この時点で運転者が目視すべき目視必要方向が決定される。そして、撮像された運転者の映像から運転者の視線方向が取得され、所定時間内における目視必要方向における視認の有無により、注意喚起すべき見落とし方向が特定される。
【先行技術文献】
【0004】

【特許文献1】特許第6419401号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前記特許文献1の運転支援装置にあっては、運転者の視線が目視必要方向に向けられたか否かについて判断するに過ぎず、目視必要方向に実際に存在する人や物等の認識対象物を視認したか否かについて検討されず、前述の状況認識が十分になされているか否かについてまで推定できない。すなわち、例えば、自車両の周囲の交通状況が経時的に変化する中で、前記所定時間内において、視認すべき他車両等の認識対象物が前記目視必要方向に出現したり消滅したりするような場合に、前記運転支援装置では、その認識対象物が出現している適切なタイミングで、運転者が前記目視必要方向を実際に視認したか否かまでは特定できない。また、前記運転支援装置では、認識対象物が出現しているタイミングで運転者が前記目視必要方向を実際に視認したとしても、状況認識を十分に行うための前述の理解及び予測に必要な時間の視認がなされているか否かまでは特定できない。つまり、前記運転支援装置では、運転者が前記目視必要方向に一度でも目を向ければ、当該目視必要方向に存在する認識対象物を全く視認していない、若しくは、当該認識対象物を十分な時間視認していないときでも、必要方向への見落としが無いと判断され、注意喚起がなされないことになる。従って、特許文献1の運転支援装置では、前述の状況認識が適切になされているか否かまで推定できず、安全運転に対する運転者に対する運転評価や運転支援として、必ずしも十分とは言えない。
【0006】
本発明は、このような課題を解決するために案出されたものであり、その目的は、所定の環境中を移動する対象者がその周囲に存在する認識対象物の状況を適切に認識しているか否かを推定することができる状況認識推定システム及び運転支援システムを提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するため、本発明は、主として、対象者の周囲を相対移動する認識対象物について、前記対象者が適切に認識しているか否かを推定する状況認識推定システムにおいて、前記対象者の動作及び前記対象者の周辺環境に関係する各種情報を取得する情報取得手段と、当該情報取得手段からの情報により、前記対象者における前記認識対象物の視認状況を把握する視認状況把握手段と、前記情報に基づき、前記対象者によって近い将来行われるタスクを特定するタスク特定手段と、前記視認状況に基づき、前記タスクにおける前記対象者の状況認識について判定する認識判定手段とを備え、前記視認状況把握手段は、前記対象者の視線方向を複数の視認エリア毎に分類する視認エリア特定部と、当該視認エリア特定部での分類結果から、前記視認エリア毎に、前記認識対象物の存在と前記視認状況を各時刻で対応させてなる時系列の視線データを生成する視線データ生成部とを備え、前記認識判定手段は、基準となる状況認識に対応する視線モデルが前記タスク毎に記憶され、前記視線データと前記視線モデルから、前記認識対象物に対する状況認識が適切になされているか否かを判定する判定部を備え、前記判定部では、前記対象者が前記認識対象物を視認すべき前記各視認エリアにおいて前記認識対象物を視認するタイミングと、当該認識対象物を視認する視認時間とが適切か否かを判定することで、前記状況認識の判定を行う、という構成を採っている。
【0008】
また、本発明は、前記状況認識推定システムが適用され、前記対象者を移動体の運転者とし、前記状況認識推定システムによる前記移動体の周囲の状況認識の推定結果により、前記運転者への運転支援を行う運転支援システムにおいて、前記認識判定手段で前記運転者の運転中の状況認識が適切になされていないと判定された場合に、前記運転者に対するサポートを行うサポート手段を備える、という構成を採っている。
【発明の効果】
【0009】
本発明によれば、視線データにより、各時刻において、各視認エリアにおける認識対象物の存在状況と対象者における各視認エリアの視認状況とを対応させ、これにより、各時刻において各認識対象物を対象者が視認しているか否かを推定可能になる。また、視線モデルとして、タスク毎、若しくは当該タスクを構成するフェーズ単位で、視認すべき視認エリアを設定するとともに、状況認識を十分に行うための理解及び予測に必要な視認時間となる基準時間を設定することにより、認識対象物が実際に存在しているタイミングで、対象者が当該視認エリアを視認しているか否かと、このときの視認時間が基準時間に達しているか否かが分かることになる。これにより、対象者による状況認識が適切に行われているか否かの推定が可能となる。
【0010】
また、対象者を移動体の運転者としたその周囲の状況認識の推定に、本発明の状況認識推定システムを利用することにより、運転者の状況認識能力の客観的な評価が可能になり、当該評価内容を運転者にフィードバックすること等により、事故防止の観点での運転者の運転能力の向上に資することになる。また、実際の運転時において、各運転タスクで運転者が不足している状況認識をリアルタイムで推定できるため、当該状況認識が不足している場合に、注意喚起等により運転者に再度の視認を促し、或いは、状況認識の低下による事故等を抑制するための機器やシステムに対して動作指令する等の各種サポートが可能になる。このため、運転者の横に、あたかも運転協力者が存在するかのような安全運転のための支援が可能となる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る運転支援システムの全体構成を表したブロック図である。
【図2】視認エリアを説明するための概念図である。
【図3】第1のケースにおける交通状況を表した概略図である。
【図4】第1のケースにおける視線データの構成をグラフで概念的に表した図である。
【図5】第2のケースにおける交通状況を表した概略図である。
【図6】第2のケースにおける視線データの構成をグラフで概念的に表した図である。
【図7】第3のケースにおける交通状況を表した概略図である。
【図8】第3のケースにおける視線データの構成をグラフで概念的に表した図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照しながら説明する。

【0013】
図1には、本実施形態に係る運転支援システムの全体構成を表したブロック図が示されている。この図において、前記運転支援システム10には、所定の環境中を移動する対象者がその周囲に存在する人や物等の認識対象物の状況を適切に認識しているか否かを推定する状況認識推定システム11が適用されている。この運転支援システム10では、前記対象者を自動車の運転者として、当該運転者における運転中の状況認識が適切か否かを判断し、当該状況認識が適切になされていない場合に、運転者に対するサポートを行うようになっている。なお、以下の説明において、状況認識の対象者となる運転者が運転する自動車を「自車両」と称し、当該自動車の周囲に位置する自動車等を「他車両」と称する。

【0014】
すなわち、この運転支援システム10は、自車両の運転者における運転中の状況認識が適切になされているか否かを推定する状況認識推定システム11と、状況認識推定システム11により、運転中の状況認識が適切になされていないと推定された場合に、運転者に対するサポートを行うサポート手段12とにより構成される。

【0015】
前記状況認識推定システム11は、運転者の視線や運転操作等の動作及び自車両の周囲の周辺環境に関係する各種情報を取得する情報取得手段14と、自車両周辺に対する運転者の視認状況を把握する視認状況把握手段15と、運転者により近い将来行われる運転タスクを特定するタスク特定手段16と、当該運転タスクにおいて、運転者の視認状況に基づいて当該運転者の状況認識について判定する認識判定手段17とを備えている。

【0016】
前記情報取得手段14は、自車両に取り付けられた所定のセンサやカメラ等からなる情報取得用機器19と、情報取得用機器19からの信号から各種情報を検出する検出部20とからなる。

【0017】
前記情報取得用機器19は、自車両の周囲に存在する人や物等の認識対象物の存在及び相対位置関係を表す周辺車両情報を検知するためのライダ等の測域センサ22と、自車両周囲の一定範囲内となる周辺空間を撮像可能に設けられた車外撮像用カメラ23と、運転者の顔部分を含む自車両の車内空間を撮像可能に設けられた車内撮像用カメラ24と、自車両周辺の降雨量を測定するための降雨センサ25と、自車両周囲の明るさを測定するための光センサ26と、GPSを利用するためのGPS送受信機27と、外部で生成された地図情報や渋滞情報等の道路交通情報等を受信可能なデータ通信機28と、自車両に対する運転者の操作状態を検出する運転操作状態検出機29とからなる。この運転操作状態検出機29は、運転者による方向指示器(ウインカー)の点滅操作や、運転者によるハンドルの操作に対応する操舵角や、運転者によるブレーキやアクセルの操作に対応する運転時の速度変化、加速度変化等を検知する各種センサ類からなる。

【0018】
前記検出部20は、GPS送受信機27を利用して自車両の現在位置情報を特定する自車両位置情報検出部31と、自車両の周辺における各種の外部環境情報を検出する周辺環境情報検出部32と、運転操作状態検出機29からのデータにより自車両に対する運転者の操作情報を検出する自車両操作情報検出部33と、車内撮像用カメラ24で取得した運転者の顔部分の画像データから機械学習を利用した公知の画像処理手法を用いて、運転者の視線方向に関する視線情報を検出する運転者視線情報検出部34からなる。

【0019】
なお、特に限定されるものではないが、検出部20は、自車両内に配置しても良いし、自車両に取り付けられた情報取得用機器19との間でデータ通信が可能となるように、自車両から離れた外部のサーバ等に配置しても良い。

【0020】
前記周辺環境情報検出部32では、前記外部環境情報として、次の第1~第6の周辺環境情報が取得される。

【0021】
前記第1の周辺環境情報として、自車両が走行する道路が交差点かそうでない単路かについての道路情報について、自車両の現在位置と併せて取得される。すなわち、この道路情報は、出発地から目的地まで自車両が走行する地図情報を取得若しくは新たに作成し、GPSによる自車両の現在位置情報と組み合わせることで、現在及び想定される近未来において通過する道路について求められる。

【0022】
前記第2の周辺環境情報として、車外撮像用カメラ23により取得した自車両の前方空間の画像データから、公知の画像処理手法を利用し、道路レーンを仕切る白線や白い停止線と黒色の通行部分とを区別する車線情報について求められる。すなわち、この車線情報は、自車両が走行する道路の車線数と、自車両前方の停止線の存在と、自車両が現在走行している走行車線が特定された情報となる。

【0023】
前記第3の周辺環境情報として、車外撮像用カメラ23により取得した自車両の前方空間の画像データから、公知の画像処理手法を利用し、自車両前方の信号の存在及びその灯色と、自車両前方に存在する道路標識の種類とからなる信号標識情報が求められる。なお、特に限定されるものではないが、この信号標識情報は、R-CNN(Regions with Convolutional Neural Networks)等の公知の物体検出手法により求められる。

【0024】
前記第4の周辺環境情報として、自車両の周辺に存在する他車両の走行方向及び相対位置からなる周辺車両情報が求められる。ここでは、車外撮像用カメラ23により取得した自車両周囲の画像データから他車両の存在や走行方向が求められるとともに、測域センサ22の検出結果により他車両との相対距離が求められる。

【0025】
前記第5の周辺環境情報として、自車両の周辺空間の降雨量及び明るさ等からなる気象情報が求められる。すなわち、ここでは、降雨センサ25の検出結果により自車両の周辺空間の降雨量が求められ、光センサ26の検出結果により自車両の周辺空間の明るさが求められる。

【0026】
前記第6の周辺環境情報として、自車両の周辺に存在する歩行者の走行方向及び相対位置からなる周辺歩行者情報が求められる。ここでは、車外撮像用カメラ23により取得した自車両周囲の画像データから歩行者の存在や走行方向が求められるとともに、測域センサ22の検出結果により歩行者との相対距離が求められる。

【0027】
前記自車両操作情報検出部33では、運転者の方向指示器操作や、運転者によるハンドル操作による操舵角や、ブレーキやアクセルの操作量及び当該操作量に対応した運転時の速度変化や、自車両の加速度変化等の自車両操作情報が逐次検出される。

【0028】
次に、前記視認状況把握手段15、前記タスク特定手段16、及び前記認識判定手段17について説明する。

【0029】
これら各手段15~17は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって実行される。このコンピュータは、特に限定されるものではないが、自車両の内部又は外部に配置される他、当該コンピュータを自車両の内部及び外部に配置し、一部手段を自車両の内部で実行させ、残り手段を自車両の外部で実行させる態様を採ることもできる。

【0030】
前記視認状況把握手段15は、運転者視線情報検出部34で検出した運転者の視線情報から、運転者の視線方向を複数の視認エリア毎に分類する視認エリア特定部37と、視認エリア特定部37での分類結果から、視認エリア毎に、自車両から所定範囲の空間内に存在する認識対象物の存在と運転者の視認状況を各時刻で対応させてなる時系列の視線データを生成する視線データ生成部38とを備えている。

【0031】
前記視認エリア特定部37では、各時刻で取得した運転者の視線情報から、各時刻における運転者の視線方向がどの視認エリアの方向かが特定される。特に限定されるものではないが、本実施形態では、図2に示されるように、以下の7つの視認エリアA1~A7が設定されており、各時刻における運転者の視線方向を視認エリアA1~A7の何れかに振り分けるようになっている。すなわち、本実施形態における視認エリアとして、自車両のフロントガラス越しに視認される正面前方の前方エリアA1と、同バックミラーを通じて視認される真後方向のバックミラーエリアA2と、同左側の窓越しに視認される左側方の左ウインドウエリアA3と、同左側のサイドミラーを通じて視認される左後方の左サイドミラーエリアA4と、同右側の窓越しに視認される右側方の右ウインドウエリアA5と、同右側のサイドミラーを通じて視認される右後方の右サイドミラーエリアA6と、車内前方に存在するスピードメータエリアA7とが設定されている。

【0032】
前記視線データ生成部38では、視認エリア毎の時系列データとなる視線データが生成される。この視線データは、周辺環境情報検出部32での検出結果から特定された他車両、歩行者、信号、標識等の認識対象物の位置情報と、視認エリア特定部37で特定された運転者の視線方向とを各時刻で対応させてなる。換言すると、視線データは、各時刻における自車両の周辺の認識対象物の存在状況が視認エリア毎に区分され、各時刻における運転者の視線が存在する視認エリアを重畳することにより生成される。従って、この視線データにより、各視認エリアに存在する認識対象物を運転者が同時刻で視認できたか否かが推定可能になる。

【0033】
前記タスク特定手段16では、自車両操作情報検出部33で検出される自車両の操作状態に基づいて、これから運転者が行う運転タスクを特定するようになっている。ここでの運転タスクとしては、右左折、車線変更、直進、左右カーブ走行、合流、駐車、追い越し、停止、発進等を例示でき、各パターンの運転タスクが予め記憶されている。例えば、運転者による方向指示器の点滅操作により、記憶された各運転タスクの中から次の運転タスクが選択される。先ず、方向指示器が操作され、且つ、周辺環境情報検出部32で検出された道路情報から自車両の進行方向の直近に交差点が存在する場合には、方向指示器の点滅方向に自車両が右折若しくは左折する運転タスクが選択される。また、方向指示器の点滅操作がなされ、且つ、前記道路情報から直近で自車両が単路を進行する場合には、自車両が車線変更する運転タスクが選択される。一方、方向指示器の点滅操作がなされない場合には、自車両が直進する運転タスクが選択される。

【0034】
前記認識判定手段17は、基準となる適切な状況認識に対応する運転者の視線モデルを運転タスク毎に生成する視線モデル生成部41と、視線モデル生成部41で生成された視線モデルが記憶され、当該視線モデルと視線データ生成部38で生成された実際の運転者の視線データとにより、運転者の状況認識が適切になされているか否かを判定する判定部42とを備えている。

【0035】
前記視線モデル生成部41では、各運転タスクについて、過去に、状況認識が適切とされた過去の多数の視線データを統計処理することで、運転タスク毎の視線モデルが生成される。

【0036】
前記視線モデルは、各運転タスクそれぞれについて、運転タスクを構成するフェーズ単位で、運転者が認識対象物を視認すべき視認エリアと、自車両の周辺で視認すべき認識対象物に対する視認時間の基準値である基準時間と、直進時等の運転タスクの際に運転者がどの位の時間間隔で周辺の状況を確認すべきかを表す視認間隔とがそれぞれ設定されてなる。

【0037】
前記基準時間は、状況認識を行うのに必要となる運転者の視認時間に相当する時間であり、仮設定されたデフォルト時間に対して、判定部42での判定の際に実際取得した各種情報に関するデータに基づき更新されるようになっている。つまり、ここでは、当該データとして、自車両の周辺空間における光の伝達性に影響する光学要素、視認エリアに対する運転者の視覚上のアクセス容易性に影響する位置要素、及び/又は、同一のタイミングでターゲットとなる認識対象物に対する運転者の視認回数が挙げられる。本実施形態では、次式の通り、光学要素、位置要素、及び視認回数にそれぞれ対応するパラメータである光学要素項、位置要素項、及び視認回数項をデフォルト時間にそれぞれ乗ずることにより、基準時間が求められる。
基準時間=光学要素項×位置要素項×視認回数項×デフォルト時間

【0038】
前記光学要素項は、降雨センサ25から取得した降雨量に基づく降雨要素項と光センサ26から取得した明るさに基づく明るさ要素項とを乗じてなる。前記降雨要素項は、判定部42での判定時に取得した降雨量を、予め設定された降雨量係数に乗じることにより求められ、降雨量に対し比例関係となる。また、前記明るさ要素項は、判定部42での判定時に取得した明るさを、予め設定された明るさ係数で除することにより求められ、明るさに対し反比例関係となる。

【0039】
前記位置要素項は、視認すべき認識対象物が存在する視認エリアの位置に応じて、視認エリア毎に設定されたエリア係数からなる。例えば、運転者にとって、左ウインドウエリアA3は、前方エリアA1よりも見難い等、各視認エリアで運転者の見易さが異なることから、エリア係数は、各視認エリアでの運転者の見難さに対応して重み付けするための係数となっており、見難い視認エリアである程、高い数値を採る。

【0040】
前記視認回数項は、視認回数に応じて定まる視認回数係数からなる。例えば、同一のフェーズにおいて、ある視認エリアで視認すべき認識対象物を視認した回数が2回に分割した場合には、1回目と2回目の視認の間に時間差が生じる。このことから、これら2回の合計時間は、1回のみの視認の場合の時間と変えた基準時間にする必要があり、視認回数に応じて定まる視認回数係数が設定されている。

【0041】
以上の視線モデルを生成する際において、各運転タスクのフェーズ毎に運転者が認識対象物を視認すべき視認エリアと、前述した各種係数の設定とが必要となる。これらの設定においては、様々な運転者が過去に実際に行った各種の運転タスクについて、当該運転タスクが適切な状況認識の下に行われたとき、つまり、安全運転と判断されたときに取得した前記視線データを集め、統計処理を行うことで求められる。

【0042】
ここで、運転者による実際の運転が安全運転であったか否かは、情報取得手段14によって得られた検出結果に基づき自動的に判定される。すなわち、安全運転としては、無事故、無違反、自車両の移動軌跡が滑らかである等が挙げられ、運転タスクの前後で取得したデータにより安全運転か否かが判定される。例えば、アクセルペダルの操作状態が一定であるにも関わらず、急激に自車両の速度が低下した場合には、他車両との衝突等の何らかの事故が発生しており、その場合に得られた運転者の視線データは安全運転のものではないと判定される。また、ブレーキペダルを操作しているにも関わらず、急に加速度が増大した場合には、自車両が他車両に追突された等の何らかの事故が発生していると考えられ、その場合に得られた運転者の視線データは安全運転のものではないと判定される。換言すれば、ここでは、運転者における自車両への操作に関する入力値と、自車両からの出力値とが対比され、期待した出力値が得られないような場合に、その際の視線データが安全運転際のデータでない旨、判定される。従って、視線モデル生成部41では、それ以外の安全運転時の視線データのみが抽出されて統計処理される。ここで、前述の各種係数は、多数集めた安全運転時の視線データを使って、重回帰分析等の統計手法を用いて求められる。

【0043】
また、前記視認間隔については、直進時等の運転タスク時における過去の安全運転時の視線データから、平均的にどの位の間隔でルームミラー、サイドミラー、窓を見ているかにより決定される。

【0044】
前記判定部42では、次のようにして状況認識の判定がなされる。すなわち、先ず、タスク特定手段16で特定された運転者がこれから行う運転タスクについて、当該運転タスクに係る視線モデルが抽出され、実際に得られた視線データと比較される。この際、運転者が、視線モデルで設定された適切な視認エリアについて、適切なタイミングにより、適切な視認時間で視認しているか否かが判断される。つまり、運転タスクの各フェーズで視認すべき視認エリア内に存在する認識対象物を十分な視認時間で運転者が視認しているか否かが判定される。ここでの視認時間は、自車両の周辺空間の降雨量及び明るさ、対象となる視認エリアの位置、及び各視認エリアでのフェーズ毎の視認回数に応じて定まる前述の基準時間により適否が判定される。すなわち、視認すべき視認エリアに存在する認識対象物に対する何れかの視認時間が基準時間に達しない場合には、当該運転タスクにおける認識対象物の状況認識が適切になされていないと推定される一方、そうでない場合には、状況認識が適切になされていると推定される。

【0045】
前記サポート手段12では、対象となる運転タスクにおける状況認識が適切でないと判定されたときに、運転者に正しい認識行動を適正なタイミングで促し、或いは、不十分とされた状況認識を十分に行うように、所定の伝達装置を通じて、運転者に注意喚起する運転支援情報を発するようになっている。

【0046】
ここでの伝達装置としては、特に限定されるものではなく、運転者の視覚、聴覚、及び/又は触覚を通じて運転支援情報を伝達可能なディスプレイ、スピーカ、振動発生器等の機器類であれば何でも良く、各種の感覚を通じて各種の運転支援情報を伝達できる限りにおいて、他の様々なヒューマンインターフェースを適用可能である。

【0047】
なお、サポート手段12によるサポートとしては、前述した注意喚起等により運転者に再度の視認を促すものの他に、状況認識の低下による事故等を抑制するための機器やシステムに対して動作指令する等の各種サポートが可能である。

【0048】
次に、前記運転支援システム10による状況認識評価と当該評価に基づく運転支援の手順について、幾つかの運転タスク毎に例示的に設定したケースにより以下に説明する。

【0049】
先ず、第1のケースとして、図3に示される交通状況を想定し、その状況下で自車両Mが右車線に車線変更を行う運転タスクについて、次のように、状況認識評価と運転支援が行われる。

【0050】
先ず、このケースでの交通状況は次の通りである。自車両Mが、現時点で三車線の道路のうち中央車線を走行しており、同一車線において、自車両Mの前方に他車両Aが走行し、同後方に他車両Bが走行している。また、中央車線の左側に位置する左車線において、自車両Mの斜め左後方を他車両Cが走行している。更に、中央車線の右側に位置する右車線(追い越し車線)において、自車両Mの斜め右後方から、自車両Mよりも高速で他車両D及び他車両Eが順に走行している。そして、この交通状況下において、図3中1点鎖線で示されるように、自車両Mの運転者が、右車線に車線変更をしながら、他車両D及び他車両Eの間に入り込むシナリオとなっている。

【0051】
ここで、前提として、情報取得手段14により、自車両Mの現在位置情報、自車両Mの周辺の各種環境情報、及び自車両Mに対する運転者の操作情報が、一定時間毎に取得されて図示しないメモリに記憶される。

【0052】
そして、視線状況把握手段15では、情報取得手段14で取得した各種情報から運転者の視線データが逐次生成されて前記メモリに記憶される。このケースにおける視線データは、図4に模式的に図示される構成となっている。すなわち、この図では、視線データについて、同図中縦軸を視認エリアA1~A6とし、同横軸を時間tとしたグラフとして表現しており、この視線データにより、視認エリアA1~A6毎に、運転者の視線が存在する視認時間帯Tm(同図中ハッチング部分)と他車両A~Eの存在する時間帯Ta~Teとが重畳して特定される。この視線データは、自車両Mの速度や道路の法定速度に応じて定まる対象範囲R(図3中破線部分)内で生成される。この対象範囲Rは、自車両Mを中心に前後左右の所定距離の範囲内となる。

【0053】
次に、タスク特定手段16で運転タスクが特定される。第1のケースでは、情報取得手段14で取得した情報により、右折方向に方向指示器を点滅させる操作を行い、且つ、交差点でない単路を走行していることが検知されたときに、これからなされる運転タスクとして、右方向への車線変更と特定される。

【0054】
そして、認識判定手段17において、右方向への車線変更に関する運転タスクにおける運転者の状況認識が適切にされているか否かを判定し、適切でない場合には、サポート手段12によりサポートがなされる。

【0055】
すなわち、この第1のケースでは、右折の方向指示器の点滅を開始した方向指示器の入力時の前後の時間帯の視線データから、運転者の状況認識について判定される。具体的に、ここで用いる視線データとしては、方向指示器の入力時から予め設定された所定時間前(例えば3秒前)である車線変更計画開始時から、ハンドル操作の操舵角が所定角度(例えば5度)以上になった車線変更開始時までの間の時間帯のものが用いられる。

【0056】
ここで、右方向への車線変更に関する運転タスクにおいては、次の状況認識が必要となる。先ず、車線変更計画開始時から方向指示器入力時までの第1のフェーズでは、ルームミラーを通じて後方車両を確認し、後方車両が追い越ししようとしている場合には、自車両Mの車線変更ができない。また、この第1のフェーズでは、右サイドミラーと右窓を通じて他車両の存在をある程度確認する必要がある。

【0057】
方向指示器入力時から車線変更開始時までの第2のフェーズでは、右サイドミラーや右窓を通じて、自車両M近傍における右車線に存在する他車両を確認し、何れの他車両の後方に入るのか等を想定する必要がある。

【0058】
加えて、第1及び第2のフェーズでは、他の車線の他車両に気を取られて、同一車線を先行する前方の他車両Aと衝突しないように、前方確認も必要となる。

【0059】
そこで、認識判定手段17の判定部42では、当該運転タスクにおいて必要となる前述の状況認識が視認エリア毎に設定された視線モデルにより、実際の視線データについての判定がなされる。つまり、運転者により、適切な視認エリアを適切なタイミング及び視認時間で視認がなされたか否かにより、状況認識が適切になされたか否かが判断される。そして、状況認識が適切になされていないと判断された場合に、サポート手段12による注意喚起がなされる。

【0060】
第1のケースでは、第1のフェーズにおいて、前方エリアA1に存在する他車両Aと、バックミラーエリアA2に存在する他車両Bと、右サイドミラーエリアA6に存在する他車両D、Eに対し、運転者の目視確認が必要となる。従って、判定部42では、これらの視認エリアにおいて、認識対象物である各他車両の目視確認の有無及び視認時間が視線データから抽出され、予め生成された視線モデルを使って判定される。視認時間としては、第1のフェーズにおける各視認エリアで視認すべき他車両を視認した合計時間が、視線モデルの基準時間に達しているか否かが判定される。ここでの基準時間は、情報取得手段14での情報取得結果から、前述の関係式により特定される。

【0061】
図4の視線データの例では、第1のフェーズにおいて、前方エリアA1に存在する他車両Aを2回視認していると考えられるが、その合計時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、方向指示器入力時の直後に、サポート手段12によって、前方の確認が不十分である旨のサポートがなされる。

【0062】
また、バックミラーエリアA2に存在する他車両Bについては、第1のフェーズで運転者が一度も視認していないことから、基準時間に達しておらず、方向指示器入力時の直後に、サポート手段12によって、後方確認を要請する旨のサポートがなされる。

【0063】
更に、第1のフェーズにおいて、右サイドミラーエリアA6に存在する他車両D、Eを1回視認していると考えられるが、その時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、方向指示器入力時の直後に、サポート手段12によって、右側後方の確認が不十分である旨のサポートがなされる。更に、視線モデルにおいて、例えば、右サイドミラーエリアA6での視認後に右ウインドウエリアA5での認識対象物の確認も必要とされていれば、それがなされていないと、同様にサポート手段12によるサポートがなされる。

【0064】
なお、第1のフェーズにおいて、例えば、運転者が所定の視認エリアを基準時間以上視認した時間帯があっても、当該時間帯が、同フェーズで視認すべき認識対象物である他車両が存在する同フェーズ内の何れかの時間帯とずれている場合には、適切な視認タイミングを外しているとして、前記サポートがなされる。このように、基準時間との対比は、適切な視認タイミングの評価の関係から、各フェーズにおける実際の視認エリア内での視認時間のうち、当該フェーズで存在する当該視認エリア内の他車両が存在する時間との重複時間について行われる。このことは、以下の全ての基準時間による評価について同様である。

【0065】
図4の例では、第2のフェーズにおいて、車線変更開始の直前に、前方エリアA1に存在する他車両Aと、右ウインドエリアA5及び右サイドミラーエリアA6に存在する他車両Eについて、運転者の目視確認が必要となる。そこで、車線変更開始時から所定時間(例えば3秒)前までの自車両Mの運転者の視線データから、第1のフェーズと同様にして、各視認エリアA1、A5、A6における他車両の視認時間が基準時間に達しているか否かが判定される。その結果、目視していない視認エリアがあれば、サポート手段12によって、当該視認エリアへの視認を促すサポートが車線変更開始時の直後になされ、目視をしていても基準時間に達していない視認エリアがあれば、当該視認エリアへの視認が不十分である旨のサポートがなされる。ここでのサポートは、第1のフェーズのサポートに比べ、運転者への働きかけをより強く行えるように設定される。

【0066】
なお、左への車線変更をする運転タスクについても、左右の視認エリアを変えて第1のケースと同様の処理により、状況認識評価と運転支援が行われるが、基準時間については、前述した位置要素による係数の関係から、右への車線変更の運転タスクの場合と異なることになる。

【0067】
次に、第2のケースとして、図5に示される交通状況を想定し、その状況下で自車両Mが交差点を右折する運転タスクについて、次のように、状況認識評価と運転支援が行われる。このケースでの交通状況は次の通りである。自車両Mの後方右寄りから右側方に向かってバイクである他車両Bが走行し、対向車線を走行する対向車両となる他の自動車である他車両Cが交差点を通過しようとしている。更に、自車両Mが交差点を右折する際に、その横断歩道上を歩行者Hが歩行している。

【0068】
この第2のケースにおいても、情報取得手段14により、各種情報が一定時間毎に取得されて記憶され、その情報により、視認状況把握手段15において、運転者の視線データが逐次生成されて記憶される。このケースにおける視線データは、図6に示されるように、各視認エリアA1~A6について、運転者の視認の有無及びその視認時間帯Tmと、自車両M周囲の他車両B、C及び歩行者Hの存在と、交差点における自車両Mの右折を判断する信号Sの存在及び灯色とを対応させた形で記憶される。なお、ここでの視線データについても、自車両Mを中心した前後左右の一定範囲R内で生成される。

【0069】
次に、タスク特定手段16で運転タスクが特定される。第2のケースでは、情報取得手段14で取得した情報から、右折方向の方向指示器を点滅させる操作を行い、且つ、これから交差点を通過することが検知されたときに、交差点の右折に関する運転タスクが特定される。

【0070】
そして、認識判定手段17において、交差点の右折に関する運転タスクにおける運転者の状況認識が適切になされているか否かを判定した上で、適切になされていない場合には、サポート手段12でのサポートがなされる。

【0071】
すなわち、この第2のケースでも、情報取得手段14での検出結果によって特定されたフェーズ毎に、視線データから運転者の状況認識について判定される。

【0072】
ここでのフェーズとしては、右折方向の方向指示器の点滅を開始した方向指示器の入力時から、停止線から所定距離(例えば30m)以内に自車両Mが侵入した停止線直前侵入時までの第1のフェーズと、停止線直前侵入時から自車両Mが発進し若しくは停止線を越える停止線通過時までの第2のフェーズと、停止線通過時から右折が完了する第3のフェーズそれぞれに対し、運転者の状況認識について判定される。

【0073】
ここで、交差点の右折に関する運転タスクにおいては、次の状況認識が必要となる。先ず、前記第1のフェーズにおいては、自車両Mを右方に幅寄せする前に、右サイドミラーや右窓を通じてバイク等の二輪車の存在を確認するとともに、前方を見て信号等を確認する必要がある。

【0074】
そして、前記第2のフェーズにおいては、信号の変化状況を把握するために、再度前方を見て信号等を確認する必要がある。また、この際にも、右サイドミラーや右窓を通じてバイク等の二輪車の存在を確認する必要がある。

【0075】
更に、前記第3のフェーズにおいては、赤信号により自車両Mが一時停止した場合、発進時にもう一度、信号確認を行うとともに、自車両Mの右側方のバイク等の二輪車の存在を確認する必要がある。一方、青信号で自車両Mが一時停止せずにそのまま右折する場合でも、もう一度、信号確認を行うとともに、自車両Mの右側方のバイク等の二輪車の存在を確認する必要がある。また、右折中は、前方から対向車両や歩行者を確認する必要がある。

【0076】
そこで、認識判定手段17の判定部42では、第1のケースと同様に、得られた視線データについて、視線モデルに基づき、運転者が、適切な視認エリアを適切なタイミング及び視認時間で、運転者による視認が行われたか否かが判断され、状況認識が適切になされていないと判断された場合に、サポート手段12による注意喚起がなされる。

【0077】
この第2のケースでは、第1のフェーズにおいて、前方エリアA1に存在する信号Sと、右ウインドエリアA5若しくは右サイドミラーエリアA6に存在する他車両Bに対し、運転者の目視確認が必要となる。従って、判定部42では、これらの視認エリアでの目視確認の有無及び視認時間が視線データから抽出され、予め生成された視線モデルの基準時間と対比される。ここでも、第1のケースと同様、視線データにおいて、視認すべき他車両を視認した視認時間の合計時間が基準時間に達しているか否かが判定される。

【0078】
図6の視線データの例では、第1のフェーズにおいて、前方エリアA1に存在する信号Sを2回視認していると考えられるが、その合計時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、自車両Mが停止線に達する前に、サポート手段12によって、前方の確認が不十分である旨のサポートがなされる。

【0079】
更に、前記第1のフェーズにおいて、右サイドミラーエリアA6に存在する他車両Bを1回視認していると考えられるが、その時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、自車両Mが停止線に達する前に、サポート手段12によって、右側方の確認が不十分である旨のサポートがなされる。

【0080】
また、停止線直前侵入時において、その前後で信号が変化した場合に、当該停止線直前侵入時に前方エリアA1に存在する信号を視認しているか否かが判定され、視認していない場合には、停止線直前侵入時の直後に、サポート手段12によって、前方の信号を再確認すべき旨のサポートがなされる。

【0081】
図6の例では、第2のフェーズにおいて、停止線通過時の直前に、前方エリアA1に存在する信号S及び対向車両となる他車両Cと、右ウインドエリアA5若しくは右サイドミラーエリアA6に存在する他車両Bに対し、運転者の目視確認が必要となる。そこで、停止線通過時から所定時間(例えば1.5秒)前までの自車両Mの運転者の視線データから、第1のフェーズと同様にして、視認エリアA1と、視認エリアA5若しくはA6に存在する認識対象物に対する視認時間が基準時間に達しているか否かが判定される。この第2のフェーズにおいては、前方エリアA1に存在する信号S及び対向車両となる他車両Cを1回視認していると考えられる。そこで、その際の視認時間が、基準時間に達しているか否かが判定され、当該基準時間に達していない場合には、サポート手段12により、停止線通過時の直後に、基準時間に達していない視認エリアへの視認が不十分である旨のサポートがなされる。また、右ウインドウエリアA5への視認が行われておらず、右サイドミラーエリアA6に対する視認タイミングがずれていることから、これらエリアA5,A6に存在する他車両Bの視認がされていないと考えられる。そこで、サポート手段12により、停止線通過時の直後に、当該視認エリアへの視認を要請する旨のサポートがなされる。

【0082】
また、前記第3のフェーズでは、前方エリアA1に存在する対向車両である他車両C及び歩行者Hに対し、運転者の目視確認が必要となる。ところが、図6の例では、第3のフェーズにおける前方エリアA1には、他車両Cが既に通過して存在しておらず、また、歩行者Hが存在するのみである。従って、当該第3のフェーズにおける前方エリアA1での認識対象物は、歩行者Hのみであり、運転者は、歩行者Hが存在するタイミングで前方エリアA1を1回視認しており、その視認時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、サポート手段12によって、前方の確認が不十分である旨のサポートがなされる。

【0083】
なお、交差点を左折する運転タスクについても、左右の視認エリアを変えて第2のケースと同様の処理により、状況認識評価と運転支援が行われるが、基準時間については、前述した位置要素による係数の関係から、右への車線変更の運転タスクの場合と異なることになる。

【0084】
次に、第3のケースとして、図7に示される交通状況を想定し、その状況下で自車両Mが直進する運転タスクについて、次のように運転支援が行われる。このケースでの交通状況は次の通りである。自車両Mが、現時点で3車線の道路のうち左車線を走行しており、同一車線において、自車両Mの前方に他車両Aが走行し、同後方に他車両Bが走行している。また、自車両Mの右側の車線には、自車両Mの斜め後方から、自車両Mよりも高速で他車両C及び他車両Dが順に走行している。

【0085】
この第3のケースにおいても、情報取得手段14により、各種情報が一定時間毎に取得されて記憶され、その情報により、視認状況把握手段15において、運転者の視線データが逐次生成されて記憶される。このケースにおける視線データは、図8に示されるように、各視認エリアA1~A6について、運転者の視認の有無及びその視認時間帯Tmと、他車両A~Dの存在とが対応した形で記憶される。なお、ここでの視線データについても、前述と同様に、自車両Mを中心した前後左右の一定範囲R内で生成される。

【0086】
次に、タスク特定手段16で運転タスクが特定される。第3のケースでは、情報取得手段14で取得した情報から、右折の方向指示器を点滅させる操作が無く、且つ、交差点でない単路を今後走行することが検知されたときに、直進に関する運転タスクが特定される。

【0087】
そして、認識判定手段17において、直進に関する運転タスクにおける運転者の状況認識が適切になされているか否かを判定し、適切になされていないと判定された場合には、サポート手段12でのサポートがなされる。

【0088】
この第3のケースについては、視線モデルの生成時に設定された視認間隔毎に、視線データから運転者の状況認識について判定される。

【0089】
ここで、直進に関する運転タスクにおいては、次の状況認識が必要となる。一定間隔毎に、ルームミラーやサイドミラー等により、運転者が一定範囲内に存在する他車両を確認することが必要となる。つまり、最も左側の車線を直進する第3のケースでは、視認間隔毎の時間帯において、運転者は、フロントガラスから前方車両を確認し、ルームミラーを通じて後方車両を確認し、更に、右サイドミラーを通じて、自車両Mの右側車線に存在する他車両を確認する必要がある。

【0090】
すなわち、図7及び図8から、前方エリアA1と、バックミラーエリアA2と、右サイドミラーエリアA6とに存在する他車両A~Dに対し、運転者の目視確認が必要となる。従って、判定部42では、これらの視認エリアでの目視確認の有無及び視認時間が視線データから抽出され、予め生成された視線モデルの基準時間と対比される。ここでも、前述の各ケースのときと同様に、視線データにおいて、視認すべき他車両を視認した視認時間の合計時間が基準時間に達しているか否かが判定される。そして、当該基準時間に達していない場合には、運転者の状況認識が適切になされていないと判断され、サポート手段12により、その都度、必要な視認エリアでの視認がなされていない、若しくは、視認時間が不足している旨の注意喚起がなされる。

【0091】
なお、前記実施形態では、自動車の運転者を対象者として、注意喚起情報を含む各種の運転支援情報を提示する場合を図示説明したが、本発明はこれに限らず、所定の移動体等を操作しながら当該移動体とともに所定の環境中を移動する対象者が、その周辺環境の状況を適切に認識しているか否かを推定する状況認識推定システム11として利用可能である。つまり、本発明に係る状況認識推定システム11としては、対象者の周囲を相対移動する認識対象物について、その対象者が適切に認識しているか否かを推定するシステムとして、種々の態様での利用が可能である。

【0092】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【0093】
10 運転支援システム
11 状況認識推定システム
12 サポート手段
14 情報取得手段
15 視認状況把握手段
16 タスク特定手段
17 認識判定手段
37 視認エリア特定部
38 視線データ生成部
41 視線モデル生成部
42 判定部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7