TOP > 国内特許検索 > 人間支援システム、人間支援方法及び人間支援プログラム > 明細書

明細書 :人間支援システム、人間支援方法及び人間支援プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4159049号 (P4159049)
公開番号 特開2005-222153 (P2005-222153A)
登録日 平成20年7月25日(2008.7.25)
発行日 平成20年10月1日(2008.10.1)
公開日 平成17年8月18日(2005.8.18)
発明の名称または考案の名称 人間支援システム、人間支援方法及び人間支援プログラム
国際特許分類 G08G   1/16        (2006.01)
B60R   1/00        (2006.01)
G06T   1/00        (2006.01)
G06T   7/00        (2006.01)
FI G08G 1/16 D
B60R 1/00 A
G06T 1/00 330Z
G06T 7/00 150
請求項の数または発明の数 15
全頁数 24
出願番号 特願2004-026951 (P2004-026951)
出願日 平成16年2月3日(2004.2.3)
審査請求日 平成18年1月23日(2006.1.23)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】山口 亨
個別代理人の代理人 【識別番号】100058479、【弁理士】、【氏名又は名称】鈴江 武彦
【識別番号】100113099、【弁理士】、【氏名又は名称】和田 祐造
【識別番号】100117547、【弁理士】、【氏名又は名称】須田 浩史
審査官 【審査官】平城 俊雅
参考文献・文献 特開2002-092797(JP,A)
特開2002-331850(JP,A)
特開2002-352395(JP,A)
調査した分野 G08G 1/16
B60R 1/00
G06T 1/00
G06T 7/00
特許請求の範囲 【請求項1】
車両の進路に設置されたカメラと、
前記カメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信する通信制御手段と、
前記車両に搭載され、車両の運転者を撮像する車両搭載カメラと、
前記車両の運転者に固定され、運転者の視野の画像を撮像する視野画像撮像カメラと、
前記車両搭載カメラで得られた運転者撮像画像と前記視野画像撮像カメラで得られた視野画像とに基づき運転者の顔の方向を算出する顔方向情報算出部と、
を具備してなることを特徴とする人間支援システム。
【請求項2】
さらに、車両の運転者の意図を認識して意図認識結果を出力する意図認識部を備え、
前記人間支援管理部は、前記意図認識部で得られた意図認識結果に基づき前記歩行支援情報又は運転支援情報を生成することを特徴とする請求項1に記載の人間支援システム。
【請求項3】
歩行者により携帯され、前記歩行支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項1に記載の人間支援システム。
【請求項4】
車両に搭載され、前記運転支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項1に記載の人間支援システム。
【請求項5】
前記通信制御手段は、前記車両の速度と前記車両の運転者の顔の方向とを受信し、
前記意図認識部は、前記通信制御手段で受信された前記車両の速度と、前記顔の方向と、前記車両位置情報算出部で算出された前記車両の位置情報とに基づき運転者の意図を認識することを特徴とする請求項1に記載の人間支援システム。
【請求項6】
車両の進路に設置されたカメラと、
前記カメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信し、前記車両の速度と前記車両の運転者の顔の方向とを受信する通信制御手段と、
前記車両の速度と前記顔の方向と前記車両の位置情報とからなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置と、
前記通信制御手段で受信された前記車両の速度と前記顔の方向及び前記車両位置情報算出部で算出された前記車両の位置情報に対して、前記記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転者の運転意図を認識する意図認識部と、
を具備してなることを特徴とする人間支援システム。
【請求項7】
記人間支援管理部は、意図認識部で得られた意図認識結果に基づき前記歩行支援情報又は運転支援情報を生成することを特徴とする請求項に記載の人間支援システム。
【請求項8】
歩行者により携帯され、前記歩行支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項に記載の人間支援システム。
【請求項9】
車両に搭載され、前記運転支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項に記載の人間支援システム。
【請求項10】
前記連想マトリクスは、一運転者の複数の異なる状態について記憶されることを特徴とする請求項に記載の人間支援システム。
【請求項11】
前記意図認識部は、前記複数の運転者ごとの連想マトリクスに対して算出された運転意図のうち、最も強く想起された運転意図を運転者の運転意図に決定する判定手段を備えることを特徴とする請求項に記載の人間支援システム。
【請求項12】
車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出するステップと
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出するステップと
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成するステップと
前記歩行支援情報又は前記運転支援情報を送信するステップと
前記車両に搭載された車両搭載カメラにより車両の運転者を撮像するステップと、
前記車両の運転者に固定された視野画像撮像カメラにより運転者の視野の画像を撮像するステップと、
前記車両搭載カメラで得られた運転者撮像画像と前記視野画像撮像カメラで得られた視野画像とに基づき運転者の顔の方向を算出するステップと、
を具備することを特徴とする人間支援方法。
【請求項13】
コンピュータを、
車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信する通信制御手段と、
前記車両に搭載された車両搭載カメラで運転者を撮像して得られた運転者撮像画像と前記車両の運転者に固定された視野画像撮像カメラで運転者の視野の画像を撮像して得られた視野画像とに基づき運転者の顔の方向を算出する顔方向情報算出部
として機能させることを特徴とする人間支援プログラム。
【請求項14】
車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出するステップと
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出するステップと
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成するステップと
前記歩行支援情報又は前記運転支援情報を送信するステップと
前記車両の速度と前記車両の運転者の顔の方向とを受信するステップと、
受信された前記車両の速度と前記顔の方向及び前記算出された前記車両の位置情報に対して、前記車両の速度と前記顔の方向と前記車両の位置情報とからなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転者の運転意図を認識するステップと、
を具備することを特徴とする人間支援方法。
【請求項15】
コンピュータを、
車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信し、前記車両の速度と前記車両の運転者の顔の方向とを受信する通信制御手段と、
前記車両の速度と前記顔の方向と前記車両の位置情報とからなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置と、
前記通信制御手段で受信された前記車両の速度と前記顔の方向及び前記車両位置情報算出部で算出された前記車両の位置情報に対して、前記記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転者の意図を認識する意図認識部
として機能させることを特徴とする人間支援プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、情報インフラストラクチャの整備された都市空間に生活する情報技術から疎外され、その恩恵を十分に得られていないお年寄りや身体障害者等を支援する人間支援システム、人間支援方法及び人間支援プログラムに関する。
【背景技術】
【0002】
近年、情報通信技術の急速な進展に伴い、情報インフラストラクチャ整備が進められている。しかしながら、膨大な情報量に対応する強力で拡張性の高い情報インフラ整備が進み、日々の生活でその恩恵を得る人が増える一方で、病院や家庭内の高齢者や機能障害者に代表される、情報技術から疎外され、その恩恵を十分得られていない情報弱者と呼ばれる人々との格差が相対的に進んでいるのも現状である。
【0003】
また、まだ記憶に新しい米国同時多発テロ時の救出時、携帯電話の保持により早期救出された人の例より、災害時に携帯情報端末保持が有効に機能することが保証されているが、またその一方で、携帯電話等の通信局が壊滅してしまうと全く機能しなくなるという弱点があることを、1995年の阪神淡路大震災で露呈している。そして、また、前述した機能操作の煩雑さから弱者の携帯情報端末保有率の低さという情報弱者の問題提起がなされる。少子高齢化社会への深刻な進展の中、こうした情報弱者は益々増加するという警鐘が鳴り響く。こうした社会的背景の中、情報バリアフリーのナチュラルインタフェースを備え人間を空間的にサポートする人間中心型の都市空間の構築は急務である。
【0004】
一方、運輸省の先端安全自動車推進検討会により、エレクトロニクス技術等の新技術により自動車を高知能化して安全性を格段に高めるための予防安全技術が提案されている(非特許文献1)。この予防安全技術は、通常走行時における運転者の危険状態、走行環境の危険状況等を各種センサにより検知し運転者に警報すること、運転者の負担を軽減すること等により自己の未然防止を図るために考案されている。しかしながら、危険状況の直前に危険を報知することはできても、危険状況に陥るより前の状況は知らせることができない。また、危険状況の直前に危険を突然表示すると、その直前の表示が視界に入ることにより、周辺の視野が極端に見えにくくなるという特性が顕著に見られることが知られている。
【0005】
このように、例えば都市空間において歩行者、車両の存在を検出し、存在を提示することはできたが、情報過多になってしまい、かえって運転者に対し混乱を招き支障となってしまう。

【非特許文献1】先端安全自動車推進検討会事務局 運輸省自動車交通局技術安全部“先端安全自動車”平成9年10月発行
【発明の開示】
【発明が解決しようとする課題】
【0006】
情報バリアフリーのナチュラルインタフェースを備え人間を空間的にサポートする人間中心型の都市空間の構築は急務であり、その一方で、自動車の運転に際し、自動車を高知能化して安全性を格段に高めるための予防安全技術が提案されている。しかしながら、危険状況の直前に危険を報知することはできても、危険状況に陥るより前の状況は知らせることができないため、逆に運転者を危険状況に陥らせる危険があった。
【0007】
このように、例えば都市空間において歩行者、車両の存在を検出し、存在を提示することはできたが、情報過多になってしまい、かえって運転者に対し混乱を招き支障となってしまう。
【0008】
本発明は上記課題を解決するためになされたもので、その目的とするところは、歩行者の歩行者や運転者の運転を支援する人間支援システム、人間支援方法及び人間支援プログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明のある観点によれば、車両の進路に設置されたカメラと、前記カメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、前記車両位置情報と、前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、前記歩行支援情報又は前記運転支援情報を送信する通信制御手段とを具備してなることを特徴とする人間支援システムが提供される。
【0010】
また、本発明の別の観点によれば、車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出し、前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出し、前記車両位置情報と、前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成し、前記歩行支援情報又は前記運転支援情報を送信することを特徴とする人間支援方法が提供される。
【0011】
また、本発明のさらに別の観点によれば、コンピュータを、車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、前記車両位置情報と、前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、前記歩行支援情報又は前記運転支援情報を送信する通信制御手段として機能させることを特徴とする人間支援プログラムが提供される。
【発明の効果】
【0012】
本発明によれば、歩行者の歩行者や運転者の運転を適切に支援することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照しながら本発明の実施形態を説明する。
図1は本発明の一実施形態に係る人間支援システムが適用されるネットワークシステムの一例を示す図である。
【0014】
図1に示すように、歩行者1と車両2がそれぞれ道路41及び42を矢印に示す方向に進行しており、交差点43に差しかかる状態を示している。交差点43には2台の交差点設置カメラ31及び32が設置されており、取得画像は無線通信によりサーバ3に送信される。車両2には、表示部22と、制御部23と、車両搭載カメラ24が搭載されている。また、車両2の運転者の頭部には視野画像撮像カメラ21が固定されており、運転者の視野画像を取得する。この視野画像と、車両搭載カメラ24で撮像された車内カメラ画像はサーバ3に送信される。また、制御部23は、車両2のモータやハンドルなどから車両速度情報Vを算出し、サーバ3に送信する。もちろん、車両2自体が車両速度を算出している場合、この車両速度情報Vを単にサーバ3に送信してもよい。サーバ3は、カメラ31,32及び車両2から受信した各種データに基づき歩行者の存在や車両の存在を報知するための運転支援情報を生成して車両2に送信し、表示部22に表示させる。また、車両2の存在を示す歩行支援情報は歩行者1が携帯する携帯情報端末11に送信され、その携帯情報端末11の表示部12に表示される。
【0015】
図2は上記人間支援システムを構成する車両2、サーバ3及び交差点設置カメラ31、32の詳細な構成の一例を示す図である。
【0016】
図2に示すように、交差点設置カメラ31はA点に設置されており、2つのカメラ31a及び31bを備える。カメラ31aはA点から道路42側を撮像するカメラであり、カメラ31bはA点から道路41側を撮像するカメラである。
【0017】
交差点設置カメラ32はB点に設置されており、2つのカメラ32a及び32bを備える。カメラ32aはB点から道路42側を撮像するカメラであり、カメラ32bはB点から道路41側を撮像するカメラである。
【0018】
サーバ3は、CPUと、このCPUによりアクセス可能な記憶装置39と、通信制御手段38とを備える。CPUが記憶装置39から読み出したプログラムを実行することにより、CPUが車両位置情報算出部33と、歩行者位置情報算出部34と、顔方向情報算出部35と、意図認識部36と、人間支援管理部37として機能する。また、CPUでの演算結果などは、通信制御手段38を介して外部端末等に送信され、また外部端末等からのデータは通信制御手段38で受信される。
【0019】
なお、図2では記載を省略しているが、携帯情報端末11及び車両2のいずれも通信制御手段を備え、これによりサーバ3と無線通信によりデータを送受することができる。
【0020】
カメラ31a、31b、32a及び32bで撮像された各画像データは無線通信によりサーバ3に送信される。サーバ3の通信制御手段38は、カメラ31a、31b、32a及び32bからの画像データを受信して車両位置情報算出部33又は歩行者位置情報算出部34に出力する。
【0021】
車両位置情報算出部33は、カメラ31aから得られたA点自動車画像データと、カメラ31cから得られたB点自動車画像データとに基づき車両位置情報Vを算出し、意図認識部36及び人間支援管理部37に出力する。
【0022】
歩行者位置情報算出部34は、カメラ31bから得られたA点歩行者画像データと、カメラ31dから得られたB点歩行者画像データとに基づき歩行者位置情報Pを算出し、人間支援管理部37に出力する。
【0023】
車両2に設けられた車両搭載カメラ24で得られた車内カメラ画像データと、運転者の頭部に固定された視野画像撮像カメラ21で得られた視野画像データは無線通信によりサーバ3に送信される。サーバ3の通信制御手段38は、カメラ21,24からの画像データを受信して顔方向情報算出部35に出力する。顔方向情報算出部35は、車内カメラ画像データ(運転者撮像画像データ)と視野画像データとに基づき運転者の顔の方向を示す顔方向情報θを算出して意図認識部36に出力する。なお、顔方向情報算出部35は、運転者撮像画像データのみに基づき画像処理により顔方向情報θを算出してもよいし、視野画像データのみに基づき顔方向情報θを算出してもよい。
【0024】
一方、制御部23からは車両2の速度情報Vが無線通信によりサーバ3に送信される。サーバ3の通信制御手段38は、制御部23からの速度情報Vを意図認識部36に出力する。
【0025】
意図認識部36は、制御部23から得られた速度情報Vと、顔方向情報算出部35から得られた顔方向情報θと、車両位置情報算出部33から得られた車両位置情報Vとに基づき運転者の意図認識結果を算出して人間支援管理部37に出力する。
【0026】
人間支援管理部37は、車両位置情報算出部33からの車両位置情報Vと、歩行者位置情報算出部34からの歩行者位置情報Pと、意図認識部36からの意図認識結果とに基づき、歩行者の歩行を支援するための歩行支援情報を生成するとともに、車両の運転を支援するための運転支援情報を生成する。
【0027】
歩行支援情報は、通信制御手段38を介して歩行者1の携帯する携帯情報端末11に送信され、該携帯情報端末11の表示部12に表示される。また、運転支援情報は、通信制御手段38を介して車両2の表示部22に送信され、表示される。なお、これら歩行支援情報及び運転支援情報は、図2では通信制御手段38を介さずに送信される例として示してあるが、実際には通信制御手段38を介して送信される。
【0028】
また、サーバ3は、記憶装置39を備える。この記憶装置39には、上述したような各種データ処理に必要なデータや、演算結果として、例えばメンバーシップ関数や連想マトリクスなどを格納する。
【0029】
次に、図3を用いて歩行者位置情報算出部34における歩行者位置情報算出処理について説明する。
【0030】
図3に示すように、まずA,B2地点からの歩行者画像データを取得したオブジェクト位置抽出手段341は、歩行者画像データ中で注目すべきオブジェクトの位置を抽出する。注目すべきオブジェクトは、例えば歩行者の肌色の部分のように、歩行者以外のオブジェクトとは異なる色の部分に設定しておく。画像データで特定されるすべての位置I~Iのうち、抽出されたオブジェクトとしての歩行者の肌色の部分の位置をP~P(m≦n)とする。
【0031】
重心位置算出手段342は、オブジェクト位置抽出手段341で得られたオブジェクト位置P~Pに基づき重心位置P(重心位置情報)を算出する。これにより、ある時刻tにおける歩行者の位置が一意に特定される。
【0032】
特徴点抽出手段343は、重心位置算出手段342で得られた重心位置Pに基づき特徴点Cを算出する。特徴点とは、一定時間毎、すなわち一定時間についての代表的な歩行者の重心位置を示すものである。重心位置算出手段342で得られた時間tの重心位置をPCtとすると、重心位置PCtは時間の経過とともに変動する時系列データである。図4は、この時系列データとしての重心位置PCtを示す図である。図4(a)はx方向の重心位置PCxt、図4(b)はy方向の重心位置PCytである。これら重心位置PCxt及びPCytはともに200×1/60sの間に極大値や極小値をとる時系列データであるが、例えばサンプリング時間をこの200×1/60sに設定し、その極値のうちの例えば極大値を特徴点Pとする。もちろん、極値のうちの極小値や他の値を特徴点Pとしてもよい。図4の例の場合、特徴点Pのx方向の位置PLxは500(×0.6×10-3m)、y方向の位置PLyは700(×0.6×10-3m)程度となる。もちろん、この特徴点Pの算出は、この極値の抽出手法に限定されない。得られた特徴点Pが歩行者位置情報Pとして出力される。この特徴点Pはサンプリング時間経過毎に算出されるものであるため、このサンプリング時間経過毎に人間支援管理部37に出力される。
【0033】
なお、特徴点Pの算出を行わずに時系列データである重心位置Pctを歩行者位置情報Pとして出力してもよい。
【0034】
以上の歩行者位置情報算出部34の歩行者位置情報算出と同様に、車両位置情報算出部33は、オブジェクト位置V~V(k≦n)の抽出、重心位置Vctの算出、特徴点Cの算出を行い、得られた特徴点Vを車両位置情報Vとして車両意図認識部36及び人間支援管理部37に出力する。オブジェクト位置V~Vの抽出は、上記オブジェクト位置抽出手段341によるオブジェクト位置P~Pの抽出と同様の手法による。また、重心位置Vctの算出は、上記重心位置算出手段342における重心位置Pctの算出と同様の手法による。また、特徴点Vの算出は、上記特徴点抽出手段343における特徴点Pの算出と同様の手法による。
【0035】
次に、意図認識部36における意図認識処理について説明する。なお、以下における意図認識部36における処理は、予め格納したデータを読み出し入力された車両位置情報V、速度情報V、顔方向情報θに基づき意図認識処理を実行し意図認識結果を生成する。
【0036】
ある運転行動を起こそうとするとき、一般に運転者はある程度決まった順序で動作を行うことが確認されている。この運転動作時の顔の動作を検出し、その顔方向情報θと、車両速度情報V及び車両位置情報Vから運転意図を認識する。運転意図は、例えば右折、左折、直進などに分類される。
【0037】
本実施形態では、あいまいな概念である人間の意図に関する知識構築の手法として概念ファジイ集合(Conceptual Fuzzy Sets:以下ではCFSと称する)の知識表現を利用する。CFSは次の2つの性質を備える。
a)現実世界の数値データと人間が思考する記号を融合処理できる。
b)物理量から高次概念へのボトムアップ処理と、高次概念から物理量へのトップダウン処理を融合できる。
【0038】
以下に、顔方向情報θ、車両速度情報V及び車両位置情報Vから、運転意図の直進、右折、左折の3つの基本運転行動意図の認識を行う意図認識モデルについて説明する。
【0039】
図5は意図認識モデルの概念図である。意図認識モデルは、その一例として、メンバーシップ関数51及びファジイラベル52で示される下位層と、中位層53と、上位層54とにより表現される。下位層のファジイラベル52(ファジイ集合)は、角度ラベル521、位置ラベル522及び速度ラベル523からなる。角度ラベル521はネガティブ521a“N”、ゼロ521b“Z”、ポジティブ521c“P”の3種類のラベルからなる。位置ラベル522はネガティブ522a“N”、ゼロ522b“Z”、ポジティブ522c“P”の3種類のラベルからなる。速度ラベル523はネガティブ523a“N”、ゼロ523b“Z”、ポジティブ523c“P”の3種類のラベルからなる。
【0040】
これら9種類のファジイラベルは、それぞれメンバーシップ関数51で表現される。511a~511cはそれぞれ角度ラベル521のネガティブ521a“N”、ゼロ521b“Z”、ポジティブ521c“P”の3種類のラベルに対応する関数を示している。512a~512cはそれぞれ位置ラベル522のネガティブ522a“N”、ゼロ522b“Z”、ポジティブ522c“P”の3種類のラベルに対応する関数を示している。513a~513cはそれぞれ速度ラベル523のネガティブ523a“N”、ゼロ523b“Z”、ポジティブ523c“P”の3種類のラベルに対応する関数を示している。
【0041】
中位層53は、学習過程で使用する事例である事例ノードを表している。例えばN個の事例に対し、3基本運転行動を学習するので、合計3Nパターン学習する。N個の事例は、一人の運転者についての事例のみではなく、例えば別個のN人の運転者の事例が採用されるのが望ましい。これにより、例えばN人分の運転の癖、すなわち個性を反映したデータとして登録することができる。この事例ノードは、このように、個性を反映したデータであるので、個性データともいうべきものである。運転行動は、人によってその癖が異なる。したがって、運転支援の際にこの個性を反映した事例ノードを用い、最も癖が似通った事例ノードのデータを参照することで、その人の癖を適格に見極めた運転支援が可能となる。さらには、ある一人の運転行動を複数の場合に分けて登録しておくのが望ましい。同一人の運転行動であっても、例えばいらいらしている時や、のんびりしている時など、その人の気分によって異なる。したがって、同一人の運転行動をその運転している際の運転者の状態に応じて複数登録しておく。これにより、その人の気分までを含めさらにきめの細かい運転支援が可能となる。
【0042】
このように、事例を平均化し、その平均値との間で比較するのではなく、各個性を反映した個性データをそのまま残しておき、各個性データと運転行動を比較することで、精度の高い運転支援が可能となる。
【0043】
事例ノードは、角度については左折、直進、右折の各基本運転行動に対して531~533の3種類与えられ、これら各々の事例ノード531~533はラベル521a~521cに対応付けられたノードA,B,Cと、これらノードA,B,Cと上位層54のノード541,542及び543との結合関係で表現される。
【0044】
位置については左折、直進、右折の各基本運転行動に対して534~536の3種類与えられ、これら各々の事例ノード534~536はラベル522a~522cに対応付けられたノードA,B,Cと、これらノードA,B,Cと上位層54のノード541,542及び543との結合関係で表現される。
【0045】
速度については左折、直進、右折の各基本運転行動に対して537~539の3種類与えられ、これら各々の事例ノード537~539はラベル523a~523cに対応付けられたノードA,B,Cと、これらノードA,B,Cと上位層54のノード541,542及び543との結合関係で表現される。
【0046】
中位層53の事例ノードを531~533、534~536、537~539のように角度、位置、速度に分けて配置する理由は、運転行動の意図が一定パターンとして表現されるのではなく、角度、位置、速度の多様なパターンの組合せから構成されるからである。
【0047】
上位層54は、運転意図を示す層であり、左折541、直進542、右折543の3種類のノードからなる。
【0048】
角度、位置、速度の特徴値が入力されると、中位層53では最も近い特徴を持つノードが最も強く活性化される。この活性化の度合いを活性値分布として得た場合、各パターン毎にどの事例が近いか分かる。
【0049】
しかしながら、中位層53に現れる活性値分布のみでは運転行動を特定することはできない。この問題は、コンテクストの導入により解決される。上位層54は、運転行動を表す層であり、中位層53のすべての事例ノード531~539と結合している。
【0050】
学習データをファジイラベル52とメンバーシップ関数51で示される下位層に与え、その結果中位層53にはこの特徴値と事例ノード531~539との活性値分布が得られる。さらに、この中位層53の活性値分布に基づき、上位層54には教師として運転意図“右折”、“直進”、“左折”の別が与えられる。これらに基づきヘブ学習により上記中位層53と上位層54との結合関係が得られる。この意図認識モデルでは、事例から運転行動をファジイ集合として記憶した後、入力を与えると、下位層と中位層53との間、中位層53と上位層54との間で反響動作を繰り返し、活性値分布がコンテクストに矛盾しない状態に収束することで認識結果を得る。ここで、コンテクストとは、各運転行動の事例から得られた標準パターンであり、パターンに似た角度、位置、速度の特徴値の組合せは促進されるのに対し、パターンに合わない特徴値の組合せは抑制される。
【0051】
次に、CFS(概念ファジイ集合)の概念を図6を用いて説明する。
概念ファジイ61は、連想メモリ上にファジイ知識が分散的に表現されているだけでなく、連想メモリの想起過程を用いてファジイ知識処理も行う機構も持ち合わせている。また、概念ファジイ61は連想メモリで実現されていることから、状況依存性の扱いや多層結合による複雑な処理などのメリットが得られる。
【0052】
ファジイ集合のファジイラベル62や63は概念の名前を、ファジイ集合の形は概念の意味を表現している。意味使用説にしたがえば、言葉の意味は他の言葉によって表現されるが、その意味は使用時によって変化する。したがって、使用時の注意範囲を言葉に付随する活性値で表現すれば、あいまいな言葉の意味を他の言葉によって形つくられるファジイ集合によって表現することができる。この分散的知識表現が概念ファジイ61と呼ばれる。
【0053】
この活性値の分布は、様々な状況に依存して変化するため、状況による意味の変化を表現することができる。また、概念ファジイ61は論理表現に限らずに知識表現が可能である。したがって、論理的には明示的知識表現が不可能なものも明示的に表現することができる。
【0054】
概念ファジイ61の活性値、すなわちメンバーシップ値は、連想メモリによって制御される。そこでノードは概念を表し、リンクは概念間の関係の強さに対応する。図6では、ノードは各ファジイラベル62や63で表され、リンクは各矢印で表される。意味表現されるべき概念のノードとして、例えば図6でファジイラベル62を活性化すると、予め構築されたネットワークを経由して、活性値が伝搬し反響動作が起こる。この反響動作はシステムエネルギが最小になったところで停止し、その結果として意味を表現する側の概念ノードが、あるグレードで活性化される形で想起される。ここに現れる活性値の分布がファジイ集合である。
【0055】
概念ファジイ61は、ニューラルネットワークの学習則を用いて機能的に構築される。すなわち、概念表現の事例に従い、以下の式(1)のHebb学習則を用いてノード間のリンクが修正される。
【数1】
JP0004159049B2_000002t.gif

【0056】
ここで、mijは後述するi列およびj行の連想マトリクスMの行列要素を示し、aはレイヤLの各ノードを、bはレイヤLの各ノードに対応している。
【0057】
概念ファジイ集合において、概念の説明に不要な他の概念は活性化されない。したがって、冗長な説明要素からでも、ノードの選択を含めた構造的学習を行っていることになる。また、概念ファジイ集合では、通常人間が概念を形成していくときのように、別々に形成された個々の概念を逐次的に組合せながら全体的概念を形成してゆく。すなわち、複数の概念ファジイ集合を以下の式(2)に従い合成することができる。
【0058】
M=Norm(M+M+…+M) …(2)
~Mは個別の概念ファジイを、Mは合成された概念ファジイ集合を示す。Normは規格化を示している。一般のニューラルネットワークでは、学習結果には明示的な知識表現が行われていないが、本実施形態の方法では明示的な表現が得られる。
【0059】
次に、意図認識部36で用いられるファジイ連想記憶システムの基礎となるファジイ連想推論について説明する。
【0060】
ファジイ連想推論は、連想記憶ニューラルネットワークの一種である双方向連想記憶(BAM:Bi-directional Associative Memory)を複数個用いたネットワークを構成し、活性値の伝搬を繰り返す反響動作によって推論を行うものである。ここでは、まず連想推論の基本となる双方向連想記憶を説明して、続いてこれをシステム化したファジイ連想記憶システムについて説明する。
【0061】
図7は双方向連想記憶(BAM)の概念を説明するための図である。図7に示すように、レイヤLとレイヤLが構成されるネットワークがあり、レイヤLには複数のノードa,a,…,aが存在し、レイヤLには複数のノードb,b,…,bが存在する。ノード間の結合の重みは、連想マトリクスM∈Rn×pによって表現される。この連想マトリクスMがレイヤLとレイヤLに対してパターンA∈R、B∈Rのペアを銘記しているとすると、レイヤLにノイズを含んだA’∈Rを与えたとしても、レイヤLとレイヤLとの間で反響動作をさせることにより、パターンBが想起される。逆に、レイヤLにノイズを含んだパターンB’∈Rを与えてもパターンAが想起される。この双方向連想記憶における連想は、以下の式(3.1)、式(3.2)によって行われる。
【数2】
JP0004159049B2_000003t.gif

【0062】
ここで、a(t)、b(t)は、ステップtにおける各ノードの活性値ベクトルであり、区分[0,1]に属する値をとる。{0,1}の値としてもよい。φは各ノードA(t)=(a(t),a(t),…,a(t))、B(t)=(b(t),b(t),…,b(t))が持つ関数であり、例えばシグモイド関数が用いられる。また、連想マトリクスMは、銘記したいパターンペアが(A,B),…,(A,B)とすると、以下の式(4.1)、式(4.2)で求められる。
【数3】
JP0004159049B2_000004t.gif

【0063】
ここで、βは連想係数である。Koskoの手法では、連想マトリクスMを求めるとき、{0,1}のパターンペアをバイポーラ変換したパターンペアを用いている。しかしながら、このKoskoの手法で求められた連想マトリクスMを用いると、ネットワークが飽和状態を引き起こす可能性があるので調整が必要となる。この問題を解決するために、連想マトリクスMの正規化の手法が提案されている。そこで、本実施形態で用いるファジイ連想記憶システムでは、この正規化手法により求めた正規化連想マトリクスを用いる。
【0064】
なお、双方向連想記憶(BAM)が銘記できるパターンペアには制約がある。1つは、パターンペア間の直交性が強く、かつ各レイヤ内でパターンとパターンのコンプリメントのハミング距離が十分離れている必要があるということである。もう1つは、連続性仮定が成立する必要があるということである。連続性仮定は、以下の式(5)で表される。
【数4】
JP0004159049B2_000005t.gif

【0065】
ここで、Hはハミング距離である。すなわち、各レイヤで銘記したいパターンがハミング距離と同じくらい離れていないと銘記することが難しいといえる。
【0066】
次に、ファジイ連想記憶システムの構築手法について説明する。
【0067】
図8はファジイルールを連想記憶ネットワークを用いて表現した模式図である。レイヤの設定は、ファジイルールの前件部を代表するレイヤをIf(X)レイヤ、後件部を代表するレイヤをThen(Y)レイヤとする。If(X)レイヤ内のノードは前件部のファジイ集合(メンバーシップ関数)を、Then(Y)レイヤ内のノードは後件部のファジイ集合(メンバーシップ関数)、あるいは入出力関数を代表する。また、前件部と後件部の相関はBAMの記憶できる制約を越えているので、1つのノードが1つのルールを代表するRule(R)レイヤを設定する。したがって、ファジイルールはIf(X)レイヤとRule(R)レイヤ間(連想マトリクスMxr)にBAMを構成することで表現できる。さらに、Rule(R)レイヤには、あいまいさの爆発を防ぐために、他のノードの活性化を抑制する働きをもつコーディネータ結合(Mrr)を設定する。コーディネータ結合とは、同一レイヤ内の任意のノードにおいて、自分に対しては正の重みで結合し、他のノードに対しては負の重みで結合することである。
【0068】
次に、図8のネットワーク構成を例にメモリ上への構築の概念を説明する。図9は連想記憶をネットワークを構築する際に必要な知識である。まず、各々のレイヤ間の連想マトリクスを求めるため、ファジイルールの相関を区間[0,1]に属する値に置き換える。場合により、{0,1}で示される0または1の2値に置き換えてもよい。その結果は以下の式(6)のようになる。
【数5】
JP0004159049B2_000006t.gif

【0069】
この式(6)では、一例として相関を{0,1}で示される0と1の2値で示しているが、これに限定されるものではないことはもちろんである。
【0070】
この算出結果を銘記すべきパターンペアとして、式(4)-1、式(4)-2により、各々のレイヤ間の連想マトリクスを求める。ただし、バイポーラ変換したパターンペアを用いて求めるKoskoの手法はとらない。
【0071】
前述のとおり、本実施形態にて使用するファジイ連想記憶システムは、正規化連想マトリクスを推論時に用いる。よって、ここで求められた連想マトリクスは保存し、以下の式(7)により正規化連想マトリクスMを求める。
【0072】
=a(M+B) …式(7)
ここで、各パラメータは以下の通りである。
【数6】
JP0004159049B2_000007t.gif

【0073】
ただし、M,M,B∈Rm×n、mijはMの(i,j)要素とする。
【0074】
ここで、複数のルールセットが定義されている場合、以上の処理をルールセットの数だけ繰り返し複数のネットワークを提案する。そして、ルールセット間の結合に関する情報をテキストファイルから読み込み、それぞれのネットワークを結合する。また、推論時は、定義したルールセット間の結合の重み(連想マトリクス)も正規化して用いる。ここから、ファジイルールRにより構築されたネットワークをネットワークRと表記する。
【0075】
次に、ファジイ連想記憶システムの動作過程を説明する。
推論は、ネットワーク全体で同期をとりながら活性値の伝搬を繰り返すことによって行う。まず、入力をメンバーシップ関数で評価した値をIf(X)レイヤに入力する。そして、連想マトリクスMxr,Mrr,Mryを式(3.1),式(3.2)に適用することによって、設定した連想ステップ数だけ活性値の伝播を繰り返す。たとえば、複数のINrレイヤに連想マトリクスMでつながるOUTレイヤの各ノードの出力outは式(11)で求められる。
【数7】
JP0004159049B2_000008t.gif

【0076】
提案された当初の連想推論は、推論結果の統合を行わないため、過度のあいまいさを引き起こす可能性がある。これを解決するために、式(12.1)~(12.3)を用いてThen(Y)レイヤの活性値を正規化する。
【数8】
JP0004159049B2_000009t.gif

【0077】
ここでnはThen(Y)レイヤ内のノード数、γfはノードiの持つ活性値、γは寄与度である。
【0078】
これにより、寄与度γを得る。この寄与度で後件部のメンバーシップ関数、あるいは入出力関数の出力値を内挿し、得られた関数(値)をMAX結合(和)したものを推論結果とする。
【0079】
次に、実際に構築されたファジイ連想記憶システムに基づいた意図認識部36による意図認識決定処理について図12及び図13のデータフロー図を用いて説明する。
【0080】
まず、意図認識決定処理を実行する前に、意図認識決定処理に用いられるメンバーシップ関数や、N個の個性データを予め記憶装置39に登録しておく。
【0081】
より具体的には、速度メンバーシップ関数μvS,μvB、顔方向メンバーシップ関数μθS,μθB、位置メンバーシップ関数μLS,μLBを入力メンバーシップ関数として記憶装置39に格納する。また、N個の個性データとして、連想マトリクスMxr1,xr1~MxrN,xrN、正規化マトリクスMrr、連想マトリクスMry1,ry1~MryN,ryNを個性データとして記憶装置39に格納する。さらに、運転意図メンバーシップ関数μLS,μLB,μSS,μSB,μRS,μRB~μLS,μLB,μSS,μSB,μRS,μRBを出力メンバーシップ関数として記憶装置39に格納する。
【0082】
N個の個性データは、例えば以下の処理により登録可能である。
【0083】
N人分の運転行動について、車両速度情報V、顔方向情報θ及び車両位置情報Vを算出し、その算出された値を入力ノードに設定する。そして、その運転行動の結果である左折、直進及び右折の別を、出力ノードに設定する。また、これら入力ノードと出力ノードのバッファとして、中間ノードを設定する。そして、入力ノードと中間ノードに対して式(3.1)、式(3.2)及び式(4.1)、式(4.2)を適用することにより、連想マトリクスMxr1,xr1~MxrN,xrNを算出する。一方、中間ノードと出力ノードに対しても同様に式(3.1)、式(3.2)及び式(4.1)、式(4.2)を適用することにより連想マトリクスMry1,ry1~MryN,ryNを算出する。
以上により、N個の個性データが連想マトリクスとして求められる。
【0084】
次に、以上のようにして得られた登録データを用いて以下のように意図認識決定処理を行う。
まず、意図認識部36は、入力された車両の速度V、顔方向θ、位置Vに基づき、それぞれ速度メンバーシップ関数μvs、μvB、顔方向メンバーシップ関数μθs、μθB、位置メンバーシップ関数μLS、μLBにより関数値(速度グレードμvs(V)、μvB(V)、顔方向グレードμθs(θ)、μθB(θ)、位置グレードμLS(V)、μLB(V))を算出する。
【0085】
次に、連想メモリを用いた正方向の行列計算を行う。
具体的には、まず、μvs(V)、μvB(V)、顔方向グレードμθs(θ)、μθB(θ)、位置グレードμLS(V)、μLB(V)を連想メモリ入力INvs、INvB、INps、INpB、INLs、INLBとする。そして、これら連想メモリ入力に対して、N個の個性データに対応したマトリクスMxr1~MxrNを用いてN個の行列計算を行い、それぞれ連想メモリ中間出力R~Rを得る。この連想メモリ中間出力R~Rは算出されるたびに、マトリクスMrrで正規化される。また、得られた連想メモリ中間出力R~RはさらにそれぞれマトリクスMry1~MryNを用いてN個の行列計算を行い、左折、直進、右折で表される連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを得る。連想メモリ出力OUTL1~OUTLNは、運転意図“左折”に対応する出力値、連想メモリ出力OUTs1~OUTsNは、運転意図“直進”に対応する出力値、連想メモリ出力OUTR1~OUTRNは、運転意図“右折”に対応する出力値である。
【0086】
次に、連想メモリを用いた逆方向の行列計算を行う。
得られた連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNに基づき連想マトリクスMry1~MryNを用いてN個の行列計算を行い、連想メモリ中間出力R~Rを得る。この連想メモリ中間出力R~Rの各々は、複数のノードについて得られる。そして、得られた連想メモリ中間出力R~Rに対し、マトリクスMxr1~MxrNを用いてN個の行列計算を行い、連想メモリ入力INvs、INvB、INps、INpB、INLs、INLBを得る。
【0087】
これら連想メモリを用いた正方向、逆方向の計算を予め定められた回数だけ繰り返し行う反響動作を実行し、その状態推移により連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを収束させる。そして、その収束した連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを正規化して正規化連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを得る。得られた正規化連想メモリ出力について運転意図メンバーシップ関数μLS,μLB,μSS,μSB,μRS,μRBを用いて運転意図グレードμLS1(OUTL1),μLB1(OUTL1),μSS1(OUTS1),μSB1(OUTS1),μRS1(OUTR1),μRB1(OUTR1)~μLSN(OUTLN),μLBN(OUTLN),μSSN(OUTSN),μSBN(OUTSN),μRSN(OUTRN),μRBN(OUTRN)を得る。
【0088】
得られたN個の個性データについての運転意図グレードに基づき、判定手段36aが運転意図の判定を行い、意図認識結果(左折、直進、右折の別)を得る。判定手段36aの判定は、N個の運転意図グレードのうち、予め定められた判定条件(例えば最も運転意図グレードの値が大きいもの、すなわち最も強く想起されたものを選択する)に基づき、その選択された運転意図グレードに予め対応付けておいた意図(例えば右折)を意図認識結果として出力する。
【0089】
判定手段36aの判定条件は、上述したものに限定されない。例えば、最も運転意図グレードの大きいものと次に大きい運転意図グレードとの差が小さい場合などには、最も運転意図グレードの大きいものと、次に大きい運転意図グレードに対応する運転意図とを平均化してもよい。
【0090】
次に、上記運転意図認識決定処理で得られた運転意図に基づく人間支援管理部37による歩行支援情報及び運転支援情報の生成処理を説明する。
【0091】
上記例では、意図認識結果は、右折、直進及び左折の別により示される。図14に示すように、人間支援管理部37は、この意図認識結果と、車両位置情報Vとに基づき進行予測領域を算出する。この進行予測領域は、例えば位置の集合として得られる。そして、この進行予測領域と歩行者位置情報Pとに基づき、その意図認識結果から進行すると予測される進行予測領域に歩行者が位置しているか否かを判定する。これは、例えば位置の集合である進行予測領域に歩行者位置情報Pが含まれているか否か等で容易に判定可能である。進行予測領域に歩行者が位置している場合、人間支援管理部37は、車両が進行してくる危険があることを報知するための危険情報を含む歩行支援情報を生成する。進行予測領域に歩行者が位置していない場合、人間支援管理部37は、危険情報を含まない歩行支援情報を生成する。生成された歩行支援情報は、通信制御手段38を介して携帯情報端末11に送信され表示部12に表示される。
【0092】
また、人間支援管理部37は、進行予測領域に歩行者が位置している場合、歩行者が進行領域に侵入してくる危険があることを報知するための危険情報を含む運転支援情報を生成する。進行予測領域に歩行者が位置していない場合、人間支援管理部37は、危険情報を含まない運転支援情報を生成する。生成された運転支援情報は、通信制御手段38を介して車両2に送信され、表示部22に表示される。
【0093】
なお、上記歩行支援情報及び運転支援情報は、進行予測領域と歩行者位置情報Pに応じて段階的に危険情報を生成するのが望ましい。この段階的な危険情報の生成のために、具体的には、例えば車両位置情報Vにより把握される車両位置から何秒後に歩行者位置情報Pで示される歩行者位置に到達するかを車両の速度Vを用いて算出すればよい。そして、到達までの時間を予め定められた到達時間閾値T(w=1,2,3…)と比較し、その到達時間閾値T以下であり、到達時間閾値Tw-1以上である場合に、危険度Dと判定する。すなわち、Tw-1≦|V-P|/V≦Tが成立するか否かにより危険度を判定する。成立する場合には対応する危険度あり、成立しない場合には対応する危険度なしと判定する。
【0094】
この危険情報生成の具体例を以下説明する。
【0095】
例えば到達時間閾値T=2,T=4,T=6の場合、|V-P|/V≦2の場合は危険度D、2≦|V-P|/V≦4の場合は危険度D、4≦|V-P|/V≦6の場合は危険度Dと判定する。なお、歩行者の速度Pを得られる場合、上記判定式をTw-1≦|V-P|/|V-P|≦Tとすればよい。例えば人間支援管理部37が、危険度に応じて視覚的に区別可能な表示データを生成することにより危険情報を生成してもよい。例えば、危険度Dの場合には危険が差し迫ってないために青色の表示データ、危険度Dの場合には危険が少し差し迫ってくるために黄色の表示データ、危険度Dの場合には危険が差し迫っているために赤色の表示データを生成するというようにしてもよい。また、視覚的に区別可能な表示データのみならず、聴覚を刺激する音声データを組み合わせてもよいし、音声データのみでもよい。この場合、危険度D~Dは表示データと音声データを組合せてフォアグラウンド的に警告し、更に危険度の低い危険度D、D、…などの場合は、バックグラウンド的に音声データのみで知らせる、というようにしてもよい。
【0096】
このように、ファジイ連想推論を用いて得られた運転意図に基づき運転支援情報と歩行支援情報を生成する。したがって、例えば非特許文献1で示されるような、運転行動の結果としての車両位置、歩行者位置などの直前情報のみに基づき危険表示する場合よりも事前に危険を察知した危険表示が可能となる。すなわち、非特許文献1の例の場合、支援情報が情報過多とならないようにするため危険が差し迫った場合のみに警告するか、あるいは情報過多になることを覚悟した上で様々な危険を警告するしかなかった。この場合、運転意図からは全く的はずれな警告もする必要があった。これに対して本実施形態の場合、警告されるのは、運転意図から予測される範囲に絞られるため、情報過多になることなく、しかも危険を直前ではなく事前に警告することができる。
【0097】
以下、本実施形態の人間支援システムによる作用効果や適用例を詳細に説明する。
【0098】
危険表示機構の認知科学的な見解
従来のハード的なシステムとして、物体検出などでセンサ・カメラなどハードウェア素材の精度の向上を目的としたシステムがある。このようなシステムでは、正確に最も危険な事象を表示することはできるが、ある認知科学実験においては、特にお年寄りにおいて、ハード的な突然の表示が視界に入ることにより、周辺の視野が極端に見えにくくなるという特性が顕著にみられた。よって、危険を前もってやさしく運転者に知らせておくことで、周辺の視野が狭まることのないようにすることが必要となる。
【0099】
ソフト指向的運転支援システム
前述のような問題点を解決するために、本実施形態では、以下に示すソフト指向的な運転支援を行う。ソフト指向的な運転支援とは、認知科学的な人間の弱点などを考慮した柔軟性を備えたシステムである。危険の直前に運転者に対して危険警告を行っても、運転者の視野はその表示にくぎ付けになり、周辺が見えにくくなる。提案する表示の一例は、前述の通り、画像を危険の度合いから青、黄、赤と色が変化し、その都度音声提示も行い運転者に対して危険警告を行う機構が生成される。青の画像では、運転者に対してバックグラウンド的に頭に残るぐらいの視覚的効果を与える。そして、黄、赤と変化していくたびに、フォアグラウンド的に運転者に対して視覚的効果を与える。危険を前もってやさしく運転者に知らせておくことで、周辺の視野が狭まることのないようにすることができる。
【0100】
意図を用いた人間支援運転機構
歩行者及び車両検出機構によって、歩行者及び運転者の顔の方向情報を得ることができる。運転者の顔の方向情報から運転者が注目していない位置に歩行者が存在する場合、歩行者情報を運転者に対して提示する。運転者の意図を推論することで情報過多にならないため、運転者の混乱を招くことはない。また、歩行者情報はHTML形式で表示する。歩行者の速度により情報が急激に変化するとかえって運転者に対して混乱を招く。サーバから得た情報をユーザの設定により、ブラウザの更新を行うことができる。また、歩行者に対しても、携帯情報端末により車両の存在を提示することができる。
【0101】
一例として、見通しの悪いL字路において、歩行者と車両が交差点に向かう際に運転者に対して、交差点に侵入する2,4,6秒前に提示した場合を図10に示す。図10(a)は2秒前、(b)は4秒前、(c)は6秒前の状態を示す。例えば図10(a)の例では、運転者には、危険度Dの危険情報を含む運転支援情報が赤色で表示され、歩行者には、危険度Dの危険情報を含む歩行支援情報が赤色で表示される。図10(b)の例では、運転者、歩行者にそれぞれ危険度Dの危険情報を含む運転及び歩行支援情報が黄色で表示される。図10(c)の例では、運転者、歩行者にそれぞれ危険度Dの危険情報を含む運転及び歩行支援情報が青色で表示される。
【0102】
福祉・防災サイバー都市
人間を取り巻く空間において、人間をサポートする知的エージェントが各種センサや知能を分散的に持ち(分散感覚知能)、それぞれの知的エージェントが自律的に協調し合うことにより、人間に対して適切なサポート及び、ガイドを提示する必要がある。このような空間を分散感覚知能空間と呼ぶ。分散感覚知能はカメラとCPUで構成されている。本実施形態では、分散感覚知能空間を、人間の生活する都市空間へと広げ、日常生活から災害時の緊急支援までを視野に入れた、災害に強く、真の安心感を得る福祉・防災サイバー都市構築の実現が可能となる。
【0103】
前述のように、情報インフラストラクチャの整備が進む一方、社会的な情勢として少子高齢化が進み、それに伴い情報弱者とのIT格差が進んでいるのが現状である。情報弱者のインフラ利用の妨げになっているのは、情報機器の操作が困難であることが大きな要因となっている。株式会社SONYのアイボ(登録商標)が人間の動作により様々な表現を見せるように、情報弱者が扱う携帯情報端末(PDA)やヒューマンビークル等が人間の動作から感情・意図を認識し人間支援を行うことができ、さらにこれらが災害時・緊急時の際、防災安全機能へと切り替わり人間の安全を守るものであれば、利用者にとって、日常生活の中でこれらの危機を使用することは、本当の安心を得られるものとなる。図11は福祉防災サイバー都市の概略図である。図11に示すように、駅の周辺の環境に、カメラ31,32が交差点や道路付近に複数配置されている。複数の車両2が駐車し、また交差点に向かって車両2が進入したり、駅周辺から歩行者1が出てくる場合に、これらカメラ31,32で撮像された画像に基づき計算された歩行支援情報や運転支援情報が歩行者1や車両2に伝えられる。
【0104】
このように本実施形態では、情報インフラの整備された都市空間に生活する弱者を支援する知的インタフェースを想定する。PDAなどの携帯情報端末が、弱者やその支援者への日常時の福祉情報、災害時の緊急情報の相互伝達を可能とするように、PDA利用による自然な対話機構により、都市に広がる福祉防災PDAに基づく防災サイバー都市の構築、さらに、福祉防災PDAを利用したサイバー都市との連携による安全なヒューマン連携型モビリティシステムの構築を図ることができる。
【0105】
すなわち、交差点、車両に設置された分散感覚知能は、無線LANでソケット通信を行うことによりデータの送受信を行う。交差点に設置された分散感覚知能により歩行者及び車両の検出を行う。運転者に対しては歩行者の存在を提示し、歩行者に対しては、車両の存在を提示することで、人間に対してサポート及びガイドを行うことができる。
【0106】
このように本実施形態によれば、運転者の顔の方向情報から、運転者が注視していない方向に対して危険警告を行うことができ、情報過多にならずに必要な情報のみを提示することができる。
【0107】
本発明は上記実施形態に限定されない。
【0108】
上記実施形態では意図認識部36で得られた意図認識結果に基づき人間支援情報を生成する例を示したが、これに限定されない。車両位置情報及び歩行者位置情報のみに基づき人間支援情報を生成してもよい。
【0109】
また、人間支援管理部37は、意図認識結果を単純化し、左折、直進及び右折の別に基づき歩行支援情報や運転支援情報を生成する場合を示したが、これに限定されない。例えば、人間支援管理部37は、意図認識部36と同様に、ファジイ連想推論を用いて危険情報を生成してもよい。この場合、例えば入力ノードを運転意図グレードとし、出力ノードを危険度に対応付ける。そして、意図認識部36における車両位置V、車両速度V及び顔方向θと、運転意図と同様に、予め運転意図と危険度とを関連づけた連想メモリを生成しておく。そして、運転意図グレードが得られるたびに、危険度を人間支援管理部37が生成する。これにより、意図認識結果が左折、直進及び右折などの登録結果にはっきり収束しないあいまいな場合にも、適切な危険度を得ることができる。
【0110】
また、人間支援管理部37における危険度の判定は、上記したものはほんの一例にすぎない。歩行者の歩行意図や、歩行者の数、道路情報などの他の環境情報が得られる場合、それらの環境情報も含めて判定することにより、支援精度が向上する。人間支援管理部378にもファジイ連想推論を適用する場合、これら各環境情報を予め入力ノードとして定めておくことで、支援精度を簡単に向上させることができる。このように処理する場合、例えば道路情報が得られない場合や歩行者の歩行意図など、各環境情報がすべて得られなかったとしても、得られる情報のみから危険度の判定を行うことができる利点を有する。また、より多くの環境情報が得られる場合にも、新たな環境情報を入力ノードに新たに設定して連想マトリクスを得るのみで、簡単に運転及び歩行支援の精度を向上させることができる。このように、環境情報が入れば入るほど支援精度を向上させることができる。
【0111】
また、意図認識結果は、左折、直進及び右折の別のみ示したが、これに限定されない。例えば、停止、斜線変更、駐車など、代表的な運転行動をさらに多く登録してもよい。このように、さらに多くの運転行動を登録しておくことで、きめの細かい運転支援が可能となる。
【0112】
さらに、上記実施形態では、車両と歩行者の例で説明したが、歩行者を車両に置換することにより、車両同士の運転支援に適用することもできるし、車両を歩行者に置換することにより、歩行者同士の歩行支援に適用することもできる。すなわち、あらゆる移動体の移動支援に適用することができることはいうまでもない。さらに、車両の種別は上記具体例で示した自動車に限定されない。自転車や二輪車なども車両に含まれる。
【0113】
また、A点及びB点に設置された2個ずつのカメラを用いてそれぞれ車両位置を歩行者位置を算出したが、車両や歩行者等の移動体が撮像領域に複数存在する場合には、複数の移動体のうちのいずれかについての位置を選択して算出すればよい。
【産業上の利用可能性】
【0114】
以上説明したようにこの発明は、情報インフラの整備された都市空間に生活する情報技術から疎外され、その恩恵を十分に得られていないお年寄りや身体障害者等を支援する人間支援システムの技術分野に有効である。
【図面の簡単な説明】
【0115】
【図1】本発明の一実施形態に係る人間支援システムが適用されるネットワークシステムの一例を示す図。
【図2】同実施形態に係る人間支援システムを構成する車両、サーバ及び交差点設置カメラの詳細な構成の一例を示す図。
【図3】同実施形態に係る歩行者位置情報算出部における歩行者位置情報算出処理を説明するための図。
【図4】同実施形態に係る時系列データとしての重心位置PCtを示す図。
【図5】同実施形態に係る意図認識モデルの概念図。
【図6】同実施形態に係るCFS(概念ファジイ集合)の概念を説明するための図。
【図7】同実施形態に係る双方向連想記憶(BAM)の概念を説明するための図。
【図8】同実施形態に係るファジイルールを連想記憶ネットワークを用いて表現した模式図。
【図9】同実施形態に係る連想記憶をネットワークを構築する際に必要な知識を示す図。
【図10】同実施形態に係る歩行者と車両が交差点に向かう際に運転者に対して、交差点に侵入する2,4,6秒前に提示した場合を模式的に示す図。
【図11】同実施形態に係る福祉防災サイバー都市の概略図。
【図12】同実施形態に係る意図認識部における意図認識決定処理のデータフローを示す図。
【図13】同実施形態に係る意図認識部における意図認識決定処理のデータフローを示す図。
【図14】同実施形態に係る人間支援管理部における運転支援情報及び歩行支援情報生成のデータフローを示す図。
【符号の説明】
【0116】
1…歩行者、2…車両、3…サーバ、21…視野画像撮像カメラ、22…表示部、23…制御部、24…車両搭載カメラ、31,32…交差点設置カメラ、33…車両位置情報算出部、34…歩行者位置情報算出部、35…顔方向情報算出部、36…意図認識部、37…人間支援管理部、38…通信制御手段、41,42…道路、43…交差点、
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13