TOP > 国内特許検索 > 人間状態推定システム、人間状態推定方法及び人間状態推定プログラム > 明細書

明細書 :人間状態推定システム、人間状態推定方法及び人間状態推定プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4264944号 (P4264944)
公開番号 特開2005-238872 (P2005-238872A)
登録日 平成21年2月27日(2009.2.27)
発行日 平成21年5月20日(2009.5.20)
公開日 平成17年9月8日(2005.9.8)
発明の名称または考案の名称 人間状態推定システム、人間状態推定方法及び人間状態推定プログラム
国際特許分類 B60R   1/00        (2006.01)
B60R  11/04        (2006.01)
G08G   1/16        (2006.01)
FI B60R 1/00 A
B60R 11/04
G08G 1/16 D
請求項の数または発明の数 5
全頁数 27
出願番号 特願2004-047795 (P2004-047795)
出願日 平成16年2月24日(2004.2.24)
審査請求日 平成18年1月23日(2006.1.23)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】山口 亨
個別代理人の代理人 【識別番号】100058479、【弁理士】、【氏名又は名称】鈴江 武彦
【識別番号】100113099、【弁理士】、【氏名又は名称】和田 祐造
【識別番号】100117547、【弁理士】、【氏名又は名称】須田 浩史
審査官 【審査官】西本 浩司
参考文献・文献 特開2002-331850(JP,A)
特開平09-020157(JP,A)
特開平08-178712(JP,A)
調査した分野 B60R 1/00
B60R 11/04
B60R 21/00
G08G 1/16
B60K 28/06
特許請求の範囲 【請求項1】
車両が予め設定した目標地点に到達したときに当該車両の運転者が行うであろう運転行動を、前記車両が前記目標地点に到達する前に推定する人間状態推定システムであって、
前記目標地点に対する前記車両の位置情報を算出する車両位置算出装置と、
前記車両の速度情報を検出する速度情報検出装置と、
前記車両に搭載されたカメラにより前記運転者の顔画像データを得、この顔画像データから画像認識処理により顔の特定領域の重心を検出することにより前記運転者の顔の方向を表す情報を検出する顔方向算出装置と、
車両の位置、速度及び運転者の顔の方向の各々について予め設定された入力メンバーシップ関数と、想定される複数の運転意図の各々について予め設定された出力メンバーシップ関数と、前記各入力メンバーシップ関数と前記各出力メンバーシップ関数との間をマトリクス状に関連付ける複数の個性データをそれぞれ記憶する連想メモリを備え、前記車両位置算出装置により算出された車両の位置情報、前記速度検出装置により検出された速度情報、及び前記顔方向算出装置により検出された前記運転者の顔の方向を表す情報を前記連想メモリに入力パラメータとして入力し、この連想メモリを用いて正方向及び逆方向の行列演算を予め定められた回数だけ繰り返し実行することにより収束した複数の出力メンバーシップ関数を得、この出力された複数の出力メンバーシップ関数にそれぞれ対応する運転意図グレードの中から値が最も大きいものを選択して、この選択された運転意図グレードに対応する意図を前記運転者の意図認識結果として出力する意図認識部と
を具備することを特徴とする人間状態推定システム。
【請求項2】
前記車両位置算出装置は、
前記目標地点に配置され、前記車両を互いに異なる方向から撮像してその画像データを当該車両に向け送信する複数のカメラと、
前記車両に設置され、前記複数のカメラから送られた複数の車両画像データを受信し、この受信された複数の車両画像データをもとにステレオ視機能を用いて三次元座標により表される前記車両の位置情報を算出する車両位置情報算出部と
を備えることを特徴とする請求項1記載の人間状態推定システム。
【請求項3】
前記顔方向算出装置は、
前記カメラにより得られた顔画像データから画像認識処理により運転者の口領域の重心座標を検出する手段と、
前記カメラと運転者頭部の中心とを結んだ直線Lo と前記カメラと前記検出された口領域の重心座標とを結んだ直線Lx とにより形成される角度をθ 、前記運転者頭部の中心と前記検出された口領域の重心座標とを結んだ直線と前記直線Lxとにより形成される角度をθ とし、かつ前記カメラと運転者頭部の中心までの距離をd、運転者の頭部モデルにより求められる頭部半径をr、カメラの画角をφとしたとき、前記運転者の顔の方向θD2を、
r/sinθ=d/sinθ
sinθ=(d/r)・sinθ
θ=180-arcsin(sinθ)・180/π
θD2=180-(θ+θ
により算出する手段と
を備えることを特徴とする請求項1記載の人間状態推定システム。
【請求項4】
車両が予め設定した目標地点に到達したときに当該車両の運転者が行うであろう運転行動を、前記車両が前記目標地点に到達する前に推定する人間状態推定方法であって、
前記目標地点に対する前記車両の位置情報を算出する過程と、
前記車両の速度情報を検出する過程と、
前記車両に搭載されたカメラにより前記運転者の顔画像データを得、この顔画像データから画像認識処理により顔の特定領域の重心を検出することにより前記運転者の顔の方向を表す情報を検出する過程と、
車両の位置、速度及び運転者の顔の方向の各々について予め設定された入力メンバーシップ関数と、想定される複数の運転意図の各々について予め設定された出力メンバーシップ関数と、前記各入力メンバーシップ関数と前記各出力メンバーシップ関数との間をマトリクス状に関連付ける複数の個性データをそれぞれ記憶する連想メモリに、前記算出された車両の位置情報、前記検出された速度情報、及び前記検出された運転者の顔の方向を表す情報を入力パラメータとして入力し、この連想メモリを用いて正方向及び逆方向の行列演算を予め定められた回数だけ繰り返し実行することにより収束した複数の出力メンバーシップ関数を得、この出力された複数の出力メンバーシップ関数にそれぞれ対応する運転意図グレードの中から値が最も大きいものを選択して、この選択された運転意図グレードに対応する意図を前記運転者の意図認識結果として出力する過程と
を具備することを特徴とする人間状態推定方法。
【請求項5】
車両が予め設定した目標地点に到達したときに当該車両の運転者が行うであろう運転行動を、前記車両が前記目標地点に到達する前に推定するために用いられる人間状態推定プログラムであって、
前記目標地点に対する前記車両の位置情報を算出する処理と、
前記車両の速度情報を検出する処理と、
前記車両に搭載されたカメラにより前記運転者の顔画像データを得、この顔画像データから画像認識処理により顔の特定領域の重心を検出することにより前記運転者の顔の方向を表す情報を検出する処理と、
車両の位置、速度及び運転者の顔の方向の各々について予め設定された入力メンバーシップ関数と、想定される複数の運転意図の各々について予め設定された出力メンバーシップ関数と、前記各入力メンバーシップ関数と前記各出力メンバーシップ関数との間をマトリクス状に関連付ける複数の個性データをそれぞれ記憶する連想メモリに、前記算出された車両の位置情報、前記検出された速度情報、及び前記検出された運転者の顔の方向を表す情報を入力パラメータとして入力し、この連想メモリを用いて正方向及び逆方向の行列演算を予め定められた回数だけ繰り返し実行することにより収束した複数の出力メンバーシップ関数を得、この出力された複数の出力メンバーシップ関数にそれぞれ対応する運転意図グレードの中から値が最も大きいものを選択して、この選択された運転意図グレードに対応する意図を前記運転者の意図認識結果として出力する過程と
を、前記車両に設けられたコンピュータに実行させることを特徴とする人間状態推定プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、人間の行動を支援するために人間の意図を把握する人間状態推定システム、人間状態推定方法及び人間状態推定プログラムに関する。
【背景技術】
【0002】
情報通信技術の急速な進展に伴い、情報インフラストラクチャの整備が進められ、一般家庭や移動体にまでネットワークと情報システムが浸透しつつある。一方、利用者側からこれらのネットワーク情報システムを見る限りでは、ネットワークにより形成された空間に生活する利用者でありながら、形成している空間システムが有効に利用者に作用して人間に支援しているとは言い難いのが現状である。
【0003】
また、日々の生活でその恩恵を受ける人が増える一方で、病院や家庭内の高齢者・機能障害者に代表される、情報技術から疎外され、その恩恵を十分に受けられていない情報弱者と呼ばれる人々との格差が相対的に進んでいるのも現状である。
【0004】
一方、このような情報処理技術を用いて運輸省の先端安全自動車推進検討会により、エレクトロニクス技術等の新技術により自動車を高知能化して安全性を格段に高めるための予防安全技術が提案されている(非特許文献1)。この予防安全技術は、通常走行時における運転者の危険状態、走行環境の危険状況等を各種センサにより検知し運転者に警報すること、運転者の負担を軽減すること等により自己の未然防止を図るために考案されている。しかしながら、危険状況の直前に危険を報知することはできても、危険状況に陥るより前の状況は知らせることができない。また、危険状況の直前に危険を突然表示すると、その直前の表示が視界に入ることにより、周辺の視野が極端に見えにくくなるという特性が顕著に見られることが知られている。
【0005】
このように、例えば都市空間において歩行者、車両の存在を検出し、存在を提示することはできたが、情報過多になってしまい、かえって運転者に対し混乱を招き支障となってしまう。

【非特許文献1】先端安全自動車推進検討会事務局 運輸省自動車交通局技術安全部“先端安全自動車”平成9年10月発行
【発明の開示】
【発明が解決しようとする課題】
【0006】
このように、例えば都市空間において歩行者、車両の存在を検出し、存在を提示することはできたが、情報過多になってしまい、かえって運転者に対し混乱を招き支障となってしまう。
【0007】
本発明は上記課題を解決するためになされたもので、その目的とするところは、適切に人間の行動を支援するために人間の意図を推論する人間状態推定システム、人間状態推定方法及び人間状態推定プログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するためにこの発明の一観点は、車両が予め設定した目標地点に到達したときに当該車両の運転者が行うであろう運転行動を事前に推定する際に、上記目標地点に対する上記車両の位置情報を算出すると共に上記車両の速度情報を検出し、さらに上記車両に搭載されたカメラにより上記運転者の顔画像データを得、この顔画像データから画像認識処理により顔の特定領域の重心を検出することにより上記運転者の顔の方向を表す情報を検出する。そして、車両の位置、速度及び運転者の顔の方向の各々について予め設定された入力メンバーシップ関数と、想定される複数の運転意図の各々について予め設定された出力メンバーシップ関数と、上記各入力メンバーシップ関数と上記各出力メンバーシップ関数との間をマトリクス状に関連付ける複数の個性データをそれぞれ記憶する連想メモリを用意して、この連想メモリに、上記算出された車両の位置情報、上記検出された速度情報、及び上記検出された運転者の顔の方向を表す情報を入力パラメータとして入力し、この連想メモリを用いて正方向及び逆方向の行列演算を予め定められた回数だけ繰り返し実行することにより収束した複数の出力メンバーシップ関数を得、この出力された複数の出力メンバーシップ関数にそれぞれ対応する運転意図グレードの中から値が最も大きいものを選択して、この選択された運転意図グレードに対応する意図を上記運転者の意図認識結果として出力するようにしたものである。
【0009】
またこの発明の別の観点は、車両位置情報を算出する際に、上記目標地点に複数のカメラを配置して、これらのカメラにより車両を互いに異なる方向から撮像してその画像データを当該車両に向け送信する。そして、車両に設けた車両位置情報算出部において、上記複数のカメラから送られた複数の車両画像データを受信し、この受信された複数の車両画像データをもとにステレオ視機能を用いて三次元座標により表される車両の位置情報を算出するものである。
【0010】
またこの発明のさらに別の観点は、顔方向を算出する際に、カメラにより得られた顔画像データから画像認識処理により運転者の口領域の重心座標を検出する。そして、上記カメラと運転者頭部の中心とを結んだ直線Lo とカメラと上記検出された口領域の重心座標とを結んだ直線Lx とにより形成される角度をθ 、運転者頭部の中心と上記検出された口領域の重心座標とを結んだ直線と上記直線Lxとにより形成される角度をθ とし、かつカメラと運転者頭部の中心までの距離をd、運転者の頭部モデルにより求められる頭部半径をr、カメラの画角をφとしたとき、運転者の顔の方向θD2を、
r/sinθ=d/sinθ
sinθ=(d/r)・sinθ
θ=180-arcsin(sinθ)・180/π
θD2=180-(θ+θ
により算出するようにしたものである。
【発明の効果】
【0011】
本発明によれば、人間の意図を適切に推論することができる。
【発明を実施するための最良の形態】
【0012】
以下、図面を参照しながら本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る人間状態推定システムが適用される都市空間における分散感覚知能空間の一例を示す図である。
【0013】
図1は、車両2が道路41を進行している状況を示している。この道路41と道路42との交差点には、2つのカメラ31及び32が配置されている。これらカメラ31及び32は、道路41を通行する車両2を撮像する。このカメラ31及び32の撮像画像の一例は102で示される。また、車両2には、運転者10の動作を取得するための車両搭載カメラ24が搭載され、運転者10を撮像する。この運転者撮像画像の一例は101で示される。さらに、車両2には、車両速度検出装置25が搭載されている。検出された車両速度情報Vは、例えば103で示される撮像画像として表示される。
【0014】
このように、車両搭載カメラ24で撮像された運転者画像に基づき算出された運転者10の動作と、カメラ31及び32で取得された車両画像に基づき算出された車両位置情報Vと、車両速度検出装置25から得られた車両速度情報Vとに基づき、運転者10の意図を推論する。
【0015】
この分散感覚知能空間において、分散感覚知能は、各車両2や、カメラ31,32などからなる車両位置検出機構などである。これら分散感覚知能は、感覚部と知能部からなる。感覚部は、例えばCCDカメラなどのセンサで実装される。知能部は、CPUなどの処理を実行する処理演算装置で実装される。分散感覚知能モデルの感覚部は、環境中における色情報や動き情報、形状情報といった物理量を取得し前処理を行う。この物理量は、単純に速度や位置などの物理的な値のみならず、複合的な物理量も含まれる。例えば、画像情報も、環境の色や動き、形状を示す物理量といえる。知能部は、感覚部で得られた物理量に基づき、人間の行動結果を表す環境情報を生成し、情報を出力するなど知的処理を行う。分散感覚知能空間では、複数の感覚知能を空間全体に分散的に配置することで、空間全体があたかも高知能を持つかのように情報を共有し、補い合う。
【0016】
本実施形態では、分散感覚知能区間において各カメラセンサから送られてくる物理量の取得に、一例としてI-Spaceというソフトウェアを用いる。このI-Spaceは、カメラから送られてくる画像から検出したい色彩のある部分をウィンドウによって保持し、その中から検出した画素の重心を算出するという方法で座標データを取り出す。また、ウィンドウは一定時間ごとに保持している色の、画素の集団の動きを追尾するので、検出したい部分のトラッキングが可能となる。
【0017】
図2は上記人間状態推定システムの各構成の一例を示す図である。図2に示すように、A点及びB点から撮像した2つの車両画像データを車両2の通信制御手段201を介してカメラ31及び32から受信する。車両位置情報算出部202は、これらA点及びB点から撮像した2つの車両画像データに基づき車両位置情報Vを算出する。この車両位置情報Vの算出は、ステレオ視に基づく算出手法で求められる。
【0018】
また、車両2に設けられた車両速度検出装置25は、車両2のモータ2cの回転数などから車両速度情報Vを算出する。また、第1顔方向情報算出部203は、車両搭載カメラ24で得られた運転者10の運転行動を含む車内カメラ画像データに基づき第1顔方向情報θD1を算出する。また、第2顔方向情報算出部204は、視野画像取得カメラ21で得られた運転者10の視野の画像データに基づき第2顔方向情報θD2を算出する。情報再構成部205は、得られた顔方向情報θD1及びθD2に基づき、情報の再構成処理を行い顔方向暫定情報θを得る。ニュートン法補正部206は、顔方向暫定情報θをニュートン法により補正し、顔方向情報θを得る。意図認識部207は、車両位置情報Vと、車両速度情報Vと、顔方向情報θとに基づき意図認識処理を行い運転者10の意図を示す意図認識結果を生成する。得られた意図認識結果は車両2に設けられた表示部22に表示される。もちろん、表示部22は車両2とは別に配置された分散感覚知能に設けられており、無線により意図認識結果がその分散感覚知能に送信されその表示部22に表示されても良い。
【0019】
図2において、カメラ31、32、車両位置情報算出部202により分散感覚知能が構成される。カメラ31及び32がセンサ部として機能し、車両位置情報算出部202が処理演算部として機能する。また、車両速度検出装置25が1つの分散感覚知能として機能する。また、視野画像取得カメラ21、車両搭載カメラ24、第1顔方向情報算出部203、第2顔方向情報算出部204、情報再構成部205及びニュートン法補正部206により分散感覚知能が構成される。視野画像取得カメラ21及び車両搭載カメラ24がセンサ部として機能し、第1顔方向情報算出部203、第2顔方向情報算出部204、情報再構成部205及びニュートン法補正部206が処理演算部として機能する。
【0020】
また、各構成での処理データや、各構成を実行するためのプログラムは、車両2に設けられた記憶装置39に格納され、必要に応じて各構成から読み出される。
【0021】
次に、図3を用いて、カメラ31及び32を用いた車両位置情報Vの算出手法を説明する。
【0022】
図3は車両位置情報Vの検出に、I-Spaceのステレオ視機能を用いている。これは、I-Spaceを2台使用し、それぞれが得た座標データを計算することにより、3次元座標の位置を獲得する。図3において、目標物である車両2の座標をP(x,y,z)、車両2に対して左側のカメラ32の座標をOL、車両2に対して右側のカメラ31の座標をORとし、カメラ32により撮像された画像中の車両2の像面の座標をP(X,Y)とし、カメラ31により撮像された画像中の車両2の像面の座標をP(X,Y)とする。これら座標P及びPは、撮像面での画像中の座標を示している。
【0023】
左側のカメラ32の画像の中心をOL、右側のカメラ31の画像の中心をORとした場合、dは、これら中心OLとORとの距離である。fはカメラ31及び32の焦点距離である。
【0024】
そして、目標物P(x,y,z)は、以下の式(1)~(3)により算出される。
x=d・X/(X-X) …(1)
y=d・Y/(X-X) …(2)
z=d・f/(X-X) …(3)
図4は車両2の概観図であり、図5は車両2の機能を模式的に示した図である。
【0025】
図4に示すように、車両2の車輪2aの回転数と、ハンドル2bの回転角を検出する車両速度検出装置25が設けられている。図5に示すように、外部端末2fや2gと無線LAN2mや無線LAN2nにより通信可能に制御コンピュータ2eが車両2に設けられている。外部端末2fや2gは、他の分散感覚知能に実装されるもので、例えば別の車両に設けられた制御コンピュータや、歩行者の有する携帯端末等が該当する。
【0026】
制御コンピュータ2eからの速度指令及びハンドル角指令を例えば有線で車両制御用マイコンPP7などの制御部2dが受信し、この制御部2dが車両2内に設けられたモータ2c及びハンドル2bを制御する。これにより、所望の車両速度及びハンドルの回転による車両2の運転が可能となる。
【0027】
一方、モータ2cの回転数とハンドル2bの回転角を制御部2dが検出する。制御部2dで検出されたモータ回転数から得られた車輪速度及びハンドル回転角は制御コンピュータ2eに送信される。制御コンピュータ2eに設けられた車両速度検出装置25は、受信した車輪速度に基づき車両速度情報Vを算出し、ハンドル回転角とともに外部端末2fや2gに送信する。
【0028】
図6は顔方向情報の取得を説明するための図である。図6に示すように、車両2内に、頭上に固定された視野画像を取得するためのCCDカメラ等からなる視野画像取得カメラ21と、この視野画像取得カメラ21に接続された制御コンピュータ2hとを備える。また、車両2内に、運転者10の正面の車両2に設置されたCCDカメラ等からなる車両搭載カメラ24と、この車両搭載カメラ24に接続された制御コンピュータ2iとを備える。さらに、運転者10の視野に含まれる例えばフロントガラスの近傍などに、カラーボールなどの3点のカラーマーカ2j~2lが配置されている。
【0029】
視野画像取得カメラ21は、運転者の視野画像を取得し制御コンピュータ2hに出力する。制御コンピュータ2hはI-Spaceの機能を備えており、視野画像データから3点のカラーマーカ2j~2lを検出する。
【0030】
一方、車両搭載カメラ24は、車内カメラ画像(運転者画像)を取得し制御コンピュータ2iに出力する。制御コンピュータ2iは、車内カメラ画像データから運転者10の顔及び唇を検出する。
【0031】
これら制御コンピュータ2h及び2iで得られた検出データに基づき、後述する計算式を用いて顔方向情報θD1及びθD2を算出し、注意機能を備えた情報再構成部205により情報の再構成を行い顔方向暫定情報θを算出する。さらに、ニュートン法補正部206により補正を行い顔方向情報θを算出する。これにより、ロバスト性及び精度の高い検出を行う。これら顔方向情報θD1及びθD2の算出、顔方向暫定情報θの算出、顔方向情報θの算出は、制御コンピュータ2hまたは2iのいずれかが行ってもよいし、別のコンピュータが実行してもよい。具体的には、制御コンピュータ2hで得られたデータを制御コンピュータ2iに送信し、制御コンピュータ2i内で顔方向情報θの算出までの処理を行ってもよいし、これとは逆に制御コンピュータ2i側にデータを集約し、制御コンピュータ2i側で行ってもよい。
【0032】
図7は第1顔方向情報θD1の算出例を説明するための模式図である。図7は、運転者10の頭部に固定された視野画像取得カメラ21の角度2φの画像取得範囲に、車両2に固定されたマーカ2j~2lのうちの2jが含まれている場合を示している。マーカ2j~2lは、車両2の他の部材とは異なる部材等により形成された部分であってもよい。
【0033】
視野画像取得カメラ21とその画像取得範囲の中心とを結んだ直線lに平行にz軸が示され、このz軸に垂直な方向にx軸及びy軸が示されている。視野画像取得カメラ21からマーカ2jまでの距離はdである。マーカ2jの位置は、周知の画像認識技術により検出される。この場合、視野画像内のマーカ2jの像面71におけるx座標が測定された場合、マーカ2jの車両2における視線方向からの距離d、視野角φが既知であるとすると、運転者10の第1顔方向情報θD1は以下の式(4)~(6)により求められる。ここで、φは画角により求められる。
【0034】
=dtanφ|x-x|/x …(4)
tanθD1=d/d …(5)
θD1=arctan(tanθD1)・180/π …(6)
は、直線lの像面71におけるx座標である。
【0035】
次に、図8及び図9を用いて車両搭載カメラ24を用いた第2顔方向情報θD2の算出手法を説明する。
【0036】
図8は、y座標から求められる運転者10と車両搭載カメラ24との距離dの算出手法を説明するための図である。
【0037】
図8において、hは地面81からの車両搭載カメラ24の高さ、Hは地面81から運転者10の頭頂部までの高さである。Lは車両搭載カメラ24の撮像の中心位置を結ぶ直線とすると、この直線Lと運転者10の頭頂部とを結んだ直線Lとの角度がθで表される。また、φは車両搭載カメラ24の視野角である。車両搭載カメラ24から距離Z離れた像面における運転者10の頭頂部の位置をy、また視野角φの境界線Lと像面との交点をyとすると、距離dは以下の式(7)~(9)により求められる。
【0038】
=ytanφ …(7)
θ=arctan(Z/(y-y)) …(8)
d=(H-h)/tanθ …(9)
図9は、図8に基づき求められた距離dを用いたx座標から第2顔方向情報θD2の算出手法を説明するための図である。図9(a)は運転者10及び車両搭載カメラ24を上面から見た模式図を、図9(b)は像面の一例を示す図である。
【0039】
図9(a)は、車両搭載カメラ24の角度2φの画像取得範囲に、検出の対象とする運転者10の頭部10aが含まれている場合を示している。一例として、運転者10の頭部10aのうち、運転者10の口、すなわち図9(a)の口領域10bをマーカとして用いる。運転者頭部10aは、半径rの円形の使用者頭部モデルで近似してあるが、他の形状で近似してもよい。車両搭載カメラ24と運転者頭部10aの中心Cとを結んだ直線に平行にZ軸が示され、このZ軸に垂直な方向にX軸及びY軸が示されている。車両搭載カメラ24から運転者頭部10aの中心Cまでの距離はdである。口領域10bの重心は、周知の画像認識技術により検出される。この場合、像面91における位置xが測定された場合、d、rおよびφが既知であるとすると、運転者10の第2顔方向情報θD2は以下の式(10)~(13)により求められる。ここで、φは画角により、rは使用者頭部モデルにより求められる。
【0040】
r/sinθ=d/sinθ …(10)
sinθ=(d/r)・sinθ …(11)
θ=180-arcsin(sinθ)・180/π …(12)
θD2=180-(θ+θ) …(13)
は、図9(b)に示すように、車両搭載カメラ24と運転者頭部10aの中心Cとを結んだ直線Lと、像面91との交わる位置、すなわち像面91の中心のx座標である。なお、像面91の中心のy座標はyで示される。θは、口領域10bの重心と車両搭載カメラ24とを結んだ直線Lが、直線Lとなす角度である。θは、中心Cと口領域10bの重心とを結んだ直線が直線Lとなす角度であり、θ≧90とする。
【0041】
図10は情報再構成部205の再構成処理を説明するための概念図である。
【0042】
人間の認識や意識などに係わる脳の記憶系の1つに海馬系をモデル化したものが図10の注意機能による再構成モデルである。この情報再構成モデルは、複数の属性パターン(図10ではn個)からの認識及び学習を行うのに非常に有効である。このモデルは、パターン層101とシンボル層102の2層からなる。パターン層101は、色属性、動き属性、形状属性といった属性を表現するもので、各属性は属性パターン101a~101nで表現される。シンボル層102は、人間、ボール、車といった独立したシンボルを表現する。ある物事や概念が想起されると、パターン層101とシンボル層102の両方の細胞群が興奮する。このとき、注意機能は属性パターン101a~101nの一部のみを使用するようにパターン層101を制御し、シンボル層102の一部の想起を阻害する。人間の注意機能はこのほかにもいろいろあるが、本実施形態における注意機能の場合、情報の再構成を行う際に、多くの属性パターン101a~101nのどの属性にどの程度注目するかを決定する制御である。
【0043】
注意機能による情報の再構成は、図10におけるシンボル層102を構成するシンボル要素の数をl個、各属性の内部状態数をm個、属性パターンをn個とすると、以下の式(14)により表現される。
【0044】
=attn1e+attn2e+…+attnne …(14)
ここで、attn∈[0,1]である。ただし、M1e,M2e,…,Mne∈Rl×mnは各属性シンボル間における正規化連想マトリクスであり、M∈Rl×mnは注意機能により再構成される正規化連想マトリクスである。また、attn,attn,…attn∈[0,1]は属性別に注意を制御する変数である。
【0045】
図10において、注意機能により複数の属性パターンから情報の再構成を行うことで1つのシンボルが想起され、結果となる情報を得ることができる。例えば、属性パターン101aが色属性、属性パターン101bが動き属性、属性パターン101cが形状属性とする。この時、色属性のみに注目したい場合、attnの値を1に近づけ、他の属性attn(j≠1)の値を0に近づければよい。このように、注意機能によってattnの値を0から1の間の値に適切に設定し、それぞれの属性への注目度を制御することで、各分散感覚知能の情報を再構成することができる。
【0046】
この手法を用いて視野画像取得カメラ21の情報、すなわち第1顔方向情報θD1を属性パターン101a、車両搭載カメラ24の情報、すなわち第2顔方向情報θD2を属性パターン101bとして情報の再構成を行う。この場合、予め属性パターン101aとシンボル層102とを関連づける連想マトリクスMと、属性パターン101bとシンボル層102とを関連づける連想マトリクスMとを実験などを通して記憶装置に記憶しておき、これを読み出し演算することにより、シンボル層102の値、すなわち顔方向暫定情報θが得られる。連想マトリクスの算出手法は、後述の意図認識部207における連想マトリクスの算出と同様である。いずれかの情報がトラッキングに失敗したときなどに、attnの値を変化させることにより、より正確な角度検出を行うことができる。得られた情報を顔方向暫定情報θとする。なお、このような連想マトリクスを用いた連想記憶システムの処理詳細は、後述の意図認識部207と同様である。
【0047】
ニュートン法補正部206は、顔方向暫定情報θに対してニュートン法による補正を行い顔方向情報θを生成する。補正が必要な場合として、例えば、視野画像取得カメラ21の撮像画像に基づき算出される第1顔方向情報θD1の方が、車両搭載カメラ24の撮像画像に基づき算出される第2顔方向情報θD2よりも正確な顔方向であることが分かった場合を想定する。この場合、視野画像取得カメラ21の画像に基づき得られる第2顔方向情報θD2の値に近づくように、車両搭載カメラ24の画像に基づき得られる第1顔方向情報θD1の算出に当たり与えられる、車両搭載カメラ24と運転者10との距離dを、ニュートン法により補正して補正距離値d’を得る。得られた補正距離値d’に距離dを置き換えて補正顔方向情報θD1’を得る。得られた補正顔方向情報θD1’と既に取得された第2顔方向情報θD2とに基づき、再度情報再構成部205で情報の再構成を行い、得られた値を顔方向情報θとする。
【0048】
意図認識部207は、顔方向情報θと、車両速度情報Vと、車両位置情報Vとに基づき、意図認識処理を行い意図認識結果を生成する。以下、意図認識結果の生成処理について説明する。なお、以下における意図認識部207における処理は、予め格納したデータを読み出し入力された車両位置情報V、速度情報V、顔方向情報θに基づき意図認識処理を実行し意図認識結果を生成する。
【0049】
ある運転行動を起こそうとするとき、一般に運転者はある程度決まった順序で動作を行うことが確認されている。この運転動作時の顔の動作を検出し、その顔方向情報θと、車両速度情報V及び車両位置情報Vから運転意図を認識する。運転意図は、例えば右折、左折、直進などに分類される。
【0050】
本実施形態では、あいまいな概念である人間の意図に関する知識構築の手法として概念ファジイ集合(Conceptual Fuzzy Sets:以下ではCFSと称する)の知識表現を利用する。CFSは次の2つの性質を備える。
a)現実世界の数値データと人間が思考する記号を融合処理できる。
b)物理量から高次概念へのボトムアップ処理と、高次概念から物理量へのトップダウン処理を融合できる。
【0051】
以下に、顔方向情報θ、車両速度情報V及び車両位置情報Vから、運転意図の直進、右折、左折の3つの基本運転行動意図の認識を行う意図認識モデルについて説明する。
【0052】
図11は意図認識モデルの概念図である。意図認識モデルは、その一例として、メンバーシップ関数51及びファジイラベル52で示される下位層と、中位層53と、上位層54とにより表現される。下位層のファジイラベル52(ファジイ集合)は、角度ラベル521、位置ラベル522及び速度ラベル523からなる。角度ラベル521はネガティブ521a“N”、ゼロ521b“Z”、ポジティブ521c“P”の3種類のラベルからなる。位置ラベル522はネガティブ522a“N”、ゼロ522b“Z”、ポジティブ522c“P”の3種類のラベルからなる。速度ラベル523はネガティブ523a“N”、ゼロ523b“Z”、ポジティブ523c“P”の3種類のラベルからなる。
【0053】
これら9種類のファジイラベルは、それぞれメンバーシップ関数51で表現される。511a~511cはそれぞれ角度ラベル521のネガティブ521a“N”、ゼロ521b“Z”、ポジティブ521c“P”の3種類のラベルに対応する関数を示している。512a~512cはそれぞれ位置ラベル522のネガティブ522a“N”、ゼロ522b“Z”、ポジティブ522c“P”の3種類のラベルに対応する関数を示している。513a~513cはそれぞれ速度ラベル523のネガティブ523a“N”、ゼロ523b“Z”、ポジティブ523c“P”の3種類のラベルに対応する関数を示している。
【0054】
中位層53は、学習過程で使用する事例である事例ノードを表している。例えばN個の事例に対し、3基本運転行動を学習するので、合計3Nパターン学習する。N個の事例は、一人の運転者についての事例のみではなく、例えば別個のN人の運転者の事例が採用されるのが望ましい。これにより、例えばN人分の運転の癖、すなわち個性を反映したデータとして登録することができる。この事例ノードは、このように、個性を反映したデータであるので、個性データともいうべきものである。運転行動は、人によってその癖が異なる。したがって、運転支援の際にこの個性を反映した事例ノードを用い、最も癖が似通った事例ノードのデータを参照することで、その人の癖を適格に見極めた運転支援が可能となる。さらには、ある一人の運転行動を複数の場合に分けて登録しておくのが望ましい。同一人の運転行動であっても、例えばいらいらしている時や、のんびりしている時など、その人の気分によって異なる。したがって、同一人の運転行動をその運転している際の運転者の状態に応じて複数登録しておく。これにより、その人の気分までを含めさらにきめの細かい運転支援が可能となる。
【0055】
このように、事例を平均化し、その平均値との間で比較するのではなく、各個性を反映した個性データをそのまま残しておき、各個性データと運転行動を比較することで、精度の高い運転支援が可能となる。
【0056】
事例ノードは、角度については左折、直進、右折の各基本運転行動に対して531~533の3種類与えられ、これら各々の事例ノード531~533はラベル521a~521cに対応付けられたノードA,B,Cと、これらノードA,B,Cと上位層54のノード541,542及び543との結合関係で表現される。
【0057】
位置については左折、直進、右折の各基本運転行動に対して534~536の3種類与えられ、これら各々の事例ノード534~536はラベル522a~522cに対応付けられたノードA,B,Cと、これらノードA,B,Cと上位層54のノード541,542及び543との結合関係で表現される。
【0058】
速度については左折、直進、右折の各基本運転行動に対して537~539の3種類与えられ、これら各々の事例ノード537~539はラベル523a~523cに対応付けられたノードA,B,Cと、これらノードA,B,Cと上位層54のノード541,542及び543との結合関係で表現される。
【0059】
中位層53の事例ノードを531~533、534~536、537~539のように角度、位置、速度に分けて配置する理由は、運転行動の意図が一定パターンとして表現されるのではなく、角度、位置、速度の多様なパターンの組合せから構成されるからである。
【0060】
上位層54は、運転意図を示す層であり、左折541、直進542、右折543の3種類のノードからなる。
【0061】
角度、位置、速度の特徴値が入力されると、中位層53では最も近い特徴を持つノードが最も強く活性化される。この活性化の度合いを活性値分布として得た場合、各パターン毎にどの事例が近いか分かる。
【0062】
しかしながら、中位層53に現れる活性値分布のみでは運転行動を特定することはできない。この問題は、コンテクストの導入により解決される。上位層54は、運転行動を表す層であり、中位層53のすべての事例ノード531~539と結合している。
【0063】
学習データをファジイラベル52とメンバーシップ関数51で示される下位層に与え、その結果中位層53にはこの特徴値と事例ノード531~539との活性値分布が得られる。さらに、この中位層53の活性値分布に基づき、上位層54には教師として運転意図“右折”、“直進”、“左折”の別が与えられる。これらに基づきヘブ学習により上記中位層53と上位層54との結合関係が得られる。この意図認識モデルでは、事例から運転行動をファジイ集合として記憶した後、入力を与えると、下位層と中位層53との間、中位層53と上位層54との間で反響動作を繰り返し、活性値分布がコンテクストに矛盾しない状態に収束することで認識結果を得る。ここで、コンテクストとは、各運転行動の事例から得られた標準パターンであり、パターンに似た角度、位置、速度の特徴値の組合せは促進されるのに対し、パターンに合わない特徴値の組合せは抑制される。
【0064】
次に、CFS(概念ファジイ集合)の概念を図12を用いて説明する。
概念ファジイ61は、連想メモリ上にファジイ知識が分散的に表現されているだけでなく、連想メモリの想起過程を用いてファジイ知識処理も行う機構も持ち合わせている。また、概念ファジイ61は連想メモリで実現されていることから、状況依存性の扱いや多層結合による複雑な処理などのメリットが得られる。
【0065】
ファジイ集合のファジイラベル62や63は概念の名前を、ファジイ集合の形は概念の意味を表現している。意味使用説にしたがえば、言葉の意味は他の言葉によって表現されるが、その意味は使用時によって変化する。したがって、使用時の注意範囲を言葉に付随する活性値で表現すれば、あいまいな言葉の意味を他の言葉によって形つくられるファジイ集合によって表現することができる。この分散的知識表現が概念ファジイ61と呼ばれる。
【0066】
この活性値の分布は、様々な状況に依存して変化するため、状況による意味の変化を表現することができる。また、概念ファジイ61は論理表現に限らずに知識表現が可能である。したがって、論理的には明示的知識表現が不可能なものも明示的に表現することができる。
【0067】
概念ファジイ61の活性値、すなわちメンバーシップ値は、連想メモリによって制御される。そこでノードは概念を表し、リンクは概念間の関係の強さに対応する。図12では、ノードは各ファジイラベル62や63で表され、リンクは各矢印で表される。意味表現されるべき概念のノードとして、例えば図12でファジイラベル62を活性化すると、予め構築されたネットワークを経由して、活性値が伝搬し反響動作が起こる。この反響動作はシステムエネルギが最小になったところで停止し、その結果として意味を表現する側の概念ノードが、あるグレードで活性化される形で想起される。ここに現れる活性値の分布がファジイ集合である。
【0068】
概念ファジイ61は、ニューラルネットワークの学習則を用いて機能的に構築される。すなわち、概念表現の事例に従い、以下の式(21)のHebb学習則を用いてノード間のリンクが修正される。
【数1】
JP0004264944B2_000002t.gif

【0069】
ここで、mijは後述するi列およびj行の連想マトリクスMの行列要素を示し、aはレイヤLの各ノードを、bはレイヤLの各ノードに対応している。
【0070】
概念ファジイ集合において、概念の説明に不要な他の概念は活性化されない。したがって、冗長な説明要素からでも、ノードの選択を含めた構造的学習を行っていることになる。また、概念ファジイ集合では、通常人間が概念を形成していくときのように、別々に形成された個々の概念を逐次的に組合せながら全体的概念を形成してゆく。すなわち、複数の概念ファジイ集合を以下の式(22)に従い合成することができる。
【0071】
M=Norm(M+M+…+M) …(22)
~Mは個別の概念ファジイを、Mは合成された概念ファジイ集合を示す。Normは規格化を示している。一般のニューラルネットワークでは、学習結果には明示的な知識表現が行われていないが、本実施形態の方法では明示的な表現が得られる。
【0072】
次に、意図認識部207で用いられるファジイ連想記憶システムの基礎となるファジイ連想推論について説明する。
【0073】
ファジイ連想推論は、連想記憶ニューラルネットワークの一種である双方向連想記憶(BAM:Bi-directional Associative Memory)を複数個用いたネットワークを構成し、活性値の伝搬を繰り返す反響動作によって推論を行うものである。ここでは、まず連想推論の基本となる双方向連想記憶を説明して、続いてこれをシステム化したファジイ連想記憶システムについて説明する。
【0074】
図13は双方向連想記憶(BAM)の概念を説明するための図である。図13に示すように、レイヤLとレイヤLが構成されるネットワークがあり、レイヤLには複数のノードa,a,…,aが存在し、レイヤLには複数のノードb,b,…,bが存在する。ノード間の結合の重みは、連想マトリクスM∈Rn×pによって表現される。この連想マトリクスMがレイヤLとレイヤLに対してパターンA∈R、B∈Rのペアを銘記しているとすると、レイヤLにノイズを含んだA’∈Rを与えたとしても、レイヤLとレイヤLとの間で反響動作をさせることにより、パターンBが想起される。逆に、レイヤLにノイズを含んだパターンB’∈Rを与えてもパターンAが想起される。この双方向連想記憶における連想は、以下の式(23.1)、式(23.2)によって行われる。
【数2】
JP0004264944B2_000003t.gif

【0075】
ここで、a(t)、b(t)は、ステップtにおける各ノードの活性値ベクトルであり、区分[0,1]に属する値をとる。{0,1}の値としてもよい。φは各ノードA(t)=(a(t),a(t),…,a(t))、B(t)=(b(t),b(t),…,b(t))が持つ関数であり、例えばシグモイド関数が用いられる。また、連想マトリクスMは、銘記したいパターンペアが(A,B),…,(A,B)とすると、以下の式(24.1)、式(24.2)で求められる。
【数3】
JP0004264944B2_000004t.gif

【0076】
ここで、βは連想係数である。Koskoの手法では、連想マトリクスMを求めるとき、{0,1}のパターンペアをバイポーラ変換したパターンペアを用いている。しかしながら、このKoskoの手法で求められた連想マトリクスMを用いると、ネットワークが飽和状態を引き起こす可能性があるので調整が必要となる。この問題を解決するために、連想マトリクスMの正規化の手法が提案されている。そこで、本実施形態で用いるファジイ連想記憶システムでは、この正規化手法により求めた正規化連想マトリクスを用いる。
【0077】
なお、双方向連想記憶(BAM)が銘記できるパターンペアには制約がある。1つは、パターンペア間の直交性が強く、かつ各レイヤ内でパターンとパターンのコンプリメントのハミング距離が十分離れている必要があるということである。もう1つは、連続性仮定が成立する必要があるということである。連続性仮定は、以下の式(25)で表される。
【数4】
JP0004264944B2_000005t.gif

【0078】
ここで、Hはハミング距離である。すなわち、各レイヤで銘記したいパターンがハミング距離と同じくらい離れていないと銘記することが難しいといえる。
【0079】
次に、ファジイ連想記憶システムの構築手法について説明する。
【0080】
図14はファジイルールを連想記憶ネットワークを用いて表現した模式図である。レイヤの設定は、ファジイルールの前件部を代表するレイヤをIf(X)レイヤ、後件部を代表するレイヤをThen(Y)レイヤとする。If(X)レイヤ内のノードは前件部のファジイ集合(メンバーシップ関数)を、Then(Y)レイヤ内のノードは後件部のファジイ集合(メンバーシップ関数)、あるいは入出力関数を代表する。また、前件部と後件部の相関はBAMの記憶できる制約を越えているので、1つのノードが1つのルールを代表するRule(R)レイヤを設定する。したがって、ファジイルールはIf(X)レイヤとRule(R)レイヤ間(連想マトリクスMxr)にBAMを構成することで表現できる。さらに、Rule(R)レイヤには、あいまいさの爆発を防ぐために、他のノードの活性化を抑制する働きをもつコーディネータ結合(Mrr)を設定する。コーディネータ結合とは、同一レイヤ内の任意のノードにおいて、自分に対しては正の重みで結合し、他のノードに対しては負の重みで結合することである。
【0081】
次に、図14のネットワーク構成を例にメモリ上への構築の概念を説明する。図15は連想記憶をネットワークを構築する際に必要な知識である。まず、各々のレイヤ間の連想マトリクスを求めるため、ファジイルールの相関を区間[0,1]に属する値に置き換える。場合により、{0,1}で示される0または1の2値に置き換えてもよい。その結果は以下の式(26)のようになる。
【数5】
JP0004264944B2_000006t.gif

【0082】
この式(26)では、一例として相関を{0,1}で示される0と1の2値で示しているが、これに限定されるものではないことはもちろんである。
【0083】
この算出結果を銘記すべきパターンペアとして、式(24)-1、式(24)-2により、各々のレイヤ間の連想マトリクスを求める。ただし、バイポーラ変換したパターンペアを用いて求めるKoskoの手法はとらない。
【0084】
前述のとおり、本実施形態にて使用するファジイ連想記憶システムは、正規化連想マトリクスを推論時に用いる。よって、ここで求められた連想マトリクスは保存し、以下の式(27)により正規化連想マトリクスMを求める。
【0085】
=a(M+B) …(27)
ここで、各パラメータは以下の通りである。
【数6】
JP0004264944B2_000007t.gif

【0086】
ただし、M,M,B∈Rm×n、mijはMの(i,j)要素とする。
【0087】
ここで、複数のルールセットが定義されている場合、以上の処理をルールセットの数だけ繰り返し複数のネットワークを提案する。そして、ルールセット間の結合に関する情報をテキストファイルから読み込み、それぞれのネットワークを結合する。また、推論時は、定義したルールセット間の結合の重み(連想マトリクス)も正規化して用いる。ここから、ファジイルールRにより構築されたネットワークをネットワークRと表記する。
【0088】
次に、ファジイ連想記憶システムの動作過程を説明する。
推論は、ネットワーク全体で同期をとりながら活性値の伝搬を繰り返すことによって行う。まず、入力をメンバーシップ関数で評価した値をIf(X)レイヤに入力する。そして、連想マトリクスMxr,Mrr,Mryを式(23.1),式(23.2)に適用することによって、設定した連想ステップ数だけ活性値の伝播を繰り返す。たとえば、複数のINrレイヤに連想マトリクスMでつながるOUTレイヤの各ノードの出力outは式(31)で求められる。
【数7】
JP0004264944B2_000008t.gif

【0089】
提案された当初の連想推論は、推論結果の統合を行わないため、過度のあいまいさを引き起こす可能性がある。これを解決するために、式(32.1)~(32.3)を用いてThen(Y)レイヤの活性値を正規化する。
【数8】
JP0004264944B2_000009t.gif

【0090】
ここでnはThen(Y)レイヤ内のノード数、γfはノードiの持つ活性値、γは寄与度である。
【0091】
これにより、寄与度γを得る。この寄与度で後件部のメンバーシップ関数、あるいは入出力関数の出力値を内挿し、得られた関数(値)をMAX結合(和)したものを推論結果とする。
【0092】
次に、実際に構築されたファジイ連想記憶システムに基づいた意図認識部207による意図認識決定処理について図21及び図22のデータフロー図を用いて説明する。
【0093】
まず、意図認識決定処理を実行する前に、意図認識決定処理に用いられるメンバーシップ関数や、N個の個性データを予め記憶装置39に登録しておく。
【0094】
より具体的には、速度メンバーシップ関数μvS,μvB、顔方向メンバーシップ関数μθS,μθB、位置メンバーシップ関数μLS,μLBを入力メンバーシップ関数として記憶装置39に格納する。また、N個の個性データとして、連想マトリクスMxr1,xr1~MxrN,xrN、正規化マトリクスMrr、連想マトリクスMry1,ry1~MryN,ryNを個性データとして記憶装置39に格納する。さらに、運転意図メンバーシップ関数μLS,μLB,μSS,μSB,μRS,μRB~μLS,μLB,μSS,μSB,μRS,μRBを出力メンバーシップ関数として記憶装置39に格納する。
【0095】
N個の個性データは、例えば以下の処理により登録可能である。
【0096】
N人分の運転行動について、車両速度情報V、顔方向情報θ及び車両位置情報Vを算出し、その算出された値を入力ノードに設定する。そして、その運転行動の結果である左折、直進及び右折の別を、出力ノードに設定する。また、これら入力ノードと出力ノードのバッファとして、中間ノードを設定する。そして、入力ノードと中間ノードに対して式(23.1)、式(23.2)及び式(24.1)、式(24.2)を適用することにより、連想マトリクスMxr1,xr1~MxrN,xrNを算出する。一方、中間ノードと出力ノードに対しても同様に式(23.1)、式(23.2)及び式(24.1)、式(24.2)を適用することにより連想マトリクスMry1,ry1~MryN,ryNを算出する。
以上により、N個の個性データが連想マトリクスとして求められる。
【0097】
次に、以上のようにして得られた登録データを用いて以下のように意図認識決定処理を行う。
まず、意図認識部207は、入力された車両の速度V、顔方向θ、位置Vに基づき、それぞれ速度メンバーシップ関数μvs、μvB、顔方向メンバーシップ関数μθs、μθB、位置メンバーシップ関数μLS、μLBにより関数値(速度グレードμvs(V)、μvB(V)、顔方向グレードμθs(θ)、μθB(θ)、位置グレードμLS(V)、μLB(V))を算出する。
【0098】
次に、連想メモリを用いた正方向の行列計算を行う。
具体的には、まず、μvs(V)、μvB(V)、顔方向グレードμθs(θ)、μθB(θ)、位置グレードμLS(V)、μLB(V)を連想メモリ入力INvs、INvB、INps、INpB、INLs、INLBとする。そして、これら連想メモリ入力に対して、N個の個性データに対応したマトリクスMxr1~MxrNを用いてN個の行列計算を行い、それぞれ連想メモリ中間出力R~Rを得る。この連想メモリ中間出力R~Rは算出されるたびに、マトリクスMrrで正規化される。また、得られた連想メモリ中間出力R~RはさらにそれぞれマトリクスMry1~MryNを用いてN個の行列計算を行い、左折、直進、右折で表される連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを得る。連想メモリ出力OUTL1~OUTLNは、運転意図“左折”に対応する出力値、連想メモリ出力OUTs1~OUTsNは、運転意図“直進”に対応する出力値、連想メモリ出力OUTR1~OUTRNは、運転意図“右折”に対応する出力値である。
【0099】
次に、連想メモリを用いた逆方向の行列計算を行う。
得られた連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNに基づき連想マトリクスMry1~MryNを用いてN個の行列計算を行い、連想メモリ中間出力R~Rを得る。この連想メモリ中間出力R~Rの各々は、複数のノードについて得られる。そして、得られた連想メモリ中間出力R~Rに対し、マトリクスMxr1~MxrNを用いてN個の行列計算を行い、連想メモリ入力INvs、INvB、INps、INpB、INLs、INLBを得る。
【0100】
これら連想メモリを用いた正方向、逆方向の計算を予め定められた回数だけ繰り返し行う反響動作を実行し、その状態推移により連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを収束させる。そして、その収束した連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを正規化して正規化連想メモリ出力OUTL1、OUTS1、OUTR1~OUTLN、OUTSN、OUTRNを得る。得られた正規化連想メモリ出力について運転意図メンバーシップ関数μLS,μLB,μSS,μSB,μRS,μRBを用いて運転意図グレードμLS1(OUTL1),μLB1(OUTL1),μSS1(OUTS1),μSB1(OUTS1),μRS1(OUTR1),μRB1(OUTR1)~μLSN(OUTLN),μLBN(OUTLN),μSSN(OUTSN),μSBN(OUTSN),μRSN(OUTRN),μRBN(OUTRN)を得る。
【0101】
得られたN個の個性データについての運転意図グレードに基づき、判定手段207aが運転意図の判定を行い、意図認識結果(左折、直進、右折の別)を得る。判定手段207aの判定は、N個の運転意図グレードのうち、予め定められた判定条件(例えば最も運転意図グレードの値が大きいもの、すなわち最も強く想起されたものを選択する)に基づき、その選択された運転意図グレードに予め対応付けておいた意図(例えば右折)を意図認識結果として出力する。
【0102】
判定手段207aの判定条件は、上述したものに限定されない。例えば、最も運転意図グレードの大きいものと次に大きい運転意図グレードとの差が小さい場合などには、最も運転意図グレードの大きいものと、次に大きい運転意図グレードに対応する運転意図とを平均化してもよい。
【0103】
次に、上述した実施形態に示す人間状態推定システムを適用して意図推論を行った例を説明する。
【0104】
まず、運転者の顔方向情報の取得について説明する。
意図推論を行うための主要な情報として、運転者の顔の動作に着目した。正確かつロバスト性の高い情報を取得するため、運転者の頭上、正面に視野画像取得カメラ21を設置し、前述したI-Spaceを用いて、顔の動作情報を以下の工程により顔方向情報θとして取得した。
【0105】
1)視野画像取得カメラ21で前方、右前方、左前方にトラッキングする定点を設置し、I-Spaceから送られてくる座標情報により第2顔方向情報θD2を取得する。
【0106】
2)車両搭載カメラ24により、運転者の顔と唇をトラッキングし、第1顔方向情報θD1を取得する。
【0107】
3)注意機能を用いた情報の再構成により、顔方向暫定情報θを得て、ロバスト性、精度の向上を図る。
【0108】
4)ニュートン法を用いて、車両搭載カメラ24のパラメータの補正を行い、車両搭載カメラ24単体での精度の向上を図る。
【0109】
5)利用時には、パラメータ補正した算出式を用いて、車両搭載カメラ24の画像に基づき、第1顔方向情報θD1を得て、得られた第1顔方向情報θD1を顔方向情報θに設定する。
【0110】
次に、意図推論について説明する。
カメラ31及び32を用いたステレオ視、運転者の顔方向情報θ、制御部2dからの環境情報を取得し意図推論を行う。より具体的には、図1に示すような、見通しの悪い道路41で実験を行った。
【0111】
車両2は道路41及び42が交差する交差点に向かって道路41を直進する。このときの車両2の車両位置情報Vは、交差点に設置されているカメラ31及び32からなるステレオ視システムによって取得する。同時に、運転者10の顔方向情報θ、車両速度情報Vを取得しファジイ連想記憶システムを用いて意図推論を行い運転者10が右に曲がろうとしているのか、直進しようとしているのか、左に曲がろうとしているのか、意図を認識する。また、学習事例を増やすことにより、認識率の向上を図る。本実施例では、図18に示すように、日本人7パターンの特徴ある基本運転行動データを用いて実験を行った。これらの事例を、図11に示す中位層53に蓄積した。
【0112】
運転行動の学習されていないデータをこの意図認識モデルに入力したときに、コンテクストを用いずに得られた結果が図19である。図19において、各ファジイラベル521a~521c、522a~522c、523a~523cでは、実際に与えられた入力パラメータに基づき得られたメンバーシップグレードの大小を表しており、また、各事例ノード531~539は、既に得られている事例での活性値分布を示している。この図19の結果では、中位層53の活性値分布があいまいで、どの運転意図かを判断できない。これに対して、図20には、コンテクストを用いた結果を示している。各ファジイラベル521a~521c、522a~522c、523a~523cと各事例ノード531~539の表現は図19と同じである。図20の場合、さらに、上位層54のノード541~543についても得られた値の大小が示されている。BAMの反響動作により、ノード活性値分布は“左”に収束する。このように入力値や最初の活性状態が曖昧な場合も、反響動作により活性値分布はコンテクストに依存した状態に収束する。
【0113】
このように、本実施形態の人間状態推定システムは、人間の動作に関連したナチュラルインタフェース、さらに、ネットワークに連携機能を付加し利用者との相互作用を重視した知的ネットワークシステムが構築される。そして、その都市モデルが図16に示される。この図16は福祉防災サイバー都市の概略図である。図16に示すように、駅の周辺の環境に、カメラ31,32が交差点や道路付近に複数配置されている。複数の車両2が駐車し、また交差点に向かって車両2が進入したり、駅周辺から歩行者1が出てくる場合に、これらカメラ31,32で撮像された画像に基づき人間の状態が推定される。
【0114】
より具体的には、図17に示すように、分散感覚知能としての2つのカメラ31,32と、別の分散感覚知能としての車両2aが互いに協調し、運転者の状態を推定することで、進行方向に障害物172や危険物171に近づいていることを車両2aに知らせたり、車両2aと別の分散感覚知能としての車両2bが協調し、運転者の状態を推定することで、車両2bに車両2aが接近していることを車両2bの運転者に知らせることができる。
【0115】
このように、各種センサからなる感覚部と、CPU演算処理により実現される知能とを分散的に持った分散感覚知能を用い、それぞれの知的エージェントが自律的に協調し合うことにより、人間に対して適切なサポート及びガイドを提示する。このような分散感覚知能空間を人間の生活する都市空間へと広げ、日常生活から災害時の緊急支援までを視野に入れた、災害に強く、真の安心感を得る都市を実現できる。
【0116】
本発明は上記実施形態に限定されるものではない。図1に示した都市空間は本実施形態の人間状態推定システムが適用されるほんの一例を示したにすぎない。他の都市空間に分散感覚知能を配置してもよい。また、分散感覚知能は、上記実施形態に示されたものに限定されない。環境の物理量を検出するいかなるセンサも、またこのセンサの検出結果に基づき環境情報を生成するいかなる処理演算部も分散感覚知能として適用可能である。この場合、例えば顔方向などの人間の直接の行動結果のみならず、車両速度や、車両位置など、人間が車両を運転したその行動の結果として得られるいかなる物理量からも、人間の行動結果を表す環境情報を生成し意図認識に生かすことができる。
【0117】
また、図2の例に示すように、1つの分散感覚知能は、センサと処理演算部とが空間の同一位置に配置されている必要はない。例えば、第1顔方向情報θD1を算出する第1の分散感覚知能として、そのセンサとして機能する車両搭載カメラ24と、処理演算部として機能する第1顔方向情報算出部203が示されている。また、第2顔方向情報θD2を算出する第2の分散感覚知能として、そのセンサとして機能する視野画像取得カメラ21と、処理演算部として機能する第2顔方向情報算出部204が示されている。また、速度情報Vを算出する第3の分散感覚知能として、そのセンサ及び処理演算部として機能する車両速度検出装置25が示されている。これら第1乃至第3の分散感覚知能は、車両2にいずれも配置されており、空間的に分離されているものではない。これに対して、車両位置情報Vを算出する第4の分散感覚知能は、センサとして機能するカメラ31及び32が交差点に設置され、その処理演算部として機能する車両位置情報算出部202が車両2に配置される。このように、センサと処理演算部を別の位置に配置してもよい。もちろん、車両位置情報算出部202はカメラ31及び32とともに交差点側に設置してもよい。
【0118】
また、図2の例では、第1顔方向情報θD1と、第2顔方向情報θD2とに基づき情報再構成部205が情報の再構成を行い、ニュートン法補正部206がさらに補正した値に基づき意図認識部207が意図認識処理を行う例を示したが、これに限定されない。例えば、車両搭載カメラ24または視野画像取得カメラ21のいずれかのみを設置し、その一方から得られる顔方向情報に基づき意図認識部207が意図認識処理を行ってもよい。この場合、情報再構成部205を配置する必要がなくなる。さらに、ニュートン法補正部206を省略することもできる。また、ニュートン法補正部206以外に他の補正手法を行う補正部を配置し、その補正値に基づき意図認識部207が意図認識処理を行ってもよいことはもちろんである。
【0119】
また、上記実施形態では、車両速度情報V、車両位置情報V及び顔方向情報θとに基づき人間の意図認識処理を行う例を示したが、これに限定されない。例えば、他にもハンドル角情報を入力パラメータに加えて意図認識処理を行ってもよい。もちろん、他の環境情報を入力パラメータに加えてもよい。
【産業上の利用可能性】
【0120】
以上説明したようにこの発明は、情報インフラの整備された都市空間に生活する情報技術から疎外され、その恩恵を十分に得られていないお年寄りや身体障害者等を支援する人間支援システムで用いられる人間状態推定システム、人間状態推定方法及び人間状態推定プログラムの技術分野に有効である。
【図面の簡単な説明】
【0121】
【図1】本発明の一実施形態に係る人間状態推定システムが適用される都市空間における分散感覚知能空間の一例を示す図。
【図2】同実施形態に係る人間状態推定システムの各構成の一例を示す図。
【図3】同実施形態に係る車両位置Vの算出手法を説明するための図。
【図4】同実施形態に係る車両の概観図。
【図5】同実施形態に係る車両の機能の一部を模式的に示した図。
【図6】同実施形態に係る顔方向情報の取得を説明するための図。
【図7】同実施形態に係る顔方向情報θD1の算出例を説明するための模式図。
【図8】同実施形態に係る顔方向情報θD2の算出手法を説明するための模式図。
【図9】同実施形態に係る顔方向情報θD2の算出手法を説明するための模式図。
【図10】同実施形態に係る情報再構成部の再構成処理を説明するための概念図。
【図11】同実施形態に係る意図認識モデルの概念図。
【図12】同実施形態に係るCFS(概念ファジイ集合)の概念を示す図。
【図13】同実施形態に係る双方向連想記憶(BAM)の概念を説明するための図。
【図14】同実施形態に係るファジイルールを連想記憶ネットワークを用いて表現した模式図。
【図15】同実施形態に係る連想記憶をネットワークを構築する際に必要な知識を示す図。
【図16】同実施形態に係る人間状態推定システムが適用される都市モデルの一例を示す図。
【図17】同実施形態に係る人間状態推定システムの機能例を示す図。
【図18】同実施形態に係る日本人7パターンの特徴ある基本運転行動データを用いて実験を行った事例を示す図。
【図19】同実施形態に係る運転行動の学習されていないデータを意図認識モデルに入力したときに、コンテクストを用いずに得られた結果を示す図。
【図20】同実施形態に係るコンテクストを用いて得られた意図認識結果を示す図。
【図21】同実施形態に係る実際に構築されたファジイ連想記憶システムに基づいた意図認識部による意図認識決定処理を説明するための図。
【図22】同実施形態に係る実際に構築されたファジイ連想記憶システムに基づいた意図認識部による意図認識決定処理を説明するための図。
【符号の説明】
【0122】
2…車両、10…運転者、21…視野画像取得カメラ、22…表示部、24…車両搭載カメラ、31,32…カメラ、41,42…道路、201…通信制御手段、202…車両位置情報算出部、203…第1顔方向情報算出部、204…第2顔方向情報算出部、205…情報再構成部、206…ニュートン法補正部、207…意図認識部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21