TOP > 国内特許検索 > 画像解析装置、画像解析方法及びプログラム > 明細書

明細書 :画像解析装置、画像解析方法及びプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4696245号 (P4696245)
公開番号 特開2007-280151 (P2007-280151A)
登録日 平成23年3月11日(2011.3.11)
発行日 平成23年6月8日(2011.6.8)
公開日 平成19年10月25日(2007.10.25)
発明の名称または考案の名称 画像解析装置、画像解析方法及びプログラム
国際特許分類 G06T   7/00        (2006.01)
G06T   7/20        (2006.01)
FI G06T 7/00 350D
G06T 7/20 C
請求項の数または発明の数 7
全頁数 16
出願番号 特願2006-106999 (P2006-106999)
出願日 平成18年4月7日(2006.4.7)
審査請求日 平成21年4月6日(2009.4.6)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】山川 烈
【氏名】堀尾 恵一
【氏名】中島 英信
個別代理人の代理人 【識別番号】110000154、【氏名又は名称】特許業務法人はるか国際特許事務所
審査官 【審査官】松永 稔
参考文献・文献 市村 直幸,自己組織化型状態空間モデルを用いた運動軌跡のフィルタリング,情報処理学会研究報告 Vol.2001 No.66,日本,社団法人情報処理学会,2001年 7月 6日,第2001巻 第66号
調査した分野 G06T 7/00
G06T 7/20
特許請求の範囲 【請求項1】
画像を順次取得する画像取得手段と、
順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段と、
第1の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第1結合重みベクトル記憶手段と、
第2の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第2結合重みベクトル記憶手段と、
前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第1結合重みベクトル更新手段と、
前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第1の自己組織化マップの出力ベクトルを生成する第1出力ベクトル生成手段と、
前記第1出力ベクトル生成手段により生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第2結合重みベクトル更新手段と、を含み、
前記画像のうち前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、
ことを特徴とする画像解析装置。
【請求項2】
請求項1に記載の画像解析装置において、
第3の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第3結合重みベクトル記憶手段と、
前記第1出力ベクトル生成手段により生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第3結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第3結合重みベクトル更新手段と、
前記第3結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第3の自己組織化マップの出力ベクトルを生成する第3出力ベクトル生成手段と、をさらに含み、
前記第2結合重みベクトル更新手段は、前記第3出力ベクトル生成手段により生成される前記第3の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける、
ことを特徴とする画像解析装置。
【請求項3】
請求項1又は2に記載の画像解析装置において、
前記所定の画像解析処理は、前記注目位置ベクトル判断手段による前記画像中の注目位置ベクトルを判断する処理である、
ことを特徴とする画像解析装置。
【請求項4】
請求項1乃至3のいずれかに記載の画像解析装置において、
前記注目位置ベクトル判断手段は、前記画像中の注目位置ベクトルとともに該注目位置ベクトルに関する重要度を判断し、
前記第1結合重みベクトル更新手段は、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置とともに判断される重要度に応じて該注目位置ベクトルに近づける、
ことを特徴とする画像解析装置。
【請求項5】
請求項1乃至4のいずれかに記載の画像解析装置において、
前記第1出力ベクトル生成手段は、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのそれぞれについて、周囲のユニットに対応する前記結合重みベクトルとの密集度を算出し、該密集度に応じて選択される前記結合重みベクトルを前記第1の自己組織化マップの出力ベクトルとして生成する、
ことを特徴とする画像解析装置。
【請求項6】
画像を順次取得する画像取得ステップと、
順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断ステップと、
前記注目位置ベクトル判断ステップにより判断される前記画像中の注目位置ベクトルに基づき、第1結合重みベクトル記憶手段に記憶される、第1の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルのうち、該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを、第2結合重みベクトル記憶手段に記憶される、第2の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルに近づける第1結合重みベクトル更新ステップと、
前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第1の自己組織化マップの出力ベクトルを生成する第1出力ベクトル生成ステップと、
前記第1出力ベクトル生成ステップで生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第2結合重みベクトル更新ステップと、を含み、
前記画像のうち前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、
ことを特徴とする画像解析方法。
【請求項7】
画像を順次取得する画像取得手段、
順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段、
第1の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第1結合重みベクトル記憶手段、
第2の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第2結合重みベクトル記憶手段、
前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第1結合重みベクトル更新手段、
前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第1の自己組織化マップの出力ベクトルを生成する第1出力ベクトル生成手段、及び
前記第1出力ベクトル生成手段により生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第2結合重みベクトル更新手段としてコンピュータを機能させるとともに、
該コンピュータに、前記画像のうち前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行わせる、
ことを特徴とするプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は画像解析装置、画像解析方法及びプログラムに関し、特に画像中の解析対象箇所を判断する情報処理に関する。
【背景技術】
【0002】
車両前方の歩行者を素早く確実に検知して、車両運転者に報知する各種システムが提案されている。例えば、下記特許文献1には、ステレオカメラからの画像に基づいて歩行者を検出して、それにより各種警報を行う歩行者検出装置が開示されている。

【特許文献1】特開2005-228127号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
車両前方を撮像した画像を解析して、そこから歩行者等の対象物体を検知し、またその対象物体の重要度を判定しようとする場合、画像全体を常に解析対象とするのは非効率であり、対象物体の検知及びその重要度の判定を素早く行うことが困難となる。そこで、画像の一部領域のみを解析対象とすることが考えられる。
【0004】
この点、人間は現に目視できている歩行者を監視し、重要度が低いと(危険が去ったと)判断すると、過去の経験に基づいて他の歩行者が居そうな場所に目線を写す。このように、車両前方のうち現在及び過去の知見を総合勘案して、適切な箇所に対して監視等のための画像解析を行うことは、この種の情報処理を合理化するのに極めて重要である。
【0005】
本発明は上記課題に鑑みてなされたものであって、その目的は、現在及び過去の知見を総合勘案して、撮像された画像中の適切な箇所に対して監視等のための画像解析を行うことができる画像解析装置、画像解析方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る画像解析装置は、画像を順次取得する画像取得手段と、順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段と、第1の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第1結合重みベクトル記憶手段と、第2の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第2結合重みベクトル記憶手段と、前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第1結合重みベクトル更新手段と、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第1の自己組織化マップの出力ベクトルを生成する第1出力ベクトル生成手段と、前記第1出力ベクトル生成手段により生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第2結合重みベクトル更新手段と、を含み、前記画像のうち前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、ことを特徴とする。
【0007】
また、本発明に係る画像解析方法は、画像を順次取得する画像取得ステップと、順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断ステップと、前記注目位置ベクトル判断ステップにより判断される前記画像中の注目位置ベクトルに基づき、第1結合重みベクトル記憶手段に記憶される、第1の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルのうち、該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを、第2結合重みベクトル記憶手段に記憶される、第2の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルに近づける第1結合重みベクトル更新ステップと、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第1の自己組織化マップの出力ベクトルを生成する第1出力ベクトル生成ステップと、前記第1出力ベクトル生成ステップで生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第2結合重みベクトル更新ステップと、を含み、前記画像のうち前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行う、ことを特徴とする。
【0008】
また、本発明に係るプログラムは、画像を順次取得する画像取得手段、順次取得される前記画像中の注目位置ベクトルを判断する注目位置ベクトル判断手段、第1の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第1結合重みベクトル記憶手段、第2の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第2結合重みベクトル記憶手段、前記注目位置ベクトル判断手段により判断される前記画像中の注目位置ベクトルに基づき、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置ベクトルに近づけつつ、時間経過に従って前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルを前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに近づける第1結合重みベクトル更新手段、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第1の自己組織化マップの出力ベクトルを生成する第1出力ベクトル生成手段、及び前記第1出力ベクトル生成手段により生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第2結合重みベクトル更新手段としてコンピュータを機能させるとともに、該コンピュータに、前記画像のうち前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに応じた部分に対して所定の画像解析処理を行わせる、ことを特徴とする。このプログラムは、CD-ROMやDVD-ROM等の各種のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
【0009】
本発明によれば、第2の自己組織化マップの結合重みベクトルは、過去の注目位置ベクトルを反映したものとなる。一方、第1の自己組織化マップの結合重みベクトルは、こうした性格を有する第2の自己組織化マップの結合重みベクトルを基礎に、そこに最近の注目位置ベクトルの影響を加えたものとなる。従って、過去の注目位置ベクトルに近似する注目位置ベクトルがカメラによる撮像画像その他の画像から得られた場合には、該注目位置ベクトルに応じた少なくとも一部が、素早く、該注目位置ベクトルに非常に近いものに変わる。また、注目位置ベクトルの入力が無ければ、第1の自己組織化マップの結合重みベクトルは、時間経過に従って第2の自己組織化マップの結合重みベクトルに近づく。従って、第1の自己組織化マップの結合重みベクトルに基づいて画像中の画像解析処理の対象領域を決定すると、注目位置があればその位置に応じた領域が画像解析処理の対象領域となり、注目位置が無くなれば過去の注目位置に応じた領域が画像解析処理の対象領域となる。このため、あたかも人間のように、現在及び過去の知見を総合勘案して、画像中の適切な箇所に対して監視等のための画像解析処理を行うことができる。
【0010】
本発明の一態様では、第3の自己組織化マップの競合層に配置されたユニットにそれぞれ対応する複数の結合重みベクトルを記憶する第3結合重みベクトル記憶手段と、前記第1出力ベクトル生成手段により生成される前記第1の自己組織化マップの出力ベクトルに基づき、前記第3結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける第3結合重みベクトル更新手段と、前記第3結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルに基づき、前記第3の自己組織化マップの出力ベクトルを生成する第3出力ベクトル生成手段と、をさらに含み、前記第2結合重みベクトル更新手段は、前記第3出力ベクトル生成手段により生成される前記第3の自己組織化マップの出力ベクトルに基づき、前記第2結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該出力ベクトルに応じた少なくとも一部を該出力ベクトルに近づける。こうすれば、第3の自己組織化マップをいわばバッファのように使用して、第1の自己組織化マップの出力ベクトルに基づいて第2の自己組織化マップの結合重みベクトルが更新されるのを遅延させることができ、第2の自己組織化マップの結合重みベクトルの変動を抑制することができるようになる。
【0011】
また、本発明の一態様では、前記所定の画像解析処理は、前記注目位置ベクトル判断手段による前記画像中の注目位置ベクトルを判断する処理である。こうすれば、注目位置ベクトルを判断する処理を画像の適切な一部に限ることができ、処理を高速化することができる。
【0012】
また、本発明の一態様では、前記注目位置ベクトル判断手段は、前記画像中の注目位置ベクトルとともに該注目位置ベクトルに関する重要度を判断し、前記第1結合重みベクトル更新手段は、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのうち該注目位置ベクトルに応じた少なくとも一部を該注目位置とともに判断される重要度に応じて該注目位置ベクトルに近づける。こうすれば、注目位置ベクトルに応じて第1の自己組織化マップの結合重みベクトルを更新する場合に、その注目位置ベクトルの重要度が高いほど大きく更新され、注目位置ベクトルに大きく近づくようにできる。
【0013】
また、本発明の一態様では、前記第1出力ベクトル生成手段は、前記第1結合重みベクトル記憶手段に記憶される前記複数の結合重みベクトルのそれぞれについて、周囲のユニットに対応する前記結合重みベクトルとの密集度を算出し、該密集度に応じて選択される前記結合重みベクトルを前記第1の自己組織化マップの出力ベクトルとして生成する。あるユニットに対応する結合重みベクトルの密集度が高ければ、その結合重みベクトルと近似する注目位置ベクトルが繰り返し第1の自己組織化マップに入力されたと評価することができるから、この態様によれば、繰り返し入力された注目位置ベクトルを選択的に第1の自己組織化マップの出力とすることができる。この結果、第2の自己組織化マップの結合重みベクトルを、繰り返し入力された注目位置ベクトルに応じたものとすることができる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【0015】
図1は、本発明の実施形態に係る画像解析装置の構成を示す図である。同図に示すように、この画像解析装置10は、動画像カメラ12、フレーム画像取得部14、画像解析部16、解析領域判断部18、重要度算出部20、警告部22を含んで構成されている。フレーム画像取得部14、画像解析部16、解析領域判断部18、重要度算出部20は、公知のコンピュータに解析用プログラムを実行させることにより実現されており、この解析用プログラムは、例えばCD-ROMやDVD-ROM等のコンピュータ読み取り可能な情報記憶媒体により、コンピュータにインストールされる。
【0016】
画像解析装置10は、例えば自動車に設置され、車両運転上の危険を運転者に報知するものであり、動画像カメラ12は車両前方の動画像を撮像するよう設置される。動画像カメラ12により撮像された車両前方の動画像データは、図2に示すように、所定時間(例えば1/60秒)毎の車両前方の画像(フレーム画像)を含んでおり、フレーム画像取得部14は、この動画像データから各時刻のフレーム画像を切り出す。そして、このフレーム画像を示すフレーム画像データを画像解析部16に供給する。図3は、図2に示す動画像データから切り出されたフレーム画像を示している。同図に示すように、フレーム画像の中央には道路(画像解析装置10が搭載された自動車が走行する車線)が映し出され、場合により該道路を横切る歩行者Tが映し出される。
【0017】
画像解析部16は、フレーム画像データにより示されるフレーム画像から、歩行者T(図3参照)の有無及び歩行者Tの位置座標(フレーム画像における位置を特定する座標)を判断し、フレーム画像に歩行者が表れている場合には、その位置座標を示す注目位置ベクトルXsを重要度算出部20及び解析領域判断部18に供給する。
【0018】
画像解析部16は、フレーム画像を解析して、歩行者Tの有無及び歩行者Tの位置座標を判断する際、フレーム画像全体では無く、図4の符号Rで示されるフレーム画像中の部分領域のように、フレーム画像の一部を画像解析対象としている。この解析対象となる一部は、解析領域判断部18から供給される解析領域データによって特定されるものであり、フレーム画像において歩行者が映し出されている可能性が高い部分である。
【0019】
画像解析部16では、解析領域判断部18から供給される解析領域データによって特定される画像領域に対して、各種の移動物体検出処理を施すことにより、歩行者Tの有無及び歩行者Tの位置座標を判断することができる。例えばモラベックオペレータ(Moravec Operator)を適用することにより、フレーム画像における特徴点を特定し、さらにフレーム画像のフレーム間差分を算出することにより、フレーム画像における動きのある領域(差分領域)を特定する。そして、特徴点のうち差分領域に含まれるものから、所定基準により移動物体(歩行者T)の位置を判断する。その他、人間の外観によるパターンマッチングでフレーム画像における歩行者Tの有無及び歩行者Tの位置座標を判断してもよい。
【0020】
重要度算出部20は、画像解析部16から供給される歩行者Tの位置座標を示すデータ、すなわち注目位置ベクトルXに基づいて、該注目位置ベクトルXの重要度dを算出する。ここでは、歩行者Tが道路の左右どちらにいるか、歩行者Tの移動速度、歩行者Tの位置によって、歩行者Tに迫る危険の程度が異なることに着目して、重要度dを算出する。このため、図5に示すように、まずフレーム画像に映し出された道路が遠方で消失する点である、道路消失点Dを判定し、この道路消失点Dの位置よりも左側(領域A)に歩行者Tが映し出されているか、右側(領域B)に映し出されているかを判断する。また、フレーム画像の左上隅を原点とし、下方をy方向、右方をx方向として、現在時刻tにおける歩行者Tが映し出されている位置座標(x(t),y(t))を求める。また、x(t)のフレーム間差分より、歩行者Tの右方向に移動しているか、左方向に移動しているかを判定する。さらに、この位置座標(x,y)のフレーム時間間隔における移動距離より、歩行者Tの移動速度S(t)を求める。
【0021】
その後、以下の式(1)~(4)によって重要度dを算出する。すなわち、歩行者Tが領域Aに映し出され、歩行者Tの移動方向が左であれば、式(1)により重要度dを算出する。また、歩行者Tが領域Aに映し出され、歩行者Tの移動方向が右であれば、式(2)により重要度dを算出する。また、歩行者Tが領域Bに映し出され、歩行者Tの移動方向が左であれば、式(3)により重要度dを算出する。さらに、歩行者Tが領域Bに映し出され、歩行者Tの移動方向が右であれば、式(4)により重要度dを算出する。ここで、k1~k4は定数であり、k4<k1<k3<k2を満足する。
【0022】
【数1】
JP0004696245B2_000002t.gif

【0023】
なお、上記の道路消失点Dの検出は、例えば、Hough変換やクラスタリング手法により直線を検出して、これら直線の交点から検出するようにしてもよい。
【0024】
図1に戻り、警告部22はLCD等の表示装置やスピーカ等の発音装置を含んで構成されており、重要度算出部20により算出される重要度dが所定値以上であれば、表示装置にその旨を表示したり、発音装置により警告音を出力したりして、車両運転者に警告を行うものである。
【0025】
また、重要度算出部20により算出される重要度dは、解析領域判断部18にも供給されている。解析領域判断部18は、この重要度dと画像解析部176から供給される注目位置ベクトルXsとに基づいて、解析領域データを生成するものである。
【0026】
図6は、解析領域判断部18の構成を詳細に示している。同図に示すように、解析領域判断部18は、3つの自己組織化マップ(SOM;Self Organizing Map)を管理しており、短期記憶用SOM管理部18sと、中期記憶用SOM管理部18mと、長期記憶用SOM18lと、を含んで構成されている。
【0027】
短期記憶用SOM管理部18sは、図7に示す短期記憶用SOM(第1の自己組織化マップ)を管理するものであり、短期記憶用SOMの結合重みベクトルWp,qの更新、出力ベクトルの算出を行う。短期記憶用SOMには、注目位置ベクトルXが入力されており、競合層にN行M列に配置されたユニットUp,qのそれぞれに関する結合重みベクトルWp,qは、入力された注目位置ベクトルX及び重要度dにより更新される。
【0028】
すなわち、短期記憶用SOMには、画像解析部16から供給される注目位置ベクトルXが入力される。この注目位置ベクトルXは、次式(5)に示すように2次元ベクトルである。
【0029】
【数2】
JP0004696245B2_000003t.gif

【0030】
また、図6に示されるように、短期記憶用SOM管理部18sには、長期記憶用SOM管理部18lにより管理される長期記憶用SOMの結合重みベクトルWp,qがフィードバックされており、短期記憶用SOMの結合重みベクトルWp,qは次式(6)に従って更新されている。
【0031】
【数3】
JP0004696245B2_000004t.gif

【0032】
ここで、Wp,q(t)は時刻tにおける短期記憶用SOMの結合重みベクトルであり、objは時刻tのフレーム画像に歩行者Tが映し出されていれば1の値をとり、映し出されていなければ0の値をとる。また、βは所与の定数である。さらに、αは、重要度dを用いて次式(7)によって算出される。
【0033】
【数4】
JP0004696245B2_000005t.gif

【0034】
ここで、σは定数であり、p及びqは競合層における勝者ユニットを特定するものであり、勝者ユニットは次式(8)により特定される。
【0035】
【数5】
JP0004696245B2_000006t.gif

【0036】
更新式(6)における第2項は、結合重みベクトルWp,qを入力ベクトルである注目位置ベクトルXに近づける働きを有する。この際、注目位置ベクトルXに近づく程度は、式(7)により重要度dに比例する。また、第3項は、結合重みベクトルWp,qを長期記憶用SOMの結合重みベクトルWp,qに近づける働きを有する。更新式(6)によれば、短期記憶用SOMの結合重みベクトルWp,qは、通常は、長期記憶用SOMの結合重みベクトルWp,qに近づいており、注目位置ベクトルXが入力されると、その影響を受けて注目位置ベクトルXに近づくことになる。
【0037】
短期記憶用SOMの出力を決定するにあたり、短期記憶用SOM管理部18sでは、次式(9)により各結合重みベクトルWp,qの密集度confp,qを算出する。
【0038】
【数6】
JP0004696245B2_000007t.gif

【0039】
ここで、dp,qは、ユニットUp,qの結合重みベクトルWp,qと、その周囲のユニットUp+1,q、Up-1,q、Up,q+1、Up,q-1の結合重みベクトルWp+1,q、Wp-1,q、Wp,q+1、Wp,q-1と、平均距離であり、次式(10)により表される。
【0040】
【数7】
JP0004696245B2_000008t.gif

【0041】
そして、短期記憶用SOMからは、密集度confp,qが所定の閾値θ以上であるユニットUp,qについてのみ、その結合重みベクトルWp,qが出力される。短期記憶用SOM管理部18sからは、結合重みベクトルWp,q、その結合重みベクトルWp,qに係る密集度confp,qが、中期記憶用SOM管理部18mに入力されている。
【0042】
また、短期記憶用SOM管理部18sは、短期記憶用SOMの結合重みベクトルWp,qのうち、密集度confp,qの最大値に対応するものを、注視点として選出するとともに、その周囲の所定の広さを有する領域のデータを解析領域データとして画像解析部16にフィードバックしている。これにより、画像解析部16における画像解析処理をフレーム画像の一部領域に限定している。
【0043】
中期記憶用SOM管理部18mは、図8に示す中期記憶用SOM(第3の自己組織化マップ)を管理するものであり、中期記憶用SOMの結合重みベクトルWp,qの更新、出力ベクトルの算出を行う。中期記憶用SOMには、密集度confp,qが閾値θ以上である短期記憶用SOMのユニットUp,qの結合重みベクトルWp,qが入力されている。そして、競合層にN行M列に配置されたユニットUp,qのそれぞれに関する結合重みベクトルWp,qは、入力された結合重みベクトルWp,q及び密集度confp,qにより更新される。
【0044】
すなわち、中期記憶用SOMには、次式(11)のように、短期記憶用SOMの結合重みベクトルWp,qのうち、密集度confp,qが閾値θ以上のものが、入力ベクトルXとして入力される。
【0045】
【数8】
JP0004696245B2_000009t.gif

【0046】
そして、中期記憶用SOMの結合重みベクトルWp,qは、次式(12)に従って更新されている。
【0047】
【数9】
JP0004696245B2_000010t.gif

【0048】
ここで、Wp,q(t)は時刻tにおける中期記憶用SOMの結合重みベクトルであり、objは時刻tのフレーム画像に歩行者Mが映し出されていれば1の値をとり、映し出されていなければ0の値をとる。また、βは所与の定数である。Winitp,qは、中期記憶用SOMの結合重みベクトルWp,qの初期配置である。さらに、αは、中期記憶用SOM管理部18sから入力される密集度confp,qを用いて、次式(13)によって算出される。
【0049】
【数10】
JP0004696245B2_000011t.gif

【0050】
ここで、σは定数であり、p及びqは競合層における勝者ユニットを特定するものであり、勝者ユニットは上記式(8)と同様にして特定される。
【0051】
更新式(12)における第2項は、結合重みベクトルWp,qを入力ベクトルXに近づける働きを有する。この際、入力ベクトルXに近づく程度は、式(13)により密集度confp,qに比例する。また、第3項は、結合重みベクトルWp,qを初期配置Winitp,qに近づける働きを有する。更新式(12)によれば、中期記憶用SOMの結合重みベクトルWp,qは、フレーム画像に歩行者Tが映し出されている間は、入力ベクトルX、すなわち短期記憶用SOMの密集度confp,qが高い値の結合重みベクトルWp,qに近づき、フレーム画像から歩行者Tが消えると、初期配置Winitp,qに近づく。
【0052】
中期記憶用SOMの出力を決定するにあたり、中期記憶用SOM管理部18mでは、次式(14)により各結合重みベクトルWp,qの密集度confp,qを算出する。
【0053】
【数11】
JP0004696245B2_000012t.gif

【0054】
ここで、dp,qは、ユニットUp,qの結合重みベクトルWp,qと、その周囲のユニットUp+1,q、Up-1,q、Up,q+1、Up,q-1の結合重みベクトルWp+1,q、Wp-1,q、Wp,q+1、Wp,q-1と、平均距離であり、次式(10)と同様にして求められる。
【0055】
そして、フレーム画像から歩行者Tが消失した場合に、中期記憶用SOMから結合重みベクトルWp,qが出力される。そして、中期記憶用SOM管理部18mからは、結合重みベクトルWp,q、その結合重みベクトルWp,qに係る密集度confp,qが、長期記憶用SOM管理部18lに入力される。
【0056】
長期記憶用SOM管理部18lは、図9に示す長期記憶用SOM(第2の自己組織化マップ)を管理するものであり、長期記憶用SOMの結合重みベクトルWp,qの更新、出力ベクトルの算出を行う。長期記憶用SOMには、フレーム画像から歩行者Mが消失した際、中期記憶用SOMのユニットUp,qの結合重みベクトルWp,qが入力されている。そして、競合層にN行M列に配置されたユニットUp,qのそれぞれに関する結合重みベクトルWp,qは、入力された結合重みベクトルWp,q及び密集度confp,qにより更新される。
【0057】
すなわち、長期記憶用SOMには、次式(15)のように、中期記憶用SOMの結合重みベクトルWp,qが、入力ベクトルXとして入力される。
【0058】
【数12】
JP0004696245B2_000013t.gif

【0059】
そして、長期記憶用SOMの結合重みベクトルWp,qは、次式(16)に従って更新されている。
【0060】
【数13】
JP0004696245B2_000014t.gif

【0061】
ここで、Wp,q(t)は時刻tにおける長期記憶用SOMの結合重みベクトルであり、Δtは中期記憶用SOMの記憶時間(フレーム画像に歩行者Mが表れてから、歩行者Tが消失するまでの時間)である。さらに、αは、中期記憶用SOM管理部18mから入力される密集度confp,qを用いて、次式(17)によって算出される。
【0062】
【数14】
JP0004696245B2_000015t.gif

【0063】
ここで、σは定数であり、p及びqは競合層における勝者ユニットを特定するものであり、勝者ユニットは上記式(8)と同様にして特定される。
【0064】
更新式(16)における第2項は、結合重みベクトルWp,qを入力ベクトルXlに近づける働きを有する。この際、入力ベクトルXに近づく程度は、式(17)により密集度confp,qに比例する。更新式(12)によれば、長期記憶用SOMの結合重みベクトルWp,qは、中期記憶用SOMの結合重みベクトルWp,qに近づく。こうして更新される結合重みベクトルWp,qは、短期記憶用SOM管理部18sにフィードバックされ、短期記憶用SOMの結合重みベクトルWp,qの更新に用いられる。
【0065】
本実施形態によれば、長期記憶用SOMの結合重みベクトルWp,qは、過去の注目位置ベクトルXを反映したものとなる。一方、短期記憶用SOMの結合重みベクトルWp,qは、こうした性格を有する長期記憶用SOMの結合重みベクトルWp,qを基礎に、そこに最近の注目位置ベクトルXの影響を加えたものとなる。従って、過去の注目位置ベクトルXに近似する注目位置ベクトルXが動画像カメラ12による撮像されたフレーム画像から得られた場合には、該注目位置ベクトルXに応じた少なくとも一部が、素早く、該注目位置ベクトルXに非常に近いものに変わる。また、注目位置ベクトルXの入力が無ければ(歩行者Mがフレーム画像から消失すれば)、短期記憶用SOMの結合重みベクトルWp,qは、時間経過に従って長期記憶用SOMの結合重みベクトルWp,qに近づく。従って、短期記憶用SOMの結合重みベクトルWp,qに基づいてフレーム画像中の画像解析処理(歩行者Tの有無及び歩行者Tの位置座標の算出処理)の対象領域を決定すると、歩行者Tがフレーム画像に表れていればその位置に応じた領域が画像解析処理の対象領域となり、歩行者Tがフレーム画像から消失すれば過去の注目位置に応じた領域が画像解析処理の対象領域となる。このため、あたかも人間のように、現在及び過去の知見を総合勘案して、フレーム画像中の適切な箇所に対して歩行者Tの検出処理を行うことができる。
【0066】
図10は、本実施形態に係る画像解析装置10を用いて、車両前方の動画像を処理した様子を示している。同図の最上段は、時刻t=0、t=10、t=20、t=30、t=40におけるフレーム画像を示している。上段の各フレーム画像に表された矩形は、歩行者Tの位置を示している。また、各フレーム画像の下には、t=0、t=20、t=30、t=40における短期記憶用SOM、中期記憶用SOM、長期記憶用SOMの結合重みベクトルWp,q、Wp,q、Wp,qがそれぞれ上から順に示されている。短期用SOMの結合重みベクトルWp,qの図には、注視点が丸印で示されている。これらの図から解るように、フレーム画像に歩行者Tが映し出されていると、通常はその位置に近い位置が注視点となる(t=10,20,30)。しかし、フレーム画像に歩行者Tが映し出されていても、歩行者Tがフレーム画像の端に移動するなどして、その重要度dが低下すると、注視点は歩行者Tの位置から離れ、長期記憶用SOMの結合重みベクトルWp,qに応じた位置に移る。このように、本実施形態によれば、あたかも人間のように、現在及び過去の知見を総合勘案して、フレーム画像中の適切な箇所に対して歩行者Tの検出処理を行うことができる。
【図面の簡単な説明】
【0067】
【図1】本発明の実施形態に係る画像解析装置の構成図である。
【図2】動画像データの一例を示す図である。
【図3】動画像データから切り出されるフレーム画像データの一例を示す図である。
【図4】解析対象領域を示す図である。
【図5】注目位置の重要度を算出する処理を説明する図である。
【図6】解析領域判断部の構成図である。
【図7】短期記憶用SOMを示す図である。
【図8】中期記憶用SOMを示す図である。
【図9】長期記憶用SOMを示す図である。
【図10】本実施形態に係る画像解析装置の動作例を示す図である。
【符号の説明】
【0068】
10 画像解析装置、12 動画像カメラ、14 フレーム画像取得部、16 画像解析部、18 解析領域判断部、18s 短期記憶用SOM管理部、18m 中期記憶用SOM管理部、18l 長期記憶用SOM管理部、20 重要度算出部、22 警告部。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9