TOP > 国内特許検索 > 画像解析による対象物検知システム > 明細書

明細書 :画像解析による対象物検知システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2017-027176 (P2017-027176A)
公開日 平成29年2月2日(2017.2.2)
発明の名称または考案の名称 画像解析による対象物検知システム
国際特許分類 G06T   7/00        (2017.01)
G08G   1/16        (2006.01)
G06T   1/00        (2006.01)
H04N   7/18        (2006.01)
FI G06T 7/00 300B
G08G 1/16 C
G06T 1/00 330B
H04N 7/18 K
H04N 7/18 J
請求項の数または発明の数 10
出願形態 OL
全頁数 20
出願番号 特願2015-142585 (P2015-142585)
出願日 平成27年7月17日(2015.7.17)
発明者または考案者 【氏名】川西 康友
【氏名】出口 大輔
【氏名】村瀬 洋
出願人 【識別番号】504139662
【氏名又は名称】国立大学法人名古屋大学
個別代理人の代理人 【識別番号】100165663、【弁理士】、【氏名又は名称】加藤 光宏
審査請求 未請求
テーマコード 5B057
5C054
5H181
5L096
Fターム 5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CH07
5B057DA06
5B057DB02
5B057DB09
5B057DC33
5B057DC36
5C054CA04
5C054CC02
5C054FC12
5C054HA30
5H181AA01
5H181AA21
5H181BB04
5H181BB05
5H181CC04
5H181CC12
5H181FF05
5H181LL01
5H181LL06
5L096BA02
5L096BA04
5L096JA03
5L096JA11
5L096JA14
5L096JA18
要約 【課題】 撮影した画像を解析することによって歩行者等の対象物の検知する際の精度向上を図る。
【解決手段】 車両100に搭載したカメラ103で撮影した画像等を解析して歩行者等の対象物を検知する。検知は、画像内の種々の位置に種々のサイズで検知枠を配置し、検知枠内の画像に対して特徴量を算出し、予め対象物の一般的な姿勢、形状に基づいて用意された特徴量(汎用パターン)と比較することで行う。また、汎用パターンの他に、特定の歩行者についての画像情報を記憶した参照情報を用意しておき、参照情報の特徴量との比較も行う。汎用パターンとの比較においては誤差の許容範囲を大きくして検知漏れを回避しつつ、参照情報との比較を併用することによって、全体として高精度での検知を実現することができる。
【選択図】 図1
特許請求の範囲 【請求項1】
画像解析によって対象物を検知する対象物検知システムであって、
解析すべき解析対象画像を取得する画像取得部と、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得する参照情報取得部と、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する対象物検知部とを備える対象物検知システム。
【請求項2】
請求項1記載の対象物検知システムであって、
前記対象物検知部は、
前記参照情報を用いることなく前記汎用パターンを用いて前記検知を行う1次検知と、
前記参照情報を用いて前記検知を行う2次検知と、
をそれぞれ実行する対象物検知システム。
【請求項3】
請求項2記載の対象物検知システムであって、
前記1次検知と、前記2次検知とは、異なる方法によって実行される対象物検知システム。
【請求項4】
請求項2または3記載の対象物検知システムであって、
前記1次検知による検知結果には、相対的に検知精度が高い高精度検知結果と、検知精度が低い低精度検知結果とが含まれ、
前記2次検知は、前記低精度検知結果に対して適用される対象物検知システム。
【請求項5】
請求項1~4いずれか記載の対象物検知システムであって、
前記参照情報は、他の対象物検知システムによる検知結果に基づいて生成された情報である対象物検知システム。
【請求項6】
請求項1~5いずれか記載の対象物検知システムであって、
前記参照情報取得部は、所定のタイミングで、前記参照情報を蓄積するサーバにアクセスして取得する対象物検知システム。
【請求項7】
請求項1~6いずれか記載の対象物検知システムであって、
更新すべき新たなデータが前記参照情報として取得された時に、該参照情報を配信する配信システムとネットワークを介して接続されており、
前記参照情報取得部は、前記配信される参照情報を取得する対象物検知システム。
【請求項8】
対象物を表す汎用の画像情報を予め格納したデータである汎用パターンと、解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する機能を有する複数の対象物検知システムとネットワークで接続され、該対象物検知システムに対して、前記検知において前記汎用パターンと併用されるべき参照情報を、前記ネットワークを介し送信する参照情報送信システムであって、
いずれかの前記対象物検知システムにおける前記対象物の検知結果または前記対象物とは異なる非対象物の検知結果を取得する取得部と、
前記検知結果に基づいて、特定の前記対象物に基づいて生成された画像情報または前記非対象物を表す画像情報を前記参照情報として格納する参照情報データベースと、
前記検知結果を取得した対象物検知システムか否かに関わらず、いずれかの前記対象物検知システムに対して、前記参照情報データベースに格納された前記参照情報を送信する送信部とを備える参照情報送信システム。
【請求項9】
画像解析によって対象物を検知する対象物検知方法であって、
コンピュータが実行するステップとして、
解析すべき解析対象画像を取得するステップと、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得するステップと、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知するステップとを備える対象物検知方法。
【請求項10】
コンピュータによって画像解析によって対象物を検知するためのコンピュータプログラムであって、
解析すべき解析対象画像を取得する機能と、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得する機能と、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する機能とを前記コンピュータによって実現するコンピュータプログラム。


発明の詳細な説明 【技術分野】
【0001】
本発明は、画像解析によって対象物を検知するシステムに関する。
【背景技術】
【0002】
車両などの移動体において、歩行者等との衝突を回避し、安全性を向上させるため、歩行者等を検知する技術が種々提案されている。
例えば、特許文献1は、車両周辺の画像に基づいて画像解析によって歩行者を検知する技術を開示する。自車で撮影した画像だけでなく、他車が撮影した画像等を通信で取得して利用する旨の開示もある。
特許文献2は、自車で検出した歩行者の情報を、車対車通信を利用して他車にも送信することにより、情報の豊富化を図る技術を開示している。
特許文献3は、自車からは視認できない歩行者の情報を他車から受け取ることによって、認識できる歩行者の範囲を拡大する技術を開示している。
【先行技術文献】
【0003】

【特許文献1】特開2006-163637号公報
【特許文献2】特開2006-178673号公報
【特許文献3】特開2006-350613号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
歩行者等を画像解析によって検知する方法は、概ね次の通りである。解析対象となる画像から予め設定された検出ウィンドウに対応する画像領域を切り出し、この画像領域に対する特徴量を算出する。この特徴量が、歩行者等の一般的な姿勢や形状に基づいて用意された特徴量に近い場合には、その画像領域は歩行者等を表していると認識される。解析対象となる画像内で、検出ウィンドウの位置およびサイズを種々変化させることによって、画像内の任意の位置にある歩行者等を認識することができる。かかる方法では、HOG(Histograms of Oriented Gradients)、DPM(Deformable Part Model)などの特徴量が用いられることが多い。
しかし、かかる方法では、まだ検知精度を向上する余地が残されていた。例えば、撮影位置に近い歩行者等は高解像度で撮影されているため高い精度で検知可能であるが、遠方の歩行者等は小さく低解像度で撮影されることになるため、検知精度が低下することがある。また、歩行者等の一部が他の障害物で遮られている場合や、歩行者の姿勢が予め特徴量を用意する際に想定されたものとは大きく異なる場合にも、検知精度が低下することがある。
かかる課題は、検知対象が歩行者等である場合に特有の問題ではなく、どのような対象物を検知する場合であっても共通に生じる課題である。本発明は、かかる課題に鑑み、画像解析によって対象物を検知する際の精度向上を図ることを目的とする。
【課題を解決するための手段】
【0005】
本発明は、
画像解析によって対象物を検知する対象物検知システムであって、
解析すべき解析対象画像を取得する画像取得部と、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得する参照情報取得部と、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する対象物検知部とを備える対象物検知システムとして構成することができる。
【0006】
本発明によれば、対象物の検知に際して、汎用パターンだけではなく、参照情報を併用する。例えば、歩行者を対象物とする場合に即して説明すると、一般的な歩行者の姿勢や形状に基づいて用意されるのが汎用パターンとなるのに対して、参照情報には、特定の歩行者に基づいて生成された画像情報、または歩行者以外の物、例えば樹木などを表す画像情報が含まれる。特定の歩行者に基づいて生成された画像情報の場合、画像情報は、その歩行者の着用している衣服、体型、皮膚の色などが反映された個性の高い情報となる。従って、解析対象画像内に、その特定の歩行者自身またはそれに類似した特徴の歩行者が含まれていれば、汎用パターンによって検知できない場合であっても、参照情報に基づいて検知できる可能性があり、総じて歩行者の検知精度を向上させることができる。また、樹木など歩行者以外の物の画像情報を参照情報として用いる場合には、歩行者以外の画像を検知結果から除去することが可能となるため、結果として歩行者の検知精度を向上させることができる。
ここでは、歩行者を対象物とする場合を例にとって説明したが、この例は、いかなる対象物を検知する場合でも、該当する。このように、本発明によれば、汎用パターンと参照情報とを併用することにより、対象物の検知精度を大きく向上させることが可能となる。
【0007】
本発明において、検知すべき対象物は、例えば、歩行者、自転車に乗った人物、車両、動物など移動する種々の対象、および信号機、標識、看板、樹木、建物など移動しない種々の対象から任意に設定することができる。対象物は、一種類である必要はなく、複数種類であってもよい。
参照情報は、例えば、対象物検知システムによって過去に検知された情報や、他の対象物検知システムによって現在または過去に取得された情報などを利用することができる。参照情報の授受は、対象物検知システムが接続されたネットワーク上のサーバ等を介して行うものとしてもよいし、対象物検知システム同士で確立される通信を介して行うようにしてもよい。また、参照情報の情報源は、必ずしも対象物検知システムには限られない。例えば、歩行者を検知の対象物とする場合、歩行者が自らの画像情報を、参照情報として登録可能な構成としてもよい。
汎用パターンおよび参照情報を構成する画像情報の形式は、画像データであってもよいし、画像から算出された特徴量であってもよい。画像データとして保持されている場合、データ容量が大きくなる不利益があるものの、検知方法に応じて特徴量を算出できるため、種々の検知方法に柔軟に利用可能となる利点がある。一方、特徴量の形で保持されている場合には、データ容量を抑制することができる利点がある。汎用パターンを特徴量の形式で保持し、参照情報を画像データの形式で保持するなど、双方の形式を混在させてもよい。
対象物の検知は、汎用パターンと参照情報とを同時に併用するものであってもよいし、別々に利用するものであってもよい。
対象物検知システムは、街角等に設置された防犯カメラを利用して構成するなど固定、即ち位置を変えないシステムとして構成されていてもよいが、車両などの移動体に搭載されたシステムとして構成されてもよい。また、対象物検知システムは、単体の装置によって構成されてもよいが、複数の装置をネットワーク等で接続して構成されてもよい。
【0008】
本発明の対象物検知システムにおいて、
前記対象物検知部は、
前記参照情報を用いることなく前記汎用パターンを用いて前記検知を行う1次検知と、
前記参照情報を用いて前記検知を行う2次検知と、
をそれぞれ実行するものとしてもよい。
汎用パターンと参照情報とを別々の検知処理で用いる態様に相当する。こうすることによって、汎用パターンおよび参照情報のそれぞれの特徴を活かした対象物検知を行うことができ、検知精度の向上を図ることができる。
上記態様においては、1次検知の検知結果に対して2次検知を行うようにしてもよいし、1次検知と2次検知とを並行して行い、それぞれの検知結果の比較、論理演算などによって最終的な検知結果を得るようにしてもよい。1次検知、2次検知をさらに細分化し、または、両者に加えて、汎用パターンと参照情報とを併用する3次検知を行うようにしてもよい。
【0009】
また、このように1次検知と2次検知とを実行する場合においては、
前記1次検知と、前記2次検知とは、異なる方法によって実行されるものとしてもよい。
例えば、両者で異なる特徴量を用いて対象物検知を行う態様などが該当する。
このように1次検知、2次検知で異なる方法を適用することにより、さらに汎用パターンおよび参照情報のそれぞれの特徴を活かした対象物検知を行うことができ、検知精度の向上を図ることができる。
それぞれの検知で用いる特徴量としては、例えば、1次検知には、画像の形状に着目した特徴量であるHOGまたはDPMを用い、2次検知では、画像の色に着目した特徴量であるMCSHR(Major Color Spectrum Histogram)を用いても良い。
【0010】
さらに、
前記1次検知による検知結果には、相対的に検知精度が高い高精度検知結果と、検知精度が低い低精度検知結果とが含まれ、
前記2次検知は、前記低精度検知結果に対して適用されるものとしてもよい。
1次検知における検知精度は、解析対象画像の特徴量と汎用パターンの特徴量の許容誤差範囲を調整することによって変化させることができる。許容誤差範囲を小さくすれば検知精度は高く、大きくすれば低くなる。検知精度が高いことは、対象物以外のものを誤って対象物と認識してしまう誤認識を抑制できる一方、遠方の対象物のように低解像度で撮影された対象物や他の障害物に一部が隠蔽された対象物などが検知漏れとなるおそれが高くなることを意味する。逆に、検知精度が低いことは、誤認識のおそれが高まる一方、検知漏れのおそれが低いことを意味する。
上記態様によれば、1次検知の検知結果を検知精度によって分け、誤認識のおそれが低い低精度検知結果に対して、2次検知を適用することにより、その検知精度を向上させることができる。こうすることによって、高精度検知結果の精度は保持しつつ、検知漏れを低精度検知結果および2次検知によって補償して、全体として対象物の検知漏れを抑制しつつ検知精度を向上させることが可能となる。
高精度検知結果および低精度検知結果は、それぞれ特徴量の許容誤差範囲を変化させて1次検知を2回行うようにしてもよいし、1回の1次検知の処理内で許容誤差範囲を変化させて、高精度検知結果および低精度検知結果を同時に得るようにしてもよい。
【0011】
本発明では、前記参照情報は、他の対象物検知システムによる検知結果に基づいて生成された情報であるものとすることができる。
こうすることによって、対象物検知システム同士で情報を共有することができ、精度向上を図ることができる。
この態様においては、それぞれの対象物検知システムによる検知結果を全て参照情報としてもよいが、参照情報の品質保持という観点からは、所定以上の検知精度が保証された検知結果を選択して参照情報とすることが好ましい。例えば、先に説明した1次検知における高精度検知結果のみを参照情報とすることが考えられる。
また、参照情報は、他の対象物検知システムが過去に検知したものに限らず、現時点で検知している結果であってもよい。
【0012】
本発明においては、
前記参照情報取得部は、所定のタイミングで、前記参照情報を蓄積するサーバにアクセスして取得するものとしてもよい。
こうすることによって、不要な通信を抑制でき、参照情報が必要となった時点で、最新の情報を取得できる利点がある。また、参照情報はサーバに蓄積されているため、例えば、移動する対象物についての参照情報については、取得から長時間が経過し、その信憑性が低下した参照情報は送信対象から除外するなどの管理を行うことも可能となる。
【0013】
本発明においては、
更新すべき新たなデータが前記参照情報として取得された時に、該参照情報を配信する配信システムとネットワークを介して接続されており、
前記参照情報取得部は、前記配信される参照情報を取得するものとしてもよい。
こうすることにより、参照情報を即時に配信できるため、リアルタイム性を向上させることができる。
【0014】
以上で説明した本発明の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり組み合わせたりしてもよい。
また、本発明は、上述の対象物検知システムとしての構成に限らず、他の種々の構成をとることもできる。
例えば、本発明は、次に示すように、対象物検知システムに対して上述の参照情報を送信する参照情報送信システムとして構成してもよい。
即ち、対象物を表す汎用の画像情報を予め格納したデータである汎用パターンと、解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する機能を有する複数の対象物検知システムとネットワークで接続され、該対象物検知システムに対して、前記検知において前記汎用パターンと併用されるべき参照情報を、前記ネットワークを介し送信する参照情報送信システムであって、
いずれかの前記対象物検知システムにおける前記対象物の検知結果または前記対象物とは異なる非対象物の検知結果を取得する取得部と、
前記検知結果に基づいて、特定の前記対象物に基づいて生成された画像情報または前記非対象物を表す画像情報を前記参照情報として格納する参照情報データベースと、
前記検知結果を取得した対象物検知システムか否かに関わらず、いずれかの前記対象物検知システムに対して、前記参照情報データベースに格納された前記参照情報を送信する送信部とを備える参照情報送信システムとの構成である。
かかる参照情報送信システムによれば、対象物検知システムに対して有効な参照情報を提供することが可能となり、それぞれの対象物検知システムにおける検知精度の向上を図ることができる。参照情報送信システムにおいても、先に対象物検知システムにおいて説明した種々の特徴を適宜、適用することが可能である。また、参照情報を要求する対象物検知システムの位置情報と、参照情報送信システムが取得した検知結果に付された位置情報とに基づいて、送信すべき参照情報を選択する機能を設けても良い。
【0015】
本発明は、さらに他の態様として、コンピュータによって対象物を検知する対象物検知方法や参照情報を送信する参照情報送信方法として構成してもよい。また、これらの対象物検知方法、参照情報送信方法をコンピュータによって実現するためのコンピュータプログラム、さらには当該コンピュータプログラムを記録したCD-R、DVDその他のコンピュータが読み取り可能な記録媒体として構成してもよい。
【図面の簡単な説明】
【0016】
【図1】実施例としての歩行者検知システムの構成を示す説明図である。
【図2】参照情報データベースの構造を示す説明図である。
【図3】検知方法について示す説明図である。
【図4】歩行者検知処理のフローチャートである。
【図5】歩行者検知処理のフローチャートである。
【図6】参照情報送信処理のフローチャートである。
【図7】高精度検知処理における歩行者検知結果を示す説明図である。
【図8】低精度検知処理における歩行者検知結果を示す説明図である。
【図9】最終的な歩行者検知結果を示す説明図である。
【図10】参照情報配信処理のフローチャートである。
【図11】変形例(1)としての歩行者検知処理のフローチャートである。
【図12】変形例(2)としての歩行者検知処理のフローチャートである。
【発明を実施するための形態】【実施例1】
【0017】
本発明について、対象物を歩行者とする歩行者検知システムとして構成した実施例を以下に説明する。歩行者検知システムは、車両に搭載されたカメラ等によって撮影された画像を解析して、歩行者を検知し、歩行者がいることを報知することで、運転の安全性向上を図ろうとするシステムである。
【実施例1】
【0018】
A.システム構成:
図1は、実施例としての歩行者検知システムの構成を示す説明図である。歩行者検知システムは、解析装置110等を搭載した車両100と、サーバ200とを備えている。両者は、インターネットINTを介して通信可能に接続されている。歩行者検知システムは、かかる構成に限らず、スタンドアロンで稼働する装置として構成してもよいし、さらに多くのサーバ等からなる分散システムとして構成してもよい。また、車両に搭載した移動可能なシステムとしての構成の他、路肩等に固定されたシステムとして構成することも可能である。
実施例のサーバ200には、複数台の車両100[1]、100[2]等が接続される。これらの車両100[1]、100[2]等は、サーバ200を共有しながら、複数の歩行者検知システムを構成することになる。以下の説明では、車両100[1]、100[2]と記載するときは個別の車両を表し、車両100と記載するときは、それらの車両に共通の事項を表すものとする。本実施例では、サーバ200を介して情報を共有する例を示すが、例えば、車両100[1]、100[2]の間に車車間通信を確立させ、サーバ200を介さずに両者間で情報を共有する構成をとることもできる。
【実施例1】
【0019】
まず、車両100の構成について説明する。
車両には、インターネットINTと通信をするためのアンテナ101、車両の位置情報を取得するためのGPS(Global Positioning System)102、前方の画像を撮影するためのカメラ103、および運転者に歩行者検知の結果等を表示するためのディスプレイ104が搭載され、それぞれ解析装置110に接続されている。カメラ103は、動画、静止画のいずれを撮影可能なものであってもよい。
解析装置110は、内部にCPU、RAM、ROM、ハードディスク等を備えたコンピュータとして構成されており、コンピュータプログラムによって図中に示された各機能ブロックを実現する。
通信部111は、インターネットINTとの無線通信を制御する。本実施例では、この通信を介して、画像解析に利用する参照情報の授受などが行われることになる。
参照情報取得部112は、サーバ200にアクセスして、画像解析に利用する参照情報を取得する。参照情報の内容については後述する。
画像取得部113は、カメラ103で撮影された画像を、歩行者検知のための解析対象画像として取得する。画像取得部113は、過去にカメラ103で撮影された画像を解析対象画像として利用できるようにしてもよい。
汎用パターン記憶部115は、画像解析に利用する汎用パターンを記憶する。汎用パターンとは、対象物である歩行者の一般的な姿勢や形状を表す特徴量を格納したデータである。汎用パターンは、画像データの形で用意することもできるが、本実施例では、汎用パターンに基づく歩行者検知で用いられる特徴量、即ちHOG、DPMなどの形で用意するものとした。こうすることにより、汎用パターンのデータ容量を抑制することができる。
歩行者検知部114は、汎用パターン、参照情報を用いて、解析対象画像の解析を行い、歩行者を検知する。検知方法については、後述する。検知された結果の一部は、新たな参照情報として通信部111を介してサーバ200に送信される。
表示制御部116は、ディスプレイ104の表示内容を制御し、歩行者検知の結果を運転者に表示する。ディスプレイ104の表示は、ナビゲーションなど、その他の表示と兼用しても良い。
本実施例では、上述の各機能ブロックは、解析装置110にコンピュータプログラムをインストールすることによってソフトウェア的に実現しているが、これらの一部または全部は、ハードウェア的に実現しても構わない。
【実施例1】
【0020】
サーバ200の構成について説明する。サーバ200には、図示する各機能ブロックが用意されている。
参照情報データベース206は、車両100での歩行者検知に利用される参照情報を格納するデータベースである。本実施例では、参照情報は車両100から主として取得されるが、インターネットINTに接続された携帯端末300からも登録可能となっている。携帯端末300のユーザは、携帯端末に搭載されたカメラ301を用いて自分の画像を撮影し、これを参照情報としてサーバ200に登録するのである。携帯端末300から取得された画像も、参照情報データベース206に登録され、その後の歩行者検知に活用される。このようにユーザが自分の画像を自ら参照情報として登録可能としておくことにより、歩行者検知システムによってユーザ自身が検知される可能性を高めることができ、車両100に衝突される危険性の低減を図ることが可能となる。
参照情報は、また、街角等に設置された防犯カメラなどの映像を登録可能としてもよい。この場合、防犯カメラの映像を単にサーバ200に送信する構成としてもよいし、車両100と同様の解析装置110を組み込むことにより、防犯カメラを、位置が固定された歩行者検知システムとして構成してもよい。
データベース管理部204は、参照情報データベース206の更新、読み出しなどの管理を行う。また、車両100からの要請に応じて、送信すべき参照情報の選択などの制御も行う。
通信部202は、インターネットINTとの通信を制御する。
【実施例1】
【0021】
図2は、参照情報データベース206の構造を示す説明図である。参照情報データベースには、車両100または携帯端末300から取得された参照情報が時系列的に格納されている。参照情報は、画像解析による歩行者検知に用いられる画像情報であり、特定の歩行者に基づいて生成された画像情報(以下、「ポジティブサンプル」と呼ぶこともある)と、歩行者以外を表す画像情報(以下、「ネガティブサンプル」と呼ぶこともある)とを含んでいる。ポジティブサンプルの場合、歩行者の画像情報いう点では汎用パターン(図1参照)と共通するが、汎用パターンが歩行者の「一般的な」姿勢や形状を表すものであるのに対し、参照情報は、「特定の」歩行者に基づいて生成された画像情報という点で異なっている。ネガティブサンプルとしては、例えば、樹木、標識、電柱など、画像解析において歩行者と誤認識しやすい物について用意することができる。
参照情報の各レコードの構造は、次の通りである。
IDとして付された「REF001」は、各レコードを一意に特定するための識別情報である。
取得日時は、参照情報がサーバ200によって取得された年(Y)、月(M)、日(D)、時間(Hr)、分(Min)、秒(Sec)である。
位置情報は、参照情報が取得された位置の情報であり、本実施例では、車両100または携帯端末300の位置情報を緯度(LAT1)、経度(LON1)で表したものを用いた。
提供者ID「A001」は、参照情報を登録した者の識別情報である。それぞれ、車両100、携帯端末300、またはユーザ自身に割り当てられた識別情報を用いることができる。
特徴量「FQ1」は、参照情報の実体となる情報である。参照情報も画像データの形で用意することもできるが、本実施例では、データ容量抑制のため、特徴量の形で用意した。特徴量としては、参照情報に基づく検知処理で用いられるMCSHRを用いた。MCSHRは、画像内の主要な色のヒストグラムによる特徴量である。画像内の色の分布は、解像度の高低によってあまり影響を受けないため、低解像度の画像であっても類似度の判断を比較的精度良く行うことができる特徴がある。この特徴量は、参照情報データベース206に新たな参照情報を格納する際に、サーバ200のデータベース管理部204が算出するようにしてもよいし、参照情報を送信する車両100または携帯端末300で算出するようにしてもよい。
種別は、参照情報が歩行者か否かを表す情報である。
【実施例1】
【0022】
B.検知方法:
図3は、検知方法について示す説明図である。汎用パターン、参照情報のいずれを用いる場合も共通の方法である。
図中の上部には、解析対象画像を例示した。歩行者検知のときは、解析対象画像内に所定の大きさの検知枠を設定し、矢印Aに示すように、順次、その位置を移動させながら、処理を実行する。また、あるサイズの検知枠による処理が完了すると、検知枠のサイズを変更し、同様に処理を実行する。
【実施例1】
【0023】
処理の内容は、次の通りである。検知枠のサイズ、位置を決めると、その内部の画像領域に対して特徴量を算出する。図中では、オブジェクトOBJ1、OBJ2、OBJ3の画像に対してそれぞれ特徴量1~特徴量3が得られている様子を例示した。算出されるべき特徴量は、検知方法によって任意に選択できる。本実施例では、汎用パターンを利用するときは、特徴量としてHOGまたはDPMを算出し、参照情報を利用するときはMCSHRを算出する。この他の特徴量を用いることも可能である。
【実施例1】
【0024】
特徴量が算出されると、これを検知用パターンとの類似度を比較する。検知用パターンは、汎用パターンまたは参照情報であり、算出された特徴量1~特徴量3と同種の特徴量からなるデータである。検知用パターンが歩行者を表す汎用パターンまたは参照情報の場合は、これらの特徴量と、オブジェクトOBJ1~OBJ3の特徴量1~特徴量3との誤差が所定範囲内であれば、両者は類似、即ちオブジェクトOBJ1~OBJ3は歩行者であると認識されることになる。また、検知用パターンが歩行者以外の樹木等を表す汎用パターンまたは参照情報の場合は、これらの特徴量と、オブジェクトOBJ1~OBJ3の特徴量1~特徴量3との誤差が所定範囲内であれば、オブジェクトOBJ1~OBJ3は歩行者以外であると判断されることになる。ただし、歩行者以外の樹木等を表す検知用パターンの特徴量と、オブジェクトOBJ1~OBJ3の特徴量1~特徴量3との誤差が大きい場合、オブジェクトOBJ1~OBJ3が樹木等に該当しないと判断することはできるが、だからといって歩行者であると判断することはできない。
【実施例1】
【0025】
かかる処理によって、オブジェクトOBJ1~OBJ3が歩行者か否かを検知することができる。また、特徴量の誤差の許容範囲を変化させることによって、その検知精度を変化させることもできる。歩行者を表す検知用パターンを用いるとともに、特徴量の誤差の許容範囲を小さくすれば、歩行者を検知する精度は高くなり、許容範囲を大きくすれば精度は低くなる。
図中の例において、実線枠で示した検知結果1は、検知用パターンとの誤差が十分に小さく、高精度で歩行者と検知されたことを表している。破線枠の検知結果2は、検知用パターンとの誤差がある程度大きいため、誤差の許容範囲を広げた場合に、歩行者と検知され得る、低精度の結果であることを表している。オブジェクトOBJ3については、許容範囲を大きくしても、それを超える誤差があり、歩行者とは検知されないことを表している。
【実施例1】
【0026】
図3の例では、検知枠を移動させながら、それぞれの画像領域に対して特徴量を算出する例を示したが、既にオブジェクトOBJ1~オブジェクトOBJ3のように、画像が抽出済みの場合には、検知枠を用いるまでなく抽出された画像に基づいて特徴量を算出し、検知用パターンとの比較を行えばよい。
【実施例1】
【0027】
C.歩行者検知処理:
図3で説明した検知方法を用いて本実施例において歩行者を検知する処理について説明する。
図4および図5は、歩行者検知処理のフローチャートである。この処理は、歩行者検知部114の機能に相当する処理であり、ハードウェア的には、車両100の解析装置110が実行する処理である。
処理を開始すると、解析装置110は、解析対象画像を取得する(ステップS10)。解析対象画像は、カメラ103でリアルタイムに撮影された画像としてもよいし、既に撮影済みの画像を利用してもよい。
【実施例1】
【0028】
解析装置110は、解析対象画像に対して、高精度検知処理を実行する(ステップS12)。高精度検知処理は、検知用パターンとして汎用パターンを用い、類似度が高いもの、即ち特徴量の誤差の許容範囲が十分に小さいものを歩行者と検知する処理である。こうして得られた検知結果を、高精度検知結果と称する。高精度検知結果は、歩行者であることが十分に信頼できる結果であると判断し、解析装置110は、高精度検知結果をサーバ200に参照情報として登録する(ステップS14)。
【実施例1】
【0029】
次に、解析装置110は、低精度検知処理を実行する(ステップS16)。低精度検知処理は、検知用パターンとして汎用パターンを用い、類似度が低いもの、即ち特徴量の誤差の許容範囲を大きくして、歩行者の検知を行う処理である。こうして得られた検知結果を、低精度検知結果と称する。本実施例では、低精度検知結果には、高精度検知結果も包含されることになる。
【実施例1】
【0030】
高精度検知処理では、誤差の許容範囲を小さくすることによって検知精度が確保される。しかし、許容範囲を小さくすると、遠方にいる歩行者や他の障害物によって一部が隠蔽されている歩行者などが、検知漏れとなる。これに対し、低精度検知処理では、許容範囲を大きくすることによって、検知精度は低下するものの、こうした検知漏れを抑制することができる。高精度検知処理および低精度検知処理における誤差の許容範囲は、こうした効果を考慮して、解析的または実験的に設定すればよい。
【実施例1】
【0031】
解析装置110は、次にサーバ200にアクセスして、参照情報を取得する(ステップS18)。本実施例では、参照情報が過剰になりすぎないよう、サーバ200において、車両100に適した参照情報を選択している。この処理については後述する。
【実施例1】
【0032】
次に、解析装置110は、参照情報に基づき低精度検知結果をフィルタリングする(ステップS20)。フィルタリングの方法は、図3で説明した検知方法と同様である。即ち、それぞれの低精度検知結果について、参照情報に対応した特徴量、即ちMCSHRを算出し、これと参照情報の特徴量との誤差を比較するのである。歩行者を表す参照情報(ポジティブサンプル)との誤差が許容範囲の場合には、歩行者として検知され、許容範囲を超える場合には、歩行者でないとして除外される。また、歩行者以外を表す参照情報(ネガティブサンプル)との誤差が許容範囲の場合は、歩行者ではないとして除外され、許容範囲を超える場合には、歩行者として検知されることになる。
【実施例1】
【0033】
図5のステップS20の図中にフィルタリングの様子を模式的に示した。高精度検知結果がD1~D3、低精度検知結果がD1~D6であるとする。四角枠で囲んだ検知結果D4~D6は、低精度検知処理(ステップ16)において新たに検知された結果である。これらの低精度検知結果D1~D6に対して参照情報を用いてフィルタリングを行う。参照情報は、特定の歩行者に基づいて生成された情報であるから、高精度検知結果D1~D3であっても、参照情報には類似しない可能性がある。図の例では、高精度検知結果D2のみがフィルタリングを通過し、高精度検知結果D1、D3はフィルタリングで排除された例を示した。同様のことが検知結果D4~D6についても言える。図の例では、検知結果D4~D6についても、一部の検知結果D5がフィルタリングを通過した例を示した。低精度検知結果に対して参照情報を用いたフィルタリングを行うことは、一旦、精度を犠牲にして検知漏れを抑制した後、フィルタリングによって検知精度を確保するという意義を有する。図の例では、この処理によって、高精度検知結果では検知されなかった検知結果D5を新たに歩行者であると検知できたことになる。
【実施例1】
【0034】
先にも説明した通り、本実施例では、フィルタリングの際には、高精度検知結果、低精度検知結果とは異なる特徴量を用いている。高精度検知結果、低精度検知結果ではHOG、DPMという姿勢や形状を考慮した特徴量を用いるのに対し、フィルタリングでは、MCSHRという色を考慮した特徴量を用いるのである。MCSHRは、解像度が低い場合でも比較的高い検知精度を実現できる特徴があるため、フィルタリングに適していると考えられる。もっとも、どのような特徴量を用いるかは任意であり、高精度検知、低精度検知、フィルタリングのいずれに対しても、共通の特徴量を用いても差し支えない。
【実施例1】
【0035】
上述のフィルタリングでは、低精度検知結果の精度を向上させることができる反面、高精度検知結果の一部も欠落してしまうおそれがある。
そこで、解析装置110は、フィルタリング結果と高精度検知結果の論理和を生成する(ステップS22)。図中に論理和の様子を示した。左側の列は、フィルタリングの結果、即ちステップS20で得られた結果を示し、中央は高精度検知処理の結果を示し、右の列は両者の論理和を示している。論理和をとることによって、高精度検知結果のうち、フィルタリングで欠落したD1、D3も含んだ形で検知結果を得ることができる。
以上の処理を終えると、解析装置110は、論理和の結果を歩行者検知結果として出力し(ステップS24)、歩行者検知処理を終了する。
【実施例1】
【0036】
図6は、参照情報送信処理のフローチャートである。解析装置110の参照情報取得(図4のステップS18)に応じて、サーバ200側で行われる処理である。
サーバ200は、解析装置110から参照情報の送信要求を受信する(ステップS30)。本実施例では、この送信要求に、解析装置110が搭載された車両の位置情報および進行方向を含めるものとした。
【実施例1】
【0037】
次に、サーバ200は、受信した位置情報および進行方向に基づいて、送信すべき参照情報を抽出する(ステップS32)。図中に抽出方法を模式的に示した。
本実施例では、歩行者のように移動する物体についての参照情報と、信号機、標識、樹木などのように固定された物体についての参照情報とで抽出方法を切り替えている。
固定された物体の場合、参照情報を要求した要求車両から、進行方向を中心に所定の角度ANGの広がりで、半径R1の扇形の領域を設定する。そして、この領域内にある参照情報を抽出する。領域に属するか否かは、参照情報に付された位置情報に基づいて判断することができる。図の例において参照情報ref1~ref4が、固定された物体を表しているとすると、白丸で示した参照情報ref1、ref3が抽出され、×で示した参照情報ref2,ref4は、抽出されない。固定された物体の場合、車両100に搭載したカメラで撮影可能な範囲内の参照情報は有用性が低く除外しても差し支えないと考えられるため、上述のように送信すべき参照情報を絞ることによって、情報が過剰になることを回避でき、処理効率を向上させることができる。扇形の領域を定める角度ANG、半径R1は、カメラの解像度、画角などを考慮して設定すればよい。
【実施例1】
【0038】
歩行者のように移動する物の場合、要求車両を中心に半径R2の円形領域を設定し、その領域内にある参照情報を抽出する。図の例において、参照情報ref10~ref14が移動する物を表しているとすると、黒丸で示した参照情報ref10、ref12~ref14が抽出され、×で示した参照情報ref11は除外される。参照情報を抽出するための領域を進行方向にかかわらず円形としたのは、移動する物の場合、参照情報を取得した時点での位置情報が要求車両よりも後方であっても、その後に移動して、現時点では、要求車両の前方に位置しているかも知れないからである。逆に、前方に位置した参照情報も、その後、移動して要求車両に接近してくる可能性もある。従って、円形領域を定める半径R2は、カメラの解像度と、参照情報の移動可能な範囲を考慮して決定すればよく、扇形の領域を決める半径R1よりも大きくすることが好ましい。
【実施例1】
【0039】
サーバ200は、こうして参照情報を抽出すると、抽出結果を送信して(ステップS34)、参照情報送信処理を終了する。
本実施例では、上述の通り参照情報のうち画像解析に有用と考えられるものを抽出して送信することにより、参照情報の情報量を抑制でき、通信を含む処理の効率化を図ることができる。
参照情報の抽出は、位置情報だけでなく、さらに種々の情報を考慮してもよい。例えば、参照情報が取得された日時を考慮し、取得からの経過時間が所定の基準期間を超えるときに、参照情報が陳腐化したと判断して、除外することが考えられる。この場合、固定された物を除外するための基準期間を、移動する物を除外するための基準期間よりも大きく設定については、時間または分などの短い単位で除外する判断基準を異ならせてもよい。
【実施例1】
【0040】
D.検知結果:
本実施例による歩行者検知例について、実験結果を例示しながら説明する。
図7は、高精度検知処理(図4のステップS12参照)における歩行者検知結果を示す説明図である。図には、車両から撮影した画像を示した。この画像内には、四角の枠IMG1の部分と、遠方にある信号の付近に歩行者がそれぞれ撮影されている。しかし、高精度検知処理では、信号近くの歩行者は解像度が低いため、検知されず、枠IMG1の歩行者のみが検知される。
【実施例1】
【0041】
図8は、低精度検知処理(図4のステップS16参照)における歩行者検知結果を示す説明図である。低精度検知処理では、特徴量の許容誤差を大きくして、歩行者検知を行う。この結果、図中に示されるように、高精度検知処理で検知されていた枠IMG1の歩行者に加え、信号付近の枠IMG2で示した歩行者も検知されている。ただし、許容誤差を大きくしたため、枠IMG3のように樹木も誤認識されている。
【実施例1】
【0042】
図9は、最終的な歩行者検知結果を示す説明図である。図8の検知結果に対して、参照情報を用いたフィルタリングを施すことによって、誤認識されていた樹木(枠IMG3)を除去することができる。また、フィルタリングの結果と、高精度検知処理との論理和をとることによって、枠IMG1の検知結果も保持することができる。本実施例では、これらの処理により、2人の歩行者(枠IMG1、IMG2)を適切に検知することが可能となる。
【実施例1】
【0043】
E.効果および変形例:
以上で説明した通り、本実施例の歩行者検知システムによれば、汎用パターンと参照情報とを併用することによって、歩行者の検知精度を向上させることができる。特に、汎用パターンを用いて高精度での検知を行うとともに、低精度での検知を行って検知漏れを回避し、さらに、低精度の検知結果に対しては参照情報を利用することで検知精度を向上させることにより、図7~9に示した適切な検知を実現することができる。
また、高精度検知結果を、参照情報として利用可能とすることにより、参照情報の豊富化を図ることができ、歩行者検知システム全体としての検知精度をより向上させることができる。
【実施例1】
【0044】
本実施例において説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、一部を省略したり組み合わせたりすることが可能である。
また、本実施例における歩行者検知処理(図4、図5)、および参照情報送信処理(図6)などの処理も、次に示すように、種々の変形例を考えることができる。
【実施例1】
【0045】
(1)参照情報配信処理:
図10は、参照情報配信処理のフローチャートである。実施例では、車両からの参照情報の送信要求に応じて、サーバ200が参照情報を送信する処理を例示した。参照情報配信処理は、この処理の変形例として、参照情報の送信要求に依らず、新たな参照情報がサーバに登録された時点で、サーバ200から参照情報を配信する処理に相当する。
図の左列に示す通り、ある車両100[1]において歩行者検知処理が実行されているとする。車両100[1]は、高精度の歩行者検知処理を実行し(ステップS40)、その結果をサーバ200に送信する(ステップS42)。これらの処理内容は、図4のステップS12、S14と同様である。
【実施例1】
【0046】
サーバ200は、車両100[1]から歩行者検知結果を受信し(ステップS50)、参照情報データベースを更新する(ステップS52)。そして、更新結果を各車両に配信する(ステップS54)。ここで配信する情報は、参照情報全体としてもよいが、ステップS52で新たに登録された参照情報に絞ることが情報量抑制という観点から好ましい。
他の車両100[2]は、サーバ200からの配信を受信し(ステップS60)、自車の参照情報データベースを更新する(ステップS62)。
【実施例1】
【0047】
かかる変形例によれば、参照情報を即時に配信できるため、リアルタイム性を向上させることができる。変形例の参照情報配信処理は、実施例の参照情報送信処理(図6)と併用してもよい。
【実施例1】
【0048】
(2)歩行者検知処理:
歩行者検知処理も変形例が可能である。
図11は、変形例(1)としての歩行者検知処理のフローチャートである。実施例(図4)では、高精度検知処理(ステップS12)と、低精度検知処理(ステップS16)とを2段階で行うものとしたが、変形例では、両者を一つの処理で実行する。
【実施例1】
【0049】
処理を開始すると、解析装置は、解析対象画像を取得する(ステップS70)。そして、1次検知処理を実行する(ステップS72)。1次検知処理の方法は、高精度検知処理および低精度検知処理と同様であり、汎用パターンとの特徴量の比較によって歩行者を検知する。ただし、変形例では、特徴量の誤差の許容範囲に2段階設け、許容範囲が小さい側の検知結果を高精度検知結果、大きい側の検知結果を低精度検知結果とする。特徴量の誤差の許容範囲は、高精度検知処理および低精度検知処理と同様の範囲とすることができる。実施例では、図5のステップS20に示したように、低精度検知結果が高精度検知結果を含んでいるが、変形例では、両者は排他的であり、図5の例に照らせば、D1~D3が高精度検知結果、D4~D6が低精度検知結果となる。
【実施例1】
【0050】
解析装置は、次に、参照情報を取得し(ステップS74)、参照情報に基づいて低精度検知結果をフィルタリングする(ステップS76)。図中にフィルタリングの様子を示した。高精度検知結果は、フィルタリングを行わずに、そのまま最終的な検知結果として採用される。低精度検知結果は、フィルタリングを行い、歩行者と検知されたものが最終的な検知結果となる。変形例では、実施例と異なり、低精度検知結果と高精度検知結果が排他的に得られているため、論理和(図5のステップS22)を施す必要はない。
解析装置は、こうして得られた検知結果を出力するとともに、高精度検知結果を参照情報として登録して(ステップS78)、歩行者検知処理を終了する。
【実施例1】
【0051】
変形例によっても、参照情報を用いることにより、実施例と同様、歩行者検知の精度向上を図ることができる。このように本発明は、高精度検知処理、低精度検知処理を同時に行う態様も可能である。
変形例においては、低精度検知結果に対してのみフィルタリングを施すことによって効率的に処理を実行しているが、実施例と同様、高精度検知結果、低精度検知結果の双方にフィルタリングを施すようにしても構わない。
【実施例1】
【0052】
図12は、変形例(2)としての歩行者検知処理のフローチャートである。この変形例では、汎用パターンと参照情報とを同じ検知処理で用いる。
処理を開始すると、解析装置は、解析対象画像、および参照情報を取得する(ステップS90、S92)。
そして、汎用パターン及び参照情報を用いて検知処理を実行する(ステップS94)。図中に検知処理の方法を示した。実施例で説明した通り、解析装置は、解析対象画像内に検知枠を配置し、その内部の画像に対して、特徴量を算出して、汎用パターンおよび参照情報と比較する。汎用パターンとの比較において特徴量の誤差が許容範囲内のもの(類似度高)については、そのまま歩行者と認識する。汎用パターンとの比較において特徴量の誤差が許容範囲を超えるもの(類似度低)については、参照情報との比較において特徴量の誤差が小さい場合(類似度高)の場合に、歩行者と認識する。変形例では、汎用パターン、参照情報ともに同じ特徴量を用いてもよい。
また、解析装置は、汎用パターンによって、類似度高として検知された結果を参照情報として登録し(ステップS96)、歩行者検知の結果を出力して、歩行者検知処理を終了する。
【実施例1】
【0053】
変形例(2)の方法によっても、参照情報を併用することによって、検知精度を向上させることができる。
変形例(2)では、汎用パターンによって類似度が低いものに対して参照情報を利用する例を示したが、例えば、汎用パターンと参照情報を同様に適用し、いずれかで類似度が高いと判断されるものを歩行者と検知するようにしてもよい。この場合でも、参照情報を併用することにより、検知漏れを抑制するという点で、全体として歩行者検知の精度を向上することができる。また、かかる態様によれば、単一の処理内容で、汎用パターン、参照情報の双方について処理することが可能となり、処理の簡略化、効率化を図ることができる。
【実施例1】
【0054】
本発明は、さらに種々の変形例を構成することが可能である。
例えば、実施例および変形例では、歩行者検知を例にとって説明したが、本発明は歩行者以外の対象物を検知する場合にも適用可能である。
実施例では、高精度検知結果、低精度検知結果の区分を、特徴量の誤差の許容範囲に基づいて行う例を示したが、両者の区分は、画像の解像度に基づいて行っても良い。つまり、対象物の検知が、解析対象画像内に配置された検知枠内の画像に対する特徴量を用いて行われることを考えると、検知枠のサイズが小さくなれば、特徴量を算出する画像の解像度は低下すると考えられる。従って、検知枠のサイズを変化させながら検知処理を施す過程で、所定サイズよりも検知枠が小さくなった時点から参照情報を用いるようにしてもよい。
【産業上の利用可能性】
【0055】
本発明は、画像解析によって対象物を検知する精度向上に利用可能である。
【符号の説明】
【0056】
100…車両
101…アンテナ
102…GPS
103…カメラ
104…ディスプレイ
110…解析装置
111…通信部
112…参照情報取得部
113…画像取得部
114…歩行者検知部
115…汎用パターン記憶部
116…表示制御部
200…サーバ
202…通信部
204…データベース管理部
206…参照情報データベース
300…携帯端末
301…カメラ
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図10】
6
【図11】
7
【図12】
8
【図7】
9
【図8】
10
【図9】
11