Top > Search of Japanese Patents > MOVING OBJECT DETECTION SYSTEM AND METHOD THEREOF > Specification

Specification :(In Japanese)移動物体を検出するシステムとその方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4538630
Publication number P2006-053823A
Date of registration Jul 2, 2010
Date of issue Sep 8, 2010
Date of publication of application Feb 23, 2006
Title of the invention, or title of the device (In Japanese)移動物体を検出するシステムとその方法
IPC (International Patent Classification) G06T   7/20        (2006.01)
FI (File Index) G06T 7/20 A
Number of claims or invention 8
Total pages 14
Application Number P2004-236024
Date of filing Aug 13, 2004
Date of request for substantive examination Mar 16, 2007
Patentee, or owner of utility model right (In Japanese)【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
Inventor, or creator of device (In Japanese)【氏名】中谷 広正
Representative (In Japanese)【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100092657、【弁理士】、【氏名又は名称】寺崎 史朗
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
Examiner (In Japanese)【審査官】新井 則和
Document or reference (In Japanese)特開平09-249083(JP,A)
特開2002-190100(JP,A)
特開2004-046565(JP,A)
特開2004-220059(JP,A)
Field of search G06T 7/20
Scope of claims (In Japanese)【請求項1】
連続的に撮像された複数枚の画像から移動物体を検出するシステムにおいて、
連続撮像された複数枚の画像を出力する画像出力手段と、
前記画像出力手段から供給された複数枚の画像に基づいて背景領域を識別する背景領域識別手段と、
前記画像出力手段から供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出手段と、
前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出手段と、を有し、
前記背景領域識別手段は、前記画像出力手段より供給された連続する2枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別する手段であり、
前記移動物体検出手段は、前記背景領域識別手段により背景領域と識別された領域について前記水平エッジ検出手段で検出された水平エッジ成分を除去し、除去されなかった水平エッジ成分を移動物体候補とする手段であり、
前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合手段と、
前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合手段と、を含む、
ことを特徴とする移動物体検出システム。
【請求項2】
前記画像出力手段は、前記背景領域識別手段と前記水平エッジ検出手段とに画像を供給する手段である、請求項1記載の移動物体検出システム。
【請求項3】
前記水平エッジ検出手段は、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含む、請求項1記載の移動物体検出システム。
【請求項4】
前記類似色領域結合手段は、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なう、請求項1記載の移動物体検出システム。
【請求項5】
連続的に撮像された複数枚の画像から移動物体を検出する方法において、
連続撮像された複数枚の画像を出力する画像出力ステップと、
前記画像出力ステップより供給された複数枚の画像に基づいて背景領域を識別する背景領域識別ステップと、
前記画像出力ステップより供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出ステップと、
前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出ステップと、を有し、
前記背景領域識別ステップは、前記画像出力ステップより供給された連続する2枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別するステップであり、
前記移動物体検出ステップは、前記背景領域識別ステップで背景領域と識別された領域について前記水平エッジ検出ステップで検出された水平エッジを除去し、除去されなかった水平エッジ成分を移動物体候補とするステップであり、
前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合ステップと、
前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合ステップと、を含む、
ことを特徴とする移動物体検出方法。
【請求項6】
前記画像出力ステップは、前記背景領域識別ステップと前記水平エッジ検出ステップとに画像を供給するステップである、請求項5記載の移動物体検出方法。
【請求項7】
前記水平エッジ検出ステップは、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含む、請求項5記載の移動物体検出方法。
【請求項8】
前記類似色領域結合ステップは、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なう、請求項5記載の移動物体検出方法。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、道路領域における移動観測系からの移動物体を検出するシステムおよび方法に関する。
【背景技術】
【0002】
現代社会において、自動車は私達の生活になくてはならないものになっている。しかしその一方で、交通事故による死亡者は後をたたず、深刻な社会問題になっている。長時間に渡っての運転はドライバーの体力を消耗させるため、常に注意深く運転することは難しい。そのため、近年ではITSなどの分野において安全運転を支援するための様々なシステムが開発されている。このようなシステムの一つとして道路領域における移動観測系(システム利用者の搭乗車両)からの移動物体(例えば先行車両)の検出法の開発が強く望まれている。しかしこれまでの研究では、高速道路など比較的画像処理が容易な環境を対象としているものが多く、一般道路における複雑な環境下でのシステムは構築されていない。
【0003】
一般道路上では自車両の運動や背景が複雑であり、また路面環境も悪いため、システムの構築により多くの制限が生じてしまう。しかし実際は交通事故は9割以上が一般道路で起こっており、一般道路に対応したシステムの確立は急務である。
移動物体の検出にオプティカルフローが用いられる(非特許文献1~3)。非特許文献1記載のものは、ビデオカメラは固定位置にあり、オプティカルフローのみで、移動物体を検出しようとするものである。

【非特許文献1】木村 和広,太田 直哉,金谷 健一 著「精密なノイズモデルによるオプティカルフローの検出」情報処理学会研究報告,96-CV-99-6,pp.37-42,1996
【非特許文献2】海老根 巧,浜田 望 著「観測系の運動を考慮したオプティカルフロー推定に基づく運動物体検出」電子情報通信学会誌D-II Vol.J83-D-II No.6,pp.1498-1506,2000
【非特許文献3】渡辺 陸,武田 信之,小野田 一則 著「主成分分析を用いた移動物体認識法の検討」情報処理学会研究報告書,96-CV-99,pp.51-58,1996
【発明の開示】
【発明が解決しようとする課題】
【0004】
前述したように、運転者を支援する情報の提供は強く望まれているが、複雑な交通環境で、しかも運転者が運転する車両も移動している状況のもとに、確実に十分な環境情報を提供できる方法または装置は開発されていない。
運転者が運転する車両自体が移動するから、そこに搭載されているビデオカメラの出力画像はその影響を受け背景の画像も移動してしまい走行車両等の移動物体との区別が容易でなくなる。
本発明の目的は、一般道路走行中の車両が取得した画像情報を処理して、前方車や追い越し車などの移動物体の検出を可能にし、検出情報を運転者等に提供可能にすることにより、運転者の負担を減少させることができる移動物体を検出するシステムおよびその方法を提供することにある。
【課題を解決するための手段】
【0005】
前記目的を達成するために、本発明による請求項1記載のシステムは、
連続的に撮像された複数枚の画像から移動物体を検出するシステムにおいて、
連続撮像された複数枚の画像を出力する画像出力手段と、
前記画像出力手段から供給された複数枚の画像に基づいて背景領域を識別する背景領域識別手段と、
前記画像出力手段から供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出手段と、
前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出手段と、から構成されている。
【0006】
本発明による請求項2記載のシステムは、前記請求項1記載の移動物体検出システムにおいて、
前記画像出力手段は、撮像された複数枚の画像に雑音低減処理を施し、前記背景領域識別手段と前記水平エッジ検出手段とに画像を供給するように構成されている。
本発明による請求項3記載のシステムは、前記請求項1記載の移動物体検出システムにおいて、
前記背景領域識別手段は、前記画像出力手段より供給された連続する2枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別するように構成されている。
【0007】
本発明による請求項4記載のシステムは、前記請求項1記載の移動物体検出システムにおいて、
前記水平エッジ検出手段は、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含んでいる。
【0008】
本発明による請求項5記載のシステムは、前記請求項1記載の移動物体検出システムにおいて、
前記移動物体検出手段は、前記背景領域識別手段により背景領域と識別された領域について前記水平エッジ検出手段で検出された水平エッジ成分を除去し、除去されなかった水平エッジ成分を移動物体候補とするように構成されている。
【0009】
本発明による請求項6記載のシステムは、前記請求項5記載の移動物体検出システムにおいて、
前記移動物体検出手段は、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合手段と、
前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、
前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合手段とを備えている。
【0010】
本発明による請求項7記載のシステムは、前記請求項6記載の移動物体検出システムにおいて、
前記類似色領域結合手段は、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なうように構成されている。
【0011】
本発明による請求項8記載の方法は、連続的に撮像された複数枚の画像から移動物体を検出する方法において、
連続撮像された複数枚の画像を出力する画像出力ステップと、
前記画像出力ステップより供給された複数枚の画像に基づいて背景領域を識別する背景領域識別ステップと、
前記画像出力ステップより供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出ステップと、
前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出ステップと、から構成されている。
【0012】
本発明による請求項9記載の移動物体検出方法は、前記請求項8記載の方法において、
前記画像出力ステップは、前記背景領域識別ステップと前記水平エッジ検出ステップとに画像を供給するステップとを含んで構成されている。
【0013】
本発明による請求項10記載の移動物体検出方法は、前記請求項8記載の方法において、
前記背景領域識別ステップは、前記画像出力ステップより供給された連続する2枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別するステップである。
【0014】
本発明による請求項11記載の移動物体検出方法は、前記請求項8記載の方法において、
前記水平エッジ検出ステップは、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含むステップである。
【0015】
本発明による請求項12記載の移動物体検出方法は、前記請求項8記載の方法において、
前記背景領域識別ステップで背景領域と識別された領域について前記水平エッジ検出ステップで検出された水平エッジを除去し、除去されなかった水平エッジ成分を移動物体候補とするステップである。
【0016】
本発明による請求項13記載の移動物体検出方法は、前記請求項12記載の方法において、
前記移動物体検出方法は、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合ステップと、
前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、
前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合ステップを含んでいる。
【0017】
本発明による請求項14記載の移動物体検出方法は、前記請求項13記載の方法において、
前記類似色領域結合ステップは、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なうステップである。
【発明の効果】
【0018】
本発明によるシステムおよび方法によれば、オプティカルフローと水平エッジ検出の両方の視点から移動物体を検出するように構成してあるから、移動観測系(観測者の車両)のビデオカメラ出力を演算処理して移動物体(先行車両等)を確実に検出することができる。
【発明を実施するための最良の形態】
【0019】
以下図面等を参照して本発明による方法の実施の形態を説明する。道路領域における移動観測系(観測者の車両)のビデオカメラの出力を演算処理して、道路に関連する移動物体(先行車両等)を検出する方法を実施例として説明する。
【0020】
移動物体を検出するために、背景領域を取り除く必要がある。その方法として、2枚の時系列画像における各画素の変化量を求め、その変化量の違いによって移動物体領域と背景領域を区別するといった手法があげられる。本発明では変化量を求めるためにオプティカルフローを採用し、移動物体領域と背景領域におけるオプティカルフローの延長線が収束する点(消失点)の違いによって領域を分割し、移動物体のみを検出することを試みる。しかし変化量が少ない遠くの方の領域では、背景部分と車両との区別を行うことが困難になってくる。また、車自体の揺れなどによって完全なオプティカルフロー情報を取得することは困難である。よって、車両領域を確実に残すために、移動物体と背景の識別が曖昧な領域に関しては現時点では車両領域候補と考えて、確実に背景部分であると思われる領域だけを除去する。
【0021】
本発明による移動物体検出システムの概略を、ブロック図(図1)を参照して説明する。
本発明による移動物体検出システムは、連続撮像手段Aで連続的に撮像された複数枚の画像から移動物体を検出するシステムである。画像出力手段Bで、連続撮像された複数枚の画像を出力する。
前記画像出力手段Bは、撮像された複数枚の画像に雑音低減処理を施し、背景領域識別手段Cと水平エッジ検出手段Dとに画像を供給する。
【0022】
前記背景領域識別手段Cは、前記画像出力手段Bから供給された複数枚の画像に基づいて背景領域を識別する。前記背景領域識別手段Cは、前記画像出力手段Bより供給された連続する2枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別する。
【0023】
水平エッジ検出手段Dは、前記画像出力手段Bから供給された画像に基づいて水平エッジ成分を検出する。
前記水平エッジ検出手段Dは、検出された水平エッジ成分に対して、膨張・収縮処理を行なう。
【0024】
移動物体検出手段Eは、前記背景領域識別手段Cの出力と前記水平エッジ検出手段Dの出力とから移動物体を検出する。
前記移動物体検出手段Eは、前記背景領域識別手段Cにより背景領域と識別された領域について前記水平エッジ検出手段Dで検出された水平エッジ成分を除去し、除去されなかった水平エッジ成分を移動物体候補とする。
前記移動物体検出手段Eは、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合手段と、前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合手段とを備えている。
前記類似色領域結合手段は、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なう。
【0025】
次に第2図を参照して前記システムを利用して実行される方法を説明する。
(ステップ1)
この画像入力ステップで、道路と関連画像を道路画像として入力する。
運転者の搭乗車両の後部座席に設置したビデオカメラで、前方向を撮影する。この実施例では、撮像の速度は、30フレーム/秒、画像サイズは360画素×240画素、RGB各256レベルで撮影しフレームメモリに取り込んだ。
図3に取り込んだ画像の一例を示す。なお、図3において1は同じ車線の先行車両、2は追い越し車線の先行車両、3は追い越し車線の追い越し車両である。
【0026】
(ステップ2)
このステップは、前記画像を平滑化により雑音を除去して画像データを得るステップである。エッジの劣化を避けるために、濃淡化した画像を、ガウスオペレータを用いて平滑化する。
ガウスオペレータは3×3の大きさで各点の値はつぎのとおりにした。
0.07 0.12 0.07
0.12 0.2 0.12
0.07 0.12 0.07
【0027】
(ステップ3)
このステップは、動きの消失点を用いた背景領域検出ステップである。ステップ2で得られた画像の隣りあうフレーム間でオプティカルフローを求める。図4に背景領域と移動物体領域候補を示す。背景領域を黒で示してある。
実施例では、4画素置きの点、90×60の画素でオプティカルフローを求めた。
オプティカルフローが消失点の方向に向かっている点を背景とする。
また、消失点への方向とオプティカルフローの方向との差が20度以内の点を背景とし、残りの点は移動物体候補とした。
【0028】
(ステップ4)
このステップは、水平エッジ検出による車両の水平方向成分検出ステップである。入力画像から濃淡画像を作成し、濃淡画像に水平エッジを検出するソーベル(Sobel) フィルタをかけることによって画像中の水平エッジを検出する。図5に水平エッジを示す。
ソーベルフィルタは3×3の大きさであり各点の値はつぎのとおりである。
1 2 1
0 0 0
-1 -2 -1
この実施例ではソーベルフィルタの出力が90以上を水平エッジとした。
次に、つながっていない水平エッジをつなげるために、得られた水平エッジ画像に対して膨張・収縮を行う。水平方向に長いエッジを残すために、マスクは5×3の長方形を用いた。すなわち、水平エッジの点を中心に5×3の範囲の点を水平エッジとする膨張処理を2回繰り返した後、水平エッジでない点を中心に5×3の範囲の点を水平エッジでないとする収縮処理を2回繰り返す。
【0029】
(ステップ5)
このステップは車両領域候補を検出するステップである。水平エッジ検出によって得られた結果には、看板などによる背景のエッジも残っているので、先に求めた背景領域に対応する部分内のエッジを取り除く。その後、面積の小さい領域は雑音とみなし取り除く。図6に背景のエッジを除去した車両領域候補を図示してある。
実施例では面積が20画素以下の領域を取り除いた。結果として得られた領域を車両領域候補とする。
【0030】
(ステップ6)
車両領域候補における類似色相検出について車両領域膨張(収縮)を行う。原画像(カラー画像)の表色系をRGBからHSI空間に変換し、色相Hを求める。
その式はつぎのとおりである。
H=
(b - g)*60 (R = max {R,G,B }のとき)
(2+r-b)*60 (G = max {R,G,B }のとき)
(4+g-r)*60 (B = max {R,G,B }のとき)
なお
r = (max {R,G,B }-R) / (max{R,G,B } - min{R,G,B })
g = (max {R,G,B }-G) / (max{R,G,B } - min{R,G,B })
b = (max {R,G,B }-B) / (max{R,G,B } - min{R,G,B })
求めた車両領域候補と似た色相を持つ周囲の領域をまとめる。
実施例では、360度の円周上で色相を表し、色相の差が10度以内にある場合に類似した色相とみなした。結果として求まった領域を車の領域候補とする。図7に類似色相検出による車両領域膨脹(収縮)の状態を示す。図中、車両に対応する白色の部分が車両領域膨脹(収縮)の状態に対応する。白黒画像の表現により、図3に示した各車両1,2,3に対応する部分が白く表現されているがこの部分の色は車両の塗装の色とか照明状態により異なる。
【0031】
(ステップ7)
このステップで、図7に示す各部の類似オプティカルフロー検出による同一車両領域の統合を行う。
前のステップで検出された車両領域候補ごとにオプティカルフローの大きさの平均と方向の平均とを求める。それらの値を領域間で比較し、大きさの差が0.2以内、方向の差が20度以内なら、同じ車両の領域として一つの領域にまとめることによって、車両の検出を終了する。
まとめられた各車両の情報は、運転者等が見やすいように加工されて表示される。
【産業上の利用可能性】
【0032】
本発明による方法は、交通運輸産業、車両関連搭載電子通信機器製造の産業分野で広い応用が期待できる。
【図面の簡単な説明】
【0033】
【図1】本発明システムのブロック図である。
【図2】本発明方法を説明するための流れ図である。
【図3】入力画像の例を示す図である。
【図4】背景領域と移動物体候補の関係を示す略図である。
【図5】水平エッジ検出による車両の水平方向成分検出状態を示す図である。
【図6】車両領域候補を示す図である。
【図7】類似色相検出による車両領域の膨脹(収縮)を示す図である。
【符号の説明】
【0034】
A 連続撮影手段
B 画像出力手段
C 背景領域識別手段
D 移動物体検出手段
1 同じ車線の先行車両
2 追い越し車線の先行車両
3 追い越し車線の追い越し車両
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6