TOP > 国内特許検索 > 背景画像推定に基づく物体検出方法及び物体検出装置 > 明細書

明細書 :背景画像推定に基づく物体検出方法及び物体検出装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5388059号 (P5388059)
登録日 平成25年10月18日(2013.10.18)
発行日 平成26年1月15日(2014.1.15)
発明の名称または考案の名称 背景画像推定に基づく物体検出方法及び物体検出装置
国際特許分類 G06T   7/20        (2006.01)
H04N   5/225       (2006.01)
H04N   5/232       (2006.01)
FI G06T 7/20 200B
G06T 7/20 100
H04N 5/225 C
H04N 5/232 C
請求項の数または発明の数 6
全頁数 15
出願番号 特願2009-158120 (P2009-158120)
出願日 平成21年7月2日(2009.7.2)
審査請求日 平成24年5月29日(2012.5.29)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】石川 聖二
【氏名】タン ジュークイ
【氏名】三好 誠
【氏名】森江 隆
個別代理人の代理人 【識別番号】100090697、【弁理士】、【氏名又は名称】中前 富士男
【識別番号】100127155、【弁理士】、【氏名又は名称】来田 義弘
特許請求の範囲 【請求項1】
車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な1つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出方法であって、
前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、前記移動物体画像を得るに際し、
前記背景画像は、前記画像フレームのうち、前の画像フレームAを構成する画素ごとの濃度値の正規分布Aを用いて、前記画像フレームAの各画素の位置と該画像フレームAの次の画像フレームBの各画素の位置との対応から、該画像フレームBを構成する画素ごとの濃度値の正規分布Bを求め、前記画像フレームBを構成する画素ごとの濃度値が、前記濃度値の正規分布Bの予め設定した値の範囲内か否かを基準に推定することを特徴とする背景画像推定に基づく物体検出方法。
【請求項2】
請求項1記載の背景画像推定に基づく物体検出方法において、前記前の画像フレームAのうち基準となる画像フレームは、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて前記濃度値の正規分布Aとすることを特徴とする背景画像推定に基づく物体検出方法。
【請求項3】
請求項1又は2記載の背景画像推定に基づく物体検出方法において、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新することを特徴とする背景画像推定に基づく物体検出方法。
【請求項4】
車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な1つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出装置であって、
前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、該推定した前記背景画像から前記移動物体画像を得る背景画像推定手段を有し、
前記背景画像推定手段は、前記画像フレームのうち、前の画像フレームAを構成する画素ごとの濃度値の正規分布Aを用いて、前記画像フレームAの各画素の位置と該画像フレームAの次の画像フレームBの各画素の位置との対応から、該画像フレームBを構成する画素ごとの濃度値の正規分布Bを求め、前記画像フレームBを構成する画素ごとの濃度値が、前記濃度値の正規分布Bの予め設定した値の範囲内か否かを基準に、前記背景画像を推定することを特徴とする背景画像推定に基づく物体検出装置。
【請求項5】
請求項4記載の背景画像推定に基づく物体検出装置において、前記背景画像推定手段は、前記前の画像フレームAのうち基準となる画像フレームの画素ごとの濃度値の正規分布Aを、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて求めることを特徴とする背景画像推定に基づく物体検出装置。
【請求項6】
請求項4又は5記載の背景画像推定に基づく物体検出装置において、更に、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新する正規分布更新手段を備えることを特徴とする背景画像推定に基づく物体検出装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、徐行移動可能な1つの画像入力手段(例えば、カメラ)で撮影された画像フレームの背景画像から移動物体画像を検出する背景画像推定に基づく物体検出方法及び物体検出装置に関する。
【背景技術】
【0002】
移動するカメラで撮影された映像から移動物体を検出する技術は、自動車の安全走行や移動ロボットの環境認識などのために重要である。
従来法としては、ステレオカメラシステムによる検出方法(ステレオ法)が主体である(例えば、特許文献1~3参照)。
【先行技術文献】
【0003】

【特許文献1】特開2001-243456号公報
【特許文献2】特開2001-283203号公報
【特許文献3】特開2004-280194号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ステレオカメラシステムを用いた場合、移動物体が存在する領域を検出することはできるが、その領域は枠で示されるため、物体の形状そのものの検出は簡単ではない。例えば、移動物体が人の場合、その領域を検出できても、人の動作や挙動までは分からない。
また、左右2台のカメラで取得した画像間の対応付けが必要であるが、人が行うほど正確な対応付けはできない。
更に、カメラが2台必要であり、設置するためのコストもかかる。
なお、従来の移動物体(障害物)の検出方法(ステレオ法)は、車載ビジョンにおいては、一般道路走行時の場合の検出方法が主であり、交差点付近のように移動速度が遅い場合の検出方法は少ない。
【0005】
本発明はかかる事情に鑑みてなされたもので、容易かつ低コストに移動物体の形状を検出でき、これによって移動物体の動作や挙動の認識も可能な背景画像推定に基づく物体検出方法及び物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的に沿う第1の発明に係る背景画像推定に基づく物体検出方法は、車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な1つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出方法であって、
前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、前記移動物体画像を得るに際し、
前記背景画像は、前記画像フレームのうち、前の画像フレームAを構成する画素ごとの濃度値の正規分布Aを用いて、前記画像フレームAの各画素の位置と該画像フレームAの次の画像フレームBの各画素の位置との対応から、該画像フレームBを構成する画素ごとの濃度値の正規分布Bを求め、前記画像フレームBを構成する画素ごとの濃度値が、前記濃度値の正規分布Bの予め設定した値の範囲内か否かを基準に推定する。
【0008】
第1の発明に係る背景画像推定に基づく物体検出方法において、前記前の画像フレームAのうち基準となる画像フレームは、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて前記濃度値の正規分布Aとするのがよい。
【0009】
第1の発明に係る背景画像推定に基づく物体検出方法において、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新することが好ましい。
【0011】
前記目的に沿う第2の発明に係る背景画像推定に基づく物体検出装置は、車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な1つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出装置であって、
前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、該推定した前記背景画像から前記移動物体画像を得る背景画像推定手段を有し、
前記背景画像推定手段は、前記画像フレームのうち、前の画像フレームAを構成する画素ごとの濃度値の正規分布Aを用いて、前記画像フレームAの各画素の位置と該画像フレームAの次の画像フレームBの各画素の位置との対応から、該画像フレームBを構成する画素ごとの濃度値の正規分布Bを求め、前記画像フレームBを構成する画素ごとの濃度値が、前記濃度値の正規分布Bの予め設定した値の範囲内か否かを基準に、前記背景画像を推定する。
【0013】
第2の発明に係る背景画像推定に基づく物体検出装置において、前記背景画像推定手段は、前記前の画像フレームAのうち基準となる画像フレームの画素ごとの濃度値の正規分布Aを、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて求めるのがよい。
【0014】
第2の発明に係る背景画像推定に基づく物体検出装置において、更に、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新する正規分布更新手段を備えることが好ましい。
【発明の効果】
【0016】
本発明に係る背景画像推定に基づく物体検出方法及び物体検出装置は、各画像フレームを構成する画素ごとに濃度値の正規分布を求め、各画像フレームの各画素の濃度値の正規分布と各画像フレーム上の各画素の濃度値とを比較するので、背景画像を推定でき、移動物体の画像が得られる。このように、背景画像の推定に、画像フレームを構成する画素ごとに求めた濃度値の正規分布を用いるので、直接移動物体の形状を求めることが可能となる。これにより、移動物体が例えば人の場合、特願2008-14124に記載の動体の動作認識方法等を用いることで、動作認識(歩く、走る、立ち止まる、しゃがむ、転ぶ等)も可能になる。
更に、移動物体の画像は、徐行移動可能な1つの画像入力手段により得られるため、従来のステレオ法と異なり、不安定性がある左右画像間の対応付け処理が不要である。また、カメラを2台用いるステレオ法よりも、コストを低く抑えることができ、経済的である。
【0017】
特に、背景画像と移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新する場合、背景画像と移動物体画像の正規分布が、最新の情報に更新されるため、移動物体の検出精度が更に高められる。
また、画像入力手段が車載用カメラである場合、特に人(障害物)を検出することで、例えば、横断歩道等で危険な人物を判定し、警告信号をドライバーに与えることが可能になり、自動車運転の安全技術の向上に貢献できる。更に、画像入力手段が移動ロボット用カメラである場合、例えば、知能ロボットがこの機能を持てば、人の様々な活動を支援、あるいは保護することが可能になる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施の形態に係る背景画像推定に基づく物体検出方法の準備工程の説明図である。
【図2】同物体検出方法の特徴点検出工程の説明図である。
【図3】同物体検出方法の特徴点追跡工程の説明図である。
【図4】同物体検出方法のカメラ運動モデル推定工程の説明図である。
【図5】同物体検出方法の正規分布算出工程の説明図である。
【図6】同物体検出方法の移動物体画像検出工程の説明図である。
【図7】同物体検出方法の正規分布更新工程の説明図である。
【図8】(A)は横断歩道手前で停止した車から撮影した原画像の写真、(B)は(A)の背景画像の写真、(C)は(A)から検出された人の写真である。
【図9】(A)は交差点を左折して停止した車から撮影した原画像の写真、(B)は(A)の背景画像の写真、(C)は(A)から検出された人の写真である。
【発明を実施するための形態】
【0019】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1~図7に示すように、本発明の一実施の形態に係る背景画像推定に基づく物体検出方法は、自動車に取付け固定された徐行移動可能な1つのカメラ(画像入力手段の一例)を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像10から、人画像(移動物体画像の一例)11を検出する方法である。なお、撮影した複数の画像フレームは、時系列的に撮影されたものであり、前の画像フレームAを画像フレームFi-1とし、これに連続する次の画像フレームBを画像フレームFとして、全画像フレームの数をIとした場合、iは1以上I以下の正の整数である。以下、詳しく説明する。

【0020】
カメラは、自動車のフロント(運転席前方)に取付け固定された車載用カメラである。なお、カメラは、これに限定されるものではなく、例えば、移動ロボットに取付け固定される移動ロボット用カメラでもよい。
このカメラは、例えば、デジタルビデオカメラやCCDカメラである。なお、撮影した画像フレームのサイズ(画素数)は、例えば、(100~500)×(100~500)ピクセル程度である。また、画像フレームの撮影速度は、例えば、1秒あたり10~100枚程度である。
このカメラによる撮影は、自動車が徐行移動するとき又は停止するときに行われる。ここで、徐行移動とは、例えば、上限が、10km/時間、更には5km/時間、下限が0を超え、又は1km/時間の速度を意味する。

【0021】
この自動車(カメラ)が停止している場合、従来の方法では、1つのカメラで人画像の形状そのものの検出ができない。また、自動車(カメラ)が徐行移動する場合、撮影した複数の画像フレームにおいて、背景画像の位置も移動するため、各画像フレーム内の人画像を検出できない。ここで、徐行移動とは、例えば、走行中の自動車が停止しようとするときの速度や、一度停止した自動車が再度動き出すときの速度を意味する。
そこで、本実施の形態に係る物体検出方法を構成する以下の作業を、本発明の一実施の形態に係る背景画像推定に基づく物体検出装置(以下、単に物体検出装置ともいう)のコンピュータ(図示しない)内で計算して行い、コンピュータ内のプログラムにより画像処理して、人画像を検出する。このコンピュータは、RAM、CPU、ROM、I/O、及びこれらの要素を接続するバスを備えた従来公知のものであり、背景画像推定手段を有している。なお、物体検出装置は、上記したカメラも有している。
以下、カメラが徐行移動する場合について説明する。

【0022】
まず、i=1として、図1に示すように、画像フレームFの前の画像フレームである基準となる画像フレームFi-1(ここでは、最初の初期画像フレームであるが、複数の画像フレームのうちの途中の画像フレームでもよい)を構成する画素12ごとに、濃度値の正規分布Aを求める。なお、正規分布は、平均値μと分散σという2つのパラメータを持つ。ここで、平均値μは、背景画像の推定画素値を表すパラメータであり、移動平均モデルと同様の意味を持つ。また、分散σは、その画素における時間方向の画素値のばらつき(安定性)を表している。つまり、画素値の変化が少ない画素においては分散が小さく、変化が多い画素においては大きくなる。
濃度値の正規分布Aを求める処理は、カメラで撮影した画像フレームFi-1のデータを、コンピュータに送信して記憶手段に保存し、コンピュータ内の演算手段を用いて行う。なお、画像フレームFi-1の次の画像フレームFのデータも、コンピュータに送信して記憶手段に保存しておく。

【0023】
各画素は、カラー画像の場合は、RGBで表現された色を有している。このRGBは、色の表現法の一種で、赤(Red)、緑(Green)、及び青(Blue)の3つの原色を混ぜて幅広い色を再現する加法混色の一種である。なお、各画素の色の表現は、RGBに限定されるものではなく、他の表現法で表現してもよい(例えば、画像合成などに使われる透過(透明度)を表現するアルファチャンネル(Alpha)が加わったRGBA等)。また、各画素は白黒で表現されてもよい。

【0024】
これにより、初期画像フレームFi-1上の画素p(x,y)に、RGBの濃度値の3次元の正規分布Ni-1(f;μ,Σ)(x,y)を与える。そして、これを、画像フレームFi-1を構成する全画素について行い、記憶手段に記憶する。
ただし、上記した濃度値の正規分布Ni-1(f;μ,Σ)(x,y)は、式(1)及び式(2)で示される。

【0025】
【数1】
JP0005388059B2_000002t.gif

【0026】
【数2】
JP0005388059B2_000003t.gif

【0027】
ここで、Σは、一例として、RGBの各成分が独立で同じ大きさの分散を持つと仮定した場合の共分散行列を示している。この仮定によれば、逆行列の計算等の複雑な計算を避けることができ、高速な処理が可能となる(以上、準備工程)。

【0028】
次に、コンピュータの記憶手段に保存された画像フレームFi-1に対し、特徴点検出法(例えば、Harris operator)を適用する。これにより、図2に示すように、太線の○印で囲まれたK個の特徴点Pk,i-1(k=1、2、・・・、K)を求めることができるので、これを記憶手段に記憶する。なお、特徴点の個数は、計算の処理速度にもよるが、例えば、50個以上500個以下程度(ここでは、100個以上200個以下)である。
このように、特徴点検出法を用いることで、画像フレームFi-1内で対応の取り易い(動きベクトルを算出し易い)特徴点を検出でき、画像フレームFi-1内の任意の点で動きベクトルを求めようとした場合に発生する誤差を小さくできる(以上、特徴点検出工程)。

【0029】
そして、図3に示すように、コンピュータの記憶手段に保存された画像フレームF上で、上記した特徴点Pk,i-1に対応する点Pk,iを、特徴点追跡法(例えば、L-K法:Lucas-Kanade法、局所勾配法)を用いて求める。このL-K法は、注目点近傍の小領域画素の動きベクトルを、注目点の動きベクトルと同一と仮定し、注目画素近傍の拘束方程式の線形解法を用いて動きベクトルを算出する方法である。
これにより、図3に示すように、画像フレームFi-1内の特徴点Pk,i-1(図3の細線の○印で囲まれた位置)が、画像フレームF内のどの位置(図3の太線の○印で囲まれた位置、即ち対応点Pa(k),i)に対応しているのかを検出し、これを記憶手段に記憶する。

【0030】
なお、L-K法は、大きな動きに弱いという欠点があるため、画像の解像度階層構造を利用した改良法を用いることもできる。
この手法では、2枚の画像をそれぞれ順次圧縮して、ピラミッド形状の階層構造を作成する。画像フレーム上の動きは、解像度が低いほど小さくなる。このことを利用して、解像度の低い画像から、L-K法により動きベクトルを推定し、その結果を次の階層の動きベクトル推定の初期値として用いる。この処理を原画像のサイズになるまで繰返すことにより、L-K法は比較的大きな動きに対応することができる(以上、特徴点追跡工程)。

【0031】
次に、コンピュータの記憶手段に記憶させた特徴点とその対応点のセット(Pk,i-1,Pa(k),i)(k=1、2、・・・、K;a(k)はkに対応する特徴点の番号を与える関数)を用いて、図4に示すように、画像フレームFi-1と画像フレームFの間の2次元射影変換Ti-1→iを求める。これにより、画像フレームFi-1と画像フレームFのペアから、特徴点の移動時の規則性(式)を求めることができるので、これを記憶手段に記憶させる。
なお、このとき、RANSAC(RANdom SAmple Consensus)を用いて、局所的な動き(アウトライア)となる対応点のセットを除き、これを記憶手段に記憶させる。

【0032】
RANSACを用いることにより、ランダムサンプリングに基づき、画像フレーム内の動きを、大局的な動き(インライア)と局所的な動きのいずれかに判別できる。このRANSACを用いたカメラ運動モデルのパラメータ推定アルゴリズムを、以下に示す。
1)全ての動きベクトル内からランダムにR個のベクトルを選択する。
2)選択されたベクトルを用いて最小二乗法でモデルパラメータを計算する。
3)全ての算出された動きベクトル(u、v)において、得られたモデルパラメータで計算されるモデルベクトル(mu、mv)との誤差E={(u-mu)+(v-mv)1/2を測定し、誤差Eが閾値内に入るベクトル(インライア)の数を測定する。
4)上記1)~3)を十分多数回繰返す。
5)最も多くのインライアが得られたモデルパラメータにおける全てのインライアを用いて、最終的なモデルパラメータを計算する(以上、カメラ運動モデル推定工程)。

【0033】
続いて、画像フレームF上で、画素p(x,y)のRGBの濃度値の正規分布N(f;μ,Σ)(x,y)を求める。
具体的には、図5に示すように、画像フレームF上の各画素pの位置(x,y)に対応する画像フレームFi-1上の点(x,y)i-1を、上記した2次元射影変換Ti-1→iの逆変換を用いて求める(図5に示す点線矢印)。そして、点(x,y)i-1の最近傍の4画素(テクスチャのある画素)の正規分布から、双線形補間によりRGBの各平均値μ、μ、μと分散σを求め、これを画素pの位置(x,y)の濃度値の正規分布N(f;μ,Σ)(x,y)とする。

【0034】
以上の手続きを、画像フレームF上の全画素について行い、これを記憶手段に記憶させる。
このように、画像フレームFを構成する画素ごとの濃度値の正規分布N(f;μ,Σ)(x,y)を、カメラの移動に伴う画像フレームFi-1の各画素p´の点(x,y)i-1の位置と画像フレームFの各画素pの位置(x,y)との対応から、画像フレームFi-1の画素ごとの濃度値の正規分布Ni-1(f;μ,Σ)(x,y)を用いて求めることができる(以上、正規分布算出工程)。

【0035】
そして、コンピュータの演算手段で求めた画像フレームF上の画素pの位置(x,y)のRGBの濃度値f、f、fが、式(3)を満たせば、画素pは背景画像を構成する画素(B)、満たさなければ前景である人画像を構成する画素(F)とする。なお、式(3)のTσは、閾値定数である。また、画素pの位置(x,y)のRGBの濃度値f、f、f(画素値)は、画像フレームFを構成する画素ごとの値であり、濃度値と濃度値の正規分布とは、前者が特定の数値であるのに対し、後者は画像ノイズや画像フレーム間の明るさの変化等によるその数値の広がり(分布)を表すという点で異なる。
同様の処理を全画素に対して行うことで、画像フレームF上の前景画素(F)が得られるため、これを記憶手段に記憶させる。

【0036】
【数3】
JP0005388059B2_000004t.gif

【0037】
具体的には、図6に示すように、画像フレームFを構成する画素pの位置(x,y)ごとのRGBの濃度値f、f、fが、画像フレームFの濃度値の正規分布N(f;μ,Σ)(x,y)の予め設定した値(ここでは、σ)の範囲内か否かの基準により、背景か前景かを推定する。
なお、背景とは、カメラの位置が移動する場合、その動きがカメラの動きのみに起因する画素の集合を意味し(静止カメラの場合、連続した画像フレーム間で静止した画素の集合を意味する)、前景とは、背景以外の画素の集合を意味する。
これにより、画像フレームFi-1、Fを構成する画素ごとに求めた濃度値の正規分布Ni-1(f;μ,Σ)(x,y)、N(f;μ,Σ)(x,y)から、カメラの移動に伴って移動する背景画像を推定できる(以上、移動物体画像検出工程)。
以上に示した背景画像の推定は、コンピュータ内の背景画像推定手段により処理して行う。

【0038】
なお、背景画像10と人画像11をそれぞれ構成する画素12ごとの濃度値の正規分布は、図7に示すように、新たに得られた濃度値で更新することが好ましい。
具体的には、式(4)~式(7)を使用して画素pの位置(x,y)の正規分布を更新する。なお、更新は、背景画素(background pixel)か前景画素(foreground pixel)かに応じて、異なる更新式を用いて行われる。

【0039】
【数4】
JP0005388059B2_000005t.gif

【0040】
【数5】
JP0005388059B2_000006t.gif

【0041】
【数6】
JP0005388059B2_000007t.gif

【0042】
【数7】
JP0005388059B2_000008t.gif

【0043】
ここで、f(x,y)は、サンプル時刻iにおける画素pの位置(x,y)の濃度値、αは式(5)で定義される変動学習率、βは式(6)で定義されるように、前景抽出連続フレーム数C(x,y)(サンプル時刻iにおいて、画素pの位置(x,y)がiまでに連続して前景と判定された回数)による変動学習率である。また、式(5)のcは正規化定数、式(6)のkは実験で決められる定数である。
この更新式である式(4)と式(7)により、新たな正規分布N(f;μ(x,y)が得られる。このように、新たに求めた(得られた)濃度値を用いて正規分布を更新し、これを画素pの位置(x,y)の新しい正規分布N(f;μ,Σ)(x,y)とする。
この手続きを、全画素に対して行い、記憶手段に記憶させる(以上、正規分布更新工程)。
このように、正規分布の更新を行う場合は、コンピュータ内に更に正規分布更新手段を設けて行う。

【0044】
次に、i=2として、以上に示した特徴点検出工程、特徴点追跡工程、カメラ運動モデル推定工程、正規分布算出工程、移動物体画像検出工程、及び正規分布更新工程を、順次行う。このとき、画像フレームFi-1の次の画像フレームFのデータは、特徴点検出工程でコンピュータに送信して記憶手段に保存する。
更に、i:=i+1として、i≦I(全画像フレーム数)の間、上記工程を順次行う処理を繰り返して、全画像フレームの処理を終わらせる。
以上により、推定された背景画像10上の画素ごとの正規分布と、画像フレームF上の各画素の濃度値との比較により、人画像11が得られる。
以上に示した背景画像の推定と人画像の検出は、コンピュータ内の背景画像推定手段により処理して行う。
従って、カメラが徐行移動し、画像フレームFi-1、F上で背景画像10の位置が移動しても、人画像11を検出でき、且つその形状を認識できる。なお、カメラが停止している場合においても、人画像の形状を認識できる。
【実施例】
【0045】
次に、本発明の作用効果を確認するために行った実施例について説明する。
ここでは、カメラには車載用カメラを使用し、横断歩道手前で停止した車から撮影した場合と、交差点を左折して停止した車から撮影した場合の2例について、画像フレームから人画像を検出した結果について説明する。
なお、撮影した画像フレームのサイズは、320×220ピクセル、また、画像フレームの撮影速度は、1秒あたり30枚である。
【0046】
まず、横断歩道手前で停止した車から撮影した原画像を用いて、人画像を検出した結果について、図8(A)~(C)を参照しながら説明する。
図8(A)に示す原画像に対し、前記した本発明の背景画像推定に基づく物体検出方法を適用することで、図8(B)に示す原画像の背景画像を推定でき、これにより、図8(C)に示す原画像から人画像を検出できることを確認できた。
【0047】
次に、交差点を左折して停止した車から撮影した原画像を用いて、人画像を検出した結果について、図9(A)~(C)を参照しながら説明する。
図9(A)に示す原画像に対し、前記した本発明の背景画像推定に基づく物体検出方法を適用することで、図9(B)に示す原画像の背景画像を推定でき、これにより、図9(C)に示す原画像から人画像を検出できることを確認できた。
【0048】
以上から、本発明の背景画像推定に基づく物体検出方法及び物体検出装置を使用することで、容易かつ低コストに移動物体の形状を検出できることを確認できた。その結果、例えば、特願2008-14124に記載の動体の動作認識方法等を用いることで、移動物体の動作や挙動の認識も可能となる。
【0049】
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。例えば、前記したそれぞれの実施の形態や変形例の一部又は全部を組合せて本発明の背景画像推定に基づく物体検出方法及び物体検出装置を構成する場合も本発明の権利範囲に含まれる。
【産業上の利用可能性】
【0050】
本発明の背景画像推定に基づく物体検出方法及び物体検出装置は、例えば、各種乗り物(例えば、自動車、バス、電車)に設けられる安全システムや、移動ロボットの視覚情報処理システムに利用できる。
【符号の説明】
【0051】
10:背景画像、11:人画像(移動物体画像)、12:画素
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8