TOP > 国内特許検索 > 動作検出装置及び動作検出方法 > 明細書

明細書 :動作検出装置及び動作検出方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4130975号 (P4130975)
登録日 平成20年6月6日(2008.6.6)
発行日 平成20年8月13日(2008.8.13)
発明の名称または考案の名称 動作検出装置及び動作検出方法
国際特許分類 G06T   7/20        (2006.01)
G06T   7/00        (2006.01)
FI G06T 7/20 A
G06T 7/00 350C
請求項の数または発明の数 19
全頁数 32
出願番号 特願2007-510446 (P2007-510446)
出願日 平成18年3月24日(2006.3.24)
国際出願番号 PCT/JP2006/305946
国際公開番号 WO2006/104033
国際公開日 平成18年10月5日(2006.10.5)
優先権出願番号 2005091321
優先日 平成17年3月28日(2005.3.28)
優先権主張国 日本国(JP)
審査請求日 平成19年8月24日(2007.8.24)
特許権者または実用新案権者 【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
発明者または考案者 【氏名】林 初男
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100121371、【弁理士】、【氏名又は名称】石田 和人
審査官 【審査官】新井 則和
参考文献・文献 特開平01-315885(JP,A)
調査した分野 G06T 7/20
G06T 7/00
特許請求の範囲 【請求項1】
エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段;
前記各画像ブロックに対応して中間ブロックを複数個有する中間層;
及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層;
を備えた動作検出装置において、
前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化されるものであり、
前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性化に伴い活性値を初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された場合に保持している前記活性値の大きさに関する情報を発火信号として出力するものであり、
前記出力層における前記各反応ブロックから出力される前記発火信号のパターンに基づき、当該発火信号のパターンと対応づけられた物体の動きの種類を判別し、判別された物体の動きの種類を動き検出情報として出力する動き判定手段を備えたことを特徴とする動作検出装置。
【請求項2】
前記各反応ブロックは、
順序づけられて接続され、活性値を保持する複数の反応ユニット;
前記隣接中間ブロックの活性化に伴い、先頭の前記反応ユニットの活性値を初期化する活性値初期化手段;
前順の前記反応ユニットの活性値を後順の前記反応ユニットへ伝達する活性信号伝達手段;
及び前記対応中間ブロックが活性化された場合に、活性値を保持している前記反応ユニットの順序に関する情報を発火信号として出力する経時情報出力手段;
を備えていることを特徴とする請求項1記載の動作検出装置。
【請求項3】
エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段;
前記各画像ブロックに対応して中間ブロックを複数個有する中間層;
及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層;
を備えた動作検出装置において、
前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持するものであり、
前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を発火信号として出力するものであること
を特徴とする動作検出装置。
【請求項4】
前記各中間ブロックは、
順序づけられて接続され、活性値を保持する複数の中間ユニット;
対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に、先頭の前記中間ユニットの活性値を初期化する活性値初期化手段;
及び前順の前記中間ユニットの活性値を後順の前記中間ユニットへ伝達する活性信号伝達手段;
を備え、
前記各反応ブロックは、前記対応中間ブロックが活性化された場合に、前記隣接ブロック内の活性値を保持している前記中間ユニットの順序に関する情報を発火信号として出力する経時情報出力手段を備えていることを特徴とする請求項3記載の動作検出装置。
【請求項5】
前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする請求項1乃至4の何れか一記載の動作検出装置。
【請求項6】
前記フレームを4つの象限に分割し各象限に対応して4枚の前記中間層を備えていることを特徴とする請求項1乃至4の何れか一記載の動作検出装置。
【請求項7】
前記各象限に対応する前記中間層の各々に対して、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする請求項6記載の動作検出装置。
【請求項8】
エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段;
及び、所定の動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体;
を備え、
前記動き検出ブロックは、
対応する画像ブロックに対し動き検出方向と反対方向の側に隣接する画像ブロックについてのエッジ検出信号が検出された場合には、その検出時刻からの経過時間の情報である経時情報を生成するとともに当該経時情報を単調関数で時間変化させつつ保持し、
対応する画像ブロックについてのエッジ検出信号が出力された場合に、その時点において保持している前記経時情報を出力するものであり、
前記動き検出ブロックが前記経時情報を出力した場合、前記経時情報が出力された画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定し、判別された物体の動きの種類を動き検出情報として出力する動き判定手段を備えたことを特徴とする動作検出装置。
【請求項9】
上下左右の各動き検出方向に対応してそれぞれ前記動き検出ブロック集合体を具備していることを特徴とする請求項8記載の動作検出装置。
【請求項10】
前記動き検出ブロックは、
前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック;
及び、前記活性信号及び出力トリガ信号に基づき経時情報を生成し出力する反応ブロック;
を備え、
前記反応ブロックは、
固有の活性値を保持する活性値記憶手段;
前記活性信号が入力され始めた時に当該活性値を所定の初期値とする活性値初期化手段;
所定の単調関数である活性値変化関数に従って前記活性値を経時変化させる活性値変化手段;
及び、前記出力トリガ信号が入力された場合にはその時点の前記活性値又は前記活性値から所定の出力関数により算出される値である出力値を前記経時情報として出力する経時情報出力手段;
を備え、
前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックに対して前記活性信号を出力するものであること
を特徴とする請求項8又は9記載の動作検出装置。
【請求項11】
前記動き検出ブロックは、
前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック;
及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック;
を備え、
前記反応ブロックは、
活性信号を保持するための反応ユニットが順序づけて複数個配列された反応ユニット配列;
先頭の反応ユニットから末尾の反応ユニットへ活性信号を経時的に順次転送又は伝搬する活性信号伝達手段;
前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ユニット配列における順序情報を前記経時情報として出力する経時情報出力手段;
を備え、
前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ユニット配列の先頭の反応ユニットに対して前記活性信号を出力するものであること
を特徴とする請求項8又は9記載の動作検出装置。
【請求項12】
前記活性信号伝達手段は、先頭の反応ユニットから末尾の反応ユニットへ所定の活性値変化関数に従って前記活性信号を経時的に変化させながら順次転送又は伝搬するものであり、
前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであること
を特徴とする請求項11記載の動作検出装置。
【請求項13】
前記動き検出ブロックは、
前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック;
及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック;
を備え、
前記反応ブロックは、
活性信号を保持するための反応ユニットがリンクを介して二次元的に複数個接続された反応ネット;
前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに経時的に転送又は伝搬させる活性信号伝達手段;
前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ネットにおける分布範囲情報を前記経時情報として出力する経時情報出力手段;
を備え、
前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ネットの中央に位置する反応ユニットに活性信号を出力するものであること
を特徴とする請求項8又は9記載の動作検出装置。
【請求項14】
前記活性信号伝達手段は、前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに所定の活性値変化関数に従って前記活性信号を変化させながら順次転送又は伝搬するものであり、
前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであること
を特徴とする請求項13記載の動作検出装置。
【請求項15】
前記動き検出ブロックは、
活性信号を保持するための中間ユニットがリンクを介して二次元的に複数個接続された中間ネットを有する中間ブロック;
及び、前記中間ブロック内の前記中間ユニットのそれぞれに対応して設けられた複数の反応ユニットを有する反応ブロック;
を備え、
前記エッジブロック検出手段は、前記各フレームを順次読み込み、前記フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出し、エッジ像が含まれる画像ブロックに対応する前記中間ブロック内の前記中間ネットの中央に位置する中間ユニットである中央中間ユニットにエッジ検出信号を出力するものであり、
前記中間ブロックは、
前記中央中間ユニットに活性信号が入力されたときに、当該中央中間ユニットの保持する活性信号を初期値に初期化した後、当該動き検出ブロックに属する前記反応ブロックのすべての反応ユニットに対し当該活性信号を出力する活性値初期化手段;
前記中間ネット内のリンクで接続された二つの中間ユニットについて、当該リンクの入力側の中間ユニットの活性信号を減衰させて当該リンクの出力側の中間ユニットに経時的に転送又は伝搬させる活性信号伝達手段;
前記中央中間ユニット以外の各中間ユニットについて、当該中間ブロックに対し動き検出方向に隣接する前記中間ブロックに対応する反応ブロックである隣接反応ブロック内の反応ユニットのうち、当該隣接反応ブロック内の相対位置が当該中間ブロック内における当該中間ユニットの相対位置と同じ相対位置にある反応ユニットに対し保持している活性信号を出力する活性信号転送手段;
を備え、
前記反応ブロック内の前記各反応ユニットは、
前記活性信号転送手段から入力される活性信号を保持する活性信号保持手段;
前記活性信号保持手段が保持する活性信号を減衰させる反応信号減衰手段;
前記活性信号転送手段又は前記活性値初期化手段により活性信号が入力された場合、入力された活性信号の値を前記活性信号保持手段が保持する活性信号の値に加えることにより前記活性信号保持手段の保持する活性信号を更新する活性信号更新手段;
前記活性信号保持手段が保持する活性信号が所定の閾値を超えたときに、その活性信号又は発火信号を前記経時情報として出力する発火手段;
を備えていることを特徴とする請求項8又は9記載の動作検出装置。
【請求項16】
前記各動き検出ブロックは、一つの前記中間ブロックと、上下左右の各動き検出方向に対応する4つの前記反応ブロックとを具備していることを特徴とする請求項10乃至15の何れか一記載の動作検出装置。
【請求項17】
前記各動き検出ブロックは、
前記中間ブロックは、前記フレームを上下左右の4象限に分割した場合の各象限に対応して4つの前記中間ブロックと、
前記各中間ブロックのそれぞれについて、上下左右の各動き検出方向に対応する4つの前記反応ブロックと、
を具備していることを特徴とする請求項10乃至15の何れか一記載の動作検出装置。
【請求項18】
コンピュータに読み込ませて実行することにより、コンピュータを請求項1乃至17の何れか一に記載の動作検出装置として機能させることを特徴とするプログラム。
【請求項19】
順次入力されるエッジ抽出処理された動画像のフレームをブロック分割したときの各画像ブロックについて、各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出ステップ;
前記エッジ検出信号が出力された画像ブロックである検出ブロックに対し動き検出方向に隣接する画像ブロックである隣接ブロックに対して、前記検出ブロックにおいて前記エッジ検出信号が継続的に出力され始めた時刻からの経過時間の情報である経時情報を生成する経時情報生成ステップ;
前記隣接ブロックにおいて前記エッジ検出信号が出力され始めた時に、前記隣接ブロックについて生成された前記経時情報を出力する経時情報出力ステップ;
及び、前記経時情報出力ステップで各画像ブロックについての前記経時情報を出力した後に、経時情報を出力した各画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判別し、判別された物体の動きの種類を動き検出情報として出力する動き判定ステップ;
を有することを特徴とする動作検出方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画像に含まれる物体像の位置や動きをリアルタイムで検出解析する動作検出技術に関する。
【背景技術】
【0002】
移動体にとって、移動中の安全を確保することは重要な課題である。移動中の安全を確保する技術は多くの場面で用いられており、例えば、自動車の安全運転に係る警報装置、ナビゲーション装置、自動運転装置、自動掃除機等が挙げられる。これらの装置を実現するためには、撮像された前方の動画像から物体像の動きをリアルタイムで検出解析する動作検出技術が必要不可欠である。
【0003】
動画像に含まれる物体像の動作を検出する技術としては、オプティカルフローを用いた動作検出方法が知られている。オプティカルフロー(optical flow)とは、画面上の各点の速度場のことである。この場合、まず、動画像のあるフレームF1と一定時間後のフレームF2の2枚のフレームを複数の小領域に分割する。そして、フレームF2の中から、フレームF1内の各小領域と最も相関が高い小領域を探索することで、各小領域のオプティカルフローが算出される。オプティカルフローを検出することにより物体像の移動方向や速度、およびカメラからの奥行きに関する情報を得ることができる。
【0004】
図20はオプティカルフローを用いた移動体の検出装置の概略を示すブロック図である(特許文献2,図7参照)。図20において、まず、カメラ101で撮影された画像信号Gは、AD変換器102によりデジタル信号の画像信号Dに変換される。ある時刻とその時刻から所定時間経過後の時刻の2つの画像信号Da,Dbは、一対のメモリ103a,103bに格納される。CPU105は、各メモリ103a,103bの画像データDa,Dbを相関演算器104に入力させる。相関演算器104は、注目される各小領域Ai,j(∈Da)ごとに、その近傍の小領域Bi,j(∈Db)に対し画像相関演算を行い、小領域Bi,jで最も相関の高い小領域Bm,nを探索する。そして、CPU105は、小領域Ai,jが移動したか否かを判定する。CPU105は、移動が判定された小領域Bm,nを相関データとし、この相関データをスーパーインポーザ106により画像Gに重畳させる。重畳された画像は、CRT107に表示される。
【0005】
オプティカルフローの演算においては、各小領域毎に相関演算が行われるため、計算量が膨大となり処理時間が長くなる。そこで、リアルタイムな処理が要求される場合には、図20に示されたように、メモリ103a,103b及び相関演算器104を並列化することにより、演算の高速化が図られる。
【0006】
上述のようなオプティカルフローを用いた動作検出技術としては、例えば、特許文献1記載の技術が公知である。特許文献1に記載の障害物検出方法では、まず、車両に備えられた画像取得手段により当該車両の進行可能な方向の所定範囲の画像を撮影する。次に、車両に備えられた演算手段は、取り込んだ画像を用いてオプティカルフローを算出する。
【0007】
次いで、演算手段は、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する。この場合、まず、複数のオプティカルフロー(V1,V2,V3,…)を算出した後に、これらベクトルの吹き出し口となるいわゆる無限遠点Pを算出する。例えば、各ベクトルV1,V2,V3,…を当該ベクトルの向きとは反対方向に延長し、これらの交点を無限遠点Pとする。そして、この無限遠点Pを車両の進行方向と認識し、さらに、画像上で無限遠点Pを中心としてあらかじめ定めた一定の大きさの範囲を、後に注意すべき障害物を検出する範囲(進行方向エリア)として設定する。
【0008】
また、車両に備えられた距離計測手段により、撮影範囲に存在する障害物との距離を計測する。そして、演算手段は、距離計測工程にて計測した撮影範囲に存在する障害物との距離のうち、進行方向エリアの画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する。この障害物判断機能により、注意すべき障害物であると判断された場合には、警報発生手段により警報を出力することができる。
【0009】
また、図20のように、高速化のためにメモリ103a,103bと相関演算器104を並列化すると回路規模が膨大となり消費電力の増加やコストアップを招く。そこで、特許文献2には、簡単な装置構成によりコストダウンを図るとともに、画像データの高速処理を可能とした移動体検出装置が記載されている。図21は特許文献2に記載の移動体検出装置の構成を表すブロック図である。
【0010】
この場合、まず、カメラ101により撮影された画像信号Gは、AD変換器102によりデジタル信号の画像データDに変換される。画像データDは水平エッジ検出部110に入力される。水平エッジ検出部110は、画像データD内の注目画素と注目画素から所定画素だけ離れて下にある画素との差分をとることにより、水平エッジEhを検出する。続いて、水平エッジ加算部111は、検出された水平エッジEhを2値化した後に加算し、ヒストグラムの度数となるデータを求める。この加算結果から得られるデータは、CPU105及びスーパーインポーザ106に入力される。
【0011】
CPU105では、水平エッジEhのヒストグラムデータ(度数)から、閾値c以上の垂直位置q1及びq2を求める。そして画面の最も下方に位置する垂直位置q2を今回の障害物の候補位置q(t)とする。次いで、CPU105は、障害物が移動したか否かを検出する。この場合、所定時間前の障害物候補の位置q(tn-1)と今回検出された障害物候補の位置q(t)との垂直方向の移動量を求める。この移動量が検出されれば、移動体が存在すると判定される。
【0012】
最後に、スーパーインポーザ106は、カメラ101から得られる画像信号GとCPU105における演算によって得られる移動体とを重畳し、CRT107に表示する。このように、水平エッジのヒストグラムを検出するという簡単な演算により移動体検出を行うことにより、ハードウェア構成の簡略化を図り移動体認識処理の高速化を図っている。

【特許文献1】特開2004-349926号公報
【特許文献2】特開平7-280517号公報
【特許文献3】特開2003-281543号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、上記特許文献1の方法においては、オプティカルフローを算出するのに画像小領域の相関演算を行う必要があり、多量の計算量を必要とするため、或る程度の演算時間を要する。従って、高速で移動する車両から物体像の動きを検出する場合のようにリアルタイムでの物体検出を行う必要がある場合には、演算量を減らすために、画像中からオプティカルフローの演算を行う点をサンプリングし、特定点に対して動き検出を行うといった処理が必要となる。そのため、動きの検出精度が低くなるという問題がある。
【0014】
また、特許文献2の方法は、少ないハードウェア構成で高速に移動体の検出を行うことができる。しかしながら、移動体が存在することとその垂直方向の位置の検出は自動化されているものの、移動体の水平方向の位置は目視により確認する必要がある。また、移動体の大きさについても不明である。また、画像内にある移動体の速度についても、垂直方向の速度以外は検出することができない。更に、複数の移動体が同時に画面上に現れた場合、一つの移動体のみしか検出できない。従って、警報装置、ナビゲーション装置、自動運転装置、自動掃除機等の高度な障害物検出精度が要求される装置に適用するには十分な物であるとはいえない。
【0015】
そこで、本発明の目的は、簡単なハードウェア構成により、動画像内に含まれる物体像の位置や動きをリアルタイムで精度よく検出解析することが可能な動作検出技術を提供することにある。
【課題を解決するための手段】
【0016】
ここでは、まず、本発明の基本的な考え方について説明を行い、続いて、本発明の構成及び作用について説明する。
【0017】
〔1〕本発明の基本的な考え方
脳の海馬C3領野では、学習の結果、信号入力部位からニューロン活動が波紋状に広がるようになる。これは、ニューロン活動の放射状伝搬と呼ばれる。この波紋の半径は、信号が入力されてからの時間に依存する。従って、複数の信号が異なる場所に入力されると、それぞれの入力部位から生じたニューロン活動の波紋の半径はそれぞれの信号が入力された時間に依存し、半径の大小が信号の時間的順序関係を反映することとなる。
【0018】
そこで、本発明者は、ニューロン活動の放射状伝搬に基づく海馬の時系列学習機構に基づいて、前方視野中にある物体の位置、速度、方向を同時にリアルタイムで検出できる時系列情報処理システムとして本発明をするに至った。
【0019】
本発明に係る動作検出装置の基本構造は、図1に示すような海馬の時系列学習機構を模倣したものである。入力信号としては、時系列で与えられる画像情報(画像フレームの並び)を用いる(図1(a)参照)。これらの画像フレーム1を、図1(a)のように、中心を通る動径と同心の長方形でマス目に区切る。マスの数、1マスの大きさ、マス内の画素の数などは、要求される空間分解能や時間分解能に依存して適宜決められる。
【0020】
尚、本発明ではマス目の区切り方は図1(a)のようなものに限られるものではなく、例えば、同心円状のマス目や単なる方形格子状のマス目等、種々のものを選択することが可能である。
【0021】
画像情報としては物体の輪郭(エッジ像)を用いるが、輪郭抽出(エッジ抽出)には既存の技術を用いることができる。例えば、動く物体の輪郭をリアルタイムで検出するビジョンチップの出力画像を使用することができる。
【0022】
一方、画像フレーム1と同様にマス目に区切られたCA3ネット(中間層)2を用意する。CA3ネット2の各マス内は、網目状に結合した多数のユニット(ニューロン)が存在しているものとする。図1(b)は、図1(a)の画像フレーム1を上下左右の4つの象限(以下「上象限」、「下象限」、「左象限」、「右象限」という。)に分割したときの上象限に対応するCA3ネット2を表している。その他の象限(下象限、左象限、右象限)についても、同様にCA3ネット2を用意する。
【0023】
尚、ここでは説明の便宜上、各象限ごとにCA3ネット2が分割されているものとするが、本発明では、画像フレーム1のすべてに対応する1つのCA3ネット2を使用することも可能である。
【0024】
更に、各CA3ネット2に対応してCA1ネット(出力層)3を用意する(図1(d)参照)。CA1ネット3の各マス内は、CA3ネット2と同様に、網目状に結合した多数のユニット(ニューロン)が存在しているものとする。
【0025】
また、図1において、画像フレーム1のマスB,Cは、それぞれCA3ネット2のマスB3,C3、及びCA1ネット3のマスB1,C1と対応している、図1(c)のCA3ネット2のマスD3はCA1ネット3のマスD1と対応している。
【0026】
まず、時刻tの画像フレーム1において、図1(a)のマスBのフレームの中心方向に隣接するマスに存在していた物体の輪郭(エッジ像)がマスBに移動したとする。このとき、マスBから、マスBに対応するCA3ネット2内のマスB3の中心のユニットに信号が送られ、そのマスB3内で興奮が減衰しながら放射状に伝搬し始める(図1(c)参照)。尚、図1(c)は、図1(b)の一部のマスを拡大したものである。
【0027】
次に、CA3ネット2のマスB3の中心にあるユニット(ニューロン)は、対応するCA1ネット3のマスB1内のすべてのユニットに信号を送る。CA3ネット2のマスB3の中心以外にあるユニットは、CA1ネット3のマスB1の上側のマスC1内にあるユニットのうち、マス内における相対座標が等しいユニットに信号を送る。これにより、マスC1内においてマスB3内の興奮の波紋と同じ形の領域に信号を送る。
【0028】
次に、時刻t+1において、次の時刻の画像フレーム1が入力される。次の時刻の画像フレーム1では、物体の輪郭は上方に移動し、時刻tでマスBに当たっていた物体の輪郭が時刻t+1にマスCへ移動したとする。このとき、マスCからCA3ネット2内の対応するマスC3の中心のユニットに信号が送られる。マスC3の中心のユニットは、CA1ネット3のマスC1全体に信号を送るので、マスB3の放射状伝搬の波紋状の領域のユニットから送られてくる信号と一致したマスC1の円環状のユニットが発火する。
【0029】
マスB3の放射状伝搬は時間と共に減衰するので、マスC1内の円環領域の発火の強さはマスB3の波紋の半径に依存して弱くなる。従って、CA1ネット3内のマスC1の出力の強さは、物体の上方への移動速度に対して単調増加な関数となる。また、マスC1内の発火する円環領域の半径は、物体の上方への移動速度に対して単調減少な関数となる。
【0030】
従って、発火するマスC1に対応する画像フレーム1内のブロックCの位置座標は、移動する物体の輪郭が存在する位置を表す。また、マスC1内で発火した円環領域の発火強度(又は円環の半径)は、移動する物体の上方向の速度を表す。このようにして、移動する物体の位置と速度をリアルタイムに検出することが可能となる。
【0031】
尚、ここでは、上方向の物体の移動の検出方法についての例で説明をしたが、他の方向の動きについても同様な方法で検出することができる。物体の動きを検出したい方向を「動き検出方向」と呼ぶこととする。このとき、CA3ネット2のマスB3の中心以外にあるユニットが、CA1ネット3のマスB1に対し動き検出方向に隣接するマスC1の内部にあるユニットのうち、マス内における相対座標が等しいユニットに信号を送るようにする。これにより、動き検出方向に動く物体の位置と動き検出方向の速さを検出することが可能となる。
【0032】
ところで、上述のように、CA3ネット2の一つのマス目には多数のユニットが存在すると考えてもよいが、実際には、興奮の遅延を記憶する素子が1個あればよい。すなわち、本発明に係る動作検出装置を考える場合、必ずしも興奮の伝搬現象そのものを用いる必要はなく、伝搬遅延に相当する遅延が得られればよい。従って、図2に示すように、CA3ネット2’のマスB3の素子(ユニット)からのトリガ信号で電圧、電流又は電荷量の減衰を始める素子(ユニット)が、CA1ネット3’のマスC1内に1個あればよい。この素子の減衰は、CA3ネット2’のマスC3の素子からの信号の入力により止められる。そして、このときの素子の電圧、電流又は電荷量は、物体の移動速度に関する情報を表す。
【0033】
以上に説明した動作検出装置においては、物体の上方向への移動のみを検出することができる。そこで、物体の上方向の移動検出の他に、下方向、左方向、右方向への物体の移動を検出するC1ネット3を設ける。図3では、画像フレーム1の4つの象限(上象限、下象限、左象限、右象限)に対しそれぞれ計4枚のCA3ネット(図示せず)を設け、更に、各CA3ネットに対して上方向、下方向、左方向、右方向への物体の移動を検出するC1ネット3u,3d,3l,3rをそれぞれ設けた例を示す。CA3ネット2及びC1ネット3をそれぞれ4枚に分けたのは、配線が複雑化しないようにするためであり、配線をあまり考慮しなくてもよい低解像度の場合には、それぞれ1枚のCA3ネット2及びC1ネット3を、動き検出方向を切り換えながら使用することも可能である。
【0034】
また、左方向、下方向、右方向への物体の移動を検出するネットは、上方向の検出を行うCA3ネット2及びCA1ネット3を90°、180°及び270°回転して用いればよく、新たに設計する必要はない。更に、後に述べるように、上下左右方向に特化したCA1ネット3をうまく配置すれば、画像フレーム1内の物体との衝突の可能性をパターン化して表示できるという利点がある。
【0035】
〔1〕本発明の構成
本発明に係る動作検出装置の第1の構成は、エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段; 前記各画像ブロックに対応して中間ブロックを複数個有する中間層; 及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層;を備えた動作検出装置において、前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化されるものであり、前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性化に伴い活性値を初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された場合に保持している前記活性値の大きさに関する情報を発火信号として出力するものであることを特徴とする。
【0036】
この構成によれば、ある画像ブロックBにエッジ像が移動してきた場合、中間層においては、画像ブロックBに対応する中間ブロックBが活性化される。また、出力層では、中間ブロックBが活性化されると、その中間ブロックBに対し動き検出方向に隣接する中間ブロックCに対応する反応ブロックCの活性値が初期化される。反応ブロックCでは、画像ブロックBにエッジ像が存在する間は、当該活性値を単調関数に従い経時変化させつつ所定期間保持する。
【0037】
エッジ像が画像ブロックBから画像ブロックC(中間ブロックCに対応する画像ブロック)へ移動した場合、画像ブロックCに対応する中間ブロックCが活性化される。このとき、出力層では、中間ブロックCに対応する反応ブロックCが、保持している活性値の大きさに関する情報を発火信号として出力する。この活性値の大きさは、エッジ像が画像ブロックBを移動するのに要した時間に一対一対応しており、エッジ像の動き検出方向の速度成分を表す。従って、出力層においては、動きが検出されたエッジ像の位置とその速度に加え動き方向をも2次元的にリアルタイムに検出することが可能となる。
【0038】
本発明に係る動作検出装置の第2の構成は、前記第1の構成において、前記各反応ブロックは、 順序づけられて接続され、活性値を保持する複数の反応ユニット; 前記隣接中間ブロックの活性化に伴い、先頭の前記反応ユニットの活性値を初期化する活性値初期化手段; 前順の前記反応ユニットの活性値を後順の前記反応ユニットへ伝達する活性信号伝達手段; 及び前記対応中間ブロックが活性化された場合に、活性値を保持している前記反応ユニットの順序に関する情報を発火信号として出力する経時情報出力手段;を備えていることを特徴とする。
【0039】
このように、活性値の代わりに活性値を保持している反応ユニットの順序情報を用いても、同様にエッジ像の動き検出方向の速度成分を検出することが可能である。
【0040】
本発明に係る動作検出装置の第3の構成は、エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段; 前記各画像ブロックに対応して中間ブロックを複数個有する中間層; 及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層;を備えた動作検出装置において、前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持するものであり、前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を発火信号として出力するものであることを特徴とする。
【0041】
この構成によれば、ある画像ブロックBにエッジ像が移動してきた場合、中間層においては、画像ブロックBに対応する中間ブロックBが活性化され、その活性値xが初期化される。中間ブロックBでは、画像ブロックBにエッジ像が存在する間は、当該活性値xを単調関数に従い経時変化させつつ所定期間保持する。このとき、画像ブロックBに対し動き検出方向に隣接する画像ブロックCに対応する中間ブロックCの活性値xは0である。出力層では、中間ブロックCに対応する反応ブロックCにおいて、活性値xと活性値xとが加算され、この加算値x+xが閾値判定される。このとき、加算値は閾値未満であるため反応ブロックCは発火しない。
【0042】
エッジ像が画像ブロックBから画像ブロックCへ移動した場合、画像ブロックCに対応する中間ブロックCが活性化され、その活性値xが初期値に初期化される。このとき、出力層では、反応ブロックCにおいて、加算値x+xが閾値を超えて発火する。反応ブロックCは、活性値xの大きさに関する情報を発火信号として出力する。この活性値xの大きさは、エッジ像が画像ブロックBを移動するのに要した時間に一対一対応しており、エッジ像の動き検出方向の速度成分を表す。従って、出力層においては、動きが検出されたエッジ像の位置と動き検出方向の速度を2次元的にリアルタイムに検出することが可能となる。
【0043】
本発明に係る動作検出装置の第4の構成は、前記第3の構成において、前記各中間ブロックは、 順序づけられて接続され、活性値を保持する複数の中間ユニット; 対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に、先頭の前記中間ユニットの活性値を初期化する活性値初期化手段; 及び前順の前記中間ユニットの活性値を後順の前記中間ユニットへ伝達する活性信号伝達手段;を備え、前記各反応ブロックは、前記対応中間ブロックが活性化された場合に、前記隣接ブロック内の活性値を保持している前記中間ユニットの順序に関する情報を発火信号として出力する経時情報出力手段を備えていることを特徴とする。
【0044】
このように、活性値の代わりに活性値を保持している中間ユニットの順序情報を用いても、同様にエッジ像の動き検出方向の速度成分を検出することが可能である。
【0045】
本発明に係る動作検出装置の第5の構成は、前記第1乃至4の何れか一の構成において、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする。
【0046】
このように、上下左右の各方向の動きを検出する出力層を設けることで、すべての方向のエッジ像の動きの二次元的なパターンをリアルタイムに検出することが可能となる。
【0047】
本発明に係る動作検出装置の第6の構成は、前記第1乃至4の何れか一の構成において、前記フレームを4つの象限に分割し各象限に対応して4枚の前記中間層を備えていることを特徴とする。
【0048】
このように、中間層を4つの象限の各々に分割することで、中間層出力層間の信号の配線を簡単化することができる。
【0049】
本発明に係る動作検出装置の第7の構成は、前記第6の構成において、前記各象限に対応する前記中間層の各々に対して、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする。
【0050】
このように、上下左右の各方向の動きを検出する出力層を設けることで、すべての方向のエッジ像の動きの二次元的なパターンをリアルタイムに検出することが可能となる。
【0051】
本発明に係る動作検出装置の第8の構成は、エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段; 及び、所定の動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体; を備え、前記動き検出ブロックは、対応する画像ブロックに対し動き検出方向と反対方向の側に隣接する画像ブロックについてのエッジ検出信号が検出された場合には、その検出時刻からの経過時間の情報である経時情報を生成するとともに当該経時情報を単調関数で時間変化させつつ保持し、対応する画像ブロックについてのエッジ検出信号が出力された場合に、その時点において保持している前記経時情報を出力するものであることを特徴とする。
【0052】
この構成による作用は以下の通りである。ここで、説明の便宜上、動画像の時刻tにおけるフレームF(t)内のある画像ブロックをBと記す。画像ブロックBについてのエッジ検出信号をs(B)と記す。画像ブロックBに対応する動き検出ブロックをM(B)と記す。
【0053】
まず、エッジブロック検出手段がフレームF(t)の各画像ブロックについて、その画像ブロック内にエッジの存否を検査する。ここで、画像ブロックBについてエッジが検出されたとし、画像ブロックBに対し動き検出方向に隣接する画像ブロックBではエッジが検出されなかったとする。このとき、エッジブロック検出手段はエッジ検出信号s(B)を出力する。このとき、画像ブロックB2に対応する動き検出ブロックM(B)では、エッジ検出信号s(B)を検出すると、その検出時刻tからの経過時間の情報である経時情報Δ(B)=f(t-t)を生成する。Δ(B)は時間の経過と共に順次更新される。ここで、関数f(t)は、tに対する単調関数であれば、どのようなものであってもよい。
【0054】
一方、画像ブロックBに対応する動き検出ブロックM(B)では、エッジ検出信号s(B)を検出すると、その時点において保持している経時情報Δ(B)を出力する。ここでは、Δ(B)は保持されておらず、何も出力されない。
続いて、動画像中のエッジ像が移動して時刻tにおいてエッジが画像ブロックBから画像ブロックBに移動したとする。このとき、エッジブロック検出手段は、エッジ検出信号s(B)を出力する。そうすると、画像ブロックBに対応する動き検出ブロックM(B)では、その時点において保持している経時情報Δ(B)=t-tを出力する。
【0055】
このように、経時情報Δ(B)を出力した動き検出ブロックM(B)の位置を検出すれば、それに対応する画像ブロックBの位置を知ることができる。そして画像ブロックBの位置に移動するエッジ像が存在することが検出できる。
【0056】
また、経時情報Δ(B)の値はエッジ像の動き検出方向の速さと一対一関係にある。すなわち、経時情報Δ(B)がわかれば一意的にエッジ像の動き検出方向の速さを求めることが可能である。
【0057】
従って、動き検出方向に動く物体の位置をリアルタイムに二次元的に検出することが可能であると同時に、動き検出方向の物体の速さもリアルタイムに検出することが可能となる。
【0058】
ここで、「経時情報」は、電圧値情報、電流値情報、電荷量情報、経時伝搬する信号の位置情報等、種々の形態の情報を用いることができる。
【0059】
本発明に係る動作検出装置の第9の構成は、前記第8の構成において、前記動き検出ブロックが前記経時情報を出力した場合、前記経時情報が出力された前記画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定する動き判定手段; を備えていることを特徴とする。
【0060】
この構成により、動画像内における移動物体の位置と速度のパターンからリアルタイムで物体の動きの種別を検出することが可能となる。
【0061】
本発明に係る動作検出装置の第10の構成は、前記第8又は9の構成において、上下左右の各動き検出方向に対応してそれぞれ前記動き検出ブロック集合体を具備していることを特徴とする。
【0062】
このように、上下左右の各動き検出方向の動き検出ブロック集合体を備えたことにより、動画像内の物体像のすべての方向の動きをリアルタイムに検出することが可能となる。
【0063】
本発明に係る動作検出装置の第11の構成は、前記第8乃至10の何れか一の構成において、前記動き検出ブロックは、 前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック; 及び、前記活性信号及び出力トリガ信号に基づき経時情報を生成し出力する反応ブロック; を備え、前記反応ブロックは、固有の活性値を保持する活性値記憶手段; 前記活性信号が入力され始めた時に当該活性値を所定の初期値とする活性値初期化手段; 所定の単調関数である活性値変化関数に従って前記活性値を経時変化させる活性値変化手段; 及び、前記出力トリガ信号が入力された場合にはその時点の前記活性値又は前記活性値から所定の出力関数により算出される値である出力値を前記経時情報として出力する経時情報出力手段; を備え、前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックに対して前記活性信号を出力するものであることを特徴とする。
【0064】
この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性値として各反応ブロックに保持される。従って、経時情報出力手段が出力する出力値によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。
【0065】
本発明に係る動作検出装置の第12の構成は、前記第8乃至10の何れか一の構成において、前記動き検出ブロックは、前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック; 及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック; を備え、前記反応ブロックは、活性信号を保持するための反応ユニットが順序づけて複数個配列された反応ユニット配列; 先頭の反応ユニットから末尾の反応ユニットへ活性信号を経時的に順次転送又は伝搬する活性信号伝達手段; 前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ユニット配列における順序情報を前記経時情報として出力する経時情報出力手段; を備え、前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ユニット配列の先頭の反応ユニットに対して前記活性信号を出力するものであることを特徴とする。
【0066】
この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性値を保持している反応ユニットの順序として各反応ブロックに保持される。従って、経時情報出力手段が出力する順序情報によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。
【0067】
本発明に係る動作検出装置の第13の構成は、前記第12の構成において、前記活性信号伝達手段は、先頭の反応ユニットから末尾の反応ユニットへ所定の活性値変化関数に従って前記活性信号を経時的に変化させながら順次転送又は伝搬するものであり、前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであることを特徴とする。
【0068】
この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号の値(活性値)を保持している反応ユニットの活性値として各反応ブロックに保持される。従って、経時情報出力手段が出力する活性値によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。
【0069】
本発明に係る動作検出装置の第14の構成は、前記第8乃至10の何れか一の構成において、前記動き検出ブロックは、前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック; 及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック; を備え、前記反応ブロックは、活性信号を保持するための反応ユニットがリンクを介して二次元的に複数個接続された反応ネット; 前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに経時的に転送又は伝搬させる活性信号伝達手段; 前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ネットにおける分布範囲情報を前記経時情報として出力する経時情報出力手段; を備え、前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ネットの中央に位置する反応ユニットに活性信号を出力するものであることを特徴とする。
【0070】
この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号を保持している反応ユニットの分布範囲(分布の半径、面積等)として各反応ブロックに保持される。従って、経時情報出力手段が出力する分布範囲情報によりエッジ像の動き検出方向の移動速度を検出することができる。また、出力値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。
【0071】
本発明に係る動作検出装置の第15の構成は、前記第14の構成において、前記活性信号伝達手段は、前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに所定の活性値変化関数に従って前記活性信号を変化させながら順次転送又は伝搬するものであり、前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであることを特徴とする。
【0072】
この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号の値(活性値)を保持している反応ユニットの活性値として各反応ブロックに保持される。従って、経時情報出力手段が出力する活性値によりエッジ像の動き検出方向の移動速度を検出することができる。また、活性値が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。
【0073】
本発明に係る動作検出装置の第16の構成は、前記第8乃至10の何れか一の構成において、前記動き検出ブロックは、活性信号を保持するための中間ユニットがリンクを介して二次元的に複数個接続された中間ネットを有する中間ブロック; 及び、前記中間ブロック内の前記中間ユニットのそれぞれに対応して設けられた複数の反応ユニットを有する反応ブロック; を備え、前記エッジブロック検出手段は、前記各フレームを順次読み込み、前記フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出し、エッジ像が含まれる画像ブロックに対応する前記中間ブロック内の前記中間ネットの中央に位置する中間ユニットである中央中間ユニットにエッジ検出信号を出力するものであり、前記中間ブロックは、 前記中央中間ユニットに活性信号が入力されたときに、当該中央中間ユニットの保持する活性信号を初期値に初期化した後、当該動き検出ブロックに属する前記反応ブロックのすべての反応ユニットに対し当該活性信号を出力する活性値初期化手段; 前記中間ネット内のリンクで接続された二つの中間ユニットについて、当該リンクの入力側の中間ユニットの活性信号を減衰させて当該リンクの出力側の中間ユニットに経時的に転送又は伝搬させる活性信号伝達手段; 前記中央中間ユニット以外の各中間ユニットについて、当該中間ブロックに対し動き検出方向に隣接する前記中間ブロックに対応する反応ブロックである隣接反応ブロック内の反応ユニットのうち、当該隣接反応ブロック内の相対位置が当該中間ブロック内における当該中間ユニットの相対位置と同じ相対位置にある反応ユニットに対し保持している活性信号を出力する活性信号転送手段; を備え、前記反応ブロック内の前記各反応ユニットは、前記活性信号転送手段から入力される活性信号を保持する活性信号保持手段; 前記活性信号保持手段が保持する活性信号を減衰させる反応信号減衰手段; 前記活性信号転送手段又は前記活性値初期化手段により活性信号が入力された場合、入力された活性信号の値を前記活性信号保持手段が保持する活性信号の値に加えることにより前記活性信号保持手段の保持する活性信号を更新する活性信号更新手段; 前記活性信号保持手段が保持する活性信号が所定の閾値を超えたときに、その活性信号又は発火信号を前記経時情報として出力する発火手段; を備えていることを特徴とする。
【0074】
この構成によれば、ある画像ブロックにエッジ像が検出されてから、その画像ブロックに対し動き検出方向に隣接する画像ブロックにエッジ像が移動するまでの時間情報は、活性信号を保持している反応ユニットの分布範囲(分布の半径、面積等)及び活性値として各反応ブロックに保持される。従って、発火した反応ユニットの分布範囲情報又はその出力値によりエッジ像の動き検出方向の移動速度を検出することができる。また、発火信号が出力された反応ブロックに対応する画像ブロックの位置から、エッジ像の位置を検出することができる。
【0075】
本発明に係る動作検出装置の第17の構成は、前記第11乃至16の何れか一の構成において、前記各動き検出ブロックは、一つの前記中間ブロックと、上下左右の各動き検出方向に対応する4つの前記反応ブロックとを具備していることを特徴とする。
【0076】
この構成によれば、上下左右の各動き検出方向に対するエッジ像の動き速度及びその方向に動くエッジ像の位置を検出することができる。そして、各方向の動きが二次元的に検出されるため、二次元的なエッジ像の動きのパターンを判別することによって、各種物体の動きの種類を判別することも可能となる。
【0077】
本発明に係る動作検出装置の第18の構成は、前記第11乃至16の何れか一の構成において、前記各動き検出ブロックは、前記中間ブロックは、前記フレームを上下左右の4象限に分割した場合の各象限に対応して4つの前記中間ブロックと、前記各中間ブロックのそれぞれについて、上下左右の各動き検出方向に対応する4つの前記反応ブロックとを具備していることを特徴とする。
【0078】
この構成によれば、フレーム内の各象限の動きを個別に二次元的に検出することが可能となる。従って、フレーム内の各象限におけるエッジ像の動きのパターンを判別することによって、各種物体の動きの種類をより精度よく判別することも可能となる。
【0079】
本発明に係るプログラムは、コンピュータに読み込ませて実行することにより、コンピュータを前記第8乃至18の何れか一の構成の動作検出装置として機能させることを特徴とする。
【0080】
本発明に係る動作検出方法の第1の構成は、順次入力されるエッジ抽出処理された動画像のフレームをブロック分割したときの各画像ブロックについて、各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出ステップ; 前記エッジ検出信号が出力された画像ブロックである検出ブロックに対し動き検出方向に隣接する画像ブロックである隣接ブロックに対して、前記検出ブロックにおいて前記エッジ検出信号が継続的に出力され始めた時刻からの経過時間の情報である経時情報を生成する経時情報生成ステップ; 及び、前記隣接ブロックにおいて前記エッジ検出信号が出力され始めた時に、前記隣接ブロックについて生成された前記経時情報を出力する経時情報出力ステップ; を有することを特徴とする。
【0081】
本発明に係る動作検出装置の第2の構成は、前記第1の構成において、前記経時情報出力ステップで各画像ブロックについての前記経時情報を出力した後に、経時情報を出力した各画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定する動き判定ステップ; を備えていることを特徴とする。
【発明の効果】
【0082】
以上のように、本発明によれば、簡単なハードウェア構成により、動画像内に含まれる物体像の位置や動きを二次元的にリアルタイムで精度よく検出解析することが可能な動作検出技術を提供することができる。
【図面の簡単な説明】
【0083】
【図1】本発明に係る動作検出装置の基本原理を表す図である。
【図2】CA3ネット2及びCA1ネット3の各マスを1個の素子で構成した例を表す図である。
【図3】画像フレーム1に対するCA1ネット3の配置を表す図である。
【図4】本発明の実施例1に係る動作検出装置のハードウェア構成を表したブロック図である。
【図5】実施例1に係る動作検出装置の機能構成を表すブロック図である。
【図6】中間ブロック21が反応ブロック22に対して信号を出力する様子を示す図である。
【図7】各反応ブロックの活性値xの時間変化を表す図である。
【図8】フレーム内の物体像の動きとCA1ネット9が出力する発火信号のパターンとの関係を示した図である(遠方物体の接近)。
【図9】フレーム内の物体像の動きとCA1ネット9が出力する発火信号のパターンとの関係を示した図である(近接物体の接近)。
【図10】フレーム内の物体像の動きとCA1ネット9が出力する発火信号のパターンとの関係を示した図である(遠方物体の離隔)。
【図11】フレーム内の物体像の動きとCA1ネット9が出力する発火信号のパターンとの関係を示した図である(遠方物体の右移動)。
【図12】フレーム内の物体像の動きとCA1ネット9が出力する発火信号のパターンとの関係を示した図である(近接下方物体の接近)。
【図13】実施例2に係る動作検出装置の機能構成を表すブロック図である。
【図14】実施例2に係る動作検出装置の機能構成を表すブロック図である。
【図15】エッジ検出信号と活性信号の時間変化の一例を表す図である。
【図16】エッジ検出信号と活性信号の時間変化の他の一例を表す図である。
【図17】実施例3に係る動作検出装置の機能構成を表すブロック図である。
【図18】実施例4に係る動作検出装置の機能構成を表すブロック図である。
【図19】各反応ユニット41の構成を示すブロック図である。
【図20】オプティカルフローを用いた移動体の検出装置の概略を示すブロック図である。
【図21】特許文献2に記載の移動体検出装置の構成を表すブロック図である。
【符号の説明】
【0084】
1 画像フレーム
2,2’ CA3ネット
3,3’,3u,3d,3l,3r CA1ネット
4 カメラ
5 エッジ検出手段
6 フレームメモリ
7 エッジブロック検出手段
8 CA3ネット
8a 上象限CA3ネット
8b 左象限CA3ネット
8c 下象限CA3ネット
8d 右象限CA3ネット
9 CA1ネット
9a 上CA1ネット
9b 左CA1ネット
9c 下CA1ネット
9d 右CA1ネット
10 動き判定手段
19 動き検出ブロック集合体
20 動き検出ブロック
21 中間ブロック
22 反応ブロック
23 活性値記憶手段
24 活性値初期化手段
25 活性値変化手段
26 経時情報出力手段
31 反応ユニット配列
32 活性信号伝達手段
33 経時情報出力手段
34 反応ユニット
35 反応ネット
36 活性信号伝達手段
37 経時情報出力手段
38 反応ユニット
40 中間ユニット
40c 中央中間ユニット
41 反応ユニット
42 活性信号保持手段
43 反応信号減衰手段
44 活性信号更新手段
45 発火手段
【発明を実施するための最良の形態】
【0085】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【実施例1】
【0086】
図4は、本発明の実施例1に係る動作検出装置のハードウェア構成を表したブロック図である。本実施例に係る動作検出装置は、カメラ4、エッジ検出手段5、フレームメモリ6、エッジブロック検出手段7、CA3ネット(中間層)8、CA1ネット(出力層)9、及び動き判定手段10を備えている。
【0087】
カメラ4はCCDなどの撮像素子アレイを備える。カメラ4は、視野内の動画像を撮像し、時間的に連続するフレーム列として出力する。エッジ検出手段5は、カメラ4から出力される各フレームについて、エッジ検出処理を行う。エッジ検出処理については、各種公知の方法を適用することができる。例えば、フレームの画像を一次微分(差分)フィルタで処理した後に二値化する方法、ラプラシアン(一次微分(差分))フィルタを用いる方法など、種々の方法が採られる。エッジ検出処理により得られる各フレームのエッジ画像Eは、フレームメモリ6に一時的に保存される。
【0088】
エッジブロック検出手段7は、フレームメモリ6に格納された一枚のフレームのエッジ画像Eについて、所定の小領域に区画する。これら各小領域を「画像ブロック」といい、Bi,jと記す。i,jは画像ブロックの座標を表す。ここで、フレームの小領域への区画は、例えば、図1(a)に示したように、フレームの中心を原点として放射状に区画される。
【0089】
エッジブロック検出手段7は、それぞれの画像ブロックBi,jに対して、その画像ブロック内にエッジ像が存在するか否かを検出する。エッジ像が存在する画像ブロックBi,jに対しては、エッジ検出信号s(Bi,j)を出力する。
【0090】
CA3ネット8は、図1のCA3ネット2に対応する構成部分である。CA3ネット8は、複数の中間ブロック21が格子状に並べられた構造を有する。各中間ブロック21は、フレーム内のそれぞれの画像ブロックBi,jに対応している。エッジブロック検出手段7が各画像ブロックBi,jについて出力するエッジ検出信号s(Bi,j)は、その画像ブロックBi,jに対応する中間ブロック21に入力される。
【0091】
CA3ネット8は、フレームを4つの象限(上象限、左象限、下象限、右象限)に分割した場合に各象限に対応する4つのネットからなる。各象限に対応するCA3ネット8を、それぞれ、上象限CA3ネット8a、左象限CA3ネット8b、下象限CA3ネット8c、右象限CA3ネット8dという。
【0092】
CA3ネット8内の各中間ブロック21は、エッジ検出信号s(Bi,j)の入力に対して、CA1ネット9に活性信号又は出力トリガ信号を出力する。
【0093】
CA1ネット9は、図1のCA1ネット3に対応する構成部分である。CA1ネット9は、上象限CA3ネット8a、左象限CA3ネット8b、下象限CA3ネット8c、及び右象限CA3ネット8dに対応して各々4枚のネット、すなわち、計16枚のネットから構成されている。一つの象限のCA3ネット8に対応する4つのネットを、上CA1ネット9a、左CA1ネット9b、下CA1ネット9c、及び右CA1ネット9dという。上CA1ネット9a、左CA1ネット9b、下CA1ネット9c、右CA1ネット9dは、それぞれ、上方向、左方向、下方向、右方向の動き検出方向に対応したCA1ネット9である。各CA1ネット9は、それぞれ、対応するCA3ネット8内の中間ブロック21に対応して設けられた反応ブロック22が格子状に配列された構成を有する。
【0094】
CA1ネット9内の各反応ブロック22は、活性信号又は出力トリガ信号に対して、動き判定手段10に発火信号を出力する。
【0095】
動き判定手段10は、CA1ネット9から入力される各発火信号により伝達される経時情報に基づいて、フレーム内の動きのあるエッジ像の位置及び速さを算出する。そして、これにより得られる二次元的な動きのパターンから動きの種類を判別し、動き検出情報として出力する。
【0096】
尚、本実施例ではCA3ネット8は、4つの象限に対応して4つ設けた構成としたが、本発明においては、CA3ネットの数はこれに限るものではない。例えば、上記4つの象限の各々に対して、上下左右の動き検出用のCA3ネット8を各4枚ずつ、計16枚のCA3ネット8を備えた構成とすることもできる。この場合、CA3ネット8とCA1ネット9とは一対一対応の関係となる。
【0097】
図5は、実施例1に係る動作検出装置の機能構成を表すブロック図である。図5において、カメラ4、エッジ検出手段5、フレームメモリ6、エッジブロック検出手段7、及び動き判定手段10は、図4と同様である。
【0098】
また、図4のCA3ネット8とCA1ネット9とは、協働して一つの動き検出ブロック集合体19として機能する。この動き検出ブロック集合体19は、それぞれの画像ブロックに対応する動き検出ブロック20の集合で構成される。各動き検出ブロック20は、CA3ネット8内の1つの中間ブロック21と、それに対応するCA1ネット9内の4つの反応ブロック22の組から構成されている。4つの反応ブロック22は、それぞれ、当該中間ブロック21に対応する、上CA1ネット9a、左CA1ネット9b、下CA1ネット9c、及び右CA1ネット9dに属する。
【0099】
中間ブロック21は、対応する画像ブロックBi,jについてのエッジ検出信号s(Bi,j)が出力された場合に、対応する4つの反応ブロック22に対して出力トリガ信号を出力する。それとともに、当該反応ブロック22に対し動き検出方向に隣接する反応ブロック22に対しては活性信号を出力する。
【0100】
更に、反応ブロック22は、活性値記憶手段23、活性値初期化手段24、活性値変化手段25、及び経時情報出力手段26を備えている。活性値記憶手段23は、その反応ブロック22に固有の活性値x(=x(Bi,j))を保持する。活性値初期化手段24は、対応する中間ブロック21から活性信号が入力され始めた時点で、活性値記憶手段23の活性値xを所定の初期値xとする。活性値変化手段25は、活性値変化関数に従って活性値記憶手段23の活性値xの経時変化させる。
【0101】
ここで、活性値変化関数には、時間tに対する任意の単調関数f(t)が用いられる。例えば、線形関数f(t)=f-A・t、指数減衰関数f(t)=f-αtなどを用いることができる。
【0102】
経時情報出力手段26は、隣接する中間ブロック21から出力トリガ信号が入力された場合にはその時点の活性値(出力値)xを経時情報として出力する。尚、経時情報出力手段26が出力する出力値は、活性値xそのものに限らず、活性値xから所定の出力関数F(x)により算出される値であってもよい。
【0103】
尚、上記構成は、専用のASIC(特定用途むけ集積回路)としてLSIチップとしてもよいが、カメラ4以外の部分はFPGA(フィールド・プログラマブル・ゲートアレイ)等のプログラマブル論理回路を用いて構成することもできる。更に、カメラ4以外の機能部分はプログラムにより構成してCPU(中央演算装置)などでそのプログラムを実行することにより実現してもよい。
【0104】
以上のように構成された本実施例に係る動作検出装置について、以下その動作検出方法を説明する。
【0105】
まず、カメラ4から動画像が撮像されて、動画像の各フレームが次々にエッジ検出手段5に入力される。エッジ検出手段5は、各フレームについてエッジ検出を行い、エッジ画像としてフレームメモリ6に保存する。これにより、フレーム内の物体像の境界は、エッジ像として抽出される。
【0106】
エッジブロック検出手段7は、フレームメモリ6に格納されたフレームのエッジ画像について、上述のように画像ブロックに分割し、各画像ブロックにエッジ像が含まれるか否か検出する。エッジ像が含まれる画像ブロックBi,jに対しては、その画像ブロックBi,jに対応する中間ブロック21に対してエッジ検出信号s(Bi,j)を出力する。
【0107】
各中間ブロック21は、エッジ検出信号s(Bi,j)が入力されると、対応する4つの反応ブロック22のそれぞれに対し、出力トリガ信号を出力する。また、対応する反応ブロック22に対し動き検出方向の側に隣接する反応ブロック22には、活性信号を出力する。この様子を図6,図7に示す。
【0108】
図6では、動き検出方向は左方向であるとする。座標(i,j)に位置する中間ブロック21(以下、中間ブロックM(i,j)と記す。)にエッジ検出信号s(Bi,j)が入力された場合、中間ブロックM(i,j)は、対応する反応ブロック22(以下、反応ブロックR(i,j)と記す。)に対して出力トリガ信号を出力する。一方、反応ブロックR(i,j)に対し左方向に隣接する反応ブロックR(i,j-1)に対しては、活性信号を出力する。
【0109】
このとき、各反応ブロックの活性値xの時間変化は、図7のようになる。図7において、時刻tで中間ブロックM(i,j)へエッジ検出信号s(Bi,j)が入力され始める。この時点において、反応ブロックR(i,j-1)に活性信号が入力され、活性値初期化手段24は、活性値記憶手段23に記憶された反応ブロックR(i,j-1)の活性値xi,j-1をxに初期化する。
【0110】
次に、時刻tから時刻tにかけて、中間ブロックM(i,j)へエッジ検出信号s(Bi,j)が入力され続ける。この間は、活性値変化手段25が活性値記憶手段23に記憶された反応ブロックR(i,j-1)の活性値xi,j-1を活性値変化関数f(t)に従って変化させる。図7では、活性値変化関数f(t)として単調減少する関数を使用している。
【0111】
時刻tにおいて、エッジ像がブロックBi,jからブロックBi,j-1へ移ったとする。それに伴い、中間ブロックM(i,j)へのエッジ検出信号s(Bi,j)はなくなり、中間ブロックM(i,j-1)へエッジ検出信号s(Bi,j-1)が入力され始める。このとき、反応ブロックR(i,j-1)に出力トリガ信号が入力され、反応ブロックR(i,j-1)は、時刻tにおいて活性値記憶手段23が保持している活性値xi,j-1(t)を発火信号として出力する。活性値記憶手段23の活性値xi,j-1は、発火信号を出力した後には0にリセットされる。
【0112】
同様に、時刻tにおいて反応ブロックR(i,j-2)には活性信号が入力され、反応ブロックR(i,j-2)の活性値初期化手段24は、活性値記憶手段23に記憶された反応ブロックR(i,j-2)の活性値xi,j-2をxに初期化する。そして、同様の動作が繰り返される。
【0113】
ここで、エッジ像の動き検出方向の移動速度が速いときは、エッジ像は反応ブロックR(i,j-1)を素早く通過するため、発火信号として出力される活性値xi,j-1は大きな値となる。逆に、エッジ像の動き検出方向の移動速度が遅いときは、エッジ像は反応ブロックR(i,j-1)をゆっくり通過するため、発火信号として出力される活性値xi,j-1は小さな値となる。従って、発火信号として出力される活性値xi,j-1は、エッジ像の動き検出方向の速度を表す。
【0114】
図8~図12は、フレーム内の物体像の動きとCA1ネット9が出力する発火信号のパターンとの関係を示した図である。図8は遠方にある物体が接近している場合を示す。図9は近接する物体が接近している場合を示す。図10は遠方にある物体が離隔している場合を示す。図11は遠方にある物体が右方向に移動している場合を示す。図12は前方下方に近接して存在する物体が接近している場合を示す。
【0115】
図8~12において、中央の長方形は画像フレーム1(図1(a)参照)を表している。画像フレーム1は、中心で交差する斜めの境界軸により上下左右の4つの象限に分割されている。フレームの中心は無限遠点を表す。また、フレームの中心を通り水平に引かれる線(図示せず)が地平線となる。各画像フレーム内の斜線で示された矩形は物体を表す。物体に付された矢印は、物体の移動方向を表す。
【0116】
また、中央の画像フレーム1の上下左右に4枚ずつ示された方形のネットは、上下左右の各象限に対応するCA1ネット9(上CA1ネット9a、左CA1ネット9b、下CA1ネット9c、右CA1ネット9d)である。各CA1ネット9において、各反応ブロック22が出力する発火信号の大きさは濃淡で示されており、濃い色で示された反応ブロック22ほど大きな活性値を出力している。
【0117】
図8、図9のように、画像フレーム1の中央にある物体が接近する場合、上象限の上CA1ネット9a、左象限の左CA1ネット9b、下象限の下CA1ネット9c、及び右象限の右CA1ネット9dが発火する。従って、このような発火パターンが検出された場合、動き判定手段10は前方から物体が接近していると判定する。
【0118】
図10のように、画像フレーム1の中央にある物体が離隔している場合、上象限の下CA1ネット9c、左象限の右CA1ネット9d、下象限の上CA1ネット9a、及び右象限の左CA1ネット9bが発火する。従って、このような発火パターンが検出された場合、動き判定手段10は前方の物体が遠方に離隔していると判定する。
【0119】
図11のように、画像フレーム1の中央にある物体が右方向に移動している場合、下象限の下CA1ネット9c及び右CA1ネット9dに特徴的な発火パターンが生じる。従って、このような発火パターンが検出された場合、動き判定手段10は前方の物体が右方に移動していると判定する。
【0120】
図12のように、画像フレーム1の下方にある物体が接近している場合、下象限の下CA1ネット9c、左CA1ネット9b、及び右CA1ネット9dに特徴的な発火パターンが生じる。従って、このような発火パターンが検出された場合、動き判定手段10は前方下方にある近接物体が接近していると判定する。
【0121】
このように、各CA1ネット9の発火パターンを分析することによって、フレーム内の物体の動きをリアルタイムに検出することができる。動き判定手段10がどのような場合にどのような物体の動きであると判定するかは、各パターンの特徴量抽出やパターンマッチング、パターン学習などの手法により任意に設定することができる。
【実施例2】
【0122】
図13、図14は、実施例2に係る動作検出装置の機能構成を表すブロック図である。尚、本実施例の動作検出装置のハードウェア構成は図4と同様である。カメラ4、エッジ検出手段5、フレームメモリ6、エッジブロック検出手段7、動き判定手段10、及び中間ブロック21は、実施例1のものと同様である。
【0123】
実施例2においては、各反応ブロック22は、反応ユニット配列31、活性信号伝達手段32、及び経時情報出力手段33を備えている。反応ユニット配列31は、図14に示したように、活性信号を保持するための反応ユニット34が順序づけて複数個配列された構成を有する(以下、先頭の反応ユニット34から34_1,34_2,34_3,…,34_nと符号を付す。)。
【0124】
活性信号伝達手段32は、先頭の反応ユニット34_1から末尾の反応ユニット34_nへ活性信号を経時的に順次転送又は伝搬する。尚、アナログ回路で構成する場合には、活性信号伝達手段32としては遅延線を使用してもよい。
【0125】
経時情報出力手段33は、中間ブロック21から出力トリガ信号が入力された場合に活性信号を保持している反応ユニット34の反応ユニット配列31における順序情報を発火信号(経時情報)として出力する。
【0126】
尚、中間ブロック21は、対応する画像ブロックについてのエッジ検出信号が出力された場合に、対応する反応ブロック22に対して出力トリガ信号を出力するとともに、当該反応ブロック22に対し動き検出方向に隣接する反応ブロック22の反応ユニット配列31の先頭の反応ユニット34_1に対して活性信号を出力する。
【0127】
以上のように構成された実施例2に係る動作検出装置について、以下その動作検出方法を図15を参照しながら説明する。図15は、エッジ検出信号と活性信号の時間変化の一例を表す図である。ここでも、図6と同様に、動き検出方向が左のCA1ネット9を例にとって説明する。
【0128】
時刻tにおいて、画像ブロックBi,jにエッジ像が移動したとする。このとき、中間ブロックM(i,j)にエッジ検出信号s(Bi,j)が入力される。中間ブロックM(i,j)は、対応する反応ブロックR(i,j)の左方向(動き検出方向)に隣接する反応ブロックR(i,j-1)の先頭の反応ユニット34_1に対して活性信号を入力する。これにより、反応ユニット34_1は活性化する。
【0129】
時刻tから時刻tにかけて、活性信号伝達手段32により、反応ユニット34_1から反応ユニット34_nに向かって反応信号が経時的に伝達される。
【0130】
時刻tにおいて、画像ブロックBi,jからブロックBi,j-1にエッジ像が移動したとする。このとき、中間ブロックM(i,j-1)にエッジ検出信号s(Bi,j-1)が入力される。中間ブロックM(i,j-1)は、対応する反応ブロックR(i,j)に対して出力トリガ信号を入力する。これにより、経時情報出力手段33は、反応ユニット34_1~34_nの保持する活性値を読み出し、その時点で活性信号を保持している反応ユニット34の順序(図15の例では7)を検出する。そして、検出された順序情報を発火信号(経時情報)として出力する。
【0131】
実施例1の場合と同様、この順序情報はエッジ像の動き検出方向の速度に逆比例する。従って、順序情報を検出することで、エッジ像の動きを検出することが可能である。
【0132】
尚、本実施例において、活性信号伝達手段32は、図16に示したように、経時的に単調関数に従って活性値を変化させながら各反応ユニット34間を伝達させるように構成してもよい。この場合、経時情報出力手段33は、反応ユニット34_1~34_nの保持する活性値を読み出し、その時点で活性信号を保持している反応ユニット34の活性値(図16の例では7番目の反応ユニット34_7の活性値)を検出する。そして、検出された活性値を発火信号(経時情報)として出力すればよい。
【実施例3】
【0133】
図17は、実施例3に係る動作検出装置の機能構成を表すブロック図である。尚、本実施例の動作検出装置のハードウェア構成は図4と同様である。また、反応ブロック22以外の構成については、実施例2の図13同様である。
【0134】
実施例3においては、各反応ブロック22は、反応ネット35、活性信号伝達手段36、及び経時情報出力手段37を備えている。反応ネット35は、活性信号を保持するための反応ユニット38がリンクを介して二次元的に複数個接続された構成を有する。各リンクは方向性を有し、中央の反応ユニット38から周辺の反応ユニット38に向けて信号を伝達する。
【0135】
活性信号伝達手段36は、反応ネット35内のリンクで接続された二つの反応ユニット38(ここでは、説明の便宜上、「反応ユニット38a」,「反応ユニット38b」とする。)について、当該リンクの入力側の反応ユニット38aの活性信号を当該リンクの出力側の反応ユニット38bに経時的に転送又は伝搬させる。この場合、活性信号は、中央の反応ユニット38から周辺の反応ユニット38に向けて円環状に伝達される。
【0136】
経時情報出力手段37は、出力トリガ信号が入力された場合に活性信号を保持している反応ユニット38の反応ネット35における分布範囲情報を経時情報として出力する。ここで、分布範囲情報とは、具体的には、活性信号を保持している反応ユニット38の円環状の分布の半径又は円面積、円環状に分布する反応ユニット38の活性値の積算強度等が使用できる。
【0137】
この場合、中間ブロック21は、対応する画像ブロックについてのエッジ検出信号が出力された場合に、対応する反応ブロック22に対して出力トリガ信号を出力する。それとともに、当該中間ブロック21対応する反応ブロック22に対し動き検出方向に隣接する反応ブロック21の反応ネット35の中央の反応ユニット38(図16参照)に活性信号を出力するように構成すればよい。
【0138】
尚、本実施例においても、活性信号伝達手段36は、経時的に単調関数に従って活性値を変化させながら各反応ユニット38間を伝達させるように構成してもよい。この場合、経時情報出力手段37は、円環の最外端の反応ユニット38の保持する活性値を検出する。そして、検出された活性値を発火信号(経時情報)として出力すればよい。
【実施例4】
【0139】
図18は実施例4に係る動作検出装置の機能構成を表すブロック図である。尚、本実施例の動作検出装置のハードウェア構成は図4と同様である。また、反応ブロック22以外の構成については、実施例2の図13同様である。
【0140】
実施例4に係る動作検出装置は、図1で示したモデルに忠実に構成した例である。この動作検出装置においては、中間ブロック21は、活性信号を保持するための中間ユニット40がリンクを介して二次元的に複数個接続された中間ネットを有する。また、反応ブロック22は、中間ブロック21内の中間ユニット40のそれぞれに対応して設けられた複数の反応ユニット41を有する。
【0141】
エッジブロック検出手段7(図4参照)は、各フレームを順次読み込み、フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出する。そして、エッジ像が含まれる画像ブロックに対応する中間ブロック21内の中間ネットの中央に位置する中間ユニット40(以下「中央中間ユニット40c」という。)にエッジ検出信号を出力する。
【0142】
中間ブロック21は、活性値初期化手段(図示せず)、活性信号伝達手段(図示せず)、及び活性信号転送手段(図示せず)を具備している。
【0143】
活性値初期化手段は、中央中間ユニット40cに活性信号が入力されたときに、当該中央中間ユニット40cの保持する活性信号を初期値に初期化する。そして、対応する反応ブロック22のすべての反応ユニット41に対し活性信号を出力する。
【0144】
活性信号伝達手段は、中間ネット内のリンクで接続された二つの中間ユニット40(ここでは、便宜上「中間ユニット40a」,「中間ユニット40b」とする。)について、当該リンクの入力側の中間ユニット40aの活性信号を減衰させて当該リンクの出力側の中間ユニット40bに経時的に転送又は伝搬させる。
【0145】
活性信号転送手段は、中央中間ユニット40c以外の各中間ユニット40について、当該中間ブロック21に対し動き検出方向に隣接する中間ブロック21に対応する反応ブロック22(以下「隣接反応ブロック」という。)内の反応ユニット41のうち、当該隣接反応ブロック22内の相対位置が当該中間ブロック21内における当該中間ユニット40の相対位置と同じ相対位置にある反応ユニット41に対し保持している活性信号を出力する。これをもう少しわかりやすく説明する。
【0146】
例えば、図18において、符号Aが付された中間ブロック21(以下「中間ブロックA」と呼ぶ。)において、符号Pが付された中間ユニット40(以下「中間ユニットP」と呼ぶ。)の中間ブロックA内における相対位置は、中央中間ユニット40cから左に2である。これを、相対座標(-2,0)と記す。一方、中間ブロックAに対し動き検出方向(図18では左方向)に隣接する中間ブロック21は符号Bが付された中間ブロック21(以下「中間ブロックB」と呼ぶ。)である。
【0147】
中間ブロックAに対応する反応ブロック22を「反応ブロックA」と呼び、中間ブロックBに対応する反応ブロック22を「反応ブロックB」と呼ぶ。中間ブロックAに対し動き検出方向(図18では左方向)に隣接する中間ブロックBに対応する反応ブロックBが隣接反応ブロックである。この隣接反応ブロックB内の反応ユニット41のうち、当該隣接反応ブロックB内の相対位置が中間ブロックA内における中間ユニットPの相対位置(-2,0)と同じ相対位置にある反応ユニット41は、図18で符号Qが付された反応ユニット41(以下「反応ユニットQ」と呼ぶ。)である。従って、活性信号転送手段は、中間ユニットPが保持する活性信号を反応ユニットQに対して出力する。その他の中間ユニット40に関しても同様である。
【0148】
図19は各反応ユニット41の構成を示すブロック図である。各反応ユニット41は、活性信号保持手段42、反応信号減衰手段43、活性信号更新手段44、発火手段45を有している。
【0149】
活性信号保持手段42は、中間ブロック21の活性信号転送手段から入力される活性信号を保持する。反応信号減衰手段43は、活性信号保持手段42が保持する活性信号を経時的に減衰させる。活性信号更新手段44は、中間ブロック21の活性信号転送手段又は活性値初期化手段24により活性信号が入力された場合、入力された活性信号の値を活性信号保持手段42が保持する活性信号の値に加えることにより活性信号保持手段42の保持する活性信号を更新する。発火手段45は、活性信号保持手段42が保持する活性信号が所定の閾値を超えたときに、その活性信号を発火信号(経時情報)として出力する。
【0150】
以上のような構成により、図1で説明したような動作検出装置を構成することができる。尚、本実施例では、中間ユニット40や反応ユニット41を二次元的に配列した例を示したが、これらは図14の場合と同様に1次元的に配列してもよい。
【産業上の利用可能性】
【0151】
本発明は、動作検出を行う画像処理LSIにおいて使用される。例えば、自動車などにおいて前方の歩行者,自動車その他の動体物の検出を自動検出する際の画像処理技術として利用可能である。



図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20