Top > Search of Japanese Patents > (In Japanese)動作検出装置及び動作検出方法

(In Japanese)動作検出装置及び動作検出方法 foreign

Patent code P09A014880
Posted date Dec 4, 2009
Application number P2007-510446
Patent number P4130975
Date of filing Mar 24, 2006
Date of registration Jun 6, 2008
International application number JP2006305946
International publication number WO2006104033
Date of international filing Mar 24, 2006
Date of international publication Oct 5, 2006
Priority data
  • P2005-091321 (Mar 28, 2005) JP
Inventor
  • (In Japanese)林 初男
Applicant
  • (In Japanese)国立大学法人九州工業大学
Title (In Japanese)動作検出装置及び動作検出方法 foreign
Abstract (In Japanese)動画像に含まれる物体像の位置や動きをリアルタイムで精度よく検出解析する動作検出装置を提供することを目的とする。
エッジ動画像のフレーム内の画像ブロック内にエッジ像が含まれる場合はエッジ検出信号を出力するエッジブロック検出手段7、及び動き検出方向の動きを検出する動き検出ブロックが各画像ブロックに対応して配列された動き検出ブロック集合体8,9を備える。動き検出ブロックは、対応する画像ブロックに対し動き検出方向と反対側に隣接する画像ブロックのエッジ検出信号が検出された場合経時情報を生成し、当該経時情報を更新しつつ保持する。当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合、その時点において保持している前記経時情報を出力する。
Outline of related art and contending technology (In Japanese)


移動体にとって、移動中の安全を確保することは重要な課題である。移動中の安全を確保する技術は多くの場面で用いられており、例えば、自動車の安全運転に係る警報装置、ナビゲーション装置、自動運転装置、自動掃除機等が挙げられる。これらの装置を実現するためには、撮像された前方の動画像から物体像の動きをリアルタイムで検出解析する動作検出技術が必要不可欠である。



動画像に含まれる物体像の動作を検出する技術としては、オプティカルフローを用いた動作検出方法が知られている。オプティカルフロー(optical flow)とは、画面上の各点の速度場のことである。この場合、まず、動画像のあるフレームF1と一定時間後のフレームF2の2枚のフレームを複数の小領域に分割する。そして、フレームF2の中から、フレームF1内の各小領域と最も相関が高い小領域を探索することで、各小領域のオプティカルフローが算出される。オプティカルフローを検出することにより物体像の移動方向や速度、およびカメラからの奥行きに関する情報を得ることができる。



図20はオプティカルフローを用いた移動体の検出装置の概略を示すブロック図である(特許文献2,図7参照)。図20において、まず、カメラ101で撮影された画像信号Gは、AD変換器102によりデジタル信号の画像信号Dに変換される。ある時刻とその時刻から所定時間経過後の時刻の2つの画像信号Da,Dbは、一対のメモリ103a,103bに格納される。CPU105は、各メモリ103a,103bの画像データDa,Dbを相関演算器104に入力させる。相関演算器104は、注目される各小領域Ai,j(∈Da)ごとに、その近傍の小領域Bi,j(∈Db)に対し画像相関演算を行い、小領域Bi,jで最も相関の高い小領域Bm,nを探索する。そして、CPU105は、小領域Ai,jが移動したか否かを判定する。CPU105は、移動が判定された小領域Bm,nを相関データとし、この相関データをスーパーインポーザ106により画像Gに重畳させる。重畳された画像は、CRT107に表示される。



オプティカルフローの演算においては、各小領域毎に相関演算が行われるため、計算量が膨大となり処理時間が長くなる。そこで、リアルタイムな処理が要求される場合には、図20に示されたように、メモリ103a,103b及び相関演算器104を並列化することにより、演算の高速化が図られる。



上述のようなオプティカルフローを用いた動作検出技術としては、例えば、特許文献1記載の技術が公知である。特許文献1に記載の障害物検出方法では、まず、車両に備えられた画像取得手段により当該車両の進行可能な方向の所定範囲の画像を撮影する。次に、車両に備えられた演算手段は、取り込んだ画像を用いてオプティカルフローを算出する。



次いで、演算手段は、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する。この場合、まず、複数のオプティカルフロー(V1,V2,V3,…)を算出した後に、これらベクトルの吹き出し口となるいわゆる無限遠点Pを算出する。例えば、各ベクトルV1,V2,V3,…を当該ベクトルの向きとは反対方向に延長し、これらの交点を無限遠点Pとする。そして、この無限遠点Pを車両の進行方向と認識し、さらに、画像上で無限遠点Pを中心としてあらかじめ定めた一定の大きさの範囲を、後に注意すべき障害物を検出する範囲(進行方向エリア)として設定する。



また、車両に備えられた距離計測手段により、撮影範囲に存在する障害物との距離を計測する。そして、演算手段は、距離計測工程にて計測した撮影範囲に存在する障害物との距離のうち、進行方向エリアの画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する。この障害物判断機能により、注意すべき障害物であると判断された場合には、警報発生手段により警報を出力することができる。



また、図20のように、高速化のためにメモリ103a,103bと相関演算器104を並列化すると回路規模が膨大となり消費電力の増加やコストアップを招く。そこで、特許文献2には、簡単な装置構成によりコストダウンを図るとともに、画像データの高速処理を可能とした移動体検出装置が記載されている。図21は特許文献2に記載の移動体検出装置の構成を表すブロック図である。



この場合、まず、カメラ101により撮影された画像信号Gは、AD変換器102によりデジタル信号の画像データDに変換される。画像データDは水平エッジ検出部110に入力される。水平エッジ検出部110は、画像データD内の注目画素と注目画素から所定画素だけ離れて下にある画素との差分をとることにより、水平エッジEhを検出する。続いて、水平エッジ加算部111は、検出された水平エッジEhを2値化した後に加算し、ヒストグラムの度数となるデータを求める。この加算結果から得られるデータは、CPU105及びスーパーインポーザ106に入力される。



CPU105では、水平エッジEhのヒストグラムデータ(度数)から、閾値c以上の垂直位置q1及びq2を求める。そして画面の最も下方に位置する垂直位置q2を今回の障害物の候補位置q(tn)とする。次いで、CPU105は、障害物が移動したか否かを検出する。この場合、所定時間前の障害物候補の位置q(tn-1)と今回検出された障害物候補の位置q(tn)との垂直方向の移動量を求める。この移動量が検出されれば、移動体が存在すると判定される。



最後に、スーパーインポーザ106は、カメラ101から得られる画像信号GとCPU105における演算によって得られる移動体とを重畳し、CRT107に表示する。このように、水平エッジのヒストグラムを検出するという簡単な演算により移動体検出を行うことにより、ハードウェア構成の簡略化を図り移動体認識処理の高速化を図っている。
【特許文献1】
特開2004-349926号公報
【特許文献2】
特開平7-280517号公報
【特許文献3】
特開2003-281543号公報

Field of industrial application (In Japanese)


本発明は、動画像に含まれる物体像の位置や動きをリアルタイムで検出解析する動作検出技術に関する。

Scope of claims (In Japanese)
【請求項1】
 
エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段;
前記各画像ブロックに対応して中間ブロックを複数個有する中間層;
及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層;
を備えた動作検出装置において、
前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化されるものであり、
前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性化に伴い活性値を初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持し、前記対応中間ブロックが活性化された場合に保持している前記活性値の大きさに関する情報を発火信号として出力するものであり、
前記出力層における前記各反応ブロックから出力される前記発火信号のパターンに基づき、当該発火信号のパターンと対応づけられた物体の動きの種類を判別し、判別された物体の動きの種類を動き検出情報として出力する動き判定手段を備えたことを特徴とする動作検出装置。

【請求項2】
 
前記各反応ブロックは、
順序づけられて接続され、活性値を保持する複数の反応ユニット;
前記隣接中間ブロックの活性化に伴い、先頭の前記反応ユニットの活性値を初期化する活性値初期化手段;
前順の前記反応ユニットの活性値を後順の前記反応ユニットへ伝達する活性信号伝達手段;
及び前記対応中間ブロックが活性化された場合に、活性値を保持している前記反応ユニットの順序に関する情報を発火信号として出力する経時情報出力手段;
を備えていることを特徴とする請求項1記載の動作検出装置。

【請求項3】
 
エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段;
前記各画像ブロックに対応して中間ブロックを複数個有する中間層;
及び、前記各中間ブロックに対応して反応ブロックを複数個有する出力層;
を備えた動作検出装置において、
前記各中間ブロックは、対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に活性化され、活性値を初期値に初期化し、初期化後は当該活性値を単調関数に従い経時変化させつつ所定期間保持するものであり、
前記各反応ブロックは、対応する前記中間ブロックである対応中間ブロックに対し動き検出方向と逆方向に隣接する前記中間ブロックである隣接中間ブロックの活性値と、前記対応中間ブロックの活性値とを加算して、加算値が前記初期値より大きく設定された所定の閾値以上の場合に前記活性値の大きさに関する情報を発火信号として出力するものであること
を特徴とする動作検出装置。

【請求項4】
 
前記各中間ブロックは、
順序づけられて接続され、活性値を保持する複数の中間ユニット;
対応する前記画像ブロックについて前記エッジ検出信号が出力された場合に、先頭の前記中間ユニットの活性値を初期化する活性値初期化手段;
及び前順の前記中間ユニットの活性値を後順の前記中間ユニットへ伝達する活性信号伝達手段;
を備え、
前記各反応ブロックは、前記対応中間ブロックが活性化された場合に、前記隣接ブロック内の活性値を保持している前記中間ユニットの順序に関する情報を発火信号として出力する経時情報出力手段を備えていることを特徴とする請求項3記載の動作検出装置。

【請求項5】
 
前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする請求項1乃至4の何れか一記載の動作検出装置。

【請求項6】
 
前記フレームを4つの象限に分割し各象限に対応して4枚の前記中間層を備えていることを特徴とする請求項1乃至4の何れか一記載の動作検出装置。

【請求項7】
 
前記各象限に対応する前記中間層の各々に対して、前記出力層として、上方向の動きを検出する上出力層、下方向の動きを検出する下出力層、左方向の動きを検出する左出力層、右方向の動きを検出する右出力層を備えていることを特徴とする請求項6記載の動作検出装置。

【請求項8】
 
エッジ抽出処理された動画像の各フレームを順次読み込み、前記フレーム内の各画素をブロック分割したときの各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出手段;
及び、所定の動き検出方向に対するエッジ像の動きを検出する動き検出ブロックが、前記各画像ブロックに対応して複数個配列されてなる動き検出ブロック集合体;
を備え、
前記動き検出ブロックは、
対応する画像ブロックに対し動き検出方向と反対方向の側に隣接する画像ブロックについてのエッジ検出信号が検出された場合には、その検出時刻からの経過時間の情報である経時情報を生成するとともに当該経時情報を単調関数で時間変化させつつ保持し、
対応する画像ブロックについてのエッジ検出信号が出力された場合に、その時点において保持している前記経時情報を出力するものであり、
前記動き検出ブロックが前記経時情報を出力した場合、前記経時情報が出力された画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判定し、判別された物体の動きの種類を動き検出情報として出力する動き判定手段を備えたことを特徴とする動作検出装置。

【請求項9】
 
上下左右の各動き検出方向に対応してそれぞれ前記動き検出ブロック集合体を具備していることを特徴とする請求項8記載の動作検出装置。

【請求項10】
 
前記動き検出ブロックは、
前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック;
及び、前記活性信号及び出力トリガ信号に基づき経時情報を生成し出力する反応ブロック;
を備え、
前記反応ブロックは、
固有の活性値を保持する活性値記憶手段;
前記活性信号が入力され始めた時に当該活性値を所定の初期値とする活性値初期化手段;
所定の単調関数である活性値変化関数に従って前記活性値を経時変化させる活性値変化手段;
及び、前記出力トリガ信号が入力された場合にはその時点の前記活性値又は前記活性値から所定の出力関数により算出される値である出力値を前記経時情報として出力する経時情報出力手段;
を備え、
前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックに対して前記活性信号を出力するものであること
を特徴とする請求項8又は9記載の動作検出装置。

【請求項11】
 
前記動き検出ブロックは、
前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック;
及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック;
を備え、
前記反応ブロックは、
活性信号を保持するための反応ユニットが順序づけて複数個配列された反応ユニット配列;
先頭の反応ユニットから末尾の反応ユニットへ活性信号を経時的に順次転送又は伝搬する活性信号伝達手段;
前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ユニット配列における順序情報を前記経時情報として出力する経時情報出力手段;
を備え、
前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ユニット配列の先頭の反応ユニットに対して前記活性信号を出力するものであること
を特徴とする請求項8又は9記載の動作検出装置。

【請求項12】
 
前記活性信号伝達手段は、先頭の反応ユニットから末尾の反応ユニットへ所定の活性値変化関数に従って前記活性信号を経時的に変化させながら順次転送又は伝搬するものであり、
前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであること
を特徴とする請求項11記載の動作検出装置。

【請求項13】
 
前記動き検出ブロックは、
前記エッジ検出信号に応じて活性信号及び出力トリガ信号を出力する中間ブロック;
及び、前記活性信号及び出力トリガ信号に基づき前記経時情報を生成し出力する反応ブロック;
を備え、
前記反応ブロックは、
活性信号を保持するための反応ユニットがリンクを介して二次元的に複数個接続された反応ネット;
前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに経時的に転送又は伝搬させる活性信号伝達手段;
前記出力トリガ信号が入力された場合に前記活性信号を保持している前記反応ユニットの前記反応ネットにおける分布範囲情報を前記経時情報として出力する経時情報出力手段;
を備え、
前記中間ブロックは、当該動き検出ブロックに対応する画像ブロックについてのエッジ検出信号が出力された場合に、当該動き検出ブロックに属する反応ブロックに対して出力トリガ信号を出力するとともに、当該動き検出ブロックに対し前記動き検出方向に隣接する動き検出ブロックに属する反応ブロックの前記反応ネットの中央に位置する反応ユニットに活性信号を出力するものであること
を特徴とする請求項8又は9記載の動作検出装置。

【請求項14】
 
前記活性信号伝達手段は、前記反応ネット内のリンクで接続された二つの反応ユニットについて、当該リンクの入力側の反応ユニットの活性信号を当該リンクの出力側の反応ユニットに所定の活性値変化関数に従って前記活性信号を変化させながら順次転送又は伝搬するものであり、
前記経時情報出力手段は、前記出力トリガ信号が入力された場合に前記活性信号の値を前記経時情報として出力するものであること
を特徴とする請求項13記載の動作検出装置。

【請求項15】
 
前記動き検出ブロックは、
活性信号を保持するための中間ユニットがリンクを介して二次元的に複数個接続された中間ネットを有する中間ブロック;
及び、前記中間ブロック内の前記中間ユニットのそれぞれに対応して設けられた複数の反応ユニットを有する反応ブロック;
を備え、
前記エッジブロック検出手段は、前記各フレームを順次読み込み、前記フレーム内の各画像ブロックについて、当該画像ブロック内にエッジ像が含まれるか否かを検出し、エッジ像が含まれる画像ブロックに対応する前記中間ブロック内の前記中間ネットの中央に位置する中間ユニットである中央中間ユニットにエッジ検出信号を出力するものであり、
前記中間ブロックは、
前記中央中間ユニットに活性信号が入力されたときに、当該中央中間ユニットの保持する活性信号を初期値に初期化した後、当該動き検出ブロックに属する前記反応ブロックのすべての反応ユニットに対し当該活性信号を出力する活性値初期化手段;
前記中間ネット内のリンクで接続された二つの中間ユニットについて、当該リンクの入力側の中間ユニットの活性信号を減衰させて当該リンクの出力側の中間ユニットに経時的に転送又は伝搬させる活性信号伝達手段;
前記中央中間ユニット以外の各中間ユニットについて、当該中間ブロックに対し動き検出方向に隣接する前記中間ブロックに対応する反応ブロックである隣接反応ブロック内の反応ユニットのうち、当該隣接反応ブロック内の相対位置が当該中間ブロック内における当該中間ユニットの相対位置と同じ相対位置にある反応ユニットに対し保持している活性信号を出力する活性信号転送手段;
を備え、
前記反応ブロック内の前記各反応ユニットは、
前記活性信号転送手段から入力される活性信号を保持する活性信号保持手段;
前記活性信号保持手段が保持する活性信号を減衰させる反応信号減衰手段;
前記活性信号転送手段又は前記活性値初期化手段により活性信号が入力された場合、入力された活性信号の値を前記活性信号保持手段が保持する活性信号の値に加えることにより前記活性信号保持手段の保持する活性信号を更新する活性信号更新手段;
前記活性信号保持手段が保持する活性信号が所定の閾値を超えたときに、その活性信号又は発火信号を前記経時情報として出力する発火手段;
を備えていることを特徴とする請求項8又は9記載の動作検出装置。

【請求項16】
 
前記各動き検出ブロックは、一つの前記中間ブロックと、上下左右の各動き検出方向に対応する4つの前記反応ブロックとを具備していることを特徴とする請求項10乃至15の何れか一記載の動作検出装置。

【請求項17】
 
前記各動き検出ブロックは、
前記中間ブロックは、前記フレームを上下左右の4象限に分割した場合の各象限に対応して4つの前記中間ブロックと、
前記各中間ブロックのそれぞれについて、上下左右の各動き検出方向に対応する4つの前記反応ブロックと、
を具備していることを特徴とする請求項10乃至15の何れか一記載の動作検出装置。

【請求項18】
 
コンピュータに読み込ませて実行することにより、コンピュータを請求項1乃至17の何れか一に記載の動作検出装置として機能させることを特徴とするプログラム。

【請求項19】
 
順次入力されるエッジ抽出処理された動画像のフレームをブロック分割したときの各画像ブロックについて、各画像ブロック内におけるエッジ像の有無を検出し、エッジ像を含む画像ブロックについてのエッジ検出信号を出力するエッジブロック検出ステップ;
前記エッジ検出信号が出力された画像ブロックである検出ブロックに対し動き検出方向に隣接する画像ブロックである隣接ブロックに対して、前記検出ブロックにおいて前記エッジ検出信号が継続的に出力され始めた時刻からの経過時間の情報である経時情報を生成する経時情報生成ステップ;
前記隣接ブロックにおいて前記エッジ検出信号が出力され始めた時に、前記隣接ブロックについて生成された前記経時情報を出力する経時情報出力ステップ;
及び、前記経時情報出力ステップで各画像ブロックについての前記経時情報を出力した後に、経時情報を出力した各画像ブロックの前記フレーム内における位置及び当該経時情報のパターンに基づき動きの種別を判別し、判別された物体の動きの種類を動き検出情報として出力する動き判定ステップ;
を有することを特徴とする動作検出方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

24435_01SUM.gif
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close