TOP > 国内特許検索 > 動物体検出装置および動物体検出方法 > 明細書

明細書 :動物体検出装置および動物体検出方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5424496号 (P5424496)
登録日 平成25年12月6日(2013.12.6)
発行日 平成26年2月26日(2014.2.26)
発明の名称または考案の名称 動物体検出装置および動物体検出方法
国際特許分類 G06T   7/20        (2006.01)
H04N   5/232       (2006.01)
FI G06T 7/20 B
H04N 5/232 Z
請求項の数または発明の数 4
全頁数 19
出願番号 特願2011-2671 (P2011-2671)
出願日 平成23年1月11日(2011.1.11)
審査請求日 平成23年1月27日(2011.1.27)
特許権者または実用新案権者 【識別番号】803000115
【氏名又は名称】学校法人東京理科大学
発明者または考案者 【氏名】浜本 隆之
【氏名】吉田 崇
個別代理人の代理人 【識別番号】110000176、【弁理士】、【氏名又は名称】一色国際特許業務法人
特許請求の範囲 【請求項1】
配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、
前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、
前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、
を備え、
前記処理回路は、
第1フレームの第1位置にある1つの画素の輝度と第2フレームの前記第1位置にある1つの画素の輝度及び前記第1位置の上下左右に隣接する第2位置にある4つの画素の輝度の夫々との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、
前記第2フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第2位置にある前記4つの画素の前記輝度の夫々とに基づいて、前記第1位置と前記第2位置との間の仮想的な4つの画素の輝度を示す中間輝度を生成する中間輝度生成部と、
を備え、
前記動物体検出部は、
前記第2フレームとして現在選択されているフレームと前記第1フレームから離れる方向に隣接するフレームを次の第2フレームとして選択して、前記第1フレームから1フレームずつ離れるフレームを前記第2フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、
前記第1フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第1位置にある前記1つの画素の前記輝度及び前記中間輝度の夫々との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、
を特徴とする動物体検出装置。
【請求項2】
配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、
前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、
前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、
を備え、
前記処理回路は、
第1フレームの第1位置にある1つの画素の輝度と第2フレームの前記第1位置にある1つの画素の輝度及び前記第1位置の上下左右に隣接する第2位置にある4つの画素の輝度の夫々との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部を備え、
前記動物体検出部は、
前記第2フレームとして現在選択されているフレームと前記第1フレームから離れる方向に隣接するフレームを次の第2フレームとして選択して、前記第1フレームから1フレームずつ離れるフレームを前記第2フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、前記第1フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第1位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を検出し、
前記処理回路は、
前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、
前記奥行き方向検出部は、
前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定すること、
を特徴とする動物体検出装置。
【請求項3】
請求項1に記載の動物体検出装置であって、
前記動物体検出部は、
前記第1フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第1位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を更に検出し、
前記処理回路は、
前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、
前記奥行き方向検出部は、
前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定すること、
を特徴とする動物体検出装置。
【請求項4】
請求項2又は3に記載の動物体検出装置であって、
前記処理回路は、
前記第1フレームの前記第1位置にある前記1つの画素をぼかした場合の輝度である予測輝度をぼけフィルタによって生成する予測輝度生成部を更に備え、
前記奥行き方向検出部は、
前記第1フレームの前記第1位置にある前記1つの画素の前記輝度を前記予測輝度から減算した第1の差分と、前記第1フレームの前記第1位置にある前記1つの画素の前記輝度を前記第2フレームの前記第1位置にある前記1つの画素の前記輝度から減算した第2の差分とを乗じた評価値を生成し、
前記評価値が負の値である場合には、前記動物体が合焦位置に近づく方向に移動していると判定し、前記評価値が正の値である場合には、前記動物体が合焦位置から離れる方向に移動していると判定すること、
を特徴とする動物体検出装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、複数のフレームにおける各画素の輝度の変化に基づいて、動物体の移動方向および移動速度を検出する動物体検出装置および動物体検出方法に関する。
【背景技術】
【0002】
物体の移動方向、移動速度等の動きを検出する方式として、ブロックマッチング法を利用したものが知られている。このような方式においては、所定のフレームレートで撮像された複数のフレーム間で、フレームを適切なサイズに分割したブロック単位での画像の動きを検出することにより、動物体を検出することが行われている(例えば、特許文献1)。
【先行技術文献】
【0003】

【特許文献1】特開2001-25021号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようにブロックマッチング法を用いて動物体を検出する場合、ブロックサイズの制御が重要となる。例えば、ブロックサイズを大きくしすぎると、ブロック内に複数の動きが混在し、ブロック単位での動きを検出することが難しくなる。また、例えば、ブロックサイズを小さくしすぎると、関係のないブロックとマッチングされる可能性が高まり、動きの検出精度が低下してしまう。そして、適切なブロックサイズは検出対象の動物体により異なるため、ブロックサイズを適応的に制御するための複雑な処理が必要となる。
【0005】
また、動物体の検出精度を高めるためには、フレームレートを高めることが有効であるが、フレームレートを高めることにより、1フレームの間の物体の移動距離が小さくなり、検出可能な移動速度の下限が高くなってしまう。つまり、例えば、1フレームの間の移動距離が1画素未満の場合、物体の移動速度を求めることができないこととなる。このような場合、動物体に応じてフレームレートを低くすることも考えられるが、制御が複雑になるとともに、高速に移動する物体の検出精度が低下してしまうこととなる。
【0006】
本発明は上記課題を鑑みてなされたものであり、ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の動物体検出装置は、配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、を備え、前記処理回路は、第1フレームの第1位置にある1つの画素の輝度と第2フレームの前記第1位置にある1つの画素の輝度及び前記第1位置の上下左右に隣接する第2位置にある4つの画素の輝度の夫々との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、前記第2フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第2位置にある前記4つの画素の前記輝度の夫々とに基づいて、前記第1位置と前記第2位置との間の仮想的な4つの画素の輝度を示す中間輝度を生成する中間輝度生成部と、を備え、前記動物体検出部は、前記第2フレームとして現在選択されているフレームと前記第1フレームから離れる方向に隣接するフレームを次の第2フレームとして選択して、前記第1フレームから1フレームずつ離れるフレームを前記第2フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、前記第1フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第1位置にある前記1つの画素の前記輝度及び前記中間輝度の夫々との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとする。
【0015】
また、前記動物体検出部は、前記第1フレームの前記第1位置にある前記1つの画素の前記輝度と前記第2フレームの前記第1位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を更に検出し、前記処理回路は、前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、前記奥行き方向検出部は、前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定することとする。
【0016】
さらに、前記処理回路は、前記第1フレームの前記第1位置にある前記1つの画素をぼかした場合の輝度である予測輝度をぼけフィルタによって生成する予測輝度生成部を更に備え、前記奥行き方向検出部は、前記第1フレームの前記第1位置にある前記1つの画素の前記輝度を前記予測輝度から減算した第1の差分と、前記第1フレームの前記第1位置にある前記1つの画素の前記輝度を前記第2フレームの前記第1位置にある前記1つの画素の前記輝度から減算した第2の差分とを乗じた評価値を生成し、前記評価値が負の値である場合には、前記動物体が合焦位置に近づく方向に移動していると判定し、前記評価値が正の値である場合には、前記動物体が合焦位置から離れる方向に移動していると判定することとしてもよい。
【発明の効果】
【0017】
ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。
【図2】イメージセンサのハードウェア構成の一例を示す図である。
【図3】イメージセンサの処理回路により実現される機能の構成を示す図である。
【図4】上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。
【図5】2枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。
【図6】左右の移動方向を検出する動作の概略を示す図である。
【図7】2枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。
【図8】小数精度により物体の移動速度を検出する動作の概略を示す図である。
【図9】検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。
【図10】物体の奥行き方向における距離を検出する動作の概略を示す図である。
【図11】物体の拡大・縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。
【図12】奥行きの移動方向と評価値δx,yとの関係を示す図である。
【図13】イメージセンサにおける処理の流れを示すフローチャートである。
【図14】小数精度判定の処理の流れを示すフローチャートである。
【図15】検出間隔制御処理の流れを示すフローチャートである。
【図16】奥行きの距離を検出する処理の流れを示すフローチャートである。
【図17】奥行きの移動方向を検出する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
==システム構成==
図1は、本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。動物体検出システム1は、イメージセンサ(動物体検出装置)10、及び光学レンズ15を含んで構成されている。イメージセンサ10は、光学レンズ15から受光する画像を所定のフレームレートで撮像し、複数のフレームの情報に基づいて物体の移動方向や移動速度等を検出する回路である。また、光学レンズ15の焦点は固定されている。

【0020】
==ハードウェア構成==
図2は、イメージセンサ10のハードウェア構成の一例を示す図である。イメージセンサ10は、制御回路21、フォトダイオードアレイ(以後「PDアレイ」と称する)22、メモリアレイ23、処理回路24、水平シフトレジスタ25、及び垂直シフトレジスタ26,27を備えている。

【0021】
制御回路21は、イメージセンサ10の全体を制御する回路であり、各種の処理を制御するための制御信号を出力する。PDアレイ22は、配列状に設けられた複数のフォトダイオードにより構成されており、光学レンズ15から受光する画像を画素ごとのアナログ画像信号に変換して出力する。なお、PDアレイ22で撮像される1枚の画像のことをフレームといい、フレームの生成間隔のことをフレームレートという。本実施形態においては、例えば1000フレーム/秒程度の非常に高いフレームレートであることとする。

【0022】
そして、制御回路21の制御により、水平シフトレジスタ25にはPDアレイ22の列を指定するデータが設定され、垂直シフトレジスタ26にはPDアレイ22の行を指定するデータが設定される。つまり、PDアレイ22で撮像されたフレームのアナログ画像信号のうち、水平シフトレジスタ25及び垂直シフトレジスタ26で指定される画素のアナログ画像信号が読み出され、処理回路24に送信される。

【0023】
また、メモリアレイ23は、配列状に設けられた複数の記憶素子により構成されており、PDアレイ22で取得された過去数フレームの画像信号を記憶する。そして、処理回路24は、PDアレイ22から出力される最新フレームと、メモリアレイ23に記憶されている過去数フレームとを用いて、物体の移動方向や移動速度等を示す動き信号を生成して出力する。なお、処理回路24は、PDアレイ22及びメモリアレイ23からフレームを行単位で読み出し、複数列の画素に対する処理を並列に行うことにより高速な処理を可能としている。

【0024】
なお、PDアレイ22が本発明のフレーム取得部に該当し、メモリアレイ23が本発明のフレーム記憶部に該当する。

【0025】
==機能構成==
図3は、イメージセンサ10の処理回路24により実現される機能の構成を示す図である。処理回路24は、動物体検出部31、中間輝度生成部32、奥行き方向検出部33、及び予測輝度生成部34を備えている。

【0026】
動物体検出部31は、光学レンズ15から見た上下左右方向における物体の移動方向及び移動速度を検出する。また、中間輝度生成部32は、隣接する2つの画素の輝度に基づいて、これら2つの画素の間の輝度である中間輝度を生成する。つまり、中間輝度生成部32により生成される中間輝度は、隣接する2つの画素の間に位置する仮想的な画素の輝度を示すものである。なお、動物体検出部31は、中間輝度生成部32により生成される中間輝度を用いることにより、1フレームの間の移動距離が1画素未満の物体の移動速度を検出することができる。

【0027】
奥行き方向検出部33は、光学レンズ15から見た奥行き方向における物体の移動方向を検出する。また、予測輝度生成部34は、物体の動作により生じる各画素の輝度の変化を予測する。

【0028】
==上下左右の動き検出==
まず、イメージセンサ10における、物体の上下左右方向(二次元方向)における動きの検出について説明する。

【0029】
(1)動きの有無の検出
はじめに、上下左右方向における動きがあるかどうかを検出する動作について説明する。図4は、上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。図において、x軸およびy軸はフレーム内の画素位置を示す座標であり、x軸の正方向が右方向、x軸の負方向が左方向、y軸の正方向が上方向、y軸の負方向が下方向を示している。また、f軸はフレームの時系列を示しており、正方向が新しいフレーム、負方向が古いフレームを示している。なお、フレームfにおける位置(x,y)にある画素を画素(x,y)と表し、画素(x,y)の輝度をlf;x,yと表すこととする。

【0030】
次式(1)は、画素(x,y)に動きがあるかどうかを判定するための評価値d(x,y)を求めるための式である。【数1】
JP0005424496B2_000002t.gif

【0031】
イメージセンサ10の動物体検出部31は、式(1)に示すように、フレームfの画素(x,y)の輝度lf;x,yと、前後Nフレームの輝度lf-k;x,yとの差分に基づいて評価値dを求める。そして、動物体検出部31は、評価値dが所定の閾値以上であれば、画素(x,y)に動きがあると判定する。

【0032】
また、イメージセンサ10で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値dを求めるために必要なフレームを2枚とすることもできる。図5は、2枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。そして、次式(2)が、その際の評価値dを求めるための式である。【数2】
JP0005424496B2_000003t.gif

【0033】
式(2)に示すように、動物体検出部31は、フレームfの画素(x,y)の輝度lf;x,yと、その一つ前のフレームf-1の画素(x,y)の輝度lf-1;x,yとの差分により、評価値dを求めることとしてもよい。

【0034】
(2)移動方向の検出
次に、物体の上下左右方向における移動方向を検出する動作について説明する。図6は、左右の移動方向を検出する動作の概略を示す図である。図6(a)に示すように、1フレームごとに画素を1つずつ右にずらして輝度の差分を求めることにより、右方向への移動を検出することができる。また、図6(b)に示すように、1フレームごとに画素を1つずつ左にずらして輝度の差分を求めることにより、左方向への移動を検出することができる。また、同様に、1フレームごとに画素を1つずつ上にずらして輝度の差分を求めることにより、上方向への移動を検出することができ、1フレームごとに画素を1つずつ下にずらして輝度の差分を求めることにより、下方向への移動を検出することができる。

【0035】
次式(3)~(6)は、このような上下左右方向への移動を検出するための評価値mup,mdown,mright,mleftを求めるための式である。【数3】
JP0005424496B2_000004t.gif

【0036】
式(3)に示すように、イメージセンサ10の動物体検出部31は、フレームfの画素(x,y)の輝度lf;x,yと、前後Nフレームの輝度lf-k;x,y-kとの輝度との差分により、上方向への移動を検出するための評価値mupを生成する。同様に、動物体検出部31は、式(4)~(6)に示すように、下方向への移動を検出するための評価値mdown、右方向への移動を検出するための評価値mright、左方向への移動を検出するための評価値mleftを生成する。

【0037】
ここで、物体がある方向に移動したとすると、その方向の評価値は他の方向の評価値よりも小さくなる。したがって、動物体検出部31は、これらの評価値mup,mdown,mright,mleftと、前述した評価値dとに基づいて、評価値が最小である方向に物体が移動していると判定することができる。

【0038】
なお、動物体検出部31は、上下方向の移動と左右方向の移動とを別々に判定することとしてもよい。例えば、次式(7)に示すように、動物体検出部31は、評価値mup,mdownと、評価値dとで行列Mverticalを作成し、上下方向についてはMverticalの要素が最小の方向に移動していると判定することができる。また、次式(8)に示すように、動物体検出部31は、評価値mleft,mrightと、評価値dとで行列Mhorizontalを作成し、左右方向についてはMhorizontalの要素が最小の方向に移動していると判定することができる。【数4】
JP0005424496B2_000005t.gif

【0039】
また、イメージセンサ10で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値mup,mdown,mright,mleftを求めるために必要なフレームを2枚とすることもできる。図7は、2枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。そして、次式(9)~(12)が、その際の評価値mup,mdown,mright,mleftを求めるための式である。【数5】
JP0005424496B2_000006t.gif

【0040】
動物体検出部31は、図7(a)及び式(9)に示すように、フレームf-1の画素(x,y)の輝度lf-1;x,yと、フレームfの画素(x,y)の上側に隣接する画素(x,y+1)の輝度lf;x,y+1との差分により、評価値mupを求めることができる。同様に、動物体検出部31は、図7(b)~(d)及び式(10)~(12)に示すように、評価値mdown,mright,mleftを求めることができる。

【0041】
==移動速度検出==
次に、イメージセンサ10における、物体の上下左右方向における移動速度の検出について説明する。物体の移動速度は、物体の移動距離を移動に要した時間で割ることにより求めることができる。本実施形態のイメージセンサ10のフレームレートは、毎秒1000フレーム程度の非常に高いものとなっている。そのため、物体が1フレームの間に移動する距離が1画素未満である場合も考えられる。このような場合に、単純に連続する2つのフレーム間における画素単位の移動距離をもとに移動速度を検出することとすると、移動速度の検出精度が低下してしまうこととなる。そこで、イメージセンサ10においては、「小数精度判定」および「検出間隔制御」という2つの方法を用いることにより物体の移動速度の検出を行っている。

【0042】
(1)小数精度判定
まず、小数精度判定による物体の移動速度の検出について説明する。図8は、小数精度により物体の移動速度を検出する動作の概略を示す図である。前述したように、1フレームの間では、物体が1画素移動していない場合がある。そこで、図8(a)に示すように、フレームfの画素(x,y)の輝度と、フレームfの画素(x,y+1)の輝度とに基づいて、画素(x,y)と画素(x,y+1)との間の仮想的な画素の輝度、すなわち小数精度の画素の輝度を求める。そして、小数精度の画素の輝度と、1つ前のフレームf-1の画素(x,y)の輝度と差分を求めることにより、上方向に1/2画素移動していることを検出することができる。同様に、図8(b)~(d)に示すように、下方向に1/2画素、右方向に1/2画素、左方向に1/2画素移動していることを検出することができる。

【0043】
次式(13)~(16)が、上下左右方向に1/2画素移動していることを検出するための評価値mup1/2,mdown1/2,mright1/2,mleft1/2を求めるための式である。【数6】
JP0005424496B2_000007t.gif

【0044】
式(13)に示すように、イメージセンサ10の中間輝度生成部32は、フレームfの位置(x,y)にある画素の輝度lf;x,yと、位置(x,y)の上側に隣接する位置(x,y+1)にある画素の輝度lf;x,y+1とに基づいて、画素(x,y)と画素(x,y+1)との間の小数精度の画素の輝度(lf;x,y+1+lf;x,y)/2を求める。そして、動物体検出部31は、小数精度の画素の輝度と、フレームfの1つ前のフレームf-1の位置(x,y)にある画素の輝度lf-1;x,yとの差分により、評価値mup1/2を生成する。同様に、式(14)~(16)に示すように、中間輝度生成部32は、画素(x,y)の下側1/2画素の輝度、右側1/2画素の輝度、左側1/2画素の輝度を生成し、動物体検出部31は、評価値mdown1/2,mright1/2,mleft1/2を生成する。

【0045】
そして、動物体検出部31は、フレームf-1とフレームfとの間に、評価値mup1/2,mdown1/2,mright1/2,mleft1/2が最小の方向に、物体が1/2画素移動していると判断し、物体の移動速度を算出する。このように、小数精度の画素の輝度を用いることにより、1フレーム間の移動距離が1画素未満の物体の移動速度の検出精度を向上させることができる。

【0046】
なお、本実施形態においては、式(13)~(16)に示すように、隣接画素の輝度を平均することにより、1/2画素の位置における中間輝度を求めることとしたが、中間輝度は1/2画素の位置に限らず、隣接画素の間の位置であればよい。つまり、隣接画素の輝度に対する重み付けを変更することにより、隣接画素の間の様々な位置における中間輝度を生成することができる。例えば、隣接する画素の一方の画素の輝度に1/3を乗じた値と、他方の画素の輝度に2/3を乗じた値とを加算することにより、1/3画素の位置における中間輝度を求めることが可能である。

【0047】
また、本実施形態においては、フレームfにおいて画素(x,y)の上下左右の中間輝度を生成し、その中間輝度とフレームf-1の画素(x,y)の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームf-1において画素(x,y)の上下左右の中間輝度を生成し、その中間輝度とフレームfの画素(x,y)の輝度との差分により、評価値を得ることとしてもよい。

【0048】
(2)検出間隔制御
次に、検出間隔制御による物体の移動速度の検出について説明する。図9は、検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。前述したように、動物体検出部31は、フレームf(請求項1:第1フレーム)の位置(x,y)(請求項1:第1位置)にある画素の輝度lf;x,yと、次のフレームf+1の位置(x,y)の上下左右に隣接する位置にある画素の輝度との差分に基づいてmup,mdown,mright,mleftを求めることにより、1フレームの間に1画素分移動する物体の移動方向を検出することができる。つまり、動物体検出部31は、この物体がフレームfとフレームf+1との間に1画素移動したものとして、移動速度を検出することができる。

【0049】
さらに、動物体検出部31は、フレームfの位置(x,y)にある画素の輝度lf;x,yと、フレームf+1の次のフレームであり、フレームfと隣接しないフレームf+2(請求項1:第2フレーム)の位置(x,y)の上下左右に隣接する位置(請求項1:第2位置)にある画素の輝度との差分に基づいてmup,mdown,mright,mleftを求めることにより、2フレームの間に1画素分移動する物体の移動方向を検出することができる。そして、動物体検出部31は、この物体がフレームfとフレームf+2との間に1画素移動したものとして、移動速度を検出することができる。

【0050】
同様に、動物体検出部31は、3フレーム以上のフレームで1画素移動する物体の移動速度を検出することができる。このように、フレームレートは変更せずに、移動速度を検出する際に用いるフレームの間隔を変更することにより、1フレーム間の移動距離が1画素未満の物体の移動速度を検出することが可能となる。

【0051】
なお、本実施形態においては、フレームfの画素(x,y)の輝度と、フレームf+1の画素(x,y)の隣接画素の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームf+1の画素(x,y)の輝度と、フレームfの画素(x,y)の隣接画素の輝度との差分により、評価値を得ることとしてもよい。フレームf+2、フレームf+3についても同様である。

【0052】
また、図8及び式(13)~(16)に示した小数精度判定を行う場合においても、検出間隔制御を行うことが可能である。例えば、フレームf+2において、画素(x,y)の上下左右の中間輝度を生成し、その中間輝度とフレームfの画素(x,y)の輝度との差分により、評価値を得ることもできる。

【0053】
==奥行きの動き検出==
次に、イメージセンサ10における、物体の奥行きの動き検出について説明する。

【0054】
(1)奥行きの距離検出
動物体検出システム1における光学レンズ15は固定焦点であるため、合焦位置までの距離は定まっている。そこで、本実施形態では、焦点外れの程度を判定することにより、物体までの距離を検出することとしている。

【0055】
まず、イメージセンサ10の予測輝度生成部34は、ある画素(x,y)について、現在のフレームfから将来のフレームf+kの間に焦点外れの程度が増大すると仮定し、将来のフレームf+kの画素(x,y)の予測輝度lp;x,yを生成する。なお、予測輝度lp;x,yは、ローパスフィルタ等のぼけフィルタを用いることにより生成することができる。例えば、次式(17)に示すように、対象画素(x,y)の上下左右の画素との平均を取るフィルタ係数dを用いて求めることができる。【数7】
JP0005424496B2_000008t.gif

【0056】
そして、奥行き方向検出部33は、将来のフレームf+kに至った際に、次式(18)により、評価値δx,yを生成する。【数8】
JP0005424496B2_000009t.gif

【0057】
予測が正しく焦点外れの程度が増大すれば、輝度lf;x,yに対する輝度lp;x,y及び輝度lf+k;x,yの増減方向は同一となるためδx,yは正の値となり、予測が外れて合焦の程度が増大すれば、輝度lf;x,yに対する輝度lp;x,y及び輝度lf+k;x,yの増減方向が逆になるためδx,yは負の値となる。なお、奥行き方向検出部33は、動物体検出部31により検出された画素(x,y)における物体の移動速度に応じてkの値を定めることができる。例えば、物体の移動速度が、3フレームの間に1画素移動する速さであればkの値を3とすることができる。このようにkの値を定めることにより検出精度を高めることができる。

【0058】
そして、図10は、物体の奥行き方向における距離を検出する動作の概略を示す図である。図10(a)に示すように、光学レンズ15から見て物体が遠ざかる場合、合焦位置よりも手前にある間は、徐々に合焦の程度が増大していくため評価値δx,yは負の値となっている。そして、物体が合焦位置を過ぎると、徐々に焦点外れの度合いが増大していくため評価値δx,yは正の値となる。したがって、奥行き方向検出部33は、評価値δx,yが負から正に変わる際(ゼロ交差する際)に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。

【0059】
また、図10(b)に示すように、光学レンズ15から見て物体が近づく場合においても、奥行き方向検出部33は、評価値δx,yが負から正に変わる際(ゼロ交差する際)に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。

【0060】
(2)奥行き方向検出
また、奥行き方向検出部33は、奥行きの移動方向、つまり、物体が光学レンズ15から見て手前から奥に移動しているか、奥から手前に移動しているかを検出することができる。図11は、物体の拡大・縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。奥行き方向検出部33は、動物体検出部31により検出された画素ごとの移動方向に基づいて、物体が二次元方向において拡大しているか縮小しているかを判断する。図11(a)に示すように、物体が拡大している場合、奥行き方向検出部33は、物体が光学レンズ15に近づいていると判定する。また、図11(b)に示すように、物体が縮小している場合、奥行き方向検出部33は、物体が光学レンズ15から遠ざかっていると判定する。

【0061】
さらに、前述した評価値δx,yを用いることにより、合焦位置との関係についても検出することができる。図12は、奥行きの移動方向と評価値δx,yとの関係を示す図である。つまり、図12(a)に示すように、物体が合焦位置へ近づく場合、評価値δx,yは負の値となっている。したがって、物体が拡大しており、かつ、δx,yが負の値である場合は、奥行き方向検出部33は、合焦位置よりも奥にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δx,yが負の値である場合は、奥行き方向検出部33は、合焦位置よりも手前にある物体が遠ざかっていると判定することができる。

【0062】
また、図12(b)に示すように、物体が合焦位置から遠ざかる場合、評価値δx,yは正の値となっている。したがって、物体が拡大しており、かつ、δx,yが正の値である場合は、奥行き方向検出部33は、合焦位置よりも手前にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δx,yが正の値である場合は、奥行き方向検出部33は、合焦位置よりも奥にある物体が遠ざかっていると判定することができる。

【0063】
==処理説明==
次に、イメージセンサ10における処理の流れについて説明する。図13は、イメージセンサ10における処理の流れを示すフローチャートである。まず、イメージセンサ10におけるフレームレートが決定され(S1301)、決定されたフレームレートでの撮像が開始される。そして、動物体検出部31は、複数フレームの同じ位置(x,y)の画素を選択し(S1302)、フレーム間で輝度の絶対差分を求め、評価値d(x,y)を生成する(S1303)。

【0064】
そして、イメージセンサ10では、物体の移動方向および移動速度を検出するための評価値を求めるために、次の4つの処理うちの何れかの処理が選択される。1つ目の処理では、動物体検出部31は、前述したように対象とする画素(x,y)の上下左右の画素を選択し(S1304)、式(3)~(6)または(9)~(12)に示したように、フレーム間で輝度の絶対差分を求め、評価値mup,mdown,mright,mleftを生成する(S1305)。

【0065】
2つ目の処理では、前述した小数精度判定の処理が行われる(S1306)。図14は、小数精度判定の処理の流れを示すフローチャートである。まず、中間輝度生成部32が、対象とする画素(x,y)の上下左右1/2画素の輝度を生成する(S1401)。そして、動物体検出部31は、式(13)~(16)に示したように、フレーム間で輝度の絶対差分を求め、評価値mup1/2,mdown1/2,mright1/2,mleft1/2を生成する(S1402)。

【0066】
3つ目の処理では、前述した検出間隔制御の処理が行われる(S1307)。図15は、検出間隔制御処理の流れを示すフローチャートである。まず、動物体検出部31は、選択フレームとしてフレームfとフレームf+1とを選択し、フレームf+1の位置(x,y)の上下左右に隣接する位置にある画素を選択する(S1501)。そして、動物体検出部31は、フレームfの位置(x,y)にある画素の輝度と、フレームf+1の位置(x,y)の上下左右に隣接する位置にある画素の絶対差分を求め、評価値mup,mdown,mright,mleftを生成する(S1502)。

【0067】
そして、動物体検出部31は、フレームf+1の次のフレームであるフレームf+2を選択フレームとして選択する(S1503)。そして、動物体検出部31は、新たに選択されたフレームf+2と、フレームfとを用いて、評価値mup,mdown,mright,mleftを生成する(S1501~S1503)。なお、フレームfに対していくつ先のフレームまで対象とするかは予め定められており、動物体検出部31は、対象フレームの処理が終了するまで、繰り返し処理を実行する(S1501~S1504)。

【0068】
4つ目の処理では、小数精度処理(S1306)と検出間隔制御処理(S1307)とを組み合わせた処理が実行される(S1308)。

【0069】
このように、評価値dと、評価値mup,mdown,mright,mleft又は評価値mup1/2,mdown1/2,mright1/2,mleft1/2とが生成されると、動物体検出部31は、物体が上下左右の何れの方向に移動しているかを検出し(S1309)、物体の移動速度を検出する(S1310)。

【0070】
そして、イメージセンサ10では、物体の奥行き方向における距離または移動方向を検出するために、次の3つの処理のうちの何れかの処理が選択される。1つ目の処理では、前述した奥行きの距離を検出する処理が行われる(S1311)。図16は、奥行きの距離を検出する処理の流れを示すフローチャートである。まず、予測輝度生成部34が、ぼけフィルタにより予測輝度lp;x,yを生成する(S1601)。そして、奥行き方向検出部33は、予測輝度lp;x,yと、実際の輝度lf+k;x,yとに基づいて評価値δx,yを生成する(S1602)。そして、評価値δx,yの正・負の判定により合焦位置にあるかどうかを判定することにより、奥行き方向の距離を検出する(S1603)。

【0071】
2つ目の処理では、前述した奥行きの移動方向を検出する処理が行われる(S1312)。図17は、奥行きの移動方向を検出する処理の流れを示すフローチャートである。まず、奥行き方向検出部33は、動物体検出部31により検出された上下左右方向における画素毎の移動方向に基づいて、物体の拡大率を算出する(S1701)。そして、奥行き方向検出部33は、物体が拡大している場合には、物体が光学レンズ15に近づいていることを検出し、物体が縮小している場合には、物体が光学レンズ15から遠ざかっていることを検出する(S1702)。

【0072】
3つ目の処理では、奥行き距離検出処理(S1313)と奥行き方向検出処理(S1314)とを組み合わせた処理が実行される。この場合、奥行き方向検出部33は、物体の拡大率と評価値δx,yとを用いて、物体の奥行きの移動方向とともに、物体が合焦位置の手前にあるか奥にあるかを検出することができる。

【0073】
以上、本実施形態のイメージセンサ10について説明した。前述したように、イメージセンサ10では、小数精度の画素の輝度である中間輝度を生成することにより、1フレーム間の移動距離が1画素未満の物体の移動方向及び移動速度を検出することができる。

【0074】
また、イメージセンサ10では、中間輝度を用いて移動方向及び移動速度を検出する際に、同一画素(x,y)の輝度値の差d(x,y)を評価値として用いることにより、物体が移動していないことを検出することができる。

【0075】
また、イメージセンサ10では、移動方向及び移動速度の検出間隔を制御することにより、1フレーム間の移動距離が1画素未満の物体の移動方向及び移動速度を検出することができる。

【0076】
また、イメージセンサ10では、移動方向及び移動速度の検出間隔を制御する場合においても、同一画素(x,y)の輝度値の差d(x,y)を評価値として用いることにより、物体が移動していないことを検出することができる。

【0077】
また、イメージセンサ10では、中間輝度を用いて移動方向及び移動速度を検出する場合においても、検出間隔を制御することにより、移動方向及び移動速度の検出可能範囲を広くすることができる。

【0078】
また、イメージセンサ10では、画素毎の移動方向に基づいて物体の拡大・縮小を判定することにより、物体の奥行き方向の移動方向を検出することができる。

【0079】
さらに、イメージセンサ10では、予測輝度lp;x,yと実際の輝度lf+k;x,yとに基づいた評価値δx,yを求めることにより、物体が合焦位置に近づいているか、合焦位置から遠ざかっているかを検出することができる。

【0080】
このように、イメージセンサ10では、各画素の輝度に基づいて物体の移動方向及び移動速度の検出処理が行われるため、ブロックサイズ制御等の複雑な処理が不要である。また、イメージセンサ10では、フレームレートを変更することなく動物体を高精度に検出することができる。

【0081】
なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【0082】
例えば、本実施形態においては、イメージセンサ10において検出処理を行う各部31~35は回路により実現されることとしたが、メモリに格納されたプログラムをプロセッサが実行することにより実現されることとしてもよい。
【符号の説明】
【0083】
1 動物体検出システム 10 イメージセンサ(動物体検出装置)
15 光学レンズ 21 制御回路
22 フォトダイオードアレイ 23 メモリアレイ
24 処理回路 25 水平シフトレジスタ
26,27 垂直シフトレジスタ 31 動物体検出部
32 中間輝度生成部 33 奥行き方向検出部
34 予測輝度生成部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16