TOP > 国内特許検索 > 動画像処理装置及び動画像処理方法 > 明細書

明細書 :動画像処理装置及び動画像処理方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4552018号 (P4552018)
公開番号 特開2008-203927 (P2008-203927A)
登録日 平成22年7月23日(2010.7.23)
発行日 平成22年9月29日(2010.9.29)
公開日 平成20年9月4日(2008.9.4)
発明の名称または考案の名称 動画像処理装置及び動画像処理方法
国際特許分類 G06T   7/20        (2006.01)
G06T   7/60        (2006.01)
H04N   7/18        (2006.01)
FI G06T 7/20 C
G06T 7/60 150C
H04N 7/18 D
H04N 7/18 K
請求項の数または発明の数 11
全頁数 14
出願番号 特願2007-036070 (P2007-036070)
出願日 平成19年2月16日(2007.2.16)
審査請求日 平成19年2月22日(2007.2.22)
特許権者または実用新案権者 【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
発明者または考案者 【氏名】阿部 茂
個別代理人の代理人 【識別番号】100100918、【弁理士】、【氏名又は名称】大橋 公治
【識別番号】100108729、【弁理士】、【氏名又は名称】林 紘樹
審査官 【審査官】佐藤 実
参考文献・文献 特開平08-194825(JP,A)
特開2005-011005(JP,A)
調査した分野 G06T 7/00~7/60
H04N 7/18
特許請求の範囲 【請求項1】
移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出手段と、
前記輪郭画像の重心を求める重心算出手段と、
前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割手段と、
それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出手段と、
算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成手段と、
を備え
前記部分輪郭画像代表点算出手段は、
着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)、前記部分輪郭画像kを区分する二本の前記直線の角度がθi、θi+1で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(θi+θi+1)/2
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする動画像処理装置。
【請求項2】
移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出手段と、
前記輪郭画像の重心を求める重心算出手段と、
前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割手段と、
それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出手段と、
算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成手段と、
を備え、
前記部分輪郭画像代表点算出手段は、
着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(Σθki)/M (Σは、i=1からMまで加算)
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする動画像処理装置。
【請求項3】
請求項1または2に記載の動画像処理装置であって、前記部分輪郭画像代表点算出手段は、前記部分輪郭画像を構成する画素数が予め定めた閾値より少ない部分輪郭画像に関して、前記代表点の算出を行わないことを特徴とする動画像処理装置。
【請求項4】
請求項1または2に記載の動画像処理装置であって、さらに、前記対象物の重心の軌跡を算出する重心軌跡算出手段を備え、前記重心軌跡算出手段は、時系列的に連続する前記フレーム画像の前のフレーム画像に基づいて前記輪郭線生成手段が生成した前記対象物の輪郭線の中に、次のフレーム画像に基づいて前記重心算出手段が算出した前記輪郭画像の重心が存在するとき、当該重心の位置を前記対象物の重心の軌跡に加えることを特徴とする動画像処理装置。
【請求項5】
請求項1または2に記載の動画像処理装置であって、前記動画像を撮影する撮像手段が、前記対象物の移動平面の上部にあって、前記対象物を真上から撮影した前記動画像が前記輪郭画像抽出手段に送られることを特徴とする動画像処理装置。
【請求項6】
請求項1からのいずれかに記載の動画像処理装置であって、さらに、前記対象物を識別する対象物識別手段を備えることを特徴とする動画像処理装置。
【請求項7】
請求項に記載の動画像処理装置であって、前記対象物識別手段は、前記輪郭線生成手段が生成した輪郭線の面積、または、前記重心軌跡算出手段が算出した前記軌跡の方向における前記輪郭線の長さと当該方向に直角な方向における前記輪郭線の長さとの比に基づいて、前記対象物を識別することを特徴とする動画像処理装置。
【請求項8】
請求項6または7に記載の動画像処理装置であって、前記対象物識別手段が、前記動画像に基づいて一般の人と車椅子利用者とを識別することを特徴とする動画像処理装置。
【請求項9】
請求項に記載の動画像処理装置であって、前記撮像手段がエレベータ乗場の天井またはエレベータのかごの天井に設置され、前記対象物識別手段による識別情報がエレベータの管理装置に伝達され、前記識別情報に基づいてエレベータの運行管理が制御されることを特徴とする動画像処理装置。
【請求項10】
移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出ステップと、
前記輪郭画像の重心を求める重心算出ステップと、
前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割ステップと、
それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出ステップと、
算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成ステップと、
を備え
前記部分輪郭画像代表点算出ステップでは、
着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)、前記部分輪郭画像kを区分する二本の前記直線の角度がθi、θi+1で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(θi+θi+1)/2
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする動画像処理方法。
【請求項11】
移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出ステップと、
前記輪郭画像の重心を求める重心算出ステップと、
前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割ステップと、
それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出ステップと、
算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成ステップと、
を備え、
前記部分輪郭画像代表点算出ステップでは、
着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(Σθki)/M (Σは、i=1からMまで加算)
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする動画像処理方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、移動物体を撮影した動画像の差分画像を処理する動画像処理装置と、その処理方法に関し、不完全な輪郭画像から移動物体の輪郭線を抽出できるようにしたものである。
【背景技術】
【0002】
本発明者等は、先に、エレベータの乗場の天井等にテレビカメラを設置し、その画像から車椅子利用者を認識した場合に、それに応じたエレベータ制御を行うシステムを提案している(下記特許文献1)。
また、スーパーマーケットの入口等の天井にテレビカメラを設置して、その画像から客の数や客の流れを解析することも行われている(下記特許文献2)。
このように動画像から移動対象物を認識する場合は、通常「背景差分」または「フレーム間差分」を取ることで移動体の抽出が行われる。
【0003】
背景差分を取る方法では、移動体が存在しない監視領域の画像(背景画像)が予め記憶され、この背景画像と現時点の動画像との差分画像が算出され、この差分画像を用いて移動体の識別が行われる。この方法は、監視領域が外光等の影響を受ける場所であると、背景画像の撮影時点と現時点とで監視領域の明るさ等が違ってくるため、その差分画像には移動体以外の多くのノイズが含まれ、対象物の識別が難しくなる、と言う不利がある。
【0004】
一方、フレーム間差分を取る方法では、動画像の時系列的に連続するフレーム画像の間の差分画像が算出される。動画像のフレーム数は、毎秒15~30枚程度であるから、連続するフレーム画像の間では、外光等の外的環境の変化は生じない。そのため、フレーム間差分を取ることで、外的環境の影響を受けない差分画像を得ることができる。

【特許文献1】特開2002-362841号公報
【特許文献2】特開平9-265539号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
動画像から移動体の輪郭を抽出することができれば、その輪郭から、画像認識技術を用いて、移動体の自動識別や、移動体の自動追跡が可能になる。
しかし、フレーム間の差分画像には、移動体の動き方によって、その移動体の完全な輪郭線が現れない場合がある。
図11は、この状況を模式的に示している。図11(a)は、移動体100を撮影した動画像の時刻t(n)におけるフレーム画像であり、図11(b)は、時刻t(n)に続く時刻t(n+1)におけるフレーム画像であり、また、図11(c)は、両方のフレーム画像の差分を取った差分画像である。この差分画像には、移動体100の一部の輪郭しか現れていない。
そのため、この差分画像を画像認識に用いた場合は、高い認識精度が得られない。
【0006】
本発明は、こうした事情を考慮して創案したものであり、不完全な輪郭画像からでも移動体の輪郭線を高精度に求めることができる動画像処理装置を提供し、また、その動画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の動画像処理装置は、移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出手段と、前記輪郭画像の重心を求める重心算出手段と、前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割手段と、それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出手段と、算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成手段と、を備え、前記部分輪郭画像代表点算出手段は、着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)、前記部分輪郭画像kを区分する二本の前記直線の角度がθi、θi+1で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(θi+θi+1)/2
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする。
この動画像処理装置は、フレーム間差分で得られた輪郭画像を複数の部分輪郭画像に分割し、各部分輪郭画像の代表点を結んで移動体の輪郭線を生成する。
【0009】
また、本発明の動画像処理装置は、移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出手段と、前記輪郭画像の重心を求める重心算出手段と、前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割手段と、それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出手段と、算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成手段と、を備え、前記部分輪郭画像代表点算出手段は、着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(Σθki)/M (Σは、i=1からMまで加算)
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする。
この動画像処理装置では、部分輪郭画像の重心を代表点として設定する。
【0010】
また、本発明の動画像処理装置の前記部分輪郭画像代表点算出手段は、前記部分輪郭画像を構成する画素数が予め定めた閾値より少ない部分輪郭画像に関して、前記代表点の算出を行わない。
こうすることで、信頼性の低いデータを除去することができる。
【0011】
また、本発明の動画像処理装置は、さらに、前記対象物の重心の軌跡を算出する重心軌跡算出手段を備えても良い。前記重心軌跡算出手段は、時系列的に連続する前記フレーム画像の前のフレーム画像に基づいて前記輪郭線生成手段が生成した前記対象物の輪郭線の中に、次のフレーム画像に基づいて前記重心算出手段が算出した前記輪郭画像の重心が存在するとき、当該重心の位置を前記対象物の重心の軌跡に加える。
この場合、連続するフレーム画像の撮影間隔は短いので、その間に対象物の重心が輪郭線の外に出ることは有り得ないし、また、その輪郭線の中に他の移動体の重心が入り込むことも有り得ない。
【0012】
また、本発明の動画像処理装置では、前記動画像を撮影する撮像手段が、前記対象物の移動平面の上部にあって、前記対象物を真上から撮影した前記動画像が前記輪郭画像抽出手段に送られる。
対象物を真上から見る場合は、対象物の輪郭線の交差が発生しにくいため、簡単なアルゴリズムで対象物の輪郭線の生成が可能になる。
【0013】
また、本発明の動画像処理装置は、さらに、前記対象物を識別する対象物識別手段を備えても良い。前記対象物識別手段は、前記輪郭線生成手段が生成した輪郭線の面積または、前記重心軌跡算出手段が算出した前記軌跡の方向における前記輪郭線の長さと当該方向に直角な方向における前記輪郭線の長さとの比に基づいて、前記対象物を識別する。
対象物の輪郭線や軌跡を利用して、対象物を自動識別することができる。
【0014】
また、本発明の動画像処理装置では、前記対象物識別手段が、前記動画像に基づいて一般の人と車椅子利用者とを識別するように構成することができる。
対象物の輪郭線や軌跡を利用して、対象物が一般の人であるか、車椅子利用者であるかを自動識別することができる。
【0015】
また、本発明の動画像処理装置では、前記撮像手段がエレベータ乗場の天井またはエレベータのかごの天井に設置され、前記対象物識別手段による識別情報がエレベータの管理装置に伝達され、前記識別情報に基づいてエレベータの運行管理が制御されるように構成することができる。
この場合、車椅子利用者は、エレベータの車椅子ボタンを押す必要が無くなり、車椅子ボタンを廃止することができる。
【0016】
また、本発明の動画像処理方法は、移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出ステップと、前記輪郭画像の重心を求める重心算出ステップと、前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割ステップと、それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出ステップと、算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成ステップと、を備え、前記部分輪郭画像代表点算出ステップでは、着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)、前記部分輪郭画像kを区分する二本の前記直線の角度がθi、θi+1で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(θi+θi+1)/2
として、極座標(dk,θk)で表される点を代表点として設定することを特徴とする。
この動画像処理方法では、フレーム間差分で得られた輪郭画像を複数の部分輪郭画像に分割し、各部分輪郭画像の代表点を結んで移動体の輪郭線を生成する。この方法では、対象物の輪郭線を、簡単なアルゴリズムで、且つ、高い精度で得ることができる。
【0017】
また、本発明の動画像処理方法は、移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出ステップと、前記輪郭画像の重心を求める重心算出ステップと、前記重心から放射状に延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割ステップと、それぞれの前記部分輪郭画像の代表点を算出する部分輪郭画像代表点算出ステップと、算出された前記代表点を順番に結んで前記対象物の輪郭を示す一周する輪郭線を生成する輪郭線生成ステップと、を備え、前記部分輪郭画像代表点算出ステップでは、着目する前記部分輪郭画像kを構成する画素の数がM個、前記画素の前記重心を中心とする極座標が(dki,θki)で表されるとき、
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(Σθki)/M (Σは、i=1からMまで加算)
として、極座標(dk,θk)で表される点を代表点として設定する
この方法では、部分輪郭画像の重心を代表点として設定する。
【発明の効果】
【0018】
本発明では、動画像のフレーム間差分で得られる不完全な輪郭画像から、移動体の輪郭線や軌跡を高い精度で生成することができる。得られた輪郭線や軌跡は、移動体の画像識別に用いて、識別精度の向上を実現する。
【発明を実施するための最良の形態】
【0019】
本発明の動画像処理装置の実施形態を、図面に基づいて説明する。
図1は、この装置の構成を示すブロック図であり、図2及び図3は、この装置の動作を示すフロー図である。
この装置は、撮像手段10で撮影された動画像のフレーム画像を一時的に格納する画像メモリ30と、フレーム画像の差分処理を実施して輪郭画像を抽出する輪郭画像抽出部21と、輪郭画像を移動体毎に分離する対象物輪郭画像切出し部22と、個々の移動体の輪郭画像を複数の部分輪郭画像に分割する輪郭画像分割部23と、各部分輪郭画像の代表点を設定する部分輪郭画像代表点算出部24と、この代表点を結んで移動体の輪郭線を生成する輪郭線生成部25と、各移動体の輪郭画像の重心を算出する重心算出部26と、各移動体の重心の軌跡を求める重心軌跡算出部27と、輪郭線や重心軌跡に基づいて移動体を識別する対象物識別部28とを備えている。また、輪郭画像分割部23は、輪郭画像の画素を極座標で表示する極座標変換部231と、極座標の中心周りの角度を等分割して部分輪郭画像の角度範囲を規定する輪郭画像等角度分割部232とを有している。
なお、この装置の輪郭画像抽出部21、対象物輪郭画像切出し部22、輪郭画像分割部23、極座標変換部231、輪郭画像等角度分割部232、部分輪郭画像代表点算出部24、輪郭線生成部25、重心算出部26、重心軌跡算出部27及び対象物識別部28は、コンピュータがプログラムで規定された処理を行うことにより実現される。
【0020】
ここでは、この装置が、エレベータ乗場を撮影した動画像を処理して、一般人と車椅子とを識別する場合について説明する。
撮像手段10は、エレベータ乗場の天井等、移動体の移動平面の上方に設置され、監視領域を移動する移動体を真上から撮影する。図4は、撮像手段10で撮影された画像を例示している。この監視領域の広さは約5m×4mであり、撮像手段10は、この監視領域の動画像を、解像度(画素数):640×480、毎秒のフレーム画像数:30fpsの状態で撮影している。
撮像手段10で撮影されたフレーム画像は、輪郭画像抽出部21に送られ、また、画像メモリ30に送られて、画像メモリ30に格納されたフレーム画像が更新される。
【0021】
図2のフロー図に示すように、輪郭画像抽出部21は、時刻t(i)のフレーム画像I(i)が入力すると(ステップ1)、画像メモリ30から時刻t(i-1)のフレーム画像I(i-1)を読み出し、I(i)とI(i-1)との差分を取り、差分画像(輪郭画像)を生成する(ステップ2)。
具体的には、フレーム画像I(i)の(m,n)位置の画素における輝度をPm,n(i)、フレーム画像I(i-1)の同位置の画素における輝度をPm,n(i-1)、また、閾値をαとするとき、
|Pm,n(i)-Pm,n(i-1)|>α
の場合に、(m,n)位置の画素の値を1に、
|Pm,n(i)-Pm,n(i-1)|≦α
の場合に、(m,n)位置の画素の値を0に設定した2値の差分画像を生成する。
この差分画像には、エレベータ乗場に居合わせた複数の人や車椅子の輪郭画像が含まれる。対象物輪郭画像切出し部22は、この差分画像から適宜の手段で移動体毎の輪郭画像を切出す(ステップ3)。
【0022】
図5(a)は、切出された一つの移動体の輪郭画像を模式的に示している。フレーム画像において、監視領域の1mの長さは120個の画素で表示されるため、30fpsのフレーム間差分処理では、移動体の速度vが0.25m/s以上のとき、1画素以上の輪郭が得られることになる。
また、実際に抽出した人の輪郭画像を図8(a)に示し、車椅子の輪郭画像を図9(a)に示している。
【0023】
重心算出部26は、各移動体の輪郭画像の重心Gを算出する(ステップ4)。
具体的には、着目する移動体の輪郭画像を構成する値1の画素の位置を(xi,yi)、その画素数をN、重心Gの位置を(x0,y0)とするとき、
0=(Σxi)/N (Σは、i=1からNまで加算)
0=(Σyi)/N (Σは、i=1からNまで加算)
により重心G(x0,y0)を算出する。
【0024】
輪郭画像分割部23の極座標変換部231は、輪郭画像の画素の位置(xi,yi)を、重心G(x0,y0)を中心とする極座標(di,θi)で表す(ステップ5)。
この極座標変換は、次式によって行われる。
i={(xi-x02+(yi-y021/2
θi=tan-1{(yi-y0)/(xi-x0)}
図5(b)は、図5(a)の輪郭画像を構成する画素の分布図であり、縦軸は極座標の長さdを表し、横軸は極座標の角度θを表している。
【0025】
輪郭画像等角度分割部232は、図6に示すように、図5(b)に表示した輪郭画像の画素の分布を、θ軸に垂直な、等間隔の区分線で分割する(ステップ6)。この区分線は、図5(a)において、重心G(x0,y0)から延びる、重心Gの周りを等角度に分割する放射状の直線に他ならない。
区分線で区画された輪郭画像の各々を「部分輪郭画像」と呼ぶことにする。部分輪郭画像代表点算出部24は、各部分輪郭画像の代表点を次のように算出する(ステップ7)。
【0026】
部分輪郭画像kが角度θiの区分線とθi+1の区分線とで区画され、この部分輪郭画像kを構成する画素の数がM個、画素の極座標が(dki,θki)であるとする。
部分輪郭画像代表点算出部24は、まず、画素数Mを予め決められた閾値βと比較し、
M<β
であるとき、即ち、画素数が少なく、部分輪郭画像の信頼性が低い場合は、その部分輪郭画像kの代表点の算出を中止する。一方、
M≧β
であるときは、部分輪郭画像kの代表点k(dk,θk)を次のように設定する。
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(θi+θi+1)/2
あるいは、部分輪郭画像kの重心を部分輪郭画像kの代表点k(dk,θk)としても良い。この場合、dk、θkは次のようになる。
k=(Σdki)/M (Σは、i=1からMまで加算)
θk=(Σθki)/M (Σは、i=1からMまで加算)
【0027】
輪郭線生成部25は、部分輪郭画像代表点算出部24が算出した代表点を順番に繋ぎ、一周する輪郭線を生成する(ステップ8)。このとき、部分輪郭画像代表点算出部24が代表点を算出しなかった部分輪郭画像は無視して、代表点を繋いで行く。
図7には、輪郭画像を構成する画素の分布図の上に、こうして求めた輪郭線40を重ねて描いている。
また、図8(b)には、人の輪郭画像を構成する画素の分布と輪郭線41とを示し、図8(c)では、この輪郭線41を、一周する輪郭線41の形で、人の画像の上に描いている。
また、図9(b)には、車椅子の輪郭画像を構成する画素の分布と輪郭線42とを示し、図9(c)では、この輪郭線42を、一周する輪郭線42の形で、車椅子の画像の上に描いている。
なお、図8(b)及び図9(b)の輪郭線41、42は、重心Gの周りを10°の角度に等分割して輪郭画像の部分輪郭画像を設定し、θ=10°毎にdkiの移動平均を求めて代表点のdkを算出し、この代表点を繋いだものである。
【0028】
重心軌道算出部27は、重心算出部26が輪郭画像の重心Gを新たに算出したか否かを識別する(ステップ9)。輪郭画像の重心Gが新たに算出された場合は、その重心Gが、直前のフレーム画像に基づいて輪郭線生成部25で生成された(一周する)輪郭線の中に位置しているか否かを識別する(ステップ10)。その輪郭線の中に位置していれば、重心の軌跡の先端と、その重心とを線分で結び、重心の軌跡を延長する(ステップ11)。
この場合、連続するフレーム画像の撮影間隔は短いので、重心算出部26が、新たなフレーム画像の入力時に算出した輪郭画像の重心Gは、その前のフレーム画像に基づいて輪郭線生成部25が生成した輪郭線の中に位置している。ステップ10では、その点を確かめて、重心の軌跡を延長している。この方法で、容易且つ確実に移動体の軌跡を追跡することができる。
図8(c)には、こうして求めた人の軌跡43を輪郭線41と共に描いている。また、図9(c)には、車椅子の軌跡44を輪郭線42と共に描いている。
【0029】
対象物識別部28は、輪郭線生成部25が生成した移動体の輪郭線や、重心軌道算出部27が生成した移動体の軌跡から、移動体の識別が可能な特徴量を算出し、その特徴量に基づいて移動体を識別する。
図10は、人及び車椅子のそれぞれの画像から輪郭線及び軌跡を求め、輪郭線で囲まれた領域の面積S、この領域の長軸と短軸との比r、軌跡の速度v、及び、輪郭線で囲まれた領域の進行方向の長さと直角方向の長さとの比rfを測定した結果を示している。
この測定結果から、輪郭線の面積S、及び、進行方向と直角方向の長さ比rfが、人と車椅子とを識別する特徴量に成り得ることが分かる。
【0030】
対象物識別部28は、輪郭線の面積Sを特徴量とする場合に、図3(a)の手順で人と車椅子とを識別する。
即ち、輪郭線生成部25が生成した輪郭線の内部の面積Sを算出し(ステップ20)、面積Sが閾値a1より大きいか否かを識別し(ステップ21)、大きければ車椅子と判定し(ステップ22)、大きくなければ人と判定する(ステップ22)。
また、対象物識別部28は、進行方向と直角方向の長さ比rfを特徴量とする場合に、図3(b)の手順で人と車椅子とを識別する。
即ち、重心軌道算出部27が求めた軌跡方向の輪郭線領域の長さL1を算出し(ステップ30)、軌跡方向と直角方向の輪郭線領域の長さL2を算出し(ステップ31)、L1/L2が閾値a2より大きいか否かを識別し(ステップ32)、大きければ車椅子と判定し(ステップ33)、大きくなければ人と判定する(ステップ34)。
対象物識別部28の識別結果をエレベータの管理装置に伝達し、この識別結果に基づいてエレベータの運行を制御するようにすれば、車椅子利用者は、現在、エレベータに設置されている車椅子ボタンを押す必要が無くなる。惹いては、この車椅子ボタンを廃止することが可能になる。
【0031】
このように、この動画像処理装置は、移動体の移動平面の上方から真下を撮影した動画像を処理している。この位置から撮影すると、移動体同士の輪郭線が重ならないため、簡単な処理で、移動体の正確な輪郭線を得ることができる。また、この位置から撮影した場合は、人や車椅子程度の移動速度であると、次のフレーム画像が撮影されるまでの時間に移動体の重心が輪郭線の外に出たり、他の移動体の輪郭線に入り込んだりする虞がない。そのため、移動体の軌跡を容易且つ正確に捉えることができる。
そして、この高精度な輪郭線や軌跡から画像識別の特徴量を求めることにより、画像識別の精度が向上する。
【0032】
なお、ここでは、画素位置を極座標に変換しているが、この変換を行わなくても、部分輪郭画像を設定したり、代表点を求めたりすることは可能である。ただ、極座標変換を行った方が計算は楽になる。
また、ここでは、部分輪郭画像を設定するために重心Gの周囲を等角度で分割しているが、分割の角度は、全てが等角度である必要はない。
また、部分輪郭画像の代表点は、ここで例示した方法以外の方法で求めても良い。
【0033】
また、ここでは、エレベータ乗場の例を説明したが、本発明は、スーパーマーケット等での客数や客の流れの解析、さらには、顕微鏡映像の解析、半導体装置の位置合わせ等、対象物の移動平面に対して略垂直な方向から対象物を捉える画像を処理する場合に適用することが可能である。
【産業上の利用可能性】
【0034】
本発明は、エレベータ乗客等の画像解析、スーパーマーケット等への入退出者の画像管理、顕微鏡映像の解析、半導体装置の位置合わせ等、画像処理を伴う広範な分野で広く利用することができる。
【図面の簡単な説明】
【0035】
【図1】本発明の実施形態に係る動画像処理装置の構成を示すブロック図
【図2】図1の動画像処理装置の動作を示すフロー図
【図3】図1の動画像処理装置の画像識別動作を示すフロー図
【図4】撮像手段で撮影された画像の例
【図5】輪郭画像の極座標表示と画素の分布を説明する図
【図6】部分輪郭画像を説明する図
【図7】輪郭線の生成を説明する図
【図8】(a)人の輪郭画像、(b)輪郭画像の画素の分布、(c)輪郭線及び軌跡を示す図
【図9】(a)車椅子の輪郭画像、(b)輪郭画像の画素の分布、(c)輪郭線及び軌跡を示す図
【図10】人及び車椅子の特徴量を示す図
【図11】フレーム差分画像の不完全な輪郭を説明する図
【符号の説明】
【0036】
10 撮像手段
21 輪郭画像抽出部
22 対象物輪郭画像切出し部
23 輪郭画像分割部
24 部分輪郭画像代表点算出部
25 輪郭線生成部
26 重心算出部
27 重心軌跡算出部
28 対象物識別部
30 画像メモリ
40 輪郭線
41 人の輪郭線
42 車椅子の輪郭線
43 人の軌跡
44 車椅子の軌跡
100 移動体
231 極座標変換部
232 輪郭画像等角度分割部
図面
【図1】
0
【図2】
1
【図3】
2
【図5】
3
【図6】
4
【図7】
5
【図10】
6
【図11】
7
【図4】
8
【図8】
9
【図9】
10