TOP > 国内特許検索 > 画像処理装置、画像処理プログラム及び画像処理方法 > 明細書

明細書 :画像処理装置、画像処理プログラム及び画像処理方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6198105号 (P6198105)
公開番号 特開2014-182759 (P2014-182759A)
登録日 平成29年9月1日(2017.9.1)
発行日 平成29年9月20日(2017.9.20)
公開日 平成26年9月29日(2014.9.29)
発明の名称または考案の名称 画像処理装置、画像処理プログラム及び画像処理方法
国際特許分類 G06T   7/20        (2017.01)
G06T   7/215       (2017.01)
H04N   7/18        (2006.01)
FI G06T 7/20 100
G06T 7/215
H04N 7/18 D
H04N 7/18 K
請求項の数または発明の数 5
全頁数 13
出願番号 特願2013-058603 (P2013-058603)
出願日 平成25年3月21日(2013.3.21)
審査請求日 平成28年2月1日(2016.2.1)
特許権者または実用新案権者 【識別番号】506122327
【氏名又は名称】公立大学法人大阪市立大学
発明者または考案者 【氏名】鳥生 隆
【氏名】濱 裕光
【氏名】ティ ティ ズィン
個別代理人の代理人 【識別番号】100124039、【弁理士】、【氏名又は名称】立花 顕治
【識別番号】100156845、【弁理士】、【氏名又は名称】山田 威一郎
【識別番号】100124431、【弁理士】、【氏名又は名称】田中 順也
【識別番号】100112896、【弁理士】、【氏名又は名称】松井 宏記
【識別番号】100179213、【弁理士】、【氏名又は名称】山下 未知子
審査官 【審査官】▲広▼島 明芳
参考文献・文献 特開2003-196664(JP,A)
鳥生 隆,複数カメラを利用した画像の注目領域検出法,画像ラボ 第19巻 第12号 IMAGE LAB,日本,日本工業出版株式会社,2008年12月10日,第19巻,第27-30頁
調査した分野 G06T 7/20 - 7/292
H04N 7/18
特許請求の範囲 【請求項1】
対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出する動き導出部と、
前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似する近似部と、
前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出する領域検出部と
を備え、
前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である、
画像処理装置。
【請求項2】
前記テスト空間は、移動体が存在しない空間である、
請求項1に記載の画像処理装置。
【請求項3】
前記テスト動画像から前記複数の固有ベクトル場を導出し、前記複数の固有ベクトル場を前記複数の基準ベクトル場として設定する基準設定部
をさらに備える、
請求項1又は2に記載の画像処理装置。
【請求項4】
対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、
前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、
前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出するステップと
をコンピュータに実行させ、
前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である、
画像処理プログラム。
【請求項5】
対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、
前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、
前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出するステップと
を備え、
前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である、
画像処理方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出する画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【0002】
従来より、動画像に捉えられた人物や自動車等の移動体を検出するための技術として、動画像に含まれる特定のフレームを、予め用意されている移動体の背景のみを示すフレームや、同じ動画像に含まれる過去のフレーム等と比較する技術が公知である(特許文献1~3を参照)。言わば、これらの技術は、特定のフレーム内で比較対象となるフレームとの画素値の差分が大きい領域を、移動体の存在する領域として検出する技術である。
【先行技術文献】
【0003】

【特許文献1】特開2010-118039号公報
【特許文献2】特開2010-220042号公報
【特許文献3】特開2011-8750号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の従来の方法は、固定したカメラで撮影した動画像が対象とされる場合には上手く機能するが、移動しているカメラで撮影した動画像が対象とされる場合には上手く機能しない。なぜならば、動画像を撮影する視点(カメラ)が移動していると、その動画像のフレーム内において、移動体のみならず、移動体の背景も移動してしまうからである。そうすると、現実には静止している背景部分についても、比較対照となるフレームとの画素値の差分が大きくなってしまい、移動体の如く検出されてしまう結果となる。従って、従来の方法では、首振り式のカメラや、移動式のロボットに搭載されているカメラ等による動画像からは、正しく移動体を検出することできない。
【0005】
本発明は、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び/又は移動体の存在しない領域を正しく検出することが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1観点に係る画像処理装置は、対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出する動き導出部と、前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似する近似部と、前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出する領域検出部とを備える。前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。なお、対象ベクトル場とは、例えば、オプティカルフローの形式で表現される。
【0007】
ここでは、対象動画像から、対象ベクトル場が導出され、この対象ベクトル場が、複数の基準ベクトル場の線型結合として近似される。なお、対象ベクトル場とは、対象動画像のフレーム内の様々な局所領域の動きを表すベクトル場であり、言い換えると、対象動画像に捉えられている移動体の動きと、対象動画像を撮影する視点の動き(背景の動き)とを表すベクトル場である。また、複数の基準ベクトル場とは、互いに直交するベクトル場であって、具体的には、テスト動画像から対象ベクトル場と同様の方法でテストベクトル場を複数導出した後、これらのテストベクトル場を主成分分析することで得られる主成分(固有ベクトル場)である。ここで、テスト動画像とは、視点を様々な方向に移動させながらテスト空間を撮影したものである。
【0008】
従って、理論上、以上のようなテスト動画像から得られる複数の基準ベクトル場を線型結合すれば、対象動画像を撮影するあらゆる視点の動きを表すベクトル場を作成することが可能になる。つまり、対象ベクトル場を複数の基準ベクトル場の線型結合として近似したベクトル場(以下、近似ベクトル場)は、対象動画像を撮影する視点の動きを表す。従って、近似ベクトル場との差分をとることで、対象ベクトル場から視点の動きをキャンセルすることが可能となる。すなわち、対象ベクトル場と近似ベクトル場との差分とは、対象動画像に捉えられている移動体の動きを表すものになる。
【0009】
そこで、ここでは、対象ベクトル場が、近似ベクトル場と比較され、両ベクトル場の差分の大きい(小さい)成分に対応する領域が、移動体の存在する領域(移動体の存在しない背景領域)として検出される。従って、ここでは、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び/又は移動体の存在しない領域を正しく検出することができる。
【0010】
本発明の第2観点に係る画像処理装置は、第1観点に係る画像処理装置であって、前記テスト空間は、移動体が存在しない空間である。
【0011】
すなわち、ここでは、基準ベクトル場が、移動体が存在しない空間から導出される。従って、このような基準ベクトル場の線型結合である近似ベクトル場は、対象動画像を撮影する視点の動きをより正確に表すことができる。よって、移動体及び/又はその背景の検出精度が向上する。
【0012】
本発明の第3観点に係る画像処理装置は、第1観点又は第2観点に係る画像処理装置であって、前記テスト動画像から前記複数の固有ベクトル場を導出し、前記複数の固有ベクトル場を前記複数の基準ベクトル場として設定する基準設定部をさらに備える。
【0013】
移動体及び/又はその背景の検出精度は、対象動画像を撮影する視点の動き(背景の動き)を如何に正確に表すことができるかに依存するから、上述の基準ベクトル場の設定に依存する。さらに、移動体及び/又はその背景の検出精度を向上させる観点からは、対象動画像を撮影するカメラと、基準ベクトル場を用意するためのテスト動画像を撮影するカメラとは、同機種であることが好ましい。なぜならば、レンズの歪曲度等の両カメラの属性が相違すると、その分だけ対象動画像における視点の動きを基準ベクトル場の線型結合として正確に表すことが難しくなるからである。そこで、ここでは、テスト動画像から基準ベクトル場を設定する機能が提供されている。その結果、対象動画像を撮影するカメラに応じて、基準ベクトル場を設定することが可能となり、移動体及び/又はその背景の検出精度が向上させることができる。
【0014】
本発明の第4観点に係る画像処理プログラムは、対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出するステップとをコンピュータに実行させる。前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。従って、ここでは、第1観点と同様の効果を奏することができる。
【0015】
本発明の第5観点に係る画像処理方法は、対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び/又は移動体の存在しない領域を検出するステップとを備える。前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。従って、ここでは、第1観点と同様の効果を奏することができる。
【発明の効果】
【0016】
本発明によれば、対象動画像から、対象ベクトル場が導出され、この対象ベクトル場が、複数の基準ベクトル場の線型結合として近似される。なお、対象ベクトル場とは、対象動画像のフレーム内の様々な局所領域の動きを表すベクトル場であり、言い換えると、対象動画像に捉えられている移動体の動きと、対象動画像を撮影する視点の動き(背景の動き)とを表すベクトル場である。また、複数の基準ベクトル場とは、互いに直交するベクトル場であって、具体的には、テスト動画像から対象ベクトル場と同様の方法でテストベクトル場を複数導出した後、これらのテストベクトル場を主成分分析することで得られる主成分(固有ベクトル場)である。ここで、テスト動画像とは、視点を様々な方向に移動させながらテスト空間を撮影したものである。
【0017】
従って、理論上、以上のようなテスト動画像から得られる複数の基準ベクトル場を線型結合すれば、対象動画像を撮影するあらゆる視点の動きを表すベクトル場を作成することが可能になる。つまり、対象ベクトル場を複数の基準ベクトル場の線型結合として近似したベクトル場(以下、近似ベクトル場)は、対象動画像を撮影する視点の動きを表す。従って、近似ベクトル場との差分をとることで、対象ベクトル場から視点の動きをキャンセルすることが可能となる。すなわち、対象ベクトル場と近似ベクトル場との差分とは、対象動画像に捉えられている移動体の動きを表すものになる。
【0018】
そこで、ここでは、対象ベクトル場が、近似ベクトル場と比較され、両ベクトル場の差分の大きい(小さい)成分に対応する領域が、移動体の存在する領域(移動体の存在しない背景領域)として検出される。従って、ここでは、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び/又は移動体の存在しない領域を正しく検出することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施形態に係る画像処理装置を含む見守りシステムの概略構成を示すブロック図。
【図2】学習処理の流れを示すフローチャート。
【図3】オプティカルフローの概念図。
【図4】認識処理の流れを示すフローチャート。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ、本発明に係る画像処理装置、画像処理プログラム及び画像処理方法を、高齢者等の見守りシステムに適用した場合の一実施形態について説明する。

【0021】
<1.見守りシステムの構成>
図1に示す見守りシステム100は、カメラ3と、カメラ3の遠隔に存在し、インターネットやLAN等のネットワーク6を介してカメラ3に接続されている監視コンピュータ1とを有する。カメラ3は、高齢者等の見守りの対象が存在する空間に配置され、見守りの対象を撮影するとともに、撮影した動画像(以下、対象動画像)をネットワーク6を介して監視コンピュータ1にリアルタイムに送信する。この機能を実現するため、カメラ3には、外付け又は内蔵の通信装置4が付属されている。

【0022】
監視コンピュータ1は、本発明の一実施形態に係る画像処理装置である。監視コンピュータ1には、CD-ROM、USBメモリ等のコンピュータで読み取り可能な記録媒体5から、又はネットワーク6を介して別のコンピュータから、画像処理プログラム2がインストールされている。画像処理プログラム2は、本発明の一実施形態に係る画像処理プログラムであり、対象動画像から移動体、すなわち、高齢者等の見守りの対象を検出する機能を有するアプリケーションソフトウェアである。画像処理プログラム2は、監視コンピュータ1に後述する動作に含まれるステップを実行させる。

【0023】
本実施形態におけるカメラ3は、例えば、首振り式のカメラや、移動式のロボットに搭載されているカメラであり、対象動画像を撮影する視点が移動するカメラである。後述されるとおり、監視コンピュータ1に実装されている移動体を検出するためのアルゴリズムは、固定されているカメラで撮影した動画像を対象とする場合はもちろん、移動しているカメラで撮影した動画像を対象とする場合にも対応している。従って、監視コンピュータ1は、視点が移動するカメラ3で撮影された対象動画像においても、正しく移動体を検出することができる。

【0024】
監視コンピュータ1は、例えば、見守りの対象の異常を監視するサービスを提供する会社により管理されているサーバコンピュータである。この場合、このような会社の従業員が、見守りの対象を監視することもできるし、見守りの対象の家族等が、携帯電話やパーソナルコンピュータ等の機器をネットワーク6を介して監視コンピュータ1に接続することにより、外出先から見守りの対象を監視することも可能である。また、上記のようなサーバコンピュータを省略し、カメラ3から直接、見守りの対象の家族等が所有している携帯電話やパーソナルコンピュータ等の機器に対象動画像が送信されるようにしてもよい。この場合、このような携帯電話やパーソナルコンピュータ等の機器が、監視コンピュータ1(本発明に係る画像処理装置)に相当する。

【0025】
図1に示すとおり、監視コンピュータ1は、表示部10、入力部20、記憶部30、制御部40および通信部50を有する。これらの部10~50は、互いにバス線7で接続されており、相互に通信可能である。本実施形態では、表示部10は、液晶ディスプレイ等で構成されており、適当な画面をユーザ(監視者)に対し表示するユーザーインターフェースである。また、入力部20は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、監視コンピュータ1に対するユーザ(監視者)からの操作を受け付けるユーザーインターフェースである。記憶部30は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されている。記憶部30内には、画像処理プログラム2が格納されている。通信部50は、監視コンピュータ1をネットワーク6に接続するほか、USBメモリやメモリカード、CD-ROM、外付けハードディスク、デジタルカメラなどの外部記憶装置との間でデータ通信を行う通信インターフェースである。

【0026】
制御部40は、CPU、ROMおよびRAM等から構成されており、記憶部30内に格納されている画像処理プログラム2を読み出して実行することにより、仮想的に学習部41、動き導出部42、近似部43、領域検出部44及び解釈部45として動作する。各部41~45の動作については、後述する。

【0027】
<2.監視処理>
以下、見守りシステム100により高齢者等の見守りの対象が監視される処理(以下、監視処理)の流れについて、詳細に説明する。監視処理は、主として、学習処理と、認識処理とにより構成される。学習処理は、基準ベクトル場のセットを学習する処理である。基準ベクトル場のセットは、対象動画像に捉えられたカメラ3の視点の動き(背景の動き)を評価するためのパラメータとなる。認識処理は、学習処理により設定された基準ベクトル場のセットを用いて、対象動画像に捉えられたカメラ3の視点の動きをキャンセルし、それにより、対象動画像に捉えられた移動体の動きを検出する処理である。また、認識処理では、移動体の動きの解釈も行われる。以下、学習処理について説明した後、認識処理について説明する。

【0028】
<2-1.学習処理>
学習処理は、図2に示すフローチャートのとおりに実行される。まず、カメラ3により、テスト動画像が撮影される(ステップS1)。テスト動画像は、基準ベクトル場のセットの算出の元となる動画像である。なお、このとき使用されるカメラは、必ずしも認識処理で対象動画像を撮影するために使用されるカメラ3そのものである必要はなく、さらに、カメラ3と同じ機種のカメラである必要もない。しかしながら、学習処理では、カメラ3そのものか、又はカメラ3と同じ機種のカメラが使用されることが好ましい。なぜならば、レンズの歪曲度等の属性の異なるカメラにより撮影された動画像どうしは、カメラを全く同じように移動させながら、全く同一の風景を撮影したとしても、相違することになる。従って、認識処理で使用されるカメラと、学習処理で使用されるカメラとが相違すると、その分だけ、学習処理で導出されたパラメータを用いる認識処理での認識の精度が低下するからである。

【0029】
また、ステップS1で撮影される空間(以下、テスト空間)は、認識処理でカメラ3が見守る空間と同じである必要はない。なぜならば、後述するアルゴリズムから明らかなとおり、学習処理は、認識処理で見守られる空間の模様や明るさ等の図形のパターンを学習する処理ではなく、カメラ3の視点の動きのパターンを表現するための基準ベクトル場のセットを学習する処理だからである。また、ステップS1では、カメラ3の視点を様々な方向に移動させながら、テスト空間が撮影される。これは、学習処理で学習される基準ベクトル場のセットが、カメラ3のあらゆる視点の動きのパターンを表現することが可能なようにするためである。

【0030】
さらに、ステップS1で撮影されるテスト空間は、移動体が存在しない空間とされることが好ましい。なぜならば、既に述べたとおり、学習処理で学習されるのは、対象動画像に含まれるカメラ3の視点の動きを評価するためのパラメータだからである。従って、このようなパラメータの算出の基礎となるテスト動画像には、移動体の動きが反映されておらず、カメラ3の視点の動きのみが反映されていることが好ましい。

【0031】
続くステップS2では、ステップS1で撮影されたテスト動画像が、カメラ3から監視コンピュータ1に受け渡される。なお、このとき、テスト動画像は、カメラ3から監視コンピュータ1へネットワーク6を介して送信されてもよいし、USBメモリ等の外部記憶装置を介して受け渡されてもよい。或いは、カメラ3を直接監視コンピュータ1へ接続することで受け渡されてもよい。

【0032】
次に、ステップS3では、学習部41が、ステップS2のテスト動画像から、時々刻々のオプティカルフローD(t)を導出する(tは、時刻)。オプティカルフローD(t)とは、図3に示すように、テスト動画像の時刻tに対応するフレーム内の各点pijにその点pijの動きを表すベクトルdij(t)を割り当てたものである(i=1,2,・・・,I、かつ、j=1,2,・・・,J)。ここで、点pijとは、テスト動画像のフレーム上に等間隔に並べられた点の格子状の配列のうち、上からi番目で左からj番目の点である。また、ベクトルdij(t)は、テスト動画像の時刻tに対応するフレームが存在する2次元空間内での2次元ベクトルである。さらに、ベクトルdij(t)は、テスト動画像の時刻tにおける点pijに対応する1又は複数個の画素が、時刻tから時刻t+Δtの間に
移動した移動量で表され、テスト動画像の時刻t及び時刻t+Δtに対応するフレームの
画素値に基づいて算出される。

【0033】
すなわち、オプティカルフローD(t)とは、テスト動画像の時刻tに対応するフレーム内の様々な局所領域の動きを表すベクトル場であり、以下の数1のとおり表される。
【数1】
JP0006198105B2_000002t.gif
なお、このようなオプティカルフローD(t)の具体的な算出方法については、勾配法やブロックマッチング法等の様々な方法が公知であるため、ここでは詳細な説明を省略する。

【0034】
続いて、ステップS4では、学習部41は、ステップS3で導出された多数のオプティカルフローD(t)を主成分分析することにより、K個の固有ベクトル場M1,M2,・・・,MKを導出する(Kは、2以上の整数)。そして、学習部41は、これらK個の固有ベクトル場M1,M2,・・・,MKを基準ベクトル場のセットとして、記憶部30内に保存する。なお、Kの値、すなわち、主成分分析により算出される固有ベクトル場の数は、最大でI×J個であるが、I×J個の全ての固有ベクトル場が算出される必要はない。Kの値は、例えば、予め定められている定数値(例えば、100)であってもよいし、第1主成分である固有ベクトル場M1、第2主成分である固有ベクトル場M2と順に算出してゆきながら、寄与率が所定のパーセントを超えた段階で打ち切るようにしてもよい。なお、K個の基準ベクトル場M1,M2,・・・,MKは、互いに直交するベクトル場である。また、ステップS4が終了すると、学習処理は終了する。

【0035】
ここで、既に述べたとおり、基準ベクトル場M1,M2,・・・,MKとは、テスト動画像から導出される多数のオプティカルフローD(t)から抽出される主成分である。また、テスト動画像とは、カメラ3の視点を様々な方向に移動させながらテスト空間を撮影したものである。従って、以上のような基準ベクトル場M1,M2,・・・,MKを線型結合すれば、カメラ3のあらゆる視点の動きを表すベクトル場を作成することが可能になる。

【0036】
<2-2.認識処理>
続いて、図4を参照しつつ、学習処理後の認識処理について説明する。まず、認識処理と並行して、カメラ3により、時々刻々、認識処理の対象となる対象動画像が撮影される。対象動画像に含まれるフレームは、時々刻々、カメラ3から監視コンピュータ1へネットワーク6を介して送信され、記憶部30内に順次格納されてゆく。そして、記憶部30内に一定量のフレームが蓄積されると、図4に示す認識処理が開始される。

【0037】
認識処理では、図4に示すとおり、記憶部30内に格納されている対象動画像の各フレームに対し、ステップS11~S14が繰り返し実行される。まず、ステップS11では、その後のステップS12~S14の処理の対象として、記憶部30内に格納されている未処理のフレームのうち、最も過去の時刻tに撮影されたフレーム(以下、対象フレーム)が選択される。

【0038】
続いて、ステップS12では、動き導出部42が、対象フレームに対応する時刻tのオプティカルフローE(t)を導出する。オプティカルフローE(t)は、テスト動画像の代わりに対象動画像を対象として、オプティカルフローD(t)と同様の方法で導出される。すなわち、オプティカルフローE(t)とは、図3に示すように、対象フレーム内の各点pijにその点pijの動きを表すベクトルeij(t)を割り当てたものである(i=1,2,・・・,I、かつ、j=1,2,・・・,J)。また、ベクトルeij(t)は、対象フレームが存在する2次元空間内での2次元ベクトルである。さらに、ベクトルeij(t)は、対象動画像の時刻tにおける点pijに対応する1又は複数個の画素が、時刻tから時刻t+Δtの間に移動した移動量で表され、対象動画像の時刻t及び時刻t+Δtに
対応するフレームの画素値に基づいて算出される。

【0039】
すなわち、オプティカルフローE(t)とは、対象フレーム内の様々な局所領域の動きを表すベクトル場であり、以下の数2のとおり表される。また、オプティカルフローE(t)とは、時刻tから時刻t+Δtの間の移動体の動きと、カメラ3の視点の動き、すな
わち、移動体の背景の動きとを表すベクトル場である。
【数2】
JP0006198105B2_000003t.gif

【0040】
次に、ステップS13では、近似部43が、最小二乗法等の方法により、ステップS12で導出されたオプティカルフローE(t)を、記憶部30内に格納されている基準ベクトル場M1,M2,・・・,MKの線型結合として近似する。以下、この線型結合を表すベクトル場をE’(t)と表す。このとき、ベクトル場E’(t)は、K個の係数a1(t),a2(t),・・・,aK(t)を用いて、以下の数3のように表される。従って、ステップS13は、K個の係数a1(t),a2(t),・・・,aK(t)を算出するステップである。
【数3】
JP0006198105B2_000004t.gif

【0041】
ここで、既に述べたとおり、カメラ3の視点の動きは、基準ベクトル場M1,M2,・・・,MKの線型結合として表すことが可能である。従って、オプティカルフローE(t)を基準ベクトル場M1,M2,・・・,MKの線型結合として近似したベクトル場E’(t)は、時刻tから時刻t+Δtの間のカメラ3の視点の動きを表していることになる


【0042】
次に、ステップS14では、領域検出部44が、オプティカルフローE(t)とベクトル場E’(t)との差分である差分ベクトル場F(t)=E(t)-E’(t)を導出する。なお、ここでは、オプティカルフローE(t)からカメラ3の視点の動きを表すベクトル場E’(t)を引くことで、オプティカルフローE(t)からカメラ3の視点の動きをキャンセルしている。すなわち、差分ベクトル場F(t)は、時刻tから時刻t+Δt
の間の移動体の動きを表すものとなる。

【0043】
続けて、領域検出部44は、差分ベクトル場F(t)の各成分となるベクトルfij(t)の大きさを判断する(i=1,2,・・・,I、かつ、j=1,2,・・・,J)。そして、領域検出部44は、所定値よりも大きさの大きいベクトルfij(t)に対応する点pijを検出し、このような点pijを、時刻tの対象フレーム内で移動体の存在する領域として認識する。また、領域検出部44は、対象フレーム内で移動体の存在する領域を示す情報を記憶部30内に格納する。

【0044】
以上のステップS11~S14が繰り返されることにより、時々刻々のオプティカルフローE(t)及びベクトル場E’(t)が導出されるとともに、時々刻々のフレーム内での移動体の位置が検出される。図4に示すとおり、解釈部45は、適当な枚数のフレーム分の、移動体の存在する領域を示す情報が記憶部30内に蓄積される度に、対象動画像に捉えられた移動体の動きを解釈する(ステップS15)。また、解釈部45は、必要に応じて、その解釈の結果を表示部10及び通信部50を介して出力する。なお、移動体の動きを解釈するためのアルゴリズムとしては、様々なものが考えられるが、例えば、対象動画像から移動体として検出される見守りの対象となる高齢者等に何らかの異常が起こっていないか(適切な時間に起きて、活動しているか等)を判断することが考えられる。

【0045】
図4に示す認識処理は、以上のステップを記憶部30内から未処理のフレームがなくなるまで繰り返した後、終了する。

【0046】
<3.特徴>
上記実施形態では、対象動画像から、オプティカルフローE(t)が導出され、このオプティカルフローE(t)が、基準ベクトル場M1,M2,・・・,MKの線型結合として近似される。なお、オプティカルフローE(t)とは、対象動画像に捉えられている移動体の動きと、対象動画像を撮影するカメラ3の視点の動き(背景の動き)とを表すベクトル場である。また、基準ベクトル場M1,M2,・・・,MKとは、テスト動画像からオプティカルフローE(t)と同様の方法で多数のオプティカルフローD(t)を導出した後、これらのオプティカルフローD(t)を主成分分析することで得られる固有ベクトル場である。ここで、テスト動画像とは、視点を様々な方向に移動させながらテスト空間を撮影した動画像である。

【0047】
従って、理論上、以上のようなテスト動画像から得られる基準ベクトル場M1,M2,・・・,MKを線型結合すれば、対象動画像を撮影するあらゆる視点の動きを表すベクトル場を作成することができる。つまり、オプティカルフローE(t)を基準ベクトル場M1,M2,・・・,MKの線型結合として近似したベクトル場E’(t)とは、対象動画像を撮影する視点の動きを表す。そうすると、オプティカルフローE(t)とベクトル場E’(t)との差分である差分ベクトル場F(t)とは、対象動画像に捉えられている移動体の動きを表すものになる。

【0048】
そこで、上記実施形態では、オプティカルフローE(t)が、ベクトル場E’(t)と比較され、両ベクトル場の差分の大きい成分に対応する領域が、移動体の存在する領域として検出される。従って、ここでは、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び/又は移動体の存在しない領域を正しく検出することができる。

【0049】
また、上記実施形態では、学習処理により設定される基準ベクトル場M1,M2,・・・,MKは、カメラ3の視点の動きのパターンを表現するためのパラメータであり、認識処理で見守られる空間の模様や明るさ等の図形のパターンに依存しない。従って、背景技術の欄で述べたような従来の背景差分法とは異なり、カメラ3が見守る空間毎、さらには、カメラ3の位置及び角度毎に背景を示すフレームを用意しておく必要もなく、認識処理に先立つパラメータの学習が容易になる。

【0050】
<4.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。

【0051】
<4-1>
上記実施形態に係る移動体を検出する機能は、移動体とその背景とを区別する機能であるから、この機能は、移動体の背景を検出するのにも適用することができる。従って、背景に注目しているのであれば背景を検出すればよいし、移動体及び背景の両方に注目しているのであれば両方を検出すればよい。このことは、以下の変形例においても同様である。

【0052】
<4-2>
上記実施形態に係る移動体を検出する機能は、高齢者等の見守りシステムだけでなく、移動体を検出することが必要になる様々なシステムの中で利用することができる。例えば、防犯カメラシステムに利用し、住居内への不審者(移動体)の侵入を監視することもできる。また、特定の追跡対象(移動体)をカメラの搭載された移動式のロボットが追跡する追跡システムに利用し、このロボットが追跡対象の位置を把握できるようにしてもよい。

【0053】
<4-3>
上記実施形態に係る移動体を検出する機能をはじめ、監視コンピュータ1に実装されている機能を、カメラ3に搭載してもよい。この場合、カメラ3の内蔵のメモリ(好ましくは、データの消去ができないメモリ)に、予めカメラ3に適した基準ベクトル場のセットを記憶させておくようにすることで、上述の学習処理を省略することができる。また、この例に限らず、基準ベクトル場のセットを予め保持している場合や、何らかの方法で後に取得可能であれば、画像処理プログラム2から、上述の学習処理を実行する機能を省略することができる。
【符号の説明】
【0054】
1 監視コンピュータ(画像処理装置)
2 画像処理プログラム
60 カメラ
41 学習部
42 動き導出部
43 近似部
44 領域検出部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3