TOP > クイック検索 > 国内特許検索 > 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体 > 明細書

明細書 :動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和3年8月2日(2021.8.2)
発明の名称または考案の名称 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体
国際特許分類 G06T   7/269       (2017.01)
FI G06T 7/269
国際予備審査の請求 未請求
全頁数 26
出願番号 特願2020-532430 (P2020-532430)
国際出願番号 PCT/JP2019/028948
国際公開番号 WO2020/022362
国際出願日 令和元年7月24日(2019.7.24)
国際公開日 令和2年1月30日(2020.1.30)
優先権出願番号 2018138717
優先日 平成30年7月24日(2018.7.24)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】鈴木 航
【氏名】一戸 紀孝
【氏名】竹市 博臣
出願人 【識別番号】510147776
【氏名又は名称】国立研究開発法人国立精神・神経医療研究センター
【識別番号】503359821
【氏名又は名称】国立研究開発法人理化学研究所
個別代理人の代理人 【識別番号】110000338、【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
審査請求 未請求
テーマコード 5L096
Fターム 5L096AA06
5L096DA02
5L096HA04
5L096HA11
5L096KA04
要約 計算コストを増大させることなく動き検出を行うことができる動き検出装置を提供する。
動き検出装置は、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部とを備えている。
特許請求の範囲 【請求項1】
対象画像の動き検出を行う動き検出装置であって、
対象画像を取得する画像取得部と、
上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、
上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と
を備えている動き検出装置。
【請求項2】
上記動き検出部は、
上記動き検出部が検出したベクトルの特性に応じたサーチ領域を設定し、
設定したサーチ領域において、上記動きに関連したベクトルの追跡を行う請求項1に記載の動き検出装置。
【請求項3】
上記動き検出部は、上記動き検出部が検出したベクトルに沿った方向に上記サーチ領域を設定する請求項2に記載の動き検出装置。
【請求項4】
上記ベクトル導出部は、
上記対象画像に含まれる少なくとも何れかの画素について、
画素値の勾配を示す第1のベクトルを導出し、
上記第1のベクトルのフレーム間の差分を示す第2のベクトルを、上記動きに関連したベクトルとして導出する請求項1~3の何れか1項に記載の動き検出装置。
【請求項5】
上記ベクトル導出部は、
上記対象画像の各画素の横方向の位置、縦方向の位置、及び画素値を、それぞれX座標、Y座標、及びZ座標とする曲面の法線ベクトルを、XY平面に射影することによって上記第1のベクトルを導出する請求項4に記載の動き検出装置。
【請求項6】
上記ベクトル導出部は、
上記法線ベクトルを正規化したうえで上記XY平面に射影することによって上記第1のベクトルを導出する請求項5に記載の動き検出装置。
【請求項7】
対象画像の動き検出を行う動き検出システムであって、
対象画像を取得する画像取得部と、
上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、
上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と、
上記動き検出部が検出した動きを参照して、当該動きに係る画像を生成する画像生成部と、
上記画像生成部が生成した画像を表示する表示部と
を備えている動き検出システム。
【請求項8】
対象画像の動き検出を行う動き検出方法であって、
対象画像を取得する画像取得ステップと、
上記画像取得ステップにおいて取得した対象画像から動きに関連したベクトルを導出するベクトル導出ステップと、
上記ベクトル導出ステップにおいて導出したベクトルを追跡することによって動き検出を行う動き検出ステップと
を含んでいる動き検出方法。
【請求項9】
請求項1に記載の動き検出装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記ベクトル導出部、及び上記動き検出部としてコンピュータを機能させるためのプログラム。
【請求項10】
請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項11】
請求項1~6のいずれか1項に記載の動き検出装置と、
上記動き検出部の検出結果を用いて、上記対象画像に含まれる物体の特性及び当該物体の動きの特性の少なくともいずれか一方を特定する特定部と
を備える特性検出装置。
【請求項12】
前記特定部は、上記動き検出部の検出結果を用いて、前記物体の動きを予測する
請求項11に記載の特性検出装置。
【請求項13】
上記対象画像は流体の画像を含み、
上記特定部は、上記流体の特性及び上記流体の動きの特性の少なくともいずれか一方を特定する
請求項11~12のいずれか1項に記載の特性検出装置。
【請求項14】
上記特定部は、上記動き検出部の検出結果を用いて、上記流体の粘度を特定する
請求項13に記載の特性検出装置。
【請求項15】
請求項1~6のいずれか1項に記載の動き検出装置と、
上記動き検出部の検出結果を用いて、上記対象画像に含まれる流体を検知する検知部と
を備える流体検出装置。
【請求項16】
請求項11に記載の特性検出装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記ベクトル導出部、上記動き検出部、及び上記特定部としてコンピュータを機能させるためのプログラム。
【請求項17】
請求項16に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項18】
請求項15に記載の流体検出装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記ベクトル導出部、上記動き検出部、及び上記検知部としてコンピュータを機能させるためのプログラム。
【請求項19】
請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体に関する。
【背景技術】
【0002】
観察者(カメラ)と外界の相対的な動きによって引き起こされる物体、表面、エッジ等の画像内の動きのことをオプティカルフローといい、ヒトを含む霊長類にとって観察者の動きの認知、物体の形状・距離・動きの認知、自己運動の制御等に役立つことが知られている。また、画像処理やナビゲーションに関連した工学の分野でも有用であり、動き検出、物体のセグメンテーション、衝突時間の見積もり、明度、動き補償によるコーディング、視差計測等で用いられる。
【0003】
近年、このオプティカルフローを用いた移動物の検出について研究されており、例えば、特許文献1では、移動物を検知する際に、暗い部分での特徴点の検知精度を向上させた移動物検出装置が開示されている。
【先行技術文献】
【0004】

【特許文献1】日本国公開特許公報「特開2015-076633号(2015年4月20日公開)」
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述の移動物検出装置では、計算コストが増大するという問題がある。
【0006】
本発明は、計算コストを抑制しつつ好適に動き検出を行うことができる動き検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る動き検出装置は、対象画像の動き検出を行う動き検出装置であって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部とを備えている。
【0008】
上記の課題を解決するために、本発明の一態様に係る動き検出システムは、対象画像の動き検出を行う動き検出システムであって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と、上記動き検出部が検出した動きを参照して、当該動きに係る画像を生成する画像生成部と、上記画像生成部が生成した画像を表示する表示部とを備えている。
【0009】
上記の課題を解決するために、本発明の一態様に係る動き検出方法は、対象画像の動き検出を行う動き検出方法であって、対象画像を取得する画像取得ステップと、上記画像取得ステップにおいて取得した対象画像から動きに関連したベクトルを導出するベクトル導出ステップと、上記ベクトル導出ステップにおいて導出したベクトルを追跡することによって動き検出を行う動き検出ステップとを含んでいる。
【0010】
上記の課題を解決するために、本発明の一態様に係る特性検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる物体の特性及び当該物体の動きの特性の少なくともいずれか一方を特定する特定部とを備えている。
【0011】
上記の課題を解決するために、本発明の一態様に係る特性検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる流体を検知する検知部とを備えている。
【発明の効果】
【0012】
本発明の一態様によれば、計算コストの増大を招来することなく、動き検出を行うことができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態1に係る動き検出システムの要部構成を示すブロック図である。
【図2】動き検出システムの処理の流れを示すフローチャートである。
【図3】対象画像におけるベクトルの導出方法を示す画像であり、(a)は動き検出の対象画像を示し、(b)は対象画像において画素の座標と画素値とによって張られる3次元空間における曲面を示し、(c)は対象画像において導出されたベクトルを示し、(d)は対象画像のベクトルのフレーム間差分を示す。
【図4】動き検出の対象である動画像における対象画像の一例である。
【図5】図4の対象画像より導出した第1のベクトルの座標を表す画像である。
【図6】図4の各フレームより導出した対象画素を結ぶ線分を示す画像である。
【図7】本発明の実施形態2に係る動き検出システムの要部構成を示すブロック図である。
【図8】サーバまたは端末として利用可能なコンピュータの構成を例示したブロック図である。
【図9】本発明の実施形態4に係る動き検出システムの要部構成を示すブロック図である。
【図10】動き検出の対象である動画像における対象画像の一例である。
【図11】図10の対象画像より導出した第1ベクトルの座標を表す画像である。
【図12】図10の対象画像に図11の画像を重畳させた画像である。
【図13】動き検出の対象である動画像における対象画像の一例である。
【図14】図13の対象画像より導出した第1ベクトルの座標を表す画像である。
【図15】図13の対象画像に図14の画像を重畳させた画像である。
【図16】図10の対象画像に対する従来のオプティカルフローの検出手法による動き検出結果を例示する画像である。
【発明を実施するための形態】
【0014】
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。

【0015】
(動き検出システム)
図1は、本実施形態に係る動き検出システム1の概略構成を示す図である。図1に示すように、動き検出システム1は、動き検出装置10及び表示装置20を備えている。

【0016】
(動き検出装置)
動き検出装置10は、画像取得部11、ベクトル導出部12及び動き検出部13を備えている。

【0017】
画像取得部11は、撮像部(不図示)で撮像された動画像より、当該動画像の個々のフレームである対象画像を取得する。画像取得部11は、取得した対象画像をベクトル導出部12に出力する。

【0018】
ベクトル導出部12は、画像取得部11が出力したフレームの1つを対象画像に設定し、当該対象画像から、動きに関連したベクトル(第1のベクトル)を導出する。ベクトル導出部12は、導出した対象画像におけるベクトルを動き検出部13に出力する。ベクトル導出部12は、上記動画像に含まれる少なくとも1枚の他のフレームにおいても同様に、動きに関連したベクトル(第1のベクトル)を導出し、動き検出部13に出力する。ここで、当該少なくとも1枚の他のフレームは、上記対象画像に対して時間的に隣接する(換言すれば、上記対象画像の直前のフレーム、又は、上記対象画像の直後のフレーム)ことが好ましいが、これは本実施形態を限定するものではない。例えば、当該少なくとも1枚の他のフレームは、上記対象画像に対して、時間的に所定フレーム枚数分離れているフレームであってもよい。なお、混乱のない限り、上記少なくとも1枚の他のフレームのことも対象画像と呼称する場合がある。また、ベクトル導出部12における、動きに関連したベクトルの導出方法については後述する。

【0019】
動き検出部13は、ベクトル導出部12が導出した、動きに関連したベクトルを追跡することによって上記動画像の動きを検出する。より具体的には、動き検出部13は、対象画像において導出されたベクトル(第1のベクトル)と、対象画像に対して時間的に隣接するフレーム(隣接フレームとも呼ぶ)において導出されたベクトル(第1のベクトル)との差分より、対象画像と、当該隣接フレームとの間の動きに関連したベクトル(第2のベクトル)を導出する。動き検出部13は、導出した動きに関連したベクトルを参照して上記動画像の動きを検出する。また、動き検出部13は、第2のベクトルを複数フレームに亘って追跡することにより、動画像の動きを追跡することもできる。

【0020】
また、動き検出部13は、動き検出部13が導出したベクトル(第2のベクトル)の特性に応じたサーチ領域を設定し、設定したサーチ領域において、動きベクトルの追跡を行う構成であってもよい。サーチ領域とは、追跡のための探索空間の領域であり、動きの向きを含んでもよい。なお、サーチ領域の設定方法については後述する。

【0021】
また、動き検出部13は、ベクトル導出部12において導出されたベクトルのうち、特定のオブジェクトに係るベクトルを選択し、選択したベクトルを追跡することにより動き検出を行う構成であってもよい。ここで、特定のオブジェクトとは、本実施形態を限定するものではないが、例えば、自動車の撮像画像におけるライトのように、動きを追跡しやすいオブジェクトが挙げられる。また、これら特定のオブジェクトの識別方法は本実施形態を限定するものではないが、例えば、パターンマッチング、エッジ検出等の技術を用いることにより、オブジェクトの識別を行うことができる。

【0022】
(表示装置)
表示装置20は、画像生成部21及び表示部22を備えている。

【0023】
画像生成部21は、ベクトル導出部12において導出されたベクトルを取得し、当該ベクトルに係る画像を生成する。また、画像生成部21は、動き検出部13において導出された動きに関連したベクトルを取得し、当該動きに関連したベクトルに係る画像(動きに係る画像)を生成する。画像生成部21において生成された画像は表示部22に出力される。

【0024】
表示部22は、画像生成部21から出力された画像を表示する。

【0025】
(動き検出方法)
図2は、動き検出システム1の処理の流れの一例を示すフローチャートである。

【0026】
<ステップS1>
画像取得部11によって、動き検出の対象となる動画像より、動画像の個々のフレームである対象画像が取得される。

【0027】
<ステップS2>
ベクトル導出部12は、画像取得部11が取得した対象画像から動きに関連したベクトルである第1のベクトルを導出する。

【0028】
<ステップS3>
動き検出部13は、ベクトル導出部12が導出した上記第1のベクトルを参照して動画像の動き、すなわち、第2のベクトルを検出する。また、上述のように、動き検出部13は、第2のベクトルを複数フレームに亘って追跡することにより、動画像の動きを追跡することもできる。

【0029】
<ステップS4>
画像生成部21は、動き検出部13によって導出された動きに関連したベクトルを参照して、動きに関連したベクトルに係る画像を生成する。

【0030】
<ステップS5>
表示部22は、画像生成部21によって生成された画像を表示する。

【0031】
なお、上述の処理の流れにおいて、画像生成部21は、動き検出部13によって導出された動きに関連したベクトルに係る画像を生成する構成に替えて、ベクトル導出部12によって導出された動きに関連したベクトルを参照して当該動きに関連したベクトルに係る画像を生成する構成であってもよい。

【0032】
以下に、より具体的な動き検出方法について例を挙げて説明する。

【0033】
上述したステップS1において、画像取得部11は、動き検出の対象となる動画像と当該動画像のコントラストを反転した動画像を取得する。画像取得部11は、取得したこれらの動画像より、これらの動画像の個々のフレームである対象画像を取得する。

【0034】
上述したステップS2において、ベクトル導出部12は、対象画像において動きに関連する第1のベクトルの導出を行うドットの数を決定する。ベクトル導出部12は、決定したドットの数のうちの半分を画像取得部11が動画像から取得した対象画像(最初のフレーム)にランダムに位置するように設定し、決定したドットの数のうちの残りの半分を画像取得部11が上記動画像のコントラストを反転した動画像から取得した対象画像(最初のフレーム)にランダムに位置するように設定する。ベクトル導出部12は、対象画像(最初のフレーム)におけるドットが設定された画素において、動きに関連する第1のベクトルを導出する。

【0035】
上述したステップS3において、動き検出部13は、ベクトル導出部12より導出された第1のベクトルを時間微分(フレーム間差分)することにより、第2のベクトルを導出する。

【0036】
動き検出部13は、対象画像(最初のフレーム)に隣接するフレーム(対象画像の直後のフレーム)においても、同様の操作を繰り返し、全てのフレームにおいて、第2のベクトルを導出する。

【0037】
動き検出部13は、全てのフレームにおいて、第2のベクトルを導出した後、各フレームのドットマッチングを行う。具体的には、動き検出部13は、対象画像(最初のフレーム)において、任意のドットを選択し、隣接するフレームにおいて、当該任意のドットとベクトルの方向及び大きさが同じドットを探索する。ここで、動き検出部13は、対象画像における任意のドットを起点として当該ドットのベクトルに沿った直線上の領域を隣接するフレームにおける探索領域として設定する。

【0038】
動き検出部13は、上記任意のドットと、隣接フレームにおいて検出したドットとをマッチングする。なお、隣接するフレームにおいて、上記任意のドットとベクトルの方向及び大きさが同じドットが複数検出された場合、動き検出部13は、検出された複数のドットのうち、上記任意のドットに一番近い位置にあるドットとマッチングさせる。

【0039】
動き検出部13は、全てのフレームにおいてドットマッチングを行うことにより、上記動画像の動きを追跡する。なお、動き検出部13は、マッチングされなかったドットをすべて削除する。

【0040】
画像生成部21は、動き検出部13においてマッチングされたドットを視覚化することで、動きに関連したベクトルに係る画像を生成する。表示部22は、画像生成部21によって生成された画像を表示する。

【0041】
上記の具体例では、動き検出システム1は、対象画像における全ての画素において、動きに関連したベクトルの導出を行っているのではなく、ランダムに設定されたドット上においてのみ動きに関連したベクトルの導出を行っているため、計算コストの増大を招来することなく、動き検出を行うことができる。

【0042】
(ベクトルの導出方法)
続いて、図3を参照して、上述した動きに関連したベクトルの導出方法についてより具体的に説明する。図3は、対象画像におけるベクトルの導出方法を示す画像であり、(a)は動き検出の対象画像を示し、(b)は対象画像において画素の座標と画素値とによって張られる3次元空間における曲面を示し、(c)は対象画像において導出されたベクトルを示し、(d)は対象画像のベクトルのフレーム間差分を示す。

【0043】
(導出工程1)
まず、本実施形態において、ベクトル導出部12は、対象画像に含まれる少なくとも何れかの画素について、画素値の勾配を示す第1のベクトルを導出する。

【0044】
より具体的には、まず、ベクトル導出部12は、図3の(b)に示すように、対象画像の画素の座標を示す2次元平面(XY平面)と、各画素の画素値を示すZ軸とによって張られる3次元空間において、対象画像の各画素値を示す曲面を考える。すなわち、対象画像の各画素の横方向の位置、縦方向の位置、及び画素値は、上記3次元空間において、それぞれX座標、Y座標、及びZ座標に対応する。ここで、Z軸として組み合わせられる画素値としては、例えば、輝度値、色差値、及びRGB等の各色の何れか又はそれらの組み合わせを用いることができる。

【0045】
(導出工程2)
次に、ベクトル導出部12は、それぞれの画素における、上記3次元空間上の曲面の法線ベクトルを導出する。

【0046】
次に、ベクトル導出部12は、導出した法線ベクトルを正規化し、当該正規化した法線ベクトルをXY平面に射影することによって、図3の(c)に示すように、各画素に関して第1のベクトルを導出する。ベクトル導出部12において導出された第1のベクトルのX成分nx及びY成分nyは下記式のように表される。
【数1】
JP2020022362A1_000003t.gif
ここで、I(x,y,t)は時刻tにおける座標(x,y)に位置する画素の輝度である。なお、時刻tは、各フレームに付されたフレーム番号(Picture Order Countとも言う)と読み替えることができる。また、x及びyに関する偏微分は、それぞれx及びyに関する差分と読み替えることができる。

【0047】
(導出工程3)
次に、動き検出部13は、図3の(d)に示すように、ベクトル導出部12において得られた、上記対象画像の第1ベクトルと、当該対象画像に時間的に隣接するフレームの第1ベクトルとの差分より、この2フレーム間の差分を示すベクトル(第2のベクトルとも呼ぶ)を導出する。換言すれば、第1のベクトルのX成分nx及びY成分nyの時間微分(時間差分)をとることにより、第2のベクトルを導出する。

【0048】
ここで、本実施形態に係る動き検出システム1の動きの検出結果について、図4~6を参照して説明する。

【0049】
図4は、動き検出を実施した動画像における対象画像を示す画像である。図4の(a)~(c)は、当該動画像内において、時間的に連続するフレームである。

【0050】
図5は、図4の対象画像より導出した第1のベクトルの一部を表す画像である。図5の(a)~(c)は、それぞれ、図4の(a)~(c)に対象画像において導出された第1のベクトルの座標を示す画像である。なお、図5に示した例では、対象画像に含まれる画素の全てではなく、一部の画素に対して第1のベクトルの導出を行っている。

【0051】
図6は、図4の第1のフレームより導出した対象画素P1、および、第2のフレームより導出した対象画素P2を結ぶ線分を描いた画像である。図6の(a)は、図5の(a)及び(b)より導出された線分を示し、図6の(b)は、図5の(b)及び(c)より導出された線分を示す。

【0052】
図6から明らかなように、本実施形態に係る動き検出システム1は、動き検出部13が導出した動きに関連したベクトルを追跡することによって動き検出を好適に行うことができる。

【0053】
(サーチ領域の設定方法)
動き検出部13におけるサーチ領域の具体的な設定方法について例を挙げれば以下の通りである。

【0054】
動き検出部13は、対象画像N1における対象画素P1に関して導出した第2のベクトルV1に沿った方向にサーチ領域を設定し、上記対象画像に対して隣接するフレームN2(例えば、上記対象画像の直後のフレーム)における当該サーチ領域において、上記対象画素に対応する画素P2を特定し、当該特定した画素に対して第2のベクトルV2を算出する。動き検出部13は、上記の動作を行うことによって第2のベクトルの追跡を行う。

【0055】
また、動き検出部13におけるサーチ領域の具体的な設定方法について別の例を挙げれば以下の通りである。

【0056】
動き検出部13は、対象画像N1およびフレームN2において、それぞれ、第1のベクトルを算出する。動き検出部13は、対象画像N1およびフレームN2における対象画素より、第2のベクトルを導出する。動き検出部13は、ベクトルの追跡を行う対象である対象画素P1に関して導出した第2のベクトルV1に沿った方向にサーチ領域を設定する。動き検出部13は、フレームN2における当該サーチ領域において、対象画素P1に対応する対象画素P2に関して導出した第2のベクトルV2を特定し,ベクトルの追跡を行う。

【0057】
ここで、上記サーチ領域は、一例として、対象画像の対象画素P1を起点とした第2のベクトルV1に沿った直線状の領域として設定してもよいし、当該直線状の領域を、第2のベクトルとは垂直の方向に沿って太らせた帯状の領域として設定してもよいし、その他の形状の領域として設定してもよい。また、上記サーチ領域は、一例として、第2のベクトルを定義域とするような関数の値域を用いて設定してもよい。上記サーチ領域は、連続的、連結的、線形的なものに限定されるものではなく、非連続的、非連結的、非線形的であってもよい。

【0058】
なお、対象画像における対象画素P1の座標と、隣接フレームにおける対象画素P2の座標は一般的に異なり得るが、これは本実施形態を限定するものではなく、同じ座標の対象画素に関して、対象画像と隣接フレームとで第1のベクトルを導出する構成としてもよい。

【0059】
また、隣接フレームにおける対象画素の特定は、当該対象画素に関する画素特性(例えば、輝度、色差、隣接画素との画素値の差等)に基づいて行う構成とすることができる。

【0060】
このように、本発明に係る動画検出システムは、サーチ領域を設定したうえで第1のベクトルの追跡を行うので、計算コストの増大を招来することなく、動き検出を行うことができる。

【0061】
(機械学習に関する付記事項)
なお、動き検出部13による動き検出のための分類及び学習処理の具体構成は本実施形態を限定するものではなく、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

【0062】
・サポートベクターマシン(SVM: Support Vector Machine)
・クラスタリング(Clustering)
・帰納論理プログラミング(ILP: Inductive Logic Programming)
・遺伝的アルゴリズム(GP: Genetic Programming)
・ベイジアンネットワーク(BN: Bayesian Network)
・ニューラルネットワーク(NN: Neural Network)
ニューラルネットワークを用いる場合、3Dデータをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの1次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション(Data Augmentation)等の手法を用いることができる。

【0063】
また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)を用いてもよい。より具体的には、ニューラルネットワークに含まれる1又は複数の層(レイヤ)として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算(積和演算)を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

【0064】
また、ニューラルネットワークとして、数十~数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

【0065】
また、動き検出部13による動き検出のための分類及び学習処理の具体構成は本実施形態を限定するものではなく、例えば、以上の処理に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。

【0066】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0067】
画像取得部11、ベクトル導出部12、動き検出部13、画像生成部21及び表示部22を、それぞれ別体の装置に設ける構成とし、これらの装置同士の情報のやり取りを、有線又は無線通信によって行う構成としてもよい。

【0068】
具体的には、図7に示すように、動き検出システム1aとして、端末装置(撮像装置)10aと、表示装置20と、サーバ(動き検出装置)30とを備える構成とし、当該端末装置10aが、画像取得部11を通信部14とを備え、表示装置20が、画像生成部21と、表示部22と、通信部23とを備え、サーバ30が通信部31とベクトル導出部32と動き検出部33とを備える構成としてもよい。ここで、ベクトル導出部32、及び動き検出部33の動作は、それぞれ、実施形態1において説明したベクトル導出部12、及び動き検出部13の動作と同様である。

【0069】
また、当該サーバは、複数の画像セットに対する動き検出結果を、当該画像セットの識別番号と共に管理する構成としてもよい。より具体的な例として、複数の対象者の体の動きを、本システムによって動き検出する場合、対象者のID毎に画像セット(映像データ)を管理する構成としてもよい。更に、画像を取得した時期を示す時間情報を更に紐付けてもよい。

【0070】
また、当該サーバは、動き検知結果に基づいた機械学習を行う学習部を更に備える構成としてもよい。ここで、当該学習部は、一例として、動き検出部13が検出した動き情報(又は、第1のベクトル、第2のベクトル等)と、上記対象者のIDと、時間情報とをインプットとし、対象者の体の動きに関するクラス分け情報を出力とする学習装置として機能する。

【0071】
なお当該学習部としては、実施形態1において(機械学習に関する付記事項)に記載したように、各種の手法を用いることができる。

【0072】
〔実施形態3〕
動き検出装置10の制御ブロック(画像取得部11、ベクトル導出部12および動き検出部13)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、動き検出装置10、表示装置20、後述する出力装置20b(実施形態4を参照)、およびサーバ30のそれぞれを、図8に示すようなコンピュータ(電子計算機)を用いて構成することができる。なお、動き検出装置10、表示装置20、出力装置20bおよびサーバ30は、それぞれ別体の装置として構成されていてもよく、また、それらの装置のうちの少なくとも一部が一体の装置として構成されていてもよい。例えば、動き検出装置10と出力装置20bとが一体の装置として構成されていてもよい。

【0073】
図8は、動き検出装置10、表示装置20、出力装置20b、またはサーバ30として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブおよびフラッシュメモリ等のストレージであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。

【0074】
補助記憶装置914には、コンピュータ910を動き検出装置10、表示装置20、出力装置20b、またはサーバ30として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して当該プログラムに含まれる命令を実行することによって、コンピュータ910を、動き検出装置10、表示装置20、出力装置20b、またはサーバ30が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置913上に展開することなく実行可能なコンピュータであれば、主記憶装置913を省略してもよい。なお、上記各装置(演算装置912、主記憶装置913、補助記憶装置914、入出力インターフェース915、通信インターフェース916、入力装置920、および出力装置930)は、それぞれ1つであってもよいし、複数であってもよい。

【0075】
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0076】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0077】
〔実施形態4〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0078】
上述の各実施形態及び本実施形態において検出の対象となる対象画像の動きには、自動車、人、動物、ボール、等の剛体の動きだけではなく、気体(例えば煙)、及び液体(例えば水、オイル)等の流体の動きが含まれる。このように、上述の各実施形態及び本実施形態において動き検出の対象となる物体には、剛体及び流体が含まれる。この実施形態では、特に、対象画像に気体及び液体等の流体が含まれ、この流体の動きを検出システムが検出する場合を主に説明する。

【0079】
図9は、この実施形態に係る動き検出システム1b(特性検出装置、及び流体検出装置の一例)の概略構成を示すブロック図である。図9に示すように、動き検出システム1bは、動き検出装置10及び出力装置20bを備えている。動き検出装置10の画像取得部11、ベクトル導出部12、及び動き検出部13の動作は、実施形態1において説明した画像取得部11、ベクトル導出部12、及び動き検出部13の動作と同様である。

【0080】
出力装置20bは、画像生成部21、表示部22、特定部24、検知部25、及び出力部26を備えている。出力装置20bの画像生成部21、及び表示部22の動作は、実施形態1において説明した画像生成部21、及び表示部22の動作と同様である。

【0081】
特定部24は、動き検出部13の検出結果を解析し、対象画像に含まれる物体の特性及び物体の動きの特性の少なくともいずれか一方を特定する。対象画像に含まれる物体は、人、動物、自動車、ボール等の剛体であってもよく、また、気体又は液体等の流体であってもよい。物体の特性とは、その物体が有する特徴的な性質又は外観をいう。物体の特性は例えば、人の表情、衣服、物体の形状、又は物体の粘度である。物体の動きの特性は例えば例えば、今後予測される物体の移動方向、又は物体の移動速度である。

【0082】
例えば人の表情を特性として特定する場合、特定部24は、対象画像の画像解析結果及び動き検出部13の検出結果により、人の表情、及び/又は表情の変化を特定する。また、衣服を特定する場合、特定部24は、対象画像の画像解析結果及び動き検出部13の検出結果により、衣服の形状及び/又は衣服の動きを特定する。また、特定部24は、特定された衣服の形状及び/又は衣服の動きから衣服の素材を特定してもよい。

【0083】
また、予測される物体の動きを特性として特定する場合、特定部24は、動き検出部13が検出した動きを解析し、対象画像に含まれる物体の動きを予測する。より具体的には例えば、特定部24は、動き検出部13が導出した第2のベクトルによって示される移動方向及び移動速度を、予測される物体の移動方向及び移動速度としてもよい。また、例えば、特定部24は、動き検出部13が導出した第2のベクトルによって示される移動方向及び移動速度の時間の経過に伴う変化を解析することにより、物体の動きを予測してもよい。

【0084】
また、粘度を測定する場合、特定部24は、動き検出部13の検出結果を用いて、流体の粘度を測定する。粘度が測定される物体は例えば、セメント、又はアイスクリームである。例えば特定部24は、動き検出部13において導出された第2ベクトルを取得し、第2のベクトルによって示される物体の移動速度から物体の粘度を測定する。

【0085】
検知部25は、動き検出部13の検出結果を用いて、対象画像に含まれる流体を検知する。検知部25は例えば、動き検出部13の検出結果を解析し、動きが検出された領域を物体が位置する領域であると特定してもよい。

【0086】
出力部26は、特定部24の特定結果、及び検知部25の計測結果を示す情報を出力する。出力部26による情報の出力は、例えばデータが外部接続された装置に出力されることにより行われてもよく、また、通信ネットワークを介して他の装置にデータが送信されることにより行われてもよい。また、情報の出力は、例えば表示部に画像を表すデータが出力されることにより行われてもよく、また、音や音声により情報が出力されてもよい。

【0087】
図10は、動き検出を実施した動画像における対象画像を例示する図である。図10の例では、煙などの気体を撮影した動画像が用いられている。図10の(a)~(d)はそれぞれ、動画像に含まれるフレームである。具体的には、図10の(b)は、図10の(a)のフレームから一定時間(例えば、20秒)経過後のフレームである。図10の(c)は、図10の(b)のフレームから一定時間(例えば、20秒)経過後のフレームである。図10の(d)は、図10の(c)のフレームから一定時間(例えば、20秒)経過後のフレームである。図10の(a)~(d)に示されるように、撮影された煙などの気体の外観は、時間の経過に伴って徐々に変化している。

【0088】
図11は、図10の対象画像より導出した第1のベクトルの座標を表す画像である。図11の(a)~(d)はそれぞれ、図10の(a)~(d)の対象画像において導出された第1のベクトルの座標を示す画像である。この例で、ベクトル導出部12は、対象画像に含まれる全ての画素に対して第1のベクトルの導出を行ってフレーム間でのドットのマッチング処理を行い、マッチングに成功した第1のベクトルを抽出する。すなわち、図11の例では、マッチングが成功した第1のベクトルの座標が表示され、マッチングが成功しなかった第1のベクトルの座標は表示されない。なお、ベクトル導出部12が第1のベクトルの導出の対象とする画素は、対象画像に含まれる全ての画素でなくてもよい。ベクトル導出部12は、対象画像に含まれる一部の画素から第1のベクトルの導出を行ってもよい。

【0089】
この実施形態では、画像生成部21は、動き検出の対象画像である動画像に対応する動画像として、ベクトル導出部12が導出した第1のベクトルの座標の時間的な変化を表す動画像(以下「動き検出画像」という)を生成する。図11の(a)~(d)はこの動画像に含まれるフレームの例である。この動画像により、ユーザは例えば煙などの流体の動きを把握することができる。

【0090】
図12は、図10の対象画像に図11の画像を重畳させた画像である。図12の(a)~(d)はそれぞれ、図10の(a)~(d)の対象画像に図11の(a)~(d)の画像を重畳したものである。

【0091】
図16は、図10の対象画像に対する従来のオプティカルフローの検出手法による動き検出結果を例示する画像である。図16の(a)~(d)はそれぞれ、図10の(a)~(d)の対象画像からの動きの検出結果を表す画像である。図16と図11とを比較すると明らかなように、本実施形態では、煙などの流体の動き検出の精度が高くなる。

【0092】
図13は、動き検出を実施した他の動画像における対象画像を例示する図である。図13の(a)~(d)はそれぞれ、動画像に含まれるフレームである。各図の(a)~(d)により示されるフレームの関係は、上述した図10のそれと同様である。

【0093】
図14は、図13の対象画像より導出した第1のベクトルの座標を表す画像である。また、図15は、図13の対象画像に、各対象画像から導出された第1のベクトルの座標を表す画像を重畳された画像である。

【0094】
ところで、気体や液体等の流体が撮影された画像が対象画像として用いられる場合、対象画像には特徴点が顕在しない場合がある。このように特徴点が顕在しない場合、従来のオプティカルフローの手法では対象画像から動きを検出することが困難である場合があった。これに対しこの実施形態では、対象画像に特徴点が顕在しない場合であっても、動き検出部13が動画像の動きを追跡し易い。これにより、この実施形態によれば、人が知覚するような、煙、水などの流体の動きの抽出と可視化が可能になる。

【0095】
出力装置20b又は出力装置20bから出力されたデータを取得した装置(図示略)は、検出された動きを用いてユーザに各種のサービスを提供する。提供されるサービスは例えば、流体の粘度計測、自動運転制御、子供や高齢者の見守りサービス、又は、災害発生時の避難支援サービスである。例えば流体の粘度計測の場合、出力装置20bは、特定部24により測定された流体の粘度を示す情報を出力する。

【0096】
自動運転制御サービスが提供される場合、出力装置20bは例えば、特定部24により予測された物体(人、自転車、自動車、ボール、等)の動きを解析し、危険な状況(衝突等)が引き起こされると推定される場合、警告音や警告メッセージを出力したり、警告メッセージを表示部22に表示したりしてもよい。

【0097】
また、見守りサービスが提供される場合、見守りの対象となる被保護者(子供、老人、ペット、等)が撮影され、撮影された動画像から動き検出が行われる。出力装置20bは例えば、動き検出部13により検出された人物の動きを解析したり、特定部24により特定された被保護者の表情等を解析したりすることにより、被保護者の見守りを行う。出力装置20bは、解析結果により被保護者が危険な状況であると推定される場合、警告音や警告メッセージを出力したり、警告メッセージを表示部22に表示したりしてもよい。この場合、撮影された動画像が動き検出の対象画像となるが、この動画像が公開される必要はない。そのため、検出システム1bは、被保護者のプライバシーを保護しつつ、見守りサービスを提供することができる。

【0098】
なお、上述の実施形態1では、動き検出部13が行うドットマッチング処理の例として、対象画像(最初のフレーム)において任意のドットを選択し、隣接するフレームにおいて、当該任意のドットとベクトルの方向及び大きさが同じドットを探索する処理を例示した。ドットマッチングの処理は上述した実施形態で示したものに限られない。ドットマッチング処理は例えば、動き検出部13が、対象画像において任意のドットを選択し、そのフレームに隣接するフレームにおいて、当該任意のベクトルの方向及び大きさの差分が所定の条件(例えば、所定の閾値以下)を満たすドットを探索することにより行われてもよい。

【0099】
〔まとめ〕
本発明の一態様に係る動き検出装置は、対象画像の動き検出を行う動き検出装置であって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部とを備えている。

【0100】
上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

【0101】
本発明の一態様に係る動き検出装置は、上記動き検出部は、上記動き検出部が検出したベクトルの特性に応じたサーチ領域を設定し、設定したサーチ領域において、上記動きに関連したベクトルの追跡を行う。

【0102】
上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

【0103】
本発明の一態様に係る動き検出装置は、上記動き検出部は、上記動き検出部が検出したベクトルに沿った方向に上記サーチ領域を設定する。

【0104】
上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

【0105】
本発明の一態様に係る動き検出装置は、上記ベクトル導出部は、上記対象画像に含まれる少なくとも何れかの画素について、画素値の勾配を示す第1のベクトルを導出し、上記第1のベクトルのフレーム間の差分を示す第2のベクトルを、上記動きに関連したベクトルとして導出する。

【0106】
上記の構成によれば、動き検出を行うにあたって、好適なベクトルを参照することができる。

【0107】
本発明の一態様に係る動き検出装置は、上記ベクトル導出部は、上記対象画像の各画素の横方向の位置、縦方向の位置、及び画素値を、それぞれX座標、Y座標、及びZ座標とする曲面の法線ベクトルを、XY平面に射影することによって上記第1のベクトルを導出する。

【0108】
上記の構成によれば、動き検出を行うにあたって、好適なベクトルを参照することができる。

【0109】
本発明の一態様に係る動き検出装置は、上記ベクトル導出部は、上記法線ベクトルを正規化したうえで上記XY平面に射影することによって上記第1のベクトルを導出する。

【0110】
上記の構成によれば、動き検出を行うにあたって、好適なベクトルを参照することができる。

【0111】
本発明の一態様に係る動き検出装置は、対象画像の動き検出を行う動き検出システムであって、対象画像を取得する画像取得部と、上記画像取得部が取得した対象画像から動きに関連したベクトルを導出するベクトル導出部と、上記ベクトル導出部が導出したベクトルを追跡することによって動き検出を行う動き検出部と、上記動き検出部が検出した動きを参照して、当該動きに係る画像を生成する画像生成部と、上記画像生成部が生成した画像を表示する表示部とを備えている。

【0112】
上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

【0113】
本発明の一態様に係る動き検出方法は、対象画像の動き検出を行う動き検出方法であって、対象画像を取得する画像取得ステップと、上記画像取得ステップにおいて取得した対象画像から動きに関連したベクトルを導出するベクトル導出ステップと、上記ベクトル導出ステップにおいて導出したベクトルを追跡することによって動き検出を行う動き検出ステップとを含んでいる。

【0114】
上記の構成によれば、計算コストの増大を招来することなく、動き検出を行うことができる。

【0115】
本発明の一態様に係る特性検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる物体の特性及び当該物体の動きの特性の少なくともいずれか一方を特定する特定部を更に備える。

【0116】
上記の構成によれば、計算コストの増大を招来することなく、物体の特性及び物体の動きの特性の少なくともいずれか一方を特定することができる。

【0117】
本発明の一態様に係る特性検出装置は、前記特定部は、前記特定部は、上記動き検出部の検出結果を用いて、前記物体の動きを予測する。

【0118】
上記の構成によれば、計算コストの増大を招来することなく、物体の動きを予測することができる。

【0119】
本発明の一態様に係る特性検出装置は、上記対象画像は流体の画像を含み、上記特定部は、上記流体の特性及び上記流体の動きの特性の少なくともいずれか一方を特定する。

【0120】
上記の構成によれば、計算コストの増大を招来することなく、物体の特性及び物体の動きの特性の少なくともいずれか一方を特定することができる。

【0121】
本発明の一態様に係る特性検出装置は、上記特定部は、上記動き検出部の検出結果を用いて、上記流体の粘度を特定する。

【0122】
上記の構成によれば、計算コストの増大を招来することなく、物体の粘度を測定することができる。

【0123】
本発明の一態様に係る流体検出装置は、上記動き検出装置と、上記動き検出部の検出結果を用いて、上記対象画像に含まれる流体を検知する検知部とを備える。

【0124】
上記の構成によれば、計算コストの増大を招来することなく、流体を検知することができる。

【0125】
本発明の各態様に係る動き検出装置、特性検出装置、及び流体検出装置は、それぞれ、コンピュータによって実現してもよく、この場合には、コンピュータを上記動き検出装置、特性検出装置、又は流体検出装置が備える各手段として動作させることにより上記動き検出装置、特性検出装置、又は流体検出装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【符号の説明】
【0126】
1 動き検出システム
10 動き検出装置
11 画像取得部
12 ベクトル導出部
13 動き検出部
20 表示装置
21 画像生成部
22 表示部
23 通信部
24 特定部
25 検知部
26 出力部

図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15