Top > Search of Japanese Patents > ACTION RECOGNIZING APPARATUS, AND ACTION RECOGNIZING METHOD > Specification

Specification :(In Japanese)動作認識装置及び動作認識方法

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P6346007
Publication number P2016-015016A
Date of registration Jun 1, 2018
Date of issue Jun 20, 2018
Date of publication of application Jan 28, 2016
Title of the invention, or title of the device (In Japanese)動作認識装置及び動作認識方法
IPC (International Patent Classification) G06T   7/246       (2017.01)
G06T   7/00        (2017.01)
G06T   7/66        (2017.01)
A01K  67/00        (2006.01)
FI (File Index) G06T 7/246
G06T 7/00 350B
G06T 7/66
A01K 67/00 Z
Number of claims or invention 13
Total pages 16
Application Number P2014-136732
Date of filing Jul 2, 2014
Date of request for substantive examination Jan 23, 2017
Patentee, or owner of utility model right (In Japanese)【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
Inventor, or creator of device (In Japanese)【氏名】駒井 章治
【氏名】渡辺 仁
Representative (In Japanese)【識別番号】110001069、【氏名又は名称】特許業務法人京都国際特許事務所
Examiner (In Japanese)【審査官】村松 貴士
Document or reference (In Japanese)特開平09-102046(JP,A)
特開2014-029648(JP,A)
Field of search G06T 7/00 - 7/90
A01K 67/00
Scope of claims (In Japanese)【請求項1】
動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識装置であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定手段と、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割手段と、
c) 前記領域分割手段が分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定手段と、
を備えることを特徴とする動作認識装置。
【請求項2】
前記動体は前後軸を有する動物であり、
前記領域分割手段は、前記動体領域を前後方向に分割し、
前記端点特定手段は、前記複数の領域のうち前記前後方向の一方の端部に位置する領域である端部領域において、前記全体重心から最も遠い点を前記動体の端点として特定することを特徴とする請求項1に記載の動作認識装置。
【請求項3】
d) 前記端部領域の重心を特定する端部重心特定手段
をさらに備えることを特徴とする請求項2に記載の動作認識装置。
【請求項4】
前記端部重心特定手段は、直前に特定した前記端部領域の重心を、次フレームにおいて特定すべき前記端部領域の重心の初期値とすることを特徴とする請求項3に記載の動作認識装置。
【請求項5】
前記領域分割手段が用いる機械学習アルゴリズムがk-meansクラスタリングであることを特徴とする請求項1~4のいずれかに記載の動作認識装置。
【請求項6】
前記領域分割手段は、予備実験の結果に基づいて前記動体領域の分割数を決定することを特徴とする請求項1~5のいずれかに記載の動作認識装置。
【請求項7】
動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識方法であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定ステップと、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割ステップと、
c) 前記領域分割ステップにて分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定ステップと、
を含むことを特徴とする動作認識方法。
【請求項8】
前記動体は前後軸を有する動物であり、
前記領域分割ステップにて、前記動体領域を前後方向に分割し、
前記端点特定ステップにて、前記複数の領域のうち前記前後方向の一方の端部に位置する領域である端部領域において、前記全体重心から最も遠い点を前記動体の端点として特定することを特徴とする請求項7に記載の動作認識方法。

【請求項9】
d) 前記端部領域の重心を特定する端部重心特定ステップ
をさらに含むことを特徴とする請求項8に記載の動作認識方法。
【請求項10】
前記端部重心特定ステップにて、直前に特定した前記端部領域の重心を、次フレームにおいて特定すべき前記端部領域の重心の初期値とすることを特徴とする請求項9に記載の動作認識方法。
【請求項11】
前記領域分割ステップにて用いる機械学習アルゴリズムがk-meansクラスタリングであることを特徴とする請求項7~10のいずれかに記載の動作認識方法。
【請求項12】
前記領域分割ステップにて、予備実験の結果に基づいて前記動体領域の分割数を決定することを特徴とする請求項7~11のいずれかに記載の動作認識方法。
【請求項13】
コンピュータを請求項1~6のいずれかに記載の動作認識装置の各手段として機能させるための制御プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、実験動物等の動体の動作を自動的に認識する動作認識装置及び動作認識方法等に関する。
【背景技術】
【0002】
マウス等に代表される実験動物の行動を撮影して解析することは、動物行動学等の基礎研究の他、医薬品の薬効試験等において広く採用されている実験手法である。古典的には、撮影された映像を実験者が目視にて観察し、いくつかの類型化された行動を検出して記録するといった手法が取られていたが、この手法には目視観察に起因する労働コストの高さや、観察者の主観的判断に依存するが故の再現性の低さといった多くの問題がある。
【0003】
こうした問題を解決するため、従来、様々な自動解析ソフトウェアが開発されてきた。例えば、上方からの撮影画像からマウスの重心を検出し、各時点での位置及び移動速度、並びに所定時間範囲内での移動経路等をトラッキングするものが広く使用されている。
なお、ここでの「重心」とは、撮影画像から適宜の手法で検出された2次元図形に関して求められる点であり、マウスの体積や体重を考慮したものではない。以降、本明細書中で用いられる「重心」との語は上記の意味を持つものである。
【0004】
さらに近年では、マウスの行動をより詳細に観察する手法として、モデルフィッティングを用いた手法が開示されている。こうした例としては物理モデルフィッティング(非特許文献1及び図10(a)を参照)や楕円フィッティング(非特許文献2及び図10(b)参照)を挙げることができる。これらの手法によれば、マウスの動きや体の向き等を目視によらずともトラッキングすることができる。
【先行技術文献】
【0005】

【特許文献1】特開2012-190280号公報
【0006】

【非特許文献1】ネイチャー・メソッズ(Nature Methods),米国,ネイチャーパブリッシンググループ(Nature Publishing Group),第9巻,p.410-417
【非特許文献2】ジャーナル・オブ・ニューロサイエンス・メソッズ(Journal of Neuroscience Methods),オランダ,エルゼビア(Elsevier B.V.),第219巻,p.10-19
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、マウスは実に多彩な行動でその内部状態を表現する動物であり、行動を評価するための指標は上記のような動きや体の向きに限定されない。
【0008】
例えば、マウスは電気ショックを与えられた後は鼻先を非常に細かく動かすことがあり、これは不安行動の指標とされている。楕円フィッティングでは、マウスを体全体の形状と最もよく一致する楕円として扱う(すなわち楕円からはみ出した一部のピクセルが除外される)ことになるため、こうした細かい鼻先の動きの検出漏れを起こすことがある。
【0009】
また、マウスは非常に柔軟な動物であるため、頸や胴体部を大きく屈曲させることも多い。上記の物理モデルフィッティングは、基本的には静止状態にあるマウスの理想的な形状に基づいたモデルであり、胴体部分の大きな変形を正しく検出することが難しい。楕円フィッティングにも同様の問題を指摘することができ、例えばマウスが頸や胴体部を屈曲させたときに楕円の形状が大きく変形し、楕円周上の誤った位置が鼻先や尾の付け根と判定されるおそれがある。
【0010】
本発明は上記の事情に鑑みて成されたものであり、その目的とするところは、マウス等の実験動物の行動解析において、トラッキング精度を向上させることにある。
【課題を解決するための手段】
【0011】
上記課題を解決するために成された本発明に係る動作認識装置は、実験動物等の動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識装置であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定手段と、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割手段と、
c) 前記領域分割手段が分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定手段と、
を備えることを特徴とする。
【0012】
上記「動体」には、マウスやラット等の四足動物の他、家禽等の鳥類、及び所定環境下の細胞等が含まれる。本発明の動体に含まれ得る細胞とは、例えば、神経細胞、ガン細胞及び免疫細胞等に代表される種々の動物細胞のように、極性を有する移動を行う細胞である。
また、上記「所定領域」は観察者の指示に基づいて決定されてもよいし、適宜の画像認識手法を用いて自動的に決定されてもよい。後者の例としては、具体的には、上記複数の領域のうち全体重心から最も離れた位置にある領域、又は動体に関する情報の判断材料となる特徴的な形状を有する領域等が自動的に上記所定の領域として決定されてもよい。なお、或る領域が「特徴的な形状を有する」とは、例えば動体がマウスである場合、鼻先の輪郭を検出してこれを自らの輪郭線の一部に含む領域を上記所定の領域とすることもできる。
【0013】
上記の構成によれば、機械学習アルゴリズムにより動体領域が複数の領域に分割され、このうち所定領域内にあって全体重心から最も遠い点が動体の端点として特定される。従って、例えば動体がマウスである場合、アルゴリズムにより動体領域を前後方向に複数の領域に分割し、そのうち最前部の領域を所定領域とし、該領域における全体重心からの最遠端を当該マウスの鼻先として特定することができる。動体領域の分割数、及び該分割後の複数領域のいずれを所定領域とするかは、その動体の運動や変形の性質、及び形状等に応じて適宜決定されればよい。
本構成では動体の画像を規定のモデルに当てはめることがないので、動体領域中の重要な(具体的には端点の)画素が除外され検出対象から漏れることがない。また、画像ごとに動体領域の全体重心が求められるので、動体が屈曲等により変形しても、変形後の全体重心からの距離に基づいて端点を特定することができる。従って、マウス等の実験動物の行動解析において、トラッキング精度が向上する。
【0014】
前記動体は前後軸を有する動物であり、
前記領域分割手段は、前記動体領域を前後方向に分割し、
前記端点特定手段は、前記複数の領域のうち前記前後方向の一方の端部に位置する領域である端部領域において、前記全体重心から最も遠い点を前記動体の端点として特定する構成とすることが好ましい。
【0015】
ここで、「前後軸を有する」とは、具体的には頭部と尾部(若しくは腹部)とを有し、通常の移動様式として、全体重心から頭部の重心に向かう方向に移動する性質を有することと同義である。
上記の構成によれば、前後軸を有する多くの実験動物について、マウスの鼻先等に代表される端点を特定することで高精度なトラッキングが可能となる。なお、上記「一方の端部」を前後逆転させることにより、前後軸において前部に位置する端点(マウスにおける鼻先)のみでなく、後部に位置する端点(例えば尾の付け根)の特定も可能である。
【0016】
マウスに鼻先で探索行動を行う習性があることは以前から知られていたが、昨今の研究の結果、マウスがこれまで考えられていたよりもずっと多くの部分を視覚に頼って行動していることが分かってきた。しかも、このことを裏付ける各種の行動は、フィールドに2匹以上のマウスが存在する場合に特に顕著である。こうした発見により視線、すなわち胴体部に対し頭部をどの程度傾けているかの測定が、マウス実験における社会的行動の重要な評価指標として認識され始めている。
【0017】
そこで、前記動作認識装置はさらに、
d) 前記端部領域の重心を特定する端部重心特定手段
を備える構成とすることが好ましい。
【0018】
上記の構成によれば、動体領域において、端点、端部領域の重心及び全体重心の少なくとも3個の特徴点が特定される。これにより、画像解析を行うソフトウェアは、動体の形状について詳細な情報を得ることができる。具体的には、例えば動体をマウスとし、前後軸において最前部に位置する領域を端部領域と定めた場合を考える。このとき、領域分割手段による分割数を最も少ない2と定めた場合であっても、端部領域の重心は後頭部付近に求められることとなるため、端点(鼻先)、端部領域の重心(後頭部付近の点)及び全体重心の3点の位置関係から、該マウスの胴体部に対する頭部の傾き角度を高精度に求めることができる。領域分割手段による分割数が増大すれば、端部領域の重心は端点に近づくため、該領域内での(例えば頸部の)屈曲等の影響を受けにくくなり、精度はさらに向上する。
なお、前後軸において最後部に位置する領域を端部領域とし、該端部領域の重心を特定してもよいことは上述と同様である。よって、マウスにおいて上述の3点に加え、後部側の端部領域の重心(又は後部側の端点である尾の付け根)を求めれば胴体部の姿勢がより正確に把握でき、胴体部に対する頭部の傾き角度はさらに高精度に求められる。
従って上記構成によれば、マウスの社会的行動の解析において極めて有用な評価方法を提供することができる。
頭部の向きに着目した従来の解析手法として、例えば特許文献1には、マウスの上面視画像を二値化して重心を求め、該求めた重心を基準とした極座標変換により該マウスの輪郭情報を取得し、該輪郭情報に基づいて尾部の向き及び頭部の向きを特定することが記載されている。しかし本発明の上記構成によれば、毎回極座標変換によって輪郭情報を求めずとも、簡易な手法で頭部の向きを高精度に求めることができる。
【0019】
前記端部重心特定手段は、直前に特定した前記端部領域の重心を、次フレームにおいて特定すべき前記端部領域の重心の初期値とすることが好ましい。
一般的な撮影動画では、連続するフレーム間で動体の前後が逆転することは稀であるため、上記の構成により端点の誤認識(すなわち後部の端点を誤って前部の端点と判定するミス)が防止される。
【0020】
前記領域分割手段が用いる機械学習アルゴリズムとしては、例えばk-meansクラスタリングを用いることができる。
これにより、高速な処理で動体領域を複数の領域に簡易に分割することができる。
【0021】
ここで、例としてマウスの画像をあまりに多く(例えば10以上)の領域に分割しようとすると、マウスの体幅との関係上、観察者の所期どおりに(例えば前後方向に)動体領域が分割されない場合がある。
そこで、前記領域分割手段は、予備実験の結果に基づいて前記動体領域の分割数を決定してもよい。
これにより、行動解析の目的に沿わない領域分割が防止される。
【0022】
上記課題を解決するために成された本発明に係る動作認識方法は、実験動物等の動体の動作を、撮像部により撮像された該動体の複数フレームの画像から自動的に認識する認識方法であって、
a) 前記画像中で前記動体に対応する動体領域の重心である全体重心を特定する全体重心特定ステップと、
b) 前記動体領域を機械学習アルゴリズムを用いて複数の領域に分割する領域分割ステップと、
c) 前記領域分割ステップにて分割した複数の領域のうち所定領域において、前記全体重心から最も遠い点を前記動体の端点として特定する端点特定ステップと、
を含むことを特徴とする。
【発明の効果】
【0023】
本発明によれば、マウス等の実験動物の行動解析において、トラッキング精度が向上する。
【図面の簡単な説明】
【0024】
【図1】本発明の第1の実施形態に係る動作認識装置を含む行動解析システムの概略構成を示すブロック図。
【図2】同実施形態に係る動作認識装置が行う処理の流れを示すフローチャート。
【図3】同実施形態に係る動作認識装置が実行するk-meansクラスタリングによるマウス画像の領域分割の手順を示す説明図。
【図4】図3(c)に示す各クラスタ中心の初期値を設定する処理の流れを示すフローチャート。
【図5】同実施形態によるマウスの鼻先のトラッキング精度を従来手法と比較したグラフ。
【図6】本発明の第2の実施形態に係る動作認識装置が実行するk-meansクラスタリングによるマウス画像の領域分割の手順を示す説明図。
【図7】マウスの頭部の向きの認識精度を評価する方法を示す説明図であり、(a)は元のマウス画像から本願明者らが目視で特定した頭部の向きを、(b)は従来の楕円フィッティングにより推定された頭部の向きを、(c)は同実施形態により特定された鼻先、全体重心及び尾の付け根の3点に基づき推定された頭部の向きを、(d)は同実施形態により特定された鼻先、前部重心、全体重心、後部重心及び尾の付け根の5点に基づき推定された頭部の向きをそれぞれ破線又は実線の矢印にて示している。
【図8】図7(a)にてユーザが特定した頭部の向きと、同図(b)、(c)及び(d)により推定された頭部の向きとの角度差をそれぞれ示すグラフ。
【図9】図8に第1の実施形態による結果を追加した比較用グラフ。
【図10】(a)従来の物理モデルフィッティングの一例を示す図。(b)従来の楕円フィッティングの一例を示す図。
【発明を実施するための形態】
【0025】
以下、本発明を実施するための形態について、図面を参照しつつ詳細に説明する。以下の記載において、先に説明した図面と同一の機能を有する部材には同一の番号を付し、その説明を省略する。

【0026】
〔第1の実施形態〕
図1は本発明の一実施形態に係る動作認識装置を含む行動解析システムの概略構成を示すブロック図である。この行動解析システムは、観察箱10と、該観察箱10内でのマウスの行動を解析・処理したりするための、該観察箱10と接続された情報処理装置20(本発明の動作認識装置に相当)とを備える。

【0027】
観察箱10はマウス12が探索可能なフィールドを有し、該フィールドの縁部を所定の高さの壁板で囲繞したものである。観察箱10の天板内側にはカメラ11(本発明の撮像部に相当)が設けられており、これによりマウス12の行動を上方から撮影する。なお、観察箱10は不図示の照明装置を例えば天板内側に備えている。観察箱10はさらに、床板上に電気ショック呈示用の配線等を備えていてもよい。

【0028】
情報処理装置20の実態はワークステーションやPC(Personal Computer)等のコンピュータであり、中央演算処理装置であるCPU(Central Processing Unit)21にRAM(Random Access Memory)等の揮発性記憶装置から成るメモリ22、LCD(Liquid Crystal Display)等から成る表示部23、キーボードやマウス等から成る入力部24、HDD(Hard Disc Drive)やSSD(Solid State Drive)等の大容量記憶装置から成る記憶部30が互いに接続されている。記憶部30には、OS(Operating System)31及び行動解析プログラム32が記憶されている。情報処理装置20はさらに、外部装置との直接的な接続や、外部装置等とのLAN(Local Area Network)などのネットワークを介した接続を司るためのインターフェース(I/F)25を備えており、該I/F25よりネットワークケーブルNW(又は無線LAN)を介して観察箱10が備えるカメラ11や不図示の照明装置等に接続されている。別の構成例として、I/F25と観察箱10とは観察箱10専用の制御装置(不図示)を解して接続されていてもよい。

【0029】
行動解析プログラム32は、カメラ11が撮影したマウス12の行動を解析するための各種機能を具備するプログラムである。但し以下の記載では、本発明の趣旨から外れる機能(例えば類型行動の検出や分類の方法等)については詳細な説明を省略する。

【0030】
図1においては、行動解析プログラム32に係るように、撮影制御部41、画像取得部42、前処理部43、全体重心特定部44、領域分割部45(本発明の領域分割手段及び端部重心特定手段に相当)、端点特定部46及びフレーム情報記憶部47が示されている。これらはいずれも基本的にはCPU21が行動解析プログラム32をメモリ22に読み出して実行することによりソフトウェア的に実現される機能手段である。なお、行動解析プログラム32は必ずしも単体のプログラムである必要はなく、例えば観察箱10に付随して設けられた各種の機械要素を制御するためのプログラムの一部に組み込まれた機能であってもよく、その形態は特に問わない。また、行動解析プログラム32が備える機能の一部(例えば撮影制御部41)を、上述したような観察箱10専用の制御装置が具備していてもよい。

【0031】
撮影制御部41は、カメラ11による観察箱10内部の撮影を制御するものである。例えば、入力部24を介したユーザの指示をトリガとして撮影の開始や終了を指示する。
画像取得部42は、カメラ11が撮影した観察箱10内部の画像(所定長さの動画を構成する複数フレームの画像)を取得するものである。画像取得部42が取得した複数フレームの画像はメモリ22の他に、記憶部30内の不図示の記憶領域に保存されてもよい。

【0032】
前処理部43は、画像取得部42が取得した画像の二値化やノイズ除去といった前処理を行う。これらの処理には公知の技術を用いることができる。
ここで、図3(a)及び(b)を参照して、画像の前処理について説明を行う。図3(a)は画像取得部42が取得した或るフレームの画像のうち、マウス12を中心とする小区画を説明のために切り出したものである。これに対し、前処理部43が二値化及び必要に応じてノイズ除去を施すことにより、同図(b)に示すような画像が得られる。このうち白抜きで示された領域が、後述の全体重心特定や領域分割の対象となるマウス領域13(本発明の動体領域に相当)である。

【0033】
再び図1を参照して説明を行う。全体重心特定部44は、上記前処理後の画像に基づき、マウス領域13の2次元図形としての重心である全体重心C(図3(b)参照)を特定する。この全体重心Cの特定も公知の技術を適用することで可能である。なお、重心(並びに後述のクラスタ中心及び各端部)の「特定(又は設定)」とは、本実施形態では画像中の座標が一意に定まることを意味している。

【0034】
領域分割部45は、k-meansクラスタリングにより、マウス領域13をk個の領域に分割する。本実施形態ではk = 2とし、マウス領域13を前後2つの領域に分割する。k-meansクラスタリングによる領域分割の手順については後述する。
領域分割部45はまた、クラスタリングが収束した時点での各クラスタの中心を、前後の領域の各重心として特定する。

【0035】
端点特定部46は、マウス12の鼻先51及び尾の付け根52(図3(h)参照)を特定する。具体的には、領域分割部45によって分割された前後2つの領域内の画素について、全体重心Cから最も遠いものをそれぞれ鼻先51、尾の付け根52として特定する。本実施形態では、鼻先51及び尾の付け根52がそれぞれ本発明の端点に相当する。

【0036】
フレーム情報記憶部47は、上述した前処理部43、全体重心特定部44、領域分割部45及び端点特定部46による処理結果を1フレームの画像に関する情報として保持し蓄積するものである。フレーム情報記憶部47に所定数のフレームの画像に関する情報が蓄積された時点で、又はユーザによる任意のトリガリングによって、マウス12の類型行動の検出や分類等の行動解析が行われることとなる。

【0037】
以下、メインルーチンのフローチャートである図2、及び必要に応じて図3及びサブルーチンのフローチャートである図4を参照しつつ、本実施形態の情報処理装置20による処理の流れについて説明を行う。いま、撮影制御部41からの指示によりカメラ11が観察箱10内部の動画を撮影し、該動画を構成するI個の連続するフレームの画像を、画像取得部42が取得したものとする。

【0038】
まず、行動解析プログラム32が、フレーム番号を示す変数i(1≦i≦I)を1とし(ステップS101)、前処理部43が、画像取得部42が取得した上記複数フレームの画像のうち最初の画像(例えば図3(a))を取得し(ステップS102)、該画像の二値化を行う(ステップS103)。ステップS103における二値化後に画像中にノイズが残っていれば、これを適宜の方法により除去する。続いて、全体重心特定部44がマウス領域13の全体重心C(図3(b)参照)を特定する(ステップS104:本発明の全体重心特定ステップに相当)。

【0039】
次に、領域分割部45が、マウス領域13内に2つのクラスタ中心fCi及びrCiの初期値fCi,1及びrCi,1を定める(ステップS105)。本ステップに係る処理の詳細は後述するが、現在は1番目のフレームに係る処理中であるので、これらの初期値fC1,1及びrC1,1は任意に定められる(例えば図3(c)のクラスタ中心fC1及びrC1を参照)。ここで、初期値fC1,1及びrC1,1は任意に定められると述べたが、fC1,1は少なくともrC1,1に対して前方に定められることが好ましい。具体的には、例えばユーザが目視判断に基づいて入力部24を介して指定してもよいし、別の画像認識手法を用いてマウス領域13の前後を自動認識させることでfC1,1、rC1,1をそれぞれ前方、後方のランダムな位置に定めてもよい。このように予めクラスタ中心の前後のみ規定しておくことで、後述の前後各端部の特定処理にて鼻先と尾の付け根とが逆転してしまう検出ミスを防止することができる。

【0040】
続いて、領域分割部45は、マウス領域13内の画素に対しk-meansクラスタリングを適用し、マウス領域13をまずはfC1,1、rC1,1をそれぞれ重心とする2つの領域に分割する(ステップS106:本発明の領域分割ステップに相当)。

【0041】
本ステップから開始するk-meansクラスタリングによる領域分割の手順について、図3を参照して説明を行う。

【0042】
まず、上述のステップS102~S105により、図3(c)に示すように所与の位置に2つのクラスタ中心fC及びrCの初期値fC1及びrC1が定められた。なお、図3は全フレームに共通の手順であるため、符号中のフレーム番号iが省略されている。

【0043】
次に、同図(d)に示すように前後2つの領域F1及びR1に各画素が割り当てられる。この領域F1及びR1は、初期値として定められたクラスタ中心fC1とrC1とを結ぶ線分の垂直二等分線(ボロノイ境界)を境界としている。画素の割り当てがなされると、続いて同図(e)に示すようにクラスタ中心がfC2及びrC2として更新される。fC2及びrC2は、領域F1及びR1内の各画素からの距離の総和を最小化する位置に定められる。続いてこのfC2及びrC2についてもボロノイ境界が定められ、これに基づく領域F2及びR2への画素の割り当てが行われる(同図(f))。そして領域F2及びR2に対してクラスタ中心がfC3及びrC3として更新される(同図(g))。

【0044】
以上のような処理を繰り返し、更新によるデータ値の変化量が所定の閾値を下回ったとき(例えばクラスタ中心fC及びrCの座標値についてfCn+1-fCn<Th且つrCn+1-rCn<Thが成立;Thは所定の閾値)、領域分割部45はクラスタリングが収束したと判定する(S107でYes)。上記変化量が閾値以上であれば(S107でNo)、領域分割部45は上述したクラスタ中心の更新と領域分割とを継続する。

【0045】
クラスタリングが収束したと判定された時点でのフレーム画像の例を図3(h)に示す。この画像の情報を元に、領域分割部45はFnを前部領域、Rnを後部領域とし、fCn、rCnを前後の各重心として確定する(ステップS108:本発明の端部重心特定ステップに相当)。

【0046】
次に、端点特定部46が、前部領域Fnのうち全体重心Cから最も遠い点(正確には画素)をマウス12の鼻先51と特定し(ステップS109)、後部領域Rnのうち全体重心Cから最も遠い点(画素)をマウス12の尾の付け根52と特定する(ステップS110)。これらのステップはそれぞれ本発明の端点特定ステップに相当し、実行順序は逆であっても構わない。

【0047】
次いで前処理部43はiをインクリメントし(ステップS111)、iが動画を構成するフレーム数Iを上回っていなければ(ステップS112でNo)、次なるフレーム画像について、ステップS102~S112を実行する。

【0048】
一方、ステップS111におけるインクリメントの結果、iがIを上回った場合(ステップS112でYes)、この判定結果は動画中の全フレームについて全体重心の特定、領域分割、前後各重心の特定、並びに鼻先及び尾の付け根の特定が完了したことを意味するので、処理は終了となる。
なお、ステップS104、S108~S110における処理結果は逐次フレーム情報記憶部47に保存され、全フレームについての情報が蓄積された後、種々の行動解析に用いられる元データとなる。

【0049】
以上説明した処理によれば、動画を構成する各フレームについて画像が二値化されてマウス領域13が画定され、全体重心Cが特定される。そして、k-meansクラスタリング(k=2)によりマウス領域13が前部領域Fnと後部領域Rnとに分割されるとともに、2つのクラスタ中心fCn、rCnが前後の各重心として特定される。さらに、前部領域Fn、後部領域Rnのうち全体重心Cから最も遠い点がそれぞれマウス12の鼻先51、尾の付け根52として特定される。

【0050】
ここで、ステップS105における、前後2つのクラスタ中心の初期値fCi,1及びrCi,1を定める処理について、図4を参照して説明する。
まず、iが1に等しいか、すなわち現在処理中の画像が動画中の最初のフレームであるか否かの判定が行われる(ステップS201)。iが1に等しければ(S201でYes)、上述のステップS105の説明にて記載したように、ユーザ入力(又は上述した画像認識手法を用いた設定)に基づき初期値fC1,1及びrC1,1を決定する(ステップS202)。
一方、iの値が2以上であると判定された場合(S201でNo)、この判定結果は既に直前のフレームにおける前後のクラスタ中心が確定済みであることを意味する。このとき、領域分割部45は、前フレームにて前部重心及び後部重心として確定したクラスタ中心fCi-1,n及びrCi-1,nを、現在処理中のフレームの初期値fCi,1及びrCi,1とする(ステップS203)。

【0051】
通常の撮影動画において、連続するフレーム間でマウス12の前後が逆転するほどの急激な姿勢変化が起こることは稀である。従って、このように直前フレームで確定したクラスタ中心fCi-1,n及びrCi-1,nを今回の初期値fCi,1及びrCi,1として利用することで、ユーザが目視で前後を定めずとも、前後認識の逆転に起因する鼻先51及び尾の付け根52の検出ミスが防止される。また、本構成によれば、マウス領域13の輪郭を認識して該輪郭の形状から鼻先を特定するといった特許文献1に記載のような処理を不要とすることができる。

【0052】
〔実験例1:鼻先のトラッキング〕
本実施形態の効果を確認するため、以下の条件でマウス12の鼻先のトラッキング精度について評価実験を行った。
データセットとして、マウス12の自由行動を30秒間に亘り撮影した100個の動画から、それぞれ連続する5フレームの画像をサンプリングした。すなわち、解析対象画像の総数は500である。これら500個の画像の各々について、本発明者らが目視に基づき手動でマーク(アノテーション)した鼻先位置からの距離を評価指標とし、従来用いられている楕円フィッティングと、現在広く使用されている商用ソフトウェアであるNoldus社製のEthoVision XT(登録商標)と、本実施形態を適用した提案手法とで、鼻先のトラッキング精度を比較した。

【0053】
上記評価実験の結果を図5に示す。横軸はアノテーション位置からの距離(画素数)を、縦軸は累積分布(%)を表す。同図に示すとおり、特定された鼻先の位置が上記アノテーション位置から10画素(一点鎖線で示す)以内に含まれる割合は、楕円トラッキング及び商用ソフトウェアでは45%及び74%であった。これに対し、本実施形態を用いた提案手法では94%と非常に高い精度でマウス12の鼻先を追跡可能であった。

【0054】
以上のとおり、本実施形態によれば、k-meansクラスタリングによりマウス領域13を前後に2分割し、前部領域Fn内でマウス領域13の全体重心Cから最も遠い点を求めるという簡易な手法により鼻先51を高精度に追跡できる。また、本実施形態によるトラッキングでは物理モデルや楕円形へのフィッティングを行わないため、胴体部の屈曲や細かな動作に起因する誤差が少なく、高い堅牢性が維持されている。

【0055】
〔第2の実施形態〕
上記第1の実施形態ではマウス領域13を前後2つの領域に分割する構成について説明したが、さらに多くの領域、例えば3つの領域に分割してもよい。すなわち、図2に示すフローチャートのステップS106においてk=3とすればよい。但し、本実施形態では3つのクラスタ中心のうち1つを全体重心Cに固定し、他のクラスタ中心fC及びrCのみを更新する構成とする。

【0056】
図6を参照して、本実施形態におけるk-meansクラスタリングを用いたマウス領域13の分割手順について説明を行う。
図6(a)及び(b)は図3(b)及び(c)に対応する。但し図3(c)では説明の簡略化と図の見易さのために全体重心Cの図示を省略している。
本実施形態ではここより先の処理が異なっている。図6(c)に、fC1、C及びrC1の3つのクラスタ中心によるマウス領域13の分割の様子を示す。上記第1の実施形態にて説明した所謂ボロノイ境界により、マウス領域13はまず前部領域F1と中部領域M1と後部領域R1とに分割される。次に、これら3領域F1、M1及びR1に基づきクラスタ中心fC1及びrC1がfC2及びrC2に更新される(図6(d))。上記のとおり全体重心Cは固定されたクラスタ中心であり、更新の対象ではない。この後さらに領域F2、M2及びR2(不図示)に対応する画素の割り当てとfC2及びrC2の更新がなされ、同様の処理を繰り返した後、3領域内の各画素と3つのクラスタ中心(全体重心Cを含む)との距離の総和が最小になった時点でクラスタリングは収束する(図6(e))。

【0057】
〔実験例2:頭部の向きの推定〕
本実施形態の効果を確認するため、以下の条件でマウス12の頭部の向きの推定精度について評価実験を行った。図7及び図8を参照して説明を行う。
データセットについては上記第1の実施形態における実験例1と同一である。上記500個の画像の各々について、本発明者らが目視で特定した頭部の向き(以下、便宜的に「実際の頭部の向き60」と称す)(一例を図7(a)に破線矢印で示す)との角度差θ(°)を評価指標とし、楕円フィッティングと、本実施形態を用いた提案手法で特定された3点(鼻先51、全体重心C及び尾の付け根52)に基づく場合と、同提案手法で特定された5点(鼻先51、前部重心fCn、全体重心C、後部重心rCn及び尾の付け根52)に基づく場合とで、頭部の向きの推定精度を比較した。

【0058】
楕円フィッティング、本実施形態を用いた提案手法(3点)、及び同提案手法(5点)により推定された頭部の向き61、62及び63を図7(b)、(c)及び(d)に実線矢印で示す。同図(b)から明らかなように、楕円フィッティングでは楕円の延伸方向の両端を鼻先51a及び尾の付け根52aとするため、全体重心Cと鼻先51aとの位置関係により推定される頭部の向き61は、実際の頭部の向き60に対し大きなずれが生じている。一方、提案手法(3点)では、全体重心Cと鼻先51との位置関係により推定される頭部の向き62は、上記の楕円フィッティングと比較すれば実際の頭部の向き60とのずれは軽減されているものの、マウス12の視線を測定するに十分とは言い難い。この「提案手法(3点)」は、上記の商用ソフトウェア(アルゴリズム非公開)による推定結果を想定した参考データである。
これに対し、提案手法(5点)では、同図(d)に示すように、前部重心fCnと鼻先51との位置関係から推定される頭部の向き63は、実際の頭部の向き60と殆ど一致するほどに角度差θ(図示は省略)が小さくなっている。

【0059】
上述した評価実験の結果を図8に示す。本実験例でも、上記実験例1と類似の傾向が見られ、本実施形態を用いた提案手法(5点)では、少なくとも楕円フィッティングと比較して非常に高い推定精度が認められた。

【0060】
そして、鼻先51、前部重心fCn、全体重心C、後部重心rCn及び尾の付け根52の5点の位置関係を参照すれば、マウス12が全体としてどのような姿勢をとっているかがよく把握できる。従って、上述のようにして求めた頭部の向き63と、胴体部の向き(例えば全体重心Cと後部重心rCn(又は尾の付け根52)との位置関係から推定される)との角度差、すなわちマウス12の胴体部に対する頭部の傾き角度を高精度に求めることが可能となる。

【0061】
なお、本実験例において上記第1の実施形態(k=2)を用いても類似の効果が得られる。第1の実施形態を用いて得られた結果を図9にて一点鎖線で示す。同図に示すとおり、k=3とした本実施形態と比較するとやや劣るものの良好な結果が得られている。これは、マウス12が、体長(頭胴長)に占める頭長の割合が比較的大きい動体であることに起因すると考えられる。すなわち、マウス領域13の分割数が3から2に減少したことによってずれた前部重心fCnの位置はマウス12においては後頭部付近(図7(d)よりもやや後方)であり、従って頸部の屈曲等の影響を受け難い。一方で、体長に占める頭長の割合が小さい動体(例えばネコ等)においては、頭部の向きの推定における分割数の増大はより有効であると考えられる。このように、kの値は観察対象の動体の形態や動作の特性によって適宜に定められることが好ましい。本発明者らが行った検証によれば、マウス12に関して鼻先51のトラッキングや頭部の向きの推定を目的とする場合には、kの値は3が最も適しているようである。kの値を大きくし過ぎるとマウス領域13が体幅方向にも分割されてしまう場合がある。

【0062】
以上のとおり、本実施形態によれば、マウスの頭部の向きを従来よりも高い精度で推定できる。すなわち、マウスの視線のトラッキングが可能となる。さらに、胴体部に対する頭部の傾き角度を求めることにより、進行方向から視線を大きく動かして対象に注意を向けているといった重要な動作も正しく検出することができる。これにより、近年注目されているマウスの社会的行動の解析において極めて有用な評価方法を提供し得る。
また、後部重心rCnを特定することにより、頭部の向きだけでなく体の伸び等の姿勢も検出することが可能である。

【0063】
〔変更例〕
本発明は上述した各実施形態に限定されるものではなく、本発明の趣旨の範囲で適宜変更が許容される。
例えば、上述の各実施形態ではマウス領域13を分割する手法としてk-meansクラスタリングを用いているが、別の機械学習アルゴリズムを用いて領域分割を行うことも可能である。そのようなアルゴリズムとしては、例えばウォード法や混合ガウス分布を挙げることができる。
さらに、k-meansクラスタリングにおいては、kの値を2又は3と定めた例を挙げたが、kの具体的な値は、観察対象となる動体の形状や観察の目的に応じて適宜変更されればよい。
また、頭部の向きの推定は家畜の発情行動や社会的行動の検出に有用であるが、こうした解析を行わない場合には、前後の重心を特定する工程を省略してもよい。

【0064】
〔本発明の応用先〕
上述の各実施形態では動体としてマウス12を挙げたが、本発明の動体はこれに限定されず、ラットは勿論のこと、イヌ、ネコ及びウマ等の四足動物、並びに鳥類や一部の細胞(神経細胞、ガン細胞及び免疫細胞等のように、所定の環境下で極性を有する移動を行う細胞)等であってもよい。上記鳥類の一例として、ニワトリ等の一部の家禽では、何らかの刺激により惹起された或る個体の走駆行動に誘導されて群れ全体が飼育場の壁に向かって集合し、これが原因で多数の個体が圧死してしまうという問題がある。本発明によれば、こうした集合動作を検出することで飼育管理者に警告通知を行う等の方法により、家禽の圧死による経済的損失を防止することも可能となる。
【符号の説明】
【0065】
10…観察箱
11…カメラ
12…マウス
13…マウス領域
20…情報処理装置
21…CPU
22…メモリ
23…表示部
24…入力部
25…I/F
30…記憶部
32…行動解析プログラム
41…撮影制御部
42…画像取得部
43…前処理部
44…全体重心特定部
45…領域分割部
46…端点特定部
47…フレーム情報記憶部
51、51a…鼻先
52、52a…尾の付け根
60…実際の頭部の向き
61、62、63…推定された頭部の向き
C…全体重心
fC…クラスタ中心
fCn…前部重心
F…前部領域
M…中部領域
rC…クラスタ中心
rCn…後部重心
R…後部領域
θ…角度差
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9