TOP > 国内特許検索 > 動体の3次元運動検出装置及び検出方法 > 明細書

明細書 :動体の3次元運動検出装置及び検出方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第6014890号 (P6014890)
公開番号 特開2014-059654 (P2014-059654A)
登録日 平成28年10月7日(2016.10.7)
発行日 平成28年10月26日(2016.10.26)
公開日 平成26年4月3日(2014.4.3)
発明の名称または考案の名称 動体の3次元運動検出装置及び検出方法
国際特許分類 G06T   7/20        (2006.01)
G01B  11/00        (2006.01)
FI G06T 7/20 B
G01B 11/00 H
請求項の数または発明の数 9
全頁数 13
出願番号 特願2012-203488 (P2012-203488)
出願日 平成24年9月14日(2012.9.14)
審査請求日 平成27年4月28日(2015.4.28)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】柴田 智広
【氏名】船谷 浩之
【氏名】中村 彰宏
個別代理人の代理人 【識別番号】110001069、【氏名又は名称】特許業務法人京都国際特許事務所
審査官 【審査官】佐藤 実
参考文献・文献 特開2010-063528(JP,A)
特開2004-333505(JP,A)
特開2009-128075(JP,A)
名田恒 外2名,ハイブリッドカメラとニューラルネットワークを用いた動物認識,第28回ファジィシステムシンポジウム講演集,日本知能情報ファジィ学会,2012年 9月12日,第669-672頁
石井裕之 外4名,ラットの行動計測機能を有する実験装置の開発,第23回日本ロボット学会学術講演会予稿集,社団法人日本ロボット学会,2005年 9月15日
調査した分野 G06T 7/20
G01B 11/00
特許請求の範囲 【請求項1】
a) 可視光を遮断し赤外線を透過する遮蔽板を介して反対側で動く動体の表面の各点を赤外線深度センサーで時系列的に検出するステップと、
b) 各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表すメッシュを作成するステップと、
c) 前記メッシュより、各時点における前記動体の特徴点を抽出するステップと、
d) 前記特徴点の時系列的変化により、前記動体の3次元的動きを検出するステップと
を有することを特徴とする動体3次元運動検出方法。
【請求項2】
前記特徴点の抽出が、
e) 検出した前記各点より、前記動体の中心点を特定するステップと、
f) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を特徴点とするステップと
を有することを特徴とする請求項1に記載の動体3次元運動検出方法。
【請求項3】
さらに、
g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させるステップ
を有することを特徴とする請求項2に記載の動体3次元運動検出方法。
【請求項4】
前記動体がマウスであることを特徴とする請求項1~3のいずれかに記載の動体3次元運動検出方法。
【請求項5】
動体の各部の動きを検出する装置であって、
a) 可視光を遮断し、赤外線を透過する遮蔽板と、
b) 該遮蔽板を介して動体の反対側に設けられる赤外線深度センサーと
を備え、
前記遮蔽板が水平に配置され、前記赤外線深度センサーが該遮蔽板の下から該遮蔽板上の動体を検出するように配置されていることを特徴とする動体3次元運動検出装置。
【請求項6】
更に、
c) 前記赤外線深度センサーで時系列的に検出された前記動体の表面の各点のデータを記憶する手段と、
d) 前記記憶されたデータに基づき、各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表す接続線のメッシュを作成する手段と、
e) 前記メッシュより、各時点における前記動体の特徴点を抽出する手段と
を備えることを特徴とする請求項5に記載の動体3次元運動検出装置。
【請求項7】
更に、
f) 前記特徴点の時系列的変化を画面上に表示する手段
を備えることを特徴とする請求項6に記載の動体3次元運動検出装置。
【請求項8】
前記特徴点抽出手段が、
e1) 各時点の前記動体表面の点のデータより、前記動体の中心点を特定する手段と、
e2) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を検出し、それを特徴点とする手段と
を有することを特徴とする請求項6又は7に記載の動体3次元運動検出装置。
【請求項9】
さらに、
g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させる手段
を備えることを特徴とする請求項6~8のいずれかに記載の動体3次元運動検出装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えばマウス等の小動物の動き、特にその頭や足等の特徴点の動き、を3次元的に検出する装置及び方法に関する。なお、本発明に係る装置及び方法は、小動物に限られることなく、人間等の一般の動物の他、ロボット等の非生物の動体についても適用可能である。
【背景技術】
【0002】
マウスは、製薬や医療分野等において、動物の自発的運動や刺激に対する反応等を研究するために用いられている。例えば、抗うつ剤等の薬品の開発においては投薬前後の運動の初期解析、脊椎損傷の研究においては損傷解析や治療効果の確認等がマウスを用いて行われる。
【0003】
このような研究においては、マウスの運動を詳しく解析することが必要である。このため、マウスの運動の観察を自動化する試みがいくつかなされている。一つの方法はマーカーを使用するものであり、他の方法はマーカーを使用しないものである。前者の方法の一つが非特許文献1に記載されている。この方法では、マウスにマーカーを取り付け、マーカーの動きを撮影して、撮影画像を解析する。この方法ではマウスの正確な位置がわかるという利点があるものの、運動時、マーカーを常時マウスに固定しておかなければならないことから、マウスの運動を拘束するという問題がある。すなわち、マウスの通常の状態での観測には適していない。なお、特許文献1にはマーカーを用いて人間の四肢や頭部等の各部の動きを測定するモーションキャプチャー技術が開示されているが、これはそもそも運動体(運動者)の自然な動きを測定することを目的とするものではない。
【0004】
マーカーを使用しない方法の一つは、ノルダス社(Noldus、オランダ)の「エソビジョンXT」(EthoVision XT)というビデオ運動解析システムである。これは、カラーのビデオ画像をベースに、マウスの頭部、重心及び臀部の3点を追跡(トラッキング)するものである(この方法を用いたマウスの運動解析が非特許文献2に記載されている)。マーカーを使用しない他の方法は、同じくノルダス社の「キャットウォークXT」(CatWalk XT)という歩行解析システムである。これは、細長い通路において、地面についた四肢を圧力で検出して歩行を解析するものである。
【先行技術文献】
【0005】

【特許文献1】特表2008-545206号公報
【0006】

【非特許文献1】G. Courtine, et al., "Recovery of supraspinal control of stepping via indirect propriospinal relay connections after spinal cord injury.", Nature medicine, Vol. 14, No. 1, pp. 69-74, 2008.
【非特許文献2】Thomas H.J. Burnea, et al., "Swimming behaviour and post-swimming activity in Vitamin D receptor knockout mice", Brain Research Bulletin, Volume 69, Issue 1, 15 March 2006, Pages 74-78.
【非特許文献3】"EthoVision XT", Noldus社, [online], [平成24年9月13日検索],インターネット<URL: http://www.noldus.com/animal-behavior-research/products/ethovision-xt>
【非特許文献4】"CatWalk XT", Noldus社, [online], [平成24年9月13日検索],インターネット<URL: http://www.noldus.com/animal-behavior-research/products/catwalk>
【非特許文献5】"PMD[vision](R) CamBoard nano reference design", PMDTec社, [online], [平成24年9月13日検索],インターネット<URL: http://www.pmdtec.com/products-services/pmdvisionr-cameras/pmdvisionr-camboard-nano>
【発明の概要】
【発明が解決しようとする課題】
【0007】
マーカーを使用しない方法はマウスを拘束しないという利点はあるものの、従来の方法はいずれもマウスの2次元的な動きのみを測定するものであり、四肢を始めとするマウスの体の各部の動きを追跡することができず、薬理効果等の解析には十分ではなかった。これは、マウスの体長が7cm程度と小さいこと、そして、その四足歩行の範囲も小さいことが原因として挙げられる。このため、従来、マウスの体全体の運動の解析は、人間による観察及び評価(主観評価)に依存せざるを得なかった。
【0008】
本発明が解決しようとする課題は、マウス等の小動物の四肢、頭部などの特徴点の3次元的な動きを自動的に追跡(トラッキング)する方法を提供することである。なお、後に述べるとおり、本発明に係る装置及び方法は、小動物に限られることなく、人間等の一般の動物の他、ロボット等の非生物の動体についても適用可能である。
【課題を解決するための手段】
【0009】
上記課題を解決するためになされた本願発明の第1の態様は、
a) 可視光を遮断し赤外線を透過する遮蔽板を介して反対側で動く動体の表面の各点を赤外線深度センサーで時系列的に検出するステップと、
b) 各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表すメッシュを作成するステップと、
c) 前記メッシュより、各時点における前記動体の特徴点を抽出するステップと、
d) 前記特徴点の時系列的変化により、前記動体の3次元的動きを検出するステップと
を有することを特徴とする動体3次元運動検出方法である。
【0010】
上記方法の概略の流れを図1(a)に示す。
【0011】
この方法において、赤外線深度センサーは、一般に市販されているものを用いることができ、例えば簡易的なものとしては、米国マイクロソフト社が販売するキネクト(KINECT)センサーを用いることができる。
【0012】
本発明に係る方法では、可視光を遮断し赤外線を透過する遮蔽板を介して動体を検出するため、動体からは赤外線深度センサーやその他の測定機器が見えず、神経質な動体(例えばマウス)に何ら刺激を与えることなく、動体の自然な動きを検出することができる。もちろん、本発明に係る方法は神経質な動体に限られることなく、人間やロボット等、あらゆる動体に対して適用することができる。
【0013】
なお、赤外線深度センサーが検出するのは、手前側、すなわち動体の遮蔽板側の表面の各点である。動体の表面各点の検出の空間密度及び時間密度(フレームレート)は赤外線深度センサーの性能に依存するが、例えば前記キネクトセンサーの場合、空間密度は約3mm、時間密度は約30フレーム/sec、米国PMDTec社のCamboard Nanoの場合、空間密度は約1 mm(時間密度は同じ)である(非特許文献5)。
【0014】
こうして所定時間の間、動体の動きを検出し、その表面点の位置データを時系列的に採取する。
所定時間の間に検出された動体の表面点のデータについて、各時点毎に、隣接点間を接続線で結び、動体の表面を表すメッシュを作成する(メッシュ化する)。なお、ここで言う「表す」には、画面上にメッシュを可視的に表現する場合のみならず、コンピュータの内部にそのようなメッシュ化したデータを保持する場合も含む。すなわち、隣接点間の関係を付けたデータとして各点の座標値を記憶しておく場合も含む。
【0015】
そして、各時点毎に、こうして作成したメッシュより、動体の特徴点を抽出する。特徴点は1個のみ抽出してもよいし、複数個抽出してもよい。特徴点は、必要な体部位の数より多く、冗長にとることが可能であり、またそうすることが精度の点から望ましい。特徴点の抽出の詳細については後述する。
【0016】
各時点毎に抽出された特徴点を時系列的に連ねることにより、その特徴点の3次元的動きを検出することができる。こうして検出された動きは、画面に表示してもよいし、更にその動線の特徴点を抽出するなりして、動体の運動の解析を行ってもよい。
【0017】
特徴点の抽出は、例えば、
e) 検出した前記各点より、前記動体の中心点を特定するステップと、
f) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を特徴点とするステップと
で行うことができる。
【0018】
上記方法の概略の流れを図1(b)に示す。
【0019】
ここにおける「中心点」は、例えば、全検出点の重心(全座標の平均値の点)とすることができる。
【0020】
この中心点よりメッシュの各接続線を辿った距離を各表面点について測定し、その距離が極大を示す表面点を特徴点とするのである。
【0021】
なお、上記に加え、さらに、
g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させるステップ
を備えていてもよい。
【0022】
また、こうして一旦各表面点までの距離を測定した後、距離の遠い表面点(周辺点。前記特徴点も含まれ得る。)を除き、それ以外の表面点(最初の重心から近い表面点)のみに基づいて重心を特定するようにしてもよい。これは例えばマウスの場合、しっぽや四肢を除いた胴体のみの重心を求めることに相当する。
【0023】
上記課題を解決するためになされた本願発明の第2の態様は、動体の各部の3次元的動きを検出する装置であって、
a) 可視光を遮断し、赤外線を透過する遮蔽板と、
b) 該遮蔽板を介して動体の反対側に設けられる赤外線深度センサーと
を備え
前記遮蔽板が水平に配置され、前記赤外線深度センサーが該遮蔽板の下から該遮蔽板上の動体を検出するように配置されていることを特徴とする動体3次元運動検出装置である。

【0024】
この動体3次元運動検出装置は更に、
c) 前記赤外線深度センサーで時系列的に検出された前記動体の表面の各点のデータを記憶する手段と、
d) 前記記憶されたデータに基づき、各時点において、検出した前記各点の隣接点間を接続線で結び、前記動体の表面を表す接続線のメッシュを作成する手段と、
e) 前記メッシュより、前記動体の特徴点を抽出する手段と
を備えるようにしてもよい。
これらの手段は、通常、コンピュータ(周辺装置を含む)により実現される。
【0025】
この動体3次元運動検出装置は更に、
f) 前記特徴点の時系列的変化を画面上に表示する手段
を備えるようにしてもよい。
【0026】
そして、前記特徴点抽出手段は、
e1) 各時点の前記動体表面の点のデータより、前記動体の中心点を特定する手段と、
e2) 前記中心点より前記接続線を辿った距離が極大値を示す表面点を検出し、それを特徴点とする手段と
を有するものとすることができる。
【0027】
そしてさらに、
g) 時間的に前後の情報を用いることにより、冗長な特徴点を消去し、特徴点と前記動体のそれぞれの体部位を対応させる手段
を備えるようにしてもよい。
【発明の効果】
【0028】
本発明に係る動体3次元運動検出方法及び装置では、動体にマーカーを付することなく、その特徴点の3次元的な動きを自動的に追跡(トラッキング)することができる。本発明に係る方法及び装置の対象とする動体は、小動物に限られることなく、人間等の一般の動物の他、ロボット等の非生物の動体であってもよい。
【図面の簡単な説明】
【0029】
【図1】本願発明の第1の態様である動体3次元運動検出方法の概略の構成を表すフローチャート(a)、及び、その中の特徴点の抽出方法の一例の概略構成を表すフローチャート(b)。
【図2】本願発明の一実施例である運動検出装置の概略構成図。
【図3】実施例の運動検出装置の外観斜視図。
【図4】実施例の運動検出装置で取得した赤外線画像の一例を示す図。
【図5】フレーム画像から抽出したマウスの部分画像の図(a)、メッシュ化のための結線の一例を示す説明図(b)、メッシュ化されたマウスの斜視図(c)、第1フレームについて特徴点を抽出した後、各特徴点をマニュアルで特定したことを説明する説明図(d)、及び、第2フレーム以降の各特徴点を示す画像の図(e)。
【図6】鼻先(nose)の軌跡の目視検出結果及び自動検出結果を比較したグラフ。
【図7】右前足(R-front-paw)及び左前足(L-front-paw)の軌跡の目視検出結果及び自動検出結果を比較したグラフ。
【図8】右後足(R-rear-paw)及び左後足(L-rear-paw)の軌跡の目視検出結果及び自動検出結果を比較したグラフ。
【図9】鼻先(nose)の軌跡の目視検出結果及び自動検出結果の差のグラフ。
【図10】右前足(R-front-paw)及び左前足(L-front-paw)の軌跡の目視検出結果と自動検出結果の差のグラフ。
【図11】右後足(R-rear-paw)及び左後足(L-rear-paw)の軌跡の目視検出結果と自動検出結果の差のグラフ。
【図12】左後足(L-rear-paw)の高さの軌跡の目視検出結果及び自動検出結果を比較したグラフ。
【図13】右後足(R-rear-paw)の高さの軌跡の目視検出結果及び自動検出結果を比較したグラフ。
【発明を実施するための形態】
【0030】
以下、本発明に係る方法の具体的な実施例について述べる。ただし、本発明は多くの異なる態様で実施することが可能であり、以下に示す実施例に限定されるものではない。
【実施例】
【0031】
マウスについて、その頭部及び四肢の動きを自動的に観測する装置を作製した。マウスは、下が見える透明板の上を忌避するため、透明板上で運動するマウスを下から可視光で撮影しようとすると、マウスの自然な動きを観測することができない。これは、科学的実験においては、無視できない外因となる。そこで、運動検出装置10は図2に示すような構成とした。
【実施例】
【0032】
本実施例で用いた運動検出装置10では、可視光を遮断し、赤外線のみを透過させる板(底板)11を水平に置き、その上でマウス12を運動させることにした。具体的には、図3に示すように、透明アクリル板20の上に縦40cm、横40cm、深さ60cmの箱21を置き、その箱21の底に黒色の赤外線透過フィルター22を貼付し、それを底板11とした。この底板11の下方に赤外線反射鏡14を置き、その側方に赤外線深度センサー13を配置した。赤外線深度センサー13を底板11の直下に配置せず、反射鏡14を介するようにしたのは、用いた赤外線深度センサー13(キネクトセンサー)の最適深度特性と観測視野特性を考慮して、所定の距離を置くためである。従って、赤外線深度センサの最適深度特性によっては鏡を設けることなく、直接撮影するようにしてもよい。
【実施例】
【0033】
赤外線深度センサー13には演算装置15を接続する。演算装置15はコンピュータにより構成され、記憶装置16、入力装置18、表示装置17等が接続されている。
【実施例】
【0034】
このような構成の装置10において、箱21の中に6週齢のメスのマウス12(体長6.3cm)を入れ、自由に運動をさせ、その間、赤外線深度センサー13で撮影を行った(図1(a)のステップS1に相当)。赤外線深度センサー13で撮影された一時点の赤外線像を図4に示す。
【実施例】
【0035】
この装置10により時系列的に得られる図4に示すような画像(すなわち、映像)より、次のような手順でマウス12の各部の動きを検出した。
まず、前処理(プリプロセシング)として、得られた各時点の画像(フレーム画像)より、マウスの部分のみを抜き出す(図5(a))。これは例えば制限ボックスフィルター(bounding box filtering)等の従来の既知の手法を用いることができる。
【実施例】
【0036】
次に、抜き出された画像のうち、マウスを構成する像の各ピクセルをそれぞれ検出点とし、各検出点を接続線で接続してメッシュ化する(図1(a)のステップS2に相当)。各検出点は深度センサーで検出された点であるため、xy座標の他に深さ値(z座標)を有する。メッシュ化には様々な既知の手法を用いることができるが、例えば図5(b)に示すように、或る検出点(p0)に対して隣接する8検出点(p1~p8)を接続するという方法を採ることができる。これにより構成されたマウス12の表面メッシュを横から見た図を図5(c)に示す。
【実施例】
【0037】
このメッシュより、次のような手順で(1)鼻先、(2)右前足、(3)左前足、(4)右後足、(5)左後足の5個の特徴点を抽出した(図1(a)のステップS3に相当)。なお、特徴点の数は取得したい点の数に依存する。例えば重心と頭、臀部のみを取得したい場合は3点となる。
【実施例】
【0038】
まず、全検出点の座標の平均を取り、重心点を算出する(図1(b)のステップS31に相当)。この重心点より、まず最も近い検出点(中心表面点)を選択し、重心点とその中心表面点を直線で結ぶ。次に、この中心表面点からメッシュを辿った各検出点への距離を算出する。そして、重心又は中心表面点からの距離がメッシュ上で極大となる検出点を、最大距離の点から順次5個選択する(図1(b)のステップS32に相当)。これらが前記5個の特徴点となる。最大距離となるのは、多くの場合、(4)右後足又は(5)左後足であるが、場合によっては(2)右前足や(3)左前足、又は(1)鼻先となる。いずれにせよ、これら5個の特徴点はほぼ確実に抽出することができるが、いずれが(1)鼻先でありいずれが(2)右前足であるか等は自動で決定することは難しい。従って、図5(d)に示すように、最初のフレーム画像において、各特徴点がこれら(1)~(5)の各点であることを操作者がマニュアルで指定することが望ましい。
【実施例】
【0039】
なおここで、取得したい体部位に対応した点の数より多く特徴点を取得し、時間的に前後のフレームの情報等を参酌して、手足としてもっともらしい点を選択することにより、トラッキング精度を上げるという方法を採ることもできる。例えば、頭と四肢の5点をトラッキングしたい場合は、各フレームにおいて6点以上の特徴点を取得することが望ましい。それらの中で、前後のフレームの情報より、頭と四肢として適切な特徴点5点を選択する。これにより誤認識の可能性を低減し、トラッキング精度を上げることができる。
【実施例】
【0040】
各時点のフレーム画像についてこうして抽出した特徴点を時系列的に並べることにより、各特徴点の動きを検出することができる(図1(a)のステップS4に相当。図5(e))。
【実施例】
【0041】
試験を行ったマウスの(1)鼻先の動きを図6に示す。図6は90フレーム、すなわち3秒間の動きをプロットしたものである。図6では、上記方法で自動的に検出した点の底板上(z=0)への射影を×でプロットした。図6には同時に、操作者が各フレーム画像を目視で観察し、(1)鼻先特徴点を検出した結果を■でプロットした。目視検出は底板上(ground)で行った。なお、図6において右上が開始点、左下が終了点である。終了点間際の数点を除き、両者は非常に近い軌跡を示している。
【実施例】
【0042】
同様の方法で、左右の前足の軌跡を比較したグラフを図7に、左右の後足の軌跡を比較したグラフを図8に示す。
【実施例】
【0043】
両検出方法による差異をより明らかにするため、横軸にフレーム番号(すなわち、時間)を取り、縦軸に両検出方法による特徴点の検出位置の誤差をプロットしたグラフを図9~図11に示す。これらのグラフより各特徴点の誤差の平均及び分散を計算すると、誤差の平均は1.3mm(左後足)~3.5mm(鼻先)、分散は1.8mm(左後足)~5.7mm(鼻先)であった。マウスの体長が約70mmであることを考慮すると、誤差の平均は 5% 程度であり、これはマウスの足先の直径と同程度である。すなわち、本発明はマウスのような小動物に対しても十分な精度をもったトラッキングができる。
【実施例】
【0044】
本発明に係る方法では深度センサーを用いているため、各特徴点の3次元的な動きを検出することができる。そこで、各特徴点の高さ(底板11からの距離)の軌跡を、上記自動検出と観察による検出とで比較した。そのうちの右後足(R-rear-paw)及び左後足(L-rear-paw)の結果を図12及び図13に示す。高さにおいても、自動検出はほぼ正しい位置を示していることが分かる。
【符号の説明】
【0045】
10…運動検出装置
11…底板
12…マウス
13…赤外線深度センサー
14…赤外線反射鏡
15…演算装置
16…記憶装置
17…表示装置
18…入力装置
20…透明アクリル板
21…箱
22…赤外線透過フィルター
図面
【図1】
0
【図6】
1
【図7】
2
【図8】
3
【図9】
4
【図10】
5
【図11】
6
【図12】
7
【図13】
8
【図2】
9
【図3】
10
【図4】
11
【図5】
12