TOP > 国内特許検索 > 移動物体計測装置、移動物体計測システム、および移動物体計測方法 > 明細書

明細書 :移動物体計測装置、移動物体計測システム、および移動物体計測方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4674725号 (P4674725)
公開番号 特開2007-115236 (P2007-115236A)
登録日 平成23年2月4日(2011.2.4)
発行日 平成23年4月20日(2011.4.20)
公開日 平成19年5月10日(2007.5.10)
発明の名称または考案の名称 移動物体計測装置、移動物体計測システム、および移動物体計測方法
国際特許分類 G06T   7/20        (2006.01)
G01B  11/00        (2006.01)
A63B  69/00        (2006.01)
H04N   7/18        (2006.01)
FI G06T 7/20 B
G01B 11/00 H
A63B 69/00 A
H04N 7/18 G
請求項の数または発明の数 9
全頁数 22
出願番号 特願2006-248363 (P2006-248363)
出願日 平成18年9月13日(2006.9.13)
新規性喪失の例外の表示 特許法第30条第1項適用 2005年5月18日 システム制御情報学会発行の「第49回 システム制御情報学会 研究発表講演会講演論文集」に発表
優先権出願番号 2005275084
優先日 平成17年9月22日(2005.9.22)
優先権主張国 日本国(JP)
審査請求日 平成21年8月19日(2009.8.19)
特許権者または実用新案権者 【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
発明者または考案者 【氏名】高野橋 健太
【氏名】眞鍋 佳嗣
【氏名】安室 喜弘
【氏名】千原 國宏
個別代理人の代理人 【識別番号】100115749、【弁理士】、【氏名又は名称】谷川 英和
審査官 【審査官】松永 稔
参考文献・文献 特開2002-017931(JP,A)
斎藤 英雄 HIDEO SAITO,射影幾何に基づく多視点カメラの中間視点映像生成 View Interpolation of Multiple Cameras Based on Projective Geometry,情報処理学会論文誌 第43巻 No.SIG11(CVIM5) IPSJ,日本,社団法人情報処理学会 Information Processing Society of Japan,2002年12月15日,第43巻
調査した分野 G06T 7/20
A63B 69/00
G01B 11/00
H04N 7/18
特許請求の範囲 【請求項1】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影し、前記移動物体を捉えている時間が重なる2以上のカメラが撮影した2以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像を格納している映像情報格納部と、
前記2以上のカメラに関する情報である2以上のカメラパラメータを格納しているカメラパラメータ格納部と、
前記映像情報格納部が格納している2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記2以上の映像画像ごとに取得する移動軌跡情報取得部と、
前記移動軌跡情報取得部が取得した前記2以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、
前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備し、
前記映像情報格納部の2以上の映像画像は、
同期をとらない2以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像である移動物体計測装置
【請求項2】
前記移動軌跡情報取得部は、
前記映像情報格納部が格納している2以上の各映像画像が有する2以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を2以上抽出し、当該2以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項記載の移動物体計測装置。
【請求項3】
前記移動軌跡情報取得部は、
前記映像情報格納部が格納している2以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項記載の移動物体計測装置。
【請求項4】
前記映像情報は、30フレーム/秒のカメラで撮影された映像の情報である請求項1から請求項3いずれか記載の移動物体計測装置。
【請求項5】
空間上の異なる位置に設置され、空間上を移動する物体である移動物体を撮影する2以上のカメラと、
請求項1から請求項4いずれか記載の移動物体計測装置を具備する移動物体計測システム。
【請求項6】
前記2以上のカメラは、
撮影した映像情報を送信する映像情報送信手段を具備し、
前記移動物体計測装置は、
前記2以上のカメラから2以上の映像情報を受信する映像情報受信部をさらに具備し、
前記映像情報格納部の2以上の映像画像は、前記映像情報受信部が受信した前記2以上の映像情報である請求項記載の移動物体計測システム。
【請求項7】
予め格納されている2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記2以上の映像画像ごとに取得する移動軌跡情報取得ステップと、
前記移動軌跡情報取得ステップで取得した前記2以上の映像画像ごとの移動軌跡情報と、予め格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、
前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを具備し、
前記2以上の映像画像は、
同期をとらない2以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像である移動物体計測方法。
【請求項8】
前記移動軌跡情報取得ステップは、
予め格納されている2以上の各映像画像が有する2以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を2以上抽出し、当該2以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する請求項記載の移動物体計測方法。
【請求項9】
前記移動軌跡情報取得ステップは、
予め格納されている2以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する請求項記載の移動物体計測方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、複数のカメラを用いて撮影した映像から、球技スポーツにおけるボールのように高速で移動する物体の運動軌跡を3次元で取得する移動物体計測装置等に関するものである。
【背景技術】
【0002】
従来の第一の技術は、一方向のカメラで撮影した撮影画像を画像処理手段で処理する構成である。この画像処理手段は、画像入力,選手とボールの検出処理,ボール識別処理,選手とボール追跡処理,座標変換処理,ボール接地検出処理,ボール座標修正処理,ボール高さ計測処理,選手とボールの軌跡抽出処理を1サイクルで行うように構成した運動物体計測装置である(特許文献1参照)。本運動物体計測装置は、選手とボールの検出処理とボール識別処理を実行することにより、選手とボールを区別して検出し、選手とボールの追跡処理によってカメラ座標上での選手座標とボール座標を求める。時々刻々と計測される選手とボールの座標列は、それぞれのカメラ軌跡となる。そして、本運動物体計測装置は、座標変換処理により、選手軌跡とボール軌跡をそれぞれワールド座標軌跡に変換する。選手は略グランド面に接しているので、前記ワールド座標軌跡はそのまま所望の選手の軌跡とする。一方、ボールは必ずしもグランドに接していないので、ボール軌跡は所望のボールの軌跡ではない。そこで、本運動物体計測装置は、ボール接地検出処理によって、前記ボールの接地位置のワールド座標を求め、前記ボールの2以上の接地位置を直線あるいはモデル曲線で結び、これをボールのグランド面上での軌跡として前記ボールのワールド座標軌跡を置き換える。そして、本運動物体計測装置は、修正前のワールド座標と修正後のワールド座標を使って、ボール高さ計測処理でボールの高さを算出する。本運動物体計測装置は、この修正済みのボールのワールド座標軌跡に前記ボールの高さを加えて、3次元のワールド座標軌跡を得る装置である。
【0003】
また、従来の第二の技術は、カメラ間のシャッタータイミングのずれを利用した、移動物体の高速な3次元位置推定の技術である(非特許文献1参照)。かかる技術は、複数の通常レートのカメラで見かけの計測レートを向上させるための技術である。
【0004】
さらに、関連する従来技術として、物体の撮影画像から物体領域を抽出した複数のシルエット画像を、もとの3次元空間に投影し、それぞれの視体積の交差部分を求めることにより、物体の3次元形状データ(ボクセルデータの集合)を得る、視体積交差法という技術(例えば、非特許文献2参照)がある。

【特許文献1】特開2001-273500号公報(第1頁、第1図等)
【非特許文献1】清水彰一、「カメラ間のシャッタータイミングのずれを利用した高速3次元位置推定」、2004、MIRU2004,vol.1,pp.428-433
【非特許文献2】Laurentini、A.「The visual hull concept for silhouette-based image understanding」、1994、IEEE、PAMI、Vol.16、pp.150-162
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の第一の技術においては、一のカメラを用いて、ボール接地検出処理によって前記ボールの接地位置のワールド座標を求め、次に、ボール高さ計測処理を行うことにより3次元のボールの軌跡を取得する、という方法であり、ボール接地検出処理を行うので、ボールが接地しない場合は軌跡を取得できない、と言う課題があった。
【0006】
また、従来の第二の技術においては、複数のカメラからの情報を統合する前に、まず単一のカメラ映像の連続するコマ(フレーム)において、補完技術などにより対象物体像を繋いだ軌跡を予め求めておく必要がある。したがって、移動物体が不連続に動いている場合などは、正しく軌跡が求められない可能性がある。たとえば、従来の第二の技術においては、蹴られた瞬間やバウンドした瞬間がとらえられていないボールの軌跡を正確に求めるのは困難であった。
【課題を解決するための手段】
【0007】
本第一の発明の移動物体計測装置は、空間上の異なる位置に設置された2以上のカメラであり、空間上を移動する物体である移動物体を撮影する2以上のカメラであり、前記移動物体を捉えている時間が重なる2以上のカメラが撮影した2以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像を格納している映像情報格納部と、前記2以上のカメラに関する情報である2以上のカメラパラメータを格納しているカメラパラメータ格納部と、前記映像情報格納部が格納している2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記2以上の映像画像ごとに取得する移動軌跡情報取得部と、前記移動軌跡情報取得部が取得した前記2以上の映像画像ごとの移動軌跡情報と、前記カメラパラメータ格納部に格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得部と、前記三次元軌跡情報を出力する三次元軌跡情報出力部を具備する移動物体計測装置である。
また、本第二の発明の移動物体計測装置は、第一の発明に対して、前記映像情報格納部の2以上の映像画像は、同期をとらない2以上のカメラで撮影された映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像であることが好適である。
【0008】
また、本第三の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している2以上の各映像画像が有する2以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を2以上抽出し、当該2以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得する移動物体計測装置である。
【0009】
また、本第四の発明の移動物体計測装置は、第一の発明に対して、前記移動軌跡情報取得部は、前記映像情報格納部が格納している2以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する移動物体計測装置である。
かかる構成により、シャッター速度の速くないカメラを用いて、一の画像中の移動物体軌跡を利用して、移動物体の3次元軌跡が、容易に取得できる。
また、本第五の発明の移動物体計測装置は、第一から第四いずれかの発明に対して、前記映像情報は、30フレーム/秒のカメラで撮影された映像の情報である移動物体計測装置である。
かかる構成により、市販のビデオカメラを利用して、移動物体の3次元軌跡が、容易に取得できる。
また、本第六の発明の移動物体計測装置は、第一から第五いずれかの発明に対して、前記移動物体は、球面体である移動物体計測装置である。
かかる構成により、本移動物体計測装置は、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等で利用できる。
【0010】
また、本第七の発明の移動物体計測装置は、空間上の異なる位置に設置された2以上のカメラであり、空間上を移動する物体である移動物体を撮影する2以上のカメラであり、前記移動物体を捉えている時間が重なる2以上のカメラが撮影した2以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置である。
【0011】
また、本第八の発明の移動物体計測システムは、空間上の異なる位置に設置された2以上のカメラであり、空間上を移動する物体である移動物体を撮影する2以上のカメラと、上記発明の移動物体計測装置を具備する移動物体計測システムである。
【0012】
また、本第九の発明の移動物体計測装置は、第八の発明に対して、前記2以上のカメラは、撮影した映像情報を送信する映像情報送信手段を具備し、前記移動物体計測装置は、前記2以上のカメラから2以上の映像情報を受信する映像情報受信部をさらに具備し、前記映像情報格納部の2以上の映像画像は、前記映像情報受信部が受信した前記2以上の映像情報である移動物体計測システムである。
かかる構成により、例えば、ボールスポーツの放送を行いながら、ボールの3次元軌跡を、視聴者にすぐに提供できる。
【発明の効果】
【0013】
本発明による移動物体計測装置によれば、移動物体の3次元軌跡が、容易に取得できる。
【発明を実施するための最良の形態】
【0014】
以下、移動物体計測装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
【0015】
図1は、本実施の形態における移動物体計測システムの概念図である。移動物体計測システムは、2台以上のカメラ11(本例では、2台のカメラ、カメラ11(1)、カメラ11(2)を有する)、移動物体計測装置12を具備する。
【0016】
カメラ11は、撮影した映像情報を移動物体計測装置12に送信する映像情報送信手段111を具備している。映像情報送信手段111は、無線または有線の通信手段で実現され得る。ただし、映像情報送信手段111は、放送手段で実現されても良い。
【0017】
また、移動物体計測システムにおいて、2台以上のカメラ11は、空間上の異なる位置に設置された2以上のカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。さらに、カメラ11は、シャッタースピードが遅いカメラであることは好適である。例えば、カメラ11が撮影し、取得する映像情報は、静止画の集合であり、30フレーム/秒で撮影された映像の情報である。また、2以上のカメラは、同期をとる必要がない。
図2は、本実施の形態における移動物体計測システムのブロック図である。
カメラ11は、映像情報送信手段111を具備する。
【0018】
移動物体計測装置12は、映像情報受信部1201、映像情報格納部1202、カメラパラメータ格納部1203、移動軌跡情報取得部1204、三次元軌跡情報取得部1205、三次元軌跡情報出力部1206を具備する。
【0019】
映像情報受信部1201は、2以上のカメラ11から、映像情報を受信する。映像情報受信部1201は、無線または有線の通信手段で実現され得る。ただし、映像情報受信部1201は、放送を受信する手段(チューナー等)で実現されても良い。
【0020】
映像情報格納部1202は、2以上の映像画像を格納している。2以上の映像画像は、2台以上のカメラ11で撮影された映像情報であり、例えば、映像情報受信部1201が受信した映像情報である。2以上のカメラ11は、それぞれ空間上の異なる位置に設置されたカメラであり、空間上を移動する物体である移動物体を撮影するカメラである。また、2以上の映像画像は、移動物体を捉えている時間が重なる2以上のカメラが撮影した2以上の映像情報であり、移動物体の移動軌跡が残された画像(静止画)を複数有する2以上の映像画像である。2以上のカメラ11は、フレーム同期をとっていない。映像情報格納部1202は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、移動物体は、卓球や野球やサッカーやゴルフ等のスポーツで使用するボールや、他の移動する物体である。また、移動物体は、通常、背景とは異なる色を有している。また、映像情報格納部1202は、物理的に2以上の記録媒体で構成されていても良い。また、映像情報格納部1202に格納されている以上の映像画像は、記録媒体等を経由してカメラ11から取得されたものでも良く、映像情報受信部1201が受信した映像画像に限られない。
【0021】
カメラパラメータ格納部1203は、2以上のカメラに関する情報である2以上のカメラパラメータを格納している。カメラパラメータは、カメラに関する幾何情報である。カメラに関する幾何情報とは、カメラの位置、方向、焦点距離、画像中心、レンズによる像の歪などの情報が含まれる。カメラ位置の情報は、通常、空間上の座標を示す情報(x,y,z)や、(経度,緯度)等である。また、カメラパラメータ格納部1203が格納しているカメラパラメータは、図示しない受信部が、カメラ11等から受信しても良い。カメラパラメータ格納部1203は、不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
【0022】
移動軌跡情報取得部1204は、映像情報格納部1202が格納している2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、2以上の映像画像ごとに取得する。画像から移動軌跡情報を取得するアルゴリズムとして、例えば、背景差分法がある。なお、背景差分法は、公知技術であるので説明を省略する。また、画像から移動軌跡情報を取得するアルゴリズムとして、例えば、移動物体の色および類似する色のドットのみを画像から抽出する処理がある。かかる場合、移動物体の色と、その他の背景の色が十分異なることが必要である。また、移動軌跡情報取得部1204は、例えば、映像情報格納部1202が格納している2以上の各映像画像(静止画の集合)が有する2以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報(短い移動軌跡の情報)を2以上抽出し、当該2以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報(短い移動軌跡の情報を連結した長い移動軌跡の情報)を取得しても良い。かかる場合、移動軌跡情報取得部1204は、カメラ11の台数分の移動軌跡情報を得る。また、移動軌跡情報取得部1204が得た移動軌跡情報は、移動物体の軌跡を示す情報である。なお、移動軌跡情報は、カメラがシャッターを有する場合、カメラのシャッターが閉じている際の移動は、描写されていない軌跡の情報である。移動軌跡情報は、通常、(x,y)または、(x,y,col)の情報の集合である。なお、「col」は、色情報である。移動軌跡情報取得部1204は、通常、MPUやメモリ等から実現され得る。移動軌跡情報取得部1204の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0023】
三次元軌跡情報取得部1205は、移動軌跡情報取得部1204が取得した2以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部1203に格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。視体積交差法は、公知技術であるので、説明を省略する。また、三次元軌跡情報取得部1205は、いくつか存在する視体積交差法のうち、いかなるアルゴリズムの視体積交差法により三次元軌跡情報を取得するかは問わない。また、三次元軌跡情報は、通常、ボクセル情報(x,y,z,col)である。つまり、三次元軌跡情報は、通常、空間内の位置情報と色情報を有する。ただし、三次元軌跡情報は、空間内の位置情報(x,y,z)のみでも良い。三次元軌跡情報取得部1205は、通常、MPUやメモリ等から実現され得る。三次元軌跡情報取得部1205の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0024】
三次元軌跡情報出力部1206は、三次元軌跡情報取得部1205が取得した三次元軌跡情報を出力する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置への送信、記録媒体への蓄積等を含む概念である。三次元軌跡情報出力部1206は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。三次元軌跡情報出力部1206は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0025】
次に、移動物体計測装置の動作について図3のフローチャートを用いて説明する。なお、図3のフローチャートにおいて、映像情報受信部1201は、2台以上の各カメラ11から、2以上の映像情報を受信し、映像情報格納部1202に、受信した2以上の映像情報が格納されている、とする。
(ステップS301)移動軌跡情報取得部1204は、カウンタiに1を代入する。
【0026】
(ステップS302)移動軌跡情報取得部1204は、i番目の映像情報が映像情報格納部1202に格納されているか否かを判断する。i番目の映像情報は、i番目のカメラ11で撮影された映像情報である。i番目の映像情報が格納されていればステップS303に行き、i番目の映像情報が格納されていなければステップS311に行く。
(ステップS303)移動軌跡情報取得部1204は、カウンタjに1を代入する。
【0027】
(ステップS304)移動軌跡情報取得部1204は、j番目の画像(静止画)が、i番目の映像情報中に存在するか否かを判断する。j番目の画像が存在すればステップS305に行き、j番目の画像が存在しなければステップS308に行く。
【0028】
(ステップS305)移動軌跡情報取得部1204は、j番目の画像中から、移動軌跡情報を抽出する。移動軌跡情報取得部1204は、例えば、移動物体が有する色に基づいて、j番目の画像(ビットマップ情報)中から、当該色のドット「(x,y)または(x,y,col)」の集合を取得する。移動軌跡情報取得部1204は、例えば、背景差分法を用いて、移動軌跡情報を抽出する。なお、ここで、カメラ11は、十分、シャッター速度が遅いカメラであり、通常、移動物体の移動速度は速いので、j番目の画像には、移動物体の軌跡が描写されている。移動物体の軌跡とは、通常、ドットの集合である。
(ステップS306)移動軌跡情報取得部1204は、ステップS305で取得した移動軌跡情報を、メモリ等に一時格納する。
(ステップS307)移動軌跡情報取得部1204は、カウンタjを1、インクリメントする。ステップS304に戻る。
【0029】
(ステップS308)移動軌跡情報取得部1204は、ステップS306でメモリ等に一時格納された2以上の移動軌跡情報を読み出し、合成する。合成する処理は、単に移動軌跡情報を結合するだけでも良い。なお、ステップS308で合成して得た情報は、カメラごとの移動軌跡情報である。
(ステップS309)移動軌跡情報取得部1204は、ステップS308で得たカメラごとの移動軌跡情報を、メモリ等に一時格納する。
(ステップS310)移動軌跡情報取得部1204は、カウンタiを1、インクリメントする。ステップS302に戻る。
(ステップS311)三次元軌跡情報取得部1205は、カメラパラメータ格納部1203に格納されている2以上のカメラパラメータを読み出す。
(ステップS312)三次元軌跡情報取得部1205は、ステップS309でメモリ等に一時格納された2以上の移動軌跡情報を読み出す。
【0030】
(ステップS313)三次元軌跡情報取得部1205は、ステップS311で読み出した2以上のカメラパラメータ、ステップS312で読み出した移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。三次元軌跡情報を構成するドットの情報は、色情報を有しても良いし、有さなくても良い。
【0031】
(ステップS314)三次元軌跡情報出力部1206は、ステップS313で取得した三次元軌跡情報を出力する。なお、三次元軌跡情報出力部1206は、移動物体以外の映像と、三次元軌跡情報を合成して、出力しても良い。移動物体以外の映像は、通常、予め格納されている。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測システムの概念図は図1である。
今、図4に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
【0032】
そして、本移動物体計測システムは、3台のカメラ11と、移動物体計測装置12を有する。3台のカメラ11は、図4において、円錐の図形で示される。3台のカメラ11は、(1)(0,-582,-154)、(2)(-378,257,-79)、(3)(-378,-9,-263)の位置に設置されている。なお、X軸、Y軸、Z軸の座標系は、図4に示した通りであり、卓球台の中心が原点(0,0,0)である。また、(1)のカメラは卓球台の真横、(2)のカメラは卓球台の斜め横、(3)のカメラは卓球台の上部の天井に設置されている。また、3台のカメラ11は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ1/30sに設定されている。また、3台のカメラ11が取得する画像サイズは、「720×480(pixel)」である。
【0033】
次に、卓球の競技者が卓球を行う際のボールの移動を、3台のカメラ11が撮影した、とする。そして、ここでは、撮影した画像を記録媒体(例えば、ハードディスクや磁気テープなど)に蓄積した、とする。なお、カメラ11が撮影する範囲は、卓球台の範囲(274cm×152cm×60cm)である、とする。
次に、ユーザは、3台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置12の映像情報格納部1202にコピーする、とする。
【0034】
また、ユーザは、カメラパラメータ格納部1203に、カメラ位置情報((1)(0,-582,-154)、(2)(-378,257,-79)、(3)(-378,-9,-263))や、方向、焦点距離、画像中心、レンズによる像の歪などのカメラパラメータを書き込む、とする。
次に、ユーザは、三次元軌跡情報(卓球のボールの移動体の軌跡)の出力を指示する。この指示は、例えば、移動物体計測装置12が有する開始ボタンの押下等である。
【0035】
次に、移動軌跡情報取得部1204は、映像情報格納部1202の1番目の映像情報から画像を取得し、背景差分法により、移動軌跡情報を取得する。つまり、移動軌跡情報取得部1204は、図5の(a1)の画像から、(a2)のボールの移動軌跡情報(ドットの集合)を取得する。そして、同様に、移動軌跡情報取得部1204は、図5の(b1)の画像から、(b2)のボールの移動軌跡情報を取得する。また、同様に、移動軌跡情報取得部1204は、図5の(c1)の画像から、(c2)のボールの移動軌跡情報を取得する。
【0036】
次に、移動軌跡情報取得部1204は、ボールの移動軌跡情報(図5の(a2)(b2)(c2)・・・)を合成し、図6のボールの移動軌跡情報を得る。図6のボールの移動軌跡情報は、各画像(静止画)から抽出した2以上の移動軌跡情報を合成した移動軌跡情報である。
次に、移動軌跡情報取得部1204は、2番目の映像情報、および3番目の映像情報から、同様に(1番目と同様に)、ボールの移動軌跡情報を取得する。
なお、ここで、移動軌跡情報取得部1204が取得した3つの移動軌跡情報が、例えば、図7の(a)(b)(c)であった、とする。(なお、図6の図と、図7の図は同一のボールの軌跡ではない。)
【0037】
次に、三次元軌跡情報取得部1205は、3つの移動軌跡情報(図7の(a)(b)(c))と、カメラパラメータ格納部1203に格納されている3つのカメラパラメータを読み出す。そして、三次元軌跡情報取得部1205は、図8に示す情報(三次元軌跡情報管理表)を得る。
次に、三次元軌跡情報取得部1205は、図8に示す情報に対して、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。
【0038】
次に、三次元軌跡情報出力部1206は、三次元軌跡情報取得部1205が取得した三次元軌跡情報を出力する。そして、三次元軌跡情報出力部1206が出力した三次元軌跡情報の例は、図9である。なお、図9において、三次元軌跡情報出力部1206は、得た三次元軌跡情報と、背景となる卓球台を合成し、出力している。また、1つのボクセルの大きさ1cmである。
【0039】
以上、本実施の形態によれば、移動物体(ボールなど)の3次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで,ボールの3次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の3次元軌跡が計測できる。つまり、複数台のカメラは、同期をとらずに、移動物体を撮影する。そして、移動物体の移動軌跡が残された画像を複数有する2以上の映像画像が得られる。本移動物体計測装置は、この2以上の映像画像を用いて、移動物体の3次元軌跡を得る。
なお、本実施の形態によれば、移動体物体は卓球のボールであったが、テニスやゴルフ等のボールや鳥などの生物等でも良い。かかることは、他の実施の形態においても同様である。
【0040】
また、本実施の形態の具体例によれば、移動物体計測装置12は、カメラ11から記録媒体を経由して、映像情報を取得したが、移動物体計測装置12は、カメラ11から映像情報を受信しても良い。かかる場合、例えば、卓球の試合を見ながら、少ない時間差で、ボールの3次元の軌跡を視ることができる。かかることも、他の実施の形態においても同様である。
【0041】
また、本移動物体計測装置は、図10(a)に示す通常の映像を用いるのではなく、図10(b)に示すようにあえて遅いシャッター速度のカメラで撮影した、軌跡を故意に残した映像を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。なお、野球の投球の際のボールの速度は、約150km/h、つまり、約40m/secであるので、30フレーム/secでサンプリングすると、1フレームで約1.3m移動する。また、ゴルフのドライバーショットでは、約80m/secであり、30フレーム/secでサンプリングすると、1フレームで約2.6m移動する。また、テニスのサーブでは、約200km/h、つまり、約55m/secであるので、30フレーム/secでサンプリングすると、1フレームで約1.8m移動する。
【0042】
また、本移動物体計測装置は、図11に示すように、移動物体を捉えている時間が重なる2以上のカメラが撮影した2以上の映像情報を利用し、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。したがって、カメラの同期が不要となる。
【0043】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記2以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記2以上の映像画像ごとの移動軌跡情報と、予め格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。
【0044】
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている2以上の各映像画像が有する2以上の各画像から、移動物体の移動軌跡を示す移動軌跡情報を2以上抽出し、当該2以上の移動軌跡情報を合成し、各映像画像に対応する移動軌跡情報を取得するプログラムであることは好適である。
(実施の形態2)
図12は、本実施の形態における移動物体計測システムのブロック図である。
移動物体計測システムは、2台以上のカメラ11、移動物体計測装置122を具備する。
【0045】
移動物体計測装置122は、映像情報受信部1201、映像情報格納部1202、カメラパラメータ格納部1203、移動軌跡情報取得部12204、三次元軌跡情報取得部12205、三次元軌跡情報出力部1206を具備する。
【0046】
移動軌跡情報取得部12204は、映像情報格納部1202が格納している2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、2以上の映像画像ごとに取得する。移動軌跡情報取得部12204は、例えば、ここでは、映像情報格納部1202が格納している2以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得する。かかる場合、図11に示すように、2以上のカメラが取得した画像(静止画)を得るための開いていたシャッターの時間が重なる必要がある。移動軌跡情報取得部12204は、通常、MPUやメモリ等から実現され得る。移動軌跡情報取得部12204の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0047】
三次元軌跡情報取得部12205は、移動軌跡情報取得部12204が取得した2以上の映像画像ごとの移動軌跡情報と、カメラパラメータ格納部1203に格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。そして、三次元軌跡情報取得部12205は、取得した2以上の三次元軌跡情報を合成し、出力する三次元軌跡情報を得る。三次元軌跡情報取得部12205は、通常、MPUやメモリ等から実現され得る。三次元軌跡情報取得部12205の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。
【0048】
次に、移動物体計測装置の動作について図13のフローチャートを用いて説明する。なお、図13のフローチャートにおいて、映像情報受信部1201は、2台以上の各カメラ11から、2以上の映像情報を受信し、映像情報格納部1202に、受信した2以上の映像情報が格納されている、とする。
(ステップS1301)三次元軌跡情報取得部12205は、カメラパラメータ格納部1203に格納されている2以上のカメラパラメータを読み出す。
【0049】
(ステップS1302)移動軌跡情報取得部12204は、映像情報格納部1202に格納されているすべての映像画像中に、i番目のフレーム(画像)が存在するか否かを判断する。i番目のフレームが存在すればステップS1303に行き、i番目のフレームが存在しなければステップS1312に行く。なお、映像情報格納部1202に格納されている2以上の各映像画像は、概ね同じ時刻から撮影が開始され、同じ時間だけ撮影された映像である、とする。
(ステップS1303)移動軌跡情報取得部12204は、カウンタjに1を代入する。
【0050】
(ステップS1304)移動軌跡情報取得部12204は、j番目の映像画像が存在するか否かを判断する。j番目の映像画像が存在すればステップS1305に行き、j番目の映像画像が存在しなければステップS1309に行く。
(ステップS1305)移動軌跡情報取得部12204は、j番目の映像画像が有するi番目のフレーム(画像)を取得する。
(ステップS1306)移動軌跡情報取得部12204は、ステップS1304で取得した画像から、移動軌跡情報を取得する。
(ステップS1307)移動軌跡情報取得部12204は、ステップS1305で取得した移動軌跡情報を、メモリ等に一時格納する。
(ステップS1308)移動軌跡情報取得部12204は、カウンタjを1、インクリメントする。ステップS1304に戻る。
【0051】
(ステップS1309)三次元軌跡情報取得部12205は、ステップS1301で読み出された2以上のカメラパラメータ、ステップS1307で一時格納された2以上の移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する。
(ステップS1310)三次元軌跡情報取得部12205は、ステップS1309で取得した三次元軌跡情報を、メモリ等に一時格納する。
(ステップS1311)三次元軌跡情報取得部12205は、カウンタiを1、インクリメントする。ステップS1302に戻る。
(ステップS1312)三次元軌跡情報出力部1206は、予め格納されている背景画像を取得し、出力する。背景画像は、例えば、卓球台の画像である。
(ステップS1313)三次元軌跡情報出力部1206は、カウンタiに1を代入する。
【0052】
(ステップS1314)三次元軌跡情報出力部1206は、i番目の三次元軌跡情報が存在するか否かを判断する。i番目の三次元軌跡情報が存在すればステップS1315に行き、i番目の三次元軌跡情報が存在しなければ処理を終了する。
【0053】
(ステップS1315)三次元軌跡情報出力部1206は、i番目の三次元軌跡情報を出力する。三次元軌跡情報出力部1206は、ステップS1312で取得した背景画像上に、i番目の三次元軌跡情報を出力する。
(ステップS1316)三次元軌跡情報取得部12205は、カウンタiを1、インクリメントする。ステップS1314に戻る。
以下、本実施の形態における移動物体計測装置の具体的な動作について説明する。移動物体計測装置の概念図は図1である。
【0054】
今、実施の形態1で説明した具体例の状況と同様に、図4に示すように、移動物体計測システムを用いて、卓球のボールの移動体の軌跡を出力する。つまり、移動物体計測システムを用いて、卓球のボールが高速移動する様子を計測する。
【0055】
そして、本移動物体計測システムは、3台のカメラ11と、移動物体計測装置12を有する。3台のカメラ11は、(1)(0,-582,-154)、(2)(-378,257,-79)、(3)(-378,-9,-263)の位置に設置されている。なお、(1)のカメラは卓球台の真横、(2)のカメラは卓球台の斜め横、(3)のカメラは卓球台の上部の天井に設置されている。また、3台のカメラ11は、市販の家庭用ビデオカメラであり、シャッタースピードを撮影レートと同じ1/30sに設定されている。また、3台のカメラ11が取得する画像サイズは、「720×480(pixel)」である。
次に、卓球の競技者が卓球を行う姿を、3台のカメラ11が撮影した、とする。そして、ここでは、撮影した画像を記録媒体(例えば、ハードディスクや磁気テープなど)に蓄積した、とする。
次に、ユーザは、3台のカメラが撮影した映像情報が記録されている記録媒体から、映像情報を移動物体計測装置12の映像情報格納部1202にコピーする、とする。
また、ユーザは、カメラパラメータ格納部1203に、カメラパラメータを設定する、とする。
次に、ユーザは、三次元軌跡情報(卓球のボールの移動体の軌跡)の出力を指示する。
【0056】
次に、三次元軌跡情報取得部12205は、カメラパラメータ格納部1203から必要なカメラパラメータを読み出す。ここでは、例えば、三次元軌跡情報取得部12205は、
カメラパラメータ格納部1203に格納されている3つのカメラパラメータ((1)(0,-582,-154)、(2)(-378,257,-79)、(3)(-378,-9,-263)など)を読み出す。このカメラパラメータは、カメラ位置情報である。
【0057】
次に、移動軌跡情報取得部12204は、映像情報格納部1202の1番目の映像情報から第1番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部1202の2番目の映像情報から第1番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。次に、映像情報格納部1202の3番目の映像情報から第1番目の画像を取得し、背景差分法により、移動軌跡情報を取得する。
【0058】
次に、三次元軌跡情報取得部12205は、上記の3つの移動軌跡情報と3つのカメラパラメータを用いて、視体積交差法を適用し、移動物体の三次元軌跡の情報である三次元軌跡情報を得る。三次元軌跡情報は、通常、ボクセル情報の集合である。また、この三次元軌跡情報は、非常に短い軌跡の情報である。
そして、移動軌跡情報取得部12204および三次元軌跡情報取得部12205は、かかる上記の処理を、全フレーム(画像)に対して繰り返し行い、多数の三次元軌跡情報(短い軌跡の情報)を得る。
【0059】
次に、三次元軌跡情報出力部1206は、三次元軌跡情報取得部12205が取得した三次元軌跡情報を順次、出力する。そして、三次元軌跡情報出力部1206が、最終的に出力した三次元軌跡情報の例は、図9である。
【0060】
以上、本実施の形態によれば、連続した移動物体(ボールなど)の3次元軌跡が、容易に計測できる。また、移動物体のバウンド地点も決定可能である。特に、シャッタースピードが速くない一般的なカメラを数台並べるだけで,ボールの3次元軌跡が計測可能である。また、カメラのシャッターの同期をとる必要がなく、容易に移動物体の3次元軌跡が計測できる。
【0061】
なお、本実施の形態の具体例によれば、実施の形態1の具体例の説明と比較して、移動軌跡情報の取得、および三次元軌跡情報の取得アルゴリズムの方法(組み合わせ方法)が異なる。つまり、移動物体計測装置の三次元軌跡情報取得部が一度に取得する三次元軌跡情報の量(単位)は問わない。よって、本移動物体計測装置は、空間上の異なる位置に設置された2以上のカメラであり、空間上を移動する物体である移動物体を撮影する2以上のカメラであり、前記移動物体を捉えている時間が重なる2以上のカメラが撮影した2以上の映像情報であり、前記移動物体の移動軌跡が残された画像を複数有する2以上の映像画像が有する各画像中の移動物体の移動軌跡を示す情報である移動軌跡情報に基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得し、出力する移動物体計測装置、であれば良い。
【0062】
さらに、本実施の形態における移動物体計測装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、予め格納されている2以上の映像画像が有する各画像から、移動物体の移動軌跡を示す移動軌跡情報を、前記2以上の映像画像ごとに取得する移動軌跡情報取得ステップと、前記移動軌跡情報取得ステップで取得した前記2以上の映像画像ごとの移動軌跡情報と、予め格納されている2以上のカメラパラメータに基づいて、視体積交差法を用いて、移動物体の三次元軌跡の情報である三次元軌跡情報を取得する三次元軌跡情報取得ステップと、前記三次元軌跡情報を出力する三次元軌跡情報出力ステップを実行させるためのプログラム、である。
【0063】
また、前記プログラムにおいて、前記移動軌跡情報取得ステップは、予め格納されている2以上の各映像画像が有する一の各画像から、移動物体の移動軌跡を示す移動軌跡情報を、映像画像ごとに取得するプログラムであることは好適である。
【0064】
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0065】
以上のように、本発明にかかる移動物体計測装置は、移動物体の3次元軌跡が、容易に計測できる、という効果を有し、ボールスポーツの放送で利用するオーサリングシステム、ゲームなどのコンテンツを作成するオーサリングシステム等として有用である。
【図面の簡単な説明】
【0066】
【図1】実施の形態1における移動物体計測システムの概念図
【図2】同移動物体計測システムのブロック図
【図3】同移動物体計測装置の動作について説明するフローチャート
【図4】同移動物体計測システムの撮影場の例を示す図
【図5】同移動物体計測装置が取得する移動軌跡情報を示す図
【図6】同移動物体計測装置が合成して、取得する移動軌跡情報を示す図
【図7】同移動物体計測装置が合成して、取得する移動軌跡情報を示す図
【図8】同三次元軌跡情報管理表を示す図
【図9】同出力する三次元軌跡情報の例を示す図
【図10】同移動物体計測装置の処理の概念を説明する図
【図11】同移動物体計測装置の処理の概念を説明する図
【図12】実施の形態2における移動物体計測システムのブロック図
【図13】同移動物体計測装置の動作について説明するフローチャート
【符号の説明】
【0067】
12、122 移動物体計測装置
111 映像情報送信手段
1201 映像情報受信部
1202 映像情報格納部
1203 カメラパラメータ格納部
1204、12204 移動軌跡情報取得部
1205、12205 三次元軌跡情報取得部
1206 三次元軌跡情報出力部
図面
【図2】
0
【図3】
1
【図12】
2
【図13】
3
【図1】
4
【図4】
5
【図5】
6
【図6】
7
【図7】
8
【図8】
9
【図9】
10
【図10】
11
【図11】
12