TOP > 国内特許検索 > 3次元人物動画像生成システム > 明細書

明細書 :3次元人物動画像生成システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4077622号 (P4077622)
公開番号 特開2003-150977 (P2003-150977A)
登録日 平成20年2月8日(2008.2.8)
発行日 平成20年4月16日(2008.4.16)
公開日 平成15年5月23日(2003.5.23)
発明の名称または考案の名称 3次元人物動画像生成システム
国際特許分類 G06T  15/70        (2006.01)
G06T   1/00        (2006.01)
G06T   7/20        (2006.01)
H04N   5/262       (2006.01)
FI G06T 15/70 B
G06T 1/00 320A
G06T 1/00 340B
G06T 7/20 300Z
H04N 5/262
請求項の数または発明の数 4
全頁数 14
出願番号 特願2001-350370 (P2001-350370)
出願日 平成13年11月15日(2001.11.15)
審査請求日 平成16年10月13日(2004.10.13)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】星野 准一
個別代理人の代理人 【識別番号】100105371、【弁理士】、【氏名又は名称】加古 進
審査官 【審査官】田中 幸雄
参考文献・文献 特開平06-251123(JP,A)
特開平10-149445(JP,A)
特開平10-320588(JP,A)
調査した分野 G06T 15/70
G06T 1/00
G06T 7/20
H04N 5/262
特許請求の範囲 【請求項1】
人体の各パーツで構成した3次元モデルを用いる3次元人物動画像生成システムであって、
2次元動画像を取得する動画像取得手段と、
前記取得した2次元動画像内の人物から、人体の3次元モデルを構成する各パーツの姿勢パラメータ(θ(t)=[θ(t),θ(t),…,θ(t)] n:姿勢パラメータの総数)を得る人体の動作推定手段と、
前記姿勢パラメータから各成分の平均を引いたもの(θ’(t))に対して行う独立成分分析(y(t)=Bθ’(t),B:m×nの行列 m:独立成分の数,m≦n)により、動作の独立成分(y(t))と、特徴抽出行列Bとを求める独立成分分析手段と、
抽出した動作の独立成分(y(t))を利用して、3次元モデルの動作を得る3次元モデル動作生成手段と、
前記3次元モデルの動作から、2次元の動画像を生成する画像生成手段とを備え
前記動作推定手段は、前記2次元動画像のうち選択された画像のみを用い、時系列順に選択された画像間の補間を行って姿勢パラメータを得るとともに、
前記補間した姿勢パラメータを用いて、前記人体の3次元モデルの関節駆動力と前記選択された画像の輝度値の2乗誤差とに重みをつけて加算した評価関数を最小にすることで、さらに姿勢パラメータを推定することを特徴とする3次元人物動画像生成システム。
【請求項2】
請求項1に記載の3次元人物動画像生成システムにおいて、
前記3次元モデル動作生成手段は、複数の2次元画像から得た3次元モデルの姿勢に対して、動作の独立成分による空間内での補間を行うことにより、複数の2次元画像から3次元モデルの動作を得ることを特徴とする3次元人物動画像生成システム。
【請求項3】
請求項1又は2に記載の3次元人物動画像生成システムの各機能をコンピュータ・システムに構成させるためのプログラム。
【請求項4】
請求項1又は2に記載の3次元人物動画像生成システムの各機能をコンピュータ・システムに構成させるためのプログラムを格納した記録媒体。
発明の詳細な説明
【0001】
【発明の属する技術分野】
本発明は、2次元のビデオ映像から、人物の3次元動作を推定するシステムであり、特にビデオ映像から生成した人物の動作の加工をすることができる3次元人物動画像生成システムに関する。
【0002】
【背景技術】
ビデオ映像から人物の3次元動作を推定することは、コンピュータ・グラフィクス(CG)で人物アニメーションを生成するための動作情報を取得する手段として期待されている。ところが、従来の動作推定法では人体パーツの一部が他のパーツによって隠蔽されたときに、動作推定の安定性が大幅に低下するという基本的な問題点がある。そのため、実際のアニメーション制作現場では、実用的な手段として利用されて来なかった。
また、ビデオ映像から得られた動作情報を加工する手法としては、各関節の時系列信号を、固有空間に投影してパラメータ数を減らす手法が提案されている。しかし、固有空間に投影した場合は、2つ程度の固有ベクトルに動作成分が偏ってしまい、それ以外の固有ベクトルにはノイズ成分しか分離されないため、動作を加工するための自由度が小さ過ぎるという問題がある。
【0003】
【発明が解決しようとする課題】
本発明の目的は、ビデオ映像等から人物の3次元動作系列の推定を安定に行うとともに、推定した3次元動作系列の動作の加工や変形を容易にすることである。
【0004】
【課題を解決するための手段】
上記目的を達成するために、本発明は、人体の各パーツで構成した3次元モデルを用いる3次元人物動画像生成システムであって、2次元動画像を取得する動画像取得手段と、
前記取得した2次元動画像内の人物から、人体の3次元モデルを構成する各パーツの姿勢パラメータ(θ(t)=[θ(t),θ(t),…,θ(t)] n:姿勢パラメータの総数)を得る人体の動作推定手段と、前記姿勢パラメータから各成分の平均を引いたもの(θ’(t))に対して行う独立成分分析(y(t)=Bθ’(t),B:m×nの行列 m:独立成分の数,m≦n)により、動作の独立成分(y(t))と、特徴抽出行列Bとを求める独立成分分析手段と、抽出した動作の独立成分(y(t))を利用して、3次元モデルの動作を得る3次元モデル動作生成手段と、前記3次元モデルの動作から、2次元の動画像を生成する画像生成手段とを備え、前記動作推定手段は、前記2次元動画像のうち選択された画像のみを用い、時系列順に選択された画像間の補間を行って姿勢パラメータを得るとともに、前記補間した姿勢パラメータを用いて、前記人体の3次元モデルの関節駆動力と前記選択された画像の輝度値の2乗誤差とに重みをつけて加算した評価関数を最小にすることで、さらに姿勢パラメータを推定することを特徴とする。
このため、3次元モデルの関節角の時系列信号を少数の独立成分による時系列信号で表現することができ、この独立成分を利用して動作の加工や変形を容易にすることができる。しかも、人体の3次元モデルの運動エネルギーを最小化すると共に、フレーム間での輝度の誤差が最小化となる関節軌道を求めることができるので、動作推定の安定性を大幅に高めることができる。
前記3次元モデル動作生成手段は、複数の2次元画像から得た3次元モデルの姿勢に対して、動作の独立成分による空間内での補間を行うことにより、複数の2次元画像から3次元モデルの動作を得ることができる。
本3次元人物動画像生成システムの各機能をコンピュータ・システムに構成させるコンピュータ・プログラムおよびコンピュータ・プログラムを記録した記録媒体も本発明である。
【0005】
【発明の実施の形態】
<本発明の概要>
本発明は、身体の物理特性を考慮に入れることで、人体動作推定の安定性を飛躍的に向上させ、従来技術の問題点を解決する。
例えば、ビデオ映像から人物の3次元動作を推定するシステムにおいて、人体の運動エネルギーを最小化すると共に、フレーム間での輝度の誤差が最小化となる関節軌道を求めることや、人体関節角の時系列信号を少数のパラメータで表現することで、動作推定の安定性を大幅に高めることである。
また、推定した人物の3次元動作系列に、独立成分分析(ICA)を適用して基本動作成分を抽出することで、動作の加工や変形を容易にする。固有分析を利用した場合と比較して、ICAではより細かい動作の特徴を保存した信号分離が可能となる。
以下に、本発明の実施形態の一つである、3次元人物動画像生成システムについて、図面を用いて詳細に説明をする。なお、本明細書では一部の数式を除く箇所の変数・記号において、以下に示す点に注意されたい。
▲1▼行列・ベクトルの表記
変数のうち、ベクトルもしくは行列であるにもかかわらず、それらの表記・表現をしていない。その場合は変数の説明として、ベクトル・行列等の断り書きがある。
▲2▼規定された文字で示すことができない表記
電子出願の仕様に規定された表記・表現を用いて記載できない表記・表現は代替表記をしている。以下の表にて対応関係を示す。
【表1】
JP0004077622B2_000002t.gif
【0006】
<構成>
図1は3次元人物動画像生成システムの機能構成を示す図であり、テレビカメラ等から入力した人物の動画像(ビデオ映像)を連続的に取得し、動画像中の人物の動作の特徴となるフレームを出力する画像取得部10、前記のフレームから特徴となる人体の動力学モデルと輝度情報を併用して各関節のパラメータを推定し、姿勢データを出力する動作推定部20、前記の姿勢データから独立成分分析を利用して、人体モデルの基本動作成分の抽出と再構成を行い、この人体モデルの動作から、視点等を設定して2次元の動画像を出力する画像生成部30、そして、生成した結果(動画像)を表示するためのディスプレイ等である表示部40で構成する。
【0007】
<人体動力学モデルによる動作推定>
(動作推定の概要)
従来の動作推定法では人体パーツの一部が他のパーツによって隠蔽されたときに、動作推定の安定性が大幅に低下するという基本的な問題点がある。そのため、本システムは人体の関節駆動力を最小化する関節軌道を生成することで、部分的に輝度情報が得られない場合でも自然な動作を生成する。また、各関節の時系列信号を、スプラインなどのパラメータ曲線で近似することで、フレーム間の連続性を保存する。パラメータ曲線による動作曲線の近似は、最適化プロセスでの探索パラメータを低減させる効果もある。
本手法では、次のステップで人物の3次元動作を推定する。
1.動作区間の始点と終点など、動作の特徴となるフレームにおける3次元姿勢を指定する。
2.指定した3次元姿勢をスプラインなどの曲線で補間して動作の初期推定値とする。
3.補間曲線の制御点を編集し、関節駆動力とフレーム間輝度値2乗誤差を最小にすることでビデオ映像中の人物の3次元姿勢を推定する。
以下では、それぞれの項目について詳しく説明する。
【0008】
(人体モデルのトルクの算出方法)
図2は本システムで用いる人体幾何モデル100を示す図である。この図2の人体幾何モデル100は人体の関節回転を円柱の中心軸周りの回転に置き換えたものであり、例えば首110は左右に回転させる円柱112、左右に傾ける円柱114、前後に傾ける円柱116で構成されている。他にも、円柱121,122,123は左肩120、円柱126,127,128は右肩125、円柱162,164,166は胴体160、円柱171,172,173は左股170、円柱176,177,178は右股175、また、同様の円柱で左肘140、右肘145、左膝190、右膝195で構成されている。この人体幾何モデル100に合わせて仮想人体動力学モデルを構築する。
このように、人体内部の幾何学的拘束条件のみを考慮した場合、図2に合わせると上半身、下半身ともに腰部をベースリンクとした木構造ロボットとみなすことができる。ここで述べている木構造ロボットとは途中で枝分かれをする構造を持つロボットのことである。
次に、これらの木構造ロボットの仮想人体動力学モデルを数式で表した運動方程式導出手法について述べる。
【0009】
(ニュートン・オイラー法による運動方程式の導出)
まず、上述の仮想人体動力学モデルを導出する。仮想人体動力学モデルを数式で表した運動方程式を求めるため、運動方程式導出法としてニュートン・オイラー法について述べる。
ニュートン・オイラー法では、ニュートンの物理法則
【数1】
JP0004077622B2_000003t.gifとオイラーの式
【数2】
N=Iω+ω×(Iω) (2)
を用いて力とモーメントの動的な釣り合いから運動方程式を導出する。ここでFはベース座標系を基準としたときのリンクに作用する外力ベクトル、mはリンクの質量、vはリンクの質量中心の速度ベクトル、Nはリンクに作用するモーメントベクトル、Iはリンクの質量中心まわりの慣性テンソル、ωはリンクの角速度ベクトルである。
木構造ロボットとしてこの手法を扱うにはブランチと呼ばれる複数のシリアルリンクに分割する必要がある。以下にs個のブランチを持ち、それぞれのブランチkがn(k=1,…,s)個のリンクを持つロボットに対するニュートン・オイラー法の計算手順を示す。
1)ブランチkの第iリンクの加速度を、角速度をω、角加速度をωで表し、ブランチ1の第0リンクの加速度、角速度、角加速度の初期値を以下のように設定する。
【数3】
JP0004077622B2_000004t.gif2)ブランチ1に対して、i=1からnへ順にv,ωωを求める。
3)ブランチk(k=2,…,s)の加速度、角速度、角加速度の初期値をそれぞれ
【数4】
JP0004077622B2_000005t.gifとして求める。ここで、Bは親ブランチのリンク座標系から子ブランチkのリンク座標系を関連づける4×4の同時変換行列であり、BはBの左上3×3行列、~Bは(B-1の右上3×1小行列を表す。また、cobはブランチkを分岐するブランチ番号であり、colはブランチkを分岐するリンク番号である。
4)ブランチk(2,…,s)に対してi=1からnまでv,ωωを求める。
5)ブランチk(s,…,1)に対し、i=nから1まで力fとモーメントnを求め関節駆動力τを以下のように求める。
関節iが回転関節のとき
【数5】
JP0004077622B2_000006t.gif関節iが直動関節のとき
【数6】
JP0004077622B2_000007t.gif以上の計算により以下の形の運動方程式を得る。
【数7】
JP0004077622B2_000008t.gif上式においてM(q)は慣性行列と呼ばれる対称行列、h(q,q)は遠心力やコリオリ力に関連する項、g(q)は重力項、qは木構造ロボットの関節変位である。
【0010】
(関節駆動力の取得)
(9)式の右辺において関節変位、角速度、角加速度以外は固定値なので関節変位、角速度、角加速度を指定することで左辺の関節駆動力を得ることができる。
【0011】
(動作推定法の概要)
動作推定の手法として、人体部分の輝度値を利用することが一般的である。しかしながら、入力したビデオ映像上では輝度値を得る目的の人物のある部分が障害物やその人物自身の他部分によって隠され、適切な輝度値が得られないことがある。以下では、適切な輝度値が得られない部分でも動作推定を行う手法として、関節駆動力を利用した手法について述べる。
ビデオ映像上における人体領域のフレーム間輝度値2乗誤差がより小さければ目的の人物が移動した先を適切に推定できることと、人間は目的の動作を行うとき関節駆動力がより小さくなるように動作していることの2点を考慮し、本システムでは、輝度値2乗誤差に上述の式より求めた関節駆動力の値を加えたものを最小化する関節軌道を生成する。部分的に輝度情報が得られない場合でも関節駆動力の値の重みを大きくすることで自然な動作を生成することができる。以下では具体的な手法を述べる。
【0012】
1)曲線補間を用いた初期姿勢の推定
画像取得部10で取得したビデオ映像から得られる、映像を単位時間で区切った複数の画像フレームの中で、たとえばユーザが選択した、人物動作の特徴となるフレームの関節変位をスプライン曲線で補間することでビデオ映像全体の各フレームにおける関節変位を取得する。本システムでは、動作の初期推定値を求めるために1例としてスプライン曲線補間法を採用し、3次ベジェ・スプライン曲線によるエルミート補間を用いることにする。ベジェ・スプライン曲線を用いる利点は曲線の分割性により初期姿勢からさらに細かい動作への対応ができる点、制御点の影響の局所性により制御点を編集した際の影響を曲線の一部分に限定できる点、初期姿勢で指定された通過点の位置を変更せずに制御点のみを編集することで初期姿勢が適切に推定できている場合の重みを表現できる点が挙げられる。エルミート補間とは通過点とそこでの接線が与えられた場合の補間を表す。本システムは開始フレーム、最終フレーム、特徴となるフレームの関節変位を指定した補間処理を行い全フレームの初期姿勢を推定する。
次に、初期姿勢を推定するための補間方法について述べる。まず、特徴となるフレームの姿勢を指定することで各リンクの関節変位を得る。その関節変位の値を曲線の通過点とする。エルミート補間において通過点のみが指定された場合、通過点における接線ベクトルを求める必要がある。関節変位の値が指定されたn+1個の点をQ,Q,…,Qとすると接線ベクトルを
【数8】
JP0004077622B2_000009t.gifとして補間曲線
{p(t)|0≦t≦n}を求めることができる。
求められた曲線P(t)を関節変位の初期姿勢とする。ここでtはフレーム番号である。
上述の特徴フレームにおける関節変位の初期姿勢を求める手法にはいくつか考えられるが、利用者がマニュアルにより初期姿勢を当てはめても良いし、本発明の発明者を含む著者による論文「星野准一,斎藤啓史:“ビデオ映像とCGの合成によるヴァーチャルファッションの実現”,情報処理学会論文誌,Vol.42,No.5,pp.1182-1193,2001」及び「Jun'ichiro Hoshino, Hirofumi Saito:"A Match Moving Technique for Human Body Sequences", Int. Conf. on Acoustics and Signal Processing, ICASSSP2001, Conference Proceedings CD-ROM, IMDSP-P3.1, 2001」に記述した、2次元シルエット画像から3次元姿勢を推定する手法を求めてもよい。
【0013】
2)角速度、角加速度の取得
上述のように特徴フレームにおけるシルエット画像から3次元姿勢を推定する手法を用いて初期姿勢を推定するが、その時に、関節駆動力を得るための運動方程式を用いる際に必要な関節変位の角速度、角加速度を求めておく。本システムではf番目フレームにおける速度,加速度・・
【数9】
JP0004077622B2_000010t.gifとして擬似的な瞬間の速度、加速度を求めている。なお、このとき各パラメータは
H:フレーム間隔
f:フレーム番号
:f番目フレームのリンク関節変位
である。
【0014】
3)トルク値と輝度値の最小化による動作推定
人間の身体構造を、ベースリンクとなる腰部リンクを第0階層リンク、第0階層リンクから派生するリンクを第1階層リンク…第k階層リンクから派生するリンクを第k+1階層リンクというように定める。第k階層リンクLink_kにおけるベクトルのトルク合計値τは、Link_kのf番目フレームにおけるベクトルのトルク値Tを用いて
【数10】
JP0004077622B2_000011t.giffMax:ビデオ映像から取得したフレームの枚数
と表される。ここでfの値が1からfMax-2であるのは式(11),(12)で得られる速度、加速度がこの範囲であり、それに基づいて導出されるTもこの範囲でしか得られないからである。Link_kの輝度合計値DはLink_kのf番目フレーム画像上における領域の輝度合計値をmとすると
【数11】
JP0004077622B2_000012t.gifと表される。フレーム画像から輝度値を得るとき、目的のリンクが他のリンクに隠され適切な輝度値を得られなくなることがある。その場合適切な輝度値を得ている領域を判別しなければならない。適切な輝度値の領域は画像上における人物の動作と同じ状態を表していると考えられる人体の幾何モデルの持つ奥行き座標を用いて、どのリンクの領域が最も手前にあるかを調べることで求められる。
式(13),(14)を用いると評価式は
【数12】
JP0004077622B2_000013t.gifと表される。ここでα,βは重み係数である。
式(14)を満たす関節変位をスプライン曲線の制御点を探索して求めることで動作推定を行う。注意点としてリンクに評価式(14)を当てはめる順番として第k階層リンクの誤差は第k+1階層リンクに影響することを考慮に入れ昇順で最適化する必要がある。
【0015】
<独立成分分析(ICA)による動作信号の分析と再構成>
上記の手法で求めた人物動作を、本システムで容易に加工するための手段の1つとして、独立成分分析を利用した手法を述べる。
(ICAにおける問題設定)
時刻tにおける人物動作の姿勢パラメータを
【数13】
θ(t)=[θ(t),θ(t),…,θ(t)]
とする。nは姿勢パラメータの総数である。ICAの処理において各成分の平均は0でなければならないため、あらかじめ各姿勢パラメータからその平均を引いておく。人物動作の総フレーム数をTとすると各姿勢パラメータの平均は、
【数14】
JP0004077622B2_000014t.gifと表される。各成分から平均値cを引いた姿勢パラメータをθ’(t)とする。ここで人物動作の特徴を表すパラメータをs(t)=[s(t),s(t),…,s(t)]と仮定するとθ’(t)は次のように表される。
【数15】
θ’(t)=As(t)
Aはn×mの基底行列でA=[a,a,…,a]である。またs(t)はICAの問題設定においてm個の各成分が相互に独立である。mは独立成分の数でm≦nである。
ICAの処理によりθ’(t)から
【数16】
y(t)=Bθ’(t)
となる独立成分y(t)と特徴抽出行列Bを求める。理想的な値としてy(t)=s(t),B=A-1が目標となる。
【0016】
(姿勢パラメータの無相関化)
ICAの前処理として姿勢パラメータθ’(t)の無相関化のために次のような変換を行う。
【数17】
x(t)=Vθ’(t)
x(t)は無相関化された信号で、Vはm×nの無相関化行列である。一般に無相関化は主成分分析によってなされる。主成分分析による固有ベクトルをE、固有値を並べた対角行列をDとすると、V=D-1/2となる。
無相関化の処理を行った後の特徴抽出行列をWとすると
【数18】
X(t)=VAs(t)=Ws
となる。ここで
【数19】
x(t)x(t)=I
より
【数20】
x(t)x(t)=Ws(t)s(t)W=WW=I
とできる。従ってW=VAは直交行列となるため、フルランクの行列Aを求める問題をs(t)=Wx(t)となる直交行列wを求める問題に簡単化することができる。
【0017】
(独立性の定義)
独立性は非正規性を最大化することで独立性を推定する。この非正規性を計る尺度として、負のエントロピーを用いる。yの密度関数をf(y)とするとエントロピーは、
【数21】
JP0004077622B2_000015t.gifとなる。エントロピーは正規分布のとき最大となる。
負のエントロピーJ(y)は正規分布のエントロピーを用いて
【数22】
JP0004077622B2_000016t.gifと定義される。負のエントロピーは非負の値をとり、最小値は正規分布のときで0になる。従って負のエントロピーを最大化、つまり非正規性を最大化することで独立性を推定する。ここで密度関数f(y)を最大エントロピー原理によって近似すると
【数23】
JP0004077622B2_000017t.gifとなる。Gは非2次の関数、cは定数である。ここで||wx||=1となるwを用いてy=wxとすると負のエントロピーは
【数24】
JP0004077622B2_000018t.gifと表せる。
従って独立性を決定する問題は以下のようになる。
【数25】
JP0004077622B2_000019t.gif
【0018】
(不動点法による基底の算出)
負のエントロピーを最大にするwを求めるために、Hyvarinenの不動点法に基づく反復解法を用いる。更新式は、
【数26】
JP0004077622B2_000020t.gifである。ここで、gはGの微分である。
例えば、g(y)=tanh(au),g(y)=yなどとする。
【0019】
(動作の再構築)
抽出した独立成分y(t)と特徴抽出行列wにより動作の再構築を行う。基底行列Aの各基底ベクトル(列ベクトル)a
【数27】
=ED1/2
と表される。従って人物動作の姿勢パラメータは
【数28】
θ(t)=Ay(t)+C
として再構成される。ここでC=[c1,c,…,cである。
動作を加工する場合は、独立成分の動作曲線を変形して、上記の再構成を適用する。
【0020】
【実施例】
次に、上記にて説明した動作の加工をした実施例を示す。
図3は人物が歩行している場合を例にとって、各関節角の時系列データと、ICAにより独立成分に分離した結果を示す図である。図3(a)は歩行している人物の映像のフレームからフレーム5,10,15,20,25を示したものである。図3(b)は人物の映像のフレームより各関節角の時系列データをグラフ化して表している。同様に図3(c)はICAにより独立成分に分離した結果をグラフ化して表している。
上述のように、独立成分分析では一般的に入力変数の数以下に分離できるという規定しかないが、あまり多くの独立成分に分離しすぎるとノイズの影響が大きくなるという問題がある。そこで、本手法では前処理で利用している主成分分析の結果を利用して、合計で寄与率が約90%以上となる固有ベクトルの数を求め、独立成分分析を計算するときの独立成分の数として利用する。図3(c)は、歩行データに主成分分析を施した結果、6個以上の固有ベクトルは無視できる大きさであったため、5つの独立成分を抽出した。なお、この適切な独立成分の数は、サンプルとして入力する動作の複雑さなどによっても変化する。
【0021】
図4は歩行動作にICAを適用した例を示す図である。各動作成分と3次元動作の対応を表している。この図4は各独立成分だけを分離して3次元動作を復元したところを示す図である。この場合は、足を前後に振る動作(図4(a))や、足踏みをする動作(図4(b))、上下にジャンプする動作(図4(c))に分離されている。このような特定の動作成分を加工したり強調することで、極めて次元数の多い各関節の時系列データを直接加工するよりも、多様な動作のバリエーションを容易に生成することができる。
【0022】
仮想人物の動作を生成する際には、様々な動作セグメントを滑らかにつなげたり、動作間の欠けている部分を補うことが必要となることが多い。このような処理を単純に関節角を補間することで行うと、実際にはありえない軌道を通るなど不自然な動作になるという問題が挙げられる。独立成分分析によって推定された基底ベクトルは、実際のサンプル動作から抽出された動きの特徴を表しているため、独立成分を組み合わせて補間する方が自然な動作となる可能性が高いという利点がある。
図5はバレエのアニメーション作成例を示す図である。図5(a)はストーリーボードで指定した間欠的な動作である。このような動作を補間する手段として、ICAの動作曲線を利用する。図5(a)(i)~(iv)は、それぞれ補間し、図5(b)(i)~(iv)のように連続した滑らかな動作の動画像のフレームが作成される。この図5の独立成分による動作曲線を利用して、ストーリーボード間の間欠的な動作の補間を行った例を示す。2次元姿勢から3次元姿勢を推定する手法は、利用者がマニュアルで行ってもよいし、自動で行うならば、例えば上述の論文「星野准一,斎藤啓史 :“ビデオ映像とCGの合成によるヴァーチャルファッションの実現”,情報処理学会論文誌,Vol.42,No.5,pp.1182-1193,2001」及び「Jun'ichiro Hoshino, Hirofumi Saito : "A Match Moving Technique for Human Body Sequences", Int. Conf. on Acoustics and Signal Processing, ICASSSP2001, Conference Proceedings CD-ROM, IMDSP-P3.1, 2001」に掲載したシルエット画像から3次元姿勢を推定する手法を利用する。次に、独立成分の空間の中で、ストーリーボードで指定した各3次元姿勢の動作成分の点を結んで動作曲線を求めることによって連続した動作を生成する。この点を結ぶ手法は各点を直線で結んだ後、その折れ線を独立成分の空間内の滑らかな曲線としてもよい。独立成分の空間は、人物の動作から得られる特徴空間であるので、直線で結んでもそんなに不自然な動きとはならない。
【0023】
本手法のその他の応用例としては、人物の動作の代わりに、顔の3次元的な表情の変化を入力して、表情の変化の分析と再構成を行うことも考えられる。人物の動作と同じように、表情の独立成分を抽出することで、単純に複数の表情間を補間するよりも、自然な動きを生成できると考えられる。
また、本手法の評価実験からは、異なる人物が同じ動作を行った結果を入力した場合、個人差が少なく動作の基本的な構造を表す成分と、個人差が主に表れる成分に分離できる傾向が見られた。これは、少数の独立成分を制御するだけで、多様な個性を持った動きを生成できることを表している。このように、動作の基本構造の加工と、個人間のバリエーションの加工を分離して行うことができるなど、動作の生成を階層的に行うことが可能となるのも、本手法の特徴の一つである。
なお、上述の画像取得部10、動作推定部20、画像生成部30、表示部40のそれぞれの処理は、計算機上で実行することもできる。また、その処理を行うためにプログラムを格納した記録媒体から読み出したり、通信回線を介して受信等をしたプログラムを実行する等により、本発明の構成を実現することもできる。この記録媒体には、フレキシブル・ディスク、CD-ROM、DVD、磁気テープ、ROMカセット等がある。また、通信回線としては、インターネット等がある。
【0024】
【発明の効果】
推定した人物の3次元動作系列に、独立成分分析(ICA)を適用して基本動作成分を抽出することで、動作の加工や変形を容易にすることができる。
また、動作の独立成分は輝度情報と身体の物理特性を併用しているため、不自然さがなく、安定な動作推定が可能である。そのため、ビデオ映像によって俳優の演技を撮影するだけで、簡単にCG俳優の動作を付けることが可能である。
【図面の簡単な説明】
【図1】 3次元人物動画像生成システムの機能構成を示す図である。
【図2】 本システムで用いる人体幾何モデル100を示す図である。
【図3】 人物が歩行している場合の例を各関節角の時系列データと、ICAにより独立成分に分離した結果を示す図である。
【図4】 歩行動作にICAを適用した例を示す図である。
【図5】 バレエのアニメーション作成例を示す図である。
【符号の説明】
10 画像取得部
20 動作推定部
30 画像生成部
40 表示部
100 人体幾何モデル
110 首
120 左肩
125 右肩
140 左肘
145 右肘
160 胴体
170 左股
175 右股
190 左膝
195 右膝
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4