Top > Search of Japanese Patents > ANIMATION CREATING SYSTEM

ANIMATION CREATING SYSTEM commons

Patent code P03P000734
File No. K011P08
Posted date Jul 10, 2003
Application number P2001-063854
Publication number P2002-269580A
Patent number P4695275
Date of filing Mar 7, 2001
Date of publication of application Sep 20, 2002
Date of registration Mar 4, 2011
Inventor
  • (In Japanese)星野 准一
Applicant
  • (In Japanese)国立研究開発法人科学技術振興機構
Title ANIMATION CREATING SYSTEM commons
Abstract PROBLEM TO BE SOLVED: To easily create a realistic character CG by applying an animation image processing, using a human body three-dimensional model restored from a video image.
SOLUTION: A two-dimensional animation is acquired captured, and texture data of an object is extracted from and initial posture data and motion parameter of each object composing the human body three-dimensional model are obtained from the character of the two-dimensional animation image. The three- dimensional model is created with using the texture data and the motion parameters of the object and a character image viewed from an unrestricted viewpoint can be created. A shortage part of texture data of the object of the three-dimensional model is obtained through interpolation from the extracted texture data. An animation of different motion from the acquired two-dimensional animation can be created, by changing the motion parameter obtained form the two-dimensional animal or other clothes or hairstyle can be composited by compositing other objects.
Outline of related art and contending technology (In Japanese)


今日、映画の特殊効果の生成や、ビデオゲームの開発では、リアルな人物CGの生成が重要な課題である。ところが、人物のように複雑な被写体のCGを生成する作業は、ほとんどがアニメーターの手作業で行われていて、非常にコストが高いという問題がある。
近年では、実際に存在する俳優のCGが必要とされることも多い。例えば、映画の制作現場では、危険なスタント・シーンを撮影するときに、代役で撮影した映像を加工して、主演している俳優が演技をしているように見せることが必要となる。また、コマーシャル・フィルム(CM)では、過去の有名な人物を登場させて、他の俳優と競演する場面が増えている。ところが、従来手法では、既に撮影したフィルムから手作業で映像を切り出してつなぎ合わせる程度しかできないため、制約が大きいだけでなく、作業に必要な労力も膨大である。
また、ビデオ編集においても、より自由度の高い人物画像の編集が望まれている。例えば、既に撮影した映像中の人物を、異なるカメラ・アングルから見た場合に変更したり、衣服や髪型の変更、姿勢の変更を行うことができれば、ポスト・プロダクションの作業をより効果的に行うことができる。



これらのようにリアルな映像を容易に生成する手法としては、CGの分野でイメージ・ベース・レンダリング手法が提案されている。この手法では、実写画像に3次元モデルを当てはめることで、自由な視点位置から見た映像を生成する。ところが、従来手法では、屋外の建築物などの単純な形状を持つ物体や、顔のように単一の物体を対象としている。そのため、人物のような複雑な動作を行う被写体へ適用することができないという問題がある。
自由な視点位置から画像を生成する手法については、コンピュータ・ビジョンの分野でも、Virtualized Reality(仮想化された現実)とも呼ばれて盛んに研究が行われている。これらの手法では、撮影環境内に多数のカメラを設置して、ステレオ法などの手段により3次元モデルを生成する。ところが、正確な3次元モデルを推定するためには、多数のカメラが必要となり、コストが高くなるという問題がある。また、オクルージョンによって見えない部分については、3次元形状を復元することができないという問題がある。

Field of industrial application (In Japanese)


本発明は、2次元のビデオ映像から、リアルな人物3次元CGを容易に生成することができるシステムであり、特にビデオ映像から生成した人物の3次元モデルを用いて、リアルな動画像を生成できる人物動画像生成システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
動画像生成システムであって、
人体の3次元モデルのシルエット画像と、該シルエット画像と対応して人体の3次元モデルの姿勢パラメータとを複数記憶している記憶手段と、
2次元動画像を取得する2次元動画像取得手段と、
該2次元動画像取得手段からの2次元動画像内の人物と該記憶手段に記憶しているシルエット画像とのマッチングを行い、姿勢が類似しているシルエット画像を選択し、該シルエット画像に対応する3次元モデルの姿勢パラメータから各パーツの中心線を推定することにより、3次元人体モデルの初期姿勢の姿勢パラメータを推定する初期姿勢推定手段と、
前記取得した2次元動画像内の人物から、人体の3次元モデルを構成する各パーツ(オブジェクト)の動作パラメータを得る動作推定手段と、
前記2次元動画像内の人物より3次元モデルの各パーツと対応するテクスチャ・データを抽出するテクスチャ抽出手段と、
前記3次元モデルの各パーツの動作パラメータを用いて、初期姿勢から3次元モデルを生成する3次元モデル生成手段と、
前記生成した3次元モデルから、視点を設定して2次元の動画像を生成し、前記生成した新たな3次元モデルにおいて、前記抽出したテクスチャ・データでは不足する2次元動画像部分は、前記抽出したテクスチャ・データより補間して得る動画像生成手段と
を備えることを特徴とする動画像生成システム。

【請求項2】
 
請求項1に記載の動画像生成システムにおいて、
前記3次元モデル生成手段は、前記動作推定手段で得た動作パラメータを変更する動作変更手段をさらに備え、取得した2次元動画像の人物とは異なる動きの動画像を生成することを特徴とする動画像生成システム。

【請求項3】
 
請求項1又は2に記載の動画像生成システムにおいて、
前記3次元モデル生成手段は、さらに、前記生成した3次元モデルに、他のオブジェクトを合成することを特徴とする動画像生成システム。

【請求項4】
 
請求項3に記載の動画像生成システムにおいて、
前記3次元モデル生成手段の前記他のオブジェクトは、衣装モデルから前記3次元モデルの動作パラメータを用いてフィッテングされた衣装であり、
前記動画像生成手段は、前記3次元モデルと前記衣装とを同時にレンダリングして合成画像を得る
ことを特徴とする動画像生成システム。

【請求項5】
 
請求項1~4のいずれかに記載の動画像生成システムをコンピュータ・システムに構成させるコンピュータ・プログラム。

【請求項6】
 
請求項1~4のいずれかに記載の動画像生成システムをコンピュータ・システムに構成させるコンピュータ・プログラムを記録した記録媒体。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2001063854thum.jpg
State of application right Registered
Reference ( R and D project ) PRESTO Information and Human Activity AREA
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close