TOP > 国内特許検索 > 動画像生成システム

動画像生成システム コモンズ

国内特許コード P03P000734
整理番号 K011P08
掲載日 2003年7月10日
出願番号 特願2001-063854
公開番号 特開2002-269580
登録番号 特許第4695275号
出願日 平成13年3月7日(2001.3.7)
公開日 平成14年9月20日(2002.9.20)
登録日 平成23年3月4日(2011.3.4)
発明者
  • 星野 准一
出願人
  • 国立研究開発法人科学技術振興機構
発明の名称 動画像生成システム コモンズ
発明の概要 【課題】 ビデオ画像より復元した人体の3次元モデルを利用した動画像処理の適用により、リアルな人物CGを容易に生成する。
【解決手段】 2次元動画像を取得し、その2次元動画像の人物から、オブジェクトのテクスチャ・データの抽出と、人体の3次元モデルを構成する各オブジェクトの初期姿勢データおよび動作パラメータを得る。そのオブジェクトのテクスチャ・データ、動作パラメータを用いて3次元モデルを生成し、自由な視点位置から見た人物画像を生成することができる。その際に3次元モデルのオブジェクトに対するテクスチャ・データの不足する部分を、抽出したテクスチャ・データより補間して得る。また、2次元動画像より得た動作パラメータを変更することで、取得した2次元動画像とは異なる動きの動画像を生成したり、他のオブジェクトを合成して、別の衣服や髪型の合成を行うこともできる。
従来技術、競合技術の概要


今日、映画の特殊効果の生成や、ビデオゲームの開発では、リアルな人物CGの生成が重要な課題である。ところが、人物のように複雑な被写体のCGを生成する作業は、ほとんどがアニメーターの手作業で行われていて、非常にコストが高いという問題がある。
近年では、実際に存在する俳優のCGが必要とされることも多い。例えば、映画の制作現場では、危険なスタント・シーンを撮影するときに、代役で撮影した映像を加工して、主演している俳優が演技をしているように見せることが必要となる。また、コマーシャル・フィルム(CM)では、過去の有名な人物を登場させて、他の俳優と競演する場面が増えている。ところが、従来手法では、既に撮影したフィルムから手作業で映像を切り出してつなぎ合わせる程度しかできないため、制約が大きいだけでなく、作業に必要な労力も膨大である。
また、ビデオ編集においても、より自由度の高い人物画像の編集が望まれている。例えば、既に撮影した映像中の人物を、異なるカメラ・アングルから見た場合に変更したり、衣服や髪型の変更、姿勢の変更を行うことができれば、ポスト・プロダクションの作業をより効果的に行うことができる。



これらのようにリアルな映像を容易に生成する手法としては、CGの分野でイメージ・ベース・レンダリング手法が提案されている。この手法では、実写画像に3次元モデルを当てはめることで、自由な視点位置から見た映像を生成する。ところが、従来手法では、屋外の建築物などの単純な形状を持つ物体や、顔のように単一の物体を対象としている。そのため、人物のような複雑な動作を行う被写体へ適用することができないという問題がある。
自由な視点位置から画像を生成する手法については、コンピュータ・ビジョンの分野でも、Virtualized Reality(仮想化された現実)とも呼ばれて盛んに研究が行われている。これらの手法では、撮影環境内に多数のカメラを設置して、ステレオ法などの手段により3次元モデルを生成する。ところが、正確な3次元モデルを推定するためには、多数のカメラが必要となり、コストが高くなるという問題がある。また、オクルージョンによって見えない部分については、3次元形状を復元することができないという問題がある。

産業上の利用分野


本発明は、2次元のビデオ映像から、リアルな人物3次元CGを容易に生成することができるシステムであり、特にビデオ映像から生成した人物の3次元モデルを用いて、リアルな動画像を生成できる人物動画像生成システムに関する。

特許請求の範囲 【請求項1】
動画像生成システムであって、
人体の3次元モデルのシルエット画像と、該シルエット画像と対応して人体の3次元モデルの姿勢パラメータとを複数記憶している記憶手段と、
2次元動画像を取得する2次元動画像取得手段と、
該2次元動画像取得手段からの2次元動画像内の人物と該記憶手段に記憶しているシルエット画像とのマッチングを行い、姿勢が類似しているシルエット画像を選択し、該シルエット画像に対応する3次元モデルの姿勢パラメータから各パーツの中心線を推定することにより、3次元人体モデルの初期姿勢の姿勢パラメータを推定する初期姿勢推定手段と、
前記取得した2次元動画像内の人物から、人体の3次元モデルを構成する各パーツ(オブジェクト)の動作パラメータを得る動作推定手段と、
前記2次元動画像内の人物より3次元モデルの各パーツと対応するテクスチャ・データを抽出するテクスチャ抽出手段と、
前記3次元モデルの各パーツの動作パラメータを用いて、初期姿勢から3次元モデルを生成する3次元モデル生成手段と、
前記生成した3次元モデルから、視点を設定して2次元の動画像を生成し、前記生成した新たな3次元モデルにおいて、前記抽出したテクスチャ・データでは不足する2次元動画像部分は、前記抽出したテクスチャ・データより補間して得る動画像生成手段と
を備えることを特徴とする動画像生成システム。

【請求項2】
請求項1に記載の動画像生成システムにおいて、
前記3次元モデル生成手段は、前記動作推定手段で得た動作パラメータを変更する動作変更手段をさらに備え、取得した2次元動画像の人物とは異なる動きの動画像を生成することを特徴とする動画像生成システム。

【請求項3】
請求項1又は2に記載の動画像生成システムにおいて、
前記3次元モデル生成手段は、さらに、前記生成した3次元モデルに、他のオブジェクトを合成することを特徴とする動画像生成システム。

【請求項4】
請求項3に記載の動画像生成システムにおいて、
前記3次元モデル生成手段の前記他のオブジェクトは、衣装モデルから前記3次元モデルの動作パラメータを用いてフィッテングされた衣装であり、
前記動画像生成手段は、前記3次元モデルと前記衣装とを同時にレンダリングして合成画像を得る
ことを特徴とする動画像生成システム。

【請求項5】
請求項1~4のいずれかに記載の動画像生成システムをコンピュータ・システムに構成させるコンピュータ・プログラム。

【請求項6】
請求項1~4のいずれかに記載の動画像生成システムをコンピュータ・システムに構成させるコンピュータ・プログラムを記録した記録媒体。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2001063854thum.jpg
出願権利状態 登録
参考情報 (研究プロジェクト等) さきがけ 情報と知 領域
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close