Top > Search of Japanese Patents > FIGURE MOTION PICTURE CREATING SYSTEM

FIGURE MOTION PICTURE CREATING SYSTEM meetings

Patent code P04P001261
File No. K011P21
Posted date Oct 21, 2004
Application number P2003-037381
Publication number P2004-246729A
Patent number P4246516
Date of filing Feb 14, 2003
Date of publication of application Sep 2, 2004
Date of registration Jan 16, 2009
Inventor
  • (In Japanese)星野 准一
Applicant
  • (In Japanese)国立研究開発法人科学技術振興機構
Title FIGURE MOTION PICTURE CREATING SYSTEM meetings
Abstract PROBLEM TO BE SOLVED: To create a video-realistic figure motion picture in a figure motion picture creating system using a three-dimensional model of a figure which is created from a video picture and the like.
SOLUTION: The figure motion picture creating system according to the present invention employs the following technique unlike conventional techniques of creating Computer Graphic clothes for clothing simulation. Namely, the present system comprises cutting out clothing images in various postures from a video picture to make database thereof; and composing the clothing images in the database to an input motion picture of a figure to create motion pictures of the figure wearing various clothes. The present invention employs a similar technique for hair style composition as well. Namely, the present system comprises cutting out hair style images in various postures from a video picture to make database thereof; and composing the hair style images in the database to an input motion picture of a figure to create motion pictures of the figure having various hair styles.
Outline of related art and contending technology (In Japanese)


近年、実写映像とCGベースの仮想衣服を合成した映像を与える、仮想ファッションのシステムが提案されている(例えば、非特許文献1~3)。
仮想衣服の生成方法として、さまざまな手法が提案されている。従来手法の例を図1に示す。図1において、(b)に示すような衣服のCGデータを作成し、(a)に示す人物の実写映像の3次元動作(3次元姿勢)を推定(例えば、特許文献1の手法による)して、その動作にあわせて、クロスシミュレーションを行なっている。
従来手法により合成された結果の画像は、例えば図1(c)のようになる。
しかし、これらの手法では、利用者の動作に連動した仮想衣服の生成に重点がおかれているため、合成結果がフォトリアル、ビデオリアルに見えるかどうかについてはあまり検討されていなかった。また、CGベースの仮想衣服を生成するために多くの時間や手間を必要とする。そのため、複雑なしわの生成や、複雑な衣服の合成をすることができないという問題や、合成結果が不自然に見えるという問題があった。
また、近年のインターネットの普及と、パーソナルコンピュータの性能の向上により、利用者の体型に合わせた3次元モデルに実写の仮想衣服を着用させ、インターネット経由で商品イメージを提示するサービスなども見られるようになってきた(例えば、非特許文献4~5)。しかし、一定の姿勢の3次元モデルに仮想衣服を合成するために、実際に利用者が着用した時のイメージがつかみにくいという問題がある。



【特許文献1】
特開2002-269580号公報
【非特許文献1】
中野敦,星野准一:"利用者の動作と連動する仮想ファッション",インタラクション2002,pp.202-208
【非特許文献2】
中野敦,星野准一:"対話型仮想ファッションシステム",第17回 NICOGRAPH 論文集,pp.155-160,2001
【非特許文献3】
星野准一,斉藤啓史:"ビデオ映像とCGの合成によるヴァーチャルファッションの実現",情報処理学会論文誌,Vol.42, No.5, pp.1182-1193, 2001
【非特許文献4】
日本ランズエンド(マイ・バーチャル・モデル)http://www.landsend.co.jp/
【非特許文献5】
デジタルファッション株式会社(HAOREBA)http://www.dressingsim.com/

Field of industrial application (In Japanese)


本発明は、ビデオ映像から生成した人物の3次元モデルを用いた、人物動画像生成システムに関する。

Scope of claims (In Japanese)
【請求項1】
 
人物動画像生成システムであって、
衣服画像を3次元姿勢の姿勢パラメータとともに格納した仮想衣服データベースを有し、
ビデオ映像中の人物から、背景部分、肌色部分及び前記ビデオ映像中の人物の3次元姿勢を推定して人体頭部部分を削除することにより、衣服画像を抽出する衣服画像抽出手段と、
前記衣服画像抽出手段により抽出した衣服画像を、前記推定した3次元姿勢の姿勢パラメータとともに、前記仮想衣服データベースに格納する仮想衣服データベース格納手段と、
合成対象のビデオ映像中の人物の3次元姿勢の姿勢パラメータを推定する3次元姿勢推定手段と、
前記3次元姿勢推定手段により推定した3次元姿勢の姿勢パラメータに対応する衣服画像を前記仮想衣服データベースから選択する衣服画像選択手段と、
前記合成対象のビデオ映像中の人物に前記衣服画像選択手段により選択した衣服画像を合成する衣服画像合成手段と
を備えることを特徴とする人物動画像生成システム。

【請求項2】
 
請求項1に記載の人物動画像生成システムにおいて、さらに、
前記衣服画像選択手段は、前記3次元姿勢推定手段により推定した3次元姿勢の姿勢パラメータと一致する姿勢パラメータをもつ衣服画像を選択し、一致する衣服画像がない場合には類似する姿勢パラメータをもつ衣服画像を選択し、
前記衣服画像合成手段は、前記衣服画像選択手段で類似する姿勢パラメータをもつ衣服画像を選択した場合に、選択した衣服画像を合成対象のビデオ映像中の人物の姿勢に合うように調整すること
を特徴とする人物動画像生成システム。

【請求項3】
 
請求項2に記載の人物動画像生成システムにおいて、
前記衣服画像合成手段における前記調整は、衣服画像から衣服の境界を検出し、関節部分を中心に身体部位の回転軸を回転させることにより合成対象のビデオ映像中の人物の姿勢に合わせること
を特徴とする人物動画像生成システム。

【請求項4】
 
請求項1~3のいずれかに記載の人物動画像生成システムにおいて、さらに、
ヘアスタイル画像を3次元姿勢の姿勢パラメータとともに格納したヘアスタイルデータベースと、
合成対象のビデオ映像中の人物の頭部の3次元姿勢の姿勢パラメータを推定する頭部3次元姿勢推定手段と、
前記頭部3次元姿勢推定手段により推定した頭部の3次元姿勢の姿勢パラメータに対応するヘアスタイル画像を前記ヘアスタイルデータベースから選択するヘアスタイル画像選択手段と、
前記合成対象のビデオ映像中の人物に前記ヘアスタイル画像選択手段により選択したヘアスタイル画像を合成するヘアスタイル画像合成手段と
を備えることを特徴とする人物動画像生成システム。

【請求項5】
 
請求項4に記載の人物動画像生成システムにおいて、さらに、
ビデオ映像中の人物からヘアスタイル画像を抽出するヘアスタイル画像抽出手段と、
前記ヘアスタイル画像抽出手段により抽出したヘアスタイル画像を前記ヘアスタイルデータベースに格納するヘアスタイルデータベース格納手段とを備え、
前記ヘアスタイル画像抽出手段は、前記頭部3次元姿勢推定手段を用いて前記ビデオ映像中の人物の頭部の3次元姿勢の姿勢パラメータを推定し、顔領域を削除することによりヘアスタイル画像を抽出し、
前記ヘアスタイルデータベース格納手段は、ヘアスタイル画像とともに、前記推定した頭部の3次元姿勢の姿勢パラメータを格納し、
前記ヘアスタイル画像選択手段は、前記頭部3次元姿勢推定手段により推定した3次元姿勢の姿勢パラメータと一致する姿勢パラメータをもつヘアスタイル画像を選択し、一致するヘアスタイル画像がない場合には類似する姿勢パラメータをもつヘアスタイル画像を選択すること
を特徴とする人物動画像生成システム。

【請求項6】
 
請求項4又は5のいずれかに記載の人物動画像生成システムにおいて、
前記頭部3次元姿勢推定手段は、ビデオ映像中の人物の画像と、頭部の3次元モデルを2次元射影変換したテンプレート画像とをマッチングして顔領域を検出することにより、ビデオ映像中の人物の頭部の3次元姿勢の姿勢パラメータを推定すること
を特徴とする人物動画像生成システム。

【請求項7】
 
請求項1~6のいずれかに記載の人物動画像生成システムにおいて、
前記衣服画像合成手段および前記ヘアスタイル画像合成手段は、
アルファブレンドにより衣服画像およびヘアスタイル画像の輪郭部分をぼかして自然な輪郭を得た後に合成を行なうこと
を特徴とする人物動画像生成システム。

【請求項8】
 
請求項1~7のいずれかに記載された人物動画像生成システムをコンピュータシステムに構成させるプログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

22988_01SUM.gif
State of application right Registered
Reference ( R and D project ) PRESTO Information and Human Activity AREA
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close