TOP > 国内特許検索 > 人物動画像生成システム

人物動画像生成システム コモンズ 新技術説明会

国内特許コード P04P001261
整理番号 K011P21
掲載日 2004年10月21日
出願番号 特願2003-037381
公開番号 特開2004-246729
登録番号 特許第4246516号
出願日 平成15年2月14日(2003.2.14)
公開日 平成16年9月2日(2004.9.2)
登録日 平成21年1月16日(2009.1.16)
発明者
  • 星野 准一
出願人
  • 国立研究開発法人科学技術振興機構
発明の名称 人物動画像生成システム コモンズ 新技術説明会
発明の概要 【課題】ビデオ映像等から生成した人物の3次元モデルを用いた人物動画像生成システムにおいて、ビデオリアリスティックな人物動画像を生成すること。
【解決手段】本発明の人物動画像生成システムでは、従来技術のように、CG衣服を作成してクロスシミュレーションを行なうのではなく、次のような手法を用いる。すなわち、ビデオ映像から様々な姿勢の衣服画像を切り出してデータベース化し、入力された人物動画像にデータベースの衣服画像を合成して、様々な服装の人物動画像を生成する。
また、本発明では、ヘアスタイルの合成についても同様の手法を用いる。すなわち、ビデオ映像から様々な姿勢のヘアスタイル画像を切り出してデータベース化し、入力された人物動画像にデータベースのヘアスタイル画像を合成して、様々なヘアスタイルの人物動画像を生成する。
【選択図】なし
従来技術、競合技術の概要


近年、実写映像とCGベースの仮想衣服を合成した映像を与える、仮想ファッションのシステムが提案されている(例えば、非特許文献1~3)。
仮想衣服の生成方法として、さまざまな手法が提案されている。従来手法の例を図1に示す。図1において、(b)に示すような衣服のCGデータを作成し、(a)に示す人物の実写映像の3次元動作(3次元姿勢)を推定(例えば、特許文献1の手法による)して、その動作にあわせて、クロスシミュレーションを行なっている。
従来手法により合成された結果の画像は、例えば図1(c)のようになる。
しかし、これらの手法では、利用者の動作に連動した仮想衣服の生成に重点がおかれているため、合成結果がフォトリアル、ビデオリアルに見えるかどうかについてはあまり検討されていなかった。また、CGベースの仮想衣服を生成するために多くの時間や手間を必要とする。そのため、複雑なしわの生成や、複雑な衣服の合成をすることができないという問題や、合成結果が不自然に見えるという問題があった。
また、近年のインターネットの普及と、パーソナルコンピュータの性能の向上により、利用者の体型に合わせた3次元モデルに実写の仮想衣服を着用させ、インターネット経由で商品イメージを提示するサービスなども見られるようになってきた(例えば、非特許文献4~5)。しかし、一定の姿勢の3次元モデルに仮想衣服を合成するために、実際に利用者が着用した時のイメージがつかみにくいという問題がある。



【特許文献1】
特開2002-269580号公報
【非特許文献1】
中野敦,星野准一:"利用者の動作と連動する仮想ファッション",インタラクション2002,pp.202-208
【非特許文献2】
中野敦,星野准一:"対話型仮想ファッションシステム",第17回 NICOGRAPH 論文集,pp.155-160,2001
【非特許文献3】
星野准一,斉藤啓史:"ビデオ映像とCGの合成によるヴァーチャルファッションの実現",情報処理学会論文誌,Vol.42, No.5, pp.1182-1193, 2001
【非特許文献4】
日本ランズエンド(マイ・バーチャル・モデル)http://www.landsend.co.jp/
【非特許文献5】
デジタルファッション株式会社(HAOREBA)http://www.dressingsim.com/

産業上の利用分野


本発明は、ビデオ映像から生成した人物の3次元モデルを用いた、人物動画像生成システムに関する。

特許請求の範囲 【請求項1】
人物動画像生成システムであって、
衣服画像を3次元姿勢の姿勢パラメータとともに格納した仮想衣服データベースを有し、
ビデオ映像中の人物から、背景部分、肌色部分及び前記ビデオ映像中の人物の3次元姿勢を推定して人体頭部部分を削除することにより、衣服画像を抽出する衣服画像抽出手段と、
前記衣服画像抽出手段により抽出した衣服画像を、前記推定した3次元姿勢の姿勢パラメータとともに、前記仮想衣服データベースに格納する仮想衣服データベース格納手段と、
合成対象のビデオ映像中の人物の3次元姿勢の姿勢パラメータを推定する3次元姿勢推定手段と、
前記3次元姿勢推定手段により推定した3次元姿勢の姿勢パラメータに対応する衣服画像を前記仮想衣服データベースから選択する衣服画像選択手段と、
前記合成対象のビデオ映像中の人物に前記衣服画像選択手段により選択した衣服画像を合成する衣服画像合成手段と
を備えることを特徴とする人物動画像生成システム。

【請求項2】
請求項1に記載の人物動画像生成システムにおいて、さらに、
前記衣服画像選択手段は、前記3次元姿勢推定手段により推定した3次元姿勢の姿勢パラメータと一致する姿勢パラメータをもつ衣服画像を選択し、一致する衣服画像がない場合には類似する姿勢パラメータをもつ衣服画像を選択し、
前記衣服画像合成手段は、前記衣服画像選択手段で類似する姿勢パラメータをもつ衣服画像を選択した場合に、選択した衣服画像を合成対象のビデオ映像中の人物の姿勢に合うように調整すること
を特徴とする人物動画像生成システム。

【請求項3】
請求項に記載の人物動画像生成システムにおいて、
前記衣服画像合成手段における前記調整は、衣服画像から衣服の境界を検出し、関節部分を中心に身体部位の回転軸を回転させることにより合成対象のビデオ映像中の人物の姿勢に合わせること
を特徴とする人物動画像生成システム。

【請求項4】
請求項1~のいずれかに記載の人物動画像生成システムにおいて、さらに、
ヘアスタイル画像を3次元姿勢の姿勢パラメータとともに格納したヘアスタイルデータベースと、
合成対象のビデオ映像中の人物の頭部の3次元姿勢の姿勢パラメータを推定する頭部3次元姿勢推定手段と、
前記頭部3次元姿勢推定手段により推定した頭部の3次元姿勢の姿勢パラメータに対応するヘアスタイル画像を前記ヘアスタイルデータベースから選択するヘアスタイル画像選択手段と、
前記合成対象のビデオ映像中の人物に前記ヘアスタイル画像選択手段により選択したヘアスタイル画像を合成するヘアスタイル画像合成手段と
を備えることを特徴とする人物動画像生成システム。

【請求項5】
請求項4に記載の人物動画像生成システムにおいて、さらに、
ビデオ映像中の人物からヘアスタイル画像を抽出するヘアスタイル画像抽出手段と、
前記ヘアスタイル画像抽出手段により抽出したヘアスタイル画像を前記ヘアスタイルデータベースに格納するヘアスタイルデータベース格納手段とを備え、
前記ヘアスタイル画像抽出手段は、前記頭部3次元姿勢推定手段を用いて前記ビデオ映像中の人物の頭部の3次元姿勢の姿勢パラメータを推定し、顔領域を削除することによりヘアスタイル画像を抽出し、
前記ヘアスタイルデータベース格納手段は、ヘアスタイル画像とともに、前記推定した頭部の3次元姿勢の姿勢パラメータを格納し、
前記ヘアスタイル画像選択手段は、前記頭部3次元姿勢推定手段により推定した3次元姿勢の姿勢パラメータと一致する姿勢パラメータをもつヘアスタイル画像を選択し、一致するヘアスタイル画像がない場合には類似する姿勢パラメータをもつヘアスタイル画像を選択すること
を特徴とする人物動画像生成システム。

【請求項6】
請求項又はのいずれかに記載の人物動画像生成システムにおいて、
前記頭部3次元姿勢推定手段は、ビデオ映像中の人物の画像と、頭部の3次元モデルを2次元射影変換したテンプレート画像とをマッチングして顔領域を検出することにより、ビデオ映像中の人物の頭部の3次元姿勢の姿勢パラメータを推定すること
を特徴とする人物動画像生成システム。

【請求項7】
請求項1~のいずれかに記載の人物動画像生成システムにおいて、
前記衣服画像合成手段および前記ヘアスタイル画像合成手段は、
アルファブレンドにより衣服画像およびヘアスタイル画像の輪郭部分をぼかして自然な輪郭を得た後に合成を行なうこと
を特徴とする人物動画像生成システム。

【請求項8】
請求項1~のいずれかに記載された人物動画像生成システムをコンピュータシステムに構成させるプログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

22988_01SUM.gif
出願権利状態 登録
参考情報 (研究プロジェクト等) さきがけ 情報と知 領域
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close