TOP > 中国の大学の特許 > 中国科学技術大学の特許一覧 > モーフィングアニメーションを生成するための方法および装置

モーフィングアニメーションを生成するための方法および装置

国内特許コード P150011683
掲載日 2015年3月30日
出願番号 特願2013-512750
公表番号 特表2013-531290
登録番号 特許第5435382号
出願日 平成23年9月27日(2011.9.27)
公表日 平成25年8月1日(2013.8.1)
登録日 平成25年12月20日(2013.12.20)
国際出願番号 CN2011080199
国際公開番号 WO2012149772
国際出願日 平成23年9月27日(2011.9.27)
国際公開日 平成24年11月8日(2012.11.8)
発明者
  • 董 ▲蘭▼芳
  • 夏 ▲沢▼▲挙▼
  • ▲呉▼ 媛
  • ▲チン▼ 景繁
出願人
  • ▲ホア▼▲ウェイ▼技術有限公司
  • 中国科学技▲術▼大学
発明の名称 モーフィングアニメーションを生成するための方法および装置
発明の概要 本発明の実施形態は、複数の画像からモーフィングアニメーションを生成するための方法および装置を提供する。本方法は、複数の画像の中の隣接画像に対して色相前処理を実行するステップと、色相前処理が実行された隣接画像の特徴点差分に従って隣接画像間の中間フレームの数を求めるステップと、中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により隣接画像の間で生成するステップと、隣接画像の間に中間フレーム画像を挿入するステップと、複数の画像、および複数の画像中のすべての隣接画像間に挿入された中間フレーム画像から、モーフィングアニメーションを生成するステップとを有する。本発明で生成されたモーフィングアニメーションは、滑らかで自然であり、それにより、モーフィングアニメーションのモーフィング効果が改善される。
従来技術、競合技術の概要



複数の画像からモーフィングアニメーションを生成するための方法および装置は、現在広く利用されている。モーフィングアニメーションのための一般的な方法は、画像ワープを達成することに基づいており、まず2つの画像を2方向にそれぞれワープさせる。2つの画像は、再生時間シーケンスにより、それぞれソース画像および目標画像と呼ばれ、2方向のワープは、2種類のワープを、すなわち、ソース画像から目標画像へのワープと、目標画像からソース画像へのワープを含む。2つのワープされた画像に対して画像のグレースケール融合が行われて一連の中間画像が生成され、それにより、画像の滑らかなモーフィングが得られる。したがって、画像ワーピング技術の品質および関連する特性は、画像モーフィングに影響を与える重要な因子である。





現在、画像ワーピング技術は、すでに、視覚効果および広告デザインで広く利用されている。画像ワーピング技術に対する広範囲で、かつ十分な研究が行われた後、空間マッピングに焦点を当てる一連の方法が形成された。画像ワーピングでは、空間マッピングが中心となり、これによれば、画像ワーピング技術は、一般に、次の3つのタイプに分類することができる。





(1)ブロックベースの画像ワーピング:典型的なアルゴリズムは、2段階のメッシュ画像ワーピングアルゴリズムおよび三角測量ベースのワーピングアルゴリズムを含む。それらの共通の概念は、全体画像をいくつかのブロックに分割し、次いで、すべての小画像のワープを組み合わせて、全体画像のワープを達成することである。このタイプのアルゴリズムの顕著な利点は、ワーピング速度が速いことである。しかしながら、画像を小ブロックへと分割する前処理は、面倒な作業であり、ブロック分割を合理的かつ効果的に行うことが、最終的なワーピング効果に直接影響する。

(2)線ベースのワーピング:このアルゴリズムの概念は、画像上に一連の特徴線を構成することであり、画素とこれらの特徴線の間の距離によって画像上の各画素のオフセットが共に決定される。この方法は、まだワーピング速度が遅く、直感的に十分ではないという問題を有する。





(3)点ベースのワーピング:典型的なアルゴリズムは、放射基底関数に基づくワーピングアルゴリズムである。このアルゴリズムの基本概念は、画像を複数の分散した点の構成体と見なすことである。画像上のすべての点の空間マッピングは、いくつかの指定された特定の点の空間マッピング、およびいくつかの適正な放射基底関数により達成される。このようなアルゴリズムは、比較的直感的なものである。しかしながら、放射基底関数は、通常、ガウス関数などの複雑な関数であるため、ワーピング速度は非常に遅い。さらに、このようなアルゴリズムは、ワープされた画像の安定した境界をほとんど保証することができない。

産業上の利用分野



本発明は、画像処理技術に関し、詳細には、モーフィングアニメーションを生成するための方法および装置に関する。

特許請求の範囲 【請求項1】
モーフィングアニメーションを生成するための方法であって、
複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させる段階と、
前記色相前処理が実行された前記隣接画像の特徴点差分に従って前記隣接画像間の中間フレームの数を求める段階と、
前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成する段階と、
前記隣接画像間に前記中間フレーム画像を挿入する段階と、
前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成する段階と
を有し、
前記特徴点差分は、前記隣接画像に対応する特徴点の画素距離から算出されることを特徴とする方法。

【請求項2】
前記複数の画像中の前記隣接画像に対して明度前処理を実行して、前記隣接画像間の明度差を減少させる段階をさらに有し、
前記色相前処理が実行された前記隣接画像の特徴点差分に従って前記隣接画像間の中間フレームの数を求める前記段階が、前記色相前処理および前記明度前処理が実行された前記隣接画像の特徴点差分に従って前記隣接画像間の中間フレームの数を求める段階を含むことを特徴とする請求項に記載の方法。

【請求項3】
前記複数の画像中の前記隣接画像に対して明度前処理を実行する前記段階が、
前記隣接画像の明度に従う計算を行って、前記隣接画像間の明度差を取得する段階と、
前記明度差に従って明度差絶対値を取得する段階と、
前記明度差絶対値が第2閾値よりも大きい場合、前記隣接画像中で、かつ前記明度差に応じた明度調整法で明度が調整される必要のある画像を決定する段階と、
明度が調整される必要のある前記画像に対して、前記明度調整法により明度調整を実行する段階と
を含むことを特徴とする請求項に記載の方法。

【請求項4】
前記隣接画像の明度に従う計算を行って、前記隣接画像間の明度差を取得する前記段階が、前記隣接画像のうちの第1画像の平均明度値から、前記隣接画像のうちの第2画像の平均明度値を減算して、前記隣接画像間の明度差を取得する段階を含み、
明度が調整される必要のある前記画像に対して、前記明度調整法により明度調整を実行する前記段階が、
前記明度差がゼロを超える場合、前記第1画像の各画素の明度を減少させるか、または前記第2画像の各画素の明度を増加させる段階と、
前記明度差がゼロより小さい場合、前記第1画像の各画素の明度を増加させるか、または前記第2画像の各画素の明度を減少させる段階と
を含むことを特徴とする請求項に記載の方法。

【請求項5】
複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、
前記隣接画像の色相に従う計算を行って、前記隣接画像間の色相差を取得する段階と、
前記色相差に従って色相差絶対値を取得する段階と、
前記色相差絶対値が第1閾値よりも大きい場合、前記隣接画像中で、かつ前記色相差に応じた色相調整法で色相が調整される必要のある画像を決定する段階と、
色相が調整される必要のある前記画像に対して、前記色相調整法により色相調整を実行する段階と
を含むことを特徴とする請求項ないしのいずれか1項に記載の方法。

【請求項6】
前記隣接画像の色相に従う計算を行って、前記隣接画像間の色相差を取得する前記段階が、前記隣接画像のうちの第1画像の平均色相値から、前記隣接画像のうちの第2画像の平均色相値を減算して、前記隣接画像間の色相差を取得する段階を含み、
色相が調整される必要のある前記画像に対して、前記色相調整法により色相調整を実行する前記段階が、
前記色相差がゼロを超える場合、前記第1画像の各画素の色相を減少させるか、または前記第2画像の各画素の色相を増加させる段階と、
前記色相差がゼロより小さい場合、前記第1画像の各画素の色相を増加させるか、または前記第2画像のに各画素の色相を減少させる段階と
を含むことを特徴とする請求項に記載の方法。

【請求項7】
前記色相前処理が実行された前記隣接画像の前記特徴点差分に従って前記隣接画像間の中間フレームの数を求める前記段階が、
前記隣接画像の前記特徴点差分の値が第1間隔に含まれる場合、中間フレームの数を第1数に決定する段階と、
前記隣接画像の前記特徴点差分の値が第2間隔に含まれる場合、中間フレームの数を第2数に決定する段階と
を含み、
前記第1間隔の値は、前記第2間隔の値よりも小さく、
前記第1数は、前記第2数よりも小さいことを特徴とする請求項1ないし6のいずれか1項に記載の方法。

【請求項8】
前記モーフィングアニメーションが、固定された再生持続期間を有するモーフィングアニメーションであり、
複数の画像中の隣接画像に対して色相前処理を実行する前記段階の前に、前記再生持続期間の現在の残り時間がゼロを超えるか否かを判断する段階をさらに有し、
複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記現在の残り時間がゼロを超える場合、前記複数の画像中の前記隣接画像に対して色相前処理を実行する段階を含むことを特徴とする請求項1ないし7のいずれか1項に記載の方法。

【請求項9】
前記複数の画像が、複数の人の顔画像であり、
複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する段階を含むことを特徴とする請求項1ないし8のいずれか1項に記載の方法。

【請求項10】
前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する前記段階の前に、前記複数の人の顔画像をソートする段階をさらに含み、
前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する前記段階が、ソートされた前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する段階であることを特徴とする請求項に記載の方法。

【請求項11】
前記複数の人の顔画像をソートする前記段階が、画像中の人の顔のサイズに従って前記複数の人の顔画像をソートする段階を含むことを特徴とする請求項10に記載の方法。

【請求項12】
前記複数の人の顔画像をソートする前記段階が、画像の明度に従って前記複数の人の顔画像をソートする段階を含むことを特徴とする請求項10に記載の方法。

【請求項13】
モーフィングアニメーションを生成するための装置であって、
複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させるように構成された色相前処理モジュールと、
前記色相前処理モジュールにより前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求め、前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成し、前記隣接画像間に前記中間フレーム画像を挿入するように構成された中間フレーム生成モジュールと、
前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュールと
を具備し、
前記特徴点差分は、前記隣接画像に対応する特徴点の画素距離から算出されることを特徴とする装置。

【請求項14】
前記色相前処理モジュールが、前記隣接画像の色相に従う計算を行って、前記隣接画像間の色相差を取得し、前記色相差に従って色相差絶対値を取得し、前記色相差絶対値が第1閾値よりも大きい場合、前記隣接画像中で、かつ前記色相差に応じた色相調整法で色相が調整される必要のある画像を決定し、色相が調整される必要のある前記画像に対して、前記色相調整法により色相調整を実行するように構成されることを特徴とする請求項13に記載の装置。

【請求項15】
前記中間フレーム生成モジュールが、前記隣接画像の類似性の値が第1間隔に含まれる場合、中間フレームの数を第1数に決定し、かつ前記隣接画像の類似性の値が第2間隔に含まれる場合、中間フレームの数を第2数に決定するように構成され、
前記第1間隔の値は、前記第2間隔の値よりも小さく、
前記第1数は、前記第2数よりも小さいことを特徴とする請求項13または14に記載の装置。

【請求項16】
前記モーフィングアニメーションが、固定された再生持続期間を有するモーフィングアニメーションであり、
前記再生持続期間の現在の残り時間がゼロを超えるか否かを判断するように構成された判断モジュールをさらに具備し、
前記色相前処理モジュールが、前記再生持続期間の前記現在の残り時間がゼロを超える場合、前記複数の画像中の前記隣接画像に対して色相前処理を実行するように構成されることを特徴とする請求項13ないし15のいずれか1項に記載の装置。

【請求項17】
前記複数の画像が、複数の人の顔画像であり、
前記色相前処理モジュールが、前記複数の人の顔画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させるように構成されることを特徴とする請求項13ないし16のいずれか1項に記載の装置。

【請求項18】
前記複数の人の顔画像中の前記隣接画像に対して明度前処理を実行するように構成された明度前処理モジュールをさらに具備し、
前記中間フレーム生成モジュールが、前記色相前処理および前記明度前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求めるように構成されることを特徴とする請求項17に記載の装置。

【請求項19】
前記明度前処理モジュールが、前記隣接画像の明度に従う計算を行って、前記隣接画像間の明度差を取得し、前記明度差に従って明度差絶対値を取得し、前記明度差絶対値が第2閾値よりも大きい場合、前記隣接画像中で、かつ前記明度差に応じた明度調整法で明度が調整される必要のある画像を決定し、明度が調整される必要のある前記画像に対して、前記明度調整法により明度調整を実行するように構成されることを特徴とする請求項18に記載の装置。

【請求項20】
前記複数の人の顔画像をソートするように構成されたソーティングモジュールをさらに具備し、
前記色相前処理モジュールが、前記ソーティングモジュールによりソートされた前記複数の人の顔画像中の隣接画像に対して色相前処理を実行するように構成されることを特徴とする請求項17ないし19のいずれか1項に記載の装置。

【請求項21】
前記ソーティングモジュールが、画像中の人の顔のサイズに従って前記複数の人の顔画像をソートするように構成されることを特徴とする請求項20に記載の装置。

【請求項22】
前記ソーティングモジュールが、画像の明度に従って前記複数の人の顔画像をソートするように構成されることを特徴とする請求項20に記載の装置。

【請求項23】
音楽再生背景を生成するための方法であって、
アニメーションを生成するために使用される複数の画像を受け取る段階と、
前記複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させる段階と、
前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求め、前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成し、前記隣接画像間に前記中間フレーム画像を挿入し、前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成する段階と、
音楽再生装置のための再生背景として前記モーフィングアニメーションを使用する段階と
を有することを特徴とする方法。

【請求項24】
前記複数の画像が、複数の人の顔画像であり、
複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記複数の人の顔画像中の隣接画像に対して色相前処理を実行する段階を含むことを特徴とする請求項23に記載の方法。

【請求項25】
前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求める前記段階の前に、前記隣接画像の特徴点の位置決めをする段階をさらに有することを特徴とする請求項24に記載の方法。

【請求項26】
前記人の顔画像の特徴点の位置決めをする前記段階が、自動検出により人の顔の特徴点を位置決めする段階を含むことを特徴とする請求項25に記載の方法。

【請求項27】
自動検出により人の顔の特徴点を位置決めする前記段階が、動的形状モデルアルゴリズムにより自動的に人の顔の特徴点を検出して位置決めする段階を含むことを特徴とする請求項26に記載の方法。

【請求項28】
前記人の顔画像の特徴点の位置決めをする前記段階が、全体的なドラッギング、または単一点ドラッギングにより前記人の顔画像の前記特徴点を位置決めする段階を含み、
前記全体的なドラッギングにより前記人の顔画像の前記特徴点を位置決めする段階は、
前記人の顔画像の特徴点を、人の顔の輪郭、眉毛、眼、鼻、および口の5つの部分の特徴点へと分割する段階と、
全体として人の顔の輪郭、眉毛、眼、鼻、および口の5つの部分の特徴点をそれぞれドラッグする段階と
を含み、
前記単一点ドラッギングにより前記人の顔画像の前記特徴点を位置決めする段階は、各特徴点を別々にドラッグする段階を含むことを特徴とする請求項25に記載の方法。

【請求項29】
前記複数の画像中の隣接画像に対して色相前処理を実行する前記段階の前に、
音楽ファイルのタイムスタンプを取り込むことにより、前記音楽ファイルの現在の残り時間を取得する段階と、
前記現在の残り時間がゼロを超えるか否かを判断する段階と
をさらに有し、
前記複数の画像中の隣接画像に対して色相前処理を実行する前記段階が、前記現在の残り時間がゼロを超える場合、前記複数の画像中の前記隣接画像に対して色相前処理を実行する段階であることを特徴とする請求項23に記載の方法。

【請求項30】
複数の画像中の隣接画像に対して色相前処理を実行して、前記隣接画像間の色相差を減少させるように構成された色相前処理モジュールと、
前記色相前処理モジュールにより前記色相前処理が実行された前記隣接画像の特徴点差分に従って中間フレームの数を求め、前記中間フレームの数と同一の数の中間フレーム画像を、画像ワーピング技術により前記隣接画像間で生成し、前記隣接画像間に前記中間フレーム画像を挿入するように構成された中間フレーム生成モジュールと、
前記複数の画像、および前記複数の画像中のすべての隣接画像間に挿入された前記中間フレーム画像から、モーフィングアニメーションを生成するように構成されたアニメーション生成モジュールと、
音楽ファイルを再生し、前記音楽ファイルの残りの再生時間がゼロを超える場合、前記音楽ファイルのビデオ表示インターフェース上で前記モーフィングアニメーションを再生するように構成された再生モジュールと
を具備し、
前記特徴点差分は、前記隣接画像に対応する特徴点の画素距離から算出されることを特徴とする音楽再生装置。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2013512750thum.jpg
出願権利状態 登録
分野
  • 物理学
※ 特許の内容に興味を持たれた方は、下記問合せ先にご相談下さい。


PAGE TOP

close
close
close
close
close
close