TOP > 国内特許検索 > フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム

フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム コモンズ

国内特許コード P110004213
整理番号 A221P59
掲載日 2011年7月8日
出願番号 特願2008-227626
公開番号 特開2010-062953
登録番号 特許第4931884号
出願日 平成20年9月4日(2008.9.4)
公開日 平成22年3月18日(2010.3.18)
登録日 平成24年2月24日(2012.2.24)
発明者
  • 寅市 和男
  • 武 徳安
  • ジョナ ガンバ
  • 大宮 康宏
出願人
  • 国立研究開発法人科学技術振興機構
発明の名称 フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム コモンズ
発明の概要 【課題】 フレーム数を増減しても鮮明で円滑な動きで再生可能な映像信号を得る。
【解決手段】 基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部2と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第1の階調値生成処理部3と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第2の階調値生成処理部4と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第3の階調値生成処理部5を備える。
【選択図】 図1
従来技術、競合技術の概要


従来より、ディジタル映像制作に関する技術の1つとして、フィルムなどで撮影した映像やそれと同等のフレーム数で記録した映像信号を様々なフレームレートに変換する技術がある。この技術は特許文献1等で公知である。特に、24フレーム/秒で構成されるプログレッシブ映像信号方式の映像を、60フレーム/秒で構成されるプログレッシブ映像信号方式の映像に変換して記録する場合、2:3プルダウンという変換方式での変換が一般的に使われている(例えば、特許文献1参照)。



また、近年、動画性能を向上させるために、映像信号に含まれる複数のフレームと、該入力映像信号の動きベクトルを用いて装置内部で生成された補間フレームとを組み合わせて、新たなフレーム列の信号を生成するフレームレート変換処理が行われている(例えば、特許文献2参照)。



近年、デジタル信号技術の進展に伴い、映像(動画像)、画像又は音声を対象にした、通信、放送、記録媒体[CD(Compact Disc)、DVD(Digital Versatile Disc)]、医用画像、印刷等の分野がマルチメディア産業或いはIT(Information Technology)として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のCDでは、圧縮を伴わないリニアPCM(Pulse Code Modulation)が用いられるが、信号理論は同様にシャノンの標本化定理である。



従来、映像、アニメ画像などの動画の圧縮技術としてMPEGが知られており、デジタル放送やDVDにおけるMPEG-2方式の採用や、第3世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるMPEG-4方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムLSIの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。



MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commition)13818-2)は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このMPEG2は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。MPEG2では、例えば720×480画素の標準解像度、飛び越し走査方式の画像データを4~8〔Mbps〕のビットレートにデータ圧縮することができ、また1920×1088画素の高解像度 、飛び越し走査方式の画像データを18~22〔Mbps〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。



一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。



【特許文献1】
特開2003-284007号公報
【特許文献2】
特開2008-167103号公報

産業上の利用分野


本発明は、映像のフレームレートを任意のフレームレートに変換するフレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラムに関する。

特許請求の範囲 【請求項1】
基準フレームにおける複数個の画素について、各画素点の濃淡値を位置の連続関数で表し、時間を異にする複数の画像フレームにおける上記関数近似された画像濃淡の最大相関度を与える位置を対応点として推定する対応点推定処理部と、
各画像フレームにおける推定した各対応位置の濃淡について、それぞれ近傍の画素点の濃淡を示す階調値から対応位置の階調値を求める第1の階調値生成処理部と、
上記各画像フレーム間で、変換するフレームレート比で生成する補間フレームに対し、上記基準フレームにおける複数個の画素に対して、上記各画像フレームにおける推定した各対応位置の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応位置の各階調値を求める第2の階調値生成処理部と、
上記補間フレームにおける各対応位置の階調値から、上記補間フレームにおける対応位置近傍の各画素の階調値を生成する第3の階調値生成処理部と
を備えることを特徴とするフレームレート変換装置。

【請求項2】
基準フレームにおける複数個の画素について、各画素点の濃淡値を位置の連続関数で表し、時間を異にする複数の画像フレームにおける上記関数近似された画像濃淡の最大相関度を与える位置を対応点として推定する対応点推定処理ステップと、
各画像フレームにおける推定した各対応位置の濃淡について、それぞれ近傍の画素点の濃淡を示す階調値から対応位置の階調値を求める第1の階調値生成処理ステップと、
上記各画像フレーム間で、変換するフレームレート比で生成する補間フレームに対し、
上記基準フレームにおける複数個の画素に対して、上記各画像フレームにおける推定した各対応位置の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応位置の各階調値を求める第2の階調値生成処理ステップと、
上記補間フレームにおける各対応位置の階調値から、上記補間フレームにおける対応位置近傍の各画素の階調値を生成する第3の階調値生成処理ステップと
を有することを特徴とするフレームレート変換方法。

【請求項3】
フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、
基準フレームにおける複数個の画素について、各画素点の濃淡値を位置の連続関数で表し、時間を異にする複数の画像フレームにおける上記関数近似された画像濃淡の最大相関度を与える位置を対応点として推定する対応点推定処理部と、
各画像フレームにおける推定した各対応位置の濃淡について、それぞれ近傍の画素点の濃淡を示す階調値から対応位置の階調値を求める第1の階調値生成処理部と、
上記各画像フレーム間で、変換するフレームレート比で生成する補間フレームに対し、
上記基準フレームにおける複数個の画素に対して、上記各画像フレームにおける推定した各対応位置の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応位置の各階調値を求める第2の階調値生成処理部と、
上記補間フレームにおける各対応位置の階調値から、上記補間フレームにおける対応位置近傍の各画素の階調値を生成する第3の階調値生成処理部として、
上記コンピュータを機能させることを特徴とするフレームレート変換プログラム。

【請求項4】
基準フレームにおける複数個の画素について、その濃淡分布を画素位置の連続函数で函数近似する第1の函数近似手段と、
上記第1の函数近似手段により近似された函数と、時間を異にする複数の画像フレームにおける上記濃淡分布の函数とで相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の画像フレームにおいて対応する対応点位置とする対応点推定手段と、
上記対応点推定手段により推定された各画像フレームにおける対応点位置を各画像フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の画像フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、該時系列信号を函数近似する第2の函数近似手段と、
上記第2の函数近似手段で近似された函数により、上記複数の画像フレーム間の任意の時間における補間フレームについて、上記画像フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記画像フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似手段と
を備えることを特徴とするフレームレート変換装置。

【請求項5】
基準フレームにおける複数個の画素について、その濃淡分布を画素位置の連続函数で函数近似する第1の函数近似ステップと、
上記第1の函数近似ステップで近似された函数と、時間を異にする複数の画像フレームにおける上記濃淡分布の函数とで相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の画像フレームにおいて対応する対応点位置とする対応点推定ステップと、
上記対応点推定ステップで推定された各画像フレームにおける対応点位置を各画像フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の画像フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、該時系列信号を函数近似する第2の函数近似ステップと、
上記第2の函数近似ステップで近似された函数により、上記複数の画像フレーム間の任意の時間における補間フレームについて、上記画像フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記画像フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似ステップと
を有することを特徴とするフレームレート変換方法。

【請求項6】
フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、
基準フレームにおける複数個の画素について、その濃淡分布を画素位置の連続函数で函数近似する第1の函数近似手段と、
上記第1の函数近似手段により近似された函数と、時間を異にする複数の画像フレームにおける上記濃淡分布の函数とで相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の画像フレームにおいて対応する対応点位置とする対応点推定手段と、
上記対応点推定手段により推定された各画像フレームにおける対応点位置を各画像フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の画像フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、該時系列信号を函数近似する第2の函数近似手段と、
上記第2の函数近似手段で近似された函数により、上記複数の画像フレーム間の任意の時間における補間フレームについて、上記画像フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記画像フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似手段として、
上記コンピュータを機能させることを特徴とするフレームレート変換プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2008227626thum.jpg
出願権利状態 登録
参考情報 (研究プロジェクト等) CREST 情報社会を支える新しい高性能情報処理技術 領域
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close