TOP > 国内特許検索 > 動画処理装置及び動画処理方法

動画処理装置及び動画処理方法 コモンズ

国内特許コード P110004217
整理番号 A221P63
掲載日 2011年7月8日
出願番号 特願2008-227630
公開番号 特開2010-062957
登録番号 特許第5042172号
出願日 平成20年9月4日(2008.9.4)
公開日 平成22年3月18日(2010.3.18)
登録日 平成24年7月20日(2012.7.20)
発明者
  • 寅市 和男
  • 大宮 康宏
出願人
  • 国立研究開発法人科学技術振興機構
発明の名称 動画処理装置及び動画処理方法 コモンズ
発明の概要 【課題】 、鮮明で円滑な動きの映像表示を行うことができ、コンテンツ通信や画像の検索に有効な動画処理装置及び動画処理方法を提供する。
【解決手段】 入力画像について、フルーエンシ理論に基づいて対応点推定を行い、画像の動き情報を函数化して表現する第1の函数化処理部と、上記入力画像について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現する第2の函数化処理部と、上記第1の函数化処理部により函数化して表現された画像の動き情報と、上記第2の函数化処理部により函数化して表現された信号空間毎の画像情報を所定の形式で記述して符号化する符号化処理部とを備える。
【選択図】 図5
従来技術、競合技術の概要


近年、デジタル信号技術の進展に伴い、映像(動画像)、画像又は音声を対象にした、通信、放送、記録媒体[CD(Compact Disc)、DVD(Digital Versatile Disc)]、医用画像、印刷等の分野がマルチメディア産業或いはIT(Information Technology)として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のCDでは、圧縮を伴わないリニアPCM(Pulse Code Modulation)が用いられるが、信号理論は同様にシャノンの標本化定理である。



従来、映像、アニメ画像などの動画の圧縮技術としてMPEGが知られており、デジタル放送やDVDにおけるMPEG-2方式の採用や、第3世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるMPEG-4方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムLSIの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。



MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commition)13818-2)は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このMPEG2は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。MPEG2では、例えば720×480画素の標準解像度、飛び越し走査方式の画像データを4~8〔Mbps〕のビットレートにデータ圧縮することができ、また1920×1088画素の高解像度 、飛び越し走査方式の画像データを18~22〔Mbps〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。



一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。



また、動画素の入力と同時に正確な画素と画素との間の副画素のカメラ動き成分を検出して多数の副画素の映像情報を決定し、巡回型(IIR:infinite impulse response) フィルタ等による映像合成で解像度を向上させ、電子ズームによる映像拡大での高画質を実現する手法が提案されている(例えば、特許文献1参照)。



【特許文献1】
特開平9-163216号公報

産業上の利用分野


本発明は、動画像を高圧縮化、高解像度化する処理を行う動画処理装置及び動画処理方法に関する。

特許請求の範囲 【請求項1】
入力された複数フレームの入力画像について、画像の濃淡分布を函数化して、その複数の画像の濃淡分布の相関関係から対応点推定を行い、推定された対応点の位置のフレーム毎の変化を画像の動き情報として函数化して表現する第1の函数化処理部と、
上記入力画像について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に、各フレームの画像情報を函数化する第2の函数化処理部と、
上記第の函数化処理部により函数化して表現された画像の動き情報と、上記第の函数化処理部により函数化して表現された信号空間毎の画像情報とを所定の形式で記述して符号化する符号化処理部と
を備えることを特徴とする動画処理装置。

【請求項2】
上記第の函数化処理部は、入力画像について、フルーエンシ理論に基づいて画像の濃淡分布を函数化し、函数化したフレーム毎の画像情報の間で最大相関値を与える座標を対応点とする対応点推定を行う対応点推定部と、該対応点の座標のフレーム毎の変化を時間的変化函数化して画像の動き情報として表現する動き函数化処理部からなり、
上記対応点推定部は、フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出手段と、上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する部分画像の函数近似手段と、該部分画像のフレーム間での函数の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とからなる
ことを特徴する請求項1記載の動画処理装置。

【請求項3】
上記第の函数化処理部は、上記入力画像について、フルーエンシ理論に基づいて信号空間を選択する領域自動分類処理部と、この領域自動分類処理部により選択した信号空間毎に画像情報を函数化して表現する函数表現部からなり、
上記函数表現部は、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の濃淡を面函数で近似して表現し濃淡情報を函数化する濃淡函数表現部と、
上記領域自動分類処理部により選択された多項式表現可能な領域について画像の輪郭線函数で近似して表現し輪郭情報を函数化する輪郭線函数表現部とを備える
ことを特徴する請求項1記載の動画処理装置。

【請求項4】
上記濃淡函数表現部は、上記領域自動分類処理部により選択された多項式表現可能な区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)の画像情報について、それぞれフルーエンシ函数を用いて濃淡情報を函数化することを特徴する請求項3記載の動画処理装置。

【請求項5】
上記輪郭線函数表現部は、上記領域自動分類処理部により選択された画像情報について、区分的直線、区分的2次曲線、区分的円弧を抽出し分類する輪郭自動分類処理部と、上記輪郭自動分類処理部により分類された区分的直線、区分的2次曲線、区分的円弧をそれぞれフルーエンシ函数を用いて近似することにより、輪郭情報を函数化する輪郭線函数化処理部とを備えることを特徴する請求項3記載の動画処理装置。

【請求項6】
上記符号化処理部により符号化された画像情報を入力とし、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第1の函数近似処理部と、上記第1の函数近似処理部により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理部と、上記対応点推定処理部により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第2の函数近似処理部と、上記第2の函数近似処理部で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似処理部からなる高フレームレート化処理部をさらに備えることを特徴とする請求項1記載の動画処理装置。

【請求項7】
入力された複数フレームの入力画像について、画像の濃淡分布を函数化して、その複数の画像の濃淡分布の相関関係から対応点推定を行い、推定された対応点の位置のフレーム毎の変化を画像の動き情報として函数化して表現する第1の函数化処理ステップと、
上記入力画像について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に、各フレームの画像情報を函数化する第2の函数化処理ステップと、
上記第の函数化処理部により函数化して表現された画像の動き情報と、上記第の函数化処理部により函数化して表現された信号空間毎の画像情報とを所定の形式で記述して符号化する符号化処理ステップと
を有することを特徴とする動画処理方法。

【請求項8】
上記第1の函数化処理ステップは、
入力画像について、フルーエンシ理論に基づいて画像の濃淡分布を函数化し、函数化したフレーム毎の画像情報の間で最大相関値を与える座標を対応点とする対応点推定を行う対応点推定ステップと、
上記対応点推定ステップで得られる上記対応点の座標のフレーム毎の変化を時間的変化函数化して画像の動き情報として表現する動き函数化処理ステップからなり、
上記対応点推定ステップは、
フレーム画像の部分領域を抽出する第1の部分領域抽出ステップと、
上記第1の部分領域抽出ステップにより抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出ステップと、
上記第1の部分領域抽出ステップ及び上記第2の部分領域抽出ステップにより抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する部分画像函数近似ステップ
上記函数近似ステップで得られる部分画像のフレーム間での函数の相関値を演算する相関値演算ステップと、
上記相関値演算ステップで算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算ステップと、
上記ずれ量演算ステップで得られる対応点の座標のフレーム毎の変化を時間的変化函数化して画像の動き情報として表現する動き函数化処理ステップからなり、
上記第1の部分画像函数近似ステップで得られる函数の相関値を演算する相関値演算ステップと、
上記相関値演算ステップで算出される相関値の最大値を与える座標の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算ステップ
有することを特徴する請求項7記載の動画処理方法。

【請求項9】
上記第の函数化処理ステップは、
上記入力画像について、フルーエンシ理論に基づいて信号空間を選択する領域自動分類処理ステップと、
上記領域自動分類処理ステップで選択された多項式表現可能な領域について画像の濃淡を面函数で近似して表現し濃淡情報を函数化する濃淡函数化処理ステップと、
上記領域自動分類処理ステップで選択された多項式表現可能な領域について画像の輪郭線函数で近似して表現し輪郭情報を函数化する輪郭線函数化処理ステップと
を有することを特徴する請求項7記載の動画処理方法。

【請求項10】
上記濃淡函数化処理ステップでは、上記領域自動分類処理ステップで選択された多項式表現可能な区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)の画像情報について、それぞれフルーエンシ函数を用いて濃淡情報を函数化することを特徴する請求項9記載の動画処理方法。

【請求項11】
上記輪郭線函数化処理ステップでは、上記領域自動分類処理ステップで選択された画像情報について、区分的直線、区分的2次曲線、区分的円弧を抽出することにより分類された区分的直線、区分的2次曲線、区分的円弧をそれぞれフルーエンシ函数を用いて近似することにより、輪郭情報を函数化することを特徴する請求項7記載の動画処理方法。

【請求項12】
さらに、上記符号化処理ステップで符号化された画像情報を入力とし、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第1の函数近似ステップと、
上記第1の函数近似ステップで近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定ステップと、
上記対応点推定ステップで推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第2の函数近似ステップと、
上記第2の函数近似ステップで近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似ステップと
を有することを特徴とする請求項7記載の動画処理方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2008227630thum.jpg
出願権利状態 登録
参考情報 (研究プロジェクト等) CREST 情報社会を支える新しい高性能情報処理技術 領域
ライセンスをご希望の方、特許の内容に興味を持たれた方は、問合せボタンを押してください。


PAGE TOP

close
close
close
close
close
close
close