Top > Search of Japanese Patents > DEVICE, METHOD AND PROGRAM FOR ESTIMATING CORRESPONDING POINT > Specification

Specification :(In Japanese)対応点推定装置、対応点推定方法及び対応点推定プログラム

Country (In Japanese)日本国特許庁(JP)
Gazette (In Japanese)特許公報(B2)
Patent Number P4743449
Publication number P2010-062954A
Date of registration May 20, 2011
Date of issue Aug 10, 2011
Date of publication of application Mar 18, 2010
Title of the invention, or title of the device (In Japanese)対応点推定装置、対応点推定方法及び対応点推定プログラム
IPC (International Patent Classification) H04N   7/32        (2006.01)
H04N   7/01        (2006.01)
FI (File Index) H04N 7/137 Z
H04N 7/01 Z
Number of claims or invention 3
Total pages 35
Application Number P2008-227627
Date of filing Sep 4, 2008
Date of request for substantive examination Sep 5, 2008
Patentee, or owner of utility model right (In Japanese)【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
Inventor, or creator of device (In Japanese)【氏名】寅市 和男
【氏名】武 徳安
【氏名】ジョナ ガンバ
Representative (In Japanese)【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃
【識別番号】100096677、【弁理士】、【氏名又は名称】伊賀 誠司
【識別番号】100106781、【弁理士】、【氏名又は名称】藤井 稔也
【識別番号】100113424、【弁理士】、【氏名又は名称】野口 信博
【識別番号】100150898、【弁理士】、【氏名又は名称】祐成 篤哉
Examiner (In Japanese)【審査官】益戸 宏
Document or reference (In Japanese)特許第3814353(JP,B2)
特許第3732978(JP,B2)
Field of search H04N 7/01
H04N 7/32
G06T 7/20
G06T 3/00
Scope of claims (In Japanese)【請求項1】
フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、
上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出手段と、
上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、
上記函数近似手段の出力の相関値を演算する相関値演算手段と、
上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段と
を備えることを特徴とする対応点推定装置。
【請求項2】
フレーム画像の部分領域を抽出する第1の部分領域抽出ステップと、
上記第1の部分領域抽出ステップで抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出ステップと、
上記第1の部分領域抽出ステップ及び上記第2の部分領域抽出ステップで抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似ステップと、
上記函数近似ステップで得られる出力の相関値を演算する相関値演算ステップと、
上記相関値演算ステップで算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算ステップと
を有することを特徴とする対応点推定方法。
【請求項3】
対応点推定装置に備えられるコンピュータにより実行される対応点推定プログラムであって、
フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、
上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出手段と、
上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、
上記函数近似手段の出力の相関値を演算する相関値演算手段と、
上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段として、
上記コンピュータを機能させることを特徴とする対応点推定プログラム。
Detailed description of the invention (In Japanese)【技術分野】
【0001】
本発明は、フレーム画像間の対応点を推定する対応点推定装置、対応点推定方法及び対応点推定プログラムに関する
【背景技術】
【0002】
近年、映画やテレビジョン放送、漫画などの映像・画像のネットワーク配信が増大し、表示画像の高精細化が求められている。
【0003】
従来、表示画像の高精細化に対応するための高解像度化変換処理では、フレーム毎の画素点における離散した濃淡値の変化から相関を求める方法が採られている。
【0004】
例えば、高解像度のテレビジョン受像機やディスプレイにおいて画像を表示する場合に、画像データの画素数をパネルの画素数に増やす高解像度化変換処理の手法として、線形内挿法や複数フレーム劣化逆変換法が知られている(例えば、特許文献1参照)。
【0005】
複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【0006】
近年、デジタル信号技術の進展に伴い、映像(動画像)、画像又は音声を対象にした、通信、放送、記録媒体[CD(Compact Disc)、DVD(Digital Versatile Disc)]、医用画像、印刷等の分野がマルチメディア産業或いはIT(Information Technology)として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のCDでは、圧縮を伴わないリニアPCM(Pulse Code Modulation)が用いられるが、信号理論は同様にシャノンの標本化定理である。
【0007】
従来、映像、アニメ画像などの動画の圧縮技術としてMPEGが知られており、デジタル放送やDVDにおけるMPEG-2方式の採用や、第3世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるMPEG-4方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムLSIの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。
【0008】
MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commition)13818-2)は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このMPEG2は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。MPEG2では、例えば720×480画素の標準解像度、飛び越し走査方式の画像データを4~8〔Mbps〕のビットレートにデータ圧縮することができ、また1920×1088画素の高解像度 、飛び越し走査方式の画像データを18~22〔Mbps〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。
【0009】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【0010】

【特許文献1】特開2008-988033号公報
【特許文献2】特開2003-284007号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
従来のシャノンの標本化定理に基づくA-D変換/D-A変換系では、ナイキスト周波数によって帯域制限された信号を扱う。このとき、D-A変換において、標本化によって離散的になった信号の連続波への再生に、制限された帯域内の信号を再現する函数(正則函数)が用いられていた。
【0012】
本願発明者の一人は、映像(動画像)、文字図形や自然画等の画像又は音声等の信号の持つ種々の性質をフルーエンシ函数を用いて分類可能であることを見出した。この理論によれば、シャノンの標本化定理に基づく上記正則函数は、フルーエンシ函数の一つであり、信号が持つ種々の性質の内の一つの性質に適合するにとどまる。従って、種々の性質をもつ信号をシャノンの標本化定理に基づく上記正則函数のみで扱うのでは、D-A変換後の再生信号の品質に限界を与える恐れがあることとなる。
【0013】
上記ウェーブレット変換理論は、対象を解像度で分解するマザーウェーブレットを用いて信号を表すものであるが、信号に最適のマザーウェーブレットが与えられるとは限らず、やはりD-A変換後の再生信号の品質に限界を与える恐れがあることとなる。
【0014】
ここで、フルーエンシ函数は、パラメータm(mは1~∞の正の整数)によって類別される函数である。mは、その函数が(m-2)回のみ連続微分可能であることを表す。因みに、上記正則函数は何回でも微分可能であるので、mが∞である。更に、フルーエンシ 函数は、(m-1)次の函数で構成され、特にフルーエンシ 函数の内のフルーエンシ DA函数は、標本間隔をτとして、着目するk番目の標本点kτで数値が与えられるが、その他の標本点では0となる函数である。
【0015】
信号の性質は、パラメータmを持つフルーエンシ函数によって全てが分類可能となり、パラメータmによってクラス分けされる。そのため、フルーエンシ 函数を用いたフルーエンシ 情報理論は、従来の信号の性質の一部を表すにとどまっていたシャノンの標本化定理やウェーブレット変換理論等を包含し、信号の全体を表す理論体系であると位置付けられる。そのような函数を用いることにより、D-A変換後に、シャノンの標本化定理によって帯域制限されることのない高品質の再生信号を、信号の全体に亘って得ることが期待される。
【0016】
ところで、従来のフレーム毎の画素点における離散した濃淡値の変化から相関を求める方法では、対応する画像が画素間に存在する場合は対応点がずれる問題があった。
【0017】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、画像の対応点を正確に把握することのできる対応点推定装置、対応点推定方法及び対応点推定プログラムを提供することにある。
【0018】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【0019】
本発明では、画像の濃淡を連続的な変化状態として捉えることにより、画像の対応点を正確に把握する。
【0020】
すなわち、本発明は、対応点推定装置であって、フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレームの部分領域を抽出する第2の部分領域抽出手段と、上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とを備えることを特徴とする。
【0021】
また、本発明は、対応点推定方法であって、フレーム画像の部分領域を抽出する第1の部分領域抽出ステップと、上記第1の部分領域抽出ステップで抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出ステップと、上記第1の部分領域抽出ステップ及び上記第2の部分領域抽出ステップで抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似ステップと、上記函数近似ステップで得られる出力の相関値を演算する相関値演算ステップと、上記相関値演算ステップで算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算ステップとを有することを特徴とする。
【0022】
さらに、本発明は、対応点推定装置に備えられるコンピュータにより実行される対応点推定プログラムであって、フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出手段と、上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段として、上記コンピュータを機能させることを特徴とする。
【発明の効果】
【0023】
本発明は、画像の濃淡を連続的な変化状態として捉え、フレーム画像の部分領域を抽出するとともに、抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出し、抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現した出力の相関値を算出し、算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量とすることにより、画像の対応点を正確に把握することができる。
【0024】
したがって、本発明によれば、フレーム間でずれのない画像対応点の抽出が可能となり、圧縮精度、画像補間、フレームレート変換などの高解像度変換を構成に行うことが可能となる。また、テレビジョン受像機の大型化、モバイル端末の動画再生などの高精細化に対応可能で、動画の利用形態の拡大に繋がる。
【発明を実施するための最良の形態】
【0025】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
この対応点推定装置1は、画像の濃淡を連続的な変化状態として捉え、フルーエンシ情報理論により、画像の対応点を推定するものであって、第1の部分領域抽出部2と、第2の部分領域抽出部3と、函数近似部4と、相関値演算部5と、ずれ量演算部6として機能するコンピュータからなる。
【0026】
この対応点推定装置1において、第1の部分領域抽出部2は、入力画像についてフレーム画像の部分領域を抽出する。
【0027】
また、第2の部分領域抽出部3は、上記第1の部分領域抽出部2により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する。
【0028】
また、函数近似部4は、上記第1の部分領域抽出部2及び上記第2の部分領域抽出部3により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する。
【0029】
また、相関値演算部5は、上記函数近似部4の出力の相関値を演算する。
【0030】
さらに、ずれ量演算部6は、上記相関値演算部5により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するとからなる。
【0031】
そして、この対応点推定装置1では、第1の部分領域抽出部2によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第1の部分領域抽出部2により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第2の部分領域抽出部3により抽出し、函数近似部4により上記第1の部分領域抽出部2及び上記第2の部分領域抽出部3により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
【0032】
ここで、画像f1(x,y),f2(x,y)は、空間S(m)(R2)に属していると仮定し、φm(t)を(m-2)次の区分多項式で次の式(1)のように表し、
【0033】
【数1】
JP0004743449B2_000002t.gif

【0034】
上記空間S(m)(R2)を次の式(2)のように表すと、
【0035】
【数2】
JP0004743449B2_000003t.gif

【0036】
フレーム間の相関関数c(τ1,τ2)は、次の式(3)として表すことができる。
【0037】
【数3】
JP0004743449B2_000004t.gif

【0038】
そして、上記仮定、すなわち、
【0039】
【数4】
JP0004743449B2_000005t.gif

【0040】
から、フレーム相関関数を表す式(3)は、次の式(4)で示すことができる。
【0041】
【数5】
JP0004743449B2_000006t.gif

【0042】
すなわち、上記フレーム間の相関関数c(τ1,τ2)は、図2に示すような2m次補間を行う空間S(2m)(R2)に属し、上記2m次補間を行う空間S(2m)(R2)の標本化周波数ψ2m(τ1,τ2)は一意的に存在し、上記フレーム間の相関関数c(τ1,τ2)は、次の式(5)にて表される。
【0043】
【数6】
JP0004743449B2_000007t.gif

【0044】
式(4)から、相関面を補間するために、(2m-1)次の区分的な多項式の関数を構築することができる。
【0045】
すなわち、ブロックに基づく動きベクトル評価アプローチによって、適切に式(3)の別々のブロック動きベクトルの初期の推定を得て、それから、任意の正確さの本当の動きを得る式(4)を適用する。
【0046】
分離可能な相関面補間関数の一般形は、式(6)にて表される。
【0047】
【数7】
JP0004743449B2_000008t.gif

【0048】
ここで、Ckとdlが補間係数であり、M2m(x)=φ2m(x+2)・φm(x)は、(m-1)次のB-スプラインである。
【0049】
式(6)における適切な打ちきり制限により、上記相関関数c(τ1,τ2)は、次の式(7)によって近似することができる。
【0050】
【数8】
JP0004743449B2_000009t.gif

【0051】
ここで、K1=[τ1]-s+1,K2=[τ2]+s,L1=[τ2]-s+1,L2=[τ2]+sであり、sはφm(x)を定める。
【0052】
そして、例えば、m=2とき、次の式(8)を式(7)に代入することにより、望ましい補間式を得る。
【0053】
【数9】
JP0004743449B2_000010t.gif

【0054】
動きベクトルvは、次の式(9)を使って導出される。
【0055】
【数10】
JP0004743449B2_000011t.gif

【0056】
上記相関関数c(τ1,τ2)は、整数点の情報だけを用いて再生することができ、相関値演算部5は、上記相関関数c(τ1,τ2)により上記函数近似部4の出力の相関値を算出する。
【0057】
そして、ずれ量演算部6は、上記相関値演算部5により算出される相関値の最大値を与える画像の位置ずれを示す式(9)により動きベクトルVを演算し、得られる動きベクトルVを対応点のずれ量として出力する。
【0058】
ここで、上記対応点推定装置1による対応点推定による動きベクトルVの決定の様子を図3に模式的に示す。
【0059】
すなわち、この対応点推定装置1では、図3の(A)に示すように、フレーム画像(k)の部分領域を取り出し、この部分領域に相似な連続する他のフレーム画像の部分領域を抽出して、図3の(B)に示すように、
【0060】
【数11】
JP0004743449B2_000012t.gif

【0061】
にて表される相関関数c(τ1,τ2)を用いて各フレーム間の相関を計算して、図3の(C)に示すように、相関曲面のピーク点て動きを検出し、動きベクトルvを上記式(13)にて求めことにより、図3の(D)に示すように、フレーム画像(k)における画素の動きを決定する。
【0062】
このようにして決定されたフレーム画像(k)の各ブロックの動きベクトルは、同じフレーム画像(k)の各ブロックの動きベクトルを従来のブロックマッチングにより決定されものと比較して、各ブロック間で滑らかに変化するものとなる。
【0063】
すなわち、例えば、図4の(A)に示すように、被写体が回転する動きのあるフレーム1とフレーム2について、2フレーム対応点推定と不均等補間により4倍拡大を行ったところ、図4の(B1),(C1)に示すように、従来のブロックマッチングによる推定対応点で推定された動きベクトルには変化が滑らかなでない部分が生じたが、上述の如き構成の対応点推定部31Aによる推定対応点で推定された動きベクトルの変化は、図4の(B2),(C2)に示すように、全体的に滑らかなものとなっている。しかも、1/Nの精度での計算量は、従来手法ではN2であるのに対し、本手法ではNとなる。
【0064】
本発明は、例えば図5に示すような構成の映像信号変換システム100に適用され、上記対応点推定装置1が圧縮符号化処理部30に搭載される。
【0065】
この映像信号変換システム100は、撮像装置等の画像入力部10から入力される画像情報にノイズ除去処理を施す前処理部20、上記前処理部20によりノイズ除去処理が施された画像情報が入力され、入力された画像情報を圧縮符号化する圧縮符号化処理部30、上記圧縮符号化処理部30により圧縮符号化された画像情報を高フレームレート化する高フレームレート化処理部40などからなる。
【0066】
この映像信号変換システム100における前処理部20は、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、図6に示すようなシステムモデルにより、真の入力画像f(x,y)が入力されるぼけ函数H(x,y)の劣化モデル21の出力
【0067】
【数12】
JP0004743449B2_000013t.gif

【0068】
にノイズn(x,y)を付加することにより観測画像g(x,y)を得て、図7に示すようなリストレーションシステムモデルにより、上記観測画像g(x,y)を入力として推定された画像
【0069】
【数13】
JP0004743449B2_000014t.gif

【0070】
を得る逆フィルタ22からなる。
【0071】
前処理部20は、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、原画像をクロネッカー積の特性を利用して評価する。
【0072】
クロネッカー積は、次のように定義される。
【0073】
A=[aij]をmn行列、B=[bij]をst行列とするとき、クロネッカー積
【0074】
【数14】
JP0004743449B2_000015t.gif

【0075】
は、次のような、ms×nt行列である。
【0076】
【数15】
JP0004743449B2_000016t.gif

【0077】
ここで、
【0078】
【数16】
JP0004743449B2_000017t.gif

【0079】
は、クロネッカー積演算子を表す。
【0080】
また、クロネッカー積の基本的な性質は、次の通りである。
【0081】
【数17】
JP0004743449B2_000018t.gif

【0082】
ここで、
【0083】
【数18】
JP0004743449B2_000019t.gif

【0084】
は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。
【0085】
この前処理部20における画像モデルでは、未知の真の入力画像f(x,y)が存在するものと仮定して、上記劣化モデル21の出力

【0086】
【数19】
JP0004743449B2_000020t.gif

【0087】
にノイズn(x,y)を付加することにより得られる観測画像g(x,y)は、次の式(10)にて表すことができる。
【0088】
【数20】
JP0004743449B2_000021t.gif

【0089】
ここで、
【0090】
【数21】
JP0004743449B2_000022t.gif

【0091】
は、この画像システムにより得られる劣化画像を代表し、また、n(x,y)は付加したノイズである。そして、劣化画像
【0092】
【数22】
JP0004743449B2_000023t.gif

【0093】
は、次の式(11)で示される。
【0094】
【数23】
JP0004743449B2_000024t.gif

【0095】
ここで、h(x,y;x’,y’)は、劣化システムのインパルス応答を代表している。
【0096】
使用される画像は離散量であるから、入力画像f(x,y)の画像モデルは、式(12)のように書き換えることができる。
【0097】
【数24】
JP0004743449B2_000025t.gif

【0098】
ここで、Hk(x)Hl(y)は、次の式(13)のようにマトリクス形式で表すことにより、劣化モデルの点像強度分布函数(PSF:Point Spread Function)Hとなる。
【0099】
【数25】
JP0004743449B2_000026t.gif

【0100】
上記逆フィルタ22の特性は、図8のフローチャートに示す手順にしたがった学習処理により決定される。
【0101】
すなわち、学習処理では、先ず、観測画像g(x,y)を入力画像gとして読み込み(ステップS1a)、
【0102】
【数26】
JP0004743449B2_000027t.gif

【0103】
として画像gEを構成して(ステップS2a)、
【0104】
【数27】
JP0004743449B2_000028t.gif

【0105】
の特異値分解(SVD:singular value decomposition)を行う(ステップS3a)。
【0106】
また、劣化モデルの点像強度分布函数(PSF:Point Spread Function)Hを読み込み(ステップS1b)、
【0107】
【数28】
JP0004743449B2_000029t.gif

【0108】
なるクロネッカー積で示される劣化モデルを構築して(ステップS2b)、上記劣化モデルの函数Hの特異値分解(SVD:singular value decomposition)を行う(ステップS3b)。
【0109】
ここで、システム方程式gは
【0110】
【数29】
JP0004743449B2_000030t.gif

【0111】
と書き直すことができる。
【0112】
そして、
【0113】
【数30】
JP0004743449B2_000031t.gif

【0114】
として新たな画像gKPAを算出する(ステップS4)。
【0115】
そして、算出した新たな画像gKPAについて、
【0116】
【数31】
JP0004743449B2_000032t.gif

【0117】
なる最小化処理を行い(ステップS5)、得られたfKについて、
【0118】
【数32】
JP0004743449B2_000033t.gif

【0119】
なるテスト条件を満たすか否かを判定する(ステップS6)。
【0120】
ここで、kは繰り返し番号であり、ε,cは、それぞれ判定の閾値である。
【0121】
そして、上記ステップS6における判定結果がFaise、すなわち、上記ステップS5で得られたfKが上記テスト条件を満たしていない場合には、上記劣化モデルの函数Hについて、
【0122】
【数33】
JP0004743449B2_000034t.gif

【0123】
なる最小化処理を行い(ステップS7)、上記ステップS3bに戻り、上記ステップS6で得られた函数HK+1について特異値分解(SVD:singular value decomposition)を行い、上記ステップS3bからステップS7の処理を繰り返し行い、上記ステップS6における判定結果がTrue、すなわち、上記ステップS5で得られたfKが上記テスト条件を満たす場合に、上記ステップS5で得られたfK
【0124】
【数34】
JP0004743449B2_000035t.gif

【0125】
として(ステップS8)、1の入力画像gに対する学習処理を終了する。
【0126】
上記逆フィルタ22の特性は、上記学習処理を多数の入力画像gについて行うことにより決定される。
【0127】
すなわち、ここでは、h(x,y)*f(x,y)を代表してHfとして表し、システムの方程式を
【0128】
【数35】
JP0004743449B2_000036t.gif

【0129】
とし、また、
【0130】
【数36】
JP0004743449B2_000037t.gif

【0131】
として、fを近似して、目的とする新たな画像gEを次のように導出している。
【0132】
【数37】
JP0004743449B2_000038t.gif

【0133】
ここで、Eは予測を示す。新たな画像gEは、原画像のエッジ細部の保存や強調として構成される。
【0134】
新たな画像gEは、
【0135】
【数38】
JP0004743449B2_000039t.gif

【0136】
として得られる。ここで、CEPとCENは、それぞれエッジ保存とエッジ強調の演算子である。
【0137】
そして、シンプルなラプラシアンカーネルCEN=∇2fと制御パラメータβとγを持ったガウシャンカーネルCEPを選択し、
【0138】
【数39】
JP0004743449B2_000040t.gif

【0139】
とする。
【0140】
そして、
【0141】
【数40】
JP0004743449B2_000041t.gif

【0142】
として、最小化問題を再構築し、次の特異値分解(SVD:singular value decomposition)から
【0143】
【数41】
JP0004743449B2_000042t.gif

【0144】
上記劣化モデルの函数Hを
【0145】
【数42】
JP0004743449B2_000043t.gif

【0146】
として推定して用いる。
【0147】
この映像信号変換システム100における前処理部20のように、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うことにより、ノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことができる。
【0148】
この映像信号変換システム100は、上記前処理部20によりノイズ除去処理が施された画像情報について、圧縮符号化処理部30により圧縮符号化し、圧縮符号化された画像情報をフレームレート化処理部40により高フレームレート化する。
【0149】
この映像信号変換システム100における圧縮符号化処理部30は、フルーエンシ理論に基づく圧縮符号化処理を行うもので、図9に示すように、第1の函数化処理部31、第2の函数化処理部32、上記第1の函数化処理部31と第2の函数化処理部32で函数化された各画像情報を所定の形式で記述して符号化する符号化処理部33などを備える。
【0150】
第1の函数化処理部31は、上記前処理部20によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う対応点推定部31Aと、上記対応点推定部31Aにより推定された各フレーム画像の対応点の画像情報を用いて、動き部分の画像情報を函数化する動き函数化処理部31Bからなる。
【0151】
この映像信号変換システム100における第1の函数化処理部31を構成する対応点推定部31Aは、上記対応点推定装置1からなり、上記前処理部20によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う。そして、動き函数化処理部31Bでは、上記対応点推定部31Aにおける対応点推定により得られる動きベクトルVを用いて、動き部分の画像情報を函数化する。
【0152】
すなわち、動き函数化処理部31Bでは、基準フレーム毎に部分動画像の対応点が推定されると、その移動量すなわち対応点のずれ量はフレームの座標位置x、yの変化に対応するので、図10に示すように、フレームの原点を左上隅に取った場合、例えば、図11の(A)に示すような各フレームの画像の動きについて、図11の(B),(C)に示すように各フレームのX座標、Y座標の動きとして表し、X座標、Y座標それぞれの動きの変化を函数近似して函数化する。そして、図12に示すように、その函数で補間してフレーム間の位置を推定することにより動き補償を行う。
【0153】
また、第2の函数化処理部32は、フルーエンシ情報理論に基づき、輪郭、濃淡、フレーム間情報を近似するフルーエンシ函数化処理により、入力画像を符号化するものであって、領域自動分類処理部32A、輪郭函数近似処理部32B、濃淡函数化処理部32C、周波数函数近似処理部32Dなどからなる。
【0154】
領域自動分類処理部32Aは、入力画像をフルーエンシ情報理論に基づいて、区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)、不規則領域(m≧4)に分類する。
【0155】
フルーエンシ情報理論では、信号を信号空間という概念で次数mによって指定されるクラスに分類する。
【0156】
信号空間mSは、(m-2)回連続微分可能な変数を持つ(m-1)次の区分的多項式によって表される。
【0157】
信号空間mSは、m=1のとき、階段関数のものと等しくなり、またm=∞のとき、フーリエべき関数のものと等しくなることが証明されている。フルーエンシモデルは、フルーエンシ標本化関数を定義することで、この信号空間mSに属する信号と離散時間信号との関係を明確化するモデルである。
【0158】
輪郭函数近似処理部32Bは、輪郭自動分類処理部321と関数近似処理部322からなり、上記領域自動分類処理部32Aにより分類された区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)に含まれる直線、円弧、2次曲線を上記輪郭自動分類処理部321により抽出して関数近似処理部322により関数近似する。
【0159】
濃淡函数化処理部32Cは、上記領域自動分類処理部32Aにより分類される区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)について、フルーエンシ函数を用いて濃淡函数化処理を行う。
【0160】
周波数函数近似処理部32Dは、上記領域自動分類処理部2により分類される不規則領域(m≧4)、すなわち、多項式表現できない領域について、DCT等により周波数函数近似処理を行う。
【0161】
この第2の函数化処理部32では、映像のフレーム毎に多数の多変数フルーエンシ函数を使って、画像の濃淡や輪郭を表現することができる。
【0162】
そして、符号化処理部33は、上記第1の函数化処理部31と第2の函数化処理部32で函数化された各画像情報を所定の形式で記述して符号化する。
【0163】
さらに、高フレームレート化処理部40は、例えば、図13に示すように構成される。
【0164】
この高フレームレート化処理部40は、例えば図14の(A),(B)に示すように、原フレーム間に補間フレームを挿入することにより、図14の(A)に示す低フレームレート(この例では30フレーム/秒)の動画を図14の(B)に示す高フレームレートの動画(この例では60フレーム/秒)に変換する高フレームレート化処理を行うもので、対応点推定処理部41、第1の階調値生成処理部42、第2の階調値生成処理部43、第3の階調値生成処理部44などからなる。
【0165】
この高フレームレート化処理部40において、対応点推定処理部41は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する。
【0166】
また、第1の階調値生成処理部42は、上記対応点推定処理部41により推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める。
【0167】
また、第2の階調値生成処理部43は、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める。
【0168】
さらに、第3の階調値生成処理部44は、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する。
【0169】
この映像信号変換システム100において、上記高フレームレート化処理部40の機能は、図示しない記憶部から読み出される映像信号変換プログラムをコンピュータにより実行することに実現され、図15のフローチャートに示すステップS11~ステップS14の手順に従って、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理を実行することに実現される。
【0170】
すなわち、この高フレームレート化処理部40では、先ず、図16の(A)に示すように、時間t=kの画像フレームを基準フレームF(k)とし、基準フレームF(k)における複数個の画素Pn(k)について、時間t=k+1の画像フレームF(k+1)、時間t=k+2の画像フレームF(k+2)、・・・時間t=k+mの画像フレームF(k+m)における各動きベクトルを求めて、各画像フレーム(k+1),(k+2),・・・F(k+m)における各対応点Pn(k+1),Pn(k+2),・・・P(k+m)を推定する対応点推定処理を行う(ステップS11)。
【0171】
次に、上記ステップS11で推定した各画像フレーム(k+1),(k+2),・・・F(k+m)における各対応点Pn(k+1),Pn(k+2),・・・P(k+m)について、図16の(B)に示すように、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第1の階調値生成処理を行う(ステップS12)。
【0172】
次に、上記基準フレームF(k)における複数個の画素Pn(k)に対して、図16の(C)に示すように、上記ステップS12で生成した各対応点Pn(k+1),Pn(k+2),・・・P(k+m)における各階調値、すなわち、各画像フレーム(k+1),(k+2),・・・F(k+m)の対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函函数から各画像フレーム(k+1),(k+2),・・・F(k+m)間の補間フレームにおける対応点の各階調値を求める第2の階調値生成処理を行う(ステップS13)。
【0173】
次のステップS14では、図16の(D)に示すように、上記ステップS13の第2の階調値生成処理により生成した補間フレームF(k+1/2)における各対応点の階調値から、不均等補間により時間t=k+1/2の補間フレームF(k+1/2)における各画素の階調値を生成する第3の階調値生成処理を行う(ステップS14)。
【0174】
ここで、複数フレームからなる動画像は、その動きのある部分画像のフレーム上の位置はフレーム毎に異なる。また、一つのフレーム上の画素点は、他のフレーム上の異なる位置の画素点に移動するとは限らず、画素間に対応することが通常である。すなわち、1つの自然画は、連続した情報としたとき、2つのフレーム上では異なる位置の画素情報をそれぞれ表していることになる。特に、フレーム間の補間により、新規フレーム画像を生成する場合は、元のフレーム上の画素情報と新規フレーム上での画素上は殆ど全て異なる。例えば、図17の(A),(B)に示すような2つのフレーム画像を同一点で重ね合わせると、各フレームの画素点(ここでは、説明のための粗くしている)の関係は、図17の(C)に示すような関係となる。すなわち、画像の移動分ずれる。この2つのフレーム画像を用いて、第1フレームの格子点(印のない画素点)の濃淡値を求めるためには、不均等補間処理が必要となる。
【0175】
例えば、図18に示すように、画像の解像度を変換した際に新たに生成された画素u(τx,τy)位置の値を決める画像補間処理は、原画素u(xi,yj)と補間函数h(x)の畳み込み処理により行われる。
【0176】
【数43】
JP0004743449B2_000044t.gif

【0177】
そして、複数のフレーム画像を用いて同一部分画像を対応させ、図19の(A)に示すような均等補間函数を用いて所望の対応点近傍における水平(垂直)方向の画素情報から均等補間により求めた各フレーム毎の補間情報、すなわち、例えば図20に示すように、フレーム1及びフレーム2の各内挿画素値×を垂直(水平)方向の画素情報として、図19の(B)に示すような不均等補間函数を用いてフレームのずれ量に基づき不均等補間を行い、図20に示すように、フレーム1における所望の位置○の画素情報を決定する。
【0178】
ここで、高フレームレート化処理部40では、上述の如き高フレームレート化処理を行うとともに、2フレーム画像を用いて拡大補間処理を行う機能を備えるものとすることができる。2フレーム画像を用いて拡大補間処理を行う機能は、例えば、例えば図21に示すように、入力データ制御回路51、出力同期信号生成回路52、SRAM53、SRAM選択部54、画像処理モジュール55により構成される拡大補間処理装置50により実現される。
【0179】
この拡大補間処理装置50において、入力データ制御回路51は、水平同期信号及び垂直同期信号とともに供給される入力画像すなわち各画素の画像情報をSRAM選択部54に順次入力する制御を行う。
【0180】
出力同期信号生成回路52は、供給される水平同期信号及び垂直同期信号に基づいて出力側同期信号を生成し、生成した出力側同期信号を出力するとともにSRAM選択部54に供給する。
【0181】
SRAM選択部54は、例えば、図22に示すように構成され、供給される同期信号に生成される書き込み制御信号及び読み出し制御信号に基づいて制御信号切り換え回路54Aから供給されるメモリ選択信号に応じた動作を行う書き込みデータ選択部54Bと読み出しデータ選択部54Cにより、入力データ制御回路51を介して入力される入力画像を1フレームごとSRAM53に格納し、同時に2フレームの画像を出力同期信号生成回路52により生成された出力側同期信号に同期して読み出す。
【0182】
また、画像処理モジュール55は、フレーム間情報による画像補間処理を行う例えば、図23に示すように構成される。
【0183】
すなわち、画像処理モジュール55は、SRAM選択部54を介してSRAM53から同時に読み出された2フレームの画像情報が入力される窓設定部55A、第1の均等補間処理部55B及び第2の均等補間処理部55C、上記窓設定部55Aにより上記2フレームの画像情報から抽出された画素の情報が入力されるずれ量推定部55D、このずれ量推定部55Dにより推定されたずれ量ベクトルと上記第2の均等補間処理部55Cにより補間された画素の情報入力されるずれ補正部55E、このずれ補正部55Eにより補正された画素の情報及び上記第1の補間処理部55Bにより補間された画素の情報が入力される不均等補間処理部55Fからなる。
【0184】
画像処理モジュール55では、図24の(A),(B)に示すように、SRAM選択部54を介して入力される2つのフレーム画像f,gについて、窓設定部55Aにより所定のポイント(p,q)にウインドウを設定し、ずれ量推定部55Dにより、片方のフレーム画像gのウインドウをずれ量(τx,τy)だけずらして、ウインドウ内の相対位置(x,y)の画素値により内積演算を行い、その値を相互相関値Rpq(τx,τy)とする。
【0185】
【数44】
JP0004743449B2_000045t.gif

【0186】
そして、ずれ量(τx,τy)を変化させてポイント(p,q)の回りでの相互相関値Rpq(τx,τy)が最大となるずれ量(τx,τy)を抽出する。
【0187】
【数45】
JP0004743449B2_000046t.gif

【0188】
なお、2つのフレーム画像f,gのウインドウ内画素データをそれぞれフーリエ変換して相互相関値Rpq(τx,τy)を求めることもできる。
【0189】
そして、この拡大補間処理装置50では、図25のフローチャートに示すように手順に従って拡大補間処理を行う。
【0190】
すなわち、画像処理モジュール55では、SRAM53からSRAM選択部54を介して2つのフレーム画像f,gが読み出されると(ステップA)、ずれ量推定部55Dで相関演算処理により2つのフレーム画像f,gのずれ量(τx,τy)を演算する(ステップB)。
【0191】
そして、フレーム1の画像fについて均等補間による内挿画素値を第1の均等補間処理部55Bで演算することにより、水平方向あるいは垂直方向に拡大する(ステップC)。
【0192】
また、フレーム2の画像gについて均等補間による内挿画素値を第2の均等補間処理部55Cで演算することにより、水平方向あるいは垂直方向に拡大する(ステップD)。
【0193】
さらに、フレーム2の拡大画像をフレーム1に対するずれ量分移動した画素位置での画素値をずれ量補正部55Eにより演算する(ステップE)。
【0194】
そして、不均等補間処理部55Fにおいて、フレーム1の内挿画素値2点とフレーム2の移動位置の画素値2点の計4点の画素値からフレーム1における求める位置の画素値を不均等補間で垂直方向あるいは水平方向に拡大演算を行い(ステップF)、フレーム1の補間演算結果を拡大画像として出力する(ステップG)。
【0195】
このような拡大補間処理を行う機能を備えるフレームレート変換装置110は、例えば、図26に示すように構成される。
【0196】
このフレームレート変換装置110は、第1の函数近似処理部111、対応点推定処理部112、第2の函数近似処理部113、第3の函数近似処理部114として機能するコンピュータからなる。
【0197】
第1の函数近似処理部111は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第1の函数近似処理を行う。
【0198】
対応点推定処理部112は、上記第1の函数近似部111により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理を行う。
【0199】
第2の函数近似処理部113は、上記対応点推定部112により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第2の函数近似を行う。
【0200】
第3の函数近似処理部114は、上記第2の函数近似部113で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似処理を行う。
【0201】
このフレームレート変換装置110では、第1の函数近似処理部111により、基準フレームにおける複数個の画素について、その濃淡分布を函数近似し、対応点推定処理部112により、上記第1の函数近似処理部111で近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とし、第2の函数近似処理部113により、上記対応点推定処理部112で推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する。そして、第3の函数近似処理部114により、第2の階調値生成処理部113で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換することにより、拡大補間処理とともに高フレームレート化処理を行う。
【0202】
この映像信号変換システム100では、上述の如く、撮像装置等の画像入力部10から入力される画像情報に前処理部20によりノイズ除去処理を施し、上記前処理部20によりノイズ除去処理が施された画像情報を圧縮符号化処理部30により圧縮符号化し、上記フレームレート変換装置1を用いた高フレームレート化処理部40において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成する。
【0203】
すなわち、この映像信号変換システム100は、映像のフレーム毎に多数のフルーエンシ函数を使って輪郭などを表現し、離散フレーム列を時間方向で区分多項式に基づく連続関数で表すことで、任意フレームレートの高品位な映像を再生できるようにしたものである。
【0204】
フルーエンシ情報理論では、信号が連続的に微分可能であるという度数に基づいて、次数mによって指定されるクラスにおける信号空間を分類する。
【0205】
そして、どのようなm>2に対しても、subspace spannedは、(m-2)回のみ連続微分可能な(m-1)次の区分的な多項式によって表される。
(m=3)クラスの標本化関数ψ(x) は、1回のみ連続微分可能な2次の区分多項式の線形結合により次の式(14)で表される。
【0206】
【数46】
JP0004743449B2_000047t.gif

【0207】
ここで、φ(x)は次の式(15)で示される。
【0208】
【数47】
JP0004743449B2_000048t.gif

【0209】
そして、ψ(x)は、標本化函数であるため、標本列と畳み込み演算で区間の函数を求めることができる。
【0210】
ここで、τ=1とき、式(14)は、次の式(16)よって与えられる区分的な多項式
として表されることができる。
【0211】
【数48】
JP0004743449B2_000049t.gif

【0212】
例えば、(m=3)クラスの不均等フルーエンシ補間函数
【0213】
【数49】
JP0004743449B2_000050t.gif

【0214】
は、図27に示すような函数である。
【0215】
不均等補間フルーエンシ関数
【0216】
【数50】
JP0004743449B2_000051t.gif

【0217】
は、度数2の8部分多項式から成り、(m=3)クラスの不均等補間フルーエンシ関数は、図27で示すようにs1(x)~S8(x)に指定される不均等の間隔で定められ、その構成要素は、次の式(17)で与えられる。
【0218】
【数51】
JP0004743449B2_000052t.gif

【0219】
ここで、
【0220】
【数52】
JP0004743449B2_000053t.gif

【0221】
である。
【0222】
ここで、高解像度補間の実例を図28に示す。
【0223】
また、図29は、補間のためのピクセル構造の具体例を示している。
【0224】
図29において、Frame_1のピクセルは、Frame_2でピクセルを変える異なる動きベクトル
【0225】
【数53】
JP0004743449B2_000054t.gif

【0226】
を持つ。
【0227】
図28は2つの連続的なフレームから一次元イメージ補間の概念を例示している。
【0228】
動き評価は、ブロック・サイズと検索ウィンドウ・サイズが知られている全検索ブロックマッチングのアルゴリズムによるものとされる。
【0229】
高解像度フレームピクセルは、f(τx,τy)によって表され、ピクセル構造は、図29の高解像度補間アプローチの1例に示すようである。
【0230】
第1のステップでは、ビデオ・シーケンスから2つの連続的なフレームを得て、f1(x,y)とf2(x,y)によって表す。
【0231】
第2のステップでは、動きベクトルの初期推定を行う。
【0232】
【数54】
JP0004743449B2_000055t.gif

【0233】
にて、動きベクトルの初期推定を行う。
【0234】
ここで、
【0235】
【数55】
JP0004743449B2_000056t.gif

【0236】
である。
【0237】
式(18)において、
【0238】
【数56】
JP0004743449B2_000057t.gif

【0239】
はサーチウインドウの平均を表し、そして、
【0240】
【数57】
JP0004743449B2_000058t.gif

【0241】
はマッチングにおける現ブロックの平均を表す。
【0242】
第3のステップでは、式(12)と式(17)を用いた全ピクセル
【0243】
【数58】
JP0004743449B2_000059t.gif

【0244】
のために、第2ステップから動きベクトル
【0245】
【数59】
JP0004743449B2_000060t.gif

【0246】
付近の一つのピクセルの中から動きベクトルを得る。
【0247】
第4のステップでは、以下の通りに均等水平補間を実行する。
【0248】
【数60】
JP0004743449B2_000061t.gif

【0249】
第5のステップでは、第4のステップで得られるピクセルを使っている不均等垂直補間を式(20)により実行する。
【0250】
【数61】
JP0004743449B2_000062t.gif

【0251】
第4のステップと第5のステップは、高解像度イメージで全てのピクセルのために繰り返される。
【0252】
フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
【0253】
フルーエンシ理論に基づいて、フレーム間の相関函数の属する函数空間を正確に決定することにより、任意精度で動きベクトルを求めることができる。
【0254】
フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
【0255】
このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
【0256】
例えば、図30の(A)に示すように、フレームkとフレームk+1の間の任意時刻におけるフレームを生成する場合、均等補間により補間フレームF(k+1/2)を生成して1/2精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を1/2精度で生成する従来の高フレームレート化処理では、図30の(B1),(C1)に示すように、挿入される補間フレームの画像は動きのある部分が劣化するが、上記高フレームレート化処理部40のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、図30の(B2),(C2)に示すように、動きのある部分が劣化することなく高フレームレート化することができた。
【0257】
この映像信号変換システム100では、撮像装置等の画像入力部10から入力される画像情報に前処理部20によりノイズ除去処理を施し、上記前処理部20によりノイズ除去処理が施された画像情報を圧縮符号化処理部30により圧縮符号化し、上記高フレームレート化処理部40において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、上記圧縮符号化処理部30により圧縮符号化された画像情報を高フレームレート化することにより、鮮明で円滑な動きの映像信号を得ることができる。
【図面の簡単な説明】
【0258】
【図1】対応点推定装置の構成を示すブロック図である。
【図2】フレーム間の相関関数が属する2m次補間を行う空間の説明に供する図である。
【図3】上記対応点推定装置による対応点推定による動きベクトルの決定の様子を模式的に示す図である。
【図4】上記対応点推定装置による対応点推定により決定した動きベクトルと、従来のブロックマッチングにより決定された動きベクトルとを比較して示す図である。
【図5】本発明を適用した映像信号変換システムの構成を示すブロック図である。
【図6】上記映像信号変換システムにおける前処理部を構築するために用いるシステムモデルを示すブロック図である。
【図7】上記映像信号変換システムにおける前処理部を構築するために用いるリストレーションシステムモデルを示すブロック図である。
【図8】上記前処理部に用いる逆フィルタの特性の各処理の手順を示すフローチャートである。
【図9】上記映像信号変換システムにおける圧縮符号化処理部の構成を示すブロック図である。
【図10】上記圧縮符号化処理部に備えられた動き函数化処理部で扱うフレーム画像の原点の説明に供する図である。
【図11】各フレームの画像の動きを各フレームのX座標、Y座標の動きとして模式的に示す図である。
【図12】フレーム間の位置を推定処理の内容を模式的に示す図である。
【図13】上記映像信号変換システムにおける高フレームレート化処理部の構成を示すブロック図である。
【図14】上記高フレームレート化処理部による高フレームレート化処理を模式的に示す図である。
【図15】上記高フレームレート化処理部による高フレームレート化処理の実行手順を示すフローチャートである。
【図16】上記高フレームレート化処理部による高フレームレート化処理の内容を模式的に示す図である。
【図17】上記フレームレート変換部における不均等補間処理の説明に供する図である。
【図18】画像の解像度を変換した際に新たに生成された画素位置の値を決める画像補間処理の説明に供する図である。
【図19】均等補間函数と不均等補間函数の例を示す図である。
【図20】上記画像補間処理の内容を模式的に示す図である。
【図21】拡大補間処理装置の構成例を示すブロック図である。
【図22】上記拡大補間処理装置におけるSRAM選択部の構成例を示すブロック図である。
【図23】上記拡大補間処理装置における画像処理ブロックの構成例を示すブロック図である。
【図24】上記拡大補間処理装置における画像処理モジュールに入力される2つのフレーム画像を模式的に示す図である。
【図25】上記拡大補間処理装置における拡大補間処理の手順を示すフローチャートである。
【図26】拡大補間処理機能を有するフレームレート変換装置の構成例を示すブロック図である。
【図27】(m=3)クラスの不均等フルーエンシ補間函数を示す図である。
【図28】高解像度補間アプローチの実例を示す図である。
【図29】補間のためのピクセル構造の具体例を示す図である。
【図30】上記高フレームレート化処理部により生成される中間フレームと従来手法により生成される中間フレームとを比較して示す図である。
【符号の説明】
【0259】
1 対応点推定装置、2 第1の部分領域抽出部、3 第2の部分領域抽出部、4 函数近似部、5 相関値演算部、6 ずれ量演算部、10 画像入力部、20 前処理部、21 劣化モデル、22 逆フィルタ、30 圧縮符号化処理部、40 高フレームレート化処理部、100 映像信号変換システム
Drawing
(In Japanese)【図1】
0
(In Japanese)【図2】
1
(In Japanese)【図3】
2
(In Japanese)【図4】
3
(In Japanese)【図5】
4
(In Japanese)【図6】
5
(In Japanese)【図7】
6
(In Japanese)【図8】
7
(In Japanese)【図9】
8
(In Japanese)【図10】
9
(In Japanese)【図11】
10
(In Japanese)【図12】
11
(In Japanese)【図13】
12
(In Japanese)【図14】
13
(In Japanese)【図15】
14
(In Japanese)【図16】
15
(In Japanese)【図17】
16
(In Japanese)【図18】
17
(In Japanese)【図19】
18
(In Japanese)【図20】
19
(In Japanese)【図21】
20
(In Japanese)【図22】
21
(In Japanese)【図23】
22
(In Japanese)【図24】
23
(In Japanese)【図25】
24
(In Japanese)【図26】
25
(In Japanese)【図27】
26
(In Japanese)【図28】
27
(In Japanese)【図29】
28
(In Japanese)【図30】
29