TOP > 国内特許検索 > 映像信号変換システム > 明細書

明細書 :映像信号変換システム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5081109号 (P5081109)
公開番号 特開2010-062955 (P2010-062955A)
登録日 平成24年9月7日(2012.9.7)
発行日 平成24年11月21日(2012.11.21)
公開日 平成22年3月18日(2010.3.18)
発明の名称または考案の名称 映像信号変換システム
国際特許分類 H04N   7/01        (2006.01)
H04N   7/32        (2006.01)
G06T   1/00        (2006.01)
G06T   9/00        (2006.01)
FI H04N 7/01 Z
H04N 7/137 Z
G06T 1/00 500A
G06T 9/00
請求項の数または発明の数 8
全頁数 38
出願番号 特願2008-227628 (P2008-227628)
出願日 平成20年9月4日(2008.9.4)
審査請求日 平成20年9月5日(2008.9.5)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】寅市 和男
【氏名】武 徳安
【氏名】大宮 康宏
個別代理人の代理人 【識別番号】100067736、【弁理士】、【氏名又は名称】小池 晃
【識別番号】100096677、【弁理士】、【氏名又は名称】伊賀 誠司
【識別番号】100106781、【弁理士】、【氏名又は名称】藤井 稔也
【識別番号】100113424、【弁理士】、【氏名又は名称】野口 信博
【識別番号】100150898、【弁理士】、【氏名又は名称】祐成 篤哉
審査官 【審査官】益戸 宏
参考文献・文献 特開2001-326902(JP,A)
特開2000-004363(JP,A)
特開平07-177514(JP,A)
特許第3732978(JP,B2)
特開平11-069170(JP,A)
特開平11-068515(JP,A)
寅市和男,フルーエンシー情報理論にもとづくマルチメディアコンテンツ記述形式,戦略的創造研究推進事業研究年報(CD-ROM),日本,2005年,Vol.2005
寅市和男,Fluency解析の画像処理への応用 -新しいデジタル画像変換技術-,印刷雑誌,日本,株式会社印刷学会,2001年 6月15日,第84巻第6号,p.23-28
調査した分野 H04N 7/00-7/015
H04N 7/24
H04N 5/225
G06T 1/00-9/00
JSTPlus(JDreamII)
特許請求の範囲 【請求項1】
真の入力画像f(x,y)が入力されるぼけ函数H(x,y)の劣化モデルの出力にノイズn(x,y)を付加することにより得られる観測画像g(X,y)を入力として、ぼけ函数H(X,y)の再帰的最適化を行って推定された真の映像情報を抽出する逆フィルタからなり、入力映像信号に含まれるノイズを上記逆フィルタにより除去する前処理部と、
上記前処理部によりノイズ除去処理が施された映像信号について、基準フレームにおける所定領域の画像濃淡値を面関数で近似し、且つ他のフレームにおける部分画像の濃淡値を面函数化し、上記基準フレームにおける面関数と他のフレームの面関数との相関値が最大となる位置を画像の対応点として推定し、該対応点のフレーム毎の位置の変化を画像の動き情報として函数化して表現するとともに、上記ノイズ除去処理が施された映像信号について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現し、上記画像の動き情報を函数化した結果と上記選択した信号空間毎に画像情報を函数化した結果を所定の形式で記述して圧縮符号化する圧縮符号化処理部と、
上記圧縮符号化処理部により圧縮符号化された映像信号を高フレームレート化する高フレームレート化処理部と
を備えることを特徴する映像信号変換システム。
【請求項2】
上記圧縮符号化処理部は、上記前処理部によりノイズ除去処理が施された映像信号について、所定領域の画像濃淡値を函数化してフレーム毎の相関が最大となる位置を対応点として推定する対応点推定部と、
この対応点推定部によるフレーム毎の対応点位置を画像の動き情報として函数化して表現する動き函数化処理部からなる第1の函数化処理部を備え、
上記対応点推定部は、フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出手段と、上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とからなることを特徴する請求項1記載の映像信号変換システム。
【請求項3】
上記圧縮符号化処理部は、さらに、上記前処理部によりノイズ除去処理が施された映像信号について、フルーエンシ理論に基づいて信号空間を選択する領域自動分類処理部と、
この領域自動分類処理部により選択した信号空間毎に画像情報を函数化して表現する函数化処理部からなる第2の函数化処理部を備え、
上記函数化処理部は、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の濃淡を面函数で近似して表現し濃淡情報を函数化する濃淡函数化処理部と、
上記領域自動分類処理部により選択された多項式表現可能な領域について画像の輪郭線函数で近似して表現し輪郭情報を函数化する輪郭線函数化処理部とを備える
ことを特徴する請求項2記載の映像信号変換システム。
【請求項4】
上記濃淡函数化処理部は、上記領域自動分類処理部により選択された多項式表現可能な区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)の画像情報について、それぞれフルーエンシ函数を用いて濃淡情報を函数化することを特徴する請求項3記載の映像信号変換システム。
【請求項5】
上記輪郭線函数化処理部は、上記領域自動分類処理部により選択された画像情報について、区分的直線、区分的2次曲線、区分的円弧を抽出し分類する輪郭自動分類処理部と、上記輪郭自動分類処理部により分類された区分的直線、区分的2次曲線、区分的円弧をそれぞれフルーエンシ函数を用いて近似することにより、輪郭情報を函数化する函数化処理部とを備えることを特徴する請求項3記載の映像信号変換システム。
【請求項6】
上記高フレーム化処理部は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける画素の各対応点位置を推定する対応点推定処理部と、
上記対応点推定処理部により推定した各画像フレームにおける各対応点について、それぞれ上記対応点位置近傍の画素の濃淡を示す階調値から各対応点の階調値を求める第1の階調値生成処理部と、
上記基準フレームにおける複数個の画素に対して、上記第1の階調値生成処理部により求めた上記推定した各画像フレームにおける各対応点の階調値から、フレーム間の対応点軌跡上の濃淡値の変化をフルーエンシ函数で近似し、その函数から新たに挿入する補間フレームにおける対応点の各階調値を求める第2の階調値生成処理部と、
上記第2の階調値生成処理部により求めた上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点の各画素の階調値を生成する第3の階調値生成処理部とを備えることを特徴とする請求項1記載の映像信号変換システム。
【請求項7】
上記高フレーム化処理部は、上記圧縮符号化処理部により圧縮符号化された映像信号について、函数表現された画像の動き情報及び画像情報により、画像の大きさを所定の大きさに拡大又は縮小するサイズ変換処理とともに高フレームレート化処理を行うことを特徴とする請求項1記載の映像信号変換システム。
【請求項8】
上記高フレーム化処理部は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第1の函数近似処理部と、上記第1の函数近似処理部により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理部と、上記対応点推定処理部により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレ-ムの時系列信号を函数近似する第2の函数近似処理部と、上記第2の函数近似処理部で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレ-ムの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似処理部とを備えることを特徴とする請求項1記載の映像信号変換システム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、動画像を高圧縮化、高解像度化した画情報に変換する映像信号変換システムに関する。
【背景技術】
【0002】
近年、デジタル信号技術の進展に伴い、映像(動画像)、画像又は音声を対象にした、通信、放送、記録媒体[CD(Compact Disc)、DVD(Digital Versatile Disc)]、医用画像、印刷等の分野がマルチメディア産業或いはIT(Information Technology)として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のCDでは、圧縮を伴わないリニアPCM(Pulse Code Modulation)が用いられるが、信号理論は同様にシャノンの標本化定理である。
【0003】
従来、映像、アニメ画像などの動画の圧縮技術としてMPEGが知られており、デジタル放送やDVDにおけるMPEG-2方式の採用や、第3世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるMPEG-4方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムLSIの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。
【0004】
MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commition)13818-2)は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このMPEG2は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。MPEG2では、例えば720×480画素の標準解像度、飛び越し走査方式の画像データを4~8〔Mbps〕のビットレートにデータ圧縮することができ、また1920×1088画素の高解像度 、飛び越し走査方式の画像データを18~22〔Mbps〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。
【0005】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【0006】
テレビジョン画像の品質を向上させる手法として、走査線の数を増やすとともに水平画素の数を増やす方法がある。例えば、現行のNTSC方式のビデオ信号は、2:1のインターレス走査を行っているため、垂直解像度は300本程度となる。一般のテレビジョン受像機で用いられているCRTの走査線は525本であり、インターレス走査によって解像度が低下しており、フィールドバッファを用いたフィールド補間によって垂直方向の画素数を増やして走査をノン・インターレス化することにより、垂直方向の解像度を上げる手法が知られている。
【0007】
また、高品位テレビジョン受像機に用いられているCRTには、垂直画素数が通常のテレビジョン受像機のCRTに比べて2倍程度に設定されたものがあり、走査線方向の画素数を補間によって2倍に増やすことにより、水平方向の解像度を上げる手法が知られている。
【0008】
従来から、画像の拡大あるいは縮小を簡単な処理によって行う方法として、所定間隔で同じ画素を繰り返したり間引いたりする手法が知られており、誤差による画像の歪みが少なく、しかも演算量を低減するための手法や、画像データを、より効率的に符号化するための手法が提案されている(例えば、特許文献1、2、3参照)。
【0009】

【特許文献1】特開平11-353472号公報
【特許文献2】特開2000-308021号公報
【特許文献3】特開2008-4984号公報
【発明の開示】
【発明が解決しようとする課題】
【0010】
従来のシャノンの標本化定理に基づくA-D変換/D-A変換系では、ナイキスト周波数によって帯域制限された信号を扱う。このとき、D-A変換において、標本化によって離散的になった信号の連続波への再生に、制限された帯域内の信号を再現する函数(正則函数)が用いられていた。
【0011】
本願発明者の一人は、映像(動画像)、文字図形や自然画等の画像又は音声等の信号の持つ種々の性質をフルーエンシ函数を用いて分類可能であることを見出した。この理論によれば、シャノンの標本化定理に基づく上記正則函数は、フルーエンシ函数の一つであり、信号が持つ種々の性質の内の一つの性質に適合するにとどまる。従って、種々の性質をもつ信号をシャノンの標本化定理に基づく上記正則函数のみで扱うのでは、D-A変換後の再生信号の品質に限界を与える恐れがあることとなる。
【0012】
上記ウェーブレット変換理論は、対象を解像度で分解するマザーウェーブレットを用いて信号を表すものであるが、信号に最適のマザーウェーブレットが与えられるとは限らず、やはりD-A変換後の再生信号の品質に限界を与える恐れがあることとなる。
【0013】
ここで、フルーエンシ函数は、パラメータm(mは1~∞の正の整数)によって類別される函数である。mは、その函数が(m-2)回のみ連続微分可能であることを表す。因みに、上記正則函数は何回でも微分可能であるので、mが∞である。更に、フルーエンシ 函数は、(m-1)次の函数で構成され、特にフルーエンシ 函数の内のフルーエンシDA函数は、標本間隔をτとして、着目するk番目の標本点kτで数値が与えられるが、その他の標本点では0となる函数である。
【0014】
信号の性質は、パラメータmを持つフルーエンシ函数によって全てが分類可能となり、パラメータmによってクラス分けされる。そのため、フルーエンシ 函数を用いたフルーエンシ 情報理論は、従来の信号の性質の一部を表すにとどまっていたシャノンの標本化定理やウェーブレット変換理論等を包含し、信号の全体を表す理論体系であると位置付けられる。そのような函数を用いることにより、D-A変換後に、シャノンの標本化定理によって帯域制限されることのない高品質の再生信号を、信号の全体に亘って得ることが期待される。
【0015】
ところで、従来より、映像、アニメ画像などの動画の圧縮技術として知られているMPEGにおいても、画像の輪郭部におけるジャギーの発生、濃淡部の色再現性の悪化などの問題がある。
【0016】
また、海外のビデオ情報や映画をビデオ情報への変換したり、アニメ制作においてフレーム間情報の補間を行う必要からフレームレート変換が必要であり、例えば、映画の24フレームレートをビデオの30フレームに変換したり、TVの映像を高精細化のために高フレームレート化することや、携帯のフレームレートに変換することが要求されている。
【0017】
しかし、従来は、フレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法が主流となっているため、映像の動きが円滑でない、映像が線形でないなどの問題点があった。
【0018】
そこで、本発明の目的は、上述の如き従来の実情に鑑み、映像、アニメ等の動画情報を統一的に処理して高圧縮化し、高品質な動画像再生を可能にする映像信号変換システムを提供することにある。
【0019】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【0020】
本発明では、フルーエンシ函数化処理に基づく共通符号化処理により、情報の圧縮及び再生時の高品質化を図る。
【0021】
本発明に係る映像信号変換システムは、真の入力画像f(x,y)が入力されるぼけ函数H(x,y)の劣化モデルの出力にノイズn(x,y)を付加することにより得られる観測画像g(X,y)を入力として、ぼけ函数H(X,y)の再帰的最適化を行って推定された真の映像情報を抽出する逆フィルタからなり、入力映像信号に含まれるノイズを上記逆フィルタにより除去する前処理部と、上記前処理部によりノイズ除去処理が施された映像信号について、基準フレームにおける所定領域の画像濃淡値を面関数で近似し、且つ他のフレームにおける部分画像の濃淡値を面函数化し、上記基準フレームにおける面関数と他のフレームの面関数との相関値が最大となる位置を画像の対応点として推定し、該対応点のフレーム毎の位置の変化を画像の動き情報として函数化して表現するとともに、上記ノイズ除去処理が施された映像信号について、フルーエンシ理論に基づいて信号空間を選択し、選択した信号空間毎に画像情報を函数化して表現し、上記画像の動き情報を函数化した結果と上記選択した信号空間毎に画像情報を函数化した結果を所定の形式で記述して圧縮符号化する圧縮符号化処理部と、上記圧縮符号化処理部により圧縮符号化された映像信号を高フレームレート化する高フレームレート化処理部とを備えることを特徴する。
【0022】
本発明に係る映像信号変換システムにおいて、上記圧縮符号化処理部は、上記前処理部によりノイズ除去処理が施された映像信号について、所定領域の画像濃淡値を函数化してフレーム毎の相関が最大となる位置を対応点として推定する対応点推定部と、この対応点推定部によるフレーム毎の対応点位置を画像の動き情報として函数化して表現する動き函数化処理部からなる第1の函数化処理部を備え、上記対応点推定部は、フレーム画像の部分領域を抽出する第1の部分領域抽出手段と、上記第1の部分領域抽出手段により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出手段と、上記第1の部分領域抽出手段及び上記第2の部分領域抽出手段により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現して出力する函数近似手段と、上記函数近似手段の出力の相関値を演算する相関値演算手段と、上記相関値演算手段により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算手段とからなることを特徴する。
【0023】
また、本発明に係る映像信号変換システムにおいて、上記圧縮符号化処理部は、さらに、上記前処理部によりノイズ除去処理が施された映像信号について、フルーエンシ理論に基づいて信号空間を選択する領域自動分類処理部と、この領域自動分類処理部により選択した信号空間毎に画像情報を函数化して表現する函数化処理部からなる第2の函数化処理部を備え、上記函数化処理部は、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の濃淡を面函数で近似して表現し濃淡情報を函数化する濃淡函数化処理部と、上記領域自動分類処理部により選択された多項式表現可能な領域について画像の輪郭線函数で近似して表現し輪郭情報を函数化する輪郭線函数化処理部とを備えることを特徴する。
【0024】
また、本発明に係る映像信号変換システムにおいて、上記濃淡函数化処理部は、例えば、上記領域自動分類処理部により選択された多項式表現可能な区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)の画像情報について、それぞれフルーエンシ函数を用いて濃淡情報を函数化する。
【0025】
また、本発明に係る映像信号変換システムにおいて、上記輪郭線函数化処理部は、上記領域自動分類処理部により選択された画像情報について、区分的直線、区分的2次曲線、区分的円弧を抽出し分類する輪郭自動分類処理部と、上記輪郭自動分類処理部により分類された区分的直線、区分的2次曲線、区分的円弧をそれぞれフルーエンシ函数を用いて近似することにより、輪郭情報を函数化する函数化処理部とを備えることを特徴する。
【0026】
また、本発明に係る映像信号変換システムにおいて、上記高フレーム化処理部は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける画素の各対応点位置を推定する対応点推定処理部と、上記対応点推定処理部により推定した各画像フレームにおける各対応点について、それぞれ上記対応点位置近傍の画素の濃淡を示す階調値から各対応点の階調値を求める第1の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記第1の階調値生成処理部により求めた上記推定した各画像フレームにおける各対応点の階調値から、フレーム間の対応点軌跡上の濃淡値の変化をフルーエンシ函数で近似し、その函数から新たに挿入する補間フレームにおける対応点の各階調値を求める第2の階調値生成処理部と、上記第2の階調値生成処理部により求めた上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各対応点の各画素の階調値を生成する第3の階調値生成処理部とを備えることを特徴とする。
【0027】
また、本発明に係る映像信号変換システムにおいて、上記高フレーム化処理部は、例えば、上記圧縮符号化処理部により圧縮符号化された映像信号について、函数表現された画像の動き情報及び画像情報により、画像の大きさを所定の大きさに拡大又は縮小するサイズ変換処理とともに高フレームレート化処理を行う。
【0028】
さらに、本発明に係る映像信号変換システムにおいて、上記高フレーム化処理部は、例えば、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第1の函数近似処理部と、上記第1の函数近似処理部により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理部と、上記対応点推定処理部により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第2の函数近似処理部と、上記第2の函数近似処理部で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似処理部とを備える。
【発明の効果】
【0029】
本発明では、動画の高圧縮化による通信容量の低減、高速化、動画再生の高品質化が図れ、且つ、種々のフレーム形式を持つ動画情報の統一的変換が可能となる。
【発明を実施するための最良の形態】
【0030】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【0031】
本発明は、例えば図1に示すような構成の映像信号変換システム100に適用される。
【0032】
この映像信号変換システム100は、撮像装置等の画像入力部10から入力される画像情報にノイズ除去処理を施す前処理部20、上記前処理部20によりノイズ除去処理が施された画像情報が入力され、入力された画像情報を圧縮符号化する圧縮符号化処理部30、上記圧縮符号化処理部30により圧縮符号化された画像情報を高フレームレート化する高フレームレート化処理部40などからなる。
【0033】
この映像信号変換システム100における前処理部20は、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、図2に示すようなシステムモデルにより、真の入力画像f(x,y)が入力されるぼけ函数H(x,y)の劣化モデル21の出力
【0035】
にノイズn(x,y)を付加することにより観測画像g(x,y)を得て、図3に示すようなリストレーションシステムモデルにより、上記観測画像g(x,y)を入力として推定された画像
【0036】
【数2】
JP0005081109B2_000002t.gif

【0037】
を得る逆フィルタ22からなる。
【0038】
前処理部20は、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、原画像をクロネッカー積の特性を利用して評価する。
【0039】
クロネッカー積は、次のように定義される。
【0040】
A=[aij]をmn行列、B=[bij]をst行列とするとき、クロネッカー積
【0041】
【数3】
JP0005081109B2_000003t.gif

【0042】
は、次のような、ms×nt行列である。
【0043】
【数4】
JP0005081109B2_000004t.gif

【0044】
ここで、
【0045】
【数5】
JP0005081109B2_000005t.gif

【0046】
は、クロネッカー積演算子を表す。
【0047】
また、クロネッカー積の基本的な性質は、次の通りである。
【0048】
【数6】
JP0005081109B2_000006t.gif

【0049】
ここで、
【0050】
【数7】
JP0005081109B2_000007t.gif

【0051】
は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。
【0052】
この前処理部20における画像モデルでは、未知の真の入力画像f(x,y)が存在するものと仮定して、上記劣化モデル21の出力
【0053】
【数8】
JP0005081109B2_000008t.gif

【0054】
にノイズn(x,y)を付加することにより得られる観測画像g(x,y)は、次の式(1)にて表すことができる。
【0055】
【数9】
JP0005081109B2_000009t.gif

【0056】
ここで、
【0057】
【数10】
JP0005081109B2_000010t.gif

【0058】
は、この画像システムにより得られる劣化画像を代表し、また、n(x,y)は付加したノイズである。そして、劣化画像
【0059】
【数11】
JP0005081109B2_000011t.gif

【0060】
は、次の式(2)で示される。
【0061】
【数12】
JP0005081109B2_000012t.gif

【0062】
ここで、h(x,y;x’,y’)は、劣化システムのインパルス応答を代表している。
【0063】
使用される画像は離散量であるから、入力画像f(x,y)の画像モデルは、式(3)のように書き換えることができる。
【0064】
【数13】
JP0005081109B2_000013t.gif

【0065】
ここで、H(x)(y)は、次の式(4)のようにマトリクス形式で表すことにより、劣化モデルの点像強度分布函数(PSF:Point Spread Function)Hとなる。
【0066】
【数14】
JP0005081109B2_000014t.gif

【0067】
上記逆フィルタ22の特性は、図4のフローチャートに示す手順にしたがった学習処理により決定される。
【0068】
すなわち、学習処理では、先ず、観測画像g(x,y)を入力画像gとして読み込み(ステップS1a)、
【0069】
【数15】
JP0005081109B2_000015t.gif

【0070】
として画像gを構成して(ステップS2a)、
【0071】
【数16】
JP0005081109B2_000016t.gif

【0072】
の特異値分解(SVD:singular value decomposition)を行う(ステップS3a)。
【0073】
また、劣化モデルの点像強度分布函数(PSF:Point Spread Function)Hを読み込み(ステップS1b)、
【0074】
【数17】
JP0005081109B2_000017t.gif

【0075】
なるクロネッカー積で示される劣化モデルを構築して(ステップS2b)、上記劣化モデルの函数Hの特異値分解(SVD:singular value decomposition)を行う(ステップS3b)。
【0076】
ここで、システム方程式gは
【0077】
【数18】
JP0005081109B2_000018t.gif

【0078】
と書き直すことができる。
【0079】
そして、
【0080】
【数19】
JP0005081109B2_000019t.gif

【0081】
として新たな画像gKPAを算出する(ステップS4)。
【0082】
そして、算出した新たな画像gKPAについて、
【0083】
【数20】
JP0005081109B2_000020t.gif

【0084】
なる最小化処理を行い(ステップS5)、得られたfについて、
【0085】
【数21】
JP0005081109B2_000021t.gif

【0086】
なるテスト条件を満たすか否かを判定する(ステップS6)。
【0087】
ここで、kは繰り返し番号であり、ε,cは、それぞれ判定の閾値である。
【0088】
そして、上記ステップS6における判定結果がFaise、すなわち、上記ステップS5で得られたfが上記テスト条件を満たしていない場合には、上記劣化モデルの函数Hについて、
【0089】
【数22】
JP0005081109B2_000022t.gif

【0090】
なる最小化処理を行い(ステップS7)、上記ステップS3bに戻り、上記ステップS6で得られた函数HK+1について特異値分解(SVD:singular value decomposition)を行い、上記ステップS3bからステップS7の処理を繰り返し行い、上記ステップS6における判定結果がTrue、すなわち、上記ステップS5で得られたfが上記テスト条件を満たす場合に、上記ステップS5で得られたf
【0091】
【数23】
JP0005081109B2_000023t.gif

【0092】
として(ステップS8)、1の入力画像gに対する学習処理を終了する。
【0093】
上記逆フィルタ22の特性は、上記学習処理を多数の入力画像gについて行うことにより決定される。
【0094】
すなわち、ここでは、h(x,y)*f(x,y)を代表してHfとして表し、システムの方程式を
【0095】
【数24】
JP0005081109B2_000024t.gif

【0096】
とし、また、
【0097】
【数25】
JP0005081109B2_000025t.gif

【0098】
として、fを近似して、目的とする新たな画像gを次のように導出している。
【0099】
【数26】
JP0005081109B2_000026t.gif

【0100】
ここで、Eは予測を示す。新たな画像gは、原画像のエッジ細部の保存や強調として構成される。
【0101】
新たな画像gは、
【0102】
【数27】
JP0005081109B2_000027t.gif

【0103】
として得られる。ここで、CEPとCENは、それぞれエッジ保存とエッジ強調の演算子である。
【0104】
そして、シンプルなラプラシアンカーネルCEN=∇fと制御パラメータβとγを持ったガウシャンカーネルCEPを選択し、
【0105】
【数28】
JP0005081109B2_000028t.gif

【0106】
とする。
【0107】
そして、
【0108】
【数29】
JP0005081109B2_000029t.gif

【0109】
として、最小化問題を再構築し、次の特異値分解(SVD:singular value decomposition)から
【0110】
【数30】
JP0005081109B2_000030t.gif

【0111】
上記劣化モデルの函数Hを
【0112】
【数31】
JP0005081109B2_000031t.gif

【0113】
として推定して用いる。
【0114】
この映像信号変換システム100における前処理部20のように、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うことにより、ノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことができる。
【0115】
この映像信号変換システム100は、上記前処理部20によりノイズ除去処理が施された画像情報について、圧縮符号化処理部30により圧縮符号化し、圧縮符号化された画像情報をフレームレート化処理部40により高フレームレート化する。
【0116】
この映像信号変換システム100における圧縮符号化処理部30は、フルーエンシ理論に基づく圧縮符号化処理を行うもので、図5に示すように、第1の函数化処理部31、第2の函数化処理部32、上記第1の函数化処理部31と第2の函数化処理部32で函数化された各画像情報を所定の形式で記述して符号化する符号化処理部33などを備える。
【0117】
第1の函数化処理部31は、上記前処理部20によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う対応点推定部31Aと、上記対応点推定部31Aにより推定された各フレーム画像の対応点の画像情報を用いて、動き部分の画像情報を函数化する動き函数化処理部31Bからなる。
【0118】
対応点推定部31Aは、例えば、図6に示すように構成される。
【0119】
すなわち、対応点推定部31Aは、フレーム画像の部分領域を抽出する第1の部分領域抽出部311と、上記第1の部分領域抽出部311により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第2の部分領域抽出部312と、上記第1の部分領域抽出部311及び上記第2の部分領域抽出部312により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する函数近似部313と、上記函数近似部313の出力の相関値を演算する相関値演算部314と、上記相関値演算部314により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算部315とからなる。
【0120】
この対応点推定部31Aでは、第1の部分領域抽出部311によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第1の部分領域抽出部311により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第2の部分領域抽出部312により抽出し、函数近似部313により上記第1の部分領域抽出部311及び上記第2の部分領域抽出部312により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
【0121】
この対応点推定部31Aは、画像の濃淡を連続的な変化状態として捉え、フルーエンシ情報理論により、画像の対応点を推定するものであって、第1の部分領域抽出部311と、第2の部分領域抽出部312と、函数近似部313と、相関値演算部314と、ずれ量演算部315からなる。
【0122】
この対応点推定部31Aにおいて、第1の部分領域抽出部311は、入力画像についてフレーム画像の部分領域を抽出する。
【0123】
また、第2の部分領域抽出部312は、上記第1の部分領域抽出部311により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する。
【0124】
また、函数近似部313は、上記第1の部分領域抽出部311及び上記第2の部分領域抽出部312により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する。
【0125】
また、相関値演算部314は、上記函数近似部313の出力の相関値を演算する。
【0126】
さらに、ずれ量演算部315は、上記相関値演算部314により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力する。
【0127】
そして、この対応点推定部31では、第1の部分領域抽出部311によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第1の部分領域抽出部311により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第2の部分領域抽出部312により抽出し、函数近似部313により上記第1の部分領域抽出部311及び上記第2の部分領域抽出部312により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
【0128】
ここで、画像f(x,y),f(x,y)は、空間S(m)(R)に属していると仮定し、φm(t)を(m-2)次の区分多項式で次の式(5)のように表し、
【0129】
【数32】
JP0005081109B2_000032t.gif

【0130】
上記空間S(m)(R)を次の式(6)のように表すと、
【0131】
【数33】
JP0005081109B2_000033t.gif

【0132】
フレーム間の相関関数c(τ,τ)は、次の式(7)として表すことができる。
【0133】
【数34】
JP0005081109B2_000034t.gif

【0134】
そして、上記仮定、すなわち、
【0135】
【数35】
JP0005081109B2_000035t.gif

【0136】
から、フレーム相関関数を表す式(7)は、次の式(8)で示すことができる。
【0137】
【数36】
JP0005081109B2_000036t.gif

【0138】
すなわち、上記フレーム間の相関関数c(τ,τ)は、図7に示すような2m次補間を行う空間S(2m)(R)に属し、上記2m次補間を行う空間S(2m)(R)の標本化周波数ψ2m(τ,τ)は一意的に存在し、上記フレーム間の相関関数c(τ,τ)は、次の式(9)にて表される。
【0139】
【数37】
JP0005081109B2_000037t.gif

【0140】
式(8)から、相関面を補間するために、(2m-1)次の区分的な多項式の関数を構築することができる。
【0141】
すなわち、ブロックに基づく動きベクトル評価アプローチによって、適切に式(7)の別々のブロック動きベクトルの初期の推定を得て、それから、任意の正確さの本当の動きを得る式(8)を適用する。
【0142】
分離可能な相関面補間関数の一般形は、式(10)にて表される。
【0143】
【数38】
JP0005081109B2_000038t.gif

【0144】
ここで、Ckとdlが補間係数であり、M2m(x)=φ2m(x+2)・φ(x)は、(m-1)次のB-スプラインである。
【0145】
式(10)における適切な打ちきり制限により、上記相関関数c(τ,τ)は、次の式(11)によって近似することができる。
【0146】
【数39】
JP0005081109B2_000039t.gif

【0147】
ここで、K=[τ]-s+1,K=[τ]+s,L=[τ]-s+1,L=[τ]+sであり、sはφ(x)を定める。
【0148】
そして、例えば、m=2とき、次の式(12)を式(11)に代入することにより、望ましい補間式を得る。
【0149】
【数40】
JP0005081109B2_000040t.gif

【0150】
動きベクトルvは、次の式(13)を使って導出される。
【0151】
【数41】
JP0005081109B2_000041t.gif

【0152】
上記相関関数c(τ,τ)は、整数点の情報だけを用いて再生することができ、相関値演算部314は、上記相関関数c(τ,τ)により上記函数近似部313の出力の相関値を算出する。
【0153】
そして、ずれ量演算部315は、上記相関値演算部314により算出される相関値の最大値を与える画像の位置ずれを示す式(13)により動きベクトルVを演算し、得られる動きベクトルVを対応点のずれ量として出力する。
【0154】
ここで、上記対応点推定部31Aによる対応点推定による動きベクトルVの決定の様子を図8に模式的に示す。
【0155】
すなわち、この対応点推定部31Aでは、図8の(A)に示すように、フレーム画像(k)の部分領域を取り出し、この部分領域に相似な連続する他のフレーム画像の部分領域を抽出して、図8の(B)に示すように、
【0156】
【数42】
JP0005081109B2_000042t.gif

【0157】
にて表される相関関数c(τ,τ)を用いて各フレーム間の相関を計算して、図8の(C)に示すように、相関曲面のピーク点て動きを検出し、動きベクトルvを上記式(13)にて求めことにより、図8の(D)に示すように、フレーム画像(k)における画素の動きを決定する。
【0158】
このようにして決定されたフレーム画像(k)の各ブロックの動きベクトルは、同じフレーム画像(k)の各ブロックの動きベクトルを従来のブロックマッチングにより決定されたものと比較して、各ブロック間で滑らかに変化するものとなる。
【0159】
すなわち、例えば、図9の(A)に示すように、被写体が回転する動きのあるフレーム1とフレーム2について、2フレーム対応点推定と不均等補間により4倍拡大を行ったところ、図9の(B1),(C1)に示すように、従来のブロックマッチングによる推定対応点で推定された動きベクトルには変化が滑らかなでない部分が生じたが、上述の如き構成の対応点推定部31Aによる推定対応点で推定された動きベクトルの変化は、図9の(B2),(C2)に示すように、全体的に滑らかなものとなっている。しかも、1/Nの精度での計算量は、従来手法ではNであるのに対し、本手法ではNとなる。
【0160】
そして、動き函数化処理部31Bでは、上記対応点推定部31Aにおける対応点推定により得られる動きベクトルVを用いて、動き部分の画像情報を函数化する。
【0161】
すなわち、動き函数化処理部31Bでは、基準フレーム毎に部分動画像の対応点が推定されると、その移動量すなわち対応点のずれ量はフレームの座標位置x、yの変化に対応するので、図10に示すように、フレームの原点を左上隅に取った場合、例えば、図11の(A)に示すような各フレームの画像の動きについて、図11の(B),(C)に示すように各フレームのX座標、Y座標の動きとして表し、X座標、Y座標それぞれの動きの変化を函数近似して函数化する。そして、図12に示すように、その函数で補間してフレーム間の位置を推定することにより動き補償を行う。
【0162】
また、第2の函数化処理部32は、フルーエンシ情報理論に基づき、輪郭、濃淡、フレーム間情報を近似するフルーエンシ函数化処理により、入力画像を符号化するものであって、領域自動分類処理部32A、輪郭函数近似処理部32B、濃淡函数化処理部32C、周波数函数近似処理部32Dなどからなる。
【0163】
領域自動分類処理部32Aは、入力画像をフルーエンシ情報理論に基づいて、区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)、不規則領域(m≧4)に分類する。
【0164】
フルーエンシ情報理論では、信号を信号空間という概念で次数mによって指定されるクラスに分類する。
【0165】
信号空間Sは、(m-2)回連続微分可能な変数を持つ(m-1)次の区分的多項式によって表される。
【0166】
信号空間Sは、m=1のとき、階段関数のものと等しくなり、またm=∞のとき、フーリエべき関数のものと等しくなることが証明されている。フルーエンシモデルは、フルーエンシ標本化関数を定義することで、この信号空間Sに属する信号と離散時間信号との関係を明確化するモデルである。
【0167】
輪郭函数近似処理部32Bは、輪郭自動分類処理部321と関数近似処理部322からなり、上記領域自動分類処理部32Aにより分類された区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)に含まれる直線、円弧、2次曲線を上記輪郭自動分類処理部321により抽出して関数近似処理部322により関数近似する。
【0168】
濃淡函数化処理部32Cは、上記領域自動分類処理部32Aにより分類される区分的平面領域(m≦2)、区分的曲面領域(m=3)、区分的球面領域(m=∞)について、フルーエンシ函数を用いて濃淡函数化処理を行う。
【0169】
周波数函数近似処理部32Dは、上記領域自動分類処理部2により分類される不規則領域(m≧4)、すなわち、多項式表現できない領域について、DCT等により周波数函数近似処理を行う。
【0170】
この第2の函数化処理部32では、映像のフレーム毎に多数の多変数フルーエンシ函数を使って、画像の濃淡や輪郭を表現することができる。
【0171】
そして、符号化処理部33は、上記第1の函数化処理部31と第2の函数化処理部32で函数化された各画像情報を所定の形式で記述して符号化する。
【0172】
さらに、高フレームレート化処理部40は、例えば、図13に示すように構成される。
【0173】
この高フレームレート化処理部40は、例えば図14の(A),(B)に示すように、原フレーム間に補間フレームを挿入することにより、図14の(A)に示す低フレームレート(この例では30フレーム/秒)の動画を図14の(B)に示す高フレームレートの動画(この例では60フレーム/秒)に変換する高フレームレート化処理を行うもので、対応点推定処理部41、第1の階調値生成処理部42、第2の階調値生成処理部43、第3の階調値生成処理部44などからなる。
【0174】
この高フレームレート化処理部40において、対応点推定処理部41は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する。
【0175】
また、第1の階調値生成処理部42は、上記対応点推定処理部41により推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める。
【0176】
また、第2の階調値生成処理部43は、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める。
【0177】
さらに、第3の階調値生成処理部44は、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する。
【0178】
この映像信号変換システム100において、上記高フレームレート化処理部40の機能は、図示しない記憶部から読み出される映像信号変換プログラムをコンピュータにより実行することに実現され、図15のフローチャートに示すステップS11~ステップS14の手順に従って、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理を実行することに実現される。
【0179】
すなわち、この高フレームレート化処理部40では、先ず、図16の(A)に示すように、時間t=kの画像フレームを基準フレームF(k)とし、基準フレームF(k)における複数個の画素Pn(k)について、時間t=k+1の画像フレームF(k+1)、時間t=k+2の画像フレームF(k+2)、・・・時間t=k+mの画像フレームF(k+m)における各動きベクトルを求めて、各画像フレーム(k+1),(k+2),・・・F(k+m)における各対応点Pn(k+1),Pn(k+2),・・・P(k+m)を推定する対応点推定処理を行う(ステップS11)。
【0180】
次に、上記ステップS11で推定した各画像フレーム(k+1),(k+2),・・・F(k+m)における各対応点Pn(k+1),Pn(k+2),・・・P(k+m)について、図16の(B)に示すように、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第1の階調値生成処理を行う(ステップS12)。
【0181】
次に、上記基準フレームF(k)における複数個の画素Pn(k)に対して、図16の(C)に示すように、上記ステップS12で生成した各対応点Pn(k+1),Pn(k+2),・・・P(k+m)における各階調値、すなわち、各画像フレーム(k+1),(k+2),・・・F(k+m)の対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から各画像フレーム(k+1),(k+2),・・・F(k+m)間の補間フレームにおける対応点の各階調値を求める第2の階調値生成処理を行う(ステップS13)。
【0182】
次のステップS14では、図16の(D)に示すように、上記ステップS13の第2の階調値生成処理により生成した補間フレームF(k+1/2)における各対応点の階調値から、不均等補間により時間t=k+1/2の補間フレームF(k+1/2)における各画素の階調値を生成する第3の階調値生成処理を行う(ステップS14)。
【0183】
ここで、複数フレームからなる動画像は、その動きのある部分画像のフレーム上の位置はフレーム毎に異なる。また、一つのフレーム上の画素点は、他のフレーム上の異なる位置の画素点に移動するとは限らず、画素間に対応することが通常である。すなわち、1つの自然画は、連続した情報としたとき、2つのフレーム上では異なる位置の画素情報をそれぞれ表していることになる。特に、フレーム間の補間により、新規フレーム画像を生成する場合は、元のフレーム上の画素情報と新規フレーム上での画素上は殆ど全て異なる。例えば、図17の(A),(B)に示すような2つのフレーム画像を同一点で重ね合わせると、各フレームの画素点(ここでは、説明のための粗くしている)の関係は、図17の(C)に示すような関係となる。すなわち、画像の移動分ずれる。この2つのフレーム画像を用いて、第1フレームの格子点(印のない画素点)の濃淡値を求めるためには、不均等補間処理が必要となる。
【0184】
例えば、図18に示すように、画像の解像度を変換した際に新たに生成された画素u(τ,τ)位置の値を決める画像補間処理は、原画素u(x,y)と補間函数h(x)の畳み込み処理により行われる。
【0185】
【数43】
JP0005081109B2_000043t.gif

【0186】
そして、複数のフレーム画像を用いて同一部分画像を対応させ、図19の(A)に示すような均等補間函数を用いて所望の対応点近傍における水平(垂直)方向の画素情報から均等補間により求めた各フレーム毎の補間情報、すなわち、例えば図20に示すように、フレーム1及びフレーム2の各内挿画素値×を垂直(水平)方向の画素情報として、図19の(B)に示すような不均等補間函数を用いてフレームのずれ量に基づき不均等補間を行い、図20に示すように、フレーム1における所望の位置○の画素情報を決定する。
【0187】
ここで、高フレームレート化処理部40では、上述の如き高フレームレート化処理を行うとともに、2フレーム画像を用いて拡大補間処理を行う機能を備える。2フレーム画像を用いて拡大補間処理を行う機能は、例えば、例えば図21に示すように、入力データ制御回路51、出力同期信号生成回路52、SRAM53、SRAM選択部54、画像処理モジュール55により構成される拡大補間処理装置50により実現される。
【0188】
この拡大補間処理装置50において、入力データ制御回路51は、水平同期信号及び垂直同期信号とともに供給される入力画像すなわち各画素の画像情報をSRAM選択部54に順次入力する制御を行う。
【0189】
出力同期信号生成回路52は、供給される水平同期信号及び垂直同期信号に基づいて出力側同期信号を生成し、生成した出力側同期信号を出力するとともにSRAM選択部54に供給する。
【0190】
SRAM選択部54は、例えば、図22に示すように構成され、供給される同期信号に生成される書き込み制御信号及び読み出し制御信号に基づいて制御信号切り換え回路54Aから供給されるメモリ選択信号に応じた動作を行う書き込みデータ選択部54Bと読み出しデータ選択部54Cにより、入力データ制御回路51を介して入力される入力画像を1フレームごとSRAM53に格納し、同時に2フレームの画像を出力同期信号生成回路52により生成された出力側同期信号に同期して読み出す。
【0191】
また、画像処理モジュール55は、フレーム間情報による画像補間処理を行う例えば、図23に示すように構成される。
【0192】
すなわち、画像処理モジュール55は、SRAM選択部54を介してSRAM53から同時に読み出された2フレームの画像情報が入力される窓設定部55A、第1の均等補間処理部55B及び第2の均等補間処理部55C、上記窓設定部55Aにより上記2フレームの画像情報から抽出された画素の情報が入力されるずれ量推定部55D、このずれ量推定部55Dにより推定されたずれ量ベクトルと上記第2の均等補間処理部55Cにより補間された画素の情報入力されるずれ補正部55E、このずれ補正部55Eにより補正された画素の情報及び上記第1の補間処理部55Bにより補間された画素の情報が入力される不均等補間処理部55Fからなる。
【0193】
画像処理モジュール55では、図24の(A),(B)に示すように、SRAM選択部54を介して入力される2つのフレーム画像f,gについて、窓設定部55Aにより所定のポイント(p,q)にウインドウを設定し、ずれ量推定部55Dにより、片方のフレーム画像gのウインドウをずれ量(τx,τy)だけずらして、ウインドウ内の相対位置(x,y)の画素値により内積演算を行い、その値を相互相関値Rpq(τx,τy)とする。

【0194】
【数44】
JP0005081109B2_000044t.gif

【0195】
そして、ずれ量(τx,τy)を変化させてポイント(p,q)の回りでの相互相関値Rpq(τx,τy)が最大となるずれ量(τx,τy)を抽出する。
【0196】
【数45】
JP0005081109B2_000045t.gif

【0197】
なお、2つのフレーム画像f,gのウインドウ内画素データをそれぞれフーリエ変換して相互相関値Rpq(τx,τy)を求めることもできる。
【0198】
そして、この拡大補間処理装置50では、図25のフローチャートに示すように手順に従って拡大補間処理を行う。
【0199】
すなわち、画像処理モジュール55では、SRAM53からSRAM選択部54を介して2つのフレーム画像f,gが読み出されると(ステップA)、ずれ量推定部55Dで相関演算処理により2つのフレーム画像f,gのずれ量(τx,τy)を演算する(ステップB)。
【0200】
そして、フレーム1の画像fについて均等補間による内挿画素値を第1の均等補間処理部55Bで演算することにより、水平方向あるいは垂直方向に拡大する(ステップC)。
【0201】
また、フレーム2の画像gについて均等補間による内挿画素値を第2の均等補間処理部55Cで演算することにより、水平方向あるいは垂直方向に拡大する(ステップD)。
【0202】
さらに、フレーム2の拡大画像をフレーム1に対するずれ量分移動した画素位置での画素値をずれ量補正部55Eにより演算する(ステップE)。
【0203】
そして、不均等補間処理部55Fにおいて、フレーム1の内挿画素値2点とフレーム2の移動位置の画素値2点の計4点の画素値からフレーム1における求める位置の画素値を不均等補間で垂直方向あるいは水平方向に拡大演算を行い(ステップF)、フレーム1の補間演算結果を拡大画像として出力する(ステップG)。
【0204】
このような拡大補間処理を行う機能を備えるフレームレート変換装置110は、例えば、図26に示すように構成される。
【0205】
このフレームレート変換装置110は、第1の函数近似処理部111、対応点推定処理部112、第2の函数近似処理部113、第3の函数近似処理部114として機能するコンピュータからなる。
【0206】
第1の函数近似処理部111は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第1の函数近似処理を行う。
【0207】
対応点推定処理部112は、上記第1の函数近似部111により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理を行う。
【0208】
第2の函数近似処理部113は、上記対応点推定部112により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第2の函数近似を行う。
【0209】
第3の函数近似処理部114は、上記第2の函数近似部113で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第3の函数近似処理を行う。
【0210】
このフレームレート変換装置110では、第1の函数近似処理部111により、基準フレームにおける複数個の画素について、その濃淡分布を函数近似し、対応点推定処理部112により、上記第1の函数近似処理部111で近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とし、第2の函数近似処理部113により、上記対応点推定処理部112で推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する。そして、第3の函数近似処理部114により、第2の階調値生成処理部113で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第1の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換することにより、拡大補間処理とともに高フレームレート化処理を行う。
【0211】
この映像信号変換システム100では、上述の如く、撮像装置等の画像入力部10から入力される画像情報に前処理部20によりノイズ除去処理を施し、上記前処理部20によりノイズ除去処理が施された画像情報を圧縮符号化処理部30により圧縮符号化し、上記フレームレート変換装置1を用いた高フレームレート化処理部40において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成する。
【0212】
すなわち、この映像信号変換システム100は、映像のフレーム毎に多数のフルーエンシ函数を使って輪郭などを表現し、離散フレーム列を時間方向で区分多項式に基づく連続関数で表すことで、任意フレームレートの高品位な映像を再生できるようにしたものである。
【0213】
フルーエンシ情報理論では、信号が連続的に微分可能であるという度数に基づいて、次数mによって指定されるクラスにおける信号空間を分類する。
【0214】
そして、どのようなm>2に対しても、subspace spannedは、(m-2)回のみ連続微分可能な(m-1)次の区分的な多項式によって表される。
(m=3)クラスの標本化関数ψ(x) は、1回のみ連続微分可能な2次の区分多項式の線形結合により次の式(14)で表される。
【0215】
【数46】
JP0005081109B2_000046t.gif

【0216】
ここで、φ(x)は次の式(15)で示される。
【0217】
【数47】
JP0005081109B2_000047t.gif

【0218】
そして、ψ(x)は、標本化函数であるため、標本列と畳み込み演算で区間の函数を求めることができる。
【0219】
ここで、τ=1とき、式(13)は、次の式(16)よって与えられる区分的な多項式として表されることができる。
【0220】
【数48】
JP0005081109B2_000048t.gif

【0221】
例えば、(m=3)クラスの不均等フルーエンシ補間函数
【0222】
【数49】
JP0005081109B2_000049t.gif

【0223】
は、図27に示すような函数である。
【0224】
不均等補間フルーエンシ関数
【0225】
【数50】
JP0005081109B2_000050t.gif

【0226】
は、度数2の8部分多項式から成り、(m=3)クラスの不均等補間フルーエンシ関数は、図27で示すようにs(x)~S(x)に指定される不均等の間隔で定められ、その構成要素は、次の式(17)で与えられる。
【0227】
【数51】
JP0005081109B2_000051t.gif

【0228】
ここで、
【0229】
【数52】
JP0005081109B2_000052t.gif

【0230】
である。
【0231】
ここで、高解像度補間の実例を図28に示す。
【0232】
また、図29は、補間のためのピクセル構造の具体例を示している。
【0233】
図29において、Frame_1のピクセルは、Frame_2でピクセルを変える異なる動きベクトル
【0234】
【数53】
JP0005081109B2_000053t.gif

【0235】
を持つ。
【0236】
図30は2つの連続的なフレームから一次元イメージ補間の概念を例示している。
【0237】
動き評価は、ブロック・サイズと検索ウィンドウ・サイズが知られている全検索ブロックマッチングのアルゴリズムによるものとされる。
【0238】
高解像度フレームピクセルは、f(τx,τy))によって表され、ピクセル構造は、図29の高解像度補間アプローチの1例に示すようである。
【0239】
第1のステップでは、ビデオ・シーケンスから2つの連続的なフレームを得て、f(x,y)とf(x,y)によって表す。
【0240】
第2のステップでは、動きベクトルの初期推定を行う。
【0241】
【数54】
JP0005081109B2_000054t.gif

【0242】
にて、動きベクトルの初期推定を行う。
【0243】
ここで、
【0244】
【数55】
JP0005081109B2_000055t.gif

【0245】
である。
【0246】
式(18)において、
【0247】
【数56】
JP0005081109B2_000056t.gif

【0248】
はサーチウインドウの平均を表し、そして、
【0249】
【数57】
JP0005081109B2_000057t.gif

【0250】
はマッチングにおける現ブロックの平均を表す。
【0251】
第3のステップでは、式(13)と式(17)を用いた全ピクセル
【0252】
【数58】
JP0005081109B2_000058t.gif

【0253】
のために、第2のステップから動きベクトル
【0254】
【数59】
JP0005081109B2_000059t.gif

【0255】
付近の一つのピクセルの中から動きベクトルを得る。
【0256】
第4のステップでは、以下の通りに均等水平補間を実行する。
【0257】
【数60】
JP0005081109B2_000060t.gif

【0258】
第5のステップでは、第4のステップで得られるピクセルを使っている不均等垂直補間を式(20)により実行する。
【0259】
【数61】
JP0005081109B2_000061t.gif

【0260】
第4のステップと第5のステップは、高解像度イメージで全てのピクセルのために繰り返される。
【0261】
フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
【0262】
フルーエンシ理論に基づいて、フレーム間の相関函数の属する函数空間を正確に決定することにより、任意精度で動きベクトルを求めることができる。
【0263】
フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
【0264】
このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
【0265】
例えば、図30の(A)に示すように、フレームkとフレームk+1の間の任意時刻におけるフレームを生成する場合、均等補間により補間フレームF(k+1/2)を生成して1/2精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を1/2精度で生成する従来の高フレームレート化処理では、図30の(B1),(C1)に示すように、挿入される補間フレームの画像は動きのある部分が劣化するが、上記高フレームレート化処理部40のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、図30の(B2),(C2)に示すように、動きのある部分が劣化することなく高フレームレート化することができた。
【0266】
この映像信号変換システム100では、撮像装置等の画像入力部10から入力される画像情報に前処理部20によりノイズ除去処理を施し、上記前処理部20によりノイズ除去処理が施された画像情報を圧縮符号化処理部30により圧縮符号化し、上記高フレームレート化処理部40において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、上記圧縮符号化処理部30により圧縮符号化された画像情報を高フレームレート化することにより、鮮明で円滑な動きの映像信号を得ることができる。
【図面の簡単な説明】
【0267】
【図1】本発明を適用した映像信号変換システムの構成を示すブロック図である。
【図2】上記映像信号変換システムにおける前処理部を構築するために用いるシステムモデルを示すブロック図である。
【図3】上記映像信号変換システムにおける前処理部を構築するために用いるリストレーションシステムモデルを示すブロック図である。
【図4】上記前処理部に用いる逆フィルタの特性の各処理の手順を示すフローチャートである。
【図5】上記映像信号変換システムにおける圧縮符号化処理部の構成を示すブロック図である。
【図6】上記圧縮符号化処理部に備えられた対応点推定部の構成を示すブロック図である。
【図7】フレーム間の相関関数が属する2m次補間を行う空間の説明に供する図である。
【図8】上記対応点推定部による対応点推定による動きベクトルの決定の様子を模式的に示す図である。
【図9】上記対応点推定部による対応点推定により決定した動きベクトルと、従来のブロックマッチングにより決定された動きベクトルとを比較して示す図である。
【図10】上記圧縮符号化処理部に備えられた動き函数化処理部で扱うフレーム画像の原点の説明に供する図である。
【図11】各フレームの画像の動きを各フレームのX座標、Y座標の動きとして模式的に示す図である。
【図12】フレーム間の位置を推定処理の内容を模式的に示す図である。
【図13】上記映像信号変換システムにおける高フレームレート化処理部の構成を示すブロック図である。
【図14】上記高フレームレート化処理部による高フレームレート化処理を模式的に示す図である。
【図15】上記高フレームレート化処理部による高フレームレート化処理の実行手順を示すフローチャートである。
【図16】上記高フレームレート化処理部による高フレームレート化処理の内容を模式的に示す図である。
【図17】上記フレームレート変換部における不均等補間処理の説明に供する図である。
【図18】画像の解像度を変換した際に新たに生成された画素位置の値を決める画像補間処理の説明に供する図である。
【図19】均等補間函数と不均等補間函数の例を示す図である。
【図20】上記画像補間処理の内容を模式的に示す図である。
【図21】拡大補間処理装置の構成例を示すブロック図である。
【図22】上記拡大補間処理装置におけるSRAM選択部の構成例を示すブロック図である。
【図23】上記拡大補間処理装置における画像処理ブロックの構成例を示すブロック図である。
【図24】上記拡大補間処理装置における画像処理モジュールに入力される2つのフレーム画像を模式的に示す図である。
【図25】上記拡大補間処理装置における拡大補間処理の手順を示すフローチャートである。
【図26】拡大補間処理機能を有するフレームレート変換装置の構成例を示すブロック図である。
【図27】(m=3)クラスの不均等フルーエンシ補間函数を示す図である。
【図28】高解像度補間アプローチの実例を示す図である。
【図29】補間のためのピクセル構造の具体例を示す図である。
【図30】上記高フレームレート化処理部により生成される中間フレームと従来手法により生成される中間フレームとを比較して示す図である。
【符号の説明】
【0268】
10 画像入力部、20 前処理部、21 劣化モデル、22 逆フィルタ、30 圧縮符号化処理部、31 第1の函数化処理部、31A 対応点推定部31A、31B 動き函数化処理部31B、 第2の函数化処理部、33 符号化処理部、32A 領域自動分類処理部、32B 輪郭函数近似処理部、32C 濃淡函数化処理部、32D 周波数函数近似処理部32D、40 高フレームレート化処理部、41 対応点推定処理部、42 、第1の階調値生成処理部、43 第2の階調値生成処理部、44 第3の階調値生成処理部、100 映像信号変換システム、311 第1の部分領域抽出部、312 第2の部分領域抽出部、313 函数近似部、314 相関値演算部、315 ずれ量演算部、110 フレームレート変換装置、111 第1の函数近似処理部、112 対応点推定処理部、113 第2の函数近似処理部、114 第3の函数近似処理部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23
【図25】
24
【図26】
25
【図27】
26
【図28】
27
【図29】
28
【図30】
29