Top > Search of Japanese Patents > FILTERING PROCESSOR, AND FILTERING PROCESSING METHOD

FILTERING PROCESSOR, AND FILTERING PROCESSING METHOD commons

Patent code P110004216
File No. A221P62
Posted date Jul 8, 2011
Application number P2008-227629
Publication number P2010-062956A
Patent number P5042171
Date of filing Sep 4, 2008
Date of publication of application Mar 18, 2010
Date of registration Jul 20, 2012
Inventor
  • (In Japanese)寅市 和男
  • (In Japanese)ジョナ ガンバ
  • (In Japanese)大宮 康宏
Applicant
  • (In Japanese)国立研究開発法人科学技術振興機構
Title FILTERING PROCESSOR, AND FILTERING PROCESSING METHOD commons
Abstract PROBLEM TO BE SOLVED: To remove noise of a video signal, and to improve the clearness of an image and emphasize the edge thereof.
SOLUTION: Noise included in an input video signal is removed by an inverse filter 22 extracting real video information estimated by recursively optimizing a blurring function H (x, y) by using, as input, an observation image g (x, Y) obtained by adding noise n (x, y) to the output of a deterioration model of the blurring function H (x, y) for inputting a real input image f (x, y) thereto.
Outline of related art and contending technology (In Japanese)


近年、デジタル信号技術の進展に伴い、映像(動画像)、画像又は音声を対象にした、通信、放送、記録媒体[CD(Compact Disc)、DVD(Digital Versatile Disc)]、医用画像、印刷等の分野がマルチメディア産業或いはIT(Information Technology)として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のCDでは、圧縮を伴わないリニアPCM(Pulse Code Modulation)が用いられるが、信号理論は同様にシャノンの標本化定理である。



従来、映像、アニメ画像などの動画の圧縮技術としてMPEGが知られており、デジタル放送やDVDにおけるMPEG-2方式の採用や、第3世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるMPEG-4方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムLSIの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。



MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commition)13818-2)は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このMPEG2は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。MPEG2では、例えば720×480画素の標準解像度、飛び越し走査方式の画像データを4~8〔Mbps〕のビットレートにデータ圧縮することができ、また1920×1088画素の高解像度 、飛び越し走査方式の画像データを18~22〔Mbps〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。



一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。



また、従来、ビデオ信号の撮影時におけるブレ、焦点ボケ、煙などによる不鮮明さなどを適応的に除去するには、フレーム間の差分情報による処理やウィナーフィルタによる処理が行われていた。



たとえば、遠隔操作により、旋回動作やズーム動作が可能なカメラによる撮影映像の撮像ノイズを除去するために、1フレーム前の前フレームの映像を、現フレームの映像に対して帰還させる量を示す帰還係数に相当する比率にて、現フレームの映像と重畳する際に、当該ビデオカメラシステムを旋回動作させた旋回情報および/ またはズーム動作させたズーム情報に基づいて、現フレーム上で対象となる映像信号が、1フレーム前の前フレーム画面内のどこに位置していたかを計算し、同一対象物の映像同士を正確に重畳させることにより、旋回動作時やズーム動作時における撮像ノイズ除去処理であっても残像感を低減することが可能な撮像ノイズ除去方法が提案されている(例えば、特許文献1参照)。



また、同じ内容の複数の映像信号入力について画素単位でノイズの有無を検出し、少なくとも1つのノイズのない映像信号を選択的に出力するようにした映像ノイズ除去回路が提案されている(例えば、特許文献2参照)。



【特許文献1】
特開2007-134886号公報
【特許文献2】
特開平8-84274号公報

Field of industrial application (In Japanese)


本発明は、ビデオ信号のノイズを除去するフィルタリング処理装置及びフィルタリング処理方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
真の入力画像f(x,y)が入力される画像フィルタの出力
【数1】
 


にノイズn(x,y)を付加することにより得られる観測画像g(x,y)を出力とする観測画像モデルを利用して、真の画像情報を抽出するフィルタリング処理装置において、
画像フィルタとして時間的、位置的に異なる画像に対し、ぼけ函数H(x,y)による劣化モデルを適用し、該ぼけ函数の再帰的最適化及びノイズn(x,y)成分の除去を行うことにより真の映像情報を抽出する逆フィルタを備え、
上記逆フィルタの特性は、観測画像g(x,y)と劣化モデルのぼけ函数H(x,y)について、各特異値分解(SVD:singular value decomposition)の結果から、h(x,y)*f(x,y)のコンボリューションをHfとして表し、システムの方程式を
【数2】
 


とし、ぼけ函数H(x,y)を要素A,Bで構成されるとして次式で表す
【数3】
 


観測画像g(x,y)は
【数4】
 


(ここで、
【数5】
 


は、クロネッカー積演算子を表し、
【数6】
 


は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。)
とし、観測画像gの予測値gE=E[g]
【数7】
 


(ここで、βとγは制御パラメータであり、CEPとCENはそれぞれエッジ保存とエッジ強調の演算子である。)
【数8】
 


として算出し、算出した新たな画像gKPAについて、
【数9】
 


(但し添字kは再帰的繰り返し回数を表す。)
なる最小化処理を行い、得られたfKについて、テスト条件を満たすか否かを判定し、テスト条件を満たしていない場合に上記劣化モデルのぼけ函数HKについて、
【数10】
 


なる最小化処理を行い、得られたぼけ函数ぼけ函数HK1について、Gの特異値分解を
【数11】
 


ここで
行列Vは、GSVDの入力の基底となる正規直交ベクトル
行列Uは、GSVDの出力の基底となる正規直交ベクトル
行列Σは、増幅率を表す特異値を対角成分に持つ
添字A,Bはぼけ函数Hの分解要素成分を表す
とすると、上記劣化モデルのぼけ函数Hを
【数12】
 


として推定する処理を、新たな画像gKPAについての最小化処理により得られるfKがテスト条件を満たすまで繰り返し行う学習処理により得られたものであることを特徴とするフィルタリング処理装置

【請求項2】
 
上記学習処理では、算出した新たな画像gKPAについての最小化処理により得られたfKについて、
【数13】
 


(ここで、kは繰り返し番号であり、ε,cは、それぞれ判定の閾値である。)
なるテスト条件を満たすか否かを判定することを特徴とする請求項1記載のフィルタリング処理装置。

【請求項3】
 
真の入力画像f(x,y)が入力される画像フィルタの出力
【数14】
 


にノイズn(x,y)を付加することにより得られる観測画像g(x,y)を出力とする観測画像モデルを利用して、真の画像情報を抽出するフィルタリング処理装置において、画像フィルタとして時間的、位置的に異なる画像に対し、ぼけ函数H(x,y)による劣化モデルを適用し、該ぼけ函数Hの再帰的最適化及びノイズn(x,y)成分の除去を行う逆フィルタにより真の映像情報を抽出するフィルタリング処理方法であって、
上記逆フィルタの特性は、観測画像g(x,y)と劣化モデルのぼけ函数H(x,y)について、各特異値分解(SVD:singular value decomposition)の結果から、コンボリューションh(x,y)*f(x,y)をHfとして表し、システムの方程式を
【数15】
 


とし、また、ぼけ函数H(x,y)を要素A,Bで構成されるとして次式で表す
【数16】
 


観測画像g(x,y)は
【数17】
 


(ここで、
【数18】
 


は、クロネッカー積演算子を表し、
【数19】
 


は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。)
として、観測画像gの予測値gE=E[g]
【数20】
 


(ここで、βとγは制御パラメータであり、CEPとCENはそれぞれエッジ保存とエッジ強調の演算子である。)
【数21】
 


として算出し、算出した新たな画像gKPAについて、
【数22】
 


(但し添字kは再帰的繰り返し回数を表す。)
なる最小化処理を行い、得られたfKについて、テスト条件を満たすか否かを判定し、テスト条件を満たしていない場合に上記劣化モデルのぼけ函数HKについて、
【数23】
 


なる最小化処理を行い、得られたぼけ函数ぼけ函数HK+1について、Gの特異値分解を
【数24】
 


ここで
行列Vは、GSVDの入力の基底となる正規直交ベクトル
行列Uは、GSVDの出力の基底となる正規直交ベクトル
行列Σは、増幅率を表す特異値を対角成分に持つ
添字A,Bはぼけ函数Hの分解要素成分を表す
とすると、上記劣化モデルのぼけ函数Hを
【数25】
 


として推定する処理を、新たな画像gKPAについての最小化処理により得られるfKがテスト条件を満たすまで繰り返し行う学習処理により得ることを特徴とするフィルタリング処理方法

【請求項4】
 
上記学習処理では、算出した新たな画像gKPAについての最小化処理により得られたfKについて、
【数26】
 


(ここで、kは繰り返し番号であり、ε,cは、それぞれ判定の閾値である。)
なるテスト条件を満たすか否かを判定することを特徴とする請求項3記載のフィルタリング処理方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2008227629thum.jpg
State of application right Registered
Reference ( R and D project ) CREST New High-Performance Information Processing Technology Supporting Information-Oriented Society - Aiming at the Creation of New High-Speed, Large-Capacity Computing Technology Based on Quantum Effects, Molecular Functions, Parallel Processing, etc.- AREA
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close