Top > Search of Japanese Patents > IMAGE RESTORATION DEVICE AND IMAGE RESTORATION METHOD

IMAGE RESTORATION DEVICE AND IMAGE RESTORATION METHOD meetings

Patent code P100000896
Posted date Aug 13, 2010
Application number P2010-028278
Publication number P2011-165013A
Patent number P5493191
Date of filing Feb 10, 2010
Date of publication of application Aug 25, 2011
Date of registration Mar 14, 2014
Inventor
  • (In Japanese)田邉 造
  • (In Japanese)古川 利博
  • (In Japanese)長保 龍
Applicant
  • (In Japanese)学校法人東京理科大学
  • (In Japanese)公立大学法人公立諏訪東京理科大学
Title IMAGE RESTORATION DEVICE AND IMAGE RESTORATION METHOD meetings
Abstract PROBLEM TO BE SOLVED: To provide a simple and practical image restoration device having improved image restoration performance.
SOLUTION: The image restoration device includes: a correlation arithmetic unit which calculates, with respect to deteriorated image information corresponding only to the time n, a correlation value of estimation error in estimating a system state quantity at the time n+1 including original image information by information obtained by the time n or the time n+1; a weight coefficient calculation unit which calculates, with respect to the deteriorated image information corresponding only to the time n, a weight coefficient for specifying a relation among an optimum estimation value of the state quantity at the time n+1 by the information obtained by the time n+1, an optimum estimation value of the state quantity at the time n+1 by the information obtained by the time n, and an estimation error of observation quantity including the deteriorated image information, by use of the correlation value calculated by the correlation calculation unit; and an optimum estimation value calculation unit which calculates, with respect to the deteriorated image information corresponding only to the time n, an optimum estimation value of the state quantity at the time n+1 by the information obtained by the time n or the time n+1 by use of the weight coefficient calculated by the weight coefficient calculation unit.
Outline of related art and contending technology (In Japanese)



近年、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像(所望情報、クリアな画像)に不必要な情報(ぼけと雑音)が混在した劣化画像(受信情報)から不必要な情報(ぼけと雑音)を取り除き、原画像(所望情報)のみを抽出することは、画像復元の分野において必要不可欠な技術であり、近年盛んに研究開発が行われている。例えば、デジタルカメラ(デジタルスチルカメラおよびデジタルビデオカメラの総称)や携帯電話などで撮影された画像は、手ぶれや焦点ずれなどに起因する「ぼけ」と、暗電流や熱雑音などに起因するガウス性またはインパルス性の「雑音」との影響から、実物と比較して画質が劣化することは避けられない。「画像復元」とは、このように劣化した画像からできるだけ原画像に近い画像を復元することである。





現在一般に市場で普及している画像復元技術の多くは、例えば、手ぶれ補正や顔認識、色補正、様々なフィルタなどを用いて、予めぼけと雑音の影響を軽減させる予防的な技術が主流となっている。この結果、近年、特にデジタルカメラの分野では、デジタルカメラの多機能化・高性能化により鮮明な画像が気軽に手に入れられるようになってきている。





しかし、これらの予防的な技術は、何度も画像を撮り直せる状況下では問題ないが、古文書などの既に劣化している画像や、スポーツや医療などの分野における瞬間的に変化する画像など、撮り直しが許されない画像に対する復元は、いまだ困難な問題である。ここで、スポーツと医療の分野における瞬間的に変化する画像は、例えば、選手の瞬間的な動作や、肺や心臓などの臓器の瞬間的な様子などである。したがって、今日、特に、撮り直しが許されない状況下における画像復元の重要性が高まってきている。





撮り直しが許されない状況下における従来の画像復元技術として、ウィナーフィルタ(Wiener Filter)を用いた画像復元手法が広く知られている(非特許文献1、非特許文献2)。この手法は、フィルタを通して得られる復元画像と原画像との平均2乗誤差を最小にするフィルタであって、最小2乗フィルタとも呼ばれている。この手法は、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にした画像復元手法である。





また、他の画像復元技術として、射影フィルタを用いた画像復元手法も知られている(非特許文献3、非特許文献4)。射影フィルタは、原画像と復元画像との近さを直接原画像の空間で評価しており、復元画像の雑音の画像成分が個々の原画像の最良近似、つまり、個々の原画像の正射影となるものの中で、復元画像の雑音成分の2乗平均を最小にするものである。また、この性質から、射影フィルタは、出現頻度に無関係に、最良近似画像を復元する手法である。





また、さらに他の画像復元技術として、カルマンフィルタ(Kalman Filter)を用いた画像復元手法も知られている(非特許文献5、非特許文献6)。この手法は、まずステップ1で、劣化画像を用いて原画像のAR(Auto Regressive:自己回帰)システムのパラメータ(以下「AR係数」という)を推定した後、ステップ2で、ステップ1で推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成し、これにカルマンフィルタ理論(カルマンフィルタアルゴリズム)を適用することによって、高性能な画像復元を実現している。さらには、このような2段階処理を行うカルマンフィルタを2次元カルマンフィルタに拡張した画像復元手法も知られている(非特許文献7、非特許文献8)。この手法は、2次元に拡張した状態空間モデルを用いて、劣化画像を復元するカルマンフィルタを実現している。なお、非特許文献7および非特許文献8に示す2次元カルマンフィルタと区別するため、適宜、非特許文献5および非特許文献6に示すカルマンフィルタを「1次元カルマンフィルタ」と称する。

Field of industrial application (In Japanese)



本発明は、画像復元装置および画像復元方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
モデル化可能な観測対象のシステムにおいて、原画像情報にぼけおよび雑音が混在した劣化画像情報である観測信号のみから、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記原画像情報を推定する画像復元装置であって、
前記状態空間モデルは、復元対象である少なくとも1つ以上の注目画素と、前記注目画素の周辺の画素とを含む処理対象ブロックを処理単位として、前記処理対象ブロックを、時刻の変化に伴い同じ注目画素を含むように次の処理対象ブロックに移動させ、各時刻において前記処理対象ブロックに対応する観測量から前記処理対象ブロックの状態量を推定するように構成され、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差の相関値を算出する第1の相関演算部と、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された相関値を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値と、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値と、時刻n+1での観測信号を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値を算出す第1の最適推定値算出部と、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値を算出する第2の最適推定値算出部と、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1での前記状態量を推定した場合の推定誤差の相関値を算出する第2の相関演算部と、
を有する画像復元装置。

【請求項2】
 
前記状態空間モデルは、復元対象である注目画素と、前記注目画素の周辺の画素とを含む処理対象ブロックを処理単位として、前記処理対象ブロックに対応するすべての観測量から前記処理対象ブロックの状態量をすべて推定するように構成され、
記第1の相関演算部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により前記原画像情報を含む時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差ベクトルの相関値行列を算出し、
前記重み係数算出部は、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻n+1での観測信号を含む観測量の推定誤差ベクトルと、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1の前記状態量を推定した場合の推定誤差ベクトルの相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項3】
 
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列、与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散行列を用いて、前記重み係数行列の算出を行う、
請求項2記載の画像復元装置。

【請求項4】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散行列、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、前記推定誤差ベクトルの相関値行列の算出を行う、
請求項2記載の画像復元装置。

【請求項5】
 
前記状態空間モデルは、復元対象である注目画素と、前記注目画素の周辺の画素とを含む処理対象ブロックを処理単位として、前記注目画素に対応する観測量から前記処理対象ブロックの状態量をすべて推定するように構成され、
記第1の相関演算部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により前記原画像情報を含む時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差ベクトルの相関値行列を算出し、
前記重み係数算出部は、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻n+1での観測信号を含む観測量の推定誤差ベクトルと、の関係を規定するための重み係数ベクトルを算出し、
前記第1の最適推定値算出部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数ベクトルを用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1の前記状態量を推定した場合の推定誤差ベクトルの相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項6】
 
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列、与えられた観測遷移ベクトル、および与えられた観測雑音の相関値スカラーを用いて、前記重み係数ベクトルの算出を行う、
請求項5記載の画像復元装置。

【請求項7】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散行列、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、前記推定誤差ベクトルの相関値行列の算出を行う、
請求項5記載の画像復元装置。

【請求項8】
 
前記状態空間モデルは、復元対象である注目画素と、前記注目画素の周辺の画素とを含む処理対象ブロックを処理単位として、前記処理対象ブロックに含まれる所定の一部の領域内の観測量から、前記処理対象ブロックの状態量をすべて推定するように構成され、
記第1の相関演算部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により前記原画像情報を含む時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差ベクトルの相関値行列を算出し、
前記重み係数算出部は、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻n+1での観測信号を含む観測量の推定誤差ベクトルと、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1の前記状態量を推定した場合の推定誤差ベクトルの相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項9】
 
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列、与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散行列を用いて、前記重み係数行列の算出を行う、
請求項8記載の画像復元装置。

【請求項10】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散行列、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、前記推定誤差ベクトルの相関値行列の算出を行う、
請求項8記載の画像復元装置。

【請求項11】
 
前記所定の一部の領域は、前記注目画素に対応する観測量と、有色性駆動源の影響を受ける部分の観測量とを含む、請求項8記載の画像復元装置。

【請求項12】
 
前記状態空間モデルは、復元対象である少なくとも1つの画素を含む注目画素領域と、前記注目画素領域の周辺の画素領域とを含む処理対象ブロックを処理単位として、前記処理対象ブロックに対応するすべての観測量から前記処理対象ブロックの状態量をすべて推定するように構成され、
記第1の相関演算部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により前記原画像情報を含む時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差ベクトルの相関値行列を算出し、
前記重み係数算出部は、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻n+1での観測信号を含む観測量の推定誤差ベクトルと、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻n+1のみの観測信号に対して、時刻n+1までの観測信号により時刻n+1の前記状態量を推定した場合の推定誤差ベクトルの相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項13】
 
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列、与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散行列を用いて、前記重み係数行列の算出を行う、
請求項12記載の画像復元装置。

【請求項14】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散行列、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、前記推定誤差ベクトルの相関値行列の算出を行う、
請求項12記載の画像復元装置。

【請求項15】
 
前記状態空間モデルは、復元対象であるである少なくとも1つの画素を含む注目画素領域と、前記注目画素領域の周辺の画素領域とを含む処理対象ブロックを処理単位として、前記注目画素領域内のすべての観測量から前記処理対象ブロックの状態量をすべて推定するように構成され、
記第1の相関演算部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により前記原画像情報を含む時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差ベクトルの相関値行列を算出し、
前記重み係数算出部は、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻n+1での観測信号を含む観測量の推定誤差ベクトルと、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1の前記状態量を推定した場合の推定誤差ベクトルの相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項16】
 
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列、与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散行列を用いて、前記重み係数行列の算出を行う、
請求項15記載の画像復元装置。

【請求項17】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散行列、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、前記推定誤差ベクトルの相関値行列の算出を行う、
請求項15記載の画像復元装置。

【請求項18】
 
前記状態空間モデルは、復元対象である少なくとも1つの画素を含む注目画素領域と、前記注目画素領域の周辺の画素領域とを含む処理対象ブロックを処理単位として、前記処理対象ブロックに含まれる所定の一部の画素領域内の観測量から、前記処理対象ブロックの状態量をすべて推定するように構成され、
記第1の相関演算部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により前記原画像情報を含む時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差ベクトルの相関値行列を算出し、
前記重み係数算出部は、
時刻n+1のみの観測信号に対し、前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルと、時刻n+1での観測信号を含む観測量の推定誤差ベクトルと、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻n+1のみの観測信号に対し、前記重み係数算出部によって算出された重み係数行列を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1の前記状態量を推定した場合の推定誤差ベクトルの相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項19】
 
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差ベクトルの相関値行列、与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散行列を用いて、前記重み係数行列の算出を行う、
請求項18記載の画像復元装置。

【請求項20】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散行列、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差ベクトルの相関値行列を用いて、前記推定誤差ベクトルの相関値行列の算出を行う、
請求項18記載の画像復元装置。

【請求項21】
 
前記所定の一部の画素領域は、前記注目画素領域内の観測量と、有色性駆動源の影響を受ける部分の観測量とを含む、請求項18記載の画像復元装置。

【請求項22】
 
モデル化可能な観測対象のシステムにおいて、原画像情報にぼけおよび雑音が混在した劣化画像情報である観測信号のみから、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記原画像情報を推定する画像復元方法であって、
前記状態空間モデルは、復元対象である少なくとも1つ以上の注目画素と、前記注目画素の周辺の画素とを含む処理対象ブロックを処理単位として、前記処理対象ブロックを、時刻の変化に伴い同じ注目画素を含むように次の処理対象ブロックに移動させ、各時刻において前記処理対象ブロックに対応する観測量から前記処理対象ブロックの状態量を推定するように構成され、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号により時刻n+1での前記処理対象ブロックの状態量を推定した場合の推定誤差の相関値を算出する第1の相関演算工程と、
時刻n+1のみの観測信号に対し、前記第1の相関演算工程で算出した相関値を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値と、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値と、時刻n+1での観測信号を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻n+1のみの観測信号に対し、時刻nまでの観測信号による時刻n+1での前記状態量の最適推定値を算出す第1の最適推定値算出工程と、
時刻n+1のみの観測信号に対し、前記重み係数算出工程で算出した重み係数を用いて、時刻n+1までの観測信号による時刻n+1での前記状態量の最適推定値を算出する第2の最適推定値算出工程と、
時刻n+1のみの観測信号に対し、時刻n+1までの観測信号により時刻n+1での前記状態量を推定した場合の推定誤差の相関値を算出する第2の相関演算工程と、
を有する画像復元方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2010028278thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close