Top > Search of Japanese Patents > (In Japanese)画像復元装置および画像復元方法

(In Japanese)画像復元装置および画像復元方法

Patent code P130009829
Posted date Aug 13, 2013
Application number P2010-523766
Patent number P5447867
Date of filing Aug 6, 2009
Date of registration Jan 10, 2014
International application number JP2009003780
International publication number WO2010016263
Date of international filing Aug 6, 2009
Date of international publication Feb 11, 2010
Priority data
  • P2008-206316 (Aug 8, 2008) JP
Inventor
  • (In Japanese)田邉 造
  • (In Japanese)古川 利博
  • (In Japanese)北原 俊一
Applicant
  • (In Japanese)学校法人東京理科大学
  • (In Japanese)公立大学法人公立諏訪東京理科大学
Title (In Japanese)画像復元装置および画像復元方法
Abstract (In Japanese)画像復元性能を向上できるシンプルで実用的な画像復元装置。画像復元装置100は、第1復元処理部160aを有し、原画像情報に不必要な情報が混在した劣化画像情報から原画像情報を推定する。相関演算部164は、時刻nのみの劣化画像情報に対して、時刻n又は時刻n+1までの情報により原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する。重み係数算出部166は、時刻nのみの劣化画像情報に対して、前期相関値を用いて、時刻n+1までの情報による時刻n+1での状態量の最適推定値と、時刻nまでの情報による時刻n+1での状態量の最適推定値と、劣化画像情報を含む観測量の推定誤差との関係を規定するための重み係数を算出する。最適推定値算出部168は、時刻nのみの劣化画像情報に対して、前期重み係数を用いて、時刻n+1までの情報による時刻n+1での状態量の最適推定値を算出する。
Outline of related art and contending technology (In Japanese)

近年、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像(所望情報、クリアな画像)に不必要な情報(ぼけと雑音)が混在した劣化画像(受信情報)から不必要な情報(ぼけと雑音)を取り除き、原画像(所望情報)のみを抽出することは、画像復元の分野において必要不可欠な技術であり、近年盛んに研究開発が行われている。例えば、デジタルカメラ(デジタルスチルカメラおよびデジタルビデオカメラの総称)や携帯電話などで撮影された画像は、手ぶれや焦点ずれなどに起因する「ぼけ」と、暗電流や熱雑音などに起因するガウス性またはインパルス性の「雑音」との影響から、実物と比較して画質が劣化することは避けられない。「画像復元」とは、このように劣化した画像からできるだけ原画像に近い画像を復元することである。

現在一般に市場で普及している画像復元技術の多くは、例えば、手ぶれ補正や顔認識、色補正、様々なフィルタなどを用いて、予めぼけと雑音の影響を軽減させる予防的な技術が主流となっている。この結果、近年、特にデジタルカメラの分野では、デジタルカメラの多機能化・高性能化により鮮明な画像が気軽に手に入れられるようになってきている。

しかし、これらの予防的な技術は、何度も画像を撮り直せる状況下では問題ないが、古文書などの既に劣化している画像や、スポーツや医療などの分野における瞬間的に変化する画像など、撮り直しが許されない画像に対する復元は、いまだ困難な問題である。ここで、スポーツと医療の分野における瞬間的に変化する画像は、例えば、選手の瞬間的な動作や、肺や心臓などの臓器の瞬間的な様子などである。したがって、今日、特に、撮り直しが許されない状況下における画像復元の重要性が高まってきている。

撮り直しが許されない状況下における従来の画像復元技術として、ウィナーフィルタ(Wiener Filter)を用いた画像復元手法が広く知られている(非特許文献1、非特許文献2)。この手法は、フィルタを通して得られる復元画像と原画像との平均2乗誤差を最小にするフィルタであって、最小2乗フィルタとも呼ばれている。この手法は、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にした画像復元手法である。

また、他の画像復元技術として、射影フィルタを用いた画像復元手法も知られている(非特許文献3、非特許文献4)。射影フィルタは、原画像と復元画像との近さを直接原画像の空間で評価しており、復元画像の雑音の画像成分が個々の原画像の最良近似、つまり、個々の原画像の正射影となるものの中で、復元画像の雑音成分の2乗平均を最小にするものである。また、この性質から、射影フィルタは、出現頻度に無関係に、最良近似画像を復元する手法である。

また、さらに他の画像復元技術として、カルマンフィルタ(Kalman Filter)を用いた画像復元手法も知られている(非特許文献5、非特許文献6)。この手法は、まずステップ1で、劣化画像に対してAR(Auto Regressive:自己回帰)システムのパラメータ(以下「AR係数」という)を推定した後、ステップ2で、ステップ1で推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成し、これにカルマンフィルタ理論(カルマンフィルタアルゴリズム)を適用することによって、高性能な画像復元を実現している。

Field of industrial application (In Japanese)

本発明は、画像復元装置および画像復元方法に関する。

Scope of claims (In Japanese)
【請求項1】
 
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、
時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、
時刻nのみの劣化画像情報に対して、前記相関演算部によって算出された相関値、予め設定されたぼけ情報、および観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出部と、を有し、
前記劣化画像情報は、注目画素領域と周辺画素領域とからなる処理対象ブロックの画素情報によって構成され、前記時刻nは、前記処理対象ブロックの処理の順番(n番目)を表す、
画像復元装置。

【請求項2】
 
前記相関演算部は、第1の相関演算部および第2の相関演算部を有し、
前記最適推定値算出部は、第1の最適推定値算出部および第2の最適推定値算出部を有し、
前記第1の相関演算部は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出し、
前記重み係数算出部は、
時刻nのみの劣化画像情報に対して、前記第1の相関演算部によって算出された推定誤差の相関値行列、前記ぼけ情報、および前記観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報により時刻n+1の前記状態量を推定した場合の推定誤差の相関値行列を算出する、
請求項1記載の画像復元装置。

【請求項3】
 
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散の要素値、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行い、
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差の相関値行列、前記ぼけ情報を有する与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散の要素値を用いて、前記重み係数行列の算出を行い、
前記第1の最適推定値算出部は、
前記状態遷移行列、および、与えられたまたは前回前記第2の最適推定値算出部によって算出された状態量の最適推定値ベクトルを用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の最適推定値算出部は、
前記第1の最適推定値算出部によって算出された状態量の最適推定値ベクトル、前記重み係数算出部によって算出された重み係数行列、前記観測遷移行列、および時刻n+1のみにおける観測量を用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の相関演算部は、
前記重み係数算出部によって算出された重み係数行列、前記観測遷移行列、および前記第1の相関演算部によって算出された推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行う、
請求項2記載の画像復元装置。

【請求項4】
 
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、
時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻nのみの劣化画像情報に対して、前記相関演算工程で算出した相関値、予め設定されたぼけ情報、および観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出工程と、を有し、
前記劣化画像情報は、注目画素領域と周辺画素領域とからなる処理対象ブロックの画素情報によって構成され、前記時刻nは、前記処理対象ブロックの処理の順番(n番目)を表す、
画像復元方法。

【請求項5】
 
前記相関演算工程は、第1の相関演算工程および第2の相関演算工程を有し、
前記最適推定値算出工程は、第1の最適推定値算出工程および第2の最適推定値算出工程を有し、
前記第1の相関演算工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出し、
前記重み係数算出工程は、
時刻nのみの劣化画像情報に対して、前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報、および前記観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報により時刻n+1の前記状態量を推定した場合の推定誤差の相関値行列を算出する、
請求項4記載の画像復元方法。

【請求項6】
 
前記第1の相関演算工程は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散の要素値、および与えられたまたは前回前記第2の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行い、
前記重み係数算出工程は、
前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報を有する与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散の要素値を用いて、前記重み係数行列の算出を行い、
前記第1の最適推定値算出工程は、
前記状態遷移行列、および、与えられたまたは前回前記第2の最適推定値算出工程で算出した状態量の最適推定値ベクトルを用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の最適推定値算出工程は、
前記第1の最適推定値算出工程で算出した状態量の最適推定値ベクトル、前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および時刻n+1のみにおける観測量を用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の相関演算工程は、
前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および前記第1の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行う、
請求項5記載の画像復元方法。

【請求項7】
 
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定するための画像復元プログラムであって、
コンピュータに、
時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻nのみの劣化画像情報に対して、前記相関演算工程で算出した相関値、予め設定されたぼけ情報、および観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出工程と、
ここで、前記劣化画像情報は、注目画素領域と周辺画素領域とからなる処理対象ブロックの画素情報によって構成され、前記時刻nは、前記処理対象ブロックの処理の順番(n番目)を表す、
を実行させるための画像復元プログラム。

【請求項8】
 
前記相関演算工程は、第1の相関演算工程および第2の相関演算工程を有し、
前記最適推定値算出工程は、第1の最適推定値算出工程および第2の最適推定値算出工程を有し、
前記第1の相関演算工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出し、
前記重み係数算出工程は、
時刻nのみの劣化画像情報に対して、前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報、および前記観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報により時刻n+1の前記状態量を推定した場合の推定誤差の相関値行列を算出する、
請求項7記載の画像復元プログラム。

【請求項9】
 
前記第1の相関演算工程は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散の要素値、および与えられたまたは前回前記第2の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行い、
前記重み係数算出工程は、
前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報を有する与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散の要素値を用いて、前記重み係数行列の算出を行い、
前記第1の最適推定値算出工程は、
前記状態遷移行列、および、与えられたまたは前回前記第2の最適推定値算出工程で算出した状態量の最適推定値ベクトルを用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の最適推定値算出工程は、
前記第1の最適推定値算出工程で算出した状態量の最適推定値ベクトル、前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および時刻n+1のみにおける観測量を用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の相関演算工程は、
前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および前記第1の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行う、
請求項8記載の画像復元プログラム。

【請求項10】
 
画像データを入力する画像入力部と、
請求項4から請求項6のいずれかに記載の画像復元方法を実施して、前記画像入力部によって入力された画像データを劣化画像情報として、原画像情報を推定する画像復元処理部と、
前記画像復元処理部によって推定された原画像情報を出力する画像出力部と
を有する画像復元装置。

【請求項11】
 
使用者の入力操作により、前記画像復元処理部による画像復元処理に必要な各種設定を行う操作部、
をさらに有する請求項10記載の画像復元装置。

【請求項12】
 
前記操作部は、
前記入力された画像データに対して、前記画像復元処理の対象となる領域を指定する領域指定部、
を有する請求項11記載の画像復元装置。

【請求項13】
 
前記画像復元処理部は、
前記画像復元処理の内容が異なる複数の復元モードを実行可能であり、
前記操作部は、
前記画像復元処理部が実行する復元モードを指定する復元モード指定部、
を有する請求項11記載の画像復元装置。

【請求項14】
 
画像データを入力する画像入力工程と、
前記画像入力工程で入力した画像データを表示する画像表示工程と、
前記画像表示工程で表示した画像データに対して、画像復元処理の対象となる領域を設定する領域設定工程と、
請求項4から請求項6のいずれかに記載の画像復元方法を実施して、前記画像入力工程で入力した画像データのうち、前記領域設定工程で設定した領域に含まれる画像データを劣化画像情報として、原画像情報を推定する画像復元処理工程と、
前記画像復元処理工程で推定した原画像情報を出力する画像出力工程と、
を有する画像復元方法。

【請求項15】
 
前記画像復元処理工程は、
前記画像復元処理の内容が異なる複数の復元モードを実行可能であり、
指定された復元モードに対応する内容の画像復元処理を実行する、
を有する請求項14記載の画像復元方法。

【請求項16】
 
請求項4から請求項6のいずれかに記載の画像復元方法以外の他の画像復元方法を実施して、前記画像入力工程で入力した画像データのうち、前記領域設定工程で設定した領域に含まれる画像データを劣化画像情報として、原画像情報を推定する他の画像復元処理工程と、
前記領域設定工程で設定した領域の中から、画像の急激な変化領域を検出する変化領域検出工程と、をさらに有し、
前記変化領域検出工程で検出した画像の急激な変化領域に対して、前記画像復元処理工程を実行し、それ以外の領域に対して、前記他の画像復元処理工程を実行する、
請求項14記載の画像復元方法。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2010523766thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close