TOP > 国内特許検索 > 画像復元装置および画像復元方法 > 明細書

明細書 :画像復元装置および画像復元方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5447867号 (P5447867)
登録日 平成26年1月10日(2014.1.10)
発行日 平成26年3月19日(2014.3.19)
発明の名称または考案の名称 画像復元装置および画像復元方法
国際特許分類 G06T   5/20        (2006.01)
FI G06T 5/20 B
請求項の数または発明の数 16
全頁数 42
出願番号 特願2010-523766 (P2010-523766)
出願日 平成21年8月6日(2009.8.6)
国際出願番号 PCT/JP2009/003780
国際公開番号 WO2010/016263
国際公開日 平成22年2月11日(2010.2.11)
優先権出願番号 2008206316
優先日 平成20年8月8日(2008.8.8)
優先権主張国 日本国(JP)
審査請求日 平成24年7月27日(2012.7.27)
特許権者または実用新案権者 【識別番号】803000115
【氏名又は名称】学校法人東京理科大学
発明者または考案者 【氏名】田邉 造
【氏名】古川 利博
【氏名】北原 俊一
個別代理人の代理人 【識別番号】100105050、【弁理士】、【氏名又は名称】鷲田 公一
審査官 【審査官】板垣 有紀
参考文献・文献 特開2007-241126(JP,A)
特開2008-011252(JP,A)
特開平08-123959(JP,A)
特開2003-060916(JP,A)
Nari TANABE et al,Robust Noise Suppression Algorithm with the Kalman Filter Theory for White and Colored Disturbance,IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences,日本,2008年 3月 1日,Vol.E91-A No.3,pp.818-829
Nari TANABE et al,Robust noise suppresion algorithm using the only Kalman filter theory for white and colored noises,電子情報通信学会技術研究報告,日本,2008年 3月13日,Vol.107 No.551,pp.51-56
田邉造 外6名,有色性駆動雑音を考慮したカルマンフィルタを用いた雑音抑制法,電子情報通信学会技術研究報告,日本,2008年 2月29日,Vol.107 No.532,pp.79-84
城崇 外2名,カルマンフィルタによる高精度画像復元のための画像のモデリングとパラメータ推定,電子情報通信学会論文誌,日本,1997年11月25日,Vol.J80-D-II No.11,pp.2912-2919
松村淳 外2名,効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ,電子情報通信学会論文誌,日本,2003年 2月 1日,Vol.J86-D-II No.2,pp.212-222
平松朋樹 外2名,霧発生時に撮像された車載カメラ画像の高精度な復元に関する考察 霧の劣化モデルのカルマンフィルタへの適,電子情報通信学会技術研究報告,日本,2007年 6月14日,Vol.107 No.104,pp.1-6
調査した分野 G06T 5/00 - 5/20
H04N 5/232
特許請求の範囲 【請求項1】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、
時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、
時刻nのみの劣化画像情報に対して、前記相関演算部によって算出された相関値、予め設定されたぼけ情報、および観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出部と、を有し、
前記劣化画像情報は、注目画素領域と周辺画素領域とからなる処理対象ブロックの画素情報によって構成され、前記時刻nは、前記処理対象ブロックの処理の順番(n番目)を表す、
画像復元装置。
【請求項2】
前記相関演算部は、第1の相関演算部および第2の相関演算部を有し、
前記最適推定値算出部は、第1の最適推定値算出部および第2の最適推定値算出部を有し、
前記第1の相関演算部は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出し、
前記重み係数算出部は、
時刻nのみの劣化画像情報に対して、前記第1の相関演算部によって算出された推定誤差の相関値行列、前記ぼけ情報、および前記観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出部は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出部は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算部は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報により時刻n+1の前記状態量を推定した場合の推定誤差の相関値行列を算出する、
請求項1記載の画像復元装置。
【請求項3】
前記第1の相関演算部は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散の要素値、および与えられたまたは前回前記第2の相関演算部によって算出された推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行い、
前記重み係数算出部は、
前記第1の相関演算部によって算出された推定誤差の相関値行列、前記ぼけ情報を有する与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散の要素値を用いて、前記重み係数行列の算出を行い、
前記第1の最適推定値算出部は、
前記状態遷移行列、および、与えられたまたは前回前記第2の最適推定値算出部によって算出された状態量の最適推定値ベクトルを用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の最適推定値算出部は、
前記第1の最適推定値算出部によって算出された状態量の最適推定値ベクトル、前記重み係数算出部によって算出された重み係数行列、前記観測遷移行列、および時刻n+1のみにおける観測量を用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の相関演算部は、
前記重み係数算出部によって算出された重み係数行列、前記観測遷移行列、および前記第1の相関演算部によって算出された推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行う、
請求項2記載の画像復元装置。
【請求項4】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、
時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻nのみの劣化画像情報に対して、前記相関演算工程で算出した相関値、予め設定されたぼけ情報、および観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出工程と、を有し、
前記劣化画像情報は、注目画素領域と周辺画素領域とからなる処理対象ブロックの画素情報によって構成され、前記時刻nは、前記処理対象ブロックの処理の順番(n番目)を表す、
画像復元方法。
【請求項5】
前記相関演算工程は、第1の相関演算工程および第2の相関演算工程を有し、
前記最適推定値算出工程は、第1の最適推定値算出工程および第2の最適推定値算出工程を有し、
前記第1の相関演算工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出し、
前記重み係数算出工程は、
時刻nのみの劣化画像情報に対して、前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報、および前記観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報により時刻n+1の前記状態量を推定した場合の推定誤差の相関値行列を算出する、
請求項4記載の画像復元方法。
【請求項6】
前記第1の相関演算工程は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散の要素値、および与えられたまたは前回前記第2の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行い、
前記重み係数算出工程は、
前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報を有する与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散の要素値を用いて、前記重み係数行列の算出を行い、
前記第1の最適推定値算出工程は、
前記状態遷移行列、および、与えられたまたは前回前記第2の最適推定値算出工程で算出した状態量の最適推定値ベクトルを用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の最適推定値算出工程は、
前記第1の最適推定値算出工程で算出した状態量の最適推定値ベクトル、前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および時刻n+1のみにおける観測量を用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の相関演算工程は、
前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および前記第1の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行う、
請求項5記載の画像復元方法。
【請求項7】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定するための画像復元プログラムであって、
コンピュータに、
時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻nのみの劣化画像情報に対して、前記相関演算工程で算出した相関値、予め設定されたぼけ情報、および観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出工程と、
ここで、前記劣化画像情報は、注目画素領域と周辺画素領域とからなる処理対象ブロックの画素情報によって構成され、前記時刻nは、前記処理対象ブロックの処理の順番(n番目)を表す、
を実行させるための画像復元プログラム。
【請求項8】
前記相関演算工程は、第1の相関演算工程および第2の相関演算工程を有し、
前記最適推定値算出工程は、第1の最適推定値算出工程および第2の最適推定値算出工程を有し、
前記第1の相関演算工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出し、
前記重み係数算出工程は、
時刻nのみの劣化画像情報に対して、前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報、および前記観測雑音情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出し、
前記第1の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の最適推定値算出工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出し、
前記第2の相関演算工程は、
時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列および前記ぼけ情報を用いて、時刻n+1までの情報により時刻n+1の前記状態量を推定した場合の推定誤差の相関値行列を算出する、
請求項7記載の画像復元プログラム。
【請求項9】
前記第1の相関演算工程は、
所定の状態遷移行列、与えられた駆動源ベクトルの共分散の要素値、および与えられたまたは前回前記第2の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行い、
前記重み係数算出工程は、
前記第1の相関演算工程で算出した推定誤差の相関値行列、前記ぼけ情報を有する与えられた観測遷移行列、および与えられた観測雑音ベクトルの共分散の要素値を用いて、前記重み係数行列の算出を行い、
前記第1の最適推定値算出工程は、
前記状態遷移行列、および、与えられたまたは前回前記第2の最適推定値算出工程で算出した状態量の最適推定値ベクトルを用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の最適推定値算出工程は、
前記第1の最適推定値算出工程で算出した状態量の最適推定値ベクトル、前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および時刻n+1のみにおける観測量を用いて、前記状態量の最適推定値ベクトルの算出を行い、
前記第2の相関演算工程は、
前記重み係数算出工程で算出した重み係数行列、前記観測遷移行列、および前記第1の相関演算工程で算出した推定誤差の相関値行列を用いて、前記推定誤差の相関値行列の算出を行う、
請求項8記載の画像復元プログラム。
【請求項10】
画像データを入力する画像入力部と、
請求項4から請求項6のいずれかに記載の画像復元方法を実施して、前記画像入力部によって入力された画像データを劣化画像情報として、原画像情報を推定する画像復元処理部と、
前記画像復元処理部によって推定された原画像情報を出力する画像出力部と
を有する画像復元装置。
【請求項11】
使用者の入力操作により、前記画像復元処理部による画像復元処理に必要な各種設定を行う操作部、
をさらに有する請求項10記載の画像復元装置。
【請求項12】
前記操作部は、
前記入力された画像データに対して、前記画像復元処理の対象となる領域を指定する領域指定部、
を有する請求項11記載の画像復元装置。
【請求項13】
前記画像復元処理部は、
前記画像復元処理の内容が異なる複数の復元モードを実行可能であり、
前記操作部は、
前記画像復元処理部が実行する復元モードを指定する復元モード指定部、
を有する請求項11記載の画像復元装置。
【請求項14】
画像データを入力する画像入力工程と、
前記画像入力工程で入力した画像データを表示する画像表示工程と、
前記画像表示工程で表示した画像データに対して、画像復元処理の対象となる領域を設定する領域設定工程と、
請求項4から請求項6のいずれかに記載の画像復元方法を実施して、前記画像入力工程で入力した画像データのうち、前記領域設定工程で設定した領域に含まれる画像データを劣化画像情報として、原画像情報を推定する画像復元処理工程と、
前記画像復元処理工程で推定した原画像情報を出力する画像出力工程と、
を有する画像復元方法。
【請求項15】
前記画像復元処理工程は、
前記画像復元処理の内容が異なる複数の復元モードを実行可能であり、
指定された復元モードに対応する内容の画像復元処理を実行する、
を有する請求項14記載の画像復元方法。
【請求項16】
請求項4から請求項6のいずれかに記載の画像復元方法以外の他の画像復元方法を実施して、前記画像入力工程で入力した画像データのうち、前記領域設定工程で設定した領域に含まれる画像データを劣化画像情報として、原画像情報を推定する他の画像復元処理工程と、
前記領域設定工程で設定した領域の中から、画像の急激な変化領域を検出する変化領域検出工程と、をさらに有し、
前記変化領域検出工程で検出した画像の急激な変化領域に対して、前記画像復元処理工程を実行し、それ以外の領域に対して、前記他の画像復元処理工程を実行する、
請求項14記載の画像復元方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像復元装置および画像復元方法に関する。
【背景技術】
【0002】
近年、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像(所望情報、クリアな画像)に不必要な情報(ぼけと雑音)が混在した劣化画像(受信情報)から不必要な情報(ぼけと雑音)を取り除き、原画像(所望情報)のみを抽出することは、画像復元の分野において必要不可欠な技術であり、近年盛んに研究開発が行われている。例えば、デジタルカメラ(デジタルスチルカメラおよびデジタルビデオカメラの総称)や携帯電話などで撮影された画像は、手ぶれや焦点ずれなどに起因する「ぼけ」と、暗電流や熱雑音などに起因するガウス性またはインパルス性の「雑音」との影響から、実物と比較して画質が劣化することは避けられない。「画像復元」とは、このように劣化した画像からできるだけ原画像に近い画像を復元することである。
【0003】
現在一般に市場で普及している画像復元技術の多くは、例えば、手ぶれ補正や顔認識、色補正、様々なフィルタなどを用いて、予めぼけと雑音の影響を軽減させる予防的な技術が主流となっている。この結果、近年、特にデジタルカメラの分野では、デジタルカメラの多機能化・高性能化により鮮明な画像が気軽に手に入れられるようになってきている。
【0004】
しかし、これらの予防的な技術は、何度も画像を撮り直せる状況下では問題ないが、古文書などの既に劣化している画像や、スポーツや医療などの分野における瞬間的に変化する画像など、撮り直しが許されない画像に対する復元は、いまだ困難な問題である。ここで、スポーツと医療の分野における瞬間的に変化する画像は、例えば、選手の瞬間的な動作や、肺や心臓などの臓器の瞬間的な様子などである。したがって、今日、特に、撮り直しが許されない状況下における画像復元の重要性が高まってきている。
【0005】
撮り直しが許されない状況下における従来の画像復元技術として、ウィナーフィルタ(Wiener Filter)を用いた画像復元手法が広く知られている(非特許文献1、非特許文献2)。この手法は、フィルタを通して得られる復元画像と原画像との平均2乗誤差を最小にするフィルタであって、最小2乗フィルタとも呼ばれている。この手法は、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にした画像復元手法である。
【0006】
また、他の画像復元技術として、射影フィルタを用いた画像復元手法も知られている(非特許文献3、非特許文献4)。射影フィルタは、原画像と復元画像との近さを直接原画像の空間で評価しており、復元画像の雑音の画像成分が個々の原画像の最良近似、つまり、個々の原画像の正射影となるものの中で、復元画像の雑音成分の2乗平均を最小にするものである。また、この性質から、射影フィルタは、出現頻度に無関係に、最良近似画像を復元する手法である。
【0007】
また、さらに他の画像復元技術として、カルマンフィルタ(Kalman Filter)を用いた画像復元手法も知られている(非特許文献5、非特許文献6)。この手法は、まずステップ1で、劣化画像に対してAR(Auto Regressive:自己回帰)システムのパラメータ(以下「AR係数」という)を推定した後、ステップ2で、ステップ1で推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成し、これにカルマンフィルタ理論(カルマンフィルタアルゴリズム)を適用することによって、高性能な画像復元を実現している。
【先行技術文献】
【0008】

【非特許文献1】西宮亮平、外1名、「複数のウィーナーフィルタによる画像復元」(Image Restoration by Using Multiple Wiener Filters)、電子情報通信学会論文誌、A、Vol.J83-A、No.7、pp.892-902、2000年7月
【非特許文献2】山根延元、外3名、「画像の局所定常ガウス混合モデルに基づく適応的ウィーナーフィルタを用いた最適雑音除去」(An Optimal Noise Removal Using Adaptive Wiener Filter Based on Locally Stationary Gaussian Mixture Distribution Model for Images)、電子情報通信学会論文誌、A、Vol.J85-A、No.9、pp.993-1004、2002年9月
【非特許文献3】小川 英光 、外1名、「部分射影フィルタの諸性質」(Properties of Partial Projection Filter)、電子情報通信学会論文誌、A、Vol.J71-A、No.2、pp.527-534、1988年2月
【非特許文献4】小出 裕司、外2名、「信号・画像推定のための射影フィルタ族の統一理論」(A Unified Theory of the Family of Projection Filters for Signal and Image Estimation)、電子情報通信学会論文誌、D-II、Vol.J77-D-II、No.7、pp.1293-1301、1994年7月
【非特許文献5】城崇、外2名、「カルマンフィルタによる高精度画像復元のための画像のモデリングとパラメータ推定」(Image Modeling and Parameter Identification for Image Restoration Using a Kalman Filter)、電子情報通信学会論文誌、D-II、Vol.J80-D-II、No.11、pp.2912-2919、1997年11月
【非特許文献6】松村淳、外2名、「効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ」(A Kalman Filter Using Adaptive Image Modeling for Noise Reduction)、電子情報通信学会論文誌、D-II、Vol.J86-D-II、No.2、pp.212-222、2003年2月
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、ウィナーフィルタを用いた画像復元手法は、画像の劣化状態によらず復元が可能であるという利点を有する反面、非定常性(画像の分散が変化していること)が強い自然画像(加工されていない撮影されたままの画像)に対する復元精度が低いという欠点がある。
【0010】
すなわち、ウィナーフィルタを用いた画像復元手法は、上記のように、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にしているが、現実には、実環境においてこの前提条件が成り立つことは困難であるため、適切に復元されない場合が存在する(自然画像の非定常性の問題)。また、この手法は、最小2乗誤差を評価量とした一括処理であるため、復元画像にぼけが残るという問題が生じる可能性もある(評価量の問題)。
【0011】
具体的には、ウィナーフィルタを用いた画像復元手法では、画像の出現頻度が低くなると、復元精度が低下する、つまり、画像においては、出現頻度が低いエッジ部分の復元に影響するという問題がある。換言すれば、例えば、カメラで撮影された画像は、エッジ部分が多く非定常性が強いため、特にエッジ部分において最適に復元できないという問題がある。ただし、階調や色などが変化していない、つまり、画像の分散が変化していない、単調な背景部分などは、定常性が強いため、通常、良好な復元精度を得ることができる。
【0012】
また、カルマンフィルタを用いた画像復元手法は、ウィナーフィルタを用いた画像復元手法の問題点(自然画像の非定常性の問題と評価量の問題)を解決するための手法であって、ウィナーフィルタを用いた画像復元手法の問題点を解決可能であるという利点を有する反面、処理対象画像(観測画像・劣化画像)にぼけに基づく劣化があると、復元精度が低いという問題がある。
【0013】
すなわち、カルマンフィルタを用いた画像復元手法は、ステップ1で、注目画素とその周囲の画素との相関を考慮すべく、前処理として注目画素とその周囲の画素に対するAR係数を推定した後、ステップ2で、ステップ1で推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成し、具体的には、ステップ1で推定したAR係数と原画像から状態方程式を構成し、原画像と劣化関数と雑音から観測方程式を構成することにより、カルマンフィルタ理論(カルマンフィルタアルゴリズム)を用いて画像を復元している。したがって、カルマンフィルタを用いた画像復元手法は、定常性を前提としない時間領域のみの処理であり、かつ、推定誤差の分散を評価量とする逐次的処理であるため、ウィナーフィルタを用いた画像復元手法の問題点を解決することができる。
【0014】
しかしながら、一方で、この手法は、ステップ1で推定したAR係数を用いてステップ2のカルマンフィルタアルゴリズムを実行するため、ステップ1でのAR係数の推定精度に劣化画像の復元精度が大きく依存してしまうという問題を有している(ARシステムの問題)。例えば、デジタルカメラの場合、処理対象画像にぼけ(焦点ずれなど)に基づく劣化が含まれると、ステップ1でのAR次数の決定およびAR係数の推定が困難となるため、ステップ2でのカルマンフィルタによる画像復元の精度に影響が出てしまう。
【0015】
この点、一般には、AR係数の正確な推定は困難である。AR係数の正確な推定は、例えば、画像復元であれば、クリアな画像(原画像)に依存しているからである。このことは、原画像が既知でなければならないことを意味しているため、リアルタイム処理は困難となる。また、仮に何らかの手法でリアルタイムにAR係数を正確に推定することが可能になったとしても、処理が増加するため演算量の問題は避けられない。また、そもそも、AR係数の推定はAR係数の次数を決定した後に行われるが、AR係数の次数を決定するのは非常に困難であり、この点からもAR係数の正確な推定は困難であるといえる。
【0016】
したがって、今日、ウィナーフィルタを用いた画像復元手法の問題点およびカルマンフィルタを用いた画像復元手法の問題点の両方を解決しうる、シンプルで実用的な高性能の画像復元手法、つまり、シンプルな構成を有し、かつ、実環境でも使用可能であり、しかも劣化画像の復元性能(つまり、画像復元能力)が高い画像復元手法が求められている。
【0017】
本発明の目的は、画像復元能力を向上することができるシンプルで実用的な画像復元装置および画像復元方法を提供することである。
【課題を解決するための手段】
【0018】
本発明の画像復元装置は、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻nのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出部と、を有する構成を採る。
【0019】
本発明の画像復元装置は、好ましくは、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出する第1の相関演算部と、時刻nのみの劣化画像情報に対して、前記第1の相関演算部によって算出された推定誤差の相関値行列を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出する重み係数算出部と、時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出する第1の最適推定値算出部と、時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数行列を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出する第2の最適推定値算出部と、時刻nのみの劣化画像情報に対して、時刻n+1までの情報により時刻n+1での前記状態量を推定した場合の推定誤差の相関値行列を算出する第2の相関演算部と、を有する構成を採る。
【0020】
本発明の画像復元方法は、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、時刻nのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出工程と、を有するようにした。
【0021】
本発明の画像復元方法は、好ましくは、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、時刻nのみの劣化画像情報に対して、時刻nまでの情報により前記原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値行列を算出する第1の相関演算工程と、時刻nのみの劣化画像情報に対して、前記第1の相関演算工程で算出した推定誤差の相関値行列を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数行列を算出する重み係数算出工程と、時刻nのみの劣化画像情報に対して、時刻nまでの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出する第1の最適推定値算出工程と、時刻nのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数行列を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値ベクトルを算出する第2の最適推定値算出工程と、時刻nのみの劣化画像情報に対して、時刻n+1までの情報により時刻n+1での前記状態量を推定した場合の推定誤差の相関値行列を算出する第2の相関演算工程と、を有するようにした。
【発明の効果】
【0022】
本発明によれば、画像復元能力を向上することができるシンプルで実用的な画像復元装置および画像復元方法を得ることができる。
【図面の簡単な説明】
【0023】
【図1】本発明の一実施の形態に係る画像復元装置の構成を示すブロック図
【図2】図2Aは、図1の画像復元処理部の構成を示すブロック図、図2Bは、図2Aの第1復元処理部の構成を示すブロック図
【図3】画像の劣化の過程を説明するための図
【図4】発明手法の状態空間モデルのシステム構成を表すブロック線図
【図5】発明手法の状態方程式の定式化の具体例を説明するための図であり、特に、図5Aは、状態空間モデルの状態過程を示す図、図5Bは、処理対象ブロックおよびその時間変化の一例を示す図、図5Cは、状態方程式の具体例を示す図
【図6】発明手法の状態方程式の構成を説明するための図
【図7】発明手法の観測方程式の定式化の具体例を説明するための図であり、特に、図7Aは、状態空間モデルの観測過程を示す図、図7Bは、観測方程式の具体例を示す図
【図8】従来の一般的な観測方程式の構成(一般例)を説明するための図であり、特に、図8Aは、従来の観測方程式の定義を示す図、図8Bは、観測量に影響する状態量の範囲を視覚的に示す図
【図9】発明手法の観測方程式の構成を説明するための図であり、特に、図9Aは、発明手法の観測方程式の定義を示す図、図9Bは、観測量に影響する状態量の範囲を視覚的に示す図
【図10】観測遷移行列を構成する係数の割り当て方法を説明するための図
【図11】図9Aに示す観測遷移行列に基づく、各観測量に影響する状態量の範囲を、割り当てられた係数と共に示す図
【図12】発明手法のアルゴリズムの一例を示す図
【図13】図12のアルゴリズムを実行する処理手順を示すフローチャート
【図14】発明手法を視覚的にまとめた説明図
【図15】シミュレーション条件を説明するための図
【図16】原画像「カメラマン」を説明するための図
【図17】原画像「カメラマン」に対するシミュレーション結果(視覚評価)を示す図
【図18】図17中の破線の円の周辺領域を拡大した図
【図19】原画像「カメラマン」に対するシミュレーション結果(視覚評価)を示す図
【図20】図19中の破線の円の周辺領域を拡大した図
【図21】原画像「レナ」に対するシミュレーション結果(視覚評価)を示す図
【図22】図21中の破線の円の周辺領域を拡大した図
【図23】原画像に対するシミュレーション結果(客観評価)を示す図
【図24】原画像に対するシミュレーション結果(主観評価)を示す図
【図25】図1の画像復元装置の動作の一例を示すフローチャート
【図26】図25のステップS2300の検出方法の一例を説明するための図
【図27】復元モードの実装の一例を説明するための図
【図28】復元モードの実装の他の例を説明するための図
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。

【0025】
図1は、本発明の一実施の形態に係る画像復元装置の構成を示すブロック図である。ここでは、本発明の画像復元方法を適用した好適な画像復元装置について、特に各種の用途に対応可能な汎用的な画像復元装置を例にとって説明する。

【0026】
図1に示す画像復元装置100は、コンピュータで構成されており、大別して、画像入力装置110、入力インタフェース部120、操作部130、内部インタフェース部140、記憶部150、画像復元処理部160、出力インタフェース部170、および画像出力装置180を有する。

【0027】
画像入力装置110は、復元処理の対象となる画像データ(劣化画像)をデジタルデータとしてコンピュータに入力するための入力装置である。入力する画像は、静止画像でも動画像でもよい。画像入力装置110としては、例えば、カメラ112やスキャナ114、記録メディア116、モデム118などを用いることができる。カメラ112は、撮像機能を有するすべての装置を意味し、例えば、デジタルカメラ(デジタルスチルカメラとデジタルビデオカメラ)のほかに、カメラ機能を搭載した携帯電話や、防犯カメラ(監視カメラ)、画像診断を行うための医療機器(内視鏡、レントゲン、エコー、CT、MRIなど)などを含むことができる。スキャナ114は、代表的な画像入力装置の1つであり、ネガやポジといったファイルからの読み込みを専用に行うフィルムスキャナなども含んでいる。記録メディア116は、画像データを記録可能な記録媒体を広く意味し、例えば、磁気ディスク(HDDやFDなど)や、光ディスク(CDやDVD、BDなど)、光磁気ディスク(MO)、フラッシュメモリ(メモリカードやUSBメモリなど)などである。モデム118は、外部の通信ネットワーク(例えば、電話回線やLAN、インターネットなど)と接続するための装置である。なお、画像入力装置110の種類は、画像復元装置100の用途に応じて適宜選択すればよい。

【0028】
入力インタフェース部120は、画像入力装置110から提供される画像データをコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。図示しないが、入力インタフェース部120は、画像入力装置110の種類に応じて別個独立に設けられる。例えば、記録メディア116の入力インタフェース部120は、ドライブとも呼ばれ、記録メディア116の種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部120と出力インタフェース部170は一体化されている。また、通常、モデム118は、画像入力装置110としても画像出力装置180としても機能しうるため、モデム118に関しても、通常、入力インタフェース部120と出力インタフェース部170は一体化されている。入力インタフェース部120は、コンピュータ本体の内部に格納された内蔵カード(ボード)であってもよいし、内部インタフェース部140を介して接続された外部設置型機器であってもよい。

【0029】
なお、画像入力装置110が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部120は、サンプリング部およびA/D変換部(共に図示せず)を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、A/D変換部に出力する。サンプリング周波数は、復元処理対象(情報源)の種類に応じて変更可能である。A/D変換部は、サンプリングされた信号の振幅値を所定の分解能でA/D変換処理する。

【0030】
操作部130は、典型的にはキーボートやマウス、タッチパネルなどであるが、音声認識装置などを用いてもよい。使用者は、操作部130を用い、例えば、後述するディスプレイ182で確認をしながらコンピュータを操作することができる。また、操作部130は、パラメータ設定部132、領域指定部134、および復元モード指定部136を有する。パラメータ設定部132は、使用者の入力操作により、後で詳述する本実施の形態における画像復元処理に必要な各種パラメータの値を設定する。領域指定部134は、使用者の入力操作により、入力された画像に対して画像復元処理の対象となる領域(画像の特定の範囲)を指定する。復元モード指定部136は、使用者の入力操作により、後述する復元モードを指定する。

【0031】
内部インタフェース部140は、コンピュータ本体の内部にあって、入力インタフェース部120、操作部130、記憶部150、画像復元処理部160、および出力インタフェース部170を相互に接続する機能を有する。コンピュータの内部における各種信号のやり取りは、内部インタフェース部140を介して行われる。

【0032】
記憶部150は、主記憶装置152および補助記憶装置154を有する。主記憶装置152は、コンピュータの本体を構成する一要素であって、主にプログラムとデータを格納する。補助記憶装置154は、主記憶装置152の容量の不足を補う記憶装置である。補助記憶装置154は、典型的にはハードディスク(HD)であるが、CD-ROMやDVD、SSD(Solid State Drive)、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。本実施の形態における画像復元処理を実行させるプログラム(画像復元アルゴリズム)は、予め記憶部150(主記憶装置152または補助記憶装置154)に格納されていてもよいし、記録メディア116から両インタフェース部120、140を介して記憶部150にインストールしたり、モデム118および両インタフェース部120、140を介して外部から記憶部150にダウンロードしたりしてもよい。

【0033】
なお、画像入力装置110から画像データを取り込み、取り込んだ画像データに対して画像復元処理を行い、復元処理後の画像データを画像出力装置180から取り出すという一連の処理を実行するためには、取り込んだ画像データを格納しておく記憶領域と、データ処理の上で一時的に必要な記憶領域(作業領域または作業用メモリと呼ばれる)と、出力すべき画像データを格納しておく記憶領域とが必要である。これらの記憶領域は、主記憶装置152または補助記憶装置154の上に取られるが、ここでは、説明の便宜上、復元処理後の画像データを後述するディスプレイ182に出力する場合を想定して、特に表示メモリ156を図面上に別途表記している。

【0034】
画像復元処理部160は、本発明の特徴的な構成要素であり、後述する内蔵された画像復元アルゴリズムを実行する。カルマンフィルタを用いた従来の画像復元手法では、2段階処理、つまり、AR次数を決定し、AR係数を推定した後、この推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成してカルマンフィルタを実行することによって、画像復元を実現しているのに対し、本発明の画像復元方法(以下「発明手法」という)では、状態方程式と観測方程式から構成される新しい予測法によって画像復元を実現している。具体的には、発明手法では、ARシステムのコンセプトを必要としない新しい状態空間モデル(状態方程式と観測方程式)を構成することによって、より具体的には、状態方程式をクリアな画像情報(原画像情報)のみで構成し、かつ、観測方程式を劣化画像情報、クリアな画像情報(原画像情報)、ぼけ情報、および雑音で構成した新たな状態空間モデルを用いることによって、画像復元を実現している。画像復元の対象となる画像は、静止画像でも動画像でもよい。なお、本発明の画像復元方法については、後で詳細に説明する。

【0035】
画像出力装置180は、コンピュータ(画像復元処理部160)で復元処理された画像データ(復元画像)を所定の出力形態で外部に取り出すための出力装置である。画像出力装置180としては、例えば、ディスプレイ182やプリンタ184、記録メディア186、モデム188などを用いることができる。記録メディア186およびモデム188は、画像入力装置110としての記録メディア116およびモデム118とそれぞれ共用してもよい。なお、画像出力装置180の種類は、画像復元装置100の用途に応じて適宜選択すればよい。

【0036】
出力インタフェース部170は、コンピュータ(画像復元処理部160)で復元処理された画像データ(復元画像)を画像出力装置180に出力可能なデータ形式に変換するなどの出力処理を行う。図示しないが、出力インタフェース部170は、画像出力装置180の種類に応じて別個独立に設けられる。上記のように、記録メディアおよびモデムに関しては、通常、入力インタフェース部120と出力インタフェース部170は一体化されている。出力インタフェース部170も、入力インタフェース部120と同様に、コンピュータ本体の内部に格納された内蔵カード(ボード)であってもよいし、内部インタフェース部140を介して接続された外部設置型機器であってもよい。

【0037】
図2Aは、図1の画像復元処理部160の構成を示すブロック図であり、図2Bは、図2Aの第1復元処理部160aの構成を示すブロック図である。

【0038】
本実施の形態では、図2Aに示すように、画像復元処理部160は、第1復元処理部160aと第2復元処理部160bを有する。第1復元処理部160aは、本発明の画像復元方法を実施する。第2復元処理部160bは、本発明の画像復元方法以外の画像復元方法、例えば、ウィナーフィルタを用いた画像復元手法やカルマンフィルタを用いた画像復元手法などの従来の画像復元方法を実施する。これによって、第1復元処理部160aと第2復元処理部160bとを用いた画像復元処理が可能となる。なお、以下では、第2復元処理部160bで実施する従来の画像復元方法として、例えば、ウィナーフィルタを用いた画像復元手法(以下「従来手法」という)を例にとる。

【0039】
第1復元処理部160aは、図2Bに示すように、初期設定部162、相関演算部164、重み係数算出部166、および最適推定値算出部168を有する。第1復元処理部160aは、各部162~168の協働の下、内蔵された画像復元アルゴリズム(発明手法)を実行することによって、取り込んだ画像データ(劣化画像)のみからクリアな画像(原画像)を復元する。このとき、初期設定部162は、発明手法の画像復元アルゴリズムの初期設定を行い、相関演算部164は、原画像(所望情報、クリアな画像)の推定誤差の相関演算を行い、重み係数算出部166は、原画像(所望情報)の最適推定値の算出に必要な重み係数の算出を行い、最適推定値算出部168は、原画像(所望情報)の最適推定値の算出を行う。なお、各部162~168の具体的な処理内容は、後で詳細に説明する。

【0040】
以下、第1復元処理部160aで行われる画像復元処理動作について詳細に説明するが、ここでは、まず、画像復元の理論となる劣化画像モデルについて説明しておく。

【0041】
劣化した画像は、一般的に、原画像とぼけの点拡がり関数(PSF:Point Spread Function)の畳み込み(コンボリューション)に雑音を加えたモデルによって得られる。すなわち、イメージングシステム(対象物を撮像する装置や画像を生成するシステムなど)によって得られる劣化画像g(x,y)は、対象物を表す原画像をf(n,m)、ぼけの点拡がり関数をh(x,y)、雑音をn(x,y)でそれぞれ表すと、次の式(1)で表される。なお、ぼけの点拡がり関数h(x,y)は、撮影条件なども含めたイメージングシステムの特性を表している。

【0042】
【数1】
JP0005447867B2_000002t.gif

【0043】
図3は、画像の劣化の過程を説明するための図である。

【0044】
例えば、図3の左端に示す原画像にぼけが生じると、図3の中央に示す画像となり、この画像にさらに雑音が加わると、図3の右端に示す劣化画像となる。ぼけは、ある画素がその周囲の画素に影響することによって生じるが、雑音は、画素に関係なく発生する。上記のように、カメラなどで撮影された画像の場合、ぼけは、手ぶれや焦点ずれなどに起因して生じ、雑音は、暗電流や熱雑音などに起因して不可避的に発生する。図3に示すように、劣化画像の復元は、劣化画像からぼけと雑音を取り除くことにほかならない。

【0045】
発明手法では、上記のように、ARシステムのコンセプトを用いないようにするために、新しい状態空間モデル(状態方程式と観測方程式)を構成する。すなわち、クリアな画像情報(原画像情報)のみを用いて状態方程式を構成し、かつ、劣化画像情報、クリアな画像情報(原画像情報)、ぼけ情報、および雑音を用いて観測方程式を構成する。

【0046】
具体的には、発明手法では、新しい状態空間モデル(状態方程式と観測方程式)を構成し、この新しい状態空間モデルは、次の式(2)で表される。ただし、状態方程式において、ベクトルxp1(n)は状態ベクトル(原画像情報)、行列Φp1は状態遷移行列、ベクトルδp1(n)は駆動源である。また、観測方程式において、ベクトルyp1(n)は観測ベクトル(観測画像情報、劣化画像情報)、行列Mp1は観測遷移行列、ベクトルεp1(n)は観測雑音である。また、「n」とは、装置の時刻nである。時刻nは、注目画素を含む複数の周辺画素からなる処理対象ブロックの処理の順番(n番目)を表している。なお、ここでは、発明手法として1つの具体的な手法(以下「発明手法1」という)を提示する。以下の説明において、添え字「p1」は、発明手法1に係るものであることを示している。

【0047】
【数2】
JP0005447867B2_000003t.gif

【0048】
図4は、この状態空間モデルにおけるシステム構成をブロック線図で表したものである。

【0049】
図4に示すように、この状態空間モデルは、状態過程と観測過程とで構成される。状態過程は、状態方程式によって記述され、観測過程は、観測方程式によって記述される。図4において、「201」は時刻nにおける状態ベクトルxp1(n)、「202」は時刻n+1における状態ベクトルxp1(n+1)、「203」は時刻nにおける観測ベクトルyp1(n)、「204」は時刻nにおける観測雑音ベクトルεp1(n)、「205」は時刻n+1における駆動源ベクトルδp1(n+1)、「206」は状態遷移行列Φp1、「207」は観測遷移行列Mp1である。式(2)における状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数(ここでは、状態ベクトルxp1(n)、xp1(n+1))の時間に対する生成過程を表している。また、式(2)における観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果(ここでは、観測ベクトルyp1(n))が、被観測量つまり入力(ここでは、状態ベクトルxp1(n))に依存して生成される様子を示している。

【0050】
図5は、発明手法の状態方程式の定式化の具体例を説明するための図であり、特に、図5Aは、状態空間モデルの状態過程を示す図、図5Bは、処理対象ブロックおよびその時間変化の一例を示す図、図5Cは、状態方程式の具体例を示す図である。

【0051】
本実施の形態では、劣化画像の復元処理は、処理対象画素のみを用いるのではなく、その周辺の画素も含めて処理を行う。すなわち、J×Jの大きさの画像のある処理対象画素を中心にして、その周辺K×K(ただし、J>K)の領域(以下「注目領域」という)を処理対象ブロックとし、この処理対象ブロックの中の画素情報を用いて、画像の復元処理を行う。このように、注目領域とは、画像復元においてK×Kの画素を用いて処理を行う範囲を意味する。

【0052】
例えば、J=256、K=3とした場合、図5に示すように、256×256の大きさの画像のある処理対象画素を中心にして、その周辺3×3の注目領域が処理対象ブロックとなる。図面上、処理対象ブロックは、網かけされている。画像復元処理は、この3×3の注目領域の中の画素情報を用いて行われる。単に説明の便宜上、図5Bに示すように、256×256の大きさの画像の一部の画素に1~36の番号を付したとすると、時刻nにおける状態ベクトルxp1(n)に対応する処理対象ブロックは、番号が1、2、3、7、8、9、13、14、15の3×3の9個の画素を構成要素とし、次の時刻n+1における状態ベクトルxp1(n+1)に対応する処理対象ブロックは、番号が7、8、9、13、14、15、19、20、21の3×3の9個の画素を構成要素としている。

【0053】
このとき、式(2)における状態方程式は、図5Cにも示す次の式(3)で定義される。ここで、状態ベクトルxp1(n)は、原画像情報を含む状態量として3×3の処理対象ブロックに含まれる9個の画素情報x(n)、x(n)、x(n)、x(n)、x(n)、x(n)、x(n)、x(n)、x(n)を要素とする9×1次のベクトルである。また、状態遷移行列Φp1は、式(3)で定義された9×9次の行列であり、駆動源ベクトルδp1(n)は、同じく式(3)で定義された9×1次のベクトルである。

【0054】
【数3】
JP0005447867B2_000004t.gif

【0055】
図6は、式(3)で表される状態方程式の構成を説明するための図である。

【0056】
式(3)で表される状態方程式の特徴は、状態遷移行列Φp1の一部の要素を「1」に設定し、残りの要素をすべて「0」に設定した点、および、駆動源ベクトルδp1(n)の一部の要素を有色信号である状態量x(n)(i=7,8,9)で表した点にある。これは、図6に示すように、現在の時刻n+1における処理対象ブロックと過去の時刻nにおける処理対象ブロックとが重なる部分において、現在の状態量(原画像の画素情報)x(n+1)、x(n+1)、x(n+1)、x(n+1)、x(n+1)、x(n+1)と過去の状態量(原画像の画素情報)x(n)、x(n)、x(n)、x(n)、x(n)、x(n)とを対応させるためである。この結果、xp1(n)とxp1(n+1)の関係を表す状態方程式は、クリアな画像からなるxp1(n)と、0と1からなるΦp1と、有色信号であるクリアな画像からなる駆動源ベクトルδp1(n)とから構成されるため、所望の状態量(原画像の画素情報)、つまり、クリアな画像情報(原画像情報)のみで構成されることになる。

【0057】
図7は、発明手法の観測方程式の定式化の具体例を説明するための図であり、特に、図7Aは、状態空間モデルの観測過程を示す図、図7Bは、観測方程式の具体例を示す図である。

【0058】
図5および図6の例に対応して、式(2)における観測方程式は、図7Bにも示す次の式(4)で定義される。ここで、観測ベクトルyp1(n)は、劣化画像情報を含む観測量として3×3の処理対象ブロックに含まれる9個の画素情報y(n)、y(n)、y(n)、y(n)、y(n)、y(n)、y(n)、y(n)、y(n)を要素とする9×1次のベクトルである。また、観測遷移行列Mp1は、式(4)で定義された9×9次の行列であって、画像の劣化モデルにおけるぼけの点拡がり関数(PSF)に対応している。観測遷移行列Mp1を構成する各要素hr,s(r,sはhの座標であり、r,s=-1,0,1)は、既知であって、予めデータ化して適切に設定されている。また、観測雑音ベクトルεp1(n)は、3×3の処理対象ブロックに含まれる9個の画素に対応する観測雑音ε(n)、ε(n)、ε(n)、ε(n)、ε(n)、ε(n)、ε(n)、ε(n)、ε(n)を要素とする9×1次のベクトルである。

【0059】
【数4】
JP0005447867B2_000005t.gif

【0060】
図8は、従来の一般的な観測方程式の構成(一般例)を説明するための図であり、図9は、式(4)で表される観測方程式の構成を説明するための図である。特に、図8Aは、従来一般的な観測方程式の定義を示す図、図8Bは、観測量に影響する状態量の範囲を視覚的に示す図である。また、図9Aは、発明手法の観測方程式の定義を示す図、図9Bは、観測量に影響する状態量の範囲を視覚的に示す図である。なお、図8および図9の説明においては、便宜上、観測雑音ベクトルεp1(n)は省略する。

【0061】
画像においてぼけに基づく劣化とは、上記のように、ある画素がその周囲の画素の影響を受けて劣化することである。そこで、従来は、一般的に、図8Aに示すように観測方程式を定義していた。この場合、ぼけは、周囲のすべての画素の影響を受けることに起因して生じる。すなわち、処理対象ブロックの中の各画素は、処理対象ブロックの中のすべての画素の影響を受けることになる。言い換えれば、各観測量y(i=1,2,…,9)は、すべての状態量x(i=1,2,…,9)の影響を受けて成り立つ。これを視覚的に示すと、例えば、図8Bに示すようになる。すなわち、図8Bに示すように、例えば、観測量がyの場合もyの場合も、3×3(=9)個のすべての状態量x~xの影響を受けることになる。

【0062】
これに対し、式(4)で表される観測方程式の特徴は、観測遷移行列Mp1の一部の要素を、3×3(=9)個の係数hr,s(r,s=-1,0,1)を用いて規則的に設定し、残りの要素をすべて「0」に設定した点にある。例えば、図9Aは、観測方程式を展開して得られる一部の式(y(n)、y(n)に関する式)を示している。観測遷移行列Mp1に対する係数hr,sの割り当て方法は、次の通りである。すなわち、9個の係数hr,s(r,s=-1,0,1)を図10に示すようにマトリックス状に配列し(以下「係数マトリックス」という)、係数マトリックスの中央(つまり、係数h0,0)の位置を観測量y(i=1,2,…,9)の注目画素iの位置に合わせたときの、その係数マトリックスに従って、観測遷移行列Mp1の一部の要素に係数hr,s(r,s=-1,0,1)を割り当てる。これを視覚的に示すと、例えば、図9Bに示すようになる。すなわち、図9Bに示すように、例えば、観測量がyの場合は、3×3(=9)個の状態量x~xのうち、5個のx~xの影響を受け、観測量がyの場合は、6個のx~xの影響を受けることになる。

【0063】
図11は、図9Aに示す観測遷移行列Mp1に基づく、各観測量yに影響する状態量xの範囲を、割り当てられた係数hr,s(r,s=-1,0,1)と共に示す図である。なお、ここでは、説明の便宜上、図11A~図11Iの各図において、左側の処理対象ブロックには、注目する観測量yのみを示し、右側の処理対象ブロックには、影響を与える各状態量xの場所に、この状態量xに乗算されるhr,sのみを示している。

【0064】
式(4)で表される観測方程式では、観測量yは、図11Aに示すように、5個の状態量x~xの影響を受け、観測量yは、図11Bに示すように、6個の状態量x~xの影響を受け、観測量yは、図11Cに示すように、7個の状態量x~xの影響を受ける。また、観測量yは、図11Dに示すように、8個の状態量x~xの影響を受け、観測量yは、図11Eに示すように、9個すべての状態量x~xの影響を受け、観測量yは、図11Fに示すように、8個の状態量x~xの影響を受ける。また、観測量yは、図11Gに示すように、7個の状態量x~xの影響を受け、観測量yは、図11Hに示すように、6個の状態量x~xの影響を受け、観測量yは、図11Iに示すように、5個の状態量x~xの影響を受ける。

【0065】
図12は、発明手法のアルゴリズムの一例を示す図である。なお、このアルゴリズムは、画像の種類を問わず、静止画像のみならず動画像にも適用可能である。

【0066】
発明手法1のアルゴリズムは、図12に示すように、初期設定(Initialization)の過程と反復(Iteration)の過程とに大別され、反復過程は、新しい状態空間モデル(状態方程式と観測方程式)を基に構成されている。反復過程では、1~6の手順を逐次繰り返す。

【0067】
図13は、図12のアルゴリズムを実行する処理手順を示すフローチャートである。

【0068】
まず、初期設定部162で、初期設定を行う(S1000)。具体的には、初期設定部162において、状態ベクトル、つまり、状態量である所望信号(原画像信号)ベクトルの最適推定値(以下「所望信号の最適推定値ベクトル」という)の初期値xp1(0|0)、所望信号ベクトルの推定誤差(以下「所望信号の推定誤差ベクトル」という)の相関行列の初期値Pp1(0|0)、駆動源ベクトルの共分散の値Rδp1(n)[i,j]、および、観測雑音ベクトルの共分散の値Rεp1(n)[i,j]を、次の式(5)に示すようにそれぞれ設定する。また、図12では図示しないが、状態遷移行列Φp1および観測遷移行列Mp1を、式(3)および式(4)に示すようにそれぞれ設定する。なお、ここでは、時刻nのカウンタの初期値を「0」に設定している。また、ベクトルと行列の要素を示す場合、ベクトルa(n)のi番目の要素をa(n)[i]と表記し、行列A(n)のi行j列の要素をA(n)[i,j]と表記することとする。また、図12において、所望信号の最適推定値ベクトルxp1は、ハットxp1と表記する。

【0069】
【数5】
JP0005447867B2_000006t.gif

【0070】
ただし、ベクトル0は、K次元の零ベクトルであり、行列Iは、K次の単位行列である。また、Kは、K×Kの大きさの注目領域のその次元である。K=3の場合、K-K=6となり、「i,j>K-K」は、「i,j=7,8,9」に対応している。また、E[δp1(n),δp1(n)]は、駆動源ベクトルδp1(n)の自己相関行列である。E[εp1(n)εp1(n)][i,j]は、観測雑音ベクトルεp1の自己相関行列であり、ここではσε[i,j]と等しく、既知と仮定している。ここでいう「既知」とは、別の任意の方法(アルゴリズム)で求められて与えられることを意味する。もし観測雑音ベクトルεp1(n)が白色雑音であり零平均であれば、σεは所定のサンプル数の分散で与えられる。

【0071】
次に、相関演算部164で、n→(n+1)の誤差共分散行列、つまり、n→(n+1)の推定誤差の相関値(行列)(以下「相関行列」ともいう)を計算する(S1100)。具体的には、相関演算部164において、時刻nまでの情報により時刻n+1での所望信号ベクトルを推定した場合の誤差(所望信号の推定誤差ベクトル)の相関行列Pp1(n+1|n)を計算する。この計算は、ステップS1000でそれぞれ設定した状態遷移行列Φp1および駆動源ベクトルの共分散Rδp1(n+1)[i,j]の値、ならびに、ステップS1000で設定した(n=0の場合)または前回のステップS1600で計算した(n≧1の場合)所望信号の推定誤差ベクトルの相関行列Pp1(n|n)を用いて、次の式(6)により行う。なお、このステップS1100は、図12の反復過程の手順1に相当する。

【0072】
【数6】
JP0005447867B2_000007t.gif

【0073】
次に、重み係数算出部166で、重み係数(行列)の計算を行う(S1200)。具体的には、重み係数算出部166において、観測量である観測信号ベクトルの推定誤差(以下「観測信号の推定誤差ベクトル」という)に重み係数(行列)をかけて、時刻nまでの情報による時刻n+1での所望信号の最適推定値ベクトルxp1(n+1|n)を加えたものが、時刻n+1までの情報による時刻n+1での所望信号の最適推定値ベクトルxp1(n+1|n+1)になるような、その重み係数行列Kp1(n+1)を計算する。この計算は、ステップS1100で計算した所望信号の推定誤差ベクトルの相関行列Pp1(n+1|n)、ならびに、ステップS1000でそれぞれ設定した観測遷移行列Mp1および観測雑音ベクトルの共分散Rεp1(n+1)[i,j]の値を用いて、次の式(7)により行う。なお、このステップS1200は、図12の反復過程の手順2に相当する。

【0074】
【数7】
JP0005447867B2_000008t.gif

【0075】
次に、最適推定値算出部168で、n→(n+1)の状態量(所望信号)の最適推定値(ベクトル)を計算する(S1300)。具体的には、最適推定値算出部168において、時刻nまでの情報による時刻n+1での所望信号の最適推定値ベクトルxp1(n+1|n)を計算する。この計算は、ステップS1000で設定した状態遷移行列Φp1、および、前回のステップS1400で計算した所望信号の最適推定値ベクトルxp1(n|n)を用いて、次の式(8)により行う。なお、このステップS1300は、図12の反復過程の手順3に相当する。

【0076】
【数8】
JP0005447867B2_000009t.gif

【0077】
次に、同じく最適推定値算出部168で、(n+1)→(n+1)の状態量(所望信号)の最適推定値(ベクトル)を計算する(S1400)。具体的には、最適推定値算出部168において、時刻n+1までの情報による時刻n+1での所望信号の最適推定値ベクトルxp1(n+1|n+1)を計算する。この計算は、ステップS1300で計算した所望信号の最適推定値ベクトルxp1(n+1|n)、ステップS1200で計算した重み係数行列Kp1(n+1)、ステップS1000で設定した観測遷移行列Mp1、および時刻n+1における観測信号ベクトルyp1(n+1)を用いて、次の式(9)により行う。なお、このステップS1400は、図12の反復過程の手順4に相当する。

【0078】
【数9】
JP0005447867B2_000010t.gif

【0079】
次に、処理を終了するか否かを判断する(S1500)。この判断は、例えば、時刻nが所定のサンプル数Nに達したか否かを判定することによって行う。この判断の結果として、時刻nが所定のサンプル数Nに達していない場合は(S1500:NO)、ステップS1600に進み、時刻nが所定のサンプル数Nに達した場合は(S1500:YES)、ステップS1800に進む。なお、判断の基準は、上記の例に限定されない。例えば、リアルタイムで処理を行う場合は、時刻nが所定のサンプル数Nに達していなくても、サンプルがなくなった時点で処理を終了するようにしてもよい。

【0080】
ステップS1600では、相関演算部164で、(n+1)→(n+1)の誤差共分散行列、つまり、(n+1)→(n+1)の推定誤差の相関値(行列)を計算する。具体的には、相関演算部164において、時刻n+1までの情報により時刻n+1での所望信号ベクトルを推定した場合の誤差(所望信号の推定誤差ベクトル)の相関行列Pp1(n+1|n+1)を計算する。この計算は、ステップS1200で計算した重み係数行列Kp1(n+1)、ステップS1000で設定した観測遷移行列Mp1、およびステップS1100で計算した所望信号の推定誤差ベクトルの相関行列Pp1(n+1|n)を用いて、次の式(10)により行う。なお、このステップS1600は、図12の反復過程の手順5に相当する。

【0081】
【数10】
JP0005447867B2_000011t.gif

【0082】
次に、ステップS1700では、時刻nのカウンタを1だけインクリメントして(n=n+1)、ステップS1100に戻る。

【0083】
一方、ステップS1800では、本アルゴリズムの計算結果を出力値として一時保存する。具体的には、ステップS1400で計算した所望信号の最適推定値ベクトルxp1(n+1|n+1)を、本アルゴリズムの出力値として画像復元処理部160内または記憶部150内に一時保存する。

【0084】
図14は、発明手法を視覚的にまとめた説明図である。このように、発明手法では、新しい状態空間モデル(状態方程式と観測方程式)を構成しているため、1段階処理で画像の復元処理が可能となる。このことは、本発明の大きな特徴の1つである。

【0085】
ここで、カルマンフィルタを用いた従来の画像復元手法との対比において、発明手法の特徴と効果をまとめて説明しておく。

【0086】
カルマンフィルタを用いた従来の画像復元手法では、上記のように、2段階処理(ステップ1で、AR次数を決定し、AR係数を推定した後、ステップ2で、この推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成してカルマンフィルタを実行する)によって、画像の復元を実現している。したがって、ステップ1でのAR次数の決定およびAR係数の推定の精度によってステップ2でのカルマンフィルタによる画像復元能力が大きく左右されることが、容易に予想される。これに対して、発明手法では、ARシステムのコンセプトを必要としない新しい状態空間モデル(状態方程式と観測方程式)を構成し、これを用いた1段階処理の新しい予測法によって、高性能な画像復元を実現している。また、発明手法では、処理ステップを1段階減らすことができるため、演算量を削減することができ、ひいては、回路規模の縮小やメモリ容量の削減などを図ることができる。

【0087】
また、カルマンフィルタを用いた従来の画像復元手法では、ステップ1でAR係数の推定を行う際に必要となるAR係数の次数の決定が大きな問題点となる。一般にAR係数の次数は状態量に依存しているため、状態量が既知でなければ、理論的にAR係数の次数を正確に決定することは困難である。このことは、状態量が既知でなければならないことを意味しているため、リアルタイム処理は困難となる。また、それにより、正確でないAR係数の次数を用いることになるため、正確なAR係数の推定は困難である。したがって、このことは、カルマンフィルタを用いた従来の画像復元手法の画像復元能力を低下させる大きな要因となっている。また、何らかの技術でAR次数とAR係数をリアルタイムに推定できるようになったとしても、処理ステップが1段階増えることより演算量の増加は避けられない。これに対して、発明手法では、ARシステムのコンセプトを必要としないため、このような問題は生じない。

【0088】
また、カルマンフィルタを用いた従来の画像復元手法では、状態量をARシステムを用いて表現することによってモデル化している。このことは、カルマンフィルタを用いた従来の画像復元手法はARシステムでモデル化可能な状態量にしか適用できないことを意味している。すなわち、カルマンフィルタを用いた従来の画像復元手法は、ARシステムでモデル化が困難な状態量には適用することができない。これに対して、発明手法は、ARシステムのコンセプトを必要としないため、適用対象に関するこのような制約は存在しない。

【0089】
また、カルマンフィルタを用いた従来の画像復元手法では、状態方程式の駆動源が白色信号で、かつ、状態量と観測雑音が無相関であることを仮定した上で、カルマンフィルタ理論を適用している。これに対して、発明手法では、駆動源が有色信号(クリアな画像)となるものの、状態方程式と観測方程式の特殊な構成によって発明手法のアルゴリズムを実行することができる。このことは、発明手法は、カルマンフィルタ理論の一般的な適用条件を考慮しなくても実行可能であることを意味している。すなわち、発明手法は、カルマンフィルタ理論よりも適用範囲が広いといえる。

【0090】
したがって、ARシステムのコンセプトを必要としない発明手法は、画像の撮り直しが許されない場面、例えば、医療分野における瞬間的な心臓や肺などの画像復元、汚れなどで劣化した古文書などの復元、および文字・物体認識においても貢献可能な技術である。

【0091】
また、本発明者は、本発明の効果(発明手法の有効性)を実証するためにシミュレーションを行った。具体的には、発明手法1の画像復元能力を評価するために、(1)視覚評価、(2)客観評価、および(3)主観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価である。客観評価は、数値による評価である。主観評価は、聞き取り調査である。以下、これらを順に説明する。

【0092】
まず、シミュレーション条件について説明しておく。

【0093】
図15は、シミュレーション条件を説明するための図である。

【0094】
本シミュレーションでは、原画像として、図15に示す2つの画像、つまり、(a)「カメラマン(Cameraman)」と(b)「レナ(Lenna)」を用いた。また、原画像に加えるぼけに対応する点拡がり関数(PSF)のモデルとして、図15に示す2次元ガウス関数を用い、雑音として、加法性白色ガウス雑音を用いた。また、信号対雑音比SNRを30dBとした。また、比較のため、シミュレーションは、同一の上記シミュレーション条件の下で、従来手法1(ウィナーフィルタを用いた画像復元手法)と、従来手法2(射影フィルタを用いた画像復元手法)と、従来手法3(カルマンフィルタを用いた画像復元手法)と、発明手法(発明手法1)に対して行った。例えば、画像「カメラマン」は、図16に示すように、空の部分は画像の分散が変化していないため定常性が強く、人物の頭の部分は画像の分散が変化しているため非定常性が強いといえる。

【0095】
(1)視覚評価
図17は、原画像「カメラマン」に対するシミュレーション結果(視覚評価)を示す図であり、図18は、図17中の破線の円の周辺領域を拡大した図である。

【0096】
図18によく示すように、従来手法1は、ぼけがほとんど取り除かれていない。また、従来手法2は、従来手法1よりもぼけが取り除かれているが、原画像と比べるとまだぼけが残っている。一方、従来手法3は、従来手法1、2に比べて、ぼけは取り除かれてくっきりしているように見えるが、原画像とは異なった復元画像となっている。特に、従来手法3は、原画像と比べて全体的に暗くなっており、空の部分においては、劣化画像よりも劣化してしまっている。

【0097】
これに対して、発明手法は、図18によく示すように、従来手法1、2、3に比べて原画像を忠実に復元していることが確認できる。すなわち、図18の拡大画像においても、発明手法の有効性を確認することができる。

【0098】
図19は、原画像「カメラマン」に対するシミュレーション結果(視覚評価)を示す図であり、図20は、図19中の破線の円の周辺領域を拡大した図である。

【0099】
図20によく示すように、カメラの三脚部分に注目すると、従来手法1は、全くぼけが取り除かれていない。また、従来手法2は、従来手法1よりはぼけが取り除かれているが、原画像までは復元されていない。一方、従来手法3は、従来手法1、2に比べるとぼけは取り除かれているように見えるが、画像全体が荒れてしまっており、原画像とかけ離れた復元画像となっていることが確認できる。

【0100】
これに対して、発明手法は、図20によく示すように、従来手法1、2、3に比べて原画像をより忠実に復元していることが確認できる。すなわち、図20の拡大画像においても、発明手法の有効性を確認することができる。

【0101】
図21は、原画像「レナ」に対するシミュレーション結果(視覚評価)を示す図であり、図22は、図21中の破線の円の周辺領域を拡大した図である。

【0102】
図22によく示すように、従来手法1は、ほとんどぼけが取り除かれておらず、復元画像が原画像と比べて全体的に白くなっている(輝度が高くなっている)。また、従来手法2は、従来手法1に比べるとぼけは取り除かれているが、原画像まではぼけが取り除かれていない。一方、従来手法3は、従来手法1、2に比べるとぼけが取り除かれておりはっきりとしているように見えるが、劣化画像よりも劣化してしまっており、原画像とはかけ離れた画像になっている。特に肌の部分に注目すると、この点が顕著に表れている。

【0103】
これに対して、発明手法は、図22によく示すように、従来手法1、2、3に比べて原画像を忠実に復元していることが確認できる。すなわち、図22の拡大画像においても、発明手法の有効性を確認することができる。

【0104】
(2)客観評価(数値による評価)
図23は、原画像に対するシミュレーション結果(客観評価)を示す図である。

【0105】
ここでは、従来手法と発明手法の画像復元能力を数値により評価するため、図23にも示す次の式(11)で表されるSNRout[dB]を用いて画像復元能力を評価した。なお、SNRは、信号に対する雑音の比であり、数値が大きいほど劣化(ぼけや雑音など)が少なく画像として良好であるといえる。

【0106】
【数11】
JP0005447867B2_000012t.gif

【0107】
この場合、図23に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法は、従来手法1、2、3よりもSNRoutの数値が大きいことが確認できる。これにより、発明手法は、客観評価の点でも、従来手法1、2、3に比べて画像復元能力が高いことがわかる。

【0108】
(3)主観評価(聞き取り調査)
図24は、原画像に対するシミュレーション結果(主観評価)を示す図である。

【0109】
ここでは、従来手法と発明手法の画像復元能力を評価するために、聞き取り調査による主観評価を行った。画像復元の性能評価は、ACR(絶対範疇評価)に基づく5段階MOS(平均オピニオン値)を用いた聞き取り調査により行った。MOS評価基準は、図24に示す通りである。50人の聴取者が画像復元により得られた画像(図17~図22参照)を評価した。各々の聴取者は、評価値「1」から「5」を決定する。評価値「5」が最良である。

【0110】
図24に示すように、MOS評価は、「カメラマン」、「レナ」どちらの画像についても、発明手法は、従来手法1、2、3よりも高い評価を得ていることが確認できる。これにより、発明手法は、主観評価の点でも、従来手法1、2、3に比べて画像復元能力が高いことがわかる。

【0111】
以上のシミュレーション結果により、本発明の画像復元方法(発明手法1)は、従来手法に比べて高い画像復元能力を発揮していることがわかる。特に、図17~図22の視覚評価から明らかなように、本発明の画像復元方法は、非定常性が強いエッジ部分などにおいて、従来手法に比べて著しく復元精度が高いことがわかる。

【0112】
次いで、上記構成を有する画像復元装置100の動作について、図25に示すフローチャートを用いて説明する。なお、図25に示すフローチャートは、記憶部150(主記憶装置152または補助記憶装置154)に制御プログラムとして格納されており、図示しないCPUによって実行される。

【0113】
まず、ステップS2000では、画像入力装置110から復元処理対象の画像データ(劣化画像)を取り込み、記憶部150(主記憶装置152または補助記憶装置154)の所定の記憶領域に格納する。

【0114】
そして、ステップS2050では、ステップS2000で取り込んだ画像データを表示メモリ156に書き込んで、ディスプレイ182に表示する。

【0115】
そして、ステップS2100では、操作部130の領域指定部134で、領域指定処理を行う。具体的には、使用者の入力操作により、ステップS2050でディスプレイ182に表示した画像のうち画像復元処理の対象となる領域(画像の特定の範囲)が指定されると、その指定された領域のデータを生成する。領域の指定は、例えば、画面上、ポインタなどで行われる。なお、使用者により領域の指定が行われなかった場合は、表示された画像全体を指定したものとして取り扱われる。

【0116】
そして、ステップS2150では、拡大処理を行うか否かを判断する。この判断は、例えば、ステップS2100で生成した指定領域データに基づいて行われる。具体的には、指定された領域が表示された画像全体よりも小さい場合には、拡大処理を行うと判断する。この判断の結果として、拡大処理を行う場合は(S2150:YES)、ステップS2200に進み、拡大処理を行わない場合は(S2150:NO)、直ちにステップS2250に進む。

【0117】
ステップS2200では、ステップS2100で指定した領域の拡大処理を行う。具体的には、例えば、指定された領域が表示された画像全体に対応する大きさとなるように拡大処理を行う。拡大処理の結果は、記憶部150(主記憶装置152または補助記憶装置154)の作業用メモリに書き込まれる。なお、拡大処理が行われなかった場合も、その画像データは作業用メモリに書き込まれる。

【0118】
そして、ステップS2250では、時刻nの処理対象ブロック(例えば、3×3の大きさ)を選択する。

【0119】
そして、ステップS2300では、ステップS2250で選択した処理対象ブロックに対して、画像の急激な変化領域が検出されたか否かを判断する。画像の急激な変化領域は、例えば、画像のエッジ部分などに相当する。具体的には、例えば、作業用メモリに書き込まれた画像データ(拡大処理の有無を問わず)に対して、ステップS2250で選択した処理対象ブロック(3×3の大きさ)上で画素データを順次スキャンすることにより、急激な画素データの変化点があるか否かを検出する。この判断の結果として、画像の急激な変化領域が検出された場合は(S2300:YES)、ステップS2350に進み、画像の急激な変化領域が検出されなかった場合は(S2300:NO)、ステップS2400に進む。

【0120】
具体的な検出方法の一例は、次の通りである。ある一定量の過去の観測量の平均値y’(n-1)と現在の観測量y(n)との差の絶対値、つまり、|y’(n-1)-y(n)|の値をしきい値αと比較する。そして、その値がしきい値α以上の場合、つまり、|y’(n-1)-y(n)|≧αの場合は、急激な画素データの変化点があると判断し、その値がしきい値α未満の場合、つまり、|y’(n-1)-y(n)|<αの場合は、急激な画素データの変化点はないと判断する。例えば、図26において、時刻n-1の処理対象ブロック301における所定部分302の観測量の平均値y’(n-1)と、時刻nの処理対象ブロック303における注目画素の部分304の観測量y(n)とを比較する。

【0121】
ステップS2350では、ステップS2250で選択した処理対象ブロックに対して、発明手法による画像復元処理を行う。発明手法による画像復元処理は、上記のように、急激な画素データの変化点がある場合、つまり、エッジ部分などを含む場合であっても、高精度な復元処理が可能である。なお、発明手法による画像復元処理の詳細な手順の一例については、図13のフローチャートを用いて説明した通りである。

【0122】
一方、ステップS2400では、ステップS2250で選択した処理対象ブロックに対して、発明手法以外の他の画像復元手法による画像復元処理を行う。他の画像復元手法としては、ウィナーフィルタを用いた画像復元手法や射影フィルタを用いた画像復元手法、カルマンフィルタを用いた画像復元手法などを含む任意の画像復元手法を用いることができる。急激な画素データの変化点がない場合、つまり、エッジ部分などを含まない場合には、他の画像復元手法でも精度良く復元処理を行うことができるからである。

【0123】
そして、ステップS2450では、ステップS2350での復元処理結果またはステップS2400での復元処理結果を、順次、記憶部150(主記憶装置152または補助記憶装置154)の作業用メモリに保存する。

【0124】
そして、ステップS2500では、時刻nのカウンタの値を1だけインクリメントする。

【0125】
そして、ステップS2550では、1頁分の画像復元処理が終了したか否かを判断する。この判断は、時刻nのカウンタの値に基づいて行われる。この判断の結果として、1頁分の画像復元処理が終了した場合は(S2550:YES)、ステップS2600に進み、1頁分の画像復元処理が終了していない場合は(S2550:NO)、ステップS2250に戻る。

【0126】
ステップS2600では、1頁分の画像復元処理が終了したため、表示メモリ156の更新処理を行う。すなわち、ここでは、1頁分の画像復元処理が終了した時点で表示メモリ156を更新するように構成されている。

【0127】
そして、ステップS2650では、ステップS2000で取り込んだ画像データの全頁分に対して画像復元処理が終了したか否かを判断する。この判断の結果として、全頁分の画像復元処理が終了していない場合は(S2650:NO)、ステップS2250に戻り、全頁分の画像復元処理が終了した場合は(S2650:YES)、上記一連の処理を終了する。

【0128】
次に、ぼけ情報である点拡がり関数(PSF)に対応する観測遷移行列Mp1の設定と実装の具体例について、図27および図28を用いて説明する。

【0129】
図27は、復元モードの実装の一例を説明するための図である。

【0130】
上記のように、観測遷移行列Mp1は、式(4)で定義された9×9次の行列であって、画像の劣化モデルにおけるぼけの点拡がり関数(PSF)に対応しており、観測遷移行列Mp1を構成する各要素hr,s(r,s=-1,0,1)は、既知であって、予めデータ化して適切に設定されている。すなわち、本実施の形態では、画像によってぼけ具合が変わるため、いわばぼけ情報である観測遷移行列Mp1の各要素hr,sの値の組を復元モードとしていくつか予め設定しておき、使用者は、操作部130の復元モード指定部136を介して、その復元モードを任意に指定できるように構成されている。例えば、図27の例では、デジタルカメラなどによく設定されている夜景モードやスポーツモードなどの撮影モード毎に、予め、その撮影モードに合った適切な観測遷移行列Mp1がそれぞれ設定されている。したがって、使用者は、撮影モードを切り替えることによって、最適な復元モードを使用することができる。なお、復元モード(観測遷移行列Mp1の各要素hr,sの値)自体を自動または手動で再調整することも可能である。

【0131】
図28は、復元モードの実装の他の例を説明するための図である。

【0132】
図28の例では、画像によってぼけ具合が変わるため、まず、図28(A)に示すように、ディスプレイ182上で、処理対象の劣化画像を選択した後、図28(B)に示すように、観測遷移行列Mp1(各要素hr,sの値)を変えた復元画像をいくつかディスプレイ182に表示する。このとき、使用者が、例えば、操作部130(タッチパネルなど)を介して、ディスプレイ182に表示された複数の復元画像の中から、最適な復元画像を選択すると、復元画像が決定される。なお、使用者の選択の履歴をデータとして蓄積することによって、使用者の好みに合った復元モード(観測遷移行列Mp1の各要素hr,sの値)を自動で選択することも可能となる。

【0133】
このように、本実施の形態によれば、ARシステムのコンセプトを必要としない新しい状態空間モデル(状態方程式と観測方程式)を構成して1段階処理の新しい予測法によって画像復元を行うため、シンプルで実用的かつ高性能な画像復元を実現することができる。すなわち、AR次数の決定およびAR係数を推定するステップを必要としないシンプルな構成で、かつ、非定常性が強い自然画像に対しても有効に復元処理を行うことができる実用性を有し、しかも、従来手法に比べて画像復元能力を向上することができる。

【0134】
また、本実施の形態では、上記のように、ARシステムのコンセプトを必要としないため、画像の撮り直しが許されない場面にも広く適用可能である。なお、もちろん、ここでも、上記のように、画像の種類は限定されず、静止画像でも動画像でもよい。

【0135】
例えば、古文書の傷や汚れなどをぼけや雑音とみなし、発明手法を用いてこれらを取り除き、文字・物体認識技術を用いることによって、古文書の解読、復元、およびデジタルデータベース化に効果を発揮することが期待される。

【0136】
また、防犯分野においても、近年、防犯カメラ(監視カメラ)などの設置が普及しつつあり、犯罪者の多くは防犯カメラなどに撮影されていることが多いため、この画像が犯罪者の発見の手がかりとなることがある。しかし、これらの画像は一般に画質が荒く、動いている対象物の画像はぼけが生じていることが一般的である。また、これらの画像を拡大した場合には、通常、画像はより一層劣化する。そこで、拡大画像を含めてこれらの劣化画像に発明手法を適用することによって、劣化画像のぼけと雑音を取り除き、クリアな画像を提供することで、犯罪者の早期発見につながることが期待される。なお、このように、拡大画像を含めて劣化画像に発明手法を適用することによって、劣化画像のぼけと雑音を取り除き、クリアな画像を提供することは、防犯分野に限らず、監視カメラなどで撮影された画像に基づいて、事故の判定や器具の故障診断などを行う場合にも適用可能である。

【0137】
また、近年、カメラ機能付き携帯電話やデジタルカメラなどが急速な勢いで普及し、1人1台の時代となっている。しかし、これらの製品に搭載されている画像復元技術は、顔認識やフィルタなどのぼけや雑音を予防する技術であり、撮り直しが許されない場面を想定していない。したがって、これらの製品に発明手法を適用することによって、撮り直しが許されない瞬間的な画像復元が可能になる。

【0138】
また、医療の分野において、健康を調査する最も効果的な手段の1つとして、内視鏡やレントゲン、エコー、CT、MRIなどの画像診断がある。例えば、肺や心臓などの画像診断では、肺や心臓などの動作によってぼけと雑音を含んだ情報から健康診断を行っている。これらの画像診断に発明手法を適用してぼけと雑音を取り除くことによって、専門医にクリアな画像を迅速に提供することが可能となり、病気の早期発見の一助になることが期待される。

【0139】
また、近年カーナビゲーションシステムが普及していることから、フロント・リアカメラを搭載した自動車も増えている。このようなリアルタイムで画像復元処理が必要な自動車のフロント・リアカメラなどの場合においても発明手法は有効である。

【0140】
2008年8月8日出願の特願2008-206316の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【0141】
本発明に係る画像復元装置および画像復元方法は、画像復元能力を向上することができるシンプルで実用的な画像復元装置および画像復元方法として有用である。
【符号の説明】
【0142】
100 画像復元装置
110 画像入力装置
112 カメラ
114 スキャナ
116、186 記録メディア
118、188 モデム
120 入力インタフェース部
130 操作部
132 パラメータ設定部
134 領域指定部
136 復元モード指定部
140 内部インタフェース部
150 記憶部
152 主記憶装置
154 補助記憶装置
156 表示メモリ
160 画像復元処理部
160a 第1復元処理部
160b 第2復元処理部
162 初期設定部
164 相関演算部
166 重み係数算出部
168 最適推定値算出部
170 出力インタフェース部
180 画像出力装置
182 ディスプレイ
184 プリンタ
図面
【図1】
0
【図2】
1
【図4】
2
【図5】
3
【図6】
4
【図7】
5
【図8】
6
【図9】
7
【図10】
8
【図11】
9
【図12】
10
【図13】
11
【図14】
12
【図23】
13
【図24】
14
【図25】
15
【図26】
16
【図27】
17
【図28】
18
【図3】
19
【図15】
20
【図16】
21
【図17】
22
【図18】
23
【図19】
24
【図20】
25
【図21】
26
【図22】
27