Top > Search of Japanese Patents > IMAGE RESTORATION DEVICE, METHOD, AND PROGRAM

IMAGE RESTORATION DEVICE, METHOD, AND PROGRAM

Patent code P130009776
Posted date Aug 9, 2013
Application number P2012-178700
Publication number P2014-038366A
Patent number P5963166
Date of filing Aug 10, 2012
Date of publication of application Feb 27, 2014
Date of registration Jul 8, 2016
Inventor
  • (In Japanese)田邉 造
  • (In Japanese)古川 利博
  • (In Japanese)長保 龍
Applicant
  • (In Japanese)学校法人東京理科大学
  • (In Japanese)公立大学法人公立諏訪東京理科大学
Title IMAGE RESTORATION DEVICE, METHOD, AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To accurately restore deteriorated image in which deterioration information is added to the original image.
SOLUTION: A position change amount estimation unit 51 estimates an amount of position change of an object in images by positioning images of continuous frames. A system state amount calculation unit 52 calculates an amount of system state at the time n by using the amount of system state at the time (n-1), state transition from the time (n-1) to the time n on the basis of the amount of position change, and a colored driving source including elements of the amount of system state at the time n that are not included in the amount of system state at the time (n-1). An observation amount calculation unit 53 calculates an amount of observation on the basis of process in which a deteriorated image is generated by adding deterioration information to the original image by using observation information of a frame at the time n, the amount of system state at the time n, and the deterioration information. An estimation unit 54 estimates an optimal value for the amount of system state at the time n by the Kalman algorithm with the colored driving source on the basis of the amount of system state and the amount of observation. A restoration image output unit 55 outputs the restored image.
Outline of related art and contending technology (In Japanese)

従来、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像(所望の情報、クリアな画像)に劣化情報(ぼけ、雑音、裏写り等)が混在した劣化画像(取得された情報)から劣化情報を取り除き、原画像を復元する技術が提案されている。

例えば、時刻nのみの劣化画像情報に対して、時刻nまたは時刻n+1までの情報により原画像情報を含む時刻n+1でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻nのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻n+1までの情報による時刻n+1での前記状態量の最適推定値と、時刻nまでの情報による時刻n+1での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差との関係を規定するための重み係数を算出する重み係数算出部と、時刻nのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻nまたは時刻n+1までの情報による時刻n+1での前記状態量の最適推定値を算出する最適推定値算出部とを有する画像復元装置が提案されている(例えば、特許文献1参照)。

また、画素値を含む画像を1フレーム以上受け付け、フレームのうちの1フレームを高解像度画像に変換する変換対象フレームとして設定し、受け付けたフレーム数が1である場合には変換対象フレームに複数の注目画素を設定し、受け付けたフレーム数が複数である場合には変換対象フレームの他の1以上の他フレームに複数の注目画素を設定し、予め設定された1以上のサブピクセル位置ずれを記憶し、サブピクセル位置ずれに対応して注目画素をずらし、注目画素に対応する変換対象フレーム内の推定サンプリング点を推定し、推定サンプリング点に対応する注目画素の画素値を、推定サンプリング点の画素値として設定する画像処理装置が提案されている(例えば、特許文献2参照)。

また、N個の画像データから1個の補正画像データを生成する画像処理装置において、N個の画像データの中から1個の基準画像データを選択する選択手段と、基準画像データを除く(N-1)個の画像データの各々について、画像に含まれる複数の部分領域毎に基準画像データの画像からの画像移動量を導出する導出手段と、(N-1)個の画像データの各々について導出された画像移動量が大きいほど小さな重み値となるように複数の部分領域毎に重み値を設定する設定手段と、基準画像データの画像に設定された重み値に応じて(N-1)個の画像データの各々の画像を順次に合成することで補正画像データを生成する合成手段と、を備える画像処理装置が提案されている(例えば、特許文献3参照)。

また、複数枚の画像を用いたカルマンフィルタによる劣化画像復元技術が提案されている(例えば、非特許文献1参照)。非特許文献1の技術では、まずステップ1で、連続する2枚の劣化画像間における対応画素の位置合わせを全フレームに対して実行し、ステップ2で、位置合わせ結果に基づいて、原画像のAR(Auto Regressive:自己回帰)システムのパラメータ(以下「AR係数」という)を推定した後、ステップ3で、ステップ2で推定したAR係数を用いて状態空間モデル(状態方程式と観測方程式)を構成し、これにカルマンフィルタ理論(カルマンフィルタアルゴリズム)を適用することによって、高性能な画像復元を実現している。

Field of industrial application (In Japanese)

本発明は、画像復元装置、方法、及びプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
原画像情報に不必要な劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元装置において、
前記劣化画像情報を時系列に複数フレーム取得する画像取得手段と、
前記画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、前記連続するフレーム間における画像内の物体の位置変化量を推定する位置変化量推定手段と、
時刻nにおけるシステム状態量を、時刻(n-1)までに取得されたフレームから得られる時刻(n-1)のシステム状態量、前記位置変化量推定手段により推定された位置変化量に基づく時刻(n-1)から時刻nへの状態遷移、及び時刻(n-1)のシステム状態量に含まれない時刻nのシステム状態量の要素を含む有色性駆動源を用いて算出するシステム状態量算出手段と、
時刻nのフレームの劣化画像情報、時刻nのシステム状態量、及び前記劣化情報を用いて、原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出する観測量算出手段と、
前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻nのシステム状態量の最適値を、時刻nのフレームの原画像情報として推定する推定手段と、
を含む画像復元装置。

【請求項2】
 
前記時刻(n-1)までに取得されたフレームを複数フレームとした請求項1記載の画像復元装置。

【請求項3】
 
前記状態遷移を、時刻(n-1)におけるシステム状態量と時刻nにおけるシステム状態量との相関を表す忘却係数を用いて表した請求項1または請求項2記載の画像復元装置。

【請求項4】
 
両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元装置において、
前記原稿の両面を各々読み取ることにより得られた表面画像のフレーム及び裏面画像のフレームを、前記劣化画像情報として取得する画像取得手段と、
前記画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻(n-1)までに取得されたフレームの各々とし、表面画像の原画像を時刻nに取得されたフレームとし、時刻(n-1)から時刻n間の表面画像内の物体の位置変化量を設定する位置変化量設定手段と、
時刻nにおけるシステム状態量を、時刻(n-1)までに取得されたフレームから得られる時刻(n-1)のシステム状態量、前記位置変化量設定手段により設定された位置変化量に基づく時刻(n-1)から時刻nへの状態遷移、及び時刻(n-1)のシステム状態量に含まれない時刻nのシステム状態量の要素を含む有色性駆動源を用いて算出するシステム状態量算出手段と、
前記表面画像のフレームの劣化画像情報、時刻nのシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出する観測量算出手段と、
前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻nのシステム状態量の最適値を、前記表面画像の原画像情報として推定する推定手段と、
を含む画像復元装置。

【請求項5】
 
前記状態遷移を、時刻(n-1)におけるシステム状態量と時刻nにおけるシステム状態量との相関を表す忘却係数を用いて表し、前記忘却係数は、時刻(n-1)におけるシステム状態量を構成する表面画像のフレームの要素より裏面画像のフレームの要素に対する値を小さくした請求項4記載の画像復元装置。

【請求項6】
 
前記劣化情報は、前記一方の面に対する前記他方の面の透過率を含む請求項4または請求項5に記載の画像復元装置。

【請求項7】
 
各手段の処理を、各フレームに対して設定した局所領域毎に行う請求項1~請求項6のいずれか1項記載の画像復元装置。

【請求項8】
 
原画像情報に不必要な劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元方法において、
画像取得手段が、前記劣化画像情報を時系列に複数フレーム取得し、
位置変化量推定手段が、前記画像取得手段により取得された連続するフレームの画像間の位置合わせを行い、前記連続するフレーム間における画像内の物体の位置変化量を推定し、
システム状態量算出手段が、時刻nにおけるシステム状態量を、時刻(n-1)までに取得されたフレームから得られる時刻(n-1)のシステム状態量、前記位置変化量推定手段により推定された位置変化量に基づく時刻(n-1)から時刻nへの状態遷移、及び時刻(n-1)のシステム状態量に含まれない時刻nのシステム状態量の要素を含む有色性駆動源を用いて算出し、
観測量算出手段が、時刻nのフレームの劣化画像情報、時刻nのシステム状態量、及び前記劣化情報を用いて、原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出し、
推定手段が、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻nのシステム状態量の最適値を、時刻nのフレームの原画像情報として推定する
画像復元方法。

【請求項9】
 
両面に画像を有する原稿の一方の面の原画像情報に他方の面の裏写りを含む劣化情報が混在した劣化画像情報から前記原画像情報を推定する画像復元方法において、
画像取得手段が、前記原稿の両面を各々読み取ることにより、表面画像のフレーム及び裏面画像のフレームを、前記劣化画像情報として取得し、
位置変化量設定手段が、前記画像取得手段により取得された表面画像のフレーム及び裏面画像のフレームを時刻(n-1)までに取得されたフレームの各々とし、表面画像の原画像を時刻nに取得されたフレームとし、時刻(n-1)から時刻n間の表面画像内の物体の位置変化量を設定し、
システム状態量算出手段が、時刻nにおけるシステム状態量を、時刻(n-1)までに取得されたフレームから得られる時刻(n-1)のシステム状態量、前記位置変化量設定手段により設定された位置変化量に基づく時刻(n-1)から時刻nへの状態遷移、及び時刻(n-1)のシステム状態量に含まれない時刻nのシステム状態量の要素を含む有色性駆動源を用いて算出し、
観測量算出手段が、前記表面画像のフレームの劣化画像情報、時刻nにおける表面画像及び裏面画像の各々のシステム状態量、及び劣化情報を用いて、表面画像の原画像情報に前記劣化情報が加わって劣化画像情報となる過程を観測量として算出し、
推定手段が、前記システム状態量算出手段により算出されたシステム状態量、及び前記観測量算出手段により算出された観測量に基づく有色性駆動源付カルマンアルゴリズムにより、時刻nのシステム状態量の最適値を、前記表面画像の原画像情報として推定する
画像復元方法。

【請求項10】
 
コンピュータを、請求項1~請求項7のいずれか1項記載の画像復元装置を構成する各手段として機能させるための画像復元プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2012178700thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close