TOP > 国内特許検索 > 画像復元装置、方法、及びプログラム > 明細書

明細書 :画像復元装置、方法、及びプログラム

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和元年11月7日(2019.11.7)
発明の名称または考案の名称 画像復元装置、方法、及びプログラム
国際特許分類 H04N   1/407       (2006.01)
G06T   5/00        (2006.01)
G06T   7/41        (2017.01)
G06T   7/90        (2017.01)
FI H04N 1/407
G06T 5/00 700
G06T 7/41
G06T 7/90 Z
国際予備審査の請求
全頁数 46
出願番号 特願2018-552951 (P2018-552951)
国際出願番号 PCT/JP2017/042106
国際公開番号 WO2018/097211
国際出願日 平成29年11月22日(2017.11.22)
国際公開日 平成30年5月31日(2018.5.31)
優先権出願番号 2016229777
優先日 平成28年11月28日(2016.11.28)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】田邉 造
【氏名】名取 隆廣
【氏名】古川 利博
出願人 【識別番号】000125370
【氏名又は名称】学校法人東京理科大学
【識別番号】518212241
【氏名又は名称】公立大学法人公立諏訪東京理科大学
個別代理人の代理人 【識別番号】110001519、【氏名又は名称】特許業務法人太陽国際特許事務所
審査請求 未請求
テーマコード 5B057
5C077
5L096
Fターム 5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5C077LL19
5C077PP15
5C077PP25
5L096AA06
5L096BA17
5L096EA05
5L096EA37
要約 画像情報に含まれる不一様なテクスチャ及び地色を除去する。判定部(61)が、観測画像情報の画素値に基づく基準値と各画素の画素値とに基づいて、各画素が不一様なテクスチャ又は地色かを判定し、状態量算出部(62)が、原画像情報の状態nにおける状態量を、状態(n-1)の状態量、(n-1)からnへの状態遷移、及び駆動源を用いて算出し、観測量算出部(63)が、原画像情報に不一様なテクスチャ又は地色が加わって観測画像情報となる過程を表す観測量を、状態nの状態量、不一様なテクスチャ又は地色と判定された画素の画素値、及び原画像情報に応じてその過程に与える影響を表した非線形項を用いて算出し、推定部(64)が、有色性駆動源付カルマンアルゴリズムにより、算出された状態量及び観測量に基づいて、状態nの状態量の最適値を原画像情報として推定する。
特許請求の範囲 【請求項1】
原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
前記観測画像情報に含まれる画素の画素値の分布から算出される基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定する判定手段と、
前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、及び前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値を用いて算出する観測量算出手段と、
前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項2】
原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定する判定手段と、
前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値、及び前記原画像情報に応じて前記過程に与える影響を表した非線形項を用いて算出する観測量算出手段と、
前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項3】
前記観測画像情報は、両面に画像を有する文書を読み取ることにより得られ、
前記不一様なテクスチャは、前記文書の原画像情報を有する面に、他方の面の画像が裏写りした裏写り画像情報であり、
前記観測量算出手段は、前記裏写り画像情報に前記非線形項を乗算して、前記原画像情報に加えることにより、前記観測量を算出する
請求項2に記載の画像復元装置。
【請求項4】
前記観測量算出手段は、前記判定手段により前記不一様なテクスチャと判定された画素の画素値を、前記裏写り画像情報として用いる請求項3に記載の画像復元装置。
【請求項5】
前記観測量算出手段は、前記文書の裏面を読み取ることにより得られた裏面観測情報を、前記裏写り画像情報として用いる請求項3に記載の画像復元装置。
【請求項6】
前記不一様なテクスチャは、前記観測画像情報が示す画像に含まれるシワ及び折り目、並びに前記観測画像情報が示す画像の背景に施されたグラデーションの少なくとも一つであり、
前記観測量算出手段は、前記不一様なテクスチャを示すテクスチャ画像情報に前記非線形項を乗算して、前記原画像情報に加算することにより、前記観測量を算出する
請求項2に記載の画像復元装置。
【請求項7】
前記基準値は、前記観測画像情報に含まれる画素の画素値の分布から算出される値である請求項2~請求項6のいずれか1項に記載の画像復元装置。
【請求項8】
原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元方法であって、
判定手段が、前記観測画像情報に含まれる画素の画素値の分布から算出される基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定し、
状態量算出手段が、前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出し、
観測量算出手段が、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、及び前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値を用いて算出し、
推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する
画像復元方法。
【請求項9】
原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元方法であって、
判定手段が、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定し、
状態量算出手段が、前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出し、
観測量算出手段が、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値、及び前記原画像情報に応じて前記過程に与える影響を表した非線形項を用いて算出し、
推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する
画像復元方法。
【請求項10】
コンピュータを、請求項1~請求項7のいずれか1項に記載の画像復元装置を構成する各手段として機能させるための画像復元プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像復元装置、方法、及びプログラムに関する。
【背景技術】
【0002】
従来、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像情報(所望の情報)に劣化情報(ぼけ、雑音、裏写り等)が混在した劣化画像情報(取得された情報)から劣化画像情報を取り除き、原画像を復元する技術が提案されている。
【0003】
例えば、ファクシミリから送られてきた文書画像を認識する文字認識装置に関するもので、文書画像に含まれる縦ラインノイズを検出し、ノイズを除去する文字認識装置が提案されている(例えば、特許文献1参照)。この文字認識装置では、文書画像からファクシミリで送られてくる文書に特徴的な縦ラインノイズを検出し、縦ラインノイズを除去し、縦ラインノイズを除去した部分で文字の線分があると推定できる画素を黒画素に修正する。
【0004】
また、例えば、原稿用紙の折り目跡に基づいて原稿画像に作成された縦及び横方向の折り目ノイズを除去する折り目ノイズ除去装置が提案されている。この折り目ノイズ除去装置では、原稿を読み取り、2値の原稿画像を出力し、原稿用紙の所定の折り畳み方に基づいて形成される折り目の位置に、原稿画像の折り目方向に所定幅の折り目ノイズ探索範囲を設定する。そして、この折り目ノイズ探索範囲内で、横方向の探索範囲においては水平方向に、縦方向の探索範囲においては垂直方向に、それぞれ所定画素値の画素が連結する所定長さ以上のランレングスを統合した矩形領域を抽出し、この矩形領域内の所定の画素を除去する。
【先行技術文献】
【0005】

【特許文献1】特開平9-238208号公報
【特許文献2】特開2004-7265号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1及び2に記載の技術では、縦ラインノイズのように発生状況が限られたノイズや、折り目ノイズのように発生箇所が限られたノイズを対象としている。そのため、従来技術では、例えば、シワや不規則な折り目が生じた文書や、背景にグラデーションが施されている文書などをスキャナで読み取った画像情報に含まれる不一様なテクスチャをノイズとして除去したい場合などには対応することができない。また、画像の色と、文書が印刷される用紙の色や背景色とが同系色の場合には、その文書をスキャナで読み取った画像情報に対する文字認識の精度が低下する場合がある。そのため、用紙の色や背景色などの地色をノイズとして除去したい場合もあるが、従来技術では対応することができない。
【0007】
本発明は、上記事情に鑑みてなされたものであり、画像情報に含まれる不一様なテクスチャ及び地色を除去することができる画像復元装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、第1の発明に係る画像復元装置は、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記観測画像情報に含まれる画素の画素値の分布から算出される基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定する判定手段と、前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、及び前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値を用いて算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。
【0009】
これにより、画像情報に含まれる不一様なテクスチャ及び地色を除去することができる。
【0010】
また、上記目的を達成するために、第2の発明に係る画像復元装置は、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定する判定手段と、前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値、及び前記原画像情報に応じて前記過程に与える影響を表した非線形項を用いて算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。
【0011】
これにより、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が加わって観測画像情報となる過程に与える原画像情報の影響を考慮することができるため、画像情報に含まれる不一様なテクスチャ及び地色を、より精度良く除去することができる。
【0012】
また、第2の発明において、前記観測画像情報は、両面に画像を有する文書を読み取ることにより得られ、前記不一様なテクスチャは、前記文書の原画像情報を有する面に、他方の面の画像が裏写りした裏写り画像情報であり、前記観測量算出手段は、前記裏写り画像情報に前記非線形項を乗算して、前記原画像情報に加えることにより、前記観測量を算出することができる。これにより、原画像情報に裏写り画像情報が加わって観測画像情報となる過程に与える原画像情報の影響を考慮することができるため、画像情報に含まれる不一様なテクスチャ及び地色を、より精度良く除去することができる。
【0013】
また、第2の発明において、前記観測量算出手段は、前記判定手段により前記不一様なテクスチャと判定された画素の画素値を、前記裏写り画像情報として用いることができる。これにより、表面の観測画像情報のみから、裏写り画像を除去した原画像を復元することができる。
【0014】
また、第2の発明において、前記観測量算出手段は、前記文書の裏面を読み取ることにより得られた裏面観測情報を、前記裏写り画像情報として用いることができる。これにより、より精度良く裏写り画像を除去することができる。
【0015】
また、第2の発明において、前記不一様なテクスチャは、前記観測画像情報が示す画像に含まれるシワ及び折り目、並びに前記観測画像情報が示す画像の背景に施されたグラデーションの少なくとも一つであり、前記観測量算出手段は、前記不一様なテクスチャを示すテクスチャ画像情報に前記非線形項を乗算して、前記原画像情報に加算することにより、前記観測量を算出することができる。これにより、原画像情報に不一様なテクスチャや地色が加わって観測画像情報となる過程に与える原画像情報の影響を考慮することができるため、画像情報に含まれる不一様なテクスチャ及び地色を、より精度良く除去することができる。
【0016】
また、第2の発明において、前記基準値は、前記観測画像情報に含まれる画素の画素値の分布から算出される値である。これにより、不一様なテクスチャ及び地色の判定のための基準値の処理量を削減できると共に、肌色などの画像部分が不一様なテクスチャ及び地色と判定される誤判定を低減することができる。
【0017】
また、第3の発明に係る画像復元方法は、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元方法であって、判定手段が、前記観測画像情報に含まれる画素の画素値の分布から算出される基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定し、状態量算出手段が、前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出し、観測量算出手段が、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、及び前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値を用いて算出し、推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する方法である。
【0018】
また、第4の発明に係る画像復元方法は、原画像情報に不一様なテクスチャ及び地色の少なくとも一方が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元方法であって、判定手段が、前記観測画像情報に含まれる画素の画素値に基づく基準値と、前記観測画像情報に含まれる各画素の画素値とに基づいて、前記観測画像情報の各画素が前記不一様なテクスチャ及び前記地色の少なくとも一方か否かを判定し、状態量算出手段が、前記原画像情報の時刻nでの状態nにおける状態量を、時刻(n-1)での状態(n-1)の状態量、前記状態(n-1)から前記状態nへの状態遷移、及び前記状態(n-1)の状態量に含まれない前記状態nの状態量の要素を含む前記駆動源を用いて算出し、観測量算出手段が、前記原画像情報に前記不一様なテクスチャ及び前記地色の少なくとも一方が加わって観測画像情報となる過程を表す観測量を、前記状態nの状態量、前記判定手段により前記不一様なテクスチャ及び前記地色の少なくとも一方と判定された画素の画素値、及び前記原画像情報に応じて前記過程に与える影響を表した非線形項を用いて算出し、推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記状態nの状態量の最適値を原画像情報として推定する方法である。
【0019】
また、第3の発明に係る画像復元プログラムは、コンピュータを、第1又は第2の発明に係る画像復元装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【0020】
以上説明したように、本発明の画像復元装置、方法、及びプログラムによれば、画像情報に含まれる不一様なテクスチャ及び地色を除去することができる、という効果が得られる。
【図面の簡単な説明】
【0021】
【図1】不一様なテクスチャを説明するための図である。
【図2】第1~第4の実施の形態に係る画像復元装置の概略構成図である。
【図3】第1~第3の実施の形態における画像復元処理部の機能ブロック図である。
【図4】第1~第3の実施の形態における画像復元処理の一例を示すフローチャートである。
【図5】第1の実施の形態における判定処理の一例を示すフローチャートである。
【図6】第1の実施の形態における判定処理の基準値を説明するための図である。
【図7】第1の実施の形態における状態空間モデルを説明するための図である。
【図8】第1の実施の形態における状態方程式を説明するための図である。
【図9】第1の実施の形態における観測方程式を説明するための図である。
【図10】有色性駆動源付カルマンアルゴリズムの一例を示すフローチャートである。
【図11】第1の実施の形態の処理結果の一例を示す図である。
【図12】第2の実施の形態における判定処理の一例を示すフローチャートである。
【図13】第2の実施の形態における状態空間モデルを説明するための図である。
【図14】原画像情報が裏写りに与える影響を説明するための図である。
【図15】第2の実施の形態における状態方程式を説明するための図である。
【図16】第2の実施の形態における観測方程式を説明するための図である。
【図17】第3の実施の形態における状態方程式を説明するための図である。
【図18】第3の実施の形態の処理結果の一例を示す図である。
【図19】本手法の処理結果の一例を示す図である。
【図20】本手法の処理結果の一例を示す図である。
【図21】第4の実施の形態における画像復元処理部の機能ブロック図である。
【図22】第4の実施の形態における画像復元処理の一例を示すフローチャートである。
【図23】第4の実施の形態の処理結果の一例を示す図である。
【図24】判定処理の他の例を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0023】
<第1の実施の形態>
第1の実施の形態では、画像情報に含まれる不一様なテクスチャ及び地色を除去する画像復元装置について説明する。

【0024】
なお、本実施の形態において、不一様なテクスチャとは、用紙にシワや不規則な折り目が生じている文書や、背景にグラデーションが施された文書等をスキャナで読み取って画像情報を取得した場合に、その画像情報に含まれるシワ、折り目、グラデーション等を示す箇所である。また、本実施の形態において、地色とは、用紙の色又は用紙に印刷された背景の色である。

【0025】
図1に、不一様なテクスチャ及び地色を含む画像、及びその一部拡大図の一例を示す。このような不一様なテクスチャ及び地色が画像に含まれる場合、この画像に対して文字認識を行う場合などに誤認識が生じ易くなるため、不一様なテクスチャ及び地色を除去して、必要な原画像を示す原画像情報のみを取り出せることが望ましい。なお、上述したように、本実施の形態では、用紙に印刷された背景色も除去することを目的としているため、用紙に印刷された画像のうち、背景色については原画像に含まない。

【0026】
第1の実施の形態に係る画像復元装置10は、CPU、ROM、RAM、及びHDDを含むコンピュータで構成されており、図2に示すように、入力インタフェース部20、操作部30、記憶部40、画像復元処理部60、及び出力インタフェース部70を備えている。

【0027】
入力インタフェース部20は、画像入力装置から提供される画像情報をコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。画像入力装置は、処理の対象となる画像情報(観測画像情報)をデジタルデータとしてコンピュータに入力するための入力装置である。本実施の形態では、画像入力装置がスキャナである場合について説明する。スキャナは、文書が印刷された原稿を読み取り、読み取った画像情報を観測画像情報として出力する。

【0028】
なお、画像入力装置はスキャナに限定されず、例えば、カメラ、記録メディア、モデムなどを用いることができる。カメラは、撮像機能を有する全ての装置を意味し、例えば、デジタルビデオカメラの他に、カメラ機能を搭載した携帯電話や、防犯カメラ(監視カメラ)、画像診断を行うための医療機器(内視鏡、レントゲン、エコー、CT、MRIなど)などを含むことができる。記録メディアは、画像情報を記録可能な記録媒体を広く意味し、例えば、磁気ディスク(HDDやFDなど)や、光ディスク(CDやDVD、BDなど)、光磁気ディスク(MO)、フラッシュメモリ(メモリカードやUSBメモリなど)などである。モデムは、外部の通信ネットワーク(例えば、電話回線やLAN、インターネットなど)と接続するための装置である。画像入力装置の種類は、画像復元装置10の用途に応じて適用可能なものを選択すればよい。

【0029】
図示は省略するが、入力インタフェース部20は、画像入力装置の種類に応じて別個独立に設けられる。例えば、記録メディアの入力インタフェース部20は、ドライブとも呼ばれ、記録メディアの種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部20と出力インタフェース部70とは一体化されている。また、通常、モデムは、画像入力装置としても画像出力装置としても機能しうるため、モデムに関しても、通常、入力インタフェース部20と出力インタフェース部70とは一体化されている。入力インタフェース部20は、コンピュータ本体の内部に格納された内蔵カード(ボード)であってもよいし、内部インタフェース部(図示省略)を介して接続された外部設置型機器であってもよい。

【0030】
なお、画像入力装置が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部20は、サンプリング部及びA/D変換部(共に図示せず)を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、A/D変換部に出力する。サンプリング周波数は、復元処理の対象となる画像の種類に応じて変更可能である。A/D変換部は、サンプリングされた信号の振幅値を所定の分解能でA/D変換処理する。

【0031】
操作部30は、例えば、キーボートやマウス、タッチパネル等であるが、音声認識装置などを用いてもよい。使用者による操作部30を用いた入力操作により、本実施の形態における画像復元処理に必要な各種パラメータの設定を行うことができる。

【0032】
記憶部40は、コンピュータの本体を構成する一要素であって、主記憶部41、補助記憶部44、及び表示メモリ45を有する。主記憶部41は、入力インタフェース部20を介して取り込んだ画像情報が記憶される取込画像メモリ42と、後述する画像復元処理を実行するためのプログラムや各種パラメータが記憶された処理パラメータメモリ43とを有する。

【0033】
表示メモリ45は、ディスプレイ等で構成された画像出力装置(図示省略)に表示する画像を示す画像情報が記憶される領域であり、取り込んだ画像情報(観測画像情報)が示す観測画像を表示するために、処理前の観測画像情報が記憶される取込画像メモリ46と、画像復元処理において一時的に必要な記憶領域である処理メモリ47と、復元処理された復元画像を表示するために、復元処理後の画像情報(復元画像情報)が記憶される復元画像メモリ48とを有する。

【0034】
補助記憶部44は、主記憶部41の容量不足を補う。補助記憶部44は、例えば、ハードディスク(HD)であってもよいし、CD-ROM、DVD、SSD(Solid State Drive)、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。

【0035】
また、本実施の形態では、処理パラメータメモリ43に予め画像復元処理プログラムが記憶されている場合について説明するが、画像復元処理プログラムは、記録メディアから入力インタフェース部20を介して記憶部40にインストールしたり、モデム及び入力インタフェース部20を介して外部から記憶部40にダウンロードしたりしてもよい。

【0036】
画像復元処理部60は、後述する画像復元処理を実行するための処理部であり、機能的には、図3に示すように、判定部61と、状態量算出部62と、観測量算出部63と、推定部64と、復元画像出力部65とを含んだ構成で表すことができる。

【0037】
判定部61は、観測画像に含まれる各画素の画素値を、観測画像に含まれる各画素の画素値のヒストグラムから算出した基準値と比較することにより、各画素が不一様なテクスチャを示す画素か否か、又は地色を示す画素か否かを判定する。

【0038】
状態量算出部62は、観測画像における時刻nでの状態nを、時刻(n-1)での状態(n-1)から状態nへの状態遷移、及び状態(n-1)に含まれない状態nの要素で構成される有色性駆動源を用いて算出する。

【0039】
観測量算出部63は、観測画像における時刻nでの状態nに基づき、判定部61によって不一様なテクスチャと判定された画素、又は地色と判定された画素の画素値を用いて、原画像に不一様なテクスチャ及び地色の少なくとも一方が加わって観測画像となる過程を観測量として算出する。

【0040】
推定部64は、観測画像における時刻nでの状態nについて、状態量算出部62により算出された状態量、及び観測量算出部63により算出された観測量から状態空間モデルに基づいた予測法を用い、状態nの最適値を推定する。

【0041】
復元画像出力部65は、推定部64により推定された時刻nでの状態nの最適値を、不一様なテクスチャ及び地色を除去して原画像を復元した復元画像を示す復元画像情報として、復元画像メモリ48に記憶する。

【0042】
なお、画像復元処理部60の各部の処理については、後述する画像復元処理ルーチンにおいて、より詳細に説明する。

【0043】
出力インタフェース部70は、画像復元処理部60で復元処理され、復元画像メモリ48に記憶された復元画像情報を、ディスプレイなどで構成された画像出力装置に出力可能なデータ形式に変換して出力処理を行う。

【0044】
なお、処理画像の出力形態は画像出力装置に表示する場合に限定されず、他の画像出力装置に出力するようにしてもよい。例えば、画像出力装置として、プリンタ、記録メディア、モデムなどを用いることができる。記録メディア及びモデムは、画像入力装置としての記録メディア及びモデムとそれぞれ共用としてもよい。なお、画像出力装置の種類は、画像復元装置10の用途に応じて適用可能なものを選択すればよい。

【0045】
また、図示は省略するが、出力インタフェース部70は、画像出力装置の種類に応じて別個独立に設けられる。上記のように、記録メディア及びモデムに関しては、通常、入力インタフェース部20と出力インタフェース部70とは一体化されている。出力インタフェース部70も、入力インタフェース部20と同様に、コンピュータ本体の内部に格納された内蔵カード(ボード)であってもよいし、内部インタフェース部を介して接続された外部設置型機器であってもよい。

【0046】
次に、図4を参照して、第1の実施の形態に係る画像復元装置10の作用について説明する。なお、図4に示す画像復元処理ルーチンは、記憶部40に画像復元プログラムとして格納されており、図示しないCPUによって実行される。

【0047】
ステップ100で、画像入力装置であるスキャナにより、文書が印刷された原稿を読み取ることにより得られた観測画像情報を、入力インタフェース部20を介して取り込み、主記憶部41の取込画像メモリ42に記憶する。また、取り込んだ観測画像情報を表示メモリ45の取込画像メモリ46にも記憶し、出力インタフェース部70を介して、画像出力装置に観測画像を表示する。

【0048】
次に、ステップ200で、判定部61が、図5に示す判定処理を実行する。

【0049】
図5に示す判定処理のステップ202で、判定部61が、取込画像メモリ42から観測画像情報を取得する。

【0050】
次に、ステップ204で、判定部61が、取得した観測画像情報に含まれる各画素のRGB成分毎の画素値から、RGB成分毎に、画素値のヒストグラムを作成する。

【0051】
次に、ステップ206で、判定部61が、作成したヒストグラムに基づいて、各画素が不一様なテクスチャ又は地色か否かを判定するための基準値ythを、RGB成分毎に算出する。

【0052】
ここで、図6に示すように、文字などの原画像に相当する画素の画素値は濃い色(画素値が小さい)であり、不一様なテクスチャや地色などに相当する画素の画素値は、文字などに比べて画素値が大きいことが想定される。そこで、ヒストグラムにおいて、画素値の小さい部分と画素値の大きい部分とを区別するための画素値が定まれば、この画素値を基準値ythとして用いることができる。ヒストグラムから、このような基準値ythを算出する方法としては、例えば、大津法を用いることができる。大津法では、画素値がL階調(1,2,・・・,L)の場合において、1~k番目までの画素値のクラスと、k+1~L番目までの画素値のクラスとのクラス間分散σが最大になるときのkを、クラス識別のための閾値として求める。クラス間分散σは下記(1)式で表される。なお、μ(k)は、1~k番目までの画素値のクラスに含まれる画素値の平均、ω(k)は、1~k番目までの画素値のクラスの生起確率である。

【0053】
【数1】
JP2018097211A1_000003t.gif

【0054】
なお、ヒストグラムから基準値ythを算出する方法は、上記の大津法に限定されない。例えば、ヒストグラムの2つのピーク間の中央値、2つのピークの裾野間の中央値等を基準値ythとして算出してもよい。ヒストグラムにおいて、ピークや裾野に相当する画素値を検出する手法は、従来既知の手法を用いることができる。

【0055】
次に、ステップ208で、判定部61は、画素値ym,nが基準値ythより大きいか否かを判定する。なお、ym,nは、観測画像の画素(m,n)の画素値であり、(m,n)は、観測画像の横及び縦方向の画素位置(画素座標)である。RGBのいずれかの成分で、ym,n>ythとなる場合には、ステップ211へ移行し、判定部61が、画素(m,n)は、不一様なテクスチャを示す画素、又は地色を示す画素であると判定し、画像復元処理ルーチン(図4)に戻る。一方、RGBのいずれの成分についても、ym,n≦ythとなる場合には、そのまま、画像復元処理ルーチンに戻る。ステップ208及び211の処理は、観測画像に含まれる全画素について、画素毎に実行する。

【0056】
次に、図4のステップ300で、状態量算出部62が、原画像及び観測画像に対して、共通の処理対象領域n(例えば、3×3画素の領域)を設定する。そして、ステップ400~600において、原画像情報のみを用いて算出した状態量と、観測画像情報、原画像情報、及び不一様なテクスチャ又は地色と判定された画素の画素値を用いて算出した観測量とで表される有色性駆動源を含む状態空間モデルを用いた有色性駆動源付カルマンアルゴリズムにより、状態量の最適値を推定する処理を実行する。

【0057】
ここで、第1の実施の形態における状態空間モデルについて説明する。

【0058】
図7に示すように、観測画像yi,jは、原画像xi,jに、シワ、折り目、グラデーション、地色等のノイズvi,jを加えた状態空間モデルによって表される。

【0059】
上記の状態空間モデルは、下記(2)式の状態方程式と、下記(3)式の観測方程式とで表される。状態方程式において、ベクトルx(n)は時刻nにおける状態nの状態ベクトル(原画像情報)、行列Φは状態遷移行列、ベクトルδ(n)は駆動源ベクトルである。また、観測方程式において、ベクトルy(n)は観測ベクトル(観測画像情報)、行列Mは観測行列、ベクトルy(n)は観測雑音ベクトルである。

【0060】
【数2】
JP2018097211A1_000004t.gif

【0061】
(2)式の状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態、つまり状態変数(ここでは、状態ベクトルx(n-1)、x(n))の生成過程を表している。

【0062】
図8に示すように、第1の実施の形態において、状態ベクトルx(n)は、処理対象領域nに含まれる原画像の画素値を要素とするベクトルであり、状態(n-1)から状態nへの変化は、原画像内での処理対象領域nの所定方向への所定画素数分(図8の例では、右方向に1画素分)のシフトで表される。従って、図8に示すように、状態遷移行列Φは、状態ベクトルx(n-1)の要素のうち、状態ベクトルx(n)と同一のシステム状態量を持つ要素を抽出する作用を有する。また、駆動源ベクトルδ(n)は、状態ベクトルx(n-1)に含まれない状態ベクトルx(n)の要素により構成される。

【0063】
また、(3)式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果(ここでは、観測ベクトルy(n))が、被観測量、つまり入力(ここでは、状態ベクトルx(n))に依存して生成される様子を示している。

【0064】
第1の実施の形態では、上述したように、原画像xi,jに、シワ、折り目、グラデーション、地色等のノイズvi,jが加わって、観測画像yi,jとなる過程を表現するため、図9に示すように、観測雑音ベクトルy(n)としては、判定部61により、不一様なテクスチャ又は地色と判定された画素の画素値が適用される。なお、観測行列Mとしては、観測方程式を満たすための単位行列が適用される。

【0065】
図4の画像復元処理ルーチンの説明に戻って、次のステップ400で、状態量算出部62が、時刻nにおける状態nの状態量(状態方程式)を算出する。

【0066】
具体的には、状態量算出部62は、時刻(n-1)において設定された処理対象領域(n-1)内の各画素のシステム状態量を要素とする時刻(n-1)の状態ベクトルx(n-1)と、時刻nにおいて設定された処理対象領域n内の各画素のシステム状態量を要素とする時刻nの状態ベクトルx(n)とを導出する。そして、状態量算出部62は、状態ベクトルx(n-1)の要素のうち、状態ベクトルx(n)と同一のシステム状態量を持つ要素を抽出するための状態遷移行列Φを構成する。さらに、状態量算出部62は、状態ベクトルx(n-1)に含まれない状態ベクトルx(n)の要素により、駆動源ベクトルδ(n)を構成する。状態量算出部62は、各ベクトル及び行列を用いて、上記(2)式の状態方程式を算出する。

【0067】
次に、ステップ500で、観測量算出部63が、時刻nにおける観測量(観測方程式)を算出する。

【0068】
具体的には、観測量算出部63は、観測画像に設定された処理対象領域nに含まれる画素の画素値で観測ベクトルy(n)を構成し、観測行列Mとして単位行列を適用する。また、観測量算出部63は、観測画像に設定された処理対象領域nに含まれる画素に対応する要素を含む観測雑音ベクトルy(n)を構成し、各要素に対応する画素が判定部61により不一様なテクスチャ又は地色であると判定されている場合には、その画素の画素値を対応する要素の値とし、不一様なテクスチャでも地色でもない場合には、その画素に対応する要素の値を0とする。観測量算出部63は、各ベクトル及び行列を用いて、上記(3)式の観測方程式を算出する。

【0069】
次に、ステップ600で、推定部64が、上記ステップ400で算出された状態量(状態方程式)及び上記ステップ500で算出された観測量(観測方程式)により、下記に示す有色性駆動源付カルマンアルゴリズムを導出する。

【0070】
【数3】
JP2018097211A1_000005t.gif

【0071】
上記のアルゴリズムは、初期設定の過程[Initialization]と反復の過程[Iteration]とに大別され、反復の過程では、1~5の手順を逐次繰り返す。以下、図10を参照して、有色性駆動源付カルマンアルゴリズムの詳細について説明する。

【0072】
ステップ602で、推定部64が、カルマンアルゴリズムの処理が初回か否かを判定する。初回の場合には、ステップ604へ移行し、2回目以降の場合には、ステップ606へ移行する。

【0073】
ステップ604では、推定部64が、初期設定を行う。具体的には、推定部64は、所望の原画像情報を示す状態ベクトルの最適推定値(以下「最適推定値ベクトル」という)の初期値x^(0|0)、及び所望の原画像情報を示す状態ベクトルの推定誤差(以下「推定誤差ベクトル」という)の相関行列の初期値P(0|0)を、上述の初期設定の過程[Initialization]に示した初期状態に設定する。

【0074】
次に、ステップ606で、推定部64が、上記ステップ400で定義した状態空間モデルにおける状態遷移行列Φ、上記ステップ604で設定した推定誤差ベクトルの相関行列の初期値P(0|0)、又は1時刻前に後述するステップ612で更新された相関行列P(n|n)、及び駆動源ベクトルの共分散行列Rδ(n)を用いて、時刻(n-1)までの情報により時刻nの状態ベクトルを推定した場合の誤差である相関行列P(n|n-1)を計算する(上述の反復の過程[Iteration]の手順1)。

【0075】
次に、ステップ608で、推定部64が、上記ステップ606で計算した相関行列P(n|n-1)、上記ステップ500で定義した状態空間モデルにおける観測行列M、及び観測雑音ベクトルの共分散行列Rε(n)を用いて、カルマンゲイン行列K(n)を計算する(同手順2)。

【0076】
次に、ステップ610で、推定部64が、状態遷移行列Φ、及び上記ステップ604で設定した最適推定値ベクトルの初期値x^(0|0)、又は1時刻前に本ステップで得られた最適推定値ベクトルx^(n|n)を用いて、時刻(n-1)までの情報による時刻nでの最適推定値ベクトルx^(n|n-1)を計算する(同手順3)。そして、推定部64が、計算した最適推定値ベクトルx^(n|n-1)、上記ステップ608で計算したカルマンゲイン行列K(n)、観測ベクトルy(n)、及び観測行列Mを用いて、時刻nまでの情報によるその時刻での最適推定値ベクトルx^(n|n)を計算する(同手順4)。

【0077】
次に、ステップ612で、推定部64が、単位行列I、カルマンゲイン行列K(n)、観測行列M、及び上記ステップ606で計算された相関行列P(n|n-1)を用いて、時刻nまでの情報によるその時刻での相関行列P(n|n)を更新する。次に、ステップ614で、上記ステップ610で計算された最適推定値ベクトルx^(n|n)を、現在設定されている処理対象領域nの処理結果として一旦復元画像メモリ48に記憶する。

【0078】
有色性駆動源付カルマンアルゴリズムが終了すると、画像復元処理ルーチン(図4)へリターンして、ステップ700へ移行し、原画像の全領域について画像復元処理が終了したか否かを判定する。全領域について処理が終了していない場合には、ステップ300へ戻って、次の処理対象領域nを設定して処理を繰り返す。全領域について処理が終了した場合には、ステップ900へ移行して、復元画像出力部65が、復元画像メモリ48に記憶された画像情報を、出力インタフェース部70を介して出力して、画像出力装置に復元画像を表示し、画像復元処理を終了する。

【0079】
以上説明したように、第1の実施の形態に係る画像復元装置10によれば、観測画像の画素値のヒストグラムから算出した基準値に基づいて、観測画像の各画素が不一様なテクスチャか否か、及び各画素が地色か否かを判定する。このように、観測画像の画素値のヒストグラムから算出した基準値を用いることで、局所的に算出した基準値を用いる場合に比べ、観測画像のどの部分に生じているか不明である不一様なテクスチャについても、精度良く判定することができる。また、ヒストグラムに表れる原画像に相当する部分と不一様なテクスチャや地色に相当する部分とを精度良く分離可能な基準値を算出することができるため、画像の画素値の高低に基準値が影響され難くなる。例えば、文字部分が多い画像の場合、画像全体の画素値が低くなり、これに影響されて、基準値も低目の画素値に設定されたとする。この場合、肌色などの原画像部分が不一様なテクスチャ又は地色と判定され、除去される可能性が高まる。特に、肌色部分の劣化は人が視覚的に認識し易い要素であるため、復元画像全体の画像品質に対して大きな影響を与える。画素値のヒストグラムから基準値を算出することで、ある程度面積を有する肌色部分の画素値が基準値として設定される可能性は低くなるため、上記のような品質劣化を抑制することができる。また、ヒストグラムのピークや裾野間の中央値を基準値として算出する場合には、基準値算出の処理量を削減することができる。

【0080】
そして、有色性駆動源ベクトルを含む状態方程式と、不一様なテクスチャ又は地色と判定された画素の画素値を用いて、原画像に不一様なテクスチャ及び地色が加わって観測画像となる過程を示す観測方程式とに基づいて、有色性駆動源付カルマンアルゴリズムにより、原画像の最適値を推定する。そして、この推定した最適値を、原画像を復元した復元画像とすることで、観測画像から、不一様なテクスチャ及び地色を除去して、原画像を復原することができる。

【0081】
次に、第1の実施の形態に係る画像復元装置10の処理結果の一例について説明する。

【0082】
図1に示すような、シワや地色を含む原稿を読み取った観測画像に対して、第1の実施の形態に係る画像復元装置10による画像復元処理を行った。なお、図1に示す文書は、実際には、一部の文字部分と、背景とが同系色(緑色)で印刷された文書である。

【0083】
図11に示すように、画像復元処理後は、シワなどの不一様なテクスチャ、及び地色が除去されている。また、地色と同系色の文字部分は、除去されることなく残っており、原画像の復元性が高いことが分かる。

【0084】
<第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態では、両面に画像が印刷された文書をスキャンした際の裏写りを除去する画像復元装置について説明する。なお、第2の実施の形態に係る画像復元装置の構成について、第1の実施の形態に係る画像復元装置10と同一の部分については、第1の実施の形態と同一符号を付して詳細な説明を省略する。

【0085】
第2の実施の形態に係る画像復元装置210は、CPU、ROM、RAM、及びHDDを含むコンピュータで構成されており、図2に示すように、入力インタフェース部20、操作部30、記憶部40、画像復元処理部260、及び出力インタフェース部70を備えている。

【0086】
画像復元処理部260は、機能的には、図3に示すように、判定部261と、状態量算出部62と、観測量算出部263と、推定部264と、復元画像出力部65とを含んだ構成で表すことができる。

【0087】
判定部261は、観測画像の局所領域に含まれる画素の画素値の分散値を用いた基準値と、各画素の画素値とに基づいて、各画素が、裏面の画像が表面に裏写りした画像(裏写り画像)を示す画素か否かを判定する。なお、裏写り画像も、本発明の不一様なテクスチャの一例である。

【0088】
観測量算出部263は、観測画像における時刻nでの状態nに基づき、判定部261によって裏写り画像の画素と判定された画素の画素値を用いて、表面の原画像に裏写り画像が加わって観測画像となる過程を観測量として算出する。

【0089】
推定部264は、観測画像における時刻nでの状態nについて、状態量算出部62により算出された状態量、及び観測量算出部263により算出された観測量から状態空間モデルに基づいた予測法を用い、状態nの最適値を推定する。

【0090】
なお、画像復元処理部260の各部の処理について、第1の実施の形態と異なる点については、後述する画像復元処理ルーチンにおいて、より詳細に説明する。

【0091】
次に、第2の実施の形態に係る画像復元装置210の作用について、第1の実施の形態と異なる点について説明する。

【0092】
第2の実施の形態では、図4に示す画像復元処理ルーチンのステップ200において、図12に示す判定処理が実行される。

【0093】
図12に示す判定処理のステップ222で、判定部61が、取込画像メモリ42から観測画像情報を取得する。

【0094】
次に、ステップ224で、判定部261が、観測画像の局所領域L(例えば、3×3画素の領域)毎に、その局所領域Lに含まれる各画素のRGB成分毎の画素値に基づいて、RGB成分毎に、局所領域Lの画素値の平均値 ̄y及び、下記(4)式に示す分散値σyLを算出する。なお、Mは局所領域Lの横方向の画素数、Nは局所領域Lの縦方向の画素数である。局所領域Lのサイズは、観測画像の解像度等に応じて、任意の値を設定することができる。

【0095】
【数4】
JP2018097211A1_000006t.gif

【0096】
次に、ステップ226で、判定部261が、上記ステップ224でRGB成分毎に算出された観測画像の局所領域L毎の画素値の平均値 ̄y及び分散値σyLから、各画素が裏写り画像を示す画素か否かを判定するための基準値ythLを下記(5)式により算出する。

【0097】
【数5】
JP2018097211A1_000007t.gif

【0098】
次に、ステップ228で、判定部261が、取得した観測画像の局所領域Lに含まれる各画素のRGB成分毎の画素値yRm,n、yGm,n、yBm,nを用いて、下記(6)式により、観測画像をグレースケール化した場合の濃淡値ygraym,nを算出する。

【0099】
【数6】
JP2018097211A1_000008t.gif

【0100】
次に、ステップ230で、判定部261が、観測画像の局所領域Lに含まれる各画素(m,n)のRGBのいずれかの成分の画素値ym,n及び濃淡値ygraym,nが共に基準値ythLより大きいか否かを判定する。RGBのいずれかの成分で、ym,n,ygraym,n>ythLとなる場合には、ステップ232へ移行し、判定部261が、画素(m,n)は裏写り画像を示す画素であると判定し、画像復元処理ルーチン(図4)に戻る。一方、RGBのいずれの成分についても、ym,n,ygraym,n≦ythLとなる場合には、そのまま、画像復元処理ルーチンに戻る。ステップ224~232の処理は、観測画像全体にわたって、局所領域L毎に実行する。

【0101】
次に、図4のステップ300で、状態量算出部62が、原画像及び観測画像に対して、共通の処理対象領域n(例えば、3×3画素の領域)を設定する。そして、ステップ400~600において、原画像情報のみを用いて算出した状態量と、観測画像情報、原画像情報、及び裏写り画像を示す画素と判定された画素の画素値を用いて算出した観測量とで表される有色性駆動源を含む状態空間モデルを用いた有色性駆動源付カルマンアルゴリズムにより、状態量の最適値を推定する処理を実行する。

【0102】
ここで、第2の実施の形態における状態空間モデルについて説明する。

【0103】
両面に画像が印刷された原稿をスキャンした場合、表面の原画像に裏面の画像が裏写りする。図13に示すように、裏写りが生じている観測画像yi,jは、表面の原画像xi,jに、裏面の画像xi-p,j-qが透過し、かつぼけが生じた状態の画像が重畳された状態空間モデルによって表される。図13のsは透過率、hp,qはぼけを表す点広がり関数、l(エル)は画素値の最大値、pは画像の横方向の画素数、qは画像の縦方向の画素数である。すなわち、(l-xi-p,j-q)は、表面の原画像xの画素位置(i,j)に対応する裏面の画像xの画素位置(i-p,j-q)の画素の画素値を反転させることを表す。なお、裏面の画像が透過する透過率は、原稿の厚さ、画像の濃度、スキャン時の照明強度等に依存する。

【0104】
さらに、裏写り画像が表面の原画像に与える影響は、表面の原画像の画像情報に応じて異なる。例えば、図14に示すように、表面の原画像が黒(輝度値が0)に近いほど、裏写りの影響は少なく(例えば、図14中のAで示す箇所)、表面の原画像が白(8ビットのクレースケールで輝度値が255)に近いほど、裏写りの影響を受け易い(例えば、図14中のBで示す箇所)。したがって、表面の原画像の画像情報に関係なく、一定量の裏写りが観測画像に付加されると仮定すると、原画像の復元を精度良く行うことができない。

【0105】
そこで、第2の実施の形態では、図13に示す状態空間モデルに、表面の原画像の画像情報に応じて重みが変化する非線形項g(xi,j)を加えた状態空間モデルを用いて、原画像を推定する。したがって、第2の実施の形態における状態空間モデルは、下記(7)式で表すことができる。

【0106】
【数7】
JP2018097211A1_000009t.gif

【0107】
非線形項g(xi,j)は、例えば、輝度値0~255の画素を各行に持つ表面画像xi,jが表面に印刷され、輝度値0~255の画素を各列に持つ裏面画像xi,jが裏面に印刷された原稿の表面をスキャナで読み取った観測画像yi,jにより、上記(7)式を変形した下記(8)式で導出することができる(参考文献「F. Merrikh-Bayat, M. Babaie-Zadeh, "A Nonlinear Blind Source Separation for Removing the Show-through Effect in the Scanned Documents", European Signal Processing Conference-EUSIPCO, Aug. 2008」)。

【0108】
【数8】
JP2018097211A1_000010t.gif

【0109】
第2の実施の形態では、上記(8)式から算出したg(xi,j)を、横軸を表面画像xi,jの輝度値、縦軸をg(xi,j)としてプロットした分布結果を下記(9)式のように近似し、さらに一次のテイラー展開を行った下記(10)式を、状態空間モデルの非線形項g(xi,j)として用いる。なお、g(xi,j)は、この例に限定されず、上述のように、表面の画像情報に応じた裏写りの影響を表す重み付けを行う関数であればよい。

【0110】
【数9】
JP2018097211A1_000011t.gif

【0111】
上記(10)式の非線形項、及び判定部261で裏写り画像を示す画素と判定された画素の画素値yvm,nを用いて、(7)式の状態空間モデルは、下記(11)式のように導出される。

【0112】
【数10】
JP2018097211A1_000012t.gif

【0113】
図15に示すように、状態方程式については、第1の実施の形態と同様に構成される。なお、状態ベクトルx(n)及び駆動源ベクトルδ(n)は、表面の原画像の画素値を要素とするため、第2の実施の形態では、x(n)及びδ(n)と表記する。

【0114】
また、観測方程式については、図16に示すように、上記(11)式を適用する。図16の例では、時刻nでの観測画像における注目画素(2,2)の画素値y2,2(n)に着目した観測方程式である。(11)式の(1-cyvm,n)に相当する{m-yv2,2(n)c}が、第1の実施の形態における観測行列Mに相当する。また、第1の実施の形態における観測方程式の観測雑音ベクトルy(n)に相当するyv2,2(n)には、判定部261により、注目画素(2,2)が裏写り画像を示す画素と判定されている場合には、画素値y2,2(n)が適用される。なお、注目画素(2,2)は、3×3画素の処理対象領域nの中心画素であるが、この例に限定されない。

【0115】
図4の画像復元処理ルーチンの説明に戻って、次のステップ400で、状態量算出部62が、第1の実施の形態と同様に、時刻nにおける状態nの状態量(状態方程式)を算出する。

【0116】
次に、ステップ500で、観測量算出部263が、時刻nにおける観測量(観測方程式)を算出する。

【0117】
具体的には、観測量算出部263は、観測画像に設定された処理対象領域nの注目画素(2,2)の画素値y2,2(n)の観測方程式について、注目画素(2,2)が裏写り画像を示す画素と判定されている場合には、画素値yv2,2(n)をそのまま適用し、注目画素(2,2)が裏写り画像を示す画素ではない場合には、yv2,2(n)を0とする。さらに、観測量算出部263は、観測行列に相当する項を構成するための単位ベクトルm及び定数を示すベクトルcを用いて、画素値y2,2(n)の観測方程式を算出する。

【0118】
次に、ステップ600で、推定部264が、上記ステップ400で算出された状態量(状態方程式)及び上記ステップ500で算出された観測量(観測方程式)により、下記に示す有色性駆動源付カルマンアルゴリズムを導出する。

【0119】
【数11】
JP2018097211A1_000013t.gif

【0120】
第2の実施の形態における有色性駆動源付カルマンアルゴリズムにおいて、第1の実施の形態における有色性駆動源付カルマンアルゴリズムと異なる点は、観測行列Mに替えて、下記(12)式に示す行列mを用い、観測雑音ベクトルの共分散行列Rε(n)に替えて、下記(13)式に示す行列rε(n)を用いる点、及び手順2で、カルマンゲイン行列として、行列K(n)に変えて行列k(n)を計算する点である。

【0121】
【数12】
JP2018097211A1_000014t.gif

【0122】
以上説明したように、第2の実施の形態に係る画像復元装置210によれば、両面に画像が印刷された原稿の表面をスキャンした際に、裏面の画像が表面に裏写りしている場合に、表面の原画像情報が裏写りに与える影響を反映した非線形項を含む状態空間モデルを用いるため、原画像情報を精度良く復元することができる。

【0123】
なお、第2の実施の形態においても、除去の対象を、第1の実施の形態と同様に、シワや不規則な折り目等を示す不一様なテクスチャ及び地色とすることができる。この場合、観測方程式のyn2,2に、不一様なテクスチャ又は地色と判定された画素の画素値を用いればよい。同様に、第1の実施の形態においても、除去の対象を、第2の実施の形態と同様に、裏写り画像とすることができる。この場合、観測方程式の観測雑音ベクトルy(n)に、裏写り画像を示す画素と判定された画素の画素値を用いればよい。

【0124】
<第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態では、地色の除去に、第2の実施の形態と同様に非線形項を導入した画像復元装置について説明する。なお、第3の実施の形態に係る画像復元装置の構成について、第2の実施の形態に係る画像復元装置210と同一の部分については、第2の実施の形態と同一符号を付して詳細な説明を省略する。

【0125】
第3の実施の形態に係る画像復元装置310は、CPU、ROM、RAM、及びHDDを含むコンピュータで構成されており、図2に示すように、入力インタフェース部20、操作部30、記憶部40、画像復元処理部360、及び出力インタフェース部70を備えている。

【0126】
画像復元処理部360は、機能的には、図3に示すように、判定部361と、状態量算出部62と、観測量算出部363と、推定部264と、復元画像出力部65とを含んだ構成で表すことができる。

【0127】
判定部361は、第2の実施の形態における判定部261と同様の処理により、観測画像の局所領域に含まれる画素の画素値の分散値を用いた基準値と、各画素の画素値とに基づいて、各画素が地色を示す画素か否かを判定する。

【0128】
観測量算出部363は、観測画像における時刻nでの状態nに基づき、判定部361によって地色を示す画素と判定された画素の画素値を用いて、原画像に地色が加わって観測画像となる過程を観測量として算出する。

【0129】
ここで、第3の実施の形態における状態空間モデルについて説明する。

【0130】
図17に示すように、地色を含む文書をスキャンすることにより得られる観測画像yi,jは、原画像xi,jに地色vi,jが加わった状態空間モデルによって表される。第3の実施の形態では、さらに、地色vi,jが原画像xi,jに加わる過程において、原画像の画像情報が地色に与える影響を反映した非線形項g(xi,j)を加えた状態空間モデルを用いて、原画像を推定する。したがって、第3の実施の形態における状態空間モデルは、下記(14)式で表すことができる。

【0131】
【数13】
JP2018097211A1_000015t.gif

【0132】
非線形項g(xi,j)は、第2の実施の形態と同様に、(10)式を適用することができる。この場合、第2の実施の形態と同様に、(14)式及び(10)式から、(11)式が導出される。このため、観測量算出部363は、第2の実施の形態における観測量算出部263と同様に、時刻nにおける観測量(観測方程式)を算出することができる。この際、観測量算出部363は、注目画素(2,2)が地色示す画素と判定されている場合には、画素値yv2,2(n)をそのまま適用し、注目画素(2,2)が地色を示す画素ではない場合には、yv2,2(n)を0とする。

【0133】
状態方程式及び観測方程式が第2の実施の形態と同様であるため、推定部264における有色性駆動源付カルマンアルゴリズムも、第2の実施の形態と同様に実行することができる。

【0134】
以上説明したように、第3の実施の形態に係る画像復元装置310によれば、原画像情報が地色に与える影響を反映した非線形項を含む状態空間モデルを用いるため、原画像情報を精度良く復元することができる。

【0135】
図18に、第3の実施の形態に係る画像復元装置310の処理結果の一例を示す。図18に示すように、画像復元処理後は、原画像に含まれる文字部分、線の間なども含め、地色が除去されていることが分かる。

【0136】
また、第2及び第3実施形態に係る画像復元装置は、シワなどの不一様なテクスチャ、地色、裏写り等が複合的に生じている観測画像に対しても精度良く原画像を復元することができる。

【0137】
図19に、文字及び写真が両面に印刷された原稿(実際にはカラー画像)を読み取り、裏写り及び地色が含まれている観測画像に対して本手法による復元処理を行った処理結果の一例を示す。図19に示すように、観測画像に含まれる裏写りや地色が、復元画像において除去されていることが分かる。また、人物の肌色部分なども、裏写りや地色の除去の影響による画質劣化が抑制されている。肌色部分の劣化は人が視覚的に認識し易い要素であるため、肌色部分の再現性がよいことで、復元画像全体の画像品質の向上が図れる。

【0138】
また、図20に、レシートを読み取り、シワ及び地色が含まれている観測画像に対して本手法による復元処理を行った処理結果の一例を示す。図20には、非線形項を含む状態空間モデルを用いない従来手法による復元画像を比較例として示している。本手法による復元画像では、従来手法に比べ、シワ及び地色共に精度良く除去されていることが分かる。なお、図20の処理結果の本手法による復元処理には、観測方程式における観測行列にエッジ抽出フィルタを適用し、文字の鮮明化を行っている。

【0139】
このように、本手法では、シワなどの不一様なテクスチャ、地色、裏写り等の除去精度が高いことから、図20に示す処理結果の一例のように、レシートなどのシワになり易い原稿の読み取りに対しても有効である。例えば、レシートをスキャンして、文字認識したレシートの内容を家計簿に記録するようなアプリケーションに本発明を適用した場合、シワの多いレシートからも精度良く原画像(レシートの内容)を復元することができるため、文字認識の誤認識を低減することができる。

【0140】
<第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態では、両面に画像が印刷された文書をスキャンした際の裏写りを、裏面の画像情報も用いて除去する画像復元装置について説明する。なお、第4の実施の形態に係る画像復元装置の構成について、第2の実施の形態に係る画像復元装置210と同一の部分については、第2の実施の形態と同一符号を付して詳細な説明を省略する。

【0141】
第4の実施の形態に係る画像復元装置410は、CPU、ROM、RAM、及びHDDを含むコンピュータで構成されており、図2に示すように、入力インタフェース部20、操作部30、記憶部40、画像復元処理部460、及び出力インタフェース部70を備えている。

【0142】
画像復元処理部460は、機能的には、図21に示すように、位置合わせ部461と、状態量算出部62と、観測量算出部463と、推定部464と、復元画像出力部65とを含んだ構成で表すことができる。

【0143】
位置合わせ部461は、表面の観測画像xi,jと裏面の観測画像xi,jとで対応する画素同士の位置合せを行う。位置合わせ部461は、例えば、ブロックマッチング等の手法により位置合せを行うことができる。また、表面と裏面とを同時にスキャンするタイプのスキャナによりスキャンされた場合など、表面の観測画像xi,jと裏面の観測画像xi,jとの位置合せに使用可能な情報を取得可能な場合には、位置合わせ部461は、その情報を取得して、位置合せを行ってもよい。

【0144】
観測量算出部463は、観測画像における時刻nでの状態nに基づき、裏面の画像情報を用いて、表面の原画像に裏写り画像が加わって観測画像となる過程を観測量として算出する。

【0145】
推定部464は、観測画像における時刻nでの状態nについて、状態量算出部62により算出された状態量、及び観測量算出部463により算出された観測量から状態空間モデルに基づいた予測法を用い、状態nの最適値を推定する。

【0146】
なお、画像復元処理部460の各部の処理について、第2の実施の形態と異なる点については、後述する画像復元処理ルーチンにおいて、より詳細に説明する。

【0147】
次に、図22を参照して、第4の実施の形態に係る画像復元装置410の作用について説明する。なお、図22に示す画像復元処理ルーチンは、記憶部40に画像復元プログラムとして格納されており、図示しないCPUによって実行される。

【0148】
ステップ150で、画像入力装置であるスキャナにより、両面に文書が印刷された原稿の表面及び裏面の各々を読み取ることにより得られた表面の観測画像情報及び裏面の観測画像情報を、入力インタフェース部20を介して取り込み、主記憶部41の取込画像メモリ42に記憶する。

【0149】
次に、ステップ250で、位置合わせ部461が、取込画像メモリ42から表面及び裏面の観測画像情報を取得し、表面と裏面との位置合せを行う。

【0150】
ここで、第4の実施の形態における状態空間モデルについて説明する。第4の実施の形態における状態空間モデルも、第2の実施の形態における状態空間モデルと同様に、(7)式で表すことができる。そして、(7)式に(10)式に示す非線形項を適用して、(15)式に示す状態空間モデルが導出される。

【0151】
【数14】
JP2018097211A1_000016t.gif

【0152】
上記(15)式を、時刻nでの観測画像における注目画素(2,2)の画素値y2,2(n)に着目した観測方程式に適用すると、下記(16)式となる。

【0153】
【数15】
JP2018097211A1_000017t.gif

【0154】
裏面の原画像情報であるx(n)は不明であるため、(16)式において、x(n)を、裏面の観測画像情報で表される観測ベクトルy(n)に置換する。これにより、(16)式は、下記(17)式のように変換される。

【0155】
【数16】
JP2018097211A1_000018t.gif

【0156】
図22の画像復元処理ルーチンの説明に戻って、次のステップ400で、状態量算出部62が、第2の実施の形態と同様に、時刻nにおける状態nの状態量(状態方程式)を算出する。

【0157】
次に、ステップ550で、観測量算出部463が、時刻nにおける観測量(観測方程式)を算出する。

【0158】
具体的には、観測量算出部463は、観測画像に設定された処理対象領域nの注目画素(2,2)の画素値y2,2(n)の観測方程式について、観測行列に相当する項を構成するための単位ベクトルm、定数s、点広がり関数を示すベクトルh、画素値の最大値l(エル)、及び裏面の観測画像情報で表される観測ベクトルy(n)を用いて、画素値y2,2(n)の観測方程式を算出する。

【0159】
次に、ステップ600で、推定部264が、上記ステップ400で算出された状態量(状態方程式)及び上記ステップ550で算出された観測量(観測方程式)により、第2の実施の形態と同様に、有色性駆動源付カルマンアルゴリズムを導出する。なお、第4の実施の形態における有色性駆動源付カルマンアルゴリズムにおいては、下記(18)式に示す行列m、及び下記(19)式に示す行列rε(n)を用いる。

【0160】
【数17】
JP2018097211A1_000019t.gif

【0161】
以上説明したように、第4の実施の形態に係る画像復元装置410によれば、表面の原画像情報が裏写りに与える影響を反映した非線形項を含む状態空間モデルにおいて、裏面の画像情報も用いて原画像情報を復元するため、より精度良く原画像情報を復元することができる。

【0162】
図23に、第4の実施の形態に係る画像復元装置410の処理結果の一例を示す。図23に示すように、画像復元処理後は、表面の画像情報と重複した裏写りも除去されていることが分かる。

【0163】
なお、本発明は、上述した各実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0164】
例えば、上記各実施の形態では、状態(n-1)から状態nへの変化として、処理対象領域を右方向に1画素分シフトさせる場合について説明したが、これに限定されない。例えば、処理対象領域を、画像内の下方向へシフトさせてもよい。この場合、システム状態量が重なる領域を考慮した状態遷移行列Φ及び駆動源ベクトルδを構成するとよい。

【0165】
また、図4のステップ200において、第1の実施の形態では図5に示す判定処理を実行し、第2及び第3の実施の形態では図12に示す判定処理を実行する場合について説明したが、これに限定されない。第1の実施の形態で図12に示す判定処理を実行してもよいし、第2及び第3の実施の形態で図5に示す判定処理を実行してもよい。また、判定処理は、図5及び図12に示す例に限定されない。例えば、観測画像の全画素の分散値から算出される基準値を用いて判定を行ってもよい。以下、図24を参照して、この場合の判定処理について説明する。

【0166】
ステップ252で、判定部が、取込画像メモリ42から観測画像情報を取得する。

【0167】
次に、ステップ254で、判定部が、取得した観測画像情報に含まれる各画素のRGB成分毎の画素値から、RGB成分毎に、観測画像全体の画素値の平均値 ̄yを算出する。そして、判定部、算出した平均値 ̄yを用いて、上記(4)式により、RGB成分毎に観測画像全体の画素値の分散値σを算出する。この際、(4)式の分散値σyLをσ、平均値 ̄yを ̄y、Mを観測画像の横方向の画素数、Nを観測画像の縦方向の画素数と読み替える。

【0168】
次に、ステップ256で、判定部が、観測画像の局所領域L(例えば、3×3画素の領域)毎に、その局所領域Lに含まれる各画素のRGB成分毎の画素値に基づいて、RGB成分毎に、局所領域Lの画素値の平均値 ̄y及び分散値σyLを算出する。分散値σyLは、上記(4)式により算出する。

【0169】
次に、ステップ258で、判定部が、局所領域Lの画素値の平均値 ̄yが観測画像全体の画素値の平均値 ̄yより大きく、かつ局所領域Lの画素値の分散値σyLが観測画像全体の画素値の分散値σより大きいか否かを判定する。RGBのいずれかの成分で上記判定が肯定判定となる場合には、ステップ260へ移行し、RGBのいずれの成分についても、上記判定が否定判定となる場合には、ステップ262へ移行する。

【0170】
ステップ260では、判定部が、該当の局所領域Lに含まれる各画素は、不一様なテクスチャを示す画素であると判定し、ステップ262へ移行する。ステップ256~260の処理は、観測画像全体にわたって、局所領域L毎に実行する。

【0171】
ステップ262では、判定部が、上記ステップ254でRGB成分毎に算出された観測画像全体の画素値の平均値 ̄y及び分散値σから、各画素が地色か否かを判定するための基準値ythを上記(5)式により算出する。この際、(5)式の分散値σyLをσ、平均値 ̄yを ̄yと読み替える。

【0172】
そして、判定部は、観測画像に含まれる各画素(m,n)の画素値ym,nが基準値ythより大きいか否かを判定する。RGBのいずれかの成分で、ym,n>ythとなる場合には、ステップ266へ移行し、判定部が、画素(m,n)は地色を示す画素であると判定し、画像復元処理ルーチン(図4)に戻る。一方、RGBのいずれの成分についても、ym,n≦ythとなる場合には、そのまま、画像復元処理ルーチンに戻る。ステップ264及び266の処理は、観測画像に含まれる全画素について、画素毎に実行する。

【0173】
また、上記各実施の形態では、文書をスキャナで読み取ることにより観測画像情報を取得する場合について説明したが、これに限定されず、様々な分野で撮影された画像を観測画像として用いてもよい。例えば、医療用画像や、建築・土木の現場などで、点検や検査のために撮影された画像などを、観測画像として用いてもよい。これにより、医療分野、建築・土木分野等、様々な分野において、リアルタイムな画像分析などに本発明を応用することができる。

【0174】
また、上記各実施の形態では、CPUによりプログラムを実行することで各部の処理を実行する場合について説明したが、各部をハードウエアにより構成するようにしてもよい。
【符号の説明】
【0175】
10、210、310、410 画像復元装置
20 入力インタフェース部
30 操作部
40 記憶部
60、260、360、460 画像復元処理部
61、261、361、461 判定部
62 状態量算出部
63、263、363、463 観測量算出部
64、264、464 推定部
65 復元画像出力部
70 出力インタフェース部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14
【図16】
15
【図17】
16
【図18】
17
【図19】
18
【図20】
19
【図21】
20
【図22】
21
【図23】
22
【図24】
23