TOP > 国内特許検索 > 画像処理システム > 明細書

明細書 :画像処理システム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2015-022605 (P2015-022605A)
公開日 平成27年2月2日(2015.2.2)
発明の名称または考案の名称 画像処理システム
国際特許分類 G06T   5/00        (2006.01)
G06T   7/00        (2006.01)
FI G06T 5/00 100
G06T 7/00 200B
請求項の数または発明の数 5
出願形態 OL
全頁数 12
出願番号 特願2013-151273 (P2013-151273)
出願日 平成25年7月22日(2013.7.22)
発明者または考案者 【氏名】六井 淳
出願人 【識別番号】504155293
【氏名又は名称】国立大学法人島根大学
個別代理人の代理人 【識別番号】100081673、【弁理士】、【氏名又は名称】河野 誠
【識別番号】100141483、【弁理士】、【氏名又は名称】河野 生吾
審査請求 未請求
テーマコード 5B057
5L096
Fターム 5B057AA11
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD12
5B057CE11
5B057DC23
5L096AA02
5L096AA06
5L096CA02
5L096FA37
5L096GA30
5L096GA40
5L096MA03
要約 【課題】画像の補正を行う画像処理システムにおいて、入力画像の画質劣化の原因が多種多様である場合にも対応可能で汎用性の高い画像処理システムを提供することを課題としている。
【解決手段】入力された画像を補正する画像処理システムであって、画像を入力する入力手段11と、該入力された画像である入力画像に基づいてヒストグラムを生成するヒストグラム生成手段14と、該生成したヒストグラムを、確率分布を用いてモデル化するモデル化手段16と、該モデル化手段16によってモデル化された統計モデルに基づいて、前記入力画像の補正を行う補正手段17と、補正手段17からの画像を出力画像として出力する出力手段19とを備えている。
【選択図】図3
特許請求の範囲 【請求項1】
入力された画像を補正する画像処理システムであって、
画像を入力する入力手段と、
該入力された画像である入力画像に基づいてヒストグラムを生成するヒストグラム生成手段と、
該生成したヒストグラムを、確率分布を用いてモデル化するモデル化手段と、
該モデル化手段によってモデル化された統計モデルに基づいて、前記入力画像の補正を行う補正手段と、
補正手段からの画像を出力画像として出力する出力手段とを備えた
ことを特徴とする画像処理システム。
【請求項2】
前記モデル化手段は、混合ガウス分布を用いて、上記モデル化を行う
請求項1に記載の画像処理システム。
【請求項3】
上記混合ガウス分布に含まれるパラメータを、変分ベイズ法を用いて、決定するパラメータ決定手段を備えた
請求項2に記載の画像処理システム。
【請求項4】
入力画像であるカラー画像を、予め定めた複数の基準色毎に分割する分割手段と、
分割手段によって分割された複数の基準色画像を合成する合成手段とを備え、
前記ヒストグラム生成手段は、各基準色画像のヒストグラムを生成し、
前記モデル化手段は、基準色画像毎にヒストグラムの上記モデル化を行い、
前記補正手段は、基準色画像毎に上記補正を行い、
前記合成手段は、補正手段によって補正された各基準色画像を合成する
請求項1乃至3の何れかに記載の画像処理システム。
【請求項5】
上記基準色が赤、緑及び青の3色である
請求項4に記載の画像処理システム。
発明の詳細な説明 【技術分野】
【0001】
この発明は、画像の補正を行う画像処理システムに関する。
【背景技術】
【0002】
印刷物や歴史的に有名な絵画等の画像は、塗料の経時変化や異物の付着等によって、元画像に対して、状態が大きく変化する場合がある他、印刷物の画像では、プリンタ個々の配色の違いによっても、元画像に対して状態が大きく変化し、このような状態の変化は、画像の品質(画質)を大きく低下させる。
【0003】
このようにして画質が低下した画像を元の画像に近い状態に戻す技術として、画像を入力する入力手段と、前記入力された画像である入力画像の補正を行う補正手段と、補正手段からの画像を出力画像として出力する出力手段とを備えた画像処理システムが公知である(例えば、特許文献1参照。)。
【先行技術文献】
【0004】

【特許文献1】特開2011-166638号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記文献の画像処理システムでは、補正手段によって、画像のコントラスト補正処理や、ノイズ低減処理が行われるため、その補正内容が、入力画像の画質劣化の原因に対応したものであれば、補正手段による補正の効果が期待できる一方で、例えば、元画像に対して入力画像が一部欠けている等、その補正内容が画質劣化の原因に対応していない場合には、補正手段による補正の効果が殆ど期待できず、汎用性が低い。
【0006】
本発明は、画像の補正を行う画像処理システムにおいて、入力画像の画質劣化の原因が多種多様である場合にも対応可能で汎用性の高い画像処理システムを提供することを課題としている。
【課題を解決するための手段】
【0007】
上記課題を解決するため、第1に、入力された画像を補正する画像処理システムであって、画像を入力する入力手段11と、該入力された画像である入力画像に基づいてヒストグラムを生成するヒストグラム生成手段14と、該生成したヒストグラムを、確率分布を用いてモデル化するモデル化手段16と、該モデル化手段16によってモデル化された統計モデルに基づいて、前記入力画像の補正を行う補正手段17と、補正手段17からの画像を出力画像として出力する出力手段19とを備えたことを特徴としている。
【0008】
第2に、前記モデル化手段16は、混合ガウス分布を用いて、上記モデル化を行うことを特徴としている。
【0009】
第3に、上記混合ガウス分布に含まれるパラメータを、変分ベイズ法を用いて、決定するパラメータ決定手段を備えたことを特徴としている。
【0010】
第4に、入力画像であるカラー画像を、予め定めた複数の基準色毎に分割する分割手段13と、分割手段によって分割された複数の基準色画像を合成する合成手段18とを備え、前記ヒストグラム生成手段14は、各基準色画像のヒストグラムを生成し、前記モデル化手段16は、基準色画像毎にヒストグラムの上記モデル化を行い、前記補正手段17は、基準色画像毎に上記補正を行い、前記合成手段18は、補正手段17によって補正された各基準色画像を合成することを特徴としている。
【0011】
第5に、上記基準色が赤、緑及び青の3色であることを特徴としている。
【発明の効果】
【0012】
ヒストグラム生成手段が入力画像に基づいてヒストグラムを生成し、該ヒストグラムを、確率分布を用いて、モデル化手段によりモデル化し、該モデル化された統計モデルに基づいて、入力された画像の補正を行う。この際、上記統計モデルが元画像のヒストグラム推定に大きく寄与し、画質劣化の多種多様な原因に対応可能になるため、汎用性が向上する。
【図面の簡単な説明】
【0013】
【図1】(A)撮影した2次元カラーバーコードの写真の画像であり、(B)は(A)の写真の歪み補正を行った画像である。
【図2】本発明を適用した画像処理システムの構成を示すブロック図である。
【図3】制御部による画像処理の内容を示すブロック図である。
【図4】対象画像の一の基準色におけるヒストグラムと、該ヒストグラムの統計モデルである。
【図5】2次元カラーバーコードの構成を具体例によって示す説明図である。
【図6】2次元カラーバーコードの抽象的な概念図である。
【図7】2次元カラーバーコードの具体的構成を示す概念図である。
【図8】変分ベイズを用いたパラメータ及びハイパーパラメータの更新の概念図である。
【発明を実施するための形態】
【0014】
図1(A)撮影した2次元カラーバーコードの写真の取得画像であり、(B)は(A)の写真の歪み補正を行った補正画像である。QRコード(登録商標)等に代表される2次元バーコードは、マトリクスコードとスタックコードとに分類されるが、図示する例は、マトリックスコードであり、長方向又は正方形のマトリックス状に分割された領域内に描かれたグレースケール又はカラー(本例ではカラー)のドットパターンに情報が埋込まれている。

【0015】
このような2次元カラーバーコードの画像は、まず、コンピュータにおいて、埋込み対象の情報を選定し、この情報を埋込んだ2次元バーコードの画像データ(元画像)を生成し、これを紙等の印刷媒体に印刷する。そして、ユーザは、印刷媒体に印刷された画像(取得対象画像)をカメラ等で撮影するか、或いはスキャナで読取る。

【0016】
このようにして、デジタルデータとして取得された画像データ(取得画像)1Aは、撮影角度や印刷媒体の凹凸に起因して歪むため、歪み補正を行い、この歪み補正後の画像を、画質を向上させるための画像処理の対象となる画像データ(対象画像)1Bとする。

【0017】
この一連の工程において、印刷媒体への印刷時に用いるプリンタの配色パターンの違いや、印刷後の塗料の経時変化や、撮影時の環境等や、歪み補正によって、対象画像1Bの画質が、元画像に比べて劣化する。このため、この対象画像1Bをそのまま用いて、2次元バーコードに埋込まれている情報を取出すと、上記画質の劣化によって、2次元バーコードに埋込まれた情報を上手く取出せない虞がある。

【0018】
このような事態を防止するツールとして、本発明を適用した画像処理システムを用いる。具体的には、対象画像1Bを元画像の画質の近づけるため画像処理を行い、この補正後の2次元バーコードの画像から、埋込まれた情報を取出す。

【0019】
図2は、本発明を適用した画像処理システムの構成を示すブロック図である。本画像処理システム2は、コンピュータ(画像処理装置)に実装される。

【0020】
この画像処理システム2は、取得対象画像を撮影するカメラ又は読取るスキャナ等から構成された画像取得装置3と、CPU4a及びRAM4b等から構成され且つ画像処理を含む各種処理を行う制御部4と、各種データを記憶するHDDやSSD等の記憶装置6と、インターネットやプライベートネットワーク等の通信網を介して他のコンピュータと通信を行う通信手段7と、各種操作を行うマウス、キーボード又はタッチパネルから構成された操作手段8と、取得画像1Aや対象画像1B等を含む各種情報を画面表示するモニタ9とを備えている。

【0021】
図3は、制御部による画像処理の内容を示すブロック図であり、図4は、対象画像の一の基準色におけるヒストグラムと、該ヒストグラムの統計モデルである。制御部4が行う画像処理には、取得画像1Aが入力画像として入力される画像入力手段(入力手段)11と、上記入力画像を受取り且つ該入力画像の歪み補正を行う歪み補正手段12と、歪み補正手段12によって歪みが補正された画像を受取り、該画像を予め定めた複数の基準色(図示する例では、赤と緑と赤)に分割する基準色分割手段(分割手段)13と、それぞれの基準色毎に設けられたヒストグラム生成手段14、モデル化手段16及び補正手段17と、補正後の複数の基準色を合成する合成手段18と、合成手段18によって合成された補正後の画像を出力画像として出力する画像出力手段(出力手段)19とが含まれている。

【0022】
上記画像入力手段11は、画像取得装置3から取得画像1Aを取得するか、記憶装置6に記憶している状態から取得画像1Aを取得する、或いは、通信手段7を介して他のコンピュータから取得画像1Aを取得する。

【0023】
上記歪み補正手段12は、上述した通りであり、図1(A)に示すような画像が同図(B)に示すような画像になるように歪み補正を行い、この歪みを補正した画像を、上述の対象画像1Bとして、基準色分割手段13に渡す。

【0024】
上記基準色分割手段13は、複数の基準色毎に設けられた基準色抽出手段21によって構成されている。各基準色抽出手段21は、自身が担当する基準色を抽出し、該抽出された画像を、基準色画像として、その基準色を担当するヒストグラム生成手段14に渡す。

【0025】
上記ヒストグラム生成手段14は、上述した通り、基準色毎に設けられる。各ヒストグラム生成手段14は、同一の基準色を担当する基準色抽出手段21から渡された基準色画像に基づいて、その基準色画像の該基準色でのヒストグラムを生成する。基準色画像は、各画素が、基準色の複数段階(通常は、0~255までの256段階)の輝度(明暗)で表現され、ヒストグラムの横軸は基準色の各段階(各階調)の値であり、縦軸はある階調において基準色画像に含まれる画素数であり、各階調での画総数の値を示したものがヒストグラムになる。

【0026】
例えば、図4に示す例では、基準色画像を構成する基準色の輝度が低い画素と、輝度が高い画素が多く含まれ且つ中程度の輝度の画素がそれ程多く含まれていない対象画像1Bになっている。

【0027】
そして、各ヒストグラム生成手段14は、基準色画像のヒストグラムを生成すると、同一の基準色を担当するモデル化手段16に、そのヒストグラムを渡す。

【0028】
上記モデル化手段16は、上述した通り、基準色毎に設けられている。各モデル化手段16は、ヒストグラム生成手段14から渡されたヒストグラムを、確率分布を用いてモデル化し、統計モデルを生成する。この場合に用いられる確率分布として、混同ガウス分布が最も好ましく、各階調での画素数を、各階調での存在確率に見立ててモデル化を行う。

【0029】
混合ガウス分布は、複数のパラメータを有するが、このパラメータを、実際のヒストグラム情報(実データ)から、ベイズの定理を利用して推定し(具体的には、変分ベイズを用いて計算し)、これによって、統計モデルを生成する。すなわち、モデル化手段16は、統計モデルのパラメータを決定するパラメータ決定手段としても機能する。

【0030】
そして、各モデル化手段16は、上記のようにして、統計モデルを生成すると、同一の基準色を担当する補正手段17に、上記統計モデルを渡す。

【0031】
上記補正手段17は、上述した通り、基準色毎に設けられている。各補正手段17は、モデル化手段16から統計モデルを受取る他、同一の基準色を担当する基準色抽出手段21及びヒストグラム生成手段14から、基準色画像及びそのヒストグラムを受取る。

【0032】
そして、各補正手段17は、受取った基準色画像を、受取ったヒストグラム及び統計モデルに基づいて補正し、合成手段18に渡す。具体的には、基準色画像のヒストグラムが生成した統計モデルに、できるだけ近似されるように該基準色画像の補正(画像処理)を行う。

【0033】
上記合成手段18は、各補正手段17から、補正した画像を受け取り、それらを合成し、この合成された画像を、本画像処理システム1による処理済みの画像(処理済画像)として、画像出力手段19に渡す。

【0034】
上記画像出力手段19は、処理済画像を、出力画像として、モニタ9に出力するか、記憶装置6に記憶するか、或いは、通信手段7を介して他のコンピュータに送る。

【0035】
次に、図5乃至図7に基づき、2次元カラーバーコードの構成について説明する。

【0036】
図5は、2次元カラーバーコードの構成を具体例によって示す説明図である。2次元カラーバーコードの構成を具体的によって示す説明図である。対象画像1Bに描かれる2次元カラーバーコード(2次元バーコード)22は、例えば、図5に示す通り、3行3列の行列状に区画された9つのセルを有し、各セルは4色(白、青、黄、緑)で塗分けられている。このように2のk乗(kは2以上の整数で、同図ではk=2)色のカラーで塗り分けられた2次元カラーバーコード22は、二値化されたk個の2次元二値化バーコード(2次元バーコード)23に分解することが可能である。

【0037】
例えば、同図の2次元カラーバーコード22は、3行3列のマトリックス状に区画された9個の各セルが4色のカラーで塗分けられているので、3行3列のマトリックス状に区画されて各セルが2色のカラーの何れかで表された2次元二値化バーコード23によって各層が構成される2層の多層化2次元バーコード24に変換可能である。

【0038】
多層化2次元バーコード24の情報は、記憶装置6や他のコンピュータ等に記憶したカラーマップMを記し、このカラーマップMの情報及び2次元カラーバーコード22の各セルの色情報に基づいて、各2次元二値化バーコード23を構成する各セルの色情報を取得する。

【0039】
例えば、同図のカラーマップMによれば、2次元カラーバーコード22のセルの色が白色の場合には2次元二値化バーコード23のその箇所のセルは1層目及び2層目ともに白色になり、2次元カラーバーコード22のセルの色が青色の場合には2次元二値化バーコード24のその箇所のセルは1層目が青色になるとともに2層目が白色になり、2次元カラーバーコード22のセルの色が黄色の場合には2次元二値化バーコード23のその箇所のセルは1層目が白色になるとともに2層目が黄色になり、2次元カラーバーコード22のセルの色が緑色の場合には2次元二値化バーコード23のその箇所のセルは1層目が青色になるとともに2層目が黄色になる旨の情報が格納されている。

【0040】
そして、2次元カラーバーコード22から多層化2次元バーコード24への変換を行う場合と、多層化2次元バーコード24から2次元カラーバーコード22への変換とを行う場合とで、同一のカラーマップMを用いることにより、2次元カラーバーコード22から正しい情報を取出すことが可能になる。

【0041】
具体的には、各2次元二値化バーコードから情報を取出し、取出した複数の情報を事前に定めたルールに基づいて合成することにより、2次元カラーバーコード22に埋込まれた情報を取出すことが可能になる。

【0042】
図6は、2次元カラーバーコードの抽象的な概念図である。本発明の2次元カラーバーコード22は、一般的に、l行m列の行列状に区画されたl×m個の各セルが2のk乗色のカラーの何れかにより表されている(l,mは2以上の整数であり、互いに異なる値でも同一の値でもよい)。

【0043】
このため、2次元カラーバーコード22は、l行m列のマトリックス状に区画された各セルが2色のカラーの何れかで表された2次元二値化バーコード23によって各層が構成されるk層の多層化2次元バーコード24に変換可能である。

【0044】
図7は、2次元カラーバーコードの具体的構成を示す概念図である。同図に示すように生成された2次元カラーバーコード22は、4辺を有する正方形状をなし、その4辺に沿う帯状領域26が形成されている。帯状領域26は、画像取込み時の領域特定を容易にするため、4辺を外側から囲繞するように方形枠状に形成されている。

【0045】
4辺の上側に沿う上辺部26aと、4辺の下側に沿う下辺部26bと、4辺の左側に沿う左辺部26cと、4辺の右側に沿う右辺部26dとから構成されている。また、上記4辺の内側の領域は、定められた所定箇所に配置されて方形状のセル内に表示される複数(図示する例では3つ)のファインダーパターン27と、2のk乗色のカラーで色分けされた図1,2に示すドットパターンからなる情報格納領域28とによって構成されている。

【0046】
上記帯状領域26には、複数の基準カラーが配色されている。上述の多層化2次元バーコード24を構成するk個の2次元二値化バーコード23は、白と、各層によって異なる所定色との2色によって塗り分けられており、上記基準カラーは上記所定色を示している。すなわち、基準カラーはk色存在し、2次元カラーバーコード22の画像取込精度を向上させる。

【0047】
また、k色の基準カラーはそれぞれ上辺部26a、下辺部26b、左辺部26c及び右辺部26dの何れかに配色され、どの辺部26a,26b,26c,26dにどの基準カラーが配色されたかは配色情報として記憶装置6や他のコンピュータ等に記憶されている。ちなみに、k=4の場合には各辺部26a,26b,26c,26dに1色づつ基本カラーを配色する等、各辺部26a,26b,26c,26dの基本カラーの色数をできるだけ一致させることが好ましい。

【0048】
そして、所定の基準カラーがどの辺部26a,26b,26c,26dに配色されているのかを識別することにより、配色情報に基づいて、2次元カラーバーコード22の方向特定を行うことが可能になる。

【0049】
上記ファインダーパターン27は、省略してもよいが、上述の2次元カラーバーコード22に関する識別子や、その2次元カラーバーコード22のセルを構成する行数及び列数等の情報が含まれる。

【0050】
次に、モデル化手段16が行う統計モデル生成の具体的な手法について詳述する。

【0051】
上記各ヒストグラムのモデル化に用いる混合ガウス分布は、K個のガウス分布の重合せで考えることができ、以下の式で表される。

【0052】
【数1】
JP2015022605A_000003t.gif

【0053】
Nは個々のガウス分布であり、Kは重ね合わせるガウス分布が個数であり、2次元バーコードの実際の画素データであり、μは平均ベクトルであり、Λは共分散行例であり、πは混合比であって次式に従う。

【0054】
【数2】
JP2015022605A_000004t.gif

【0055】
上記混合ガウス分布を用いた上記統計モデルにおいて、混合比、平均ベクトル、共分散行列を潜在パラメータZとした場合、ベイズの定理では、事後分布を事前分布及び尤度を用いて最大化することを考える。具体的には、変分ベイズの変分近似方を用いて、上述したp(X)の自然対数を、新たな分布qを用いて以下の式で表す。

【0056】
【数3】
JP2015022605A_000005t.gif

【0057】
ただし、L(q)は変分下界であり、KL(q∥p)はKL距離であり、それぞれ以下の式で表される。

【0058】
【数4】
JP2015022605A_000006t.gif

【0059】
【数5】
JP2015022605A_000007t.gif

【0060】
ここでKL距離の最小化と、L(q)の再計算とを交互に繰返して、パラメータの更新を行う。ちなみに、KL距離の最小化を行い、制限した以下に示すq(Z)を用いて、重ね合せる複数の各ガウス分布の負担率の更新を行う。

【0061】
【数6】
JP2015022605A_000008t.gif

【0062】
ただし、rnkは、共分散行列の各成分を構成するρを用いて以下の式で与えられる。

【0063】
【数7】
JP2015022605A_000009t.gif

【0064】
また、上記KL距離の最小化の計算に必要な事前分布には、共役事前分布を用いる。具体的には、混合比πは、ディレクレ分布を用いて以下の式で求める。ちなみに、これによって、混合比の新たな分布qも計算可能となる。

【0065】
【数8】
JP2015022605A_000010t.gif

【0066】
また、平均ベクトル及び共分散行列は、ガウス-ウィシャート事前分布を導入して、以下の式で求められる。ただし、Wの関数は、ウィシャート分布を示している。ちなみに、これによって、平均ベクトル及び共分散行列の新たな分布qも計算可能となる。

【0067】
【数9】
JP2015022605A_000011t.gif

【0068】
以上により、以下に示す5つのハイパーパラメータが見出される。

【0069】
【数10】
JP2015022605A_000012t.gif

【0070】
これらの各ハイパーパラメータ及び上述した混合ガウス分布の統計モデルの各パラメータは、各ハイパーパラメータの初期値を決定すれば、上述したK個の各ガウス分布の負担率更新に伴って、順次更新される。この変分ベイズを用いたパラメータ及びハイパーパラメータの更新の概念図を図8に示す。このため、初期値を選定する必要があるが、mは初期状態を零ベクトルとし、Wは初期状態を単位行列として、それぞれ固定し、残りの3つのハイパーパラメータについて、初期値を適切に定める。

【0071】
本願発明者らは、鋭利検討の結果、以下のように3つのハイパーパラメータの初期値を定めた。ちなみに、不要なガウス分布があれば、その比率が自動的に低くなるため、重ね合せるガウス分布の数を示すKは、任意に定めてよい。

【0072】
【数11】
JP2015022605A_000013t.gif

【0073】
上記初期値の設定によって、各パラメータが繰返し計算に伴い適切に収束していく状態が確認された。

【0074】
以上のように構成される画像処理システムによれば、色あせや、プリンタの配色パターンの違いは勿論、画像の一部を欠けているような場合にも、対応可能になり、元画像に近い画質に補正することが可能になり、劣化した2次元カラーバーコードからでも、正しい情報を取出すことが容易になる。

【0075】
なお、対象画像1Bの画像が2次元カラーバーコードの画像である場合について説明したが、対象画像1Bの画像が2次元グレースケールバーコードである場合や、2次元モノクロバーコードである場合にも適用可能である。

【0076】
具体的には、これらの画像を、グレースケールの濃淡画像とみなし、図3において、基準色分割手段13及び合成手段17を省略し、ヒストグラム先生手段14、モデル化手段手段16及び補正手段17を、それぞれ1つづつ設け、歪み補正手段12からの対象画像1Bを、ダイレクトにヒストグラム生成手段14に出力し、補正手段17からの画像を、処理済画像として、ダイレクトに画像出力手段19に渡せばよい。

【0077】
また、対象画像1Bは、2次元バーコードに限定されず、絵画その他の一般のカラー画像又はグレースケール画像であってもよい。
【符号の説明】
【0078】
2 画像処理システム
11 画像入力手段(入力手段)
13 基準色分割手段(分割手段)
14 ヒストグラム生成手段
16 モデル化手段
17 補正手段
19 画像出力手段(出力手段)
18 合成手段
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7