TOP > 国内特許検索 > 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム > 明細書

明細書 :画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 平成28年1月28日(2016.1.28)
発明の名称または考案の名称 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム
国際特許分類 G06T   5/00        (2006.01)
H04N   1/409       (2006.01)
FI G06T 5/00 705
H04N 1/40 101C
国際予備審査の請求 未請求
全頁数 37
出願番号 特願2014-519887 (P2014-519887)
国際出願番号 PCT/JP2013/062769
国際公開番号 WO2013/183391
国際出願日 平成25年5月2日(2013.5.2)
国際公開日 平成25年12月12日(2013.12.12)
優先権出願番号 2012128012
優先日 平成24年6月5日(2012.6.5)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IS , JP , KE , KG , KM , KN , KP , KR , KZ , LA , LC , LK , LR , LS , LT , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT , TZ , UA , UG , US , UZ , VC
発明者または考案者 【氏名】下平 美文
【氏名】天野 雄介
出願人 【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
個別代理人の代理人 【識別番号】100088155、【弁理士】、【氏名又は名称】長谷川 芳樹
【識別番号】100108257、【弁理士】、【氏名又は名称】近藤 伊知良
【識別番号】100124800、【弁理士】、【氏名又は名称】諏澤 勇司
【識別番号】100128107、【弁理士】、【氏名又は名称】深石 賢治
審査請求 未請求
テーマコード 5B057
5C077
Fターム 5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE05
5B057CE06
5C077LL02
5C077PP02
5C077PP47
5C077PQ18
要約 入力する画像信号に依存しない安定的なフィルタリングを行う。
画像フィルタリング装置10は、画像信号を入力する入力部11と、入力部11により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング部13と、フィルタリング部13によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力部12と、を備える。
特許請求の範囲 【請求項1】
画像信号に対してフィルタリングを行う画像フィルタリング装置であって、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、
を備える画像フィルタリング装置。
【請求項2】
前記フィルタリング手段は、前記重みづけを行う際は、前記周囲の画素の画素位置と前記着目画素の画素位置との距離が近いほど重みづけを重くし、前記周囲の画素の信号強度と前記着目画素の信号強度との差が小さいほど重みづけを重くする、請求項1に記載の画像フィルタリング装置。
【請求項3】
前記フィルタリング手段は、
【数1】
JP2013183391A1_000021t.gif
と定義される式によりフィルタリング後の信号強度を算出し、
´()はフィルタリング後の信号強度、
´()はフィルタリング前の信号強度、
cは着目画素の画素位置、
pは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σは着目画素からの距離に応じた重みづけを行う際のパラメータ、
σは着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
である、請求項2に記載の画像フィルタリング装置。
【請求項4】
前記フィルタリング手段は、
【数2】
JP2013183391A1_000022t.gif
と定義される式によりフィルタリング後の信号強度を算出し、
´()はフィルタリング後の信号強度、
´()はフィルタリング前の信号強度、
cは着目画素の画素位置、
pは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域、
γは前記係数、
σは着目画素からの距離に応じた重みづけを行う際のパラメータ、
σは着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
δV(S´(p))は画像信号の領域を分割した複数領域のうちpを含む領域の信号強度と着目画素の信号強度との差、
である、請求項2に記載の画像フィルタリング装置。
【請求項5】
同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、
前記ノイズ分散上限値算出手段が算出した前記ノイズ分散上限値を用いて、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、
前記算出画素決定手段により、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定された前記周囲の画素を用いて、前記着目画素のノイズ分散値σtotal(c)を推定するノイズ分散推定手段と、をさらに備え、
前記フィルタリング手段は、前記σとして前記ノイズ分散値σtotal(c)を用いてフィルタリング後の信号強度を算出する、請求項3又は4に記載の画像フィルタリング装置。
【請求項6】
前記算出画素決定手段は、
【数3】
JP2013183391A1_000023t.gif
と定義される式を満たす場合に、前記周囲の画素が、前記着目画素のノイズの分散値を算出するために用いることができる画素であると判定し、
σmax(S´(c))は前記着目画素のノイズ分散上限値、
Kは予め設定された判定係数、
である、請求項5に記載の画像フィルタリング装置。
【請求項7】
前記係数γを算出する係数算出手段をさらに備え、
前記係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、前記係数γを算出する、請求項1~6のいずれか一項に記載の画像フィルタリング装置。
【請求項8】
前記係数算出手段は、
【数4】
JP2013183391A1_000024t.gif
と定義される式により前記係数γを算出し、
σはフィルタリング前の画像信号のノイズの分散値に基づくノイズ標準偏差、
σはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、
である、請求項7に記載の画像フィルタリング装置。
【請求項9】
画像信号に対してフィルタリングを行う画像フィルタリング方法であって、
画像信号を入力する入力ステップと、
前記入力ステップにおいて入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、
前記フィルタリングステップにおいて算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、
を含む画像フィルタリング方法。
【請求項10】
画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、
コンピュータを、
画像信号を入力する入力手段と、
前記入力手段により入力された前記画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、
前記フィルタリング手段によって算出された前記フィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段、
として動作させる画像フィルタリングプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムに関する。
【背景技術】
【0002】
高画質な画像の撮像(撮影)を実現する上で、エッジやテクスチャ等の本来の信号情報の保存性に優れたノイズ低減手法の重要性が高まっている。このような本来の信号情報の保存性に優れたノイズ低減手法として、バイラテラルフィルタ(Bilateral filter)を用いたノイズ低減手法が知られている。(例えば非特許文献1参照)。
【先行技術文献】
【0003】

【非特許文献1】C.Tomasi and R.Manduchi, “Bilateral filtering for gray and color images,”in Proceedings of the IEEE International Conference on ComputerVision,Bombay,India, pp.839—846,1998.
【発明の概要】
【発明が解決しようとする課題】
【0004】
バイラテラルフィルタは、平滑化を行う際に、フィルタリングを行う画素と座標位置が近く信号強度差が少ない画素ほど、フィルタリングにおける重みづけを重くし、フィルタリングの効果を大きくするものである。信号強度差が大きい画素についてはフィルタリングの効果を小さくするため、画像のエッジを保持することができる。
【0005】
しかしながら、従来のバイラテラルフィルタにおいては、入力する画像信号によっては十分にフィルタリングが行えず、ノイズ成分が残留してしまうという問題があった。信号に対するノイズの量を対数で表したものにSNR(SN比。数値が大きいほどノイズが少なく高品質の信号であることを示す)があるが、入力する画像信号によっては、出力のSNRが小さくなり、ノイズの除去が十分に行えていなかった。また、十分にフィルタリングが行えないことを懸念して過剰にノイズ低減を行った場合には、元の画像信号情報が消失するという問題があった。すなわち、入力する画像信号に依存しない安定的なフィルタリングを行うことができていなかった。
【0006】
本発明は上記実情に鑑みてなされたものであり、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係る画像フィルタリング装置は、画像信号に対してフィルタリングを行う画像フィルタリング装置であって、画像信号を入力する入力手段と、入力手段により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、フィルタリング手段によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段と、を備える。
【0008】
この画像フィルタリング装置では、着目画素のフィルタリング後の信号強度として、着目画素と該着目画素の周囲の画素との信号強度の差に重みづけを行ったものを足し合わせた値に係数γを掛け合わせた値に、着目画素のフィルタリング前の信号強度を足し合わせた値を算出している。係数γを掛け合わせることにより、画像信号にかかわらず、出力のSNRを安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。以上より、本発明の一実施形態によれば、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置を提供することができる。
【0009】
また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くし、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くしてもよい。周囲の画素について、着目画素からの距離の差及び着目画素の信号強度の差に基づいた重みづけを行うことで、ノイズを除去しながら、エッジやテクスチャ等の本来の信号情報を保持することができる。
【0010】
また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、
【数1】
JP2013183391A1_000003t.gif
と定義される式によりフィルタリング後の信号強度を算出し、
´()はフィルタリング後の信号強度、
´()はフィルタリング前の信号強度、
cは着目画素の画素位置、
pは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域(着目画素を中心としたH×W画素の局所領域)、
γは前記係数、
σは着目画素からの距離に応じた重みづけを行う際のパラメータ、
σは着目画素の信号強度との差に応じた重みづけを行う際のパラメータ、
であってもよい。当該定義式を用いることによって、バイラテラルフィルタをもとにして確実に本発明の一実施形態を実施することができる。
【0011】
また、本発明の一実施形態に係る画像フィルタリング装置において、フィルタリング手段は、
【数2】
JP2013183391A1_000004t.gif
と定義される式によりフィルタリング後の信号強度を算出し、
´()はフィルタリング後の信号強度、
´()はフィルタリング前の信号強度、
cは着目画素の画素位置、
pは着目画素の前記周囲の画素の画素位置、
Ωは前記周囲の画素が位置する領域(着目画素を中心としたH×W画素の局所領域)、
γは前記係数、
σは着目画素からの距離に応じた重みづけを行う際のパラメータ(ドメインフィルタ分散値)、
σは着目画素の信号強度との差に応じた重みづけを行う際のパラメータ(レンジフィルタ分散値)、
δV(S´(p))は画像信号の領域を分割した複数領域のうちpを含む領域の信号強度と着目画素の信号強度との差、
であってもよい。当該定義式を用いることによって、ノンローカルミーンフィルタをもとにして確実に本発明の一実施形態を実施することができる。
【0012】
また、本発明の一実施形態に係る画像フィルタリング装置において、同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段と、ノイズ分散上限値算出手段が算出したノイズ分散上限値を用いて、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段と、算出画素決定手段により着目画素のノイズの分散値を算出するために用いることができる画素であると判定された周囲の画素を用いて着目画素のノイズ分散値σtotal(c)を推定するノイズ分散推定手段と、をさらに備え、フィルタリング手段は、σとしてノイズ分散値σtotal(c)を用いてフィルタリング後の信号強度を算出してもよい。フィルタリング後の信号強度の算出において、画素毎のノイズ分散値σtotal(c)を用いることで、より出力のSNRの値が小さくなることを防止できる。また、一枚の画像から、着目画素のノイズの分散値を算出することができる。
【0013】
また、本発明の一実施形態に係る画像フィルタリング装置において、算出画素決定手段は、
【数3】
JP2013183391A1_000005t.gif
と定義される式を満たす場合に、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素であると判定し、
σmax(S´(c))は着目画素のノイズ分散上限値、
Kは予め設定された判定係数、
であってもよい。条件式を満たす画素で構成される信号集合の分散値を着目画素のノイズの分散値と見なすことで、より確実にノイズの分散値を算出することができる。
【0014】
また、本発明の一実施形態に係る画像フィルタリング装置において、係数γを算出する係数算出手段をさらに備え、係数算出手段は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して、入力した値から係数γを算出してもよい。フィルタリング前後の画像信号のノイズの分散値を用いることによって、簡易に係数γの適切な値を求めることができる。
【0015】
また、本発明の一実施形態に係る画像フィルタリング装置において、係数算出手段は、
【数4】
JP2013183391A1_000006t.gif
と定義される式により係数γを算出し、
σはフィルタリング前の画像信号のノイズの分散値に基づくノイズ標準偏差、
σはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、
であってもよい。当該定義式を用いることで、より確実に係数γを算出することができる。
【0016】
また、本発明の一実施形態に係る画像フィルタリング方法は、画像信号に対してフィルタリングを行う画像フィルタリング方法であって、画像信号を入力する入力ステップと、入力ステップにおいて入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリングステップと、フィルタリングステップにおいて算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力ステップと、を含む。
【0017】
また、本発明の一実施形態に係る画像フィルタリングプログラムは、画像信号に対してフィルタリングを行う画像フィルタリングプログラムであって、コンピュータを、画像信号を入力する入力手段と、入力手段により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段と、フィルタリング手段によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段、として動作させる。
【0018】
当該画像フィルタリング方法及び画像フィルタリングプログラムは、上述の画像フィルタリング装置と同様な効果を奏することができる。
【発明の効果】
【0019】
本発明の一実施形態によれば、画像信号の信号強度の変化に対応した適切なフィルタリングを行うことができる画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムを提供することができる。
【図面の簡単な説明】
【0020】
【図1】撮像装置におけるノイズ重畳過程を示す図である。
【図2】固定パターンノイズ及び経時ノイズの重畳イメージを示す図である。
【図3】バイラテラルフィルタの特性を示す図である。
【図4】本発明の実施形態に係る画像フィルタリング装置の機能ブロックを示す図である。
【図5】本発明の実施形態に係る画像信号のノイズ測定方法を示す図である。
【図6】ノイズの分散値の測定結果イメージを示す図である。
【図7】本発明の実施形態に係るノイズ特性の上限近似関数σmax(S)及び下限近似関数σmin(S)を示す図である。
【図8】本発明の実施形態に係るノイズの分散値を算出するために用いる画素の決定イメージを示す図である。
【図9】本発明の実施形態に係る係数γの導出に関する図である。
【図10】本発明の実施形態に係るノイズの分散上限値算出処理を示す図である。
【図11】本発明の実施形態に係るフィルタリング処理を示す図である。
【図12】σ毎の入力SNRに対するノイズ低減特性を示す図である。
【図13】各ノイズ分散値推定方法を比較した図である。
【図14】実施例1の実験条件を示す図である。
【図15】実施例1のうち、カラーチャートを用いた場合の実験結果を示すグラフである。
【図16】実施例1のうち、カラーチャートを用いた場合の実験結果を示す図である。
【図17】実施例2における各フィルタリング装置のノイズ低減特性を示す図である。
【図18】実施例2における各フィルタリング装置のノイズ対信号比を示す図である。
【図19】本発明の実施形態に係る画像フィルタリングプログラムの構成を、記録媒体と共に示す図である。
【図20】σ毎の入力SNRに対するノイズ低減特性の測定方法を示す図である。
【発明を実施するための形態】
【0021】
以下、図面と共に本発明の一実施形態に係る画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラムについて詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

【0022】
まず、図1を参照して、撮像装置におけるノイズ重畳過程について説明する。撮像装置1で被写体を撮像すると、入射光がレンズ2、カラーフィルタ3を通過し、イメージセンサーによって光電変換され、アナログ信号となり、A/D変換部4によって画像信号がデジタル化される。該デジタル化される画像信号は、デバイス非依存の色を表す色変換XYZ表色系の信号値としてもよい。XYZ表色系の信号値は、RGB表色系の階調値(R,G,B)に変換行列Mを掛け合わせることにより算出できる。被写体の撮像から画像信号をデジタル化する過程においては、図1に示したように、画像信号に固定パターンノイズ(Fixed Pattern Noise)と経時ノイズ(Temporal Noise)が重畳する。固定パターンノイズは光学系やセンサーを含めた、撮像装置1の分光感度のむらを原因とするノイズである。経時ノイズには暗電流ノイズ、ショットノイズ、量子化ノイズ等がある。暗電流ノイズは抵抗体内の電子の不規則な熱振動によって生じる熱雑音を原因とするノイズである。また、ショットノイズは、フォントや電子の量子的な揺らぎを原因とするノイズである。また、量子化ノイズは、A/D変換部4による画像信号のデジタル化の際に発生するノイズである。固定パターンノイズと経時ノイズを足し合わせたノイズを総合ノイズ(Total Noise)とする。画像信号に対する総合ノイズの重畳は不可避であるため、これらのノイズを低減する手法が求められている。

【0023】
図2は、固定パターンノイズ及び経時ノイズの重畳イメージである。固定パターンノイズに関わる軸は、下軸(X軸)及び左軸(Y軸)である。下軸は画像信号の信号強度S´(画素値、輝度値)を、左軸は画像信号の頻度を総画素数で割った値(PDF(S´)を、それぞれ示している。経時ノイズに関わる軸は、上軸(U軸)及び右軸(R軸)である。上軸は、本来の画像信号強度からの差ΔS´(後述する平均値画像を用いた測定においては、平均値画像と平均値画像作成に使用したそれぞれの画像の信号強度の差分)を、右軸は画像信号の頻度を総画素数で割った値(PDF(ΔS´)を、それぞれ示している。図面中に表したように、点線は固定パターンノイズの影響を受けた信号強度の実測値を、実線は経時パターンノイズの影響を受けた信号強度の実測値を表している。

【0024】
図2に示すように、固定パターンノイズの影響を受けた信号強度の実測値及び経時パターンノイズの影響を受けた信号強度の実測値の双方とも、本来の信号情報を境として、前後同じ程度にばらついた値が画像信号の信号強度として観測されている。これは、固定パターンノイズ及び、経時ノイズである暗電流ノイズ、ショットノイズ、量子化ノイズのいずれも、確率密度関数は正規分布又は正規分布に近似可能な関数で表され、その分散値が信号強度に依存するためである。このことから、画像信号に対する固定パターンノイズ及び経時ノイズの統計的性質はガウス分布(Gaussian)に従う(ガウス分布に近似可能である)。すなわち、重畳する各ノイズはガウス分布に従っていることが分かる。

【0025】
次に、本実施形態に係る画像フィルタリング装置に用いるバイラテラルフィルタについて説明する。図3はバイラテラルフィルタの特性を示す図である。

【0026】
バイラテラルフィルタは、フィルタリング前の画像信号のエッジを保ちながら、平滑化処理を行うものであり、ドメインフィルタとレンジフィルタの2種類の加重平均フィルタで構成されている。バイラテラルフィルタは2種類の加重平均フィルタの加重関数w(ドメインフィルタの加重関数)、w(レンジフィルタの加重関数)で重みを設定する。ドメインフィルタの加重関数wは、着目画素と周囲の画素との距離(座標軸上の類似度)に関する重みであり、距離が近いほど重みを大きく設定する。これは、近距離の画素は相関が高いとの仮定に基づくものである。すなわち、例え信号強度が類似している周囲の画素であっても、画素間の距離が離れている場合には異なる信号源から得られた信号と仮定する。また、レンジフィルタの加重関数wは、着目画素と周囲の画素との信号強度の差(信号強度軸上の類似度)に関する重みであり、信号強度の差が小さいほど重みを大きく設定する。このことにより、エッジ境界部分の画素のように、周囲の画素との間で信号強度の差の絶対値が大きい画素は、平滑化処理にほとんど利用されず、画像のエッジを鈍らせないという効果が得られる。

【0027】
上述したバイラテラルフィルタの特性は図3(a)に示される。グラフの横軸は着目画素の周囲の画素の画素位置pを、グラフの縦軸は信号強度S´を示している。また、図3(a)中では、ドメインフィルタの加重関数wのグラフは画素位置pが「8」である場合に重みを最も重くしており、レンジフィルタの加重関数wのグラフは信号強度が「150」である場合に重みを最も重くしている。これは、着目画素の画素位置が「8」であり、信号強度が「150」であることによるものである。

【0028】
図3(a)に示したバイラテラルフィルタは、下記式に示される。
【数5】
JP2013183391A1_000007t.gif
´()はフィルタリング後の信号強度、S´()はフィルタリング前の信号強度、cは着目画素の画素位置、pは着目画素の前記周囲の画素の画素位置、Ωは前記周囲の画素が位置する領域(着目画素を中心としたH×W画素の局所領域(H、Wは予め設定された自然数))、σは着目画素からの距離に応じた重みづけを行う際のパラメータ(ドメインフィルタ分散値)、σは着目画素の信号強度との差に応じた重みづけを行う際のパラメータ(レンジフィルタ分散値)をそれぞれ表している。

【0029】
バイラテラルフィルタは、周囲の画素が位置する領域(着目画素を中心としたH×W画素の局所領域)Ω、着目画素からの距離に応じた重みづけを行う際のパラメータ(ドメインフィルタ分散値)σ、着目画素の信号強度の差に応じた重みづけを行う際のパラメータσがノイズ低減を左右するパラメータである。過剰なノイズ低減や不十分なノイズ低減によるノイズ成分の残留は、画像信号へのノイズ重畳量に対してパラメータ設定が不適切な場合に起こる。

【0030】
図3(a)では、横軸として周囲の画素の画素位置pを、縦軸として信号強度S´を用いたが、横軸に着目画素と周囲の画素の画素位置の差p-cを、縦軸として着目画素と周囲の画素の信号強度の差δS´を用いた場合には、バイラテラルフィルタの特性は図3(b)に示されるようになる。着目画素と同一の画素位置(p-c=0)であり、着目画素と同一の信号強度(δS´=0)である場合に、ドメインフィルタの加重関数w及びレンジフィルタの加重関数wの重みが最も重くなっている。

【0031】
図3(b)に示したバイラテラルフィルタは下記式に示される。
【数6】
JP2013183391A1_000008t.gif
なお、バイラテラルフィルタの特性については、非特許文献1に記載がある。

【0032】
次に、本発明の実施形態に係る画像フィルタリング装置10の機能について説明する。図4は、本発明の実施形態に係る画像フィルタリング装置10の機能ブロックを示す図である。例えば、画像フィルタリング装置10は、図1に示したA/D変換部4によりデジタル化された画像信号に対して、フィルタリングを行うものである。図4に示すように、本実施形態に係る画像フィルタリング装置10は、入力部11と、出力部12と、フィルタリング部13と、ノイズ分散上限値算出部14と、算出画素決定部15と、ノイズ分散推定部16と、係数算出部17とを備えて構成される。画像フィルタリング装置10のフィルタとしては、例えばバイラテラルフィルタやノンローカルミーンフィルタ(Non-local Means Filter)をベースとしたフィルタを用いることができる。画像フィルタリング装置10は、例えばCPU、メモリ等のハードウェアを備えるコンピュータにより実現される。画像フィルタリング装置10は、撮像装置1に搭載されている。

【0033】
また、入力画像信号のSNRは、20log10(Si・bar´/σ)で、出力画像信号のSNRは、20log10(So・bar´/σ)で、それぞれ表すことができる。ここで、Si・bar´はフィルタリング前の信号強度の平均値、So・bar´はフィルタリング後の信号強度の平均値、σはフィルタリング前の(入力信号の)画像信号のノイズの分散値に基づくノイズ標準偏差、σはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差、をそれぞれ表している。入力画像信号のSNR及び出力画像信号のSNRは、画像信号毎や画素毎等で求めることができる。Si・bar´及びSo・bar´は、画像信号毎に算出する場合には画像信号全体の画素の信号強度を平均したものとなり、画素毎に算出する場合には画素毎の信号強度となり、カラーチャートの各カラーカードナンバー(画像中の同一の色の範囲)毎に算出する場合には各カラーカードナンバー毎の信号強度を平均したものとなる。σ及びσは、画像信号毎や画素毎等で求めることができる。σ及びσを画像信号毎で算出する場合には、例えば、後述する、フィルタリング前後における画像信号に含まれる各着目画素毎のノイズの分散値であるノイズ分散値σtotalの平方根であるノイズ標準偏差σtotalを平均したものがσ及びσとなる。σ及びσを画素毎で算出する場合には、例えば、後述する、フィルタリング前後における画像信号に含まれる各着目画素毎のノイズ標準偏差σtotalが、各画素のσ及びσとなる。σ及びσをカラーチャートの各カラーカードナンバー毎で算出する場合には、例えば、後述する、フィルタリング前後における各カラーカードナンバー毎で画像信号に含まれる各着目画素毎のノイズ標準偏差σtotalを平均したものがσ及びσとなる。なお、ノイズ分散値σtotal及びノイズ標準偏差σtotalは、後述するノイズ分散上限値算出部14によって複数毎の画像から算出でき、また、後述するノイズ分散推定部16によって一枚の画像から算出することができる。

【0034】
入力部11は、A/D変換部4によりデジタル化された画像信号を入力する入力手段である。入力部11が入力する画像信号は、フィルタリング前の信号強度の画素で構成されている。入力部11が入力した画像信号は、フィルタリング部13に入力される。

【0035】
出力部12は、フィルタリング部13によって算出されたフィルタリング後の信号強度の画素で構成される画像信号を出力する出力手段である。

【0036】
フィルタリング部13は、入力部11により入力された画像信号に対して、画像信号中のノイズ除去及びエッジの強調などを行うための演算を施し(フィルタリングを行い)、フィルタリング後の信号強度を算出するフィルタリング手段である。フィルタリング部13によりフィルタリングが行われた画像信号は出力部12に入力される。

【0037】
フィルタリング部13は、入力部11により入力された画像信号を構成する画素のうち着目画素の信号強度と該着目画素の周囲の画素の信号強度との差に重みづけを行い、重みづけを行った着目画素の信号強度と該着目画素の周囲の画素の信号強度との差を足しあわせた値に設定された係数γを掛け合わせた値と該着目画素の信号強度とを足し合わすことで、該着目画素のフィルタリング後の信号強度を算出するフィルタリング手段である。着目画素とは入力された画像信号に含まれる画素であり、フィルタリング後の信号強度を算出する画素である。周囲の画素とは、着目画素の周囲に位置する画素であり、着目画素の信号強度を算出するために用いる画素である。フィルタリング部13は、入力された画像信号に含まれる全画素を順次着目画素とし、フィルタリング後の信号強度を算出することで、入力された画像信号のフィルタリング後の信号強度を算出する。

【0038】
係数γは重みづけを行った周囲の画素を足し合わせた値に掛け合わせる値であり、予め所定の値を設定してもよいし、後述する係数算出部17により算出してもよい。係数γを掛け合わせることによりフィルタリング後の画像信号のSN比を安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。

【0039】
フィルタリング部13は、上述した重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くする。また、フィルタリング部13は、上述した重みづけを行う際は、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くする。

【0040】
フィルタリング部13は、バイラテラルフィルタを用いて上述したフィルタリングを行う場合には、下記で定義される式によりフィルタリング後の信号強度を算出することができる。
【数7】
JP2013183391A1_000009t.gif
上記式(6)で示した一般的なバイラテラルフィルタの式との相違点は、右辺のフィルタリング前の信号強度S´()を除く部分に係数γを掛け合わせている点である。

【0041】
フィルタリング部13は、ノンローカルミーンフィルタを用いて上述したフィルタリングを行う場合には、下記で定義される式によりフィルタリング後の信号強度を算出することができる。
【数8】
JP2013183391A1_000010t.gif
上記式(7)と同様に右辺のフィルタリング前の信号強度S´()を除く部分に係数γを掛け合わせている。上記式(7)と異なる点は、δV(S´(p))を用いている点である。δV(S´(p))は、例えば画像信号の領域を同一の大きさで格子状に分割した複数領域のうちpを含む領域の信号強度と着目画素の信号強度との差である。すなわち、バイラテラルフィルタの定義式である上記式(7)においては、レンジフィルタの加重関数wは、着目画素と周囲の画素との信号強度の差を各周囲の画素毎に算出して求めていたが、ノンローカルミーンフィルタの定義式である上記式(8)においては、レンジフィルタの加重関数wは、着目画素と周囲の画素との信号強度の差を、周囲の画素が位置する一定領域(画像信号の領域を分割した複数領域のうちpを含む領域)毎に算出して求めている。この場合に、一定領域の信号強度としては、例えば、一定領域に含まれる各画素の信号強度の平均を用いることができる。

【0042】
また、発明者は鋭意研究を重ねる中で、上記式(7)及び上記式(8)において、着目画素の信号強度との差に応じた重みづけを行う際のパラメータ(レンジフィルタ分散値)σとして、各着目画素毎のノイズの分散値であるノイズ分散値σtotalを用いてフィルタリング後の信号強度を算出すると、より安定したフィルタリングを行うことができることを見出した。後述するノイズ分散上限値算出部14、算出画素決定部15、ノイズ分散推定部16によって、各着目画素毎のノイズの分散値であるノイズ分散値σtotalが算出された場合には、フィルタリング部13は、上記式(7)及び上記式(8)において、着目画素の信号強度との差に応じた重みづけを行う際のパラメータ(レンジフィルタ分散値)σとしてノイズ分散値σtotalを用いてフィルタリング後の信号強度を算出する。

【0043】
ノイズ分散上限値算出部14は、同一の対象を撮像した複数の参照用画像信号を入力して、該参照用画像信号を構成する画素に含まれるノイズの、該画素の信号強度に応じた分散値を複数算出し、該ノイズの分散値から、画像信号の画素に含まれる信号強度に応じたノイズの上限値であるノイズ分散上限値を算出するノイズ分散上限値算出手段である。

【0044】
ノイズ分散上限値算出部14によって算出される、複数のノイズの分散値の算出方法の例について、図5により説明する。なお、ノイズの分散値の算出方法については、「“ISO15739 First edition : Photography-Electronic still-picture imaging-Noise measurements”,2003.」(以下、非特許文献2という)に記載がある。図5(a)に示すように、最初に、撮像装置1で同一の対象であるカラーチャートをn枚撮像し、参照用画像とする。カラーチャートとは、色の表、すなわち、色見本を配列した板状の物体であり、色彩再現性をチェックするなど色の比較・測定に用いるものである。また、n枚とは8枚以上であればよく、本実施形態では10枚とする。撮像装置1とカラーチャートの位置関係は固定とする。

【0045】
次に、撮像装置1とカラーチャートの位置関係は同一位置に固定、露光時間も同一として、遮光空間で暗電流画像を10枚撮像し、それぞれの暗電流画像を構成する画素の信号強度の分散値を算出し、それらの平均値σdcを求める。そして、暗電流画像から、暗電流ノイズの平均値を取得し、最初に取得した10枚の参照用画像から暗電流ノイズによって加算されるバイアスを減算し、暗電流補正後の画像を作成する。

【0046】
次に、図5(b)に示すように、暗電流補正後の10枚の画像から、平均値画像を1枚作成する。平均値画像とは、各画素毎の平均信号強度を取得した画像である。次に、図5(c)に示すように、平均値画像と暗電流補正後の10枚の画像とから、それらの差分である、差分画像を10枚作成する。

【0047】
次に、図5(d)に示すように、平均値画像について、M×N画素(M、Nは予め設定された自然数)のエッジを含まない平坦な領域を持つ局所領域を選択し、該局所領域における平均値画像を構成する画素の信号強度の分散値σaveを算出する。M×N画素としては、例えばM=N=21とすることが考えられる。

【0048】
次に、図5(e)に示すように、全ての差分画像について、M×N画素のエッジを含まない平坦な領域を持つ局所領域を選択し、該局所領域における差分画像の信号強度及び分散値を算出する。その後、各差分画像を構成する画素の信号強度の分散値の平均値σdiffを算出する。

【0049】
そして、σave及びσdiffの算出後、下記で定義される式により、図5(f)に示すように、経時ノイズの分散値σtemp、固定パターンノイズの分散値σfp、総合ノイズの分散値σtotalをそれぞれ算出する。
【数9】
JP2013183391A1_000011t.gif

【0050】
図6は、ノイズの分散値の測定結果イメージを示している。図6のグラフの横軸は信号強度S´を、縦軸は各ノイズの分散値を表している。上記式により算出した経時ノイズの分散値σtemp、固定パターンノイズの分散値σfp、総合ノイズの分散値σtotalは、画素位置を特定位置に固定した場合には、図6(a)に示したように、信号強度を変数とした近似式で推定することができる。

【0051】
当該近似式で推定した経時ノイズの分散値σtemp、固定パターンノイズの分散値σfp、総合ノイズの分散値σtotalと、各ノイズの分散値の測定値との一致度合を示す係数として重相関係数Rを用いると、重相関係数Rの決定係数R(決定係数Rは0以上かつ1以下であって、1に近い値であるほど比較対象の一致度が高いことを示す)の値は、図6(a)に示した表のようになる。画像信号を、無彩色であって学習内(近似式を算出するのに用いた画素)のものにした場合及び有彩色で学習外(近似式を算出するのに用いていない画素)のものにした場合のいずれの場合においても、経時ノイズの分散値σtemp、固定パターンノイズの分散値σfp、総合ノイズの分散値σtotalの決定係数Rは1に極めて近い値となる。すなわち、各ノイズの分散値は、近似式による値と実測値とで、高い一致度となる。

【0052】
一方で、画素位置を不特定位置とした場合には、重相関係数Rの決定係数Rの値は、図6(b)に示した表のようになる。画像信号を、カラーチャート24色の不特定位置であって学習外のものにした場合には、画素位置の依存性がない経時ノイズの分散値σtempについての決定係数Rは1に極めて近い値となるものの、画素位置の依存性がある固定パターンノイズの分散値σfpについての決定係数Rは0.7768となり、近似式による値と実測値とで一致度は低いものとなる。総合ノイズの分散値σtotalについても決定係数Rは0.8782となり、近似式による値と実測値とで一致度は低いものとなる。固定パターンノイズの分散値σfp及び総合ノイズの分散値σtotalについての、近似式による値と実測値との乖離が大きいことから、画素位置を不特定位置とした場合には、1つの近似式で経時ノイズの分散値σtemp、固定パターンノイズの分散値σfp、総合ノイズの分散値σtotalを推定することはできないことがわかる。そこで、ノイズの分散値の上下限値を特定(ノイズ特性の上下限近似関数を特定)することで、ノイズの分散値を算出する方法を採用する。

【0053】
上記式(9)にて算出された、経時ノイズの分散値σtemp、固定パターンノイズの分散値σfpはそれぞれパラメータα及びβを用いて下記で定義する式に表すことができる。Si・ave´は平均値画像の信号強度である。
【数10】
JP2013183391A1_000012t.gif

【0054】
そして、ノイズ分散上限値算出部14は、算出したSi・ave´、σdc、及び上記式(9)から算出したσfp、σtempと、上記式(10)より、パラメータα及びパラメータβを得る。パラメータα及びパラメータβは、画素毎やカラーチャートの同一色毎に得ることができる。ノイズ分散上限値算出部14は得られた複数のパラメータα及び複数のパラメータβから、複数のαのうち最大値であるαmax、複数のβのうち最大値であるβmax、複数のβのうち最小値であるβminを選定する。具体的には、ランダムサンプリングした画素に対して、αmaxはmax{α(S´(p))}、βmaxはmax{β(S´(p))}、βminはmin{β(S´(p))}でそれぞれ求められる。αmax及びβmaxからはノイズ特性の上限近似関数σmax(S´)が、βminからはノイズ特性の下限近似関数σmin(S´)が、それぞれ下記で定義する式により算出される。なお、ノイズ特性の下限近似関数σmin(S´)については、後述する算出画素決定部15による着目画素のノイズの分散値を算出するための画素の決定においては、必ずしも必要ではない。
【数11】
JP2013183391A1_000013t.gif

【0055】
図7は、ノイズ特性の上限近似関数σmax(S´)及び下限近似関数σmin(S´)を示している。図7のグラフの横軸は信号強度S´を、縦軸は各ノイズの分散値を表している。ノイズの分散値の上下限が決定するため、各信号強度におけるノイズの分散値σtotalは、当該上下限値の間の値であると推定できる。なお、ノイズ特性の上下限近似関数に関しては、「Y.M.Baek,J.C.Kim,D.C.Cho,J.A.Lee,andW.Y.Kin,“Integrated Noise Modeling For Image Sensor Using Bayer Domain Images”,Computer Vision/Computer Graphics CollaborationTechniques,pp.413-424,2009.」(以下、非特許文献3という)に記載がある。ただし、当該文献には、ノイズ分散の上下限を定義するモデル化の提案はされているものの、各パラメータ(αmax、βmax、βmin)の決定方法は明確に示されていない。また、モデル作成に使用するチャートは、マクベスカラーチャートとすることで、グレイスケールチャートや均一光源面等を用いた場合と比較して、撮影回数の低減を実現した。

【0056】
ここで、当該ノイズの分散値推定方法は、一枚の画像のみを使用して着目画素のノイズ分散値を推定するものである。そのために、局所領域内画素の信号は同一の信号強度(極めて近似する信号強度を含む)である同一信号源を撮像し、事前に取得したノイズ特性の上限内に収まる特性のノイズが重畳していると仮定する。すなわち、ノイズ特性の上限値を用いて同一の信号強度の画素を推定し、ノイズの分散値を推定するものである。

【0057】
算出画素決定部15は、ノイズ分散上限値算出部14が算出したノイズ分散上限値を用いて、入力部11によって入力されたフィルタリング対象の画像信号における周囲の画素が、着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する算出画素決定手段である。

【0058】
算出画素決定部15は、着目画素のノイズ分散上限値を示す上限近似関数σmax(S´)を用いて、周囲の画素の信号強度が、下記で定義される式を満たすか判定し、該周囲の画素が、着目画素のノイズの分散値を算出するために用いることができる画素か否かを判定する。
【数12】
JP2013183391A1_000014t.gif

【0059】
上記式(12)において、Kは予め設定された判定係数(0.5ksigmapoint)であり、判定係数Kとしては、例えば、5を用いる。上記式(12)を満たす周囲の画素は、着目画素と同一の信号強度(極めて近似する信号強度を含む)である同一信号源であると判断され、後述する着目画素のノイズの分散値の算出に用いられる。

【0060】
算出画素決定部15による、ノイズの分散値を算出するために用いる画素の決定イメージを図8に示す。ノイズの分散値を算出するために用いる画素の決定はフィルタリング対象の一枚の画像のみを使用して行われる。図中のcは着目画素を、pは周囲の画素を示す。図8(a)に示すように、中央のマスを着目画素とし、その他のマスを周囲の画素としている。いま、各マスのうち、斜線が描かれているマスは上記式(12)を満たす周囲の画素の位置、白抜きのマスは上記式(12)を満たさない周囲の画素の位置とする。例えば、図8(b)のように、上記式12を満たさない周囲の画素については、着目画素のノイズの分散値を算出するために用いない画素であると判定される。一方で、図8(c)のように、上記式12を満たす周囲の画素については、着目画素のノイズの分散値を算出するために用いることができる画素であると判定される。このように、周囲の画素について、それぞれ判定していき、図8(d)のように、上記式12を満たす周囲の画素で構成された信号集合SΨを導出する。

【0061】
ノイズ分散推定部16は、算出画素決定部15により着目画素のノイズの分散値を算出するために用いることができる画素であると判定された周囲の画素から、着目画素のノイズの分散値σtotal(c)を推定するノイズ分散推定手段である。ノイズ分散推定部16は、図8(d)に示した信号集合SΨに含まれる画素の信号強度の分散値を、着目画素の総合ノイズ分散値σtotal(c)であるとみなす(VAR(SΨ)=σtotal(c))。ノイズ分散推定部16によって算出された着目画素毎のノイズの分散値σtotal(c)は、フィルタリング部13によって、フィルタリング後の信号強度を算出するためのパラメータとして用いられる。具体的には、フィルタリング部13は、上記式(1)又は(2)におけるσとして、ノイズの分散値σtotal(c)を用いてフィルタリング後の信号強度を算出する。なお、画素毎におけるノイズ分散値σtotal(c)を求める方法は、上記方法に限定されず、その他の方法により求めてもよい。

【0062】
係数算出部17は、係数γを算出する係数算出手段である。係数算出部17は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から、係数γを算出する。係数γは、フィルタリング前後の画像信号のノイズの分散値に基づく値である、フィルタリング前後のノイズの標準偏差から求めることができる。ここで、フィルタリングは、例えばフィルタリング装置10によって実施され、上記式(1)又は(2)で定義される式によりフィルタリング後の信号強度が算出される。この場合には、例えば、上記式(1)又は(2)のγ=1として、フィルタリング部13によるフィルタリングが行われる。また、フィルタリング前後のノイズの標準偏差σ及びσとしては、例えば、総合ノイズ標準偏差σtotalを用いることができ、係数γを画像信号毎に算出する場合には、画像信号に含まれる各着目画素のノイズ標準偏差σtotalを平均したものが、σ及びσとなり画像信号毎の係数γが算出される。また、係数γを画素毎に算出する場合には、画像信号に含まれる各着目画素毎のノイズ標準偏差σ及びσが各画素のσ及びσとなり各着目画素毎の係数γが算出される。なお、ノイズ分散値σtotal及びノイズ標準偏差σtotalは、後述するノイズ分散上限値算出部14によって複数毎の画像から算出でき、また、後述するノイズ分散推定部16によって一枚の画像から算出することができる。また、フィルタリング装置10以外のフィルタリング装置でフィルタリングを行い、フィルタリング前後のノイズの標準偏差を求めるものであってもよい。フィルタリング前後のノイズの標準偏差からの係数γの算出は、具体的には、下記で定義する式によって行われる。
【数13】
JP2013183391A1_000015t.gif

【0063】
上記式(13)において、σはフィルタリング前の(入力信号の)画像信号のノイズの分散値に基づくノイズ標準偏差、(フィルタリング前の画像信号の総合ノイズ標準偏差σtotal)を、σはフィルタリング後の画像信号のノイズの分散値に基づく残留ノイズ標準偏差(フィルタリング後の画像信号の総合ノイズ標準偏差σtotal)をそれぞれ表している。

【0064】
上記式(13)は以下のように導かれる。分散値の算出式より、以下の式が成り立つ。
【数14】
JP2013183391A1_000016t.gif
trueは信号強度の真値、Sinはフィルタリング前の着目画素の信号強度、Soutはフィルタリング後の着目画素の信号強度である。

【0065】
上記式(14)に誤差係数(error factor)εを導入すると、以下の式が成り立つ。
【数15】
JP2013183391A1_000017t.gif

【0066】
さらに、上記式(15)より、以下の式が成り立つ。
【数16】
JP2013183391A1_000018t.gif

【0067】
さらに上記式(16)及び上記式(6)と、
【数17】
JP2013183391A1_000019t.gif
の関係をもとに、以下の式が成り立つ。
【数18】
JP2013183391A1_000020t.gif

【0068】
また、グラフの横軸にσr/σ、縦軸にσt/σをとった場合の係数γは図9に示すようになる。ノイズ分散推定部16により推定されたノイズの分散値は、実際に測定される値σを精度よく推定することができるため、σの値をノイズ分散推定部16により推定されたノイズの分散値とすることで、σ≒σiとなり、係数γの値を固定値とすることができる。なお、すべての画素について動的に係数γを求め使用することも可能である。

【0069】
引き続いて、図10及び図11のフローチャートを用いて、本発明の実施形態に係る画像フィルタリング装置10の、ノイズの分散上限値算出処理及びフィルタリング処理を説明する。図10は、本発明の実施形態に係る画像フィルタリング装置10によるノイズの分散上限値算出処理を示すフローチャートである。本処理のS101~S103は、撮像素子温度やシャッタースピード等の撮影条件が同じ場合であれば、一度行われればよく、一度行った後に撮像装置1で被写体を撮像する際には行われない処理である。撮像装置素子温度やシャッタースピード等の撮影条件が変わった場合には、再度、S101~S103の処理が行われる。

【0070】
まず、同一の対象を撮像した複数の参照用画像が、入力部11より入力される(S101)。当該参照用画像から、平均値画像及び差分画像を作成し、それぞれの信号強度及び分散値を算出することで、ノイズ分散上限値算出部14によって、信号強度に応じたノイズの分散値が複数算出される(S102)。

【0071】
そして、算出された信号強度に応じたノイズの分散値から、ノイズ分散上限値算出部14によって、ノイズ特性の上限近似関数σmax(S´)、及び下限近似関数σmin(S´)が算出され、信号強度に応じたノイズ分散上限値(及び下限値)が算出される(S103)。

【0072】
図11は、本発明の実施形態に係るフィルタリング処理を示すフローチャートである。撮像装置1によって被写体が撮像されると、入力部11により画像信号が入力される(S104、入力ステップ)。そして、着目画素のノイズ分散上限値を示す上限近似関数σmaxに基づき、算出画素決定部15によって各着目画素のノイズの分散値を算出するための周囲の画素が決定される(S105)。

【0073】
次に、算出画素決定部15が決定したノイズの分散値を算出するための周囲の画素を用いて、ノイズ分散推定部16によって、各着目画素のノイズの分散値σtotal(c)が算出される(S106)。

【0074】
次に、算出された各着目画素のノイズの分散値σtotal(c)を用いて、フィルタリングが実施される(S107)。この場合には、暫定的に、上記式(1)又は(2)のγ=1としてフィルタリングが実施される。正係数算出部17によってフィルタリング前後のノイズの分散値が算出され、上記式(13)より、係数γが算出される(S108)。

【0075】
そして、S106においてノイズ分散推定部16に算出された各着目画素のノイズの分散値σtotal(c)及び、S108において係数算出部17に算出された係数γを用いて、フィルタリング部13によって、再度画像信号のフィルタリングが実施される(S109、フィルタリングステップ)。

【0076】
S109における画像信号のフィルタリング処理が完了すると、出力部12により、フィルタリング部13によって算出されたフィルタリング後の信号強度の画素で構成される画像信号が出力される(S110、出力ステップ)。

【0077】
次に、本実施形態に係る画像フィルタリング装置10の作用・効果について説明する。

【0078】
この画像フィルタリング装置10では、着目画素のフィルタリング後の信号強度として、着目画素と該着目画素の周囲の画素との信号強度の差に重みづけを行ったものを足し合わせた値に係数γを掛け合わせた値に、着目画素のフィルタリング前の信号強度を足し合わせた値を算出している。係数γを掛け合わせることにより、画像信号にかかわらず、出力のSNRを安定した値とすることができることは、本発明者が鋭意研究を重ねる中で見出した知見である。

【0079】
以上より、本発明の一実施形態によれば、入力する画像信号に依存しない安定的なフィルタリングを行うことができる画像フィルタリング装置10を提供することができる。また、本画像フィルタリング装置10によれば、デバイスの種類に関係なく、ノイズ低減に優れた平滑化手法を提供することができる。

【0080】
また、本実施形態に係る画像フィルタリング装置10において、フィルタリング部13は、重みづけを行う際は、周囲の画素の画素位置と着目画素の画素位置との距離が近いほど重みづけを重くし、周囲の画素の信号強度と着目画素の信号強度との差が小さい程重みづけを重くすることで、ノイズを除去しながら、エッジやテクスチャ等の本来の信号情報を保持することができる。

【0081】
また、本実施形態に係る画像フィルタリング装置10において、フィルタリング部13は、上記式(1)で定義される式によりフィルタリング後の信号強度を算出することで、バイラテラルフィルタをもとにして確実に本発明の一実施形態を実施することができる。

【0082】
また、本実施形態に係る画像フィルタリング装置10において、フィルタリング部13は、上記式(2)で定義される式によりフィルタリング後の信号強度を算出することで、ノンローカルミーンフィルタをもとにして確実に本発明の一実施形態を実施することができる。

【0083】
また、本実施形態に係る画像フィルタリング装置10において、ノイズ分散上限値算出部14と、算出画素決定部15と、ノイズ分散推定部16と、をさらに備え、フィルタリング部13は、σとしてノイズ分散値σtotal(c)を用いてフィルタリング後の信号強度を算出することで、フィルタリングによる信号強度の算出において、画素毎のノイズ分散値σtotal(c)をレンジフィルタの加重関数に反映させることができ、より出力のSNRの値が小さくなることを防止できる。

【0084】
σ毎の入力SNRに対するノイズ低減特性を調べるために、図20(a)に示すように、入力画像であるCGチャートにノイズ発生器により、任意のノイズ特性(ノイズ標準偏差がσ。ノイズのパラメータは標準偏差σを変えて重畳可能)のノイズを重畳したものを、n枚評価画像として作成した。そして、図20(b)に示すように、ドメインフィルタ分散値σ及び局所領域Ωは固定値とし、レンジフィルタ分散値σは可変(任意値)とし、フィルタリングを行い、図20(c)に示すように、それぞれの画素について、ノイズ低減特性を算出する。図20(a)~図20(c)に示す処理は、ノイズ低減特性の解析が十分に行われるまで繰り返され、σの値を変更して処理を行う場合には図20(a)~図20(c)の処理が繰り返され、σの値を変更して処理を行う場合には図20(b)~図20(c)の処理が繰り返される。また、ドメインフィルタ分散値σ及び局所領域Ωを変えて同様の処理を行えば、σ/σ、σ/σ、σ、Ωの4パラメータで構成される4次元空間上でノイズ低減特性が表される。なお、σ及びσの測定方法は、非特許文献2に記載がある。

【0085】
画素毎のノイズ分散値σtotal(c)を用いてフィルタリングを行った場合の効果については、図12(σ毎の入力SNRに対するノイズ低減特性を示す図)により確認することができる。なお、この際の当該フィルタリング処理は、画像フィルタリング装置10に用いるフィルタのパラメータとして、着目画素を中心とした局所領域Ωは21×21画素のサイズに固定し、ドメインフィルタ分散値σは固定値9とし、レンジフィルタ分散値σは可変とした。また、使用するフィルタはバイラテラルフィルタ等をベースとするものである。また、対象ノイズ(フィルタリング装置10によるフィルタリング対象となる画像信号に含まれるノイズであって、測定又は算出するもの)はガウス分布に従うノイズとした。また、CGチャートを入力画像信号とした。なお、フィルタのパラメータは上述したものに限定されるものではなく、必要に応じて変更することが可能である。

【0086】
図12はσ毎の入力SNRに対するノイズ低減特性を示す図である。グラフの横軸が入力画像信号のSNRであり、縦軸が出力画像信号のSNRである。グラフ中で実線で示された線は、フィルタリング処理を行わなかった場合の出力のSNRを表している。着目画素の信号強度との差に応じた重みづけを行う際のパラメータ(レンジフィルタ分散値)としてσを用いた場合には、σの値を比較的小さく(13.4)した場合には、入力のSNRを大きくした場合に、出力のSNRが未処理の場合と同等となっており、適切にフィルタリングが行えていないことがわかる。また、σの値を比較的大きく(158.7)した場合にも、入力のSNRを大きくした場合に出力のSNRが低減(ノイズ低減量が減衰)しており、適切なフィルタリングが行えていないことがわかる。一方で、σとしてノイズ分散値σtotalを用いた場合には、入力のSNRに対してSNR利得が一定であり、安定的に出力のSNRを得ることができていることがわかる。すなわち、レンジフィルタ分散値σに入力画像信号のノイズ分散値σtotalを用いることで、入力画像信号のSNR(信号強度やノイズ特性)に依存しないロバストなノイズ低減が可能となる。

【0087】
また、本実施形態に係る画像フィルタリング装置10において、算出画素決定部は、上記式(3)で定義される式を満たす場合に、周囲の画素が着目画素のノイズの分散値を算出するために用いることができる画素であると判定することで、一枚の画像から着目画素のノイズの分散値を算出することを可能とする。

【0088】
なお、本実施形態に係る方法以外の方法でノイズの分散値を算出することもでき、他の方法としてはSNE(ショットノイズ分散値推定)やAFE(関数近似)などがあるが、図13に示すように、本実施形態に係る方法を採用することによって、総合ノイズの分散値を高い精度で推定することができる。図13のグラフにおいて、横軸はノイズの分散値σtotalの測定値、縦軸はノイズの分散値σtotalの推定値である。なお、ノイズの分散値推定手法については、「H. Talbot, H. Phelippeau, M. Akil, and S. Bara, “Efficient Poisson denoising for photography,”Image Processing (ICIP),2009 16th IEEE International Conference on, pp.3881-3884, 2009.」(以下、非特許文献4という)に記載がある。

【0089】
また、本実施形態に係る画像フィルタリング装置10において、係数γを算出する係数算出部17をさらに備え、係数算出部17は、フィルタリング前後の画像信号のノイズの分散値に基づく値を入力して入力した値から係数γを算出することで、簡易に係数γの適切な値を求めることができる。

【0090】
また、本実施形態に係る画像フィルタリング装置10において、係数算出部17は、上記式(4)で定義される式により係数γを算出することで、より確実に係数γを算出することができる。あるいは係数γは、画像フィルタリング装置10のユーザにより予め設定された値でもよい。この場合、係数γは、例えば、経験的に得られた望ましい値とすることができる。

【0091】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。

【0092】
例えば、画像フィルタリング装置10は撮像装置1に搭載されているものとしたが、必ずしもこれに限定されるものではなく、画像フィルタリング装置10は撮像装置1に搭載されているものでなくてもよい。例えば、画像フィルタリング装置10が別体として構成され、撮像装置1と接続されるように構成されていてもよい。

【0093】
また、画像フィルタリング装置10のレンジフィルタ分散値σは可変としたが、これに限定さえず、予め設定された固定値としてもよい。

【0094】
また、係数γは、レンジフィルタ分散値σとしてノイズの分散値σtotalを用いたフィルタリング前後のノイズの分散値を測定して算出することとしたが、これに限定されるものではなく、例えば、ノイズの分散値σtotalを用いないフィルタでフィルタリングを行ってもよい。また、カラーチャートに基づく評価画像にノイズを重畳させた画像を複数毎作成し、フィルタリング前後の画素ノイズ分散値を測定した上で係数γを求めてもよい。

【0095】
また、画像フィルタリング装置10は、ガウス分布以外のノイズ特性に従うノイズにもwの重み付け関数を対象となるノイズ特性の確率密度関数に変更することで応用でき、例えば医療画像(磁気共鳴画像、超音波画像)やTOF画像等のノイズ低減にも応用可能である。

【0096】
また、画像フィルタリング装置10は、カメラ、ディスプレイ、CPU等を備えるタブレットPC等の表示画像のノイズ低減に用いることもでき、画像の質感を向上させることができる。

【0097】
また、画像フィルタリング装置10における信号強度に対する重みづけの考え方を、他のフィルタに展開することが可能である。

【0098】
また、画像フィルタリング装置10を備えたXYZカメラでは、色変換に由来するランダムノイズの顕著化にも対応することができる。

【0099】
また、画像信号以外の信号処理に対しても、画像フィルタリング装置10で用いたフィルタを適用することが可能である。

【0100】
以下、本発明の実施例について説明する。なお、本発明はこれらの実施例に限定されるものではない。

【0101】
[実施例1]
実施例1は、種々のフィルタリング装置毎のフィルタリング効果を比較するものである。比較対象となるフィルタリング装置は、上記式(1)によりフィルタリングを行うフィルタリング装置であって係数γ=1.0とするNABF、上記式(1)によりフィルタリングを行うフィルタリング装置であって係数γ=2.2とするCNABF、非特許文献1に記載されたフィルタリング装置であるDBF、非特許文献4に記載されたフィルタリング装置であるSNABF、の四種類である。NABF及びCNABFは、σとしてノイズ分散値σtotal(c)を用いてフィルタリングを行っているが、DBF及びSNABFではノイズ分散値σtotal(c)を用いていない。また、画像信号をフィルタリングする範囲は21×21画素の範囲であり、着目画素からの距離に応じた重みづけを行う際のパラメータ(ドメインフィルタ分散値)σ=9とする。

【0102】
図14に示すように、カラーチャート、花の写真、ピーマンの写真の画像信号について、各フィルタリング装置でフィルタリング処理を行う。なお、このようなフィルタリング処理に関しての実験については、非特許文献1及び非特許文献4に記載がある。なお、撮像装置1として、XYZ表色系で画像信号の取出しが可能な、XYZ静止画カメラ(「Y.Shimodaira, H.Suzuki, M.Kretkowski, “New Imaging and Display System for Wide Gamut Color Reproduction,” IEEE-IAS 2007 Annual Meeting, 33P5, New Orleans, Louisiana, USA(2007.9.23-27)」(以下、非特許文献5という)に記載あり)を用いる。

【0103】
図15に、カラーチャートの各カラーカードナンバー(1~23)の画像信号についてフィルタリング処理を行った結果を示している。なお、カラーカードナンバーは数が大きいほど信号強度が強い画像信号である。各カラーカードナンバーの固定パターンノイズ、経時ノイズ、総合ノイズの分散値の算出結果は図15(a)に示すようになった。また、各カラーカードナンバー毎の出力画像信号のSNRは、図15(b)に示すようになった。図15(b)から明らかなように、係数γ=2.2としたCNABFは、いずれのカラーカードナンバーにおいても、出力画像信号のSNRを高い値で維持することができた。各カラーカードナンバーにおける出力画像信号のSNRの平均(ΔSNR)は、それぞれ、NABFが5.03、CNABFが12.68、DBFが6.17、SNABFが3.62となった。

【0104】
また、図15(c)に示すように、色差についても、各カラーカードナンバーについて、係数γ=2.2としたCNABFが最も低い値となった。各カラーカードナンバーにおける色差の平均(dE76(1.30))は、それぞれ、NABFが0.70、CNABFが0.26、DBFが0.58、SNABFが0.82となった。色差は、計測器が持つ誤差として0.30程度が見込まれるところ、CNABFでは当該計測器が持つ誤差と同程度の色差となった。

【0105】
また、図16(a)に示すカラーチャートの2か所(範囲X及び範囲Y)についてフィルタリング処理を行った画像を図16(b)(範囲Xの画像)、図16(c)(範囲Yの画像)に示す。図16(b)、図16(c)ともに、最上部の画像はフィルタリング前の画像である。図16(b)からは、CNABFによりフィルタリングを行った画像が、各フィルタリング装置の画像のうちで最もなめらかであることがわかる。また、図16(c)からは、画像の明るさが鋭敏に変化しているエッジ部分について、CNABFが最も強調できていることがわかる。

【0106】
また、花の写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号のSNRの平均(ΔSNR)は、それぞれ、NABFが0.99、CNABFが1.70、DBFが1.09、SNABFが0.74となった。花の写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号の色差の平均(dE76(1.61))は、それぞれ、NABFが1.43、CNABFが1.30、DBFが1.31、SNABFが1.46となった。

【0107】
また、ピーマンの写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号のSNRの平均(ΔSNR)は、それぞれ、NABFが1.84、CNABFが3.60、DBFが2.13、SNABFが1.07となった。ピーマンの写真について各フィルタリング装置でフィルタリング処理を行った出力画像信号の色差の平均(dE76(1.33))は、それぞれ、NABFが1.03、CNABFが0.78、DBFが0.85、SNABFが1.10となった。

【0108】
以上より、カラーチャート及び花、ピーマンの写真について、出力画像信号のSNR及び色差の値を調べると、係数γ=2.2としたCNABFが最も良い値となることがわかった。

【0109】
[実施例2]
実施例2は、カラーチャートに基づく評価画像を10枚作成し、σtotalを用いてかつ係数γ=1.0とするNABF、σtotalを用いてかつ係数γ=2.2とするCNABF、σtotalではなく固定値σ(σr1=0.5Smax、σr2=0.125Smax)を用いた2つのフィルタリング装置、の計四種類のフィルタリング装置で、画像信号に対してノイズ低減を実施し、処理後の画像信号に対し、処理前の画像信号に対するSNR利得を求めた。なお、各フィルタリング装置の共通条件として、着目画素を中心とした局所領域は21×21画素のサイズに固定し、ドメインフィルタ分散値σは固定値9とした。また、Smaxとは画像が取りうる最大階調値であり、例えば、本実施例では14bitの出力の撮像装置1を用いているため、Smax =(2^14)-1=16383となる。

【0110】
図17は、実施例2における各フィルタリング装置(係数γ=1.0とするNABFを除く)のノイズ低減特性を示す図である。評価画像の結果について、横軸に入力画像信号のSNR、縦軸にSNR利得としてプロットしたものである。図17より、係数γ=2.2とするCNABFは利得が12db以上であるのに対して、固定値σ(σr1=0.5Smax、σr2=0.125Smax)を用いた場合は利得が減衰している。また、図18に実施例2における各フィルタリング装置のノイズ対信号比を示す。図18(a)は信号真値、図18(b)~(e)は未処理のノイズ画像信号と各フィルタリング適用後のノイズ対信号比である。図18(b)、(c)に示されるNABF、CNABFの結果より、NABF及びCNABFは、エッジを保存したままノイズの低減を実現していることがわかった。また、係数γの使用によりノイズの低減効果が上昇していることが図18(b)、(c)の比較から確認された。一方、図18(d)、(e)は、信号強度が弱い部分では過剰にノイズの低減が行われ、平坦化されている。また、信号強度が強くなるに従って残留ノイズ成分が増えていくことが確認された。

【0111】
以上より、係数γ及びσtotalを用いることによって、適切にノイズ低減が行われることがわかった。なお、ノイズの確立密度関数が正規分布で表されるためレンジフィルタの加重関数はノイズの確立密度関数と等しいところ、着目画素と局所領域内画素の信号強度差は画素ごとのノイズ分散値に適応的な重みづけが行われるため、NABF、CNABFでは入力画像信号のSNR変動にロバストなノイズ低減を行うことができた。

【0112】
引き続いて、上述した画像フィルタリング装置10の機能を用いた処理を、コンピュータに実行させるための文字入力プログラムを説明する。図19に示すように、画像フィルタリングプログラム100は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える記録媒体50に形成されたプログラム格納領域51内に格納される。

【0113】
画像フィルタリングプログラム100は、画像フィルタリング処理を統括的に制御するメインモジュール101と、入力モジュール102と、出力モジュール103と、フィルタリングモジュール104と、ノイズ分散上限値算出モジュール105と、算出画素決定モジュール106と、ノイズ分散推定モジュール107と、係数算出モジュール108とを実行させることにより実現される機能は、上述した画像フィルタリング装置10の入力部11と、出力部12と、フィルタリング部13と、ノイズ分散上限値算出部14と、算出画素決定部15と、ノイズ分散推定部16と、係数算出部17と、の機能とそれぞれ同様である。

【0114】
なお、画像フィルタリングプログラム100は、その一部もしくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。また、画像フィルタリングプログラム100の各モジュールは、1つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムによって上述した一連の画像フィルタリングプログラム100の各種パラメータを決定する処理が行われる。
【符号の説明】
【0115】
1…撮像装置、2…レンズ、3…カラーフィルタ、4…A/D変換部、10…画像フィルタリング装置、11…入力部、12…出力部、13…フィルタリング部、14…ノイズ分散上限値算出部、15…算出画素決定部、16…ノイズ分散推定部、17…係数算出部、50…記録媒体、51…プログラム格納部、100…画像フィルタリングプログラム、101…メインモジュール、102…入力モジュール、103…出力モジュール、104…フィルタリングモジュール、105…ノイズ分散上限値算出モジュール、106…算出画素決定モジュール、107…ノイズ分散推定モジュール、108…係数算出モジュール。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図6】
4
【図7】
5
【図8】
6
【図9】
7
【図10】
8
【図11】
9
【図12】
10
【図13】
11
【図15】
12
【図17】
13
【図19】
14
【図5】
15
【図14】
16
【図16】
17
【図18】
18
【図20】
19