TOP > 国内特許検索 > 画像処理装置、画像処理方法、および、プログラム > 明細書

明細書 :画像処理装置、画像処理方法、および、プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5599520号 (P5599520)
登録日 平成26年8月22日(2014.8.22)
発行日 平成26年10月1日(2014.10.1)
発明の名称または考案の名称 画像処理装置、画像処理方法、および、プログラム
国際特許分類 G06T   5/20        (2006.01)
FI G06T 5/20 B
請求項の数または発明の数 33
全頁数 67
出願番号 特願2013-541095 (P2013-541095)
出願日 平成25年5月13日(2013.5.13)
国際出願番号 PCT/JP2013/063871
国際公開番号 WO2013/172471
国際公開日 平成25年11月21日(2013.11.21)
優先権出願番号 2012110949
優先日 平成24年5月14日(2012.5.14)
優先権主張国 日本国(JP)
審査請求日 平成25年9月6日(2013.9.6)
特許権者または実用新案権者 【識別番号】503360115
【氏名又は名称】独立行政法人科学技術振興機構
発明者または考案者 【氏名】新井 仁之
【氏名】新井 しのぶ
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100089118、【弁理士】、【氏名又は名称】酒井 宏明
審査官 【審査官】新井 則和
参考文献・文献 特開平10-098628(JP,A)
特開2003-248824(JP,A)
新井 仁之,“単純かざぐるまフレームレット(時間周波数解析の手法と理工学的応用)”,数理解析研究所講究録[online],日本,2010年 4月,第1684巻,p.63-67,URL,http://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/141429/1/1684-05.pdf
新井仁之,視覚の科学と数学 ウェーブレットで探る錯視の世界,数理科学 第46巻 第8号,日本,株式会社サイエンス社,2008年 8月 1日,第46巻 第8号,頁64~69
新井仁之,視覚の科学と数学 ウェーブレットで探る錯視の世界 第3回,数理科学 第46巻 第10号,日本,株式会社サイエンス社,2008年10月 1日,第46巻 第10号,頁63~68
調査した分野 G06T 1/00-7/60
特許請求の範囲 【請求項1】
記憶部と制御部を少なくとも備えた画像処理装置であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)を記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部は、
上記画像データに対して、広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)による多重解像度分解を行い、サブバンド信号を取得する分解手段と、
上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得手段と、
を備え、
上記分解手段は、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理手段を更に備えたこと
を特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
上記処理手段は、
上記分解フェーズにおける上記サブバンド信号に対して、線形または非線形の係数処理を行うこと
を特徴とする画像処理装置。
【請求項3】
請求項1または2に記載の画像処理装置において、
上記処理手段は、
上記分解フェーズにおける上記サブバンド信号に対して、閾値処理を行うこと
を特徴とする画像処理装置。
【請求項4】
請求項1または2に記載の画像処理装置において、
上記処理手段は、
上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うこと
を特徴とする画像処理装置。
【請求項5】
請求項1乃至4のいずれか一つに記載の画像処理装置において、
上記処理手段は、
複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記フィルタの少なくとも一つに対応する上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させること
を特徴とする画像処理装置。
【請求項6】
請求項5に記載の画像処理装置において、
上記所定の周波数特性は、
上記広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)の各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、上記多重解像度分解におけるレベルにより指定されること
を特徴とする画像処理装置。
【請求項7】
請求項1乃至6のいずれか一つに記載の画像処理装置において、
上記処理手段は、
複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させること
を特徴とする画像処理装置。
【請求項8】
請求項1乃至6のいずれか一つに記載の画像処理装置において、
上記処理手段は、
複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させることに加えて、偶型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に減衰させてもよいこと
を特徴とする画像処理装置。
【請求項9】
請求項1乃至8のいずれか一つに記載の画像処理装置において、
上記処理手段は、
上記分解フェーズから出力される分解詳細係数および/または分解近似係数に対して処理を行うことにより、上記分解フェーズにおける上記サブバンド信号を減衰または増幅させること
を特徴とする画像処理装置。
【請求項10】
記憶部と制御部を少なくとも備えた画像処理装置であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部は、
上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、
上記分解手段により取得された各色成分の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成手段と、
を備え、
上記分解手段は、
上記多重解像度分解における分解フェーズと上記合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理手段を更に備えたこと
を特徴とする画像処理装置。
【請求項11】
請求項10に記載の画像処理装置において、
上記色成分は、
CIELAB色空間における、L*、a*、および、b*、または人の視覚に近い色空間の各色成分であること
を特徴とする画像処理装置。
【請求項12】
請求項11に記載の画像処理装置において、
上記係数処理手段は、
上記画像データのa*および/またはb*の色成分について、a*および/またはb*の上記分解詳細係数とL*における上記分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上記エネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した上記係数処理を行うこと
を特徴とする画像処理装置。
【請求項13】
請求項10乃至12のいずれか一つに記載の画像処理装置において、
上記係数処理手段は、
上記分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、自動的に連続的な変化をする関数を用いて、上記係数処理を行うこと
を特徴とする画像処理装置。
【請求項14】
請求項10乃至13のいずれか一つに記載の画像処理装置において、
上記係数処理手段は、
上記分解フェーズと上記合成フェーズの間において、上記分解詳細係数を正規化し、正規化された上記分解詳細係数である正規化分解詳細係数のノルムを上記エネルギーとして、当該正規化分解詳細係数に対して上記係数処理を行い、係数処理された上記正規化分解詳細係数に対して上記正規化の逆演算を行うこと
を特徴とする画像処理装置。
【請求項15】
請求項10乃至14のいずれか一つに記載の画像処理装置において、
上記係数処理手段は、
上記分解詳細係数の符号の違いによって別個の処理を行ってもよいこと
を特徴とする画像処理装置。
【請求項16】
請求項10乃至15のいずれか一つに記載の画像処理装置において、
上記分解手段は、
上記方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンク、または、上記方位性が多方向の広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いて、上記多重解像度分解を行うこと
を特徴とする画像処理装置。
【請求項17】
請求項10乃至16のいずれか一つに記載の画像処理装置において、
上記分解手段による上記多重解像度分解は、
最大重複多重解像度分解、最大間引き多重解像度分解、または、一部間引き一部重複多重解像度分解であること
を特徴とする画像処理装置。
【請求項18】
請求項10乃至17のいずれか一つに記載の画像処理装置において、
上記制御部は、
上記画像データ記憶手段に記憶された上記画像データと上記再構成画像データとの対比結果を出力する出力手段、
を更に備えることを特徴とする画像処理装置
【請求項19】
請求項10乃至18のいずれか一つに記載の画像処理装置において、
上記画像データ記憶手段に記憶された上記画像データは、
色の対比錯視画像データであることを特徴とする画像処理装置
【請求項20】
記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)を記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において実行される、
上記画像データに対して、広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)による多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
上記分解ステップにて取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、
を含み、
上記分解ステップは、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に含むこと
を特徴とする画像処理方法。
【請求項21】
記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において実行される、
上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
上記分解ステップにて取得された各色成分の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、
を含み、
上記分解ステップは、
上記多重解像度分解における分解フェーズと上記合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを更に含むこと
を特徴とする画像処理方法。
【請求項22】
請求項21に記載の画像処理方法において、
上記制御部において実行される、
上記画像データ記憶手段に記憶された上記画像データと上記再構成画像データとの対比結果を出力する出力ステップ、
を更に含むことを特徴とする画像処理方法。
【請求項23】
請求項21または22に記載の画像処理方法において、
上記画像データ記憶手段に記憶された上記画像データは、
色の対比錯視画像データであることを特徴とする画像処理方法
【請求項24】
記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)を記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において、
上記画像データに対して、広義かざぐるまフレームレット(ただし、単純かざぐるまフレームレットを除く)による多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
上記分解ステップにて取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、
を実行させるためのプログラムであって、
上記分解ステップにおいて、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを
更に実行させるためのプログラム。
【請求項25】
記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において、
上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
上記分解ステップにて取得された各色成分の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、
を実行させるためのプログラムであって、
上記分解ステップにおいて、
上記多重解像度分解における分解フェーズと上記合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを
更に実行させるためのプログラム。
【請求項26】
請求項25に記載のプログラムにおいて、
上記制御部において、更に、
上記画像データ記憶手段に記憶された上記画像データと上記再構成画像データとの対比結果を出力する出力ステップ、
を実行させるためのプログラム。
【請求項27】
請求項25または26に記載のプログラムにおいて、
上記画像データ記憶手段に記憶された上記画像データは、
色の対比錯視画像データであることを特徴とするプログラム
【請求項28】
記憶部と制御部を少なくとも備えた画像処理装置であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部は、
上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、
上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得手段と、
を備え、
上記分解手段は、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理手段を更に備え、
上記処理手段は、
上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うこと
を特徴とする画像処理装置
【請求項29】
記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において実行される、
上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと
上記分解ステップにて取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、
を含み、
上記分解ステップは、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に含み
上記処理ステップは、
上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うこと
を特徴とする画像処理方法。
【請求項30】
記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において、
上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと
上記分解ステップにて取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、
を実行させるためのプログラムであって、
上記分解ステップにおいて、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを
更に実行させるためのプログラムであって、
上記処理ステップは、
上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うこと
を特徴とするプログラム。
【請求項31】
記憶部と制御部を少なくとも備えた画像処理装置であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部は、
上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、
上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データを取得する処理画像取得手段と、
を備え、
上記分解手段は、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理手段を更に備えたこ
を特徴とする画像処理装置。
【請求項32】
記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において実行される、
上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと
上記分解ステップにて取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データを取得する処理画像取得ステップと、
を含み、
上記分解ステップは、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に含むこと
を特徴とする画像処理方法。
【請求項33】
記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、
上記記憶部は、
方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
画像データを記憶する画像データ記憶手段と、
を備え、
上記制御部において、
上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと
上記分解ステップにて取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データを取得する処理画像取得ステップと、
を実行させるためのプログラムであって、
上記分解ステップにおいて、
上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを
更に実行させるためのプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体に関する。
【背景技術】
【0002】
従来、原画像に対してシャープネス(画像鮮鋭化)やエッジ検出等の画像処理を行う方法が開発されている。
【0003】
例えば、非特許文献1に記載のプログラム製品では、画像の鮮鋭化を行うために、エッジの明るい側のピクセルを検出してさらに明るくし、エッジの暗い側のピクセルを検出してさらに暗くするように局所的なコントラスト制御を行うことが開示されている。
【0004】
また、非特許文献2に記載の方法では、ヒトの初期視覚情報処理の数理モデルとして、最大重複双直交ウェーブレットフィルタ・バンクを用いて、グレースケールの原画像に対して非線形処理を行うことが開示されている。
【0005】
また、従来、エッジ検出の方法として、単純なフィルタリングの方法やウェーブレットを用いた方法がよく知られている(非特許文献6,7参照)。
【先行技術文献】
【0006】

【非特許文献1】Adobe Systems Incorporated、“Photoshopのヘルプ&サポート/高度なシャープ化手法”、[online]、2006年4月6日作成、[平成24年5月9日検索]、インターネット<URL:http://www.adobe.com/jp/designcenter/photoshop/articles/phscs2at_advsharpen.html>
【非特許文献2】Hitoshi Arai,“A Nonlinear Model of Visual Information Processing Based on Discrete Maximal Overlap Wavelets”,Interdisciplinary Information Sciences,Vol.11,No.2,pp.177~190(2005).
【非特許文献3】Hitoshi Arai and Shinobu Arai,2D tight framelets with orientation selectivity suggested by vision science,JSIAM Letters Vol.1,pp.9~12(2009).
【非特許文献4】Hitoshi Arai and Shinobu Arai,Finite discrete,shift-invariant,directional filterbanks for visual information processing,I:construction,Interdisciplinary Information Sciences,Vol.13,No.2,pp.255~273(2007).
【非特許文献5】E.N.Johnson,M.J.Hawken and R.Shapley,The spatial transformation of color in the primary visual cortex of the macaque monkey,Nature Neuroscience,Vol.4,No.4,pp.409~416(2001).
【非特許文献6】P.J.Van Fleet,Discrete Wavelet Transformations,Wiley,2008.
【非特許文献7】R.C.Gonzalez and R.E.Woods,Digital Image Processing,3rd Ed.,Pearson International Edition,2008.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来の画像処理方法においては、自然な画像鮮鋭化や多様なエッジ検出を行うことが難しいという問題点を有していた。
【0008】
例えば、非特許文献1に記載のプログラム製品においては、一律にエッジ部分の輝度を上下させるため、コントラストが十分な箇所についても白黒に近くなるまで極度にコントラストが高くなり不自然になるという問題点を有していた。また、非特許文献2に記載の方法では、白黒画像について錯視分析の一環として行われたものでありカラー画像の鮮鋭化について応用することができないという問題点を有していた。
【0009】
また、非特許文献6,7等の従来のエッジ検出方法では、周波数分解能や方位選択性に乏しく、目的に応じた多様なエッジを検出することが難しいという問題点を有していた。
【0010】
本発明は、上記問題点に鑑みてなされたもので、自然な画像鮮鋭化や様々なエッジの検出など、多様な画像処理を行うことができる、画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0011】
このような目的を達成するため、本発明の画像処理装置は、記憶部と制御部を少なくとも備えた画像処理装置であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部は、上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得手段と、を備え、上記分解手段は、上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理手段を更に備えたことを特徴とする。
【0012】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズにおける上記サブバンド信号に対して、線形または非線形の係数処理を行うことを特徴とする。
【0013】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズにおける上記サブバンド信号に対して、閾値処理を行うことを特徴とする。
【0014】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うことを特徴とする。
【0015】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記フィルタの少なくとも一つに対応する上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させることを特徴とする。
【0016】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記所定の周波数特性は、上記広義かざぐるまフレームレットまたは上記かざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、上記多重解像度分解におけるレベルにより指定されることを特徴とする。
【0017】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させることを特徴とする。
【0018】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を増幅させることに加えて、偶型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に減衰させてもよいことを特徴とする。
【0019】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズから出力される分解詳細係数および/または分解近似係数に対して処理を行うことにより、上記分解フェーズにおける上記サブバンド信号を減衰または増幅させることを特徴とする。
【0020】
また、本発明の画像処理方法は、記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において実行される、上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、を含み、上記分解ステップは、上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に含むことを特徴とする。
【0021】
また、本発明のプログラムは、記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において、上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、を実行させるためのプログラムであって、上記分解ステップにおいて、上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に実行させることを特徴とする。
【0022】
また、本願発明者は、鋭意検討の結果、以下のように考えることで本発明を完成させた。すなわち、ヒトの視覚は、見たい部分をよく見ることができるような情報処理を本来行っている。ヒトは、さまざまな錯視を知覚するが、それは視覚情報処理の結果であると考えられる。ここで、もしも数理モデルがヒトの視覚情報処理に近いものであれば、数理モデルを実装した計算機も錯視を算出するはずである。そこで、本願発明者は、明暗の錯視や色の対比錯視をシミュレーションできた数理モデルを用いることにより、ヒトの視覚に近い情報処理を原画像に対して施して、見たい部分のみを鮮鋭化することができることを確認して、本願発明を完成させるに至った。
【0023】
すなわち、本発明の画像処理装置は、記憶部と制御部を少なくとも備えた画像処理装置であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部は、上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、上記分解手段により取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成手段と、を備え、上記分解手段は、上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理手段を更に備えたことを特徴とする。
【0024】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記色成分は、CIELAB色空間における、L、a、および、b、または、人の視覚に近い色空間の各色成分であることを特徴とする。
【0025】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記画像データのaおよび/またはbの色成分について、aおよび/またはbの上記分解詳細係数とLにおける分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上記エネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した上記係数処理を行うことを特徴とする。
【0026】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、自動的に連続的な変化をする関数を用いて、上記係数処理を行うことを特徴とする。
【0027】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記分解フェーズと上記合成フェーズの間において、上記分解詳細係数を正規化し、正規化された上記分解詳細係数である正規化分解詳細係数のノルムを上記エネルギーとして、当該正規化分解詳細係数に対して上記係数処理を行い、係数処理された上記正規化分解詳細係数に対して上記正規化の逆演算を行うことを特徴とする。
【0028】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記分解詳細係数の符号の違いによって別個の処理を行ってもよいことを特徴とする。
【0029】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記分解手段は、上記方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンク、または、上記方位性が多方向の広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いて、上記多重解像度分解を行うことを特徴とする。
【0030】
また、本発明の画像処理装置は、上記記載の画像処理装置において、上記分解手段による上記多重解像度分解は、最大重複多重解像度分解、最大間引き多重解像度分解、または、一部間引き一部重複多重解像度分解であることを特徴とする。
【0031】
また、本発明は画像処理方法に関し、本発明の画像処理方法は、記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において実行される、上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解ステップにて取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、を含み、上記分解ステップは、上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを更に含むことを特徴とする。
【0032】
また、本発明はプログラムに関し、本発明のプログラムは、記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において、上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解ステップにて取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、を実行させるためのプログラムであって、上記分解ステップは、上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを更に含むことを特徴とする。
【0033】
また、本発明は記録媒体に関するものであり、上記記載のプログラムを記録したことを特徴とする。
【0034】
また、本発明は、処理画像が印刷された印刷媒体であって、上記処理画像は、原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、所定の上記成分が、減衰または増幅されていることを特徴とする。
【0035】
また、本発明は、処理画像を表示するための画像データを記録したコンピュータ読み取り可能な記録媒体であって、上記処理画像は、原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、所定の上記成分が、減衰または増幅されていることを特徴とする。
【発明の効果】
【0036】
本発明によれば、画像データに対して、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得し、多重解像度分解の分解フェーズにおけるサブバンド信号による処理画像データ、または、多重解像度分解の合成フェーズにおけるサブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する際に、フィルタの少なくとも一つに対応する、多重解像度分解の分解フェーズにおけるサブバンド信号を、減衰または増幅させる処理を行う。これにより、本発明は、自然な画像鮮鋭化や様々なエッジの検出など、多種多様な画像処理を行うことができるという効果を奏する。広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームは、多重解像度分解ができ、多様な周波数選択性を持ち、多様な方位選択性を持つので、目的に応じた方位のエッジの検出や、目的に応じた周波数成分の抽出など、多様な画像処理を実行することが可能となる。
【0037】
また、本発明によれば、上記分解フェーズにおけるサブバンド信号に対して、線形または非線形の係数処理を行うので、分解フェーズから出力される分解詳細係数や分解近似係数に対して、線形関数や非線形関数を適用する等により、係数値に応じた画像処理結果を得ることができるという効果を奏する。
【0038】
また、本発明によれば、上記分解フェーズにおけるサブバンド信号に対して、閾値処理を行うので、閾値以下の微小な変動を除去または減衰して効果的にノイズ除去を行うことができるという効果を奏する。
【0039】
また、本発明によれば、上記分解フェーズにおけるサブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うので、ヒトの視覚情報処理に近い数理モデルを使うことによって、ヒトの感覚に近い自然な画像鮮鋭化を施すことができるという効果を奏する。
【0040】
また、本発明によれば、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつフィルタの少なくとも一つに対応する分解フェーズにおけるサブバンド信号を、減衰または増幅させるので、目的の周波数成分や目的の方位成分を増減した多様な画像処理結果を得ることができるという効果を奏する。
【0041】
また、本発明によれば、上記所定の周波数特性は、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより指定されるので、多様な周波数特性を指定することが可能となるという効果を奏する。
【0042】
また、本発明によれば、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させるので、合成フェーズを介さずに、そのまま出力することにより、立体感のあるエッジの検出等が可能となるという効果を奏する。
【0043】
また、本発明によれば、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させることに加えて、上記複数のフィルタのうち、偶型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に減衰させてもよいので、より効果的な立体感のあるエッジ検出等が可能になるという効果を奏する。
【0044】
また、本発明によれば、上記分解フェーズから出力される分解詳細係数および/または分解近似係数に対して係数処理を行うことにより、分解フェーズにおけるサブバンド信号を減衰または増幅させるので、係数値に応じた係数処理を実行することで多様な画像処理結果を得ることができるという効果を奏する。
【0045】
また、この発明によれば、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクと、画像データとを記憶し、画像データの各色成分に対して、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得し、各色成分の合成フェーズにおけるサブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する場合に、多重解像度分解における分解フェーズと合成フェーズとの間において、分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う。これにより、本発明は、カラー画像に対して自然な画像鮮鋭化を行うことができる、という効果を奏する。より具体的には、本発明は、ヒトの視覚情報処理に近い数理モデルを使うことによって、ヒトの感覚に近い自然な画像鮮鋭化をカラー画像に施すことができる。
【0046】
また、本発明によれば、上記色成分として、CIELAB色空間における、L、a、および、b、または人の視覚に近い色空間の各色成分を用いる。これにより、本発明はヒトの感覚に近い自然な画像処理を行うことができる、という効果を奏する。
【0047】
また、本発明によれば、上記画像データのaおよび/またはbの色成分について、aおよび/またはbの上記分解詳細係数とLにおける上記分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上記エネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した上記係数処理を行う。これにより、輝度の効果と色の効果を協働させたヒトの視知覚にとって自然な鮮鋭化を行うことができる、という効果を奏する。
【0048】
また、本発明によれば、上記分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、自動的に連続的な変化をする関数を用いて、上記係数処理を行う。これにより、本発明は、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強する係数処理を、S字曲線からN字曲線に連続的に変化する関数を使った演算を用いて好適に実行することができる、という効果を奏する。より具体的には、周囲の刺激が大きい場合には分解詳細係数のばらつきを大きくし、周囲の刺激が小さい場合には分解詳細係数のばらつきを小さくする関数を用いることで、周囲の刺激が大きい場合には小さな刺激が弱められ、周囲の刺激が小さい場合には小さな刺激でも意識されるようになるので、画像ごとに適切な鮮鋭化を自動的にすることができる。
【0049】
また、本発明によれば、上記分解フェーズと上記合成フェーズの間において、上記詳細分解係数を正規化し、正規化された上記分解詳細係数である正規化分解詳細係数のノルムを上記エネルギーとして、当該正規化分解詳細係数に対して上記係数処理を行い、係数処理された上記正規化分解詳細係数に対して上記正規化の逆演算を行う。これにより、本発明は、正規化により関数処理やエネルギー計算等において係数を扱い易くすることができる、という効果を奏する。
【0050】
また、本発明によれば、上記分解詳細係数の符号の違いによって別個の処理を行ってもよいので、よりヒトの視覚に近い自然な鮮鋭化を行ったり、逆にヒトの視覚を補うような自然な鮮鋭化を行うなど、細やかな鮮鋭化ができる、という効果を奏する。
【0051】
また、本発明によれば、上記方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンク、または、上記方位性が多方向の広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いて、上記多重解像度分解を行う。これにより、本発明は、双直交ウェーブレットフィルタ・バンクを用いて簡易な計算を行ったり、広義かざぐるまフレームレットあるいはかざぐるまウェーブレット・フレームを用いて精密な計算を行ったりすることができる、という効果を奏する。
【0052】
また、本発明によれば、上記多重解像度分解は、最大重複多重解像度分解、最大間引き多重解像度分解、または、一部間引き一部重複多重解像度分解であるので、好適な多重解像度分解を行って分解詳細係数を取得することができ、さらに高周波成分だけでなく、低周波成分も多重解像度的に処理されるので、単にエッジだけが強調される鮮鋭化ではなく、自然な鮮鋭化ができるという効果を奏する。
【0053】
また、本発明は、処理画像を表示するための画像データを記録したコンピュータ読み取り可能な記録媒体または処理画像が印刷された印刷媒体であって、原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、所定の成分が、減衰または増幅されているので、任意の原画像において、自然な画像鮮鋭化や様々なエッジの検出など、多様な画像処理を施した処理画像を提示することができる。
【図面の簡単な説明】
【0054】
【図1】図1は、本実施の形態が適用される本画像処理装置の構成の一例を示すブロック図である。
【図2】図2は、次数5のレベル3の最大重複かざぐるまフレームレット・フィルタに次数5のレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積して得られるフィルタを示す図である。
【図3】図3は、次数7のレベル2(高周波数側)の最大重複かざぐるまフレームレット・フィルタにレベル1の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示す図である。
【図4】図4は、次数7のレベル3(低周波数側)の最大重複かざぐるまフレームレット・フィルタにレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示す図である。
【図5】図5は、次数7、レベルkのかざぐるまフレームレットにおいて、近似部分をa(1)で表し、詳細部分をd(1)~d(99)の記号(番号)で表した図である。
【図6】図6は、本実施の形態における画像処理装置100の基本処理の一例を示すフローチャートである。
【図7】図7は、最大重複多重解像度分解のフィルタ・バンクの一例を示す図である。
【図8】図8は、最大重複多重解像度分解のフィルタ・バンクの一例を示す図である。
【図9】図9は、本実施の形態における画像処理装置100のカラー画像鮮鋭化処理の一例を示すフローチャートである。
【図10】図10は、最大重複多重解像度分解の分解フェーズおよび合成フェーズのフィルタ・バンクの一例を示す図である。
【図11】図11は、正規化を伴う分解詳細係数の係数処理の一例を示すフローチャートである。
【図12】図12は、原画像(512×512画素)と、本実施の形態による鮮鋭化画像と、従来手法による鮮鋭化画像を対比して示す図である。
【図13】図13は、図12の各写真において、左から400画素目の列のLの値を示すグラフである。
【図14】図14は、図12の各写真において、左から400画素目の列のaの値を示すグラフである。
【図15】図15は、図12の各写真において、左から400画素目の列のbの値を示すグラフである。
【図16】図16は、色の対比錯視画像の一例を示す図である。
【図17】図17は、図16にある原画像の内側四角部分(原画像AとBで共通)と、原画像Aの画像処理結果である処理画像Aの内側四角部分と、原画像Bの画像処理結果である処理画像Bの内側四角部分とを示す図である。
【図18】図18は、色の対比錯視画像の他の例を示す図である。
【図19】図19は、図18にある原画像の内側四角部分(原画像CとDで共通)と、原画像Cの画像処理結果である処理画像Cの内側四角部分と、原画像Dの画像処理結果である処理画像Dの内側四角部分とを示す図である。
【図20】図20は、色の対比錯視画像の他の例を示す図である。
【図21】図21は、図20にある原画像の内側四角部分(原画像EとFで共通)と、原画像Eの画像処理結果である処理画像Eの内側四角部分と、原画像Fの画像処理結果である処理画像Fの内側四角部分とを示す図である。
【図22】図22は、本実施例で用いたハードスレッシュホールドを説明するためのグラフである。
【図23】図23は、本実施例で用いたノイズを入れる前の原画像である。
【図24】図24は、図23にある原画像にガウス型白色ノイズを加えたノイズ画像を示す図である。
【図25】図25は、従来のウェーブレットによるノイズ除去方法にウェーブレットとしてシムレット4を用いた処理画像である。
【図26】図26は、図25の一部拡大図である。
【図27】図27は、本実施の形態によって5次のかざぐるまフレームレットを用いて得られた処理画像である。
【図28】図28は、図27の一部拡大図である。
【図29】図29は、本実施の形態によって7次のかざぐるまフレームレットを用いてフィルタごとに閾値を変えた場合に得られた処理画像である。
【図30】図30は、図29の一部拡大図である。
【図31】図31は、レベル2で閾値処理を行う詳細係数を斜線にて示した図である。
【図32】図32は、本実施の形態によって7次のかざぐるまフレームレットを用いてレベル1からレベル2の高周波部分まで閾値処理をした処理画像である。
【図33】図33は、図32の一部拡大図である。
【図34】図34は、本実施例でエッジ検出のために用いた原画像を示す図である。
【図35】図35は、7次のかざぐるまフレームレットのレベル1における重み付け係数を示す図である。
【図36】図36は、7次のかざぐるまフレームレットのレベル2における重み付け係数を示す図である。
【図37】図37は、エッジ検出例1により得られた処理画像を打ち切りした画像を示す図である。
【図38】図38は、t=1で二値化した処理画像を示す図である。
【図39】図39は、7次のかざぐるまフレームレットのレベル1における重み付け係数を示す図である。
【図40】図40は、7次のかざぐるまフレームレットのレベル2における重み付け係数を示す図である。
【図41】図41は、エッジ検出例2による打ち切り処理画像を示す図である。
【図42】図42は、エッジ検出例2による二値化処理画像を示す図である。
【図43】図43は、打ち切り処理をして15倍にした処理画像を原画像に加えた画像を示す図である。
【図44】図44は、次数5のかざぐるまフレームレットの分解フェーズにおける52個のサブバンド信号の番号を示す図である。
【図45】図45は、ノイズ除去の結果得られた処理画像について、2値化の方法(t=0.37)で表示した画像を示す図である。
【図46】図46は、処理画像を打ち切りの方法(m1=0, m2=1)により表示した画像を示す図である。
【図47】図47は、7次のかざぐるまフレームレットのレベル1における重み付け係数を示す図である。
【図48】図48は、7次のかざぐるまフレームレットのレベル2における重み付け係数を示す図である。
【図49】図49は、m1=-4、m2=0の打ち切りを行った処理画像を示す図である。
【図50】図50は、m1=-2、m2=0の打ち切りを行った処理画像を示す図である。
【図51】図51は、m1=-6、m2=0の打ち切りを行った処理画像を示す図である。
【図52】図52は、m1=0、m2=255で打ち切り処理をした結果を示す図である。
【図53】図53は、原画像を示す図である。
【図54】図54は、立体感のある特徴抽出を行った結果を示す図である。
【図55】図55は、立体感のある特徴抽出を行った出力画像に対し、階調を反転して表示した画像を示す図である。
【図56】図56は、次数7のレベル2の最大重複かざぐるまフレームレット・フィルタ(maximal overlap pinwheel framelet filters at level 2)にレベル1の最大重複かざぐるまフレームレットの近似フィルタを循環相関積して得たフィルタを示す図である。
【図57】図57は、テスト画像に対し、次数7のかざぐるまフレームレットによりレベル2の最大重複多重解像度分解(2nd stage of maximal overlap MRA decomposition by pinwheel framelet)を行った結果の各合成サブバンド信号を示す図である。
【発明を実施するための形態】
【0055】
以下に、本発明にかかる画像処理装置、画像処理方法、および、プログラム、並びに、印刷媒体、および、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、本実施の形態による画像処理の例として、カラー画像の画像鮮鋭化や、ノイズ除去、エッジ検出等の用途に用いた例について説明することがあるが、本発明はこれに限られず、シャープネス、輪郭強調、コントラスト調整、色補正、特徴抽出、パターン認識、クレーター錯視自動生成など様々な目的のために本発明を適用してもよいものである。

【0056】
[画像処理装置の構成]
次に、本画像処理装置の構成について図1を参照して説明する。図1は、本実施の形態が適用される本画像処理装置の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。

【0057】
図1において画像処理装置100は、概略的に、制御部102と通信制御インターフェース部104と入出力制御インターフェース部108と記憶部106を備える。ここで、制御部102は、画像処理装置100の全体を統括的に制御するCPU等である。入出力制御インターフェース部108は、入力装置112や出力装置114に接続されるインターフェースである。また、記憶部106は、各種のデータベースやテーブルなどを格納する装置である。これら画像処理装置100の各部は任意の通信路を介して通信可能に接続されている。

【0058】
記憶部106に格納される各種のファイル(フレームレットファイル106aおよび画像データファイル106b)は、固定ディスク装置等のストレージ手段である。例えば、記憶部106は、各種処理に用いる各種のプログラム、テーブル、ファイル、データベース、および、ウェブページ等を格納する。

【0059】
これら記憶部106の各構成要素のうち、フレームレットファイル106aは、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段である。なお、本実施の形態において、「ウェーブレット」とは、古典的なウェーブレットや、狭義のウェーブレット等に限られず、広義のウェーブレットをも含む。例えば、ウェーブレットは、有限長波形、もしくは、0から増幅して速やかに0に収束するような振幅を伴う波様の振動であり、一例として、ガボール・フィルタや、カーブレットのようなウェーブレット擬きを含む。

【0060】
ここで、本実施の形態では、多様な周波数特性や方位性を有する、コンパクトな台をもつ微分可能な関数として表現することができるFIRフィルタとして、かざぐるまフレームレット(pinwheel framelet)(後述する項目[かざぐるまフレームレット]参照)を用いる場合があるが、これに限られず、例えば、単純かざぐるまフレームレット(simple pinwheel framelet)(非特許文献3参照)や、かざぐるまフレームレットの定義式(例えば、項目[かざぐるまフレームレット]にて後述する、式Fk,l(θ,θ)または式Fk,l(θ,θ))を構成する項の係数、および/または、指数を変更して得られるフレームレット、単純かざぐるまフレームレットのフィルタの周波数応答関数を構成する項([非特許文献3])の係数を変更して得られるフレームレット等を用いてもよい。これら、および(上述した狭義の)かざぐるまフレームレットを総称して広義かざぐるまフレームレットと呼ぶ。ここで、「広義かざぐるまフレームレット」は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合であって、次数を有するフィルタ・バンクである。換言すると、かざぐるまフレームレット、[非特許文献3]で導入した単純かざぐるまフレームレット、および、それらのフレームレットのフィルタに修正を加えたものを「広義かざぐるまフレームレット」という。広義かざぐるまフレームレットは、方位選択性のある2次元フレームレットである。また、広義かざぐるまフレームレットは、多重解像度分解ができ、多様な方位選択性をもち、有限長のフィルタからなるフィルタ・バンクであるという性質がある。なお、かざぐるまフレームレットは単純かざぐるまフレームレットよりも、よりヒトの脳内での視覚情報処理の特性を反映するという点で、優れた機能をもつ別のものであり、構成の方法も大きく異なるものである。

【0061】
また、本実施形態では、かざぐるまウェーブレット・フレーム(pinwheel wavelet frame)(非特許文献4参照)を用いてもよい。

【0062】
一例として、かざぐるまフレームレットは、ヒトの視覚皮質の単純細胞による情報処理を数理モデル化したものである。この分解は、ヒトの脳内で単純細胞により分解される信号の数理的なモデルである。かざぐるまフレームレットには、次数があり、次数は3以上の奇数で、次数が大きくなるほど、それだけ多くの方位を検出できるゆえ、多様なフィルタ作成が可能となる。なお、その分、フィルタの枚数は多くなり、計算時間も増すという性質がある。また、一例として、次数nのかざぐるまフレームレットのフィルタ数は、(n+1)+(n-1)となる。このうち、一つのフィルタが、近似フィルタであり、残りのフィルタが詳細フィルタである。ここで、図2は、次数5のレベル3の最大重複かざぐるまフレームレット・フィルタに次数5のレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積して得られるフィルタである(循環相関積について、例えば、新井仁之著「線形代数 基礎と応用」株式会社日本評論社(2006年)を参照)。なお、かざぐるまフレームレットは、単純かざぐるまフレームレットに比べて、神経科学的に、より大脳皮質V1野の単純細胞に近いモデルになっている。

【0063】
このかざぐるまフレームレットは、次数5であるので、たとえば図2に示すように、各レベルについて左側の6×6個のフィルタと、右側の4×4個のフィルタを合わせて、合計で52枚のフィルタの集合からなっている。このうち、図の中央上部の黒い矩形で囲んだ1枚が、レベル1からレベル3までの近似フィルタの循環相関積により得られるフィルタであり、その他の51枚が、レベル3の詳細フィルタにレベル1から2までの近似フィルタを循環相関積して得られるフィルタである。詳細フィルタから作られる上記フィルタの方位性は、近似フィルタのみから作られるフィルタを中心として、およそ風車の回転する向きに並べている。なお、後に詳述するように、各次数のかざぐるまフレームレットによる最大重複多重解像度分解には、レベルがあり、レベル1はもっとも細かい部分(高周波部分)を検出する。図2は、レベル3のかざぐるまフレームレットであり、レベル2、3・・・と大きくなるにつれ、大まかな部分(低周波部分)が検出される。なお、フレームレットファイル106aは、かざぐるまフレームレット等の方位選択性ウェーブレット・フレームを、関数の形式(フレームレット・フィルタの周波数応答関数等)で記憶してもよい。関数の具体例については後述する。

【0064】
なお、上記に限られず、本実施の形態において様々なウェーブレットを用いてもよい。ただし、本実施の形態において、多様な周波数成分や方位成分を増減させるため、好適には、多様な周波数特性や方位性を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いる。ここで、ウェーブレットは、古典的なウェーブレットや、狭義のウェーブレット等に限られず、広義のウェーブレットをも含む。例えば、ウェーブレットは、有限長波形、もしくは、0から増幅して速やかに0に収束するような振幅を伴う波様の振動であり、一例として、ガボール・フィルタや、カーブレットのようなウェーブレット擬きを含む。また、フレームレットファイル106aは、方位選択性ウェーブレット・フレームのようなフレームに限らず、方位選択性フィルタ・バンク等のフィルタ群や方位性のあるフィルタを記憶してもよい。各方位性のあるフィルタは、一例として、各方位性をもった複数の詳細フィルタであり、例えば、サブバンド信号等の成分がフィルタにより抽出される。なお、かざぐるまウェーブレット・フレームは、構成するフィルタの長さが原画像の画素数に応じて変化するのに対して、広義かざぐるまフレームレットは、フィルタの長さが画素数に関係しない、という性質がある。例えば、かざぐるまフレームレットは、方位選択性のある2次元フレームレットであり、ウェーブレット・フレームの一種である。また、方位性が多方向のかざぐるまフレームレットに限らず、方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンクを用いてもよい。

【0065】
また、画像データファイル106bは、画像データを記憶する画像データ記憶手段である。ここで、画像データファイル106bに記憶される画像データは、予め各色成分ごとに色調や階調値等が記述された画像データであってもよく、本実施の形態で扱われる色成分によって記述されていない画像データであってもよい。なお、後者の場合には、後述する色空間変換部102fによって、所望の色空間に変換され、各色成分に分解される。また、画像データファイル106bに記憶される画像データは、入力装置112を介して入力された画像データでもよく、外部システム200等からネットワーク300を介して受信した画像データでもよい。また、画像データは、カラー画像のイメージデータであってもよく、グレースケールのイメージデータであってもよい。なお、かざぐるまフレームレット等の方位選択性ウェーブレット・フレームにより多重解像度分解される前の元の画像(データ)を原画像(データ)と呼び、サブバンド信号に基づき再構成された後の画像(データ)を再構成画像(データ)と呼ぶ。また、多重解像度分解の分解フェーズにおけるサブバンド信号に処理を加えたものによる画像(データ)、または、多重解像度分解の合成フェーズにおけるサブバンド信号を足し合わせることにより再構成した画像(データ)を、処理画像(データ)と呼ぶ。すなわち、後者の処理画像(データ)は、再構成画像(データ)の一形態であるが、前者の処理画像(データ)は、再構成画像(データ)ではない。両者の区別を明確にするために、以下、前者の処理画像(データ)を「係数出力処理画像(データ)」と呼び、後者の処理画像(データ)を、「再構成処理画像(データ)」と呼ぶ場合がある。ここで、画像データファイル106bは、目的の原画像の画像データと同一の画像サイズ(画素数)の単位インパルス信号を画像データとして記憶してもよい。なお、画像データファイル106bに記憶された単位インパルス信号は、画像データとして同様にフレームレットファイル106aに記憶されたフィルタ・バンクに入力され、出力された単位インパルス応答は、目的の原画像の画像データを高速計算するために用いられる。なお、画像データは、例えば、ラスタ形式またはベクタ形式の二次元画像データ等である。また、画像は、一例として、デザイン(意匠)、写真、文字等を表す、任意の画像であってもよい。また、画像は、静止画像に限らず、動画像(映像)であってもよい。

【0066】
再び図1に戻り、入出力制御インターフェース部108は、入力装置112や出力装置114の制御を行う。ここで、出力装置114としては、モニタ(家庭用テレビを含む)等の表示装置や、プリンタ等の印刷装置等を用いることができる。また、入力装置112としては、カメラ等の撮像装置、外部記憶媒体に接続される入力装置等の他、キーボード、マウス、およびマイク等を用いることができる。

【0067】
また、図1において、制御部102は、OS(Operating System)等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部102は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部102は、機能概念的に、分解部102a、処理画像取得部102c、色空間変換部102f、および、処理画像出力部102gを備える。なお、分解部102aは、更に係数処理部102bを備える。また、処理画像取得部102cは、更に再構成部102dを備える。

【0068】
このうち、分解部102aは、画像データに対して、フレームレットファイル106aに記憶された、広義かざぐるまフレームレット等の方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解手段である。ここで、サブバンド信号には、多重解像度分解の分解フェーズにおけるサブバンド信号と、多重解像度分解の合成フェーズにおけるサブバンド信号と、の2種類がある。両者の区別を明確にするために、以下、分解フェーズにおけるサブバンド信号を「分解サブバンド信号」と呼び、合成フェーズにおけるサブバンド信号を「合成サブバンド信号」と呼ぶ場合がある。ここで、「多重解像度分解」は、最大重複多重解像度分解、最大間引き多重解像度分解、および、一部間引き一部重複多重解像度分解を含む(最大重複多重解像度分解について、例えば、新井仁之著「ウェーブレット」共立出版株式会社(2010年)参照)。なお、分解部102aにより多重解像度分解を計算する際に、循環相関積、循環畳み込み積が使われるが、それらは高速フーリエ変換を用いる公知の高速計算方法により計算してもよい。上述のように、かざぐるまフレームレット等の方位選択性ウェーブレット・フレームによる多重解像度分解には、レベルがある。ここで、図3および図4は、かざぐるまフレームレットのレベルによる違いを示すための図であり、図3は、レベル2(高周波数側)の最大重複かざぐるまフレームレット・フィルタにレベル1の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示し、図4は、レベル3(低周波数側)の最大重複フレームレット・フィルタにレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示している。なお、いずれも次数は7であるので、(7+1)+(7-1)=100個のフィルタがある。

【0069】
一例として、分解部102aは、まず、レベル1のかざぐるまフレームレットによる最大重複多重解像度分解により、もっとも細かい部分(高周波部分)を検出し、レベル2,3・・と大きくなるにつれ、大まかな部分(低周波部分)を検出する。

【0070】
かざぐるまフレームレットによる多重解像度分解には、分解フェーズと合成フェーズがある。各フェーズは、近似フィルタと詳細フィルタからなるフィルタ・バンクにより構成されている。分解部102aは、分解フェーズおよび合成フェーズにおける画像処理を実行後、最終的に、原画像データを「フィルタ数×レベル」個の画像信号(すなわち、合成サブバンド信号)に分解する。

【0071】
例えば、次数7のかざぐるまフレームレットによるレベル5の最大重複多重解像度分解の場合、あるレベルk(k=1から5)のサブバンド信号には、1枚の近似フィルタに対応する1つの近似部分と、99枚の詳細フィルタに対応する99個の詳細部分がある。ここで、図5は、次数7、レベルkのかざぐるまフレームレットにおいて、近似部分をa(1)で表し、詳細部分をd(1)~d(99)の記号(番号)で表した図である。なお、記号(番号)の位置は、図3(k=2)または図4(k=3)における各フィルタの位置と対応づけられている。すなわち、a(1)およびd(1)~d(99)は、図3または図4における対応する位置のフィルタから取得されたサブバンド信号を表している。

【0072】
ここで、分解部102aの係数処理部102bは、複数のフィルタの少なくとも一つに対応する、多重解像度分解の分解フェーズにおけるサブバンド信号(すなわち、分解サブバンド信号)を、減衰または増幅させる処理を行う処理手段である。例えば、係数処理部102bは、分解サブバンド信号に対して、線形または非線形の係数処理を行ってもよい。一例として、係数処理部102bは、ハードスレッシュホールドやソフトスレッシュホールド等による閾値処理を行ってもよい。また、係数処理部102bは、複数のフィルタのうち、所定の周波数特性および/または所定の方位性をもつフィルタの少なくとも一つに対応する分解サブバンド信号を、減衰または増幅させてもよい。ここで、所定の周波数特性は、広義かざぐるまフレームレットの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより指定されてもよい。なお、分解サブバンド信号には、大きく分けて、分解詳細係数に基づく分解サブバンド信号と分解近似係数に基づく分解サブバンド信号の2種類があり、係数処理部102bは、分解フェーズから出力される分解詳細係数および/または分解近似係数に対して係数処理を行ってもよい。なお、「分解詳細係数」とは、広義かざぐるまフレームレットの分解フェーズにおいて、分解詳細フィルタによるフィルタリングをして得られる係数を指し、「分解近似係数」は、分解近似フィルタによるフィルタリングによる係数を指す。広義かざぐるまフレームレットによる分解フェーズにおけるサブバンド信号のうち、近似係数から構成されるものを「分解フェーズにおける近似サブバンド信号」、それ以外を「分解フェーズにおける詳細サブバンド信号」と呼ぶ場合がある。なお、以下の表は、原画像からの画像処理の経過に沿って用語をまとめた一覧である。広義かざぐるまフレームレット以外の方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを用いる場合も同様である。
[表:用語一覧]
原画像
↓<分解フェーズ>
分解フェーズにおけるサブバンド信号(分解サブバンド信号)
・分解フェーズから出力される詳細係数(分解詳細係数)
・分解フェーズから出力される近似係数(分解近似係数)
↓<各種処理>
↓→ 処理画像(係数出力処理画像)
↓<合成フェーズ>
合成フェーズにおけるサブバンド信号(合成サブバンド信号)
・合成フェーズから出力される詳細係数
・合成フェーズから出力される近似係数
↓<再構成>
処理画像(再構成処理画像)

【0073】
ここで、非線形の係数処理の一例として、係数処理部102bは、分解サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行ってもよい。一例として、係数処理部102bは、多重解像度分解における分解フェーズと合成フェーズとの間において、分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う。例えば、分解詳細係数のエネルギーが大きい場合に、係数処理部102bは、当該分解詳細係数のばらつきを大きくすることで、絶対値が比較的小さな値はより小さく抑制しながら絶対値が比較的大きな値はより大きく増強させる。一方、分解詳細係数のエネルギーが小さい場合に、係数処理部102bは、当該分解詳細係数のばらつきを小さくすることで、絶対値が比較的小さな値を増強しながら絶対値が比較的大きな値を抑制する。

【0074】
ここで、大きな画素数の画像の場合には、その画像を適切に分割して、各分割画像に対して本実施形態の処理を行っても良い。

【0075】
また、係数処理部102bは、関数処理等の係数処理および/またはエネルギー計算において、分解詳細係数の値が扱い易くなるように、正規化を行ってもよい。例えば、係数処理部102bは、分解フェーズと合成フェーズの間において、まず、分解詳細係数を絶対値をとって正規化し、正規化された分解詳細係数(「正規化分解詳細係数」と呼ぶ。)の二乗ノルム(あるいは他のノルムでもよい。)をエネルギーとしてもよい。そして、係数処理部102bは、計算したエネルギーに応じて、正規化分解詳細係数に対して係数処理を行い、係数処理された正規化分解詳細係数に対して正規化の逆演算を行うことで、合成フェーズへの入力データとしてもよい。なお、絶対値を用いた場合は、以下の式のように逆演算の際に符号を元に戻す。
x´=sgn(x)z´
(ここで、xは分解詳細係数であり、zは係数処理後の値であり、z´は正規化の逆演算結果の値である。ここで、x≧0ならばsgn(x)=1であり、x<0ならばsgn(x)=-1である。なお、x´は符号を戻した結果の値である。)

【0076】
なお、係数処理部102bは、エネルギーの大小に応じた係数処理を行うために、エネルギー値に閾値を設けて、エネルギー値の範囲ごとに異なる係数処理を行ってもよく、エネルギー値に閾値を設けることなく、エネルギー値に応じてばらつきが連続的に変化するような関数にて演算することで係数処理を行ってもよい。前者の場合、例えば、係数処理部102bは、エネルギー値の範囲ごとに設定した関数(例えば、ロジット関数や、ロジスティック式等)を用いてもよい。後者の場合、例えば、係数処理部102bは、分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、連続的に変化する関数(「SN関数」と呼ぶ。)を用いて、係数処理を行ってもよい。ここで、SN関数の一例を以下に示す。なお、式1は、α>1ならばS字曲線となり、α=1ならば直線となり、α<1ならばN字曲線となる。
z=yα/{yα+(1-y)α} ・・・(式1)
(ここで、yは正規化分解詳細係数であり(0≦y≦1)、αは正規化分解詳細係数のエネルギーに基づく指標値であり(0<α)、zは関数処理された正規化分解詳細係数である。)なお、関数は離散化することにより、テーブル化して用いてもよい。

【0077】
なお、係数処理部102bは、CIELAB色空間におけるL、a、およびbなどのように、色成分ごとに係数処理を行ってもよいが、各色成分の値を独立に処理することに限られず、一つの色成分の係数処理を行う場合に、他の色成分の値に基づいて係数処理を補正してもよい。例えば、ヒトの視覚では、大脳皮質に色・輝度細胞があるという脳神経科学的な実験結果(非特許文献5)があるが、この実験結果を元に、色・輝度細胞の役割を推測した数理モデルを考案することにより係数処理部102bは、画像データのaおよび/またはbの色成分について、aおよび/またはbの分解詳細係数とLにおける分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上述のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した係数処理を行ってもよい。また、分解詳細係数の符号の違いによって別個の処理を行うこともできる。なお、係数処理部102bは、画像データのaおよび/またはbの色成分について、Lによる輝度差が大きければ大きいほど絶対値が小さな値を増強するように補正した係数処理を行ってもよい。

【0078】
このような画像鮮鋭化のほか、係数処理部102bは、所定の周波数特性(定めるところの特定の周波数特性)および/または所定の方位性(定めるところの特定の方位性)をもつフィルタに対応する分解サブバンド信号を減衰または増幅させる重み付けにより画像処理を行ってもよい。係数処理部102bは、分解部102aにより取得された分解サブバンド信号に重み付けして足し合わせてもよく、関数形式で記憶されたフレームレット・フィルタの周波数応答関数に重み付けを行ってもよく、その後、各フィルタ係数を導き出してもよく、あるいは重み付けした各周波数応答関数を所定の方法で乗算、加算し、フィルタ係数を求めてフレームレットファイル106aに格納しておくことにより、高速に再構成画像データを得られるようにしてもよい。また分解フェーズおよび/または合成フェーズにおけるフィルタに重み付けしてもよい。

【0079】
また、係数処理部102bは、一例として、広義かざぐるまフレームレットの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより、所定の周波数特性を指定することにより、所定の周波数成分が得られるように重み付けしてもよい。例えば、係数処理部102bは、多重解像度分解における所定レベルで近似フィルタに対応する分解サブバンド信号を相対的に減衰させる重み付けを行うことにより、低周波成分を除去する等の画像処理を行ってもよい。なお、この処理のため、分解部102aは、所定レベルまでの多重解像度分解を行うこととして、係数処理部102bは、最大レベルの近似フィルタにより得られた近似部分のサブバンド信号を相対的に減衰させる重み付けを行ってもよい。これに限らず、分解部102aは、所定レベルより大きなレベルまで多重解像度分解を行う場合に、係数処理部102bは、所定レベルより大きなレベルの詳細部分および最大レベルの近似部分を相対的に減衰させる重み付けを行ってもよい。

【0080】
また、係数処理部102bは、複数のフィルタのうち、フィルタ配置において近似フィルタから遠い側の詳細フィルタに対応する分解サブバンド信号を相対的に増幅させ、フィルタ配置において近似フィルタと近似フィルタから近い側の詳細フィルタに対応する分解サブバンド信号を相対的に減衰させる重み付けを行うことにより、低周波成分に比較して高周波成分を得られるように画像処理を行ってもよい。より具体的には、上述したかざぐるまフレームレットの近似フィルタに対応する分解サブバンド信号の分解詳細係数と近似フィルタに近い位置にある低周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を0に近い値とし、近似フィルタから遠い位置にある高周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を1に近い値に設定してもよい。これとは反対に、係数処理部102bは、高周波成分に比較して低周波成分を得られるように画像処理を行ってもよい。すなわち、係数処理部102bは、複数の詳細フィルタのうち、フィルタ配置において近似フィルタから遠い側の詳細フィルタに対応する分解サブバンド信号を相対的に減衰させ、フィルタ配置において近似フィルタから近い側の詳細フィルタに対応する分解サブバンド信号を相対的に増幅させる重み付けを行うことにより、高周波成分に対して低周波成分を強調する画像処理を行ってもよい。より具体的には、上述したかざぐるまフレームレットの近似フィルタに近い位置にある低周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を1に近い値とし、近似フィルタから遠い位置にある高周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を0に近い値に設定してもよい。

【0081】
また、係数処理部102bは、複数のフィルタのうち、高周波の周波数特性をもつフィルタおよび低周波の周波数特性をもつフィルタに対応する分解サブバンド信号を相対的に減衰させ、比較的高周波、比較的低周波など中周波の周波数特性をもつフィルタに対応する分解サブバンド信号を相対的に増幅させる重み付けを行うことにより、高周波成分および低周波成分に比較して中周波成分を強調する画像処理を行ってもよい。より具体的には、上述したかざぐるまフレームレットの高周波の周波数特性をもつフィルタおよび低周波の周波数特性をもつフィルタに対応する分解サブバンド信号に対する重み係数を0に近い値とし、中周波の周波数特性をもつ詳細フィルタに対応するサブバンド信号に対する重み係数を1に近い値に設定してもよい。

【0082】
また、係数処理部102bは、所定の方位性をもつ詳細フィルタに対応する分解サブバンド信号を減衰または増幅させる重み付けを行うことにより、所定の方位性成分が増減されるように画像処理を行ってもよい。例えば、上述したかざぐるまフレームレットの所定の方位性を有する詳細フィルタに対応する分解サブバンド信号に対する重み係数を1に近い値とし、それ以外を0に近い値に設定することにより、原画像から当該所定の方位性をもつ成分を強調したり抽出することができる。

【0083】
また、処理画像取得部102cは、処理画像データを取得する処理画像取得手段である。例えば、処理画像取得部102cは、分解部102aにより取得された、多重解像度分解の分解フェーズにおける分解サブバンド信号による係数出力処理画像データを取得してもよい。係数出力処理画像データを取得する際には、係数処理後の分解サブバンド信号を適切な重みを付けて足し合わせてもよい。また、処理画像取得部102cは、多重解像度分解の合成フェーズにおける合成サブバンド信号を、後述する再構成部102dの処理により、足し合わせることにより再構成した再構成処理画像データを取得してもよい。

【0084】
また、処理画像取得部102cの再構成部102dは、分解部102aにより取得された各色成分のサブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成手段である。例えば、再構成部102dは、上述した最大レベルの近似フィルタに対応する近似部分の合成サブバンド信号と、すべての詳細フィルタに対応する詳細部分の合成サブバンド信号を足し合わせることによって、画像を再構成して再構成画像データを取得する。このとき、かざぐるまフレームレットが完全再構成性を有するので、係数処理部102bによる処理を行わなければ、再構成部102dは、原画像と同じ画像を再現する。換言すれば、再構成部102dは、係数処理部102bによる処理により係数処理が実行されてから、合成サブバンド信号を足し合わせることによって、原画像に対して画像処理が施された再構成画像データを取得する。

【0085】
ここで、上述した記号(番号)を合成サブバンド信号に用いて、完全再構成性と画像処理の関係について説明する。原画像の入力信号(原信号)をxとすると、次数7のかざぐるまフレームレットによるレベル5の最大重複多重解像度分解の完全再構成性は以下の式で表される。
x=a(1)+(d(1)+・・・+d(99))+・・・+(d(1)+・・・+d(99))

【0086】
ここで、分解部102aにおいて係数処理部102bによる各種処理を経た近似部分をa´(1)、詳細部分をd´(1)、・・・、d´(99)とおくと、この場合、再構成画像(信号)は以下の式で表される。
y=a´(1)+(d´(1)+・・・+d´(99))+・・・+(d´(1)+・・・+d´(99))

【0087】
このとき、分解部102aにおいて各種処理が行われていなければ、a´(1)=a(1)、d´(1)=d(1)、・・・、d´(99)=d(99)となり、明らかにx=y(原画像と再構成画像が同一)であり、完全再構成となる。本実施の形態において、一例として、係数処理部102bは、所定の周波数特性および/または所定の方位性をもつフィルタに対応するサブバンド信号に対する重み係数を1ではない数値を設定することにより、原画像と同一ではない再構成画像(すなわち再構成処理画像)を生成する。

【0088】
ここで、詳細フィルタの分類について説明する。詳細フィルタは、その方位性に基づいて、5種類に分類することができる。すなわち、ある方向に直交する軸を「直交軸」と呼ぶとすると、(1)直交軸と同方向の方位性をもつ詳細フィルタ、(2)直交軸に垂直方向の方位性をもつ詳細フィルタ、(3)直交軸に対し正の角度の方位性をもつ詳細フィルタ、(4)直交軸に対し負の角度の方位性をもつ詳細フィルタ、(5)方位分離されていない詳細フィルタ、の5つに分類することができる。ここで、直交軸に対する角度θは、反時計回りを正とし、-90°<θ≦+90°で表される。なお、直交軸に対して水平または垂直な方位性(θ=0°,90°)をもつ詳細フィルタは、(1)または(2)に分類するので、(3)または(4)には分類しない。また、「(5)方位分離されていない詳細フィルタ」では、直交軸に対する角度の絶対値が同一である正の角度と負の角度の両方の方位性を含んでいるので、(3)または(4)に分類しない。

【0089】
例えば、ある方向を縦方向とした場合、図5の例では、「(1)直交軸と同方向の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(15)、d(23)、d(31)、d(39)、d(47)、d(55)、d(63)となる。また、「(2)直交軸と垂直方向の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(1)~d(7)となる。また、「(3)直交軸に対し正の角度の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(64)~d(99)となる。また、「(4)直交軸に対し負の角度の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(9)~d(14)、d(17)~d(22)、d(25)~d(30)、d(33)~d(38)、d(41)~d(46)、d(49)~d(54)となる。また、「(5)方位分離されていない詳細フィルタ」に対応するサブバンド信号は、d(8)、d(16)、d(24)、d(32)、d(40)、d(48)、d(56)~d(62)となる。

【0090】
また、詳細フィルタは、その周波数特性によっても特徴付けることができる。すなわち、かざぐるまフレームレットの近似フィルタを中心に、近似部分から同心円状に広がる詳細フィルタは、中心から遠ざかるほど高周波成分を通過させ、中心に近づくほど低周波成分を通過させるという特徴を有する。換言すると、かざぐるまフレームレットのフィルタ配置において近似フィルタから遠い側の詳細フィルタは、高周波成分のサブバンド信号を取得し、フィルタ配置において近似フィルタから近い側の詳細フィルタは、低周波成分のサブバンド信号を取得する。

【0091】
図5の例では、最も低周波側の周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(7)、d(14)、d(15)、d(64)となる。次に低周波側の周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(6)、d(13)、d(21)~d(23)、d(65)、d(70)、d(71)となる。そして、次に低周波側の周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(5)、d(12)、d(20)、d(28)~d(31)、d(66)、d(72)、d(76)~d(78)となる。次に低周波側の(比較的中周波の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(4)、d(11)、d(19)、d(27)、d(35)~d(39)、d(67)、d(73)、d(79)、d(82)~d(85)となる。そして、次に低周波側の(比較的高周波側の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(3)、d(10)、d(18)、d(26)、d(34)、d(42)~d(47)、d(68)、d(74)、d(80)、d(86)、d(88)~d(92)となる。そして、次に低周波側の(比較的高周波側の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(2)、d(9)、d(17)、d(25)、d(33)、d(41)、d(49)~d(55)、d(69)、d(75)、d(81)、d(87)、d(93)、d(94)~d(99)となる。そして、次に低周波側の(最も高周波側の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(1)、d(8)、d(16)、d(24)、d(32)、d(40)、d(48)、d(56)~d(63)となる。

【0092】
この分類の他に、方位分離されている詳細フィルタはその形状により、そのフィルタのもつ方位性の方位方向の軸に対してほぼ対称であるような偶型、方位方向の軸に対してほぼ反対称であるような奇型に分けられる。また、近似フィルタは垂直軸と水平軸に対してほぼ対称であるような偶型である。

【0093】
以上が、詳細フィルタの分類についての説明である。

【0094】
再び図1に戻り、色空間変換部102fは、色空間の変換や色成分の分解・合成等を行う色空間変換手段である。例えば、色空間変換部102fは、画像データファイル106bに記憶された画像データがカラー画像の場合であって、本実施の形態で用いる色成分によってデータが記述されていない場合、分解部102aによるカラー画像鮮鋭化処理を行う場合等において、目的の色空間(例えば、CIELAB色空間)に変換してもよい。CIELAB色空間に変換することにより、画像は、L(輝度)、a(赤-緑)、b(黄-青)の三つの色成分に分解される。なお、色空間変換部102fは、CIELAB色空間以外の他の色空間に変換してもよい。CIELAB色空間を使用する利点は、ヒトの網膜からの視覚情報変換に近いという点である。なお、画像データが予め本実施の形態で用いる各色成分ごとに色調や階調値等を記述している場合は、色空間変換部102fは、色空間に関する処理を行わなくてよい。なお、必要ならば色空間変換部102fは、再構成部102dによる画像データ再構成処理において、色成分の合成や、色空間の変換、輝度・色のスケール変換等を行う。

【0095】
また、処理画像出力部102gは、処理画像取得部102cにより取得された処理画像データ(係数出力処理画像データまたは再構成処理画像データ)を、出力装置114に出力する処理画像出力手段である。例えば、処理画像出力部102gは、モニタ等の表示装置に処理画像を表示出力してもよく、プリンタ等の印刷装置に処理画像を印刷出力して印刷媒体を製造してもよく、記録媒体格納装置に処理画像データを出力して記録媒体に処理画像データを格納することにより記録媒体を製造してもよい。印刷対象の媒体としては、例えば、紙、プラスティック、ガラス、金属等であってもよく、例えば、チラシやうちわ、カード、絵本、年賀状、クリスマスカード、名刺、缶などの容器等の形態であってもよい。なお、出力する形態に応じて、処理画像出力部102gは、用途に応じたデザイン変更(例えば、はがきサイズ等に変更)を行ってもよい。また、処理画像出力部102gは、処理画像データをネットワーク300を介して外部システム200に送信してもよい。

【0096】
すなわち、この画像処理装置100は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク300に通信可能に接続されてもよい。図1において、通信制御インターフェース部104は、画像処理装置100とネットワーク300(またはルータ等の通信装置)との間における通信制御を行う。すなわち、通信制御インターフェース部104は、通信回線等に接続されるルータ等の通信装置(図示せず)に接続されるインターフェースであり、他の端末と通信回線を介してデータを通信する機能を有する。図1において、ネットワーク300は、画像処理装置100と外部システム200とを相互に接続する機能を有し、例えば、インターネット等である。

【0097】
図1において、外部システム200は、ネットワーク300を介して、画像処理装置100と相互に接続され、画像データやかざぐるまフレームレットに関する外部データベースや、コンピュータを画像処理装置として機能させるためのプログラムを提供する機能を備えてもよい。ここで、外部システム200は、WEBサーバやASPサーバ等として構成していてもよい。また、外部システム200のハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム200の各機能は、外部システム200のハードウェア構成中のCPU、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

【0098】
以上で、本実施の形態における画像処理装置100の構成の説明を終える。

【0099】
[画像処理装置100の処理]
次に、このように構成された本実施の形態における本画像処理装置100の処理の一例について、以下に図6~図57を参照して詳細に説明する。

【0100】
[基本処理]
まず、画像処理装置100より実行される画像処理の一例として、以下に図6~図8を参照して基本処理について説明する。図6は、本実施の形態における画像処理装置100の基本処理の一例を示すフローチャートである。

【0101】
まず、分解部102aは、画像データファイル106bに記憶された画像データに対して、フレームレットファイル106aに記憶された広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる最大重複多重解像度分解を行い、サブバンド信号を取得する(ステップS-1)。ここで、図7および図8は、かざぐるまフレームレットによる多重解像度分解の分解フェーズおよび合成フェーズ(処理無/有)のフィルタ・バンクの一例を示す図である。図中の数字は、レベルを表している。PWは、詳細フィルタであり、Aは、近似フィルタである。

【0102】
図7および図8に示すように、まず、分解部102aは、レベル1のかざぐるまフレームレットを用いて、原画像を入力信号として、詳細フィルタPW1を通過する分解サブバンド信号(分解詳細係数dにて表現される信号)と、1枚の近似フィルタA1を通過する信号に分解する。次に、分解部102aは、レベル1の近似フィルタA1を通過した信号を、レベル2のかざぐるまフレームレットを用いて、レベル2の詳細フィルタPW2を通過する分解サブバンド信号(分解詳細係数d)と、レベル2の近似フィルタA2を通過する信号に分解する。分解部102aは、この処理を、最大レベルk(図示の場合、k=5)まで繰り返し行い、分解詳細係数d~d、および、最大レベルkの近似フィルタAkを通過した分解サブバンド信号による分解近似係数aを得る。次に分解サブバンド信号に対して各種処理を行って、分解詳細係数d´~d´と分解近似係数a´を得る。

【0103】
すなわち、図7および図8に示すように、分解部102aの係数処理部102bは、フィルタ・バンクの複数のフィルタのうち、少なくとも一つに対応する分解サブバンド信号に対して、線形または非線形の係数処理を行うなど、分解サブバンド信号を相対的に減衰または増幅させる各種処理を行う(ステップS-2)。ここで、一例として、係数処理部102bは、ハードスレッシュホールドやソフトスレッシュホールド等による閾値処理を行ってもよい。また、係数処理部102bは、複数のフィルタのうち、所定の周波数特性および/または所定の方位性をもつフィルタの少なくとも一つに対応する分解サブバンド信号を、減衰または増幅させてもよい。例えば、係数処理部102bは、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより指定された所定の分解サブバンド信号を増減させることにより、所定の周波数成分を増減させる画像処理を行ってもよい。一例として、係数処理部102bは、分解サブバンド信号を形成する、分解フェーズから出力される分解詳細係数および/または分解近似係数に対して係数処理を行ってもよい。すなわち、係数処理部102bは、分解フェーズにおける近似サブバンド信号を増減させてもよく、かつ/または、分解フェーズにおける詳細サブバンド信号を増減させてもよい。

【0104】
そして、処理画像取得部102cは、ステップS-2において各種処理が施された処理画像データ(係数出力処理画像データまたは再構成処理画像データ)を取得する(ステップS-3)。図7の例では、処理画像取得部102cは、分解部102aの処理による分解フェーズで得られた、分解詳細係数d~dと分解近似係数aに対し、各種処理が施された分解詳細係数d´~d´と分解近似係数a´を、合成フェーズに入力することなく処理画像データを係数出力処理画像データとして取得してもよく、必要に応じて重み付けして足し合わせて処理画像データとして取得してもよい。他方、図8の例では、処理画像取得部102cは、分解部102aの処理による分解フェーズで得られた、分解詳細係数d~dと分解近似係数aに対し、各種処理が施された分解詳細係数d´~d´と分解近似係数a´を合成フェーズに入力して再構成部102dにより再構成された処理画像データを再構成処理画像データとして取得してもよい。

【0105】
以上が、本実施の形態の基本処理である。当該基本処理により、原画像に対して本実施の形態による様々な画像処理を施すことができる。

【0106】
[カラー画像鮮鋭化処理]
まず、画像処理装置100より実行される画像処理の一例として、カラー画像の画像鮮鋭化処理について、以下に図9~図21を参照して説明する。図9は、本実施の形態における画像処理装置100のカラー画像鮮鋭化処理の一例を示すフローチャートである。

【0107】
まず、分解部102aは、画像データファイル106bに記憶された画像データの各色成分に対して、フレームレットファイル106aに記憶されたかざぐるまフレームレットによる最大重複多重解像度分解を行い、サブバンド信号を取得する(ステップSA-1)。なお、分解部102aは、かざぐるまフレームレットに限られず、方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンクを用いてもよい。また、必要に応じて(例えば、本実施の形態で用いる色成分にて画像データが記述されていなかった場合等)、色空間変換部102fは、カラー画像に対して所望の色空間の変換処理や色成分の分解処理を行ってもよい。一例として、色空間変換部102fは、カラー画像を、CIELAB色空間に変換してもよい。これにより、画像は、L(輝度)、a(赤-緑)、b(黄-青)の三つの色成分に分解される。ここで、図10は、最大重複多重解像度分解の分解フェーズおよび合成フェーズのフィルタ・バンクの一例を示す図である。図中の数字は、レベルを表している。PWは、詳細フィルタであり、次数7の場合、各レベルに99枚存在する。Aは、近似フィルタであり、同じく次数7の場合、各レベルに1枚存在する。なお、図10の例では、最大重複法を用いているが、本実施の形態はこれに限られず、最大間引き法でも他の間引き法を用いてもよい。

【0108】
図10に示すように、まず、分解部102aは、レベル1のかざぐるまフレームレットを用いて、原画像を入力信号として、99枚の詳細フィルタを通過する信号と、1枚の近似フィルタを通過する信号(分解詳細係数dにて表現される信号)に分解する。次に、分解部102aは、レベル1の近似フィルタを通過した信号を、レベル2のかざぐるまフレームレットを用いて、99枚の(レベル2の)詳細フィルタを通過する信号(分解詳細係数d)と、1枚の(レベル2の)近似フィルタを通過する信号に分解する。分解部102aは、この処理を、最大レベルk(図示の場合、レベル5)まで繰り返し行い、分解詳細係数d~d、および近似係数aを得る。通常の多重解像度分解では、分解部102aは、分解フェーズで得られた、分解詳細係数d~dからなる信号をそのまま合成フェーズのフィルタ・バンクにかけるが、本実施の形態では、本実施の形態における係数処理を行って、合成フェーズ入力用の分解詳細係数d´~d´を得る。

【0109】
すなわち、図9に示すように、分解部102aの係数処理部102bは、多重解像度分解における分解フェーズと合成フェーズとの間において、分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う(ステップSA-2)。ここで、係数処理部102bは、画像データのaおよび/またはbの色成分について、aおよび/またはbの分解詳細係数とLにおける分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上述のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した係数処理を行ってもよい。また、係数処理部102bは、関数処理等の係数処理および/またはエネルギー計算において、分解詳細係数の値が扱い易くなるように、正規化を行ってもよい。ここで、図11は、正規化を伴う分解詳細係数の係数処理の一例を示すフローチャートである。

【0110】
図11に示すように、まず、係数処理部102bは、分解フェーズから出力された分解詳細係数xの絶対値を正規化する(ステップSA-21)。例えば、係数処理部102bは、全ての分解詳細係数xが0から1の間の数値に収まるように適切な正規化手法にて分解詳細係数xの正規化を行う。

【0111】
そして、係数処理部102bは、正規化分解詳細係数yに基づいて、分解詳細係数のエネルギーを計算する(ステップSA-22)。例えば、係数処理部102bは、正規化分解詳細係数yの二乗ノルム||y||をエネルギーとしてもよい。なお、エネルギーを関数処理で扱えるように正規化する等の指数調整を行ってもよい。

【0112】
そして、係数処理部102bは、ステップSA-22にて算出したエネルギーに応じて、非線形的に正規化分解詳細係数yの係数処理を行って係数処理結果zを得る(ステップSA-23)。例えば、係数処理部102bは、エネルギーの大小に応じた係数処理を行うために、エネルギー値に閾値を設けて、エネルギー値の範囲ごとに異なる係数処理を行ってもよく、エネルギー値に閾値を設けることなく、エネルギー値に応じてばらつきが連続的に変化するような関数にて演算することで係数処理を行ってもよい。一例として、係数処理部102bは、分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、連続的に変化するSN関数を用いて、係数処理を行ってもよい。ここで、以下の式1は、SN関数の一例である。式1は、α>1ならばS字曲線となり、α=1ならば直線となり、α<1ならばN字曲線となる。なお、エネルギーとパラメータαの対応の決め方は、一つに固定することなく、個人差を反映させて設定してもよく、また、レベルごと、方位ごと、色成分ごと、分解詳細係数の符号ごとに設定してもよい。
z=yα/{yα+(1-y)α} ・・・(式1)
(ここで、yは正規化分解詳細係数であり(0≦y≦1)、αは正規化分解詳細係数のエネルギーに基づく指標値であり(0<α)、zは関数処理された正規化分解詳細係数である。)

【0113】
そして、係数処理部102bは、ステップSA-23にて係数処理された正規化分解詳細係数zに対して正規化の逆演算を行うことで、合成フェーズへの入力データx´を取得する(ステップSA-24)。なお、上述のノルムを用いた場合は、以下の式にて逆演算の際に符号を元に戻す。
x´=sgn(x)z´
(ここで、xは分解詳細係数であり、zは係数処理後の値であり、z´は正規化の逆演算結果の値である。ここで、x≧0ならばsgn(x)=1であり、x<0ならばsgn(x)=-1である。なお、x´は符号を戻した結果の値である。)

【0114】
再び図9に戻り、分解部102aは、ステップSA-2にて係数処理された分解詳細係数を入力データとして合成フェーズの処理を行う(ステップSA-3)。すなわち、分解部102aは、分解フェーズにて出力された信号を係数処理した信号を合成フェーズのフィルタにより、最終的に、99×5個の合成サブバンド信号(詳細部分)と、1個の合成サブバンド信号(近似部分)を取得する(図10参照)。

【0115】
そして、再構成部102dは、分解部102aにより取得された各色成分の合成サブバンド信号を足し合わせて画像を再構成する(ステップSA-4)。なお、合成サブバンド信号を足し合わせた色成分の数値が規定値(例えば、0から255階調の範囲)を超えている場合、再構成部102dは、例えば全体をスケールして規定範囲(例えば0と255の範囲内)に数値を収めてもよく(正規化の方法)、最低規定値(例えば0)以下の数値は最低規定値とし、最高規定値(例えば255)以上の数値は255に置き換えてもよい(閾値を用いた方法)。この他、必要に応じて(例えばRGBで出力しなければならない等)、色空間変換部102fは、色空間の変換や色成分の合成等の処理を行ってもよい。

【0116】
以上の処理によって得られた再構成画像は、原画像に対して本実施の形態による画像処理が施されており、例えば、原画像よりも自然な鮮鋭化が施されている。ここで、図12は、原画像と、本実施の形態による鮮鋭化画像と、従来手法による鮮鋭化画像を対比して示す図である。

【0117】
図12に示すように、非特許文献1の従来手法では、画像全体を一律に、エッジの明るい側のピクセルを検出してさらに明るくし、エッジの暗い側のピクセルを検出してさらに暗くするような局所的コントラスト制御を行っているので、特に写真の手前付近の木々のように、コントラストが本来十分な箇所についても不必要に白黒に近くなるまで極度な鮮鋭化が施されてしまい不自然な画像になってしまう。一方、本実施の形態によれば、ヒトの初期視覚情報処理に類似した画像処理を施すので、極端なコントラストが施されることがなく自然な鮮鋭化画像を得ることができる。ここで、図13、図14、および、図15は、図12の各写真(512×512画素)において、左から400画素目の列のL,a,bの値をそれぞれ示すグラフである。横軸は、左から400画素目の列において上から行数を表しており、縦軸は、各色成分(L,a,またはb)の値を表している。青色は、原画像の各点の値を表したグラフを示しており、緑色は、本実施の形態による処理画像の各点の値を表したグラフを示しており、赤色は、市販のプログラム製品による処理画像の各点の値を表したグラフを示している。

【0118】
図13~図15に示すように、非特許文献1の従来手法では、遠景(横軸の0~300付近)でも近景(横軸の400~500付近)でも、一律に原画像の各点の値を表したグラフの変動を大きくするようにコントラスト制御を行っている。そのため、特に近景(横軸の400~500付近)では、各色成分の激しい変化が生じている。一方、本実施の形態によれば、激しい変動のある近景(横軸の400~500付近)については変動を大きくせずに、変化がなだらかな遠景(横軸の0~300付近)について鮮鋭化を施している。さらに高周波部分だけでなく、低周波部分についても鮮鋭化を施している。そのため、不自然な画像の強調が少なくなっている。

【0119】
これにて、画像処理装置100のカラー画像鮮鋭化処理の説明を終える。このような本実施の形態によって自然な鮮鋭化を施すことができる原理は以下のように考えられる。すなわち、ヒトの視覚情報処理には高度な鮮鋭化の機能が備わっており、したがって、本実施形態のように、ヒトの視覚情報処理に基づいた数理モデルによる画像処理は高度な鮮鋭化ができる。しかも、その場合に、脳内の視覚情報処理と類似の処理が行われているために、過度に不自然な鮮鋭化であるとは感じないという利点がある。

【0120】
[SN関数による係数処理の実施例]
次に、画像処理装置100の係数処理部102bによりSN関数を用いた係数処理の実施例を以下に示す。

【0121】
周囲の刺激量が多いと弱い刺激が抑制され、周囲の刺激量が弱いと弱い刺激が強調されるという現象などを数学的に記述するために、パラメータによりエス字状のグラフをもつ関数からエヌ字状のグラフをもつ関数に連続的に変形していく関数を考える。このような特性をもつ関数を知覚関数と名付ける。知覚関数の一つの例として、以下のSN関数を挙げる。
【数1】
JP0005599520B2_000002t.gif

【0122】
ここで、Xを原画像とし、X=(X1,X2,X3)を色空間における表示を表すものとする。例えば、CIELAB色空間を使う場合は、X1をL、X2をa、X3をbに関するデータとする。

【0123】
そして、Xμ(μ=1,2,3)をかざぐるまフレームレットで分解する。この実施例では、Xの画素数は512×512ピクセルで、5次のかざぐるまフレームレット((5-1)+(5+1)=52枚)でレベル8の分解の場合について説明する(なお、別の画素数、別のかざぐるまフレームレット等々でも同様の考え方で行うことができる)。

【0124】
このとき、Xμの分解データは、以下の式で表せる(ただしl,p,j,kは整数)。
【数2】
JP0005599520B2_000003t.gif

【0125】
ここで、(xμ[l,1;j,k])0≦j,k≦511は、かざぐるまフレームレットの分解近似係数であり、(xμ[l,p;j,k])0≦j,k≦511(2≦p≦52)は、かざぐるまフレームレットの分解詳細係数を表すものとする。以下、2≦p≦52とする。

【0126】
φμ,l,pを適切な2変数関数として、以下の式とおく(μ=1,2,3)。
【数3】
JP0005599520B2_000004t.gif

【0127】
例えば、以下とする(a1,a2は適切な正規化定数;μ=1,2,3)。
【数4】
JP0005599520B2_000005t.gif
また、以下とする。
【数5】
JP0005599520B2_000006t.gif

【0128】
b1,b2,b3,b4を適宜定める非負の実数とする。これはμや各レベルlごとに変えてもよい。また、かざぐるまフレームレットの分解詳細係数のうち、その方位pによって変えてもよい。また、分解詳細係数の符号ごとに変えてもよい。
【数6】
JP0005599520B2_000007t.gif
【数7】
JP0005599520B2_000008t.gif

【0129】
μ[l,p;j,k]の絶対値に適切な正規化を施して、0と1の間に値をとるようにしたものをyμ,1[l,p;j,k]とおく。また、以下とおく。ただし、ここで、SN関数sを適切な知覚関数でおきかえてもよい。
【数8】
JP0005599520B2_000009t.gif

【0130】
μ,2[l,p;j,k]にxμ[l,p;j,k]の符号関数をかけ、正規化の逆演算を施したものをy′μ[l,p;j,k]とする。

【0131】
y′μ[l,p;j,k]にかざぐるまフレームレット合成フィルタを施して再構成したデータをX′μとおく(μ=1,2,3)。X′=(X′,X′,X′)とおく。

【0132】
X′がXの鮮鋭化画像である。なお、処理画像の例では、b1,b2,b3,b4を、Lについては各レベルごとに方位成分については全部同じとし、a,bは、各レベルごとに、水平・垂直,対角,その他でそれぞれ設定している。

【0133】
なお、より人の視知覚に近づけるという目的のために、xμ[l,p;j,k]の符号の違いによって、処理方法を変えてもよい。

【0134】
以上で、画像処理装置100におけるSN関数を用いた係数処理の実施例の説明を終える。なお、上述したSN関数の係数処理は、カラー画像の鮮鋭化のために用いることに限られず、グレースケール画像等の鮮鋭化等の画像処理に用いてもよいものである。

【0135】
[色の対比錯視におけるシミュレーション]
本実施の形態にて用いる数理モデルが、ヒトの視覚情報処理に近いものであるかを確かめるために、色の対比錯視画像を原画像として、上述した実施の形態による処理を実行した。すなわち、数理モデルがヒトの視覚情報処理に近いものであれば、数理モデルを実装した計算機も錯視を算出するので、本実施の形態にて実際にヒトの錯視をシミュレーションできるかを確かめた。

【0136】
図16は、色の対比錯視画像の一例を示す図である。図16の左図(原画像A)と右図(原画像B)では、内側の四角部分の輝度や明度や色彩は全く同じである。しかしながら、周囲の色の配置によって、ヒトの視覚情報処理としては違った色に見える錯覚を生じる。そこで、本実施の形態の画像処理装置100により原画像Aと原画像Bに対しそれぞれ画像処理を行った。図17は、原画像の内側四角部分(原画像AとBで共通)と、原画像Aの画像処理結果である処理画像Aの内側四角部分と、原画像Bの画像処理結果である処理画像Bの内側四角部分とを示す図である。

【0137】
図17に示すように、本実施の形態の画像処理装置100による画像処理を行った結果、原画像A,Bに対するヒトの見え方(錯視)と同じように、原画像Aに対応する処理画像Aの内側四角部分は、実際より鮮やかに表現され、原画像Bに対応する処理画像Bの内側四角部分では、実際よりくすんで表現された。したがって、本実施の形態の画像処理装置100による画像処理は、ヒトの視覚情報処理に近いものといえる。

【0138】
また、図18は、色の対比錯視画像の他の例を示す図である。図18の左図(原画像C)と右図(原画像D)では、上記と同様に、内側の四角部分の輝度や明度や色彩は全く同じである。図19は、原画像の内側四角部分(原画像CとDで共通)と、原画像Cの画像処理結果である処理画像Cの内側四角部分と、原画像Dの画像処理結果である処理画像Dの内側四角部分とを示す図である。

【0139】
図19に示すように、本実施の形態の画像処理装置100による画像処理を行った結果、原画像C,Dに対するヒトの見え方(錯視)と同じように、原画像Cに対応する処理画像Cの内側四角部分は、実際より暗く表現され、原画像Dに対応する処理画像Dの内側四角部分では、実際より明るく表現された。

【0140】
また、図20は、色の対比錯視画像の他の例を示す図である。図20の左図(原画像E)と右図(原画像F)では、上記と同様に、内側の四角部分の輝度や明度や色彩は全く同じである。図21は、原画像の内側四角部分(原画像EとFで共通)と、原画像Eの画像処理結果である処理画像Eの内側四角部分と、原画像Fの画像処理結果である処理画像Fの内側四角部分とを示す図である。

【0141】
図21に示すように、本実施の形態の画像処理装置100による画像処理を行った結果、原画像E,Fに対するヒトの見え方(錯視)と同じように、原画像Eに対応する処理画像Eの内側四角部分は、実際より暗く表現され、原画像Fに対応する処理画像Fの内側四角部分では、実際より明るく表現された。この例は、aおよびbの処理においてLの値も加味した処理を行った効果が顕著に表れた例である。

【0142】
以上の結果、本実施の形態の画像処理装置100による画像処理は、ヒトの視覚情報処理に極めて近いものであることが確かめられた。したがって、ヒトの視覚情報処理に近い数理モデルを用いた本実施の形態による画像処理を行うことによって、ヒトの視覚に近い情報処理を原画像に施して、ヒトが見たい部分のみを鮮鋭化した自然な画像を提供することができる。なお、画像処理装置100の利用目的によっては、ヒトの視覚機能の一部または全部を強化あるいは抑制したような画像処理を行うように設定することも可能である。

【0143】
[各種画像処理]
つづいて、上述したカラー画像鮮鋭化処理以外の画像処理の実施例として、以下に、1.ノイズ除去、2.特徴抽出((ア)エッジ検出,(イ)その他の特徴抽出)、3.立体感のある特徴抽出の順で、具体的な方法と応用例について、図22~図55を参照して説明する。以下の例では、かざぐるまフレームレットを用いるが、広義かざぐるまフレームレットやかざぐるまウェーブレット・フレームを用いてもよい。

【0144】
[1.ノイズ除去]
本実施の形態において、係数処理部102bにより少なくとも一つの分解詳細係数を相対的に減少させることによりノイズ除去を行う例について説明する。なお、以下の例ではグレースケールの画像を用いているが、同様の方法でカラー画像を適用することもできる。

【0145】
ここで、本項目[1.ノイズ除去]において、原画像とはノイズのない元の画像のことであり、ノイズ画像とは原画像にノイズを入れた画像のことである。ここでは、原画像に対してガウス型白色ノイズを入れてノイズ画像を作成した。なお、処理画像とは、係数処理部102bによりノイズ除去処理が行われた後の、処理画像取得部102cにより再構成されたノイズ除去後の画像をいう。

【0146】
ここで、ノイズ除去による画像の劣化を数値化するために以下の評価値を用いる。
【数9】
JP0005599520B2_000010t.gif

【0147】
そして、原画像をX0、ノイズ除去後の画像(処理画像)をXとすると、本実施例で用いる評価値は、以下の式で表される。この評価値が小さいほど処理画像が原画像に近く、処理画像が劣化していないことになる。
【数10】
JP0005599520B2_000011t.gif

【0148】
ノイズ除去では、スレッシュホールド(閾値)を定めて、スレッシュホールドより小さい値あるいはスレッシュホールド以下の値を0にする方法が知られている。そのため、係数処理部102bによるノイズ除去を行うため、スレッシュホールド(閾値)の設定を行った。なお、スレッシュホールドの定め方には様々な公知の方法があるので、以下に例示する方法以外の公知の方法を用いてもよい。例えば、閾値処理としては、ハードスレッシュホールドとソフトスレッシュホールドがよく知られており、以下ではハードスレッシュホールドを用いたが、ソフトスレッシュホールドや他の閾値処理を用いてもよい。

【0149】
本実施例では、いくつかのノイズ除去方法を評価値で比較するため、それぞれのノイズ除去方法ごとに、スレッシュホールドを連続的に変化させ、最も良い評価値の場合の値をその方法におけるスレッシュホールドとする。ここで、図22は、本実施例で用いたハードスレッシュホールドを説明するためのグラフである。横軸は、元の係数の値であり、縦軸は、係数処理を行った後の値を示す。すなわち、係数処理部102bが、仮に、傾き1の線形関数を分解サブバンド信号の係数に適用した場合、元の係数の値は全く変化しないので、再構成部102dにより得られる再構成画像は原画像と同一になる。

【0150】
図22に示すように、ハードスレッシュホールド法では、係数の絶対値を閾値と比較し、絶対値が閾値以下の場合に、係数を0に置き換える係数処理を行う。このハードスレッシュホールドによって、小さな変動を無視することができ、ノイズを効率よく除去することができる。ここで、図23は、本実施例で用いた原画像であり、図24は、原画像にガウス型白色ノイズを加えたノイズ画像を示す図である。原画像として、0~255の256階調であり、サイズは512×512の画像を用いた。

【0151】
本実施の形態によるノイズ除去結果との比較のため、従来の方法による例として、ウェーブレットによるノイズ除去方法を使用した。この従来のウェーブレットによるノイズ除去方法では、ノイズ画像に対して、シムレット4によるレベル2の最大重複多重解像度分解を行った。シムレットについては、MATLABのWavelet Toolboxおよびそれに含まれる解説を参考文献として参照してもよい。なお、すべての分解詳細係数(各レベルの水平・垂直・対角方向の分解詳細係数)に対し、スレッシュホールド48(前述の連続的に変化させる方法により定まった値)で閾値処理を行い、その後、合成フェーズを経て処理画像を得た。なお、処理画像の0より小さい値は0とし、255より大きい値は255とした。図25は、従来のウェーブレットを用いたノイズ除去方法のシムレット4による処理画像であり、図26は、その一部を拡大した図である。なお、従来のウェーブレットを用いたノイズ除去方法のシムレット4による画像処理結果の評価値は、5.0449であった。

【0152】
一方、本実施の形態によるノイズ除去方法とその結果を以下に示す。

【0153】
[かざぐるまフレームレットによるノイズ除去例1]
本実施形態の画像処理装置100により、ノイズ画像に対して、5次のかざぐるまフレームレットによるレベル1の最大重複多重解像度分解を行った。係数処理部102bによるスレッシュホールドを16(前述の連続的に変化させる方法により定まった値)に設定し、ウェーブレットの場合と同様の方法で処理画像を得た。図27は、本実施の形態によって5次のかざぐるまフレームレットを用いて得られた処理画像であり、図28は、その一部を拡大した図である。この場合の評価値は、4.7736であり、従来のウェーブレットによる方法より良い結果が得られた。また、従来の処理画像(図25,図26)と本実施の形態の処理画像(図27,図28)を肉眼で比較しても、ノイズ除去が効果的に行われていることがわかる。

【0154】
[かざぐるまフレームレットによるノイズ除去例2]
かざぐるまフレームレットは次数を有するので、より適切な次数を選ぶことでさらに効果的なノイズ除去を行うことができる。また、かざぐるまフレームレットは多様な方位選択性を持つため、フィルタ数が多い。そこで、分解フェーズにおける詳細サブバンド信号ごとに、それを構成する分解詳細係数に用いるスレッシュホールドを変えることにより、ノイズ除去効果を高めることが期待できる。

【0155】
そこで、かざぐるまフレームレットによるノイズ除去例2として、ノイズ画像に対して7次のかざぐるまフレームレットによるレベル1の最大重複多重解像度分解を行った。係数処理部102bによるスレッシュホールドは、対応する分解フェーズにおける詳細サブバンド信号ごとに変えた。具体的には、分解フェーズの各サブバンド信号を構成する詳細係数の取りうる最大値に0.075をかけたものをスレッシュホールドとした(前述の連続的に変化させる方法により定まった値)。言い換えれば、絶対値が0から最大値の0.075倍までに入る値を0とした。その他は、前の例と同様の方法で処理画像を得た。図29は、本実施の形態によって7次のかざぐるまフレームレットを用いてフィルタごとに閾値を変えた場合に得られた処理画像であり、図30は、その一部を拡大した図である。この場合の評価値は、4.3718であり、上述のノイズ除去例1よりもノイズ除去効果が改善されることが確かめられた。

【0156】
[かざぐるまフレームレットによるノイズ除去例3]
かざぐるまフレームレットは周波数域の分離機能が高いため、さらに細やかなノイズ除去が可能である。そこで、かざぐるまフレームレットによるノイズ除去例3として、ノイズ画像に対して、7次のかざぐるまフレームレットによるレベル2の最大重複多重解像度分解を行った。そして、レベル1のすべての分解詳細係数と、レベル2の図31に示す分解詳細係数に、例2と同様の方法で閾値処理を行った後、処理画像を得た。ただし、分解詳細係数の取り得る最大値に0.073をかけたものをスレッシュホールドとした(前述の連続的に変化させる方法により定まった値)。図31は、レベル2で閾値処理を行う分解詳細係数を斜線にて示した図である。なお、表の配置は、7次のかざぐるまフレームレットのフィルタ配置に対応している(7次のかざぐるまフレームレットについて図3~図5参照)。図中のgは、分解フェーズにおける近似サブバンド信号を示し、hは、分解フェーズにおける詳細サブバンド信号を表している。

【0157】
図32は、本実施の形態によって7次のかざぐるまフレームレットを用いてレベル2の高周波部分まで閾値処理をした処理画像であり、図33は、その一部を拡大した図である。この場合の評価値は、4.3647であった。ノイズ除去例3では、レベル2の高周波に対応する分解フェーズにおける詳細サブバンド信号にも閾値処理を行うことにより、前述のノイズ除去例1,2よりも更に良い結果が得られた。従来、ウェーブレットを用いたノイズ除去方法では、どのレベルまで閾値処理を行うかという選択しかできなかったが、かざぐるまフレームレットでは、周波数域の分離機能が高いため、このように細かく周波数成分を選択して効果的にノイズ除去を行うことができることが確かめられた。

【0158】
[2.特徴抽出]
本実施の形態における係数処理部102bにより、分解フェーズから出力される近似係数・詳細係数の少なくとも一つを相対的に減衰または増幅することにより画像の特徴抽出を行う例について以下に説明する。

【0159】
[2.(ア)エッジ検出]
従来、エッジ検出の方法としては、単純なフィルタリングの方法やウェーブレットを用いた方法がよく知られている(非特許文献6,7参照)。しかし、かざぐるまフレームレットは、多様な周波数分解能、方位選択性の機能を有するため、従来のエッジ検出の方法に比べて、用途により多様なエッジ検出が可能となることが期待される。

【0160】
図34は、本実施例でエッジ検出のために用いた原画像を示す図である。原画像は、0~255の256階調で、サイズは1536×1536のものを用いた。用いた原画像は、グレースケールであるが、画像がカラーの場合は公知の方法でグレースケールに変換してもよい。

【0161】
[エッジ検出例1]
まず、本実施形態の画像処理装置100を用いて、7次のかざぐるまフレームレットでレベル2の最大重複多重解像度分解を行った。係数処理部102bにより、各分解サブバンド信号に対し、レベル1では図35に示す数値で、レベル2では図36に示す数値で、重みづけを行った。なお、表の配置は、7次のかざぐるまフレームレットのフィルタ配置に対応している(7次のかざぐるまフレームレットについて図3~図5参照)。図中の数値は、サブバンド信号の係数に対する重み付け値である。

【0162】
これにより、エッジに関連する高周波成分が抽出される。取り出された分解サブバンド信号には、エッジ検出に必要のない、あるいは、エッジ検出の妨げとなる絶対値が小さい値も含まれるので、その値を除くために閾値処理を行った。スレッシュホールドの求め方と閾値処理の方法は公知の適切な方法を用いてもよい。本例では、各分解サブバンド信号の採り得る最大値に0.005をかけたものをスレッシュホールドとしハードスレッシュホールドによる閾値処理を行った。これにより各分解サブバンド信号ごとにスレッシュホールドを定めることができる。その後、処理画像取得部102cの処理により、合成フェーズを経た処理画像を得た。

【0163】
エッジ検出の処理画像は、そのままでは表示に適さないので、処理画像出力部102gにより、以下の二つの方法で表示する。なお、エッジ検出の処理画像の表示方法は他の公知の方法を用いてもよい。

【0164】
<打ち切りによる表示>
ヒトの知覚としては、二値化画像より多値画像の方が、エッジを認識し易いことがある。そこで、打ち切りによる表示を行う。具体的には、処理画像のm1より小さい値をm1とし、m2より大きい値をm2とする。

【0165】
図37は、エッジ検出例1により得られた処理画像を打ち切りした画像を示す図である。打ち切り表示において、m1=0、m2=3とした。

【0166】
<二値化による表示>
二値化による表示では、tより小さい値を0としt以上の値を1とすることにより二値化画像を得る。

【0167】
図38は、t=1で二値化した処理画像を示す図である。図37および図38に示すように、本エッジ検出例1による結果、処理画像の画像中央付近と左側に、原画像ではほとんど判別できなかった送電線があることがわかり、本実施の形態のエッジ検出による効果が確かめられた。

【0168】
[エッジ検出例2]
つづいて、かざぐるまフレームレットの方位性を利用したエッジ検出の例として、エッジ検出例2を行った。上述のエッジ検出例1の処理で原画像において送電線を検出することができたが、これをさらに検出するために、この部分の検出に特化した処理を行う。すなわち、エッジ検出例2では、7次のかざぐるまフレームレットでレベル2の最大重複多重解像度分解をし、各分解サブバンド信号に対し、レベル1では図39に示す数値で、レベル2では図40に示す数値で、重みづけを行った。これにより、送電線の向きに近い方向に関連した分解サブバンド信号が得られる。各分解サブバンド信号の取りうる最大値に0.005をかけたものをスレッシュホールドとし、ハードスレッシュホールドによる閾値処理を行い、合成フェーズを経て処理画像を得た。

【0169】
図41は、本エッジ検出例2による打ち切り処理画像であり、図42は、本エッジ検出例2による二値化処理画像を示す図である。この図41では、m1=0、m2=2の打ち切りを行った。図42は、t=0.4で二値化した処理画像を示す図である。

【0170】
図41および図42に示すように、本エッジ検出例2では、送電線以外の部分ではエッジ検出例1よりエッジ検出は劣るが、送電線がよりよく検出されている。

【0171】
ここで、本実施の形態では、エッジ検出結果を利用して画像の鮮鋭化も行うことができる。すなわち、原画像に処理画像を加え重畳させることで、画像の鮮鋭化を行うこともできる。図43は、打ち切り処理をして15倍にした処理画像を原画像に加えた画像を示す図である。図43に示すように、送電線が視認できる画像となっている。

【0172】
[エッジ検出例3]
ここで、以下に、エッジ検出の別方法を示す。すなわち、かざぐるまフレームレットによる多重解像度分解を利用して、エッジにあまり寄与しない分解フェーズのサブバンド信号を0あるいはそれに近い値にすることにより、エッジに寄与する分解フェーズのサブバンド信号を相対的に強調したエッジ検出を行う。これは、閾値の算出を必要としない簡易な方法で、かざぐるまフレームレットの多様な方位選択性や多様な周波数選択性によって可能になるものである。前述の方法に比べ、調整の機能は劣るが、あらかじめ所定のフィルタを設計しておくことにより高速処理が可能である。

【0173】
以下では、次数5のかざぐるまフレームレットの場合を例にして述べる。次数5の場合は、各レベルにおいて、分解フェーズにおける52個のサブバンド信号が得られる。これらの分解サブバンド信号を説明のため、図44に基づいて番号づける。なお、図44は、レベル2の図であるが、他のレベルも同様である。番号は、次のように表記する。
(x1,x2,Z,p)
ここで、pはレベルを表わす数字、Zはaまたはbのどちらかの側(図44の左側の36枚がaに属し、右側の16枚がbに属す)、x1は行、x2は列である。たとえば、(5,4,a,2)の「5」は図44の行、「4」は図44の列、「a」はa,bのうちのa、「2」はレベルである。

【0174】
ウェーブレットの場合は、分解フェーズにおける近似サブバンド信号を構成する成分をすべて0に減衰させる「素朴な方法」(Naive Edge Detection)が知られている([非特許文献6]参照)。この方法を、かざぐるまフレームレットに適用しても良いが、かざぐるまフレームレットの場合、ウェーブレットとは違い、分解フェーズにおける多様な詳細サブバンド信号を有する。そのため、エッジに関係しない分解フェーズにおける詳細サブバンド信号を選出し、その信号の成分を0にするあるいは減衰させることにより相対的にエッジに係わる詳細サブバンド信号を増幅させ、エッジ検出を行うことが可能である。なおこの方法はかざぐるまフレームレット以外でも、たとえば単純かざぐるまフレームレットで実施することも可能である。

【0175】
実施例として、まず原画像のノイズ除去を行う。これは本実施の形態による方法でも、公知の方法でも良い。次に、エッジに寄与しない分解フェーズにおける低周波のサブバンド信号を0にすることにより、相対的にエッジに寄与する分解フェーズにおけるサブバンド信号を増幅させる。例えば、図44の配置で、(1,1,a,1)を含まず、(1,1,a,1)を囲むような領域を複数の方向に扇形状に重複も許して分割する。各分割領域において、その分割領域に属さないサブバンド信号を0、あるいは減衰させることにより、特定の方向をもつエッジを検出することができる。それにより、発見したエッジをさらに抽出する必要がある場合は、対象となるエッジに関係しない分解フェーズにおけるサブバンド信号を減衰させることができる。

【0176】
本実施例は、ノイズ除去として、3次のかざぐるまフレームレットによる最大重複多重解像度分解のレベル1の近似部分として再構成された画像を原画像とした。それに、5次のかざぐるまフレームレットによる最大重複多重解像度分解を行い、山の稜線、電柱、送電線の方位と同じ方位の分解フェーズにおけるサブバンド信号は残すようにし、細かい部分を表わす高周波に関与する分解フェーズのサブバンド信号を0にした。具体的には、(4,3,b,1),(4,2,b,1),(4,3,a,1),(4,2,a,1),(4,1,a,1),(3,4,b,1),(3,3,b,1),(3,2,b,1),(3,3,a,1),(3,2,a,1),(3,1,a,1),(2,3,b,1),(2,2,b,1),(1,2,a,1)以外の分解フェーズのサブバンドは0とした。なお、これは一例であって、さらに用途によって、0にしない分解フェーズのサブバンド信号を選ぶことができる。

【0177】
図45は、本エッジ検出の結果得られた処理画像について、二値化の方法(t=0.37)で表示した画像を示す図であり、図46は、処理画像を打ち切りの方法(m1=0, m2=1)により表示した画像を示す図である。これにより、閾値の算出を行わなくとも簡易な方法でエッジ検出ができることが確かめられた。

【0178】
[2.(イ)その他の特徴抽出]
エッジ検出では高周波の分解サブバンド信号を利用したが、他の周波数域の分解サブバンド信号を利用した画像処理も可能である。かざぐるまフレームレットの高い周波数分解機能と多様な方位選択性を利用して様々な画像処理ができる。また、ノイズ除去、エッジ検出では、分解サブバンド信号に閾値処理を行ったが、他の線形・非線形処理を行って画像処理に適用することもできる。これらの画像処理では、画像の持つある特徴を抽出したり強調したりすることができるので、以下に例を示す。

【0179】
エッジ検出に用いた上述の原画像を、7次のかざぐるまフレームレットでレベル2の最大重複多重解像度分解をし、レベル1の分解サブバンド信号に対しては図47に示す重み付けを行い、レベル2の分解サブバンド信号に対しては図48に示す重み付けを行った。

【0180】
この例ではエッジ検出よりもやや低い周波数の分解サブバンド信号が取り出される。各分解サブバンド信号の取りうる最大値に0.005をかけたものをスレッシュホールドとし、ハードスレッシュホールドによる閾値処理を行った。この閾値処理後の分解サブバンド信号をSとする。合成フェーズを経て処理画像を得た。

【0181】
図49は、m1=-4、m2=0の打ち切りを行った処理画像を示す図である。図49に示すように、画像のやや大まかな特徴が抽出されることが分かった。そこで、処理後の分解サブバンド信号SにSN関数による非線形処理を行った。上述の[SN関数による係数処理の実施例]と同じ方法でα=3/4とした。α<1なので詳細係数の絶対値が小さい値が増幅され、絶対値が大きい値が抑制される。そして、合成フェーズを経た処理画像を得た。

【0182】
図50は、m1=-2、m2=0の打ち切りを行った処理画像を示す図である。図49の例では弱かった部分も、図50では強く現れることが分かった。さらに、処理後の分解サブバンド信号Sにα=4/3としてSN関数による非線形処理を行った。α>1なので詳細係数の絶対値が大きい値が増幅され、絶対値が小さい値が抑制される。合成フェーズを経た処理画像を得た。

【0183】
図51は、m1=-6、m2=0の打ち切りを行った処理画像を示す図である。図51に示すように、山の稜線付近や手前の木など、もともと強い特徴も持つ部分が強調されることが分かった。ここで、処理画像をm1=-6、m2=6で打ち切り処理をし、5倍したものを原画像に加えると、図52に示す鮮鋭化画像が得られる。図52は、m1=0、m2=255で打ち切り処理をして表示している。図52に示すように、山の画像では印象的な稜線が適度に鮮鋭化され見やすい画像となっている。

【0184】
[3.立体感のある特徴抽出]
この例では、合成フェーズを経ずに、また再構成をせずに、処理を加えた分解詳細係数を重みを付けて足し合わせて出力画像とした係数出力処理画像について説明する。2次元の画像でも、物体に一定の方向から光が当たったときにできるような影が表現されていると、その物体に立体感を感じることがある。実際、ヒトのこの知覚の特性を利用して、これまで立体感のある絵画が描かれてきた。

【0185】
かざぐるまフレームレットは多様な方位選択性があり、特に分解フェーズにおけるサブバンド信号を作るフィルタは偶型のみならず、奇型のものを含んでいるので、こういった特性を用いて、人工的に影付のエッジを自動的に作り、立体感のあるエッジ検出画像を作ることができる。なお、この例により得られる立体感は、感覚的なものであり、物理的な立体的広がりを表現しているわけではない。画像を見た人に立体感を感じさせることにより、エッジを視認しやすくすることが目的である。

【0186】
以下の例では、原画像に5次のかざぐるまフレームレットで最大重複多重解像度分解を行った。例えば、以下に述べる実施例の場合は、画像内の蒸気に立体感をもたせるため、蒸気の方向に影がつくように分解フェーズのサブバンド信号のうち、(1,4,a,1),(2,1,a,1)の5倍,(2,2,a,1)の5倍,(3,4,a,1),(2,2,b,1)の5倍,(3,4,b,1)を加算した。ここで、分解サブバンド信号を指定する表記は、上述の「エッジ検出例3」におけるものと同じで、図44に示されている。図53は、原画像であり、図54は、立体感のある特徴抽出を行った結果を示す図である。なお、本例では単一レベル内の処理となっているが、複数のレベルにまたがって重みを付けた分解サブバンド信号を加算する場合は、位置のずれを補正してから加算してもよい。

【0187】
図54に示すように、蒸気が膨らんで見え、立体感があることで通常のエッジ検出よりエッジが視認しやすい。ただし、見え方には個人差があり、蒸気が凹んで見える人もいる。そのため、階調を反転して表示した画像を作成した。図55は、立体感のある特徴抽出を行った出力画像に対し、階調を反転して表示した画像を示す図である。

【0188】
このように、平面画像が影の付け方により、膨らんで見えたり、凹んだり見えたりする目の錯覚は「クレーター錯視」と呼ばれている。立体感のある特徴抽出は、平面画像からクレーター錯視を自動生成するという機能も有している。

【0189】
図53の原画像では地上の様子が蒸気に隠れてわかりにくく、蒸気の様子も分かりにくいが、図54または図55の処理画像では蒸気に立体感が感じられることにより蒸気の様子が分かり易くなっているので、地上の様子も視認しやすい。従来の方法では、地上を覆う蒸気のように、重なり合ったものを分かり易くエッジ検出することは困難であった。本実施の形態では、立体的に重なり合っているものに対しても、視認しやすい処理画像を提供することができるという効果をもたらす。なお、応用例としては、レントゲン写真などの画像処理が考えられる。

【0190】
以上、各種画像処理の例を列挙したが、かざぐるまフレームレットは多様なフィルタを有しているため、用途は上述したものに限られず、フィルタとしても多様な用途に利用することができる。

【0191】
[かざぐるまフレームレット]
本実施の形態で、例として用いているかざぐるまフレームレットは、上述したように公知の単純かざぐるまフレームレットあるいはかざぐるまウェーブレット・フレームなどの方位選択性ウェーブレット・フレーム、或いは方位選択性をもつフィルタ・バンクでもよい。ここで、かざぐるまフレームレットについて以下に説明する。

【0192】
次数をn≧3,奇数として、A=(Ak,l):(n+1)×(n+1)対称行列で、s=0,1・・・,[n/2],t=s,・・・,[n/2]に対して、As,t=An-s,t=As,n-t=An-s,n-t=sを満たす行列をみつける。ただし[]はガウス記号を表す。

【0193】
n=7の場合、条件を満たす行列は以下である。
【数11】
JP0005599520B2_000012t.gif

【0194】
B=(Bk,l):(n+1)×(n+1)行列とすると、以下の条件(P)を満たす行列である。
【数12】
JP0005599520B2_000013t.gif
【数13】
JP0005599520B2_000014t.gif

【0195】
【数14】
JP0005599520B2_000015t.gif
【数15】
JP0005599520B2_000016t.gif
ここで、Mは、方形格子、五の目格子、あるいは六角格子のサンプリング行列である。

【0196】
【数16】
JP0005599520B2_000017t.gif
【数17】
JP0005599520B2_000018t.gif
【数18】
JP0005599520B2_000019t.gif

【0197】
補題2(H.&S.Arai,2008) Pが方形格子,五の目格子,六角格子に関するフレームレット・フィルタであるための必要十分条件は、B=(Bk,l)が以下の条件をみたすことである。
【数19】
JP0005599520B2_000020t.gif

【0198】
<上記条件を満たすB=(Bk,l)の求め方>
{(k,l):k=0,1,・・・,n,l=s,・・・,n,}を次のように順序付ける。
【数20】
JP0005599520B2_000021t.gif

【0199】
μ=(k,l),ν=(k´,l´)
【数21】
JP0005599520B2_000022t.gif
【数22】
JP0005599520B2_000023t.gif
【数23】
JP0005599520B2_000024t.gif

【0200】
定理3(H.&S.Arai,2008)以上で得たB=(Bk,l)は補題2を満たす。したがって、Pは方形格子,五の目格子,六角格子に関するフレームレット・フィルタになっている。Pを、次数nのかざぐるまフレームレット(pinwheel framelet of degree n)とよぶ。図56は、レベル2における最大重複かざぐるまフレームレット・フィルタ(maximal overlap pinwheel framelet filters at level 2)にレベル1の近似フィルタを循環相関積して得たフィルタを示す図である。また、図57は、テスト画像に対し、かざぐるまフレームレットによりレベル2の最大重複多重解像度分解(2nd stage of maximal overlap MRA decomposition by pinwheel framelet)を行った結果の各合成サブバンド信号を示す図である。

【0201】
以上で、本実施の形態の説明を終える。

【0202】
以上詳述に説明したように、本実施の形態によれば、自然な画像鮮鋭化や様々なエッジの検出やノイズ除去など多様な画像処理を行うことができる、画像処理装置、画像処理方法、および、プログラム、並びに、印刷媒体、および、記録媒体を提供することができるので、医療画像、航空写真、衛星画像等の画像処理や画像解析等の分野において極めて有用である。また、本実施の形態によれば、カラー画像に対して自然な画像鮮鋭化を行うことができる、画像処理装置、画像処理方法、および、プログラム、並びに、印刷媒体、および、記録媒体を提供することができる。特に、色の対比錯視は、製品等の色の見え方に関わることであるので、色彩の施された製品等を製造・販売等する産業(印刷、デザイン、映像、塗装等の産業)の他、映像等のサービスを提供するサービス業等において極めて有用である。

【0203】
[他の実施の形態]
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

【0204】
例えば、上述した実施の形態における色空間として、CIE(国際照明委員会)均等知覚色空間(L表現系)を用いた例について説明した場合があるが、これに限られず、ヒトの視覚に近い色空間であれば他の色空間における色成分を用いてもよい。

【0205】
例えば、画像処理装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、画像処理装置100は、クライアント端末(画像処理装置100とは別筐体)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。例えば、画像処理装置100は、ASPサーバとして構成され、ユーザ端末からネットワーク300を介して送信された原画像データを受信し、この原画像データに基づいて加工した処理画像の再構成画像データを、ユーザ端末に返信してもよい。

【0206】
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

【0207】
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

【0208】
また、画像処理装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

【0209】
例えば、画像処理装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置100に機械的に読み取られる。すなわち、ROMまたはHDD(Hard Disk Drive)などの記憶部106などには、OS(Operating System)として協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。

【0210】
また、このコンピュータプログラムは、画像処理装置100に対して任意のネットワーク300を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

【0211】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD-ROM、MO、DVD、および、Blu-ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。

【0212】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

【0213】
記憶部106に格納される各種のデータベース等(フレームレットファイル106a、画像データファイル106b)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

【0214】
また、画像処理装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。

【0215】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施の形態を任意に組み合わせて実施してもよく、実施の形態を選択的に実施してもよい。
【符号の説明】
【0216】
100 画像処理装置
102 制御部
102a 分解部
102b 係数処理部
102c 処理画像取得部
102d 再構成部
102f 色空間変換部
102g 処理画像出力部
104 通信制御インターフェース部
106 記憶部
106a フレームレットファイル
106b 画像データファイル
108 入出力制御インターフェース部
112 入力装置
114 出力装置
200 外部システム
300 ネットワーク
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図22】
11
【図23】
12
【図24】
13
【図25】
14
【図26】
15
【図27】
16
【図28】
17
【図29】
18
【図30】
19
【図31】
20
【図32】
21
【図33】
22
【図35】
23
【図36】
24
【図37】
25
【図38】
26
【図39】
27
【図40】
28
【図41】
29
【図42】
30
【図44】
31
【図45】
32
【図46】
33
【図47】
34
【図48】
35
【図49】
36
【図50】
37
【図53】
38
【図54】
39
【図55】
40
【図56】
41
【図57】
42
【図12】
43
【図13】
44
【図14】
45
【図15】
46
【図16】
47
【図17】
48
【図18】
49
【図19】
50
【図20】
51
【図21】
52
【図34】
53
【図43】
54
【図51】
55
【図52】
56