TOP > 国内特許検索 > 画像変換装置、画像変換方法、及び画像変換プログラム > 明細書

明細書 :画像変換装置、画像変換方法、及び画像変換プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2014-107700 (P2014-107700A)
公開日 平成26年6月9日(2014.6.9)
発明の名称または考案の名称 画像変換装置、画像変換方法、及び画像変換プログラム
国際特許分類 H04N   1/41        (2006.01)
G06T   9/00        (2006.01)
FI H04N 1/41 B
G06T 9/00
請求項の数または発明の数 4
出願形態 OL
全頁数 23
出願番号 特願2012-259174 (P2012-259174)
出願日 平成24年11月27日(2012.11.27)
発明者または考案者 【氏名】村松 正吾
出願人 【識別番号】304027279
【氏名又は名称】国立大学法人 新潟大学
個別代理人の代理人 【識別番号】100079049、【弁理士】、【氏名又は名称】中島 淳
【識別番号】100084995、【弁理士】、【氏名又は名称】加藤 和詳
【識別番号】100099025、【弁理士】、【氏名又は名称】福田 浩志
審査請求 未請求
テーマコード 5B057
5C178
Fターム 5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB18
5B057CD05
5B057CG01
5C178AC07
5C178BC52
5C178BC65
5C178DC03
5C178HC04
5C178HC06
5C178HC09
要約 【課題】画像の画質を効果的に向上させることができる画像変換装置、画像変換方法、及び画像変換プログラムを提供する。
【解決手段】本実施の形態の非分離冗長重複変換のためのラティス構成である画像変換装置10の変換器12(順変換D)は、多次元対称変換処理、冗長な表現を与える零値挿入拡張処理、及び拡張処理から構成される。また、逆変換器14は、基底(フレーム)成分結合処理、変換器12の零値挿入拡張処理で挿入した零値に応じた係数を棄却する係数棄却処理、及び多次元対称逆変換処理から構成される。
【選択図】図2
特許請求の範囲 【請求項1】
画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換処理、前記多次元対称変換処理された前記画像データに零値を挿入する零値挿入拡張処理、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張処理の各処理を順次行って前記画像データの変換係数を出力する変換器と、
前記変換器から出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合処理、前記成分結合された前記画像データの変換係数に前記零値挿入拡張処理で挿入した前記零値に応じて係数を棄却する係数棄却処理、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換処理に応じた多次元対称逆変換処理を行う多次元逆変換処理の各処理を順次行って前記画像データを復元する逆変換器と、
を備えた画像変換装置。
【請求項2】
前記変換器の前記零値挿入拡張処理では、チャネル数を前記間引き率で除した値に基づく個数の零値が挿入される請求項1に記載の画像変換装置。
【請求項3】
画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換工程、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張工程、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張工程の各工程を順次行って前記画像データの変換係数を出力する変換工程と、
前記変換工程により出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合工程、前記成分結合された前記画像データの変換係数に前記零値挿入拡張工程で挿入した前記零値に応じて係数を棄却する係数棄却工程、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換工程に応じた多次元対称逆変換を行う多次元逆変換工程の各工程を順次行って前記画像データを復元する逆変換工程と、
を備えた画像変換方法。
【請求項4】
画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換ステップ、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張ステップ、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張ステップの各ステップを順次行って前記画像データの変換係数を出力する変換ステップと、
前記変換ステップにより出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合ステップ、前記成分結合された前記画像データの変換係数に前記零値挿入拡張ステップで挿入した前記零値に応じて係数を棄却する係数棄却ステップ、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換ステップに応じた多次元対称逆変換を行う多次元逆変換ステップの各ステップを順次行って前記画像データを復元する逆変換ステップと、
を備えた処理をコンピュータに実行させるための画像変換プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像変換装置、画像変換方法、及び画像変換プログラムに関する。
【背景技術】
【0002】
画像・映像処理装置、例えば、医療・福祉機器、防災・監視機器、自動車・産業機器等、カメラによって取得される観察画像を記録、伝送、及び解析等する機器一般において、フィルタバンク(変換ともいう)が用いられている。信号の時空間-周波数分析および合成機能を与えるフィルタバンクは、圧縮、通信、ノイズ除去、信号復元、及び特徴抽出等の幅広い応用をもち、信号処理分野では必要不可欠な処理要素となっている。
【0003】
フィルタバンクとして、静止画像符号化方式JPEGや動画像符号化方式MPEG-2等では二次元離散コサイン変換(DCT)を採用している。また、静止画像符号化方式JPEG2000等では二次元離散ウェーブレット変換を採用している。また、離散コサイン変換や離散ウェーブレット変換のシフト不変構成も広く利用されている。
【0004】
また一般に、画像処理においては、実係数の有限インパルス応答(FIR)かつ、直線位相(LP)特性を有するフィルタが好まれて利用される。FIRシステムは安定性のほか、フィルタ処理の影響が局所的に収まる利点がある。LP特性は、フィルタ係数の対称性から演算コスト等が削減でき、位相歪を生じない利点がある。このようなフィルタバンクとして、多次元直線位相パラユニタリフィルタバンク(MD-LPPUFB)が知られている(非特許文献1参照)。
【0005】
また、Contourlet変換が知られている(非特許文献2参照)。Contourlet変換は、非分離、有理数冗長度、直線位相(LP)、及び実係数の有限インパルス応答(FIR)を同時に満たすこと可能である。Contourlet変換は、斜め方向のエッジやテクスチャの画像復元に高い性能を示す。
【0006】
さらにその他のフィルタバンクとしては、非分離重複直交変換があり、当該変換は、斜め方向のエッジやテクスチャの表現に強い利点がある。
【先行技術文献】
【0007】

【非特許文献1】S. Muramatsu、 A. Yamada、 and H. Kiya、 “A designmethod of multidimensional linear-phase paraunitaryfilter banks with a lattice structure、” IEEE Trans. SignalProcess.、 vol.47、no.3、 pp.690-700、 Mar. 1999.
【非特許文献2】M.N. Do and M. Vetterli、 “The contourlet transform:An efficient directional multiresolution image representation、”IEEE Trans. Image Process.、 vol.14、 no.12、pp.2091-2106、 Dec. 2005.
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来では、圧縮技術を中心に冗長性のない水平・垂直独立な画像変換技術が広く利用されていた。例えば、上記の離散コサイン変換や離散ウェーブレット変換である。しかしながら、冗長性や指向性を持つ変換が復元処理などにおいて高い性能を示すことが様々な研究例から明らかになり、冗長性や指向性をもつ変換の研究開発が盛んとなっている。
【0009】
例えば、冗長(R>1)フィルタバンクは、その設計の自由度が高いという利点がある。さらに、一つの合成器に対し、ある画像X(z)を表現するサブバンド信号Yp(z)が無数に存在するため、スパース性尺度の導入により、少ない係数でよい近似表現を得ることができる。冗長フィルタバンクは、ベクトル空間におけるフレーム理論と密接な関係がある。冗長表現は、無数の候補の中から最適な変換係数を探索することを可能とし、高性能な信号復元に有利な性質である。そのため冗長系は、圧縮応用の他、ぼけ除去、超解像、及び画像修復といった画像復元に応用され、その有効性が確認されている。
【0010】
冗長系を構築する方法の一つに、複数の最大間引きフィルタバンクを併用し混成構成にする方法がある。また、最大間引きフィルタバンクを利用し、非間引き構成とする方法がある。しかしながらいずれも冗長系の自由度を活用した設計が困難である。さらに、冗長度は整数に限られ、特に後者は冗長度が高くなる傾向がある。
【0011】
上述した二次元離散コサイン変換及び二次元離散ウェーブレット変換は、冗長性がなく、変換係数の選択に自由度がない。また、二次元離散コサイン変換及び二次元離散ウェーブレット変換は、一次元フィルタバンクを縦続接続して可分離構成とした二次元システムであるため、斜め方向のエッジやテクスチャ表現に弱く、高圧縮時に不快な歪を生じる問題がある。
【0012】
また、離散コサイン変換及び離散ウェーブレット変換のシフト不変構成は、冗長度が膨大になる問題がある。また、水平・垂直独立な処理のため斜め方向のエッジやテクスチャの表現に弱い欠点がある。
【0013】
Contourletは冗長変換であるが、構成要素に最大間引きシステムを必要とする点から、上述したように冗長度の自由度やエネルギー保存の性質、パラユニタリ(PU)性の実現に制約が伴う。なお、PU性はタイトフレームに対応し、画像復元アルゴリズムが簡便になるなどの利点がある。
【0014】
また、非分離重複直交変換は、冗長度が整数に限られる制約がある。
【0015】
このように従来の技術では、可分離であることや、冗長性等の要因により、フィルタバンク(変換)により得られる画像の画質が劣化する問題が生じる懸念がある。
【0016】
本発明は、画像の画質を効果的に向上させることができる画像変換装置、画像変換方法、及び画像変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【0017】
上記目的を達成するために、本発明の画像変換装置は、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換処理、前記多次元対称変換処理された前記画像データに零値を挿入する零値挿入拡張処理、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張処理の各処理を順次行って前記画像データの変換係数を出力する変換器と、前記変換器から出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合処理、前記成分結合された前記画像データの変換係数に前記零値挿入拡張処理で挿入した前記零値に応じて係数を棄却する係数棄却処理、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換処理に応じた多次元対称逆変換処理を行う多次元逆変換処理の各処理を順次行って前記画像データを復元する逆変換器と、を備える。
【0018】
また、本発明の画像変換装置の前記変換器の前記零値挿入拡張処理では、チャネル数を前記間引き率で除した値に基づく個数の零値が挿入される。
【0019】
本発明の画像変換方法は、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換工程、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張工程、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張工程の各工程を順次行って前記画像データの変換係数を出力する変換工程と、前記変換工程により出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合工程、前記成分結合された前記画像データの変換係数に前記零値挿入拡張工程で挿入した前記零値に応じて係数を棄却する係数棄却工程、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換工程に応じた多次元対称逆変換を行う多次元逆変換工程の各工程を順次行って前記画像データを復元する逆変換工程と、を備える。
【0020】
本発明の画像変換プログラムは、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換ステップ、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張ステップ、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張ステップの各ステップを順次行って前記画像データの変換係数を出力する変換ステップと、前記変換ステップにより出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合ステップ、前記成分結合された前記画像データの変換係数に前記零値挿入拡張ステップで挿入した前記零値に応じて係数を棄却する係数棄却ステップ、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換ステップに応じた多次元対称逆変換を行う多次元逆変換ステップの各ステップを順次行って前記画像データを復元する逆変換ステップと、を備えた処理をコンピュータに実行させるためのものである。
【発明の効果】
【0021】
以上説明したように、本発明によれば、画像の画質を効果的に向上させることができる、という効果が得られる。
【図面の簡単な説明】
【0022】
【図1】本実施の形態の画像変換装置が用いられるサイバーフィジカルシステムの一例の概要を示す概要図である。
【図2】本実施の形態に係る画像変換装置の構成の一例を示す構成図である。
【図3】本実施の形態に係る画像変換装置の変換器で行われる各処理の流れの一例のフローチャートである。
【図4】本実施の形態に係る画像変換装置の逆変換器で行われる各処理の流れの一例のフローチャートである。
【図5】一般的な二次元フィルタバンクの並列構成の一例を示す構成図である。
【図6】本実施の形態に係るNSOLTの変換器のラティス構成の一例の詳細を説明するための構成図である。
【図7】本実施の形態に係るNSOLTの理想周波数特性の通過域割り当ての一例として、チャネル数P=5の場合を示す説明図である。
【図8】本実施の形態に係るNSOLTの設計の一例を示す説明図である。
【図9】画像劣化及び画像復元モデルの一例を説明するための説明図である。
【図10】本実施の形態に係る変換器(順変換D)及び逆変換器(逆変換D)とをISTAの復元アルゴリズムに適用した場合の流れを示す流れ図である。
【図11】本実施の形態に係る画像変換装置(変換器及び逆変換器)と、比較例の既存の変換装置(変換方法)との修復結果を示す説明図である。
【発明を実施するための形態】
【0023】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。

【0024】
まず、本実施の形態の画像変換装置が用いられるサイバーフィジカルシステム(Cyber Physical System)について説明する。図1には、本実施の形態の画像変換装置が用いられるサイバーフィジカルシステムの一例の概要図を示す。図1に示すように、サイバーフィジカルシステムとは、実世界に設けられたセンサノードから得られる種々の情報を、サイバー空間のコンピューティング能力により分析・融合等され、サイバー空間から実世界へフィードバックが行われることにより、サイバー空間と密接に連携して社会的な課題を解決するシステムである。

【0025】
例えば、画像・映像処理装置、医療・福祉機器、防災・監視機器、自動車・産業機器等カメラによって取得される観測画像を記録、伝送、解析する機器一般に利用できる。実世界には、センサ、信号処理機能、パターン認識機能、無線通信機能、及びバッテリー(或いは自立発電装置)等を搭載したセンサノード4と、呼ばれる小型機器が無数に散りばめられておりネットワークを構成している。これらのセンサノード4からセンサ情報が、サイバー空間に設けられた処理機器8に送られる。サイバー空間に設けられた処理機器8では、センサ情報を分析等することにより、実世界に対して、指示や操作等を行う。

【0026】
例えば、本実施の形態の画像変換装置(画像変換方法及び画像変換プログラム)は、屋外に設置したカメラで撮影した画像等を鮮明に復元するためにセンサノード4上で利用することができる。また本実施の形態の画像変換装置(画像変換方法及び画像変換プログラム)は、各カメラでの演算コスト、通信コストを節約するためにサーバー側で画像復元を行うために処理機器8上でも利用することができる。さらに本実施の形態の画像変換装置(画像変換方法及び画像変換プログラム)は、回路構成やソフトウェアモジュールを定義するIP(知的財産)コアという形式で広く電子機器産業界に用いられるものである。

【0027】
次に、本実施の形態の画像変換装置の概略について説明する。図2に、本実施の形態の画像変換装置の全体構成の概略図を示す。本実施の形態の画像変換装置10は、順変換器(以下、単に変換器という)12と、逆変換器14と、を備える。図2に示すように、本実施の形態の画像変換装置10は、非分離構成の冗長フィルタバンクであるため、以下では、非分離冗長重複変換(Non-Separable Oversampled Lapped Tramsform)と呼び、NSOLTと略して称する場合がある。

【0028】
変換器12で行われる各処理の流れの一例のフローチャートを図3に示す。変換器12は、多次元対称変換処理(ステップS100)、零値挿入拡張処理(ステップS102)、及び拡張処理(ステップS104~ステップS114)から構成される。変換器12は、多次元対称変換処理(ステップS100)に続けて、冗長な表現を与える零値挿入拡張処理(ステップS102)を行う。本実施の形態では、当該零値挿入拡張処理において挿入する零値の個数は、チャネル数と間引き率に応じて定めることができる。零値を挿入した後、基底(フレーム)の対称性を保持しながら、基底(フレーム)サポート領域の拡張処理(ステップS104~ステップS114)を行うことにより、観測データ(原画像データ)の変換係数が出力される。当該拡張処理は、行列演算(ステップS104、ステップS112)、中間係数に対するバタフライ演算(ステップS106、ステップS110)、及び上下左右のブロックシフト処理(ステップS108)から構成される。拡張処理では、行列演算、バタフライ演算、及びブロックシフト処理が繰り返し行われ(ステップS114でN)、所定回数(y回)繰り返した後(ステップS114でY)、変換係数が出力される。変換器12では、行列を制御することで種々の対称な基底(フレーム)を構築できる他、ブロック処理による実現が可能となる。なお、図中の「-」は、1ブロックの遅延を表している。

【0029】
また、逆変換器14で行われる各処理の流れの一例のフローチャートを図4に示す。逆変換器14は、順変換器と逆の手続きにより実現される。逆変換器14は、基底(フレーム)成分結合処理(ステップS200~ステップS210)、係数棄却処理(ステップS212)、及び多次元対称逆変換処理(ステップS214)から構成される。基底(フレーム)成分結合処理(ステップS200~ステップS210)は、上述した変換器12の拡張処理と同様に、逆行列演算(ステップS200、ステップS208)、バタフライ演算(ステップS202、ステップS206)、及び上下左右のブロックシフト処理(ステップS204)から構成される。成分結合処理では、行列演算、バタフライ演算、及びブロックシフト処理が繰り返し行われ(ステップS2104でN)、所定回数(y回)繰り返した後(ステップS210でY)、さらに、上述した変換器12の零値挿入拡張処理で挿入した零値に応じて係数を棄却する係数棄却処理(ステップS212)が行われる。係数棄却後、上述した変換器12の多次元対称変換処理に応じた多次元対称逆変換処理を行うことにより、変換器12により得られた変換係数から、逆変換器14により元の画像を再構成(復元)するこができる。

【0030】
さらに、本実施の形態の画像変換装置10の構成について詳細に説明する。ここで、本実施の形態の画像変換装置10の構成について詳細に説明をする前に、本実施の形態の画像変換装置10の前提として、二次元冗長LPPUフィルタバンクについて概説する。

【0031】
全ての間引き行列が等しい二次元等分割フィルタバンクのポリフェーズ表現について説明する。さらに、LP条件及びPU条件を示し、対称性とポリフェーズ次数、及び分割数に関する重要な性質について述べる。

【0032】
図5に、一般的な二次元フィルタバンクの並列構成を示す。フィルタバンクは分析器(Analysis bank、本実施の形態の変換器12に対応)と合成器(Synthesis bank、本実施の形態の逆変換器14に対応)から構成される。なお、図5中に示したzは、二次元z変換領域の2×1複素変数ベクトル(z,zである。また、H(z)及びF(z) はp番目の分析フィルタと合成フィルタの伝達関数を示し、↓M及び↑Mは行列Mによる間引き処理と零値挿入処理をそれぞれ示している。また、Pはチャネル数を表している。可分離システムは,独立な一次元システムの縦続構成に帰着でき、全てのH(z)及びF(z) が単変量伝達関数の積で表現され、Mは対角行列となる。

【0033】
p番目チャネルの間引き率MはM=|det(M)|と与えられる。Mの逆数の総和Rは、冗長度を示しており、下記(1)式で表される。

【0034】
【数1】
JP2014107700A_000003t.gif
・・・(1)

【0035】
冗長度R=1のシステムは、最大間引きフィルタバンクと呼ばれる。一方、R>1のシステムは冗長フィルタバンクと呼ばれる。なお、任意の入力X(z)に対し、出力X^(z)がシフトとスケーリングとを除いて入力X(z)と一致する条件を完全再構成(PR)条件と呼ぶ。フィルタバンクがPR条件を満たすためには、R≧1が必要となる。

【0036】
図5において、M=M、p=0、1、2、・・・、P-1とする。間引き率はM=M=|det(M)|と与えられる。

【0037】
いま、下記(2)式で表される分析フィルタバンクは、下記(3)式で表される。

【0038】
【数2】
JP2014107700A_000004t.gif
・・・(2)


【0039】
【数3】
JP2014107700A_000005t.gif
・・・(2)


【0040】
いま、下記(4)式で表される合成フィルタバンクは、下記(5)式で表される。

【0041】
【数4】
JP2014107700A_000006t.gif
・・・(4)


【0042】
【数5】
JP2014107700A_000007t.gif
・・・(5)


【0043】
このように、それぞれが、二変量多項式行列E(z)、R(z)によって表現できる。なお、本実施の形態では、上付き「T」は転置を示し、d(z)は、二次元の遅延鎖を表すM×1ベクトルである。E(z)、R(z)はポリフェーズ行列と呼ばれ、それぞれのサイズはP×M、M×Pである。間引き率M、チャネル数P、及び冗長度Rは、R=P/Mと関係する。なお、Mが対角行列で、その対角要素がM、Mであるとき、下記(6)式のようになる。

【0044】
【数6】
JP2014107700A_000008t.gif

【0045】
また、M=Mとなり、遅延鎖d(z)の各要素は、下記(7)式のように与えられる。

【0046】
【数7】
JP2014107700A_000009t.gif
・・・(7)

【0047】
次に、直線位相(LP)条件について説明する。全てのフィルタH(z)、F(z)が同じサイズL×L=(N+1)M×(N+1)Mを持つと仮定する。このとき、ポリフェーズ次数 ̄nは、 ̄n=(N,Nと与えられ、分析器および合成器のLP条件は、それぞれ、下記(8)式及び(9)式と表現される。

【0048】
【数8】
JP2014107700A_000010t.gif
・・・(8)


【0049】
【数9】
JP2014107700A_000011t.gif
・・・(9)

【0050】
ここで、Jは、M×Mの反転行列、Γは対角要素が「1」か、「-1」のP×Pの対角行列である。なお、「1」は、偶対称フィルタ、「-1」は、奇対称フィルタに対応する。

【0051】
さらに、パラユニタリ(PU)条件について説明する。ここでは、フィルタ係数が実数であると仮定する。分析器、合成器のPU条件は、それぞれ、下記(10)式及び(11)式と与えられる。

【0052】
【数10】
JP2014107700A_000012t.gif
・・・(10)

【0053】
【数11】
JP2014107700A_000013t.gif
・・・(11)


【0054】
ここで、Iは、M×Mの単位行列である。合成器がPUシステムならばPR条件R(z)E(z)=Iを満たす分析器のポリフェーズ行列E(z)は、下記(12)式と与えられる。

【0055】
【数12】
JP2014107700A_000014t.gif
・・・(12)


【0056】
同様にPU性を満たす。なお、冗長系(R>1)の場合、PR条件を満たすフィルタバンク対は一意に定まらない。上記(12)式は、下記(13)式で表されるサブバンド信号のエネルギー(標準ノルム)を最小化する点で最適な解であるが、一つの選択に過ぎない。

【0057】
【数13】
JP2014107700A_000015t.gif
・・・(13)


【0058】
なお、与えられた合成器に対し、他の評価尺度によって最適な分析器を探すことや直接、上記(13)式で表されるサブバンド信号を探すことも可能である。
PUシステムは、タイトフレームに対応しており、画像処理応用の際、アルゴリズムが簡便になることや、設計パラメータを減らせる利点がある。
以下に、多次元非分離システムのポリフェーズ次数、間引き率、及びチャネル数とフィルタの対称性について定理を示す。なお、一次元冗長LPPRフィルタバンク(OLPPRFB)について同様の定理が、非特許文献である、L. Gan and K.-K. Ma、 “Oversampled linear-phase perfectreconstruction filterbanks: theory、lattice structure and parameterization、” IEEE Trans. Signal Process.、vol.51、 no.3、 pp.744-759、 March 2003.に記載されている。なお、定理1の証明は、本非特許文献に示されているためここでは説明を省略する。

【0059】
定理1.間引き率M=MのPチャネル冗長PRフィルタバンクに対し、全てのフィルタのサポート領域が等しくL×L=(N+1)M×(N+1)Mであると仮定する。偶対称フィルタ数pと奇対称フィルタ数p=P-pは、以下の必要条件を満たさなければならない。
1.Mが偶数。N、Nは任意。M/2≦p≦P-M/2、かつM/2≦p≦P-M/2。
2.Mが奇数。N、Nの両方が偶数。(M+1)/2≦p≦P-(M-1)/2、かつ(M-1)/2≦p≦P-(M+1)/2。
3.Mが奇数。N及びNの少なくとも一方が奇数。(M+1)/2≦p≦P-(M+1)/2、かつ(M+1)/2≦p≦P-(M+1)/2。

【0060】
さらに、下記(14)式で表される伝搬行列の条件について説明する。PチャネルM間引きLPPRフィルタバンクのラティス構成について述べる。

【0061】
【数14】
JP2014107700A_000016t.gif
・・・(14)


【0062】
同ラティス構成は、ポリフェーズ行列E(z)の上記(14)式で表される伝搬行列による下記(15)式の縦続表現が与えられる。

【0063】
【数15】
JP2014107700A_000017t.gif
・・・(15)


【0064】
ここで、E0(z)は、P×Mの初期行列であり、ポリフェーズ次数を ̄n0=(Ny0,Nx0とする。下記(16)式及び(17)式で表される伝搬行列をそれぞれ下記(16)式及び(17)式と共に示したポリフェーズ次数をもつP×P伝搬行列とする。

【0065】
【数16】
JP2014107700A_000018t.gif
・・・(16)


【0066】
【数17】
JP2014107700A_000019t.gif
・・・(17)


【0067】
上記(14)式で表される伝搬行列の条件は以下の定理2及び定理3のように示される。なお、定理2及び定理3の証明は、上記定理1と同様に定理1で示した非特許文献に示されているためここでは説明を省略する。

【0068】
定理2.上記(15)式において、伝搬行列がそれぞれ、FIRで可逆、かつ、下記(18)式を満たすとき、E(z)は、全てのフィルタがサイズL×L=(Ky1+Ny0+1)M×(Kx1+Nx0+1)Mの冗長LPPRフィルタバンクに対応する。

【0069】
【数18】
JP2014107700A_000020t.gif
・・・(18)


【0070】
定理3.もし、伝搬行列及びd∈{y,x}が可逆、かつ、Nd1=1で、上記(18)式を満たすならば、p=pである。
一次元と同様、上記定理3により、二次元非分離冗長LPPRフィルタバンクも以下の二つのタイプに分類される。
Type-1:p=p、Nd1=1、d∈{y,x}
Type-2:p≠p、Nd1≠1、d∈{y,x}
このような前提にたったうえで次に、本実施の形態の変換器12及び逆変換機14に対応する、間引き行列Mが対角行列diag(M,M)で与えられるM等分割非分離LPPUFフィルタバンクのラティス構成の詳細について説明する。すなわち、チャネル数Pが偶数及び奇数の場合について、具体的なラティス構成を示す。準備として、P×Pバタフライ行列Bを下記(19)式のように定義する。下記(19)式において「0」は零ベクトルを意味する。

【0071】
【数19】
JP2014107700A_000021t.gif

・・・(19)

【0072】
まず、上記Type-1にあたる、チャネル数Pが偶数の場合について説明する。
=pと設定可能である。従って、上記定理3よりType-1、すなわち、次数Nd1=1の上記(14)式で表される伝搬行列によりラティスを構成できる。ラティス構成(変換器12)の構成の一例を図6(a)に示す。
対応するポリフェーズ行列E(z)は、下記(20)式のように表現される。

【0073】
【数20】
JP2014107700A_000022t.gif
・・・(20)


【0074】
なお、本構成は間引き率Mが偶数、奇数いずれの場合にも対応する。ただし、下記(21)式の通りである。

【0075】
【数21】
JP2014107700A_000023t.gif

・・・(21)

【0076】
ここで、0は零行列であり、下記(22)式で表される行列は、任意の正規直交行列である。また、初期行列E(z)として、二次元DCTを下記(23)式で示した行列表現と下記(24)式の行列との積を採用する。

【0077】
【数22】
JP2014107700A_000024t.gif
・・・(22)


【0078】
【数23】
JP2014107700A_000025t.gif
・・・(23)


【0079】
【数24】
JP2014107700A_000026t.gif
・・・(24)


【0080】
(z)=Rの次数は、 ̄n=(N,Nx0=(0,0)、W、下記(25)式で表される行列は、任意の正規直交行列である。上記(20)式のE(z)が、上記(8)式及び(10)式を同時に満たすことは容易に確認できる。

【0081】
【数25】
JP2014107700A_000027t.gif
・・・(25)


【0082】
次に、上記Type-2の場合について説明する。

【0083】
≠pと設定可能であり、以下では、一例としてp>pと設定する。上記定理3よりType-2、すなわち、次数Nd1≠1の上記(14)式で表される伝搬行列が必要となる。次数Nd1=2の伝搬行列を用いたラティス構成(変換器12)の一例を、図6(b)に示す。
対応するポリフェーズ行列E(z)は、下記(26)式のように表現される。

【0084】
【数26】
JP2014107700A_000028t.gif
・・・(26)


【0085】
間引き率Mは偶数、奇数いずれにも対応する。ここで、下記(27)式に示す関係がある。ただし、下記(28)式で表された行列は、任意の正規直交行列である。初期行列E(z)として二次元DCTを行列表現した上記(23)式と、上記(24)式で表した行列との積を採用する。ただし、W、Uは、下記(29)式である。

【0086】
【数27】
JP2014107700A_000029t.gif
・・・(27)


【0087】
【数28】
JP2014107700A_000030t.gif
・・・(28)


【0088】
【数29】
JP2014107700A_000031t.gif
・・・(29)


【0089】
上記(26)式のE(z)が、上記(8)式及び(10)式を同時に満たすことは容易に確認できる。

【0090】
なお、Type-2で示した構成の場合、奇数のN、Nに対応するためには、初期行列E(z)の各方向あるいは全方向の次数Nd0、d∈{y,x}を1に設定しなければならない。ここでは、初期行列E(z)の奇数次の設定については割愛する。
なお、上記図6では、変換器12について詳細に示したが、逆変換器14(図2参照)についても、同様に考えればよい。

【0091】
さらに、直流無漏洩(No-DC-leackage) 条件について説明する。一つの低域通過フィルタH(z)のみに非零の直流利得を与え、他のフィルタH(z)、p>0では、直流を消失させる直流無漏洩(No-DC-leackage) 性は、画像処理を対称とした最大間引きフィルタバンクの重要な性質である。上記(20)式及び(26)式に示した冗長システムに対して以下の定理が成り立つ。

【0092】
定理4.上記(20)式及び(26)式において、正規直交行列W、Wl{d}、l=1,2,・・・、N/2、d∈{y,x}が任意の下記(30)式の可逆行列を用いて、下記(31)式と、表されるならば、対応するフィルタバンクは直流無漏洩条件を満たす。

【0093】
【数30】
JP2014107700A_000032t.gif
・・・(30)


【0094】
【数31】
JP2014107700A_000033t.gif
・・・(31)


【0095】
定理4の証明は、以下のようになる。任意の非零値cに対して条件E(z)d(z)|z=1=(c,0,0,・・・,0)を満たせばよい。Ed(1)=E1={√M,0,0,・・・,0)及びQ(z)=Q(1)=Iの関係から、上記(31)式で示したW、Wl{d}の条件が導出される。

【0096】
次に、本実施の形態の画像変換装置10(画像変換方法)の有効性を示すために、いくつかの設計例について説明する。
まず、一例として、間引き率M=1×1の場合について説明する。本ラティス構成は、特殊な場合として、非間引きHaar変換を含む。非間引きHaar変換は、以下の設定で与えられる。
間引き率:M=M=1(M=1)
チャネル数:P=4(Type-1、 冗長度R=4)
ポリフェーズ次数:N=N=1
パラメータ行列:W=I、U=J、U1{x}=J、U1{y}=I
なお、チャネル数Pや次数N、N、及びパラメータ行列を変更することで他の非間引きLPPUフィルタバンクも構築できる。

【0097】
次に、一例として、間引き率M=2×2の場合について説明する。本ラティス構成は、特殊な場合として、通常のHaar変換を含む。Haar変換は、以下の設定で与えられる。
間引き率:M=M=2(M=4)
チャネル数:P=4(Type-1、 冗長度R=1)
ポリフェーズ次数:N=N=0
パラメータ行列:W=I、U=I
さらに、有理数の冗長度Rを与えるNSOLTの例として、フィルタの周波数仕様を与え、最適化設計を行う例を示そう。以下では、チャネル数P=5の場合について各チャネルの理想周通過域を下記(32)式のように設定する。

【0098】
【数32】
JP2014107700A_000034t.gif
・・・(32)



【0099】
ΩI0cは、[-π,π)におけるΩI0の補空間、また、下記(33)式とする。

【0100】
【数33】
JP2014107700A_000035t.gif
・・・(33)


【0101】
図7に通過域の割当ての一例を示す。ΩIpをp番目チャネルの通過域の理想特性として、各チャネル毎、阻止域との間に遷移域を設定し設計仕様とする。設計パラメータを以下にまとめる。
間引き率:M=M=2(M=4)
チャネル数:P=5(Type-2、 冗長度R=5/4)
ポリフェーズ次数:N=N=2
パラメータ行列:W=I、U=I
直流無漏洩条件:有り
図8に、上記設計パラメータにより設計したNSOLTのインパルス応答と周波数振幅特性の一例を示す。評価関数には理想特性からの誤差エネルギーを採用し、最適化手法として制約なし非線形最適化(MATLAB R2012b関数‘fminuc’)と遺伝的アルゴリズム(MATLAB R2012b関数‘ga’)を採用した。図8に示したNSOLTでは、基底(フレーム)が対称性を持ち、エネルギー保存の性質をもつ。

【0102】
さらに、上記のように設定した本実施の形態の画像変換装置10(NSOLT)を画像復元に応用する処理例を示す。
まず、図9に示すように、画像復元における劣化過程が線形劣化モデルx=Pu+wで表され、加法性白色ガウス雑音が重畳された状況を仮定する。ここで、xは観測画像、uは未知の原画像、Pは線形劣化過程、wは零平均を持つ加法性白色ガウス雑音である。既知のxとPとから、未知の鮮明な原画像uを復元する問題を考える。ここで、本実施の形態の逆変換器14による冗長変換の逆変換を辞書Dとして、原画像uがある変換係数yによりu=Dyと表現されると仮定する。画像復元問題は例えば以下の(34)式で示すように定式化される。

【0103】
【数34】
JP2014107700A_000036t.gif
・・・(34)


【0104】
ここで、u^は、原画像uから推定された復元画像となる。||x||22と||x||1はそれぞれ、xの要素の二乗和と絶対値和である。復元画像の候補係数y^を求める手法に繰返し/閾値処理アルゴリズム(Iterative-Shrinkage/Thresholding Algorithm:ISTA)がある。一例として、図10に、本実施の形態の変換器12(順変換D)及び逆変換器14(逆変換D、辞書Dともいう)とをISTAに適用した場合の概略図を示す。図10に示すように、線形劣化過程Pとその共役過程PT、逆変換D、順変換Dと係数縮退処理を繰り返し適用することで、画像復元が可能となる。ここで、もし、辞書DがタイトフレームならばISTAの前処理は簡便となる。

【0105】
線形劣化過程Pを不規則な間引きと零値挿入でモデル化し、欠損画素を補う画像修復の実験を行う。線形劣化過程Pには20%の画素欠損を仮定し、その位置はランダムに設定した。本実施の形態として、図8に示したNSOLTの低域通過成分を繰り返しツリー状に分割し、冗長度R=約1.33の順変換を変換器D、逆変換を逆変換器14をDとして利用した。また、比較例として、上記図10に示したISTAの辞書Dとして、6段Haar DWT、2段非間引きHaar DWT、及び6段混成DirLOTを利用した場合について示す。本実施の形態のNSOLT及び比較例の修復結果を図11に示す。ISTA における忠実度とスパース度の制御パラメータλは、それぞれ最もよい値を採用した。

【0106】
図11に示した(a)は、原画像である。また、図11(b)は劣化画像であり、PSNRが11.93dBである。図11(c)は、6段ハールウェーブレット変換(冗長度1)を利用した場合であり、PSNRが27.60dBである。図11(d)は、2段非間引きハールウェーブレット変換(冗長度7)を利用した場合であり、PSNRが24.21dBである。また、図11(e)は、6段混成非分離重複直交変換(冗長度5)を利用した場合であり、PSNRが33.39dBである。これら比較例に対して、本実施の形態のNSOLTによる6段ツリー構成(冗長度1.33)を利用した場合は、PSNRが31.02dBである。

【0107】
本実施の形態のNSOLTを利用した場合では、上記図11(e)の手法に及ばないものの、低い冗長度でも高い修復性能が確認できた。なお、上記図(c)、(d)、(e)の手法も本実施の形態の特殊な場合と位置付けられる。

【0108】
以上、説明したように、本実施の形態の非分離冗長報復変換のためのラティス構成であるNSOLTとして、画像変換装置10の変換器12(順変換D)は、多次元対称変換処理、冗長な表現を与える零値挿入拡張処理、及び拡張処理から構成される。また、逆変換器14は、基底(フレーム)成分結合処理、変換器12の零値挿入拡張処理で挿入した零値に応じた係数を棄却する係数棄却処理、及び多次元対称逆変換処理から構成される。
このように、本実施の形態のNSOLTとして画像変換装置10では、新たに零値挿入拡張と係数棄却処理を導入したことで、冗長度Rの制御が可能な二次元非分離変換を実現しており、上記図10(f)に示したような、冗長度Rの選択が可能となった。変換器12(順変換D)、逆変換器14(逆変換D)の選択は、処理速度やメモリ量、及び画質に大きく影響する。

【0109】
また、本実施の形態のNSOLTによれば、冗長性や指向性の実現が可能な他、既存の有益な一部の非冗長変換や冗長変換も特殊な例として含む一般的な構成であり、構成の選択の自由度が高い。冗長度Rの設定も整数倍に限らず、有理数倍の設定が可能である。さらに、冗長度Rを容易に制御できる利点があり、応用に合わせた設計、実現が可能となる。
また、重複性、パラユニタリ(PU)性、及び対称性を有し、実係数のFIRシステムとしてタイトフレームを実現する。
従って、画像の画質を効果的に向上させることができるばかりでなく、画像復元が簡便になると共に、高い性能が与えられる。

【0110】
さらに、本実施の形態のSNSOLTによれば、非分離重複直交変換と同様に、ブロック処理が可能であり、歪の少ない境界終端処理が可能となる。

【0111】
なお、本実施の形態の画像変換装置10(変換器12及び逆変換器14)は、ハードウエアとして構成を実現してもよいし、ソフトウエアとして構成を実現してもよい。また、ソフトウエアとして構成する場合は、USBやCD-ROM等に記録された状態で供給されるようにしてもよい。

【0112】
その他、本実施の形態で説明したサイバーフィジカルシステム1、画像変換装置10、 変換器12、及び逆変換器14の構成及び動作は一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることは言うまでもない。また、
【符号の説明】
【0113】
1 サイバーフィジカルシステム
10 画像変換装置
12 変換器、(順変換器D
14 逆変換器、(逆変換器D)
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図9】
6
【図10】
7
【図7】
8
【図8】
9
【図11】
10