TOP > 国内特許検索 > 画像符号化方法,画像符号化装置および画像符号化プログラム

画像符号化方法,画像符号化装置および画像符号化プログラム

国内特許コード P120007766
整理番号 WASEDA-1097
掲載日 2012年7月5日
出願番号 特願2010-233229
公開番号 特開2012-089963
登録番号 特許第5561611号
出願日 平成22年10月18日(2010.10.18)
公開日 平成24年5月10日(2012.5.10)
登録日 平成26年6月20日(2014.6.20)
発明者
  • 坂東 幸浩
  • 高村 誠之
  • 如澤 裕尚
  • 石川 孝明
  • 渡辺 裕
出願人
  • 日本電信電話株式会社
  • 学校法人早稲田大学
発明の名称 画像符号化方法,画像符号化装置および画像符号化プログラム
発明の概要 【課題】ノイズ・シェイピングにおけるエネルギーコンパクションを向上させて符号化効率を向上させる。
【解決手段】係数選択処理部20は,画像の領域を分割する複数の分割候補となる位置のそれぞれについて分割位置を設定し,設定された分割位置で画像の領域を分割して,閾値一定または閾値の変動を一定範囲内許容するという条件下で,各分割領域における閾値以下の変換係数を切り捨てる処理を,すべての分割候補について繰り返し,その中で全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択し,その領域分割のもとで各分割領域における符号化に用いる有意変換係数を選択する。
【選択図】図1
従来技術、競合技術の概要



画像符号化における重要な要素技術の一つに,離散コサイン変換(DCT:Discrete Cosine Transform )に代表される変換符号化がある。画像符号化における変換符号化の役割は,空間的な画素間相関の除去を行うことにある。符号化器の全体の位置づけとしては,変換符号化により少数の変換係数に情報を集中させ,変換係数に対する量子化により情報の集中度の低い変換係数を切り捨てることで,符号化対象信号に対する情報量の削減に寄与する。





図7に,映像信号を符号化する一般的な符号化装置100の例を示す。符号化装置100は映像信号を入力すると,予測部106により予測された予測信号との差分から予測残差信号を求め,変換部101により予測残差信号を直交変換する。その出力である変換係数を量子化部102にて量子化し,その量子化値をエントロピ符号化部107にて可変長符号化し,符号化ストリームとして出力する。一方,量子化部102の出力は,逆量子化部103で逆量子化され,さらに逆変換部104で逆直交変換される。その変換結果に予測信号を加えることにより復号信号が生成される。復号信号は,歪除去フィルタ105によりノイズ除去処理がなされ,参照復号信号として予測部106に入力される。予測部106では,動き探索などにより次の映像信号の符号化のための予測信号を生成する。





これまで,画像符号化への応用では,離散コサイン変換(DCT)を始めとして,重複直交変換離散ウェーブレット変換(DWT:Discrete Wavelet Transform)といった多くの変換符号化方式が検討されてきた。例えば,変換符号化として,JPEGでは,離散コサイン変換(DCT),JPEG 2000では,離散ウェーブレット変換(DWT)が採用されている。また,直交変換は完備な基底(complete basis)を用いるため,変換前後のデータ数が不変である。このため,直交変換は非冗長変換(non-redundant transform )である。動画像符号化装置においては,図7における変換部101が上記の技術に該当する。





一方で,基底数が原信号のサンプル数よりも多い過完備な基底(overcomplete basis)を用いた冗長変換(redudant transform)と呼ばれる変換がある。このため,冗長変換は直交変換になり得ないが,変換後のデータに冗長性を持たせることで非冗長変換では実現できない特性をもつことができる。例えば,ダウンサンプリング処理を行わないDWTである離散定常ウェーブレット変換(SWT:Stationary Wavelet Transform)は,変換後の冗長性によりDWTで失われるシフト不変性を成立させることができる。





また,画像処理分野では,“方向分離特性をもつ変換”が注目されている。このような変換は,一般的に冗長変換であり,代表例としてCurvelet変換がある。並列木複素ウェーブレット変換(DTCWT:Dual Tree Complex Wavelet Transform )も同様の特性をもつ変換である。方向分離特性をもつ変換は,画像信号中に含まれるエッジ等の曲線を2次元で定義される方向基底を用いて表現する変換である。方向基底を用いて2次元構造を高い精度で近似するため,DWTのような方向分離特性の乏しい変換と比較し,雑音除去や特徴抽出に対して,有効である。





しかし,方向分離特性をもつ変換は,変換後のデータ数が増加するという問題がある。xを変換符号化への入力信号,Ψを変換行列とすると,変換により得られる変換係数yは,次式のように表わされる。





y=Ψx (1)

一方,変換係数から信号領域での値を復号する処理は,過完備な基底系からなる変換の逆変換を表す行列をΦとすると,次式のように表わされる。





x=Φy (2)

DTCWTの場合,xがn次元ベクトルであるとすると,変換により得られる変換係数yは2n次元ベクトルとなる。このため,同変換を画像符号化へ応用する場合,データ数の削減の観点から,変換係数を適切に選択する必要がある。この変換係数の選択は,以下の制約条件付き最小化問題として定式化できる。





miny ∥y∥0 subject to Φy=x (3)

ここで,∥・∥0 は,L0 ノルムであり,非ゼロ係数の個数を表している。上記の制約条件付きの最小化問題は,ラグランジュの未定乗数法により以下の最小化問題に帰着される。





miny ∥y∥0 +λ∥Φy-x∥2 2 (4)

ここでλは,外部から与えられる重みパラメータである。第一項は,選択された変換係数の個数であり,変換係数の情報量を近似した値である。第二項は変換係数の選択に伴う再構成誤差を表しており,符号化歪みを表している。∥・∥2 2 は,L2 ノルムの二乗値であり,二乗和を表す。しかし,上記の最小化問題はNP困難であるため,従来,以下のような1 ノルムに最小化問題として近似する方法がとられてきた。





miny ∥y∥1 +λ∥Φy-x∥2 2 (5)

ここで,∥・∥1 は,1 ノルムであり,ベクトルの要素の絶対値和を表している。





式(5) の最小化問題の準最適解を与える手法として,図8に示すノイズ・シェイピング(noise shaping) 処理と呼ばれる手法が提案されている(非特許文献1参照)。





使用する記号を整理する。入力信号x(N画素)に対する順変換後の変換係数を以下のように定義する。





0 =Ψx

Iを単位行列として,Ps ≡ΨΦ,P⊥≡I-ΨΦなる2種類の射影を定義する。なお,“P⊥”における“⊥”は,Pの右肩に付く上添字である。前者の射影により得られる出力を有効成分,後者の射影により得られる出力を無効成分と呼ぶ。





ノイズ・シェイピング処理における繰り返し回数を表すインデックスをiで表し,ノイズ・シェイピング処理における第i回目の出力をyi とする。yi に対して,絶対値が閾値θi 以下となる係数を零値に切り捨てるクリッピング処理を行う。yi に対するクリッピング処理後の出力を^yi (^はyの上に付く記号)として,次式のように表す。





^yi (θi )=yi +εi (θi

ここで,εi (θi )は,クリッピング処理に伴い重畳する誤差である。k=1の場合,ノイズ・シェイピング処理における補正信号であるwi (θi )(図8に示すwi )は,次式となる。





i (θi )=y0 -ΨΦ^yi (θi

この^yi (θi ),wi (θi )を用いて,yi+1 は,次式のように表せる。





i+1 (θi ,^yi (θi ))=^yi (θi )+wi (θi

クリッピングの閾値θi は,Δi (>0)を用いて,次のように定められ,

θi+1 =θi -Δi (6)

繰り返し回数の増加とともに,小さく設定される。





図8に示すノイズ・シェイピング処理装置200の動作について簡単に説明する。変換部201では,入力信号xに対して冗長系の変換基底を用いた変換を行い,変換係数y0 を算出する。クリッピング処理部202では,変換係数yi (初期値はi=0)と予め定められた閾値θi との大小比較を行い,yi がθi より小さければ,yi を0に置き換える。このクリッピング処理後の出力を^yi とする。逆変換部203では,^yi を逆変換して逆変換結果の^xi を求める。入力信号xと^xi との差が,画素領域での誤差ei となる。





重み係数乗算部204では,ei に所定の重み係数kを乗算し,乗算結果に対して,変換部205において順変換することにより,誤差の帰還信号wi を算出する。クリッピング処理部202の出力^yi に誤差の帰還信号wi を加算することにより,更新変換係数yi+1 を算出する。遅延部206にて一定時間遅延させた後,更新変換係数yi+1 をクリッピング処理部202の入力として,更新変換係数yi+1 に対して同様に処理を繰り返す。終了条件判定部207では,ei+1 とei との差がある一定の微小値より小さくなったかどうかをチェックし,その差が微小値より小さい値になったときに,そのときの^yi を変換結果として出力する。





このような過完備系を用いた変換は,画像信号にsparsenessを仮定し,少数の変換係数で画像を表現するsparse representationの一種である。

産業上の利用分野



本発明は,高能率画像信号符号化方法に関し,特にノイズ・シェイピングにおけるエネルギーコンパクションを向上させて符号化効率を向上させるための画像符号化方法に関する。

特許請求の範囲 【請求項1】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化方法において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。

【請求項2】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化方法において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。

【請求項3】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化方法において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。

【請求項4】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化方法において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する過程と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる過程と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する過程とを有する
ことを特徴とする画像符号化方法。

【請求項5】
請求項1から請求項4までのいずれか1項に記載の画像符号化方法において,
前記選択された領域分割における各分割領域に対して,所定の分割の終了条件が満たされるまで,前記領域分割および有意変換係数を選択する処理を再帰的に繰り返す
ことを特徴とする画像符号化方法。

【請求項6】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化装置において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。

【請求項7】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化装置において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和が最小となる領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。

【請求項8】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化装置において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値一定の条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。

【請求項9】
入力された画像信号に対して冗長系の変換基底を用いた変換を行い,得られた変換係数を絞り込み,絞り込んだ結果の有意変換係数を符号化する画像符号化装置において,
画像の領域を分割する複数の分割候補となる位置のそれぞれについて,分割位置を設定する手段と,
前記設定された分割位置で画像の領域を分割し,閾値の変動を一定範囲内許容するという条件下で,各分割領域における前記閾値以下の変換係数を切り捨てる手段と,
前記複数の分割候補となる位置でそれぞれ分割したすべての領域分割の中で,全領域の有意変換係数の個数または変換係数の切り捨てによる誤差の和と,分割領域の境界部に接する所定幅の二つの境界領域における変換係数の絞り込みに基づく近似誤差の乖離度との重み付き和を最小化する領域分割を選択するとともに,各分割領域における符号化に用いる有意変換係数を選択する手段とを備える
ことを特徴とする画像符号化装置。

【請求項10】
請求項1から請求項5までのいずれか1項に記載の画像符号化方法を,コンピュータに実行させるための画像符号化プログラム。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2010233229thum.jpg
出願権利状態 登録
技術導入、技術提携、実用化開発(受託研究・共同研究等)のご相談を承っております。お気軽にご連絡ください。


PAGE TOP

close
close
close
close
close
close
close