TOP > 国内特許検索 > 画像配信システム、符号装置及び復号装置 > 明細書

明細書 :画像配信システム、符号装置及び復号装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5174737号 (P5174737)
公開番号 特開2010-263390 (P2010-263390A)
登録日 平成25年1月11日(2013.1.11)
発行日 平成25年4月3日(2013.4.3)
公開日 平成22年11月18日(2010.11.18)
発明の名称または考案の名称 画像配信システム、符号装置及び復号装置
国際特許分類 H04N   7/32        (2006.01)
FI H04N 7/137 Z
請求項の数または発明の数 4
全頁数 23
出願番号 特願2009-112388 (P2009-112388)
出願日 平成21年5月5日(2009.5.5)
審査請求日 平成24年2月16日(2012.2.16)
特許権者または実用新案権者 【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
発明者または考案者 【氏名】児玉 明
個別代理人の代理人 【識別番号】100112715、【弁理士】、【氏名又は名称】松山 隆夫
審査官 【審査官】岩井 健二
参考文献・文献 特開2010-010977(JP,A)
特表2009-510940(JP,A)
特開2005-094054(JP,A)
特開2004-112808(JP,A)
調査した分野 H04N 7/24 - 7/68
特許請求の範囲 【請求項1】
スケーラブル符号化処理を実行可能な符号装置と復号装置とを備えた画像配信システムであって、
前記符号装置は、
複数のマクロブロックに分割された画像を用いて基本画像を符号化する基本画像処理手段と、
前記画像を用いて前記基本画像よりも上層の拡張画像を符号化する拡張画像処理手段とを備え、
前記基本画像処理手段は、
前記マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記基本画像の量子化係数を生成する基本量子化手段を備え、
前記拡張画像処理手段は、
前記マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記拡張画像の量子化係数を生成する拡張量子化手段と、
前記基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定する比率決定手段と、
前記拡張画像の量子化係数と前記比率パラメータとに基づいて決定される量子化係数を求め、前記求めた量子化係数と前記基本画像の量子化係数との差分である残差データを求める残差決定手段とを備え、
前記符号装置はさらに、
前記基本画像の量子化係数と、前記基本量子化パラメータと、前記比率パラメータと、前記残差データとを符号化し、符号化データを出力する符号化手段を備え、
前記復号装置は、
前記基本画像の量子化係数と、前記比率パラメータと、前記残差データとに基づいて前記拡張画像の量子化係数を生成し、前記基本量子化パラメータと前記比率パラメータとに基づいて前記拡張量子化パラメータを生成する拡張生成手段と、
前記拡張量子化パラメータに基づいて、前記拡張画像の量子化係数を逆量子化する逆量子化手段と、
前記逆量子化された拡張画像を逆変換して前記拡張画像を再生する逆変換手段とを備え、
前記残差決定手段はさらに、
前記各マクロブロック内において、前記比率パラメータが利用される領域を示す複数の領域パターンごとに前記量子化係数を求め、前記残差データを前記領域パターンごとに求め、前記求めた残差データのうち最小の残差データとなる領域パターンを選択し、
前記符号化手段は、前記選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力し、
前記拡張生成手段は、前記基本画像の量子化係数と、前記比率パラメータと、前記残差データと、前記選択された領域パターンとに基づいて、前記拡張画像の量子化係数を生成することを特徴とする画像配信システム。
【請求項2】
請求項1に記載の画像配信システムであって、
前記基本画像処理手段はさらに、
所定の符号化モードに応じて、前記画像を前記マクロブロックごとに予測符号化する基本予測符号化手段を備え、
前記拡張画像処理手段はさらに、
前記基本予測符号化処理で利用された符号化モードと同じ符号化モードに応じて、前記画像を前記マクロブロックごとに予測符号化する拡張予測符号化手段を備えることを特徴とする画像配信システム。
【請求項3】
スケーラブル符号化処理を実行可能な符号装置であって、
複数のマクロブロックに分割された画像を用いて基本画像を符号化する基本画像処理手段と、
前記画像を用いて前記基本画像よりも上層の拡張画像を符号化する拡張画像処理手段とを備え、
前記基本画像処理手段は、
前記マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記基本画像の量子化係数を生成する基本量子化手段を備え、
前記拡張画像処理手段は、
前記マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記拡張画像の量子化係数を生成する拡張量子化手段と、
前記基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定する比率決定手段と、
前記拡張画像の量子化係数と前記比率パラメータとに基づいて決定される量子化係数を求め、前記求めた量子化係数と前記基本画像の量子化係数との差分である残差データを求める残差決定手段とを備え、
前記符号装置はさらに、
前記基本画像の量子化係数と、前記基本量子化パラメータと、前記比率パラメータと、前記残差データとを符号化し、符号化データを出力する符号化手段を備え、
前記残差決定手段はさらに、
前記各マクロブロック内において、前記比率パラメータが利用される領域を示す複数の領域パターンごとに前記量子化係数を求め、前記残差データを前記領域パターンごとに求め、前記求めた残差データのうち最小の残差データとなる領域パターンを選択し、
前記符号化手段は、前記選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力することを特徴とする符号装置。
【請求項4】
コンピュータに実行させる符号化プログラムであって、
複数のマクロブロックに分割された画像を用いて基本画像を符号化する基本画像処理ステップと、
前記基本画像よりも上層の拡張画像を符号化する拡張画像処理ステップとを備え、
前記基本画像処理ステップは、
前記マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記基本画像の量子化係数を生成するステップを備え、
前記拡張画像処理ステップは、
前記マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記拡張画像の量子化係数を生成するステップと、
前記基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定するステップと
前記拡張画像の量子化係数と前記比率パラメータとに基づいて決定される量子化係数を求め、前記求めた量子化係数と前記基本画像の量子化係数との差分である残差データを求めるステップとを備え、
前記符号化プログラムはさらに、
前記基本画像の量子化係数と、前記基本量子化パラメータと、前記比率パラメータと、前記残差データとを符号化し、符号化データを出力するステップとを備え
前記残差データを求めるステップではさらに、
前記各マクロブロック内において、前記比率パラメータが利用される領域を示す複数の領域パターンごとに前記量子化係数を求め、前記残差データを前記領域パターンごとに求め、前記求めた残差データのうち最小の残差データとなる領域パターンを選択し、
前記符号化データを出力するステップでは、前記選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力することを特徴とする符号化プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、画像配信システムに関し、さらに詳しくは、動画等の画像を符号化して符号化データを生成する符号装置と、符号化データから画像を復号する復号装置とを備えた画像配信システムに関する。
【背景技術】
【0002】
多段階の品質の画像を提供する符号化技術として、スケーラブル符号化方式がある。スケーラブル符号化方式では、品質の最も低い基本画像と、基本画像よりも上層であって品質の高い1又は複数の拡張画像とが生成される。拡張画像が複数生成される場合、上層に向かうにしたがって品質が向上する。つまり、第1拡張画像から第j拡張画像(jは自然数)に向かうにしたがって、品質は向上する。
【0003】
このような画像(レイヤ)間の品質の制御には、非特許文献1及び2に開示されるような、量子化パラメータが利用される。量子化パラメータは、インター予測モードやイントラ予測モードといった符号化モードに基づいて、画像のマクロブロックごとに設定される。
【0004】
従前のスケーラブル符号化方式では、各画像で利用される量子化パラメータは、それぞれ別個独立に設定される。つまり、各画像(レイヤ)ごとに量子化パラメータは独立して設定される。
【0005】
さらに、符号化量を低減するために、第j拡張画像の符号化データは、第j-1拡張画像との差分により生成された残差データとして復号装置に送信される。そのため、復号装置で第j拡張画像を復号する場合、基本画像、第1~第j拡張画像の全てを復号しなければならず、復号処理に負担が掛かる。
【先行技術文献】
【0006】

【非特許文献1】J. Wei. B.H. Soong, Z.G. Li, "A New Rate-Distortion Model For Video Transmission Using Multiple Logarithmic Functions", IEEE Signal Processing Letters, 11, 8, pp. 694-697, 2004. 8
【非特許文献2】S. Ma, W. Gao, Y. Lu, "Rate-Distortion Analysis for H.264/AVC Video Coding and its Application to Rate Control", IEEE Trans. On CSVT, 15, 12, pp.1533-1544, 2005. 12
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、少ない復号処理で所望の品質の拡張画像が得られる画像配信システムを提供することである。
【課題を解決するための手段及び発明の効果】
【0008】
本発明による画像配信システムは、スケーラブル符号化処理を実行可能な符号装置と復号装置とを備える。符号装置は、基本画像処理手段と、拡張画像処理手段とを備える。基本画像処理手段は、複数のマクロブロックに分割された画像を用いて基本画像を符号化する。拡張画像処理手段は、画像を用いて基本画像よりも上層の拡張画像を符号化する。基本画像処理手段は、基本量子化手段を備える。基本量子化手段は、マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、画像をマクロブロックごとに量子化して基本画像の量子化係数を生成する。拡張画像処理手段は、拡張量子化手段と、比率決定手段とを備える。拡張量子化手段は、マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、画像をマクロブロックごとに量子化して拡張画像の量子化係数を生成する。比率決定手段は、基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定する。符号装置はさらに、符号化手段を備える。符号化手段は、基本画像の量子化係数と、基本量子化パラメータと、比率パラメータとを符号化し、符号化データを出力する。復号装置は、拡張生成手段と、逆量子化手段と、逆変換手段とを備える。拡張生成手段は、基本画像の量子化係数と、比率パラメータとに基づいて拡張画像の量子化係数を生成する。また、基本量子化パラメータと比率パラメータとに基づいて拡張量子化パラメータを生成する。逆量子化手段は、拡張量子化パラメータに基づいて、拡張画像の量子化係数を逆量子化する。逆変換手段は、逆量子化された拡張画像を逆変換して拡張画像を再生する。
【課題を解決するための手段及び発明の効果】
【0009】
この場合、拡張画像の量子化係数は、基本画像の量子化係数と比率パラメータとで求めることができる。そのため、拡張画像を復号するとき、その拡張画像より下層全ての画像を復号する必要がない。そのため少ない復号処理で所望の品質の拡張画像を得ることができる。
【課題を解決するための手段及び発明の効果】
【0010】
好ましくは、拡張画像処理手段はさらに、残差決定手段を備える。残差決定手段は、基本画像の量子化係数と比率パラメータとに基づいて決定される量子化係数を求め、求めた量子化係数と基本画像の量子化係数との差分である残差データを求める。符号化手段はさらに、残差データの符号化データを出力する。そして、拡張生成手段は、基本画像の量子化係数と、比率パラメータと、残差データとに基づいて拡張画像の量子化係数を生成する。
【課題を解決するための手段及び発明の効果】
【0011】
この場合、残差データを利用するので、復号された拡張画像のひずみを抑えることができる。
【課題を解決するための手段及び発明の効果】
【0012】
好ましくは、残差決定手段はさらに、各マクロブロック内において、比率パラメータが利用される領域を示す複数の領域パターンごとに量子化係数を求め、残差データを領域パターンごとに求める。そして、求めた残差データのうち最小の残差データとなる領域パターンを選択する。符号化手段は、選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力する。拡張生成手段は、基本画像の量子化係数と、比率パラメータと、残差データと、選択された領域パターンとに基づいて、拡張画像の量子化係数を生成する。
【課題を解決するための手段及び発明の効果】
【0013】
この場合、残差データを少なくできる。そのため、比率パラメータで拡張画像の品質をより制御しやすくなる。
【課題を解決するための手段及び発明の効果】
【0014】
好ましくは、基本量子化手段はさらに、求めた残差データが所定値よりも大きい場合、基本量子化パラメータを変更して基本画像の量子化係数を再び生成する。比率決定手段は、変更された基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを再び求める。残差決定手段は、再び量子化された基本画像の量子化係数及び再び求められた比率パラメータに基づいて残差データを求める。符号化手段は、求めた残差データが所定値よりも小さい場合、残差データの符号化データを出力する。
【課題を解決するための手段及び発明の効果】
【0015】
この場合、残差データをより少なくすることができる。
【課題を解決するための手段及び発明の効果】
【0016】
好ましくは、拡張量子化手段はさらに、求めた残差データが所定値よりも大きい場合、拡張量子化パラメータを変更して拡張画像の量子化係数を再び生成する。比率決定手段は、変更された拡張量子化パラメータに基づいて比率パラメータを再び求める。残差決定手段は、量子化された基本画像の量子化係数及び再び求めた比率パラメータに基づいて残差データを求める。符号化手段は、求めた残差データが所定値よりも小さい場合、残差データの符号化データを出力する。
【課題を解決するための手段及び発明の効果】
【0017】
この場合、残差データをより少なくすることができる。
【課題を解決するための手段及び発明の効果】
【0018】
好ましくは、拡張画像処理手段はさらに、代表決定手段を備える。代表決定手段は、マクロブロックごとに決定された複数の比率パラメータに基づいて、代表比率パラメータを決定する。符号化手段は、基本画像の量子化係数と、基本量子化パラメータと、代表比率パラメータとを符号化して符号化データを出力する。拡張生成手段は、基本画像の量子化係数と、代表比率パラメータとに基づいて、拡張画像の量子化係数を生成する。そして、基本量子化パラメータと代表比率パラメータとに基づいて、拡張量子化パラメータを生成する。
【課題を解決するための手段及び発明の効果】
【0019】
この場合、代表比率パラメータを調整すれば、拡張画像の品質を容易に制御することができる。
【課題を解決するための手段及び発明の効果】
【0020】
好ましくは、拡張画像処理手段はさらに、特定手段を備える。特定手段は、複数のマクロブロックのうち、所定の領域内の複数のマクロブロックを特定する。代表決定手段は、特定された複数のマクロブロックに対応する複数の比率パラメータに基づいて、代表比率パラメータを決定する。符号化手段はさらに、特定されたマクロブロックに関する領域情報を符号化する。拡張生成手段は、基本画像の量子化係数と、基本量子化パラメータと、領域情報と、代表比率パラメータとに基づいて、拡張画像の量子化係数を生成する。
【課題を解決するための手段及び発明の効果】
【0021】
この場合、画像内の特定の領域に対して品質を調整することができる。
【課題を解決するための手段及び発明の効果】
【0022】
本発明による符号装置及び復号装置は、上述の画像配信システムに利用される。また、本発明による符号プログラム及び復号プログラムは、符号装置及び復号装置内のコンピュータに実装され、上述の手段を実現する。
【図面の簡単な説明】
【0023】
【図1】本発明の第1の実施の形態による画像配信システムの全体構成を示す機能ブロック図である。
【図2】図1に示した画像配信システムのうち、符号装置の構成を示す機能ブロック図である。
【図3】図2に示した符号装置の符号処理において、マクロブロックを構成するブロックのうち、比率パラメータを利用する領域を示す領域パターンの例を示す模式図である。
【図4】図3と異なる他の領域パターンの例を示す模式図である。
【図5】コンピュータ装置のハードウェア構成を示す機能ブロック図である。
【図6】図2に示す符号装置の動作の詳細を示すフロー図である。
【図7】図6に示す動作で符号装置内の拡張画像処理部から出力される符号化データの内容を示す模式図である。
【図8】図1に示した画像配信システムのうち、復号装置の構成を示す機能ブロック図である。
【図9】図8に示した復号装置の動作の詳細を示すフロー図である。
【図10】第2の実施の形態による画像配信システムのうち、符号装置の動作の詳細を示すフロー図である。
【図11】マクロブロックごとの比率パラメータの一例を示す模式図である。
【図12】第3の実施の形態による画像配信システムのうち、符号装置の動作の詳細を示すフロー図である。
【発明を実施するための形態】
【0024】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

【0025】
1.第1の実施の形態
[全体構成]
図1を参照して、画像配信システム100は、符号装置1と復号装置2とを備える。符号装置1と復号装置2とはネットワークを介して互いに接続される。ネットワークはたとえばLANやインターネットである。

【0026】
符号装置1は、動画等の画像を量子化及び符号化し、符号化データを生成する。そして、生成された符号化データを配信する。復号装置2は、配信された符号化データを復号し、画像を再生する。

【0027】
符号装置1はスケーラブル符号化機能を有する。スケーラブル符号化機能では、入力された画像に対して、最下層となる基本画像と、基本画像よりも上層となる第1~第j拡張画像(jは自然数)とを生成し、これらの符号化データを出力する。第1~第j拡張画像は、第1拡張画像が品質が最も低く(最も下層で)、第2~第jに上がるにしたがって品質は向上する。複数の品質の画像が準備されるため、復号装置2の性能や伝送路の状態に応じて、画像品質を調整できる。

【0028】
符号装置1は、基本画像を符号化するための基本画像処理部BLEと、第1~第j拡張画像を符号化するための拡張画像処理部ELE1~ELEjとを備える。

【0029】
復号装置2もスケーラブル符号化機能に対応している。そのため、復号装置2は、基本画像処理部BLDと、第1~第j拡張画像処理部ELD1~ELDjとを備える。

【0030】
[動作概要]
符号装置1では、基本画像処理部BLEが基本画像を符号化し、第1~第j拡張画像処理部ELE1~ELEjが第1~第j拡張画像を符号化する。従来のスケーラブル符号化では、第1~第j拡張画像の符号化に利用される量子化パラメータ(以下、拡張量子化パラメータという)は、基本画像の符号化に利用された量子化パラメータ(以下、基本量子化パラメータという)と別個独立に設定される。さらに、第j拡張画像の符号化データは、第j-1拡張画像との差分データとして出力される。そのため、復号装置が第j拡張画像を再生する場合、基本画像と、第1~第j拡張画像の符号化データ全てを復号し、合成しなければ、第j拡張画像を再生できない。

【0031】
本実施の形態では、拡張量子化パラメータと基本量子化パラメータとに基づいて決定される比率パラメータを利用する。画像を符号化する場合、画像を複数のマクロブロックに分割して、各マクロブロックごとに量子化を行うが、比率パラメータは、マクロブロックごとに決定される。具体的には、マクロブロックMn(nは自然数)の比率パラメータRnは、以下の式(1)に基づいて決定される。

【0032】
比率パラメータRn=拡張量子化パラメータQEPn/基本量子化パラメータQBPn (1)
ここで、拡張量子化パラメータQEPnは、マクロブロックMnの拡張量子化パラメータであり、基本量子化パラメータQBPnは、マクロブロックMnの基本量子化パラメータである。

【0033】
比率パラメータRnを利用すれば、復号装置2での復号処理を簡略化できる。なぜなら、比率パラメータRnは、第j拡張画像の拡張量子化パラメータQEPnと、基本量子化パラメータQBPnとの比率である。そのため、基本画像の符号化データと比率パラメータRnがあれば、第j拡張画像を復号できる。つまり、第j拡張画像を再生するために、第j拡張画像より下層の拡張画像の全てを再生しなくてよい。

【0034】
[符号装置の構成]
符号装置の詳細を説明する。図2を参照して、符号装置1は、基本画像処理部BLEと、第1~第j拡張画像処理部ELE1~ELEjとを備える。

【0035】
[基本画像処理部]
基本画像処理部BLEは、外部から入力された画像に基づいて、基本画像の符号化データを出力する。基本画像処理部BLEは、品質指定部41と、符号化中核部50とを備える。品質指定部41は、ユーザ操作に応じて品質要求を外部から受信する。そして、品質要求に応じて、基本画像の品質を指定する。

【0036】
符号化中核部50は、品質指定部41により指定された品質に応じた基本画像を生成し、基本画像の符号化データを生成する。符号化中核部50は、画像入力部51と、予測符号化部52と、変換符号化部53と、量子化部54と、エントロピ符号化部55とを備える。

【0037】
画像入力部51は、外部から入力された画像を複数のマクロブロックM1~Mn(nは自然数)に分割する。そして、複数のマクロブロックMnからなる画像信号を出力する。

【0038】
各マクロブロックMnは、複数のブロックからなる。各ブロックはたとえば、8画素×8画素からなる4つの輝度ブロックと、8画素×8画素からなる2つの色差ブロックとを含む。ただし、マクロブロックを構成する複数のブロックのサイズ及び個数はこれに限られない。マクロブロックは複数のブロックから構成された矩形状であればよい。

【0039】
符号化モード決定部56は、複数の符号化モードから所望の符号化モードを決定する。符号化モードは、各マクロブロックMnをどのような方法で符号化するかを示す。つまり、符号化モードは、マクロブロックMnごとに決定される。符号化モードには、フレーム内予測符号化(イントラ予測モード)と、フレーム間予測符号化(インター予測モード)とがある。符号化モード決定部56は、複数の符号化モードの中から、エントロピ符号化後のデータ量が最も少ない符号化モードを決定する。

【0040】
予測符号化部52は、決定された符号化モードに基づいて、必要に応じて、画像信号の差分信号を生成する。具体的には、インター予測モードが適用されるマクロブロックMnでは、インター予測に基づいて動き予測画像が生成され、画像から予測画像が差分された差分画像が信号として出力される。一方、予測符号化部52は、イントラ予測モードが適用されるマクロブロックMnに対しては処理を実行せずにスルーする。

【0041】
変換符号化部53は、予測符号化部52から出力された画像信号を離散コサイン変換し、変換符号化係数を生成する。

【0042】
量子化部54は、変換符号化係数を量子化し、量子化係数を出力する。このとき、量子化部54は、品質指定部41からの要求に応じて、各マクロブロックMnに対応する基本量子化パラメータQBPnを決定する。量子化部54はさらに、決定された量子化パラメータQBPnに基づいて、各マクロブロックMnの変換符号化係数を量子化し、基本画像の量子化係数QBnを生成する。量子化パラメータQBPnに応じて、基本画像の品質が決定される。量子化部54は、線形の量子化を行ってもよいし、非線形の量子化を行ってもよい。

【0043】
エントロピ符号化部55は、生成された基本量子化係数QBnと基本量子化パラメータQBPn、及び他に必要な情報(符号化モード等)とをエントロピ符号化して、符号化データを生成する。

【0044】
以上のとおり、基本画像処理部BLEは、基本量子化係数QBnの符号化データと、基本量子化パラメータQBPnの符号化データとを生成し、出力する。

【0045】
[拡張画像処理部]
第j拡張画像処理部ELEj(jは自然数)は、品質指定部11と、情報取得部12と、符号化中核部20と、比率パラメータ生成部30とを備える。

【0046】
品質指定部11は、品質指定部41と同様に、ユーザ操作に応じた品質要求を外部から受信し、要求に応じた拡張画像の品質を指定する。

【0047】
符号化中核部20は、画像入力部21と、予測符号化部22と、変換符号化部23と、量子化部24と、エントロピ符号化部25と、符号化モード決定部26とを備える。

【0048】
画像入力部21は、画像入力部51に入力されるものと同じ画像を外部から受け付ける。そして、画像を複数のマクロブロックMnに分割する。このとき、マクロブロックのサイズ及び分割数は、画像入力部51でのマクロブロックのサイズ及び分割数と同じにする。つまり、画像入力部21に入力された画像の各マクロブロックM1~Mnは、画像入力部51に入力された画像の各マクロブロックM1~Mnと対応する。

【0049】
情報取得部12は、基本画像のマクロブロックMnに適用された符号化モードを符号化モード決定部56から取得する。情報取得部12はさらに、基本量子化パラメータQBPnを量子化部54から取得する。さらに、拡張量子化パラメータQEPnを、後述する量子化部24から取得する。

【0050】
符号化モード決定部26は、情報取得部12が取得した符号化モードを、画像入力部21で分割されたマクロブロックMnに適用する。要するに、第j拡張画像処理部ELEjは、基本画像処理部BLEと同じ符号化モードを利用する。

【0051】
予測符号化部22、変換符号化部23、量子化部24及びエントロピ符号化部25の動作は、予測符号化部52、変換符号化部53、量子化部54及びエントロピ符号化部55の動作と同じである。予測符号化部22は、符号化モードに応じて画像信号を加工する。変換符号化部23は、画像信号を離散コサイン変換して変換符号化係数を生成する。量子化部24は、品質指定部11からの指定及び符号化モードに基づいて拡張画像用の量子化パラメータ(拡張量子化パラメータ)QEP1~QEPnを決定する。そして、拡張量子化パラメータQEP1~QEPnを用いて変換符号化係数を量子化し、拡張画像用の量子化係数(拡張量子化係数)QE1~QEnを生成する。

【0052】
エントロピ符号化部25は、拡張量子化係数QEnの符号化データと、拡張量子化パラメータQEPnの符号化データとを生成する。

【0053】
[比率パラメータ生成部]
比率パラメータ生成部30は、式(1)に基づいて、比率パラメータRnを算出する。比率パラメータRnを利用することにより、復号装置2での復号処理に係る負担が軽減される。また、拡張画像の品質を制御しやすくなる。理想的には、基本量子化係数QBnと、拡張量子化係数QEnに比率パラメータRnを乗じた値(以下、疑似量子化係数RQEnという)とが等しいのが好ましい。この場合、基本量子化係数QBnと疑似量子化係数RQEnとの間に残差が発生しない。そのため、比率パラメータRnのみで拡張画像の品質を決定できる。また、比率パラメータRnを出力すれば、従来のように差分データを生成して出力する必要がないため、出力する情報量も低減できる。

【0054】
一方、基本量子化係数QBnと疑似量子化係数RQEnとの間に残差が生じる場合、残差データは小さい方が好ましい。したがって、基本量子化係数QBnと疑似量子化係数RQEnとが等しくならない場合、以下の2つの方法により、残差データをできるだけ小さくする。

【0055】
(CASE1)
図3及び図4に示す様に、マクロブロックMnを構成する各ブロック内で、比率パラメータRnを乗じる領域が異なる領域パターンを複数準備する。図中、ハッチングされた領域が、ブロック内で比率パラメータRnが乗じられる領域である。図3及び図4では、領域パターン番号が増加するにしたがい、ハッチングされた領域が低周波成分から高周波成分に拡がっている。ハッチングされていない領域の係数は0にするか、符号化しない。
準備された領域パターンごとに疑似量子化係数RQEnを算出し、残差データが最小となる領域パターンを決定する。

【0056】
(CASE2)
基本量子化パラメータQBPn又は拡張量子化パラメータQEPnを変更し、基本量子化係数QBn又は拡張量子化係数QEnを再計算する。そして、残差データを再度求める。この計算を繰り返し、残差データが小さくなる基本量子化係数QBn又は拡張量子化係数QEnを求める。

【0057】
比率パラメータ生成部30は、CASE1又はCASE2のいずれか又は両方を実行し、残差データを極力小さくするように調整する。
比率パラメータ生成部30は、抽出部31と、比率算出部32と、最適化処理部33と、比率パラメータ符号化部34と、残差符号化部35とを備える。

【0058】
抽出部31は、基本量子化パラメータQBP1~QBPnと拡張量子化パラメータQEP1~QEPnとを情報取得部12から取得する。比率算出部32は、上記式(1)に基づいて比率パラメータRnをマクロブロックMnごとに算出する。

【0059】
最適化処理部33は、上述のとおり、基本量子化係数QBと疑似量子化係数RQEとの差分が可能な限り小さくなるよう、CASE1及びCASE2を実行する。そして、差分が最小となるCASEを決定する。詳細は後述する。

【0060】
比率パラメータ符号化部34は、比率算出部32で算出された比率パラメータRnをエントロピ符号化して比率パラメータRnの符号化データを生成する。そして、残差符号化部35は、基本量子化係数QBnと疑似量子化係数RQEnとの間に残差が発生している場合に残差データをエントロピ符号化して残差の符号化データを生成する。

【0061】
結合部13は、基本量子化係数QBnの符号化データ、基本量子化パラメータQBPnの符号化データ、比率パラメータRnの符号化データ及び残差データの符号化データを含むビットストリームを生成し、外部に出力する。

【0062】
[ハードウェア構成]
符号装置1の各構成は、コンピュータ装置に符号プログラムをインストールすることにより実現される。図5を参照して、コンピュータ装置は、中央演算処理装置(CPU)101と、メモリ102と、ディスプレイ103と、ハードディスク(HDD)104と、マウスやキーボード等の入力部105と、外部装置(たとえば復号装置2)と通信するための通信部106とを備える。符号プログラムはHDD104に記憶される。符号プログラムがメモリ102にロードされ、CPU101で実行されることにより、コンピュータ装置は符号装置1となる。

【0063】
[符号装置の動作]
以下、符号装置1の動作の詳細を説明する。
図6を参照して、符号装置1の画像入力部51及び21は、外部から画像を受け付ける。このとき、符号装置1の基本画像処理部BLEは、基本画像の符号化データを生成する(S40)。まず、画像入力部51は、受け付けた画像を複数のマクロブロックM1~Mnに分割する(S1)。品質指定部11は、ユーザ操作に応じて基本画像の品質を指定する(S2)。続いて、基本画像処理部BLEは、基本画像の符号化データを作成する(S3)。

【0064】
ステップS3は以下のとおりに実行される。符号化モード決定部56は、品質指定部41が指定した品質に応じて、各マクロブロックMnに採用する符号化モードをマクロブロックMnごとに決定する。各マクロブロックMnに採用された符号化モードに関する情報は、符号化モード決定部56に記憶される。

【0065】
続いて、予測符号化部52は、決定された符号化モードに基づいて、必要に応じて画像を加工する。具体的には、符号化モードとしてインター予測モードが適用されるマクロブロックMnでは、周知のインター予測に基づいて予測画像が生成され、画像から予測画像が差分された差分画像が画像信号として出力される。一方、予測符号化部52は、イントラ予測モードが適用されるマクロブロックに対しては処理を実行せずにスルーする。

【0066】
続いて、変換符号化部53は、予測符号化部52から出力された画像信号を離散コサイン変換して、変換符号化係数を生成する。そして、量子化部54は、変換符号化係数を量子化する。量子化部54は、符号化モードに基づいて、マクロブロックMnごとに基本量子化パラメータQBPnが決定される。そして、決定された基本量子化パラメータQBPnに基づいて基本量子化係数QBnを求める。エントロピ符号化部55は、基本量子化係数QBnの符号化データと、基本量子化パラメータQBPnの符号化データとを生成する。

【0067】
続いて、符号装置1は、拡張画像の符号化データを生成する(S20)。画像入力部21は、受けた画像を複数のマクロブロックM1~Mnに分割する。情報取得部12は、符号化モードを符号化モード決定部56から取得する(S4)。そして、符号化モード決定部56は、情報取得部12が取得した符号化モードを、符号化中核部20で利用する符号化モードに決定する。続いて、品質指定部41は、ユーザ操作に応じた品質要求を外部から受信し、要求に応じた拡張画像の品質を指定する(S5)。

【0068】
続いて、ステップS3と同様に、拡張画像処理部ELEjは、拡張量子化係数QEnの符号化データ及び拡張量子化パラメータQEPnの符号化データを出力する(S6)。予測符号化部22は、符号化モード決定部26で決定された符号化モードに基づいて、画像を加工する。変換符号化部23は、画像を離散コサイン変換して変換符号化係数を生成する。そして、量子化部24は、符号化モード決定部26で決定された符号化モードに基づいて、拡張量子化パラメータQEPnをマクロブロックMnごとに設定する。そして、設定された拡張量子化パラメータQEPnに基づいて、画像を量子化し、拡張量子化係数QEnを生成する。

【0069】
拡張画像処理部ELEjはさらに、比率パラメータRnを算出する。そして、基本量子化係数QBnと疑似量子化係数RQEnとの残差データが最小になるように、最適化を図る(S30)。

【0070】
はじめに、抽出部31は、情報取得部12から、基本量子化パラメータQBn及び拡張量子化パラメータQEnを取得する(S7)。続いて、比率算出部32は、式(1)に基づいて、比率パラメータRnを算出する(S8)。比率パラメータRnはマクロブロックMnごとに算出される。比率パラメータRnが求められた後、最適化処理部33は、上述のCASE1を実行し、残差符号化データが最小となる領域パターンを選択する(S9)。

【0071】
最適化処理部33は、図3又は図4に示す各マクロブロックMn内のブロックに関する複数の領域パターンごとに、疑似量子化係数RQEnを算出する。たとえば、図3の領域指定パターン1では、マクロブロックMnを構成する各ブロックの全領域に対して比率パラメータRnを乗じて疑似量子化係数RQEnを算出する。図3の領域パターン2では、ブロック内のハッチングされた領域A1に対してのみ比率パラメータRnを乗じて疑似量子化係数RQEnを算出する。

【0072】
このように、複数の領域パターンの各々について、疑似量子化係数RQEnを算出する。そして、領域パターンごとの疑似量子化係数RQEnと、基本量子化係数QBとの差分である残差データを算出する。最適化処理部33は、算出結果に基づいて、残差データが最小となる領域パターンを指定する。残差データが小さいほど、拡張量子化係数QEnが基本量子化係数QBnの比率パラメータRn倍にほぼ相当することを示し、拡張画像の品質を制御しやすい。

【0073】
続いて、最適化処理部33は、特定された領域指定モードでの残差データが、所定値未満であるか否かを判断する(S10)。所定値未満である場合(S10でYES)、残差データは充分に小さいため、ステップS13に進む。

【0074】
一方、ステップS10で判断の結果、残差データが所定値を超える場合(S10でNO)、拡張画像処理部ELEjはCASE2を実行する(S11及びS12)。具体的には、拡張量子化パラメータQEPnを変更するか(S11でYES)、基本パラメータQBPnを変更し(S12でYES)、再び、比率パラメータRn及び各領域パターンでの残差データを算出する。

【0075】
ステップS11で拡張量子化パラメータQEPnを変更するか、ステップS12で基本パラメータQBPnを変更するかは、たとえば、ユーザ操作に応じてあらかじめ設定されている。

【0076】
[基本量子化パラメータを変更する場合]
拡張量子化パラメータの変更が設定されておらず(S11でNO)、基本量子化パラメータQBPnの変更が設定されている場合(S12でYES)、最適化処理部33は、基本画像処理部BLEに対して、基本量子化パラメータQBPnを品質指定部11により指定された品質を保持できる範囲で変更して、符号化データを再び出力するよう要求する。

【0077】
この場合、ステップS3に戻って、基本画像処理部BLEの符号化モード決定部56は、最適化処理部33の要求を受ける。そして、要求に応じて符号化モードを変更する。予測符号化部52は、変更された符号化モードに応じて、画像信号を加工する。そして、量子化部54は、最適化処理部33からの要求に基づいて基本量子化パラメータQBPnを変更し、基本量子化係数QBnを再び算出する。なお、比率パラメータ生成部30での動作が終了するまで、画像入力部21及び41は受けた画像を保持している。そのため、基本画像処理部BLEは同じ画像を用いて再び基本量子化係数QBnを算出できる。

【0078】
基本画像処理部BLEがステップS40の処理を実行した後、拡張画像処理部ELEjはステップS20の動作を実行して、再び拡張量子化係数QEn及び拡張量子化パラメータQEPnを算出する。そして、得られた基本量子化係数QBn及び拡張量子化係数QEnを用いて、領域指定処理を再び実行する(S9)。実行した結果、特定された領域パターンで得られた残差データが所定値よりも大きいか否かを判断する(S10)。

【0079】
要するに、残差データが所定値未満となるまで、基本量子化パラメータQBPnを順次変更して、ステップS40、S20及びS7~S10の動作を繰り返す。これにより、残差データを所定値以下にすることができる。

【0080】
[拡張量子化パラメータを変更する場合]
ステップS11で拡張量子化パラメータQEPnを変更する場合(S11でYES)、ステップS6に戻って、拡張量子化係数QEn及び拡張量子化パラメータQEPnを再び算出する。具体的には、量子化部24は、最適化処理部33からの要求に応じて、品質指定部11により指定された品質を保持できる範囲で拡張量子化パラメータQEPnを変更する。そして、量子化部24は、拡張量子化係数QEnを再び算出する(S6)。その後、ステップS7~S10を再び実行する。

【0081】
上記のとおり、基本量子化パラメータQBPn又は拡張量子化パラメータQEPnを変更して、基本量子化係数QBn又は拡張量子化パラメータQEnを算出し、残差データを求める。その結果、求めた残差データが所定値未満になったとき(S10でYES)、比率パラメータRnを利用するか否かを判断する(S13)。比率パラメータRnを利用しないのであれば(S13でNO)、ステップS16に進む。この場合、従前のスケータブル符号化方式の符号装置と同様の動作を実行する。つまり、結合部13は、基本量子化係数QBn、基本量子化パラメータQBPn、拡張量子化係数QEn、拡張量子化パラメータQEPnの符号化データを結合して外部に出力する(S16)。

【0082】
一方、比率パラメータRnを利用する場合(S13でYES)、比率パラメータ符号化部34は、比率パラメータRnをエントロピ符号化し、比率パラメータRnの符号化データを生成する(S14)。また領域パターンを利用した場合は、領域パターンに関する情報の符号化データを作成する。残差データが存在する場合、残差データをエントロピ符号化して残差符号化データを作成する(S15)。この場合、拡張画像処理部ELEjから出力される符号化データは、図7のとおりである。つまり、符号化データには、各マクロブロックMnに対応した符号化モードMM1~MMn、比率パラメータR1~Rn、選択された領域パターンに関する情報N1~Nn及び残差データが含まれる。

【0083】
結合部13は、拡張画像処理部ELEjから出力された符号化データと、基本画像処理部BLEから出力される符号化データ(基本量子化係数QBn及び基本量子化パラメータQBPnの符号化データ)を結合して出力する。符号化装置1は、残差データが発生しないか、残差データが発生する場合であっても、そのデータ量は小さい。そのため、従来の符号化装置と比較して、出力される符号化データ量は少ない。

【0084】
[復号装置の構成]
復号装置2は、上述の符号装置1から出力された符号化データを受け、所望の拡張画像を復号する。復号装置2の構成について、詳述する。
図8を参照して、復号装置2は、データ入力部201と、基本画像処理部BLDと、第1~第j拡張画像処理部ELD1~ELDjとを備える。データ入力部201は、符号装置1から配信された符号化データ(ビットストリーム)を受信する。そして、基本画像処理部BLD及び拡張画像処理部ELDjに符号化データを出力する。

【0085】
基本画像処理部BLDは、符号化データから基本画像を復号する。基本画像処理部BLDは、抽出部500と、エントロピ復号部501と、逆量子化部502と、逆変換部503と、予測生成部504とを備える。抽出部500は、データ入力部201に入力された符号化データから、基本画像量子化係数QBnの符号化データと、基本量子化パラメータQEPnの符号化データと、符号化モードの符号化データとを抽出する。エントロピ復号部501は、符号化データを復号し、基本画像量子化係数QBnと、基本量子化パラメータQBPnと、符号化モードとを生成する。逆量子化部502は、基本量子化パラメータQBPn及び符号化モードに基づいて、基本量子化係数QBnを逆量子化し、基本画像の変換符号化係数を生成する。逆変換部503は、基本画像の変換符号化係数を逆離散コサイン変換し、基本画像の信号を生成する。

【0086】
予測生成部504は、符号化モードに基づいて、必要に応じて予測信号を生成する。具体的には、符号化モードがインター予測モードの場合、予測生成部504は、先に出力された基本画像の信号に基づいて、動き補償等の周知の方法で予測信号を生成する。そして、逆変換部503から出力された基本画像の信号(差分信号)と予測信号とを合成し、基本画像を生成する。一方、符号化モードがイントラ予測モードの場合、予測生成部504は、逆変換部503から出力された信号をそのままスルーする。以上の動作により、基本画像処理部500は基本画像を復号し、外部に出力する。

【0087】
拡張画像処理部ELDjは、データ入力部201に入力された符号化データから拡張画像を復号する。拡張画像処理部ELDjは、比率パラメータ生成部300と、復号中核部400とを備える。

【0088】
比率パラメータ生成部300は、拡張画像量子化係数QEnの符号化データと、拡張量子化パラメータQEPnの符号化データとを生成する。比率パラメータ生成部300は、符号化データ抽出部301と、比率復号部302と、残差復号部303と、合成部304と、パラメータ符号部305とを備える。符号化データ抽出部301は、データ入力部201に入力された符号化データから比率パラメータRn、符号化モードMMn、領域パターンに関する情報Nn及び残差データの符号化データを抽出する(図7参照)。比率復号部302は、比率パラメータRnの符号化データを復号して、比率パラメータRnを生成する。また、比率復号部302は、領域パターンに関する情報の符号化データを復号して、領域パターンを特定する。残差復号部303は、残差データの符号化データを復号して残差データを生成する。

【0089】
合成部304は、抽出部500から基本量子化係数QBnの符号化データを取得し、エントロピ復号部501から基本量子化パラメータQBnの符号化データを取得する。そして、基本量子化係数QBnの符号化データと、領域指定モードと、比率パラメータRnと、残差データとを用いて、拡張量子化係数QEnを生成する。このとき、領域パターンも利用される。合成部304はさらに、基本量子化パラメータQBPnと比率パラメータRnとを用いて、式(2)に基づいて拡張量子化パラメータQEPnを算出する。

【0090】
拡張量子化パラメータQEPn=基本量子化パラメータQBPn×比率パラメータRn (2)
パラメータ符号部305は、算出された拡張量子化パラメータQEPnを再度符号化する。以上の方法により、比率パラメータ生成部300は、拡張量子化係数QEPnの符号化データと、拡張量子化パラメータQEPnの符号化データとを生成する。比率パラメータ生成部300はさらに、符号化データ抽出部301で抽出された拡張画像用の符号化モードの符号化データも出力する。

【0091】
復号中核部400は、拡張量子化係数QEnと、拡張量子化パラメータQEPnと、符号化モードとに基づいて、拡張画像を生成する。復号中核部400は、エントロピ復号部401と、逆量子化部402と、逆変換部403と、予測生成部404とを備える。

【0092】
エントロピ復号部401は、拡張量子化係数QEn、拡張量子化パラメータQEPn及び符号化モードの符号化データを復号し、拡張量子化係数QEn、拡張量子化パラメータQEPn及び符号化モードを生成する。逆量子化部402は、拡張量子化係数QEnと、拡張量子化パラメータQEPnと、符号化モードとに基づいて、拡張画像の変数符号化係数を生成する。逆変換部403は、拡張画像の変換符号化係数を逆離散コサイン変換して、拡張画像の信号(又は差分信号)をマクロブロック単位で生成する。予測生成部404は、符号化モードに基づいて、対応のマクロブロックMnがインター予測モードを採用する場合、先に出力された拡張画像に基づいて周知の方法により予測信号を生成する。そして、拡張画像の差分信号と予測信号とを合成して、拡張画像を生成する。一方、対応のマクロブロックMnがイントラ予測モードを採用する場合、予測生成部404は、その信号をスルーする。以上の方法により、拡張画像処理部は拡張画像を生成し、外部に出力する。

【0093】
[ハードウェア構成]
復号装置2の各構成は、符号装置1と同様に、コンピュータ装置に復号プログラムをインストールすることにより実現される。復号プログラムは図5のコンピュータ装置のハードディスク104に記憶される。復号プログラムがメモリ102にロードされ、CPU101で実行されることにより、コンピュータ装置は復号装置2になる。

【0094】
[復号装置の動作]
以下、復号装置の動作の詳細を説明する。図9を参照して、復号装置2のデータ入力部201は、符号装置1から配信された符号化データを受信する(S101)。復号装置2のユーザは、たとえば図5中の入力部105を介して、復号する画像の品質を選択する。品質指定部202は、ユーザ操作に応じて選択された品質要求を受ける。そして、受けた品質要求に応じて、復号する画像(基本画像、第1拡張画像~第j拡張画像のいずれか)を指定する(S102)。

【0095】
品質を指定後、基本画像処理部BLD内の抽出部500は、符号化データから基本量子化係数QBnの符号化データと、基本量子化パラメータQBPnの符号化データと、符号化モードの符号化データとを抽出する。そして、エントロピ復号部501は、これらの符号化データをエントロピ復号し、基本量子化係数QBnと、基本量子化パラメータQBPnと、符号化モードとを生成する(S103)。続いて、逆量子化部502は、基本量子化係数QBnと、基本量子化パラメータQBPnと、符号化モードとに基づいて逆量子化し、基本画像の変換符号化係数を生成する(S104)。

【0096】
続いて、品質指定部202は、ステップS102で受け付けた品質要求に基づいて、起動する画像処理部を、基本画像処理部BLD及び第1~第j拡張画像処理部ELD1~ELDjから選択する(S105及びS108)。

【0097】
[基本画像を復号する場合]
ステップS102で受けた品質要求が基本画像に相当する品質である場合(S105でYES)、品質指定部202は、基本画像処理部BLDに復号するよう指令する。この場合、逆変換部503は、逆量子化部502で生成された基本画像の変換符号化係数を逆変換して基本画像の信号を生成する(S106)。このとき、複数のマクロブロックM1~Mnのうち、インター予測モードが採用されたマクロブロックMnについては差分信号が生成される。

【0098】
続いて、予測生成部504は、基本画像の符号化モードに基づいて、インター予測モードが採用されたマクロブロックMnの差分信号に対して予測信号を生成し、合成する。予測信号は、先に出力された画像信号に基づいて、動き補償等の周知の方法で生成される。一方、予測生成部504は、イントラ予測モードが採用されたマクロブロックMnの信号をスルーする(S107)。
以上の方法で生成された信号は結合され、基本画像として外部に出力される(S119)。

【0099】
[第j拡張画像を復号する場合]
ステップS102で受けた品質要求が第j拡張画像(j=1~)に相当する品質である場合(S105でNO)、品質指定部202は、拡張画像処理部ELDjに復号するよう指示する(S108)。このとき、品質指定部202は、基本画像処理部BLDに基本画像情報を拡張画像復号部ELDjに出力するよう要求する。基本画像情報は、抽出部500で抽出された基本量子化係数QBnの符号化データと、エントロピ復号部501で復号された基本量子化パラメータQBPnと、符号化モードとを含む。基本画像処理部BLDは、指示に応じて基本画像情報を拡張画像処理部ELDjに出力する。

【0100】
拡張画像処理部ELDjは、品質指定部202から復号指示を受けて、第j拡張画像の復号を実行する(S150及びS160)。初めに、拡張画像処理部ELDjは、比率パラメータ生成部300により、拡張量子化係数QEnの符号化データと、拡張量子化パラメータQEPnの符号化データとを生成する(S150)。そして、生成された拡張量子化係数QEnと拡張量子化パラメータQEPnとに基づいて、第j拡張画像を再生する(S160)。

【0101】
[比率パラメータ生成部での処理(S150)]
比率パラメータ生成部300内の符号化データ抽出部301は、符号化データから、比率パラメータRnと、残差データと、領域パターンに関する情報と、符号化モードとを抽出する(S110)。そして、比率復号部302は、比率パラメータRn、符号化モード及び領域パターンに関する情報の符号化データを復号して、比率パラメータRn、符号化モード及び領域パターンに関する情報を生成する(S111)。次に、比率パラメータRn、符号化モード、領域パターン及び残差データと、基本画像処理部BLDから送信された基本画像情報(基本量子化係数QBnの符号化データと、基本量子化パラメータQBPnの符号化データ)とに基づいて、拡張量子化係数QEnの符号化データと、拡張量子化パラメータQEPnとを生成する(S112)。具体的には、合成部304は、基本量子化係数QBnの符号化データに、領域パターンに応じて比率パラメータRnを乗じる。その後、残差データを加算する。以上の方法により、拡張量子化係数QEnの符号化データが得られる。一方、基本量子化パラメータQBPnに比率パラメータRnを乗じて、拡張量子化パラメータQEPnを算出する。パラメータ符号部305は、得られた拡張量子化パラメータQEPnと符号化モードとを再びエントロピ符号化する(S113)。そして、符号化されたデータを出力する(S114)。
以上の工程により、比率パラメータ生成部300は、拡張量子化係数QEnの符号化データと、拡張量子化パラメータQEPnの符号化データとを生成する。

【0102】
[拡張画像復号処理(S160)]
復号中核部400は、生成された拡張量子化係数QEnの符号化データ、拡張量子化パラメータQEPnの符号化データ及び符号化モードに基づいて、第j拡張画像を生成する(S160)。

【0103】
まず、エントロピ復号部401は、拡張量子化係数QEnの符号化データと、拡張量子化パラメータQEPnの符号化データと、符号化モードの符号化データとをエントロピ復号し、拡張量子化係数QEnと、拡張量子化パラメータQEPnと、符号化モードとを生成する(S115)。続いて、逆量子化部402は、拡張量子化係数QEnと、拡張量子化パラメータQEPnと、符号化モードとに基づいて逆量子化し、第j拡張画像の変換符号化係数を生成する(S116)。その後、ステップS106及び107と同様に、第j拡張画像の変換符号化係数を逆離散コサイン変換し(S117)、インター予測モードを採用したマクロブロックMnに対しては予測信号を生成し、合成する(S118)。以上の工程により第j拡張画像を生成し、外部に出力する(S119)。
以上の方法により、復号装置2は、基本画像処理部BLDの抽出部500及びエントロピ復号部501での処理と、所望の品質に対応する第j拡張画像復号部ELDjでの処理を実行すれば、所望の品質の第j拡張画像を得ることができる。

【0104】
従前のスケーラブル符号化機能では、比率パラメータRnを用いず、第1~第j拡張画像に利用する拡張量子化パラメータQEPnが、それぞれ独立して利用される。そのため、第j拡張画像を復号する場合、基本画像復号部BLDと、第1~第j拡張画像処理部ELD1~ELDjの全てにおいて復号処理を実行し、再生された画像を合成しなければ第j拡張画像を得ることができない。

【0105】
これに対して、本実施の形態による復号装置2は、上述のとおり、基本画像復号部BLDの抽出部500及びエントロピ復号部501での処理と、所望の品質に対応する第j拡張画像復号部ELDjでの処理を実行すれば、所望の品質の第j拡張画像を得ることができる。そのため、復号装置2の復号処理は軽減される。

【0106】
上述の実施の形態では、符号化装置1での処理において、拡張画像処理部ELEjが残差データを算出したが、残差データを求めなくでもよい。この場合、拡張画像処理部ELEjは、図7の残差データ以外の符号化データを出力する。このとき、復号装置2は、基本量子化係数QBnに比率パラメータRnを乗じて、拡張量子化係数QEnを算出する。また、拡張画像処理部ELEjは、CASE1又は/及びCASE2を実施しなくてもよい。

【0107】
2.第2の実施の形態
第1の実施の形態では、符号装置1内の第j拡張画像処理部ELEjは、マクロブロックMn~Mnごとに比率パラメータRnを設定した。しかしながら、画像の所定領域に含まれる複数のマクロブロックMnの比率パラメータRnが互いに近似している場合、その領域内の比率パラメータRnを平準化してもよい。この場合、領域内の複数のマクロブロックMnに対して1つの代表比率パラメータRanが設定される。そのため、1つの代表比率パラメータRanの値を調整すれば、領域内の画像品質を容易に調整できる。

【0108】
平準比率パラメータRanの設定は、図2中の比率算出部32により実行される。以下、第2の実施の形態における符号装置1の動作の詳細を説明する。

【0109】
[符号装置の動作]
図10を参照して、ステップS1~S8までの動作は図6と同じである。ステップS8で各マクロブロックMnの比率パラメータRnを算出した後、比率算出部32はさらに、比率パラメータRnが近似するマクロブロックMn群で構成される領域を検索する(S21)。具体的には、比率算出部32は、領域内の各マクロブロックMnの比率パラメータRnの最大値と最小値との差が所定マージンMX以内となる領域(マクロブロック群)を特定する。マージンMXはユーザ操作に応じて設定可能である。マージンMXの小さく設定すれば、領域の範囲は小さくなるし、マージンMXを大きく設定すれば、マクロブロックM1~Mn全体が1つの領域となる。また、マージンMXの設定によっては、領域が複数発生する。

【0110】
ステップS21での検索の結果、領域が存在しなければ(S22でNO)、ステップS9に進み、以降は図6と同じ動作を実行する。一方、領域が存在する場合(S22でYES)、領域ごとに代表比率パラメータRanを決定する(S23)。代表比率パラメータRanは以下の方法で決定する。領域内の複数のマクロブロックMnの比率パラメータRnをヒストグラム化する。そして、作成されたヒストグラムのうち、頻度の高い値を代表比率パラメータRanに決定する。たとえば、ステップS21で検索された領域が10個のマクロブロックM1~M10を含み、各マクロブロックM1~M10の比率パラメータRn1~Rn10の値が図11に示すとおりである場合、比率パラメータRn1~Rn10の値のうち、最も頻度の高い値である「0.85」を代表比率パラメータRanに決定する。また、最も頻度の高い値に代えて、比率パラメータR1~R10の平均値(図10では、「0.84」)を代表比率パラメータに決定してもよい。

【0111】
代表比率パラメータRanを決定後、領域内の各マクロブロックMnの比率パラメータRnを平準比率パラメータRanに変更する(S24)。ステップS24以降の動作は図6と同じである。なお、ステップS16で拡張画像処理部ELEjから出力される符号化データは、図7に示す情報に加えて、代表比率パラメータが適用される領域内のマクロブロックMnを特定するための情報(代表比率パラメータ適用領域情報)を含む。

【0112】
[復号装置の動作]
復号装置2は、図9に示す動作を実行する。これにより、領域内のマクロブロックMnの拡張量子化係数QEn及び拡張量子化パラメータQEPnの生成については、代表比率パラメータが利用される。なお、代表比率パラメータ適用領域情報を利用すれば、復号装置2で代表比率パラメータを変更し、代表比率パラメータが適用される領域内の画像品質を変更することができる。

【0113】
品質指定部202は、ユーザ操作に基づく代表比率パラメータの設定変更要求を受けたとき、代表比率パラメータの設定変更要求を合成部304に送信する。設定変更要求には、代表比率パラメータの変更条件が含まれる。合成部304は、代表比率パラメータ適用領域情報を参照して領域内のマクロブロックMnを特定する。そして、特定されたマクロブロックMnの比率パラメータ(これらの比率パラメータは、ステップS24で代表比率パラメータに変更されている)を設定変更要求内の変更条件に応じて変更する。変更後、拡張量子化係数QEn及び拡張量子化パラメータQEPnを生成する。

【0114】
以上の動作により、領域内の比率パラメータを1つの代表比率パラメータRanに設定できる。たとえば、ステップS21で検索された領域に、画像を構成する全てのマクロブロックM1~Mnが含まれる場合、拡張画像全体に対して1つの代表比率パラメータRanが設定される。この場合、たとえば、復号装置2において、ユーザ操作により代表比率パラメータを変更すれば、拡張画像全体の品質を容易に変更することができる。

【0115】
また、上述の例では、複数のマクロブロックMnの比率パラメータRnの差分が所定のマージンMX内となる領域を特定したが、代表比率パラメータを利用する領域を初めから決めておいてもよい。たとえば、画像内で横一列に配列された複数のマクロブロック群(スライス)を領域に予め設定していても良い。また、複数のスライス群を領域に設定していてもよい。つまり、領域を一次元的(一列のマクロブロック群)又は二次元的(複数のスライス群)に予め設定してもよい。この場合、図10中のステップS21をスキップして、予め設定された領域の代表比率パラメータをステップS23で決定する。

【0116】
3.第3の実施の形態
拡張画像内の特定のオブジェクト、たとえば、画像内の人物や特定物に対して、代表比率パラメータRanを利用してもよい。具体的には、画像内でオブジェクトが占める領域を、周知のオブジェクト抽出方法で特定する。周知のオブジェクト抽出方法とはたとえば、領域分割法である。画像内の特定のオブジェクトに対して代表比率パラメータRanを利用すれば、特定のオブジェクトの品質を、画像内の他の部分と分けて調整することができる。

【0117】
このようなオブジェクト領域の特定やオブジェクト領域の代表比率パラメータRanの算出は、図2に示す符号装置1の比率算出部32により実行される。

【0118】
[符号装置の動作]
本実施の形態による符号装置の動作は次のとおりである。図12を参照して、ステップS1~S8までの動作は図6と同じである。ステップS8で拡張画像の各マクロブロックM1~Mnの比率パラメータR1~Rnを決定後、比率算出部32は、オブジェクト領域の特定処理を実行する(S32)。比率算出部32はたとえば、領域分割法に基づいてオブジェクト領域を特定する。そして、特定されたオブジェクト領域内のマクロブロックMnの比率パラメータRnをヒストグラム化し、最も頻度の高い値を、オブジェクト領域の代表比率パラメータRanに決定する(S33)。特定されたオブジェクト領域が複数存在する場合、比率算出部32は、オブジェクト領域ごとに代表比率パラメータRaを決定する。比率算出部32は、オブジェクト領域内のマクロブロックMnの比率パラメータRnを、代表比率パラメータに変更する(S34)。ステップS34以降の動作は図6と同じである。なお、第2の実施の形態と同様に、ステップS16で拡張画像処理部ELEjから出力される符号化データは、図7に示す情報に加えて、代表比率パラメータが適用される領域内のマクロブロックMnを特定するための情報(代表比率パラメータ適用領域情報)を含む。

【0119】
復号装置の動作は第2の実施の形態と同じである。この動作により、第j拡張画像内の特定のオブジェクトの品質のみを容易に変更できる。

【0120】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【符号の説明】
【0121】
1 符号装置
2 復号装置
20 符号化中核部
22 予想符号化部
23 変換符号部
24 量子化部
25 エントロピ符号化部
26,56 符号化モード決定部
30 比率パラメータ生成部
32 比率算出部
33 最適化処理部
50 符号化中核部
51 画像入力部
52 予測符号化部
53 変換符号化部
54 量子化部
55 エントロピ符号化部
100 画像配信システム
300 比率パラメータ生成部
304 合成部
400 復号中核部
401,501 エントロピ復号部
402,502 逆量子化部
403,503 逆変換部
404,504 予測生成部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11