TOP > 国内特許検索 > 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム > 明細書

明細書 :映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4649615号 (P4649615)
公開番号 特開2007-221411 (P2007-221411A)
登録日 平成22年12月24日(2010.12.24)
発行日 平成23年3月16日(2011.3.16)
公開日 平成19年8月30日(2007.8.30)
発明の名称または考案の名称 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
国際特許分類 H04N   7/32        (2006.01)
H03M   7/36        (2006.01)
FI H04N 7/137 Z
H03M 7/36
請求項の数または発明の数 6
全頁数 16
出願番号 特願2006-038883 (P2006-038883)
出願日 平成18年2月16日(2006.2.16)
審査請求日 平成21年2月9日(2009.2.9)
特許権者または実用新案権者 【識別番号】304026696
【氏名又は名称】国立大学法人三重大学
発明者または考案者 【氏名】近藤 利夫
審査官 【審査官】畑中 高行
参考文献・文献 特開2004-147306(JP,A)
特開平11-041609(JP,A)
奥野剛、外3名,リフレッシュピクチャの分割送出による動画像符号化の遅延低減,FIT2004(第3回情報科学技術フォーラム),社団法人電子情報通信学会、社団法人情報処理学会,2004年 8月20日,p.371-372
調査した分野 H04N7/24-7/68
H03M7/30-7/50
特許請求の範囲 【請求項1】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化装置において、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段とを備える
ことを特徴とする映像符号化装置。
【請求項2】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化装置において、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段とを備える
ことを特徴とする映像復号化装置。
【請求項3】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方法において、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する過程と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する過程と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する過程と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する過程とを有する
ことを特徴とする映像符号化方法。
【請求項4】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化方法において、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する過程と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する過程と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する過程と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する過程と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える過程と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする過程とを有する
ことを特徴とする映像復号化方法。
【請求項5】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化をコンピュータに実行させるための映像符号化プログラムであって、
前記コンピュータを、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段として、
機能させるための映像符号化プログラム。
【請求項6】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化をコンピュータに実行させるための映像復号化プログラムであって、
前記コンピュータを、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段として、
機能させるための映像復号化プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、低遅延映像符号化および復号化装置に関し、特に低遅延、高画質、高圧縮率の3つを両立する映像符号化復号化システムを構築する技術に関する。
【背景技術】
【0002】
映像符号化における高画質、高圧縮率の両立は、すでに高いレベルに到達している。例えば、10年以上前に標準化されたMPEG-2の符号化方式ですら、HDTVデジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で、1/100程度の高圧縮率を実現している。MPEG-2の標準化以降にも圧縮率の向上は進んでおり、H.263、MPEG-4を経て、最近、標準化されたH.264では、MPEG-2の2倍以上の圧縮率が得られるといわれている。
【0003】
このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定(CBR)の条件での遅延時間の低減については、MPEG-2以降、本質的な方式の進歩はない。その結果、画質に対する要求の緩いテレビ電話では100ms以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化と復号化に要する遅延が1秒以上にも及んでいる。
【0004】
もちろん、MPEG-2においても遅延低減については配慮されており、2つの低遅延モードのフレームドロップとイントラスライスが用意されている。前者のフレームドロップは、遅延の主因ともいえるピクチャ(フレームあるいはフィールド)内符号化ピクチャ(以後I[イントラ]ピクチャと呼ぶ)あるいはピクチャ内符号化マクロブロック(イントラマクロブロック)が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して(ドロップさせて)、CBR(定ビットレート)の条件を満たそうとするものである。このモードを適用すると、連続して2枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、画質に対する要求の厳しい用途には向いていない。
【0005】
これに対し、イントラスライスは、遅延増の主因となるIピクチャを周期的に挿入するのではなく、縦続するPピクチャ(動き補償を前方予測のみで行うピクチャ間符号化ピクチャ)間で移動させる(通常は上から下の順序で巡回的に移動させる)Pピクチャ内の一部スライス(ピクチャ内の特定のマクロブロックのグループ、MPEG-2では、通常、1~数行の横方向の帯状のマクロブロックの並びだが、1~数列の縦方向の帯状のマクロブロックの並び[MPEG-2ではイントラコラムと呼ばれる]とする場合や、矩形のマクロブロックの並びとする場合もある)の構成マクロブロックを、すべてイントラマクロブロックとして符号化することにより、分散的にリフレッシュを実現する方式(イントラスライスリフレッシュ方式)である。この方式は、画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。
【0006】
図1は、左側が、PPPP…のピクチャシーケンス構造(PPP構造)、右側がBBPBBP…のピクチャシーケンス構造(Pピクチャ周期がBBPからなるピクチャシーケンス構造)(BBP構造)の場合で、Pピクチャ毎に、イントラスライスが上から下に巡回的に移動するのを表示順のピクチャシーケンスで示している。なお、イントラスライスは、映像を構成する各々のピクチャをIピクチャ、Pピクチャ、Bピクチャ(動き補償に前方予測、後方予測、双方向予測の3つを併用するピクチャ間符号化ピクチャ)として、逐次的に符号化あるいは復号化すること(MPEG-2のメインプロファイル相当)を前提に構築され、IBBPBBPBBP…構造(IBBP構造)あるいはIBPBPBP…構造(IBP構造)に対応する従来の標準的な構成の符号化装置(図2)、復号化装置(図3)の中で容易に実現できる利点も併せ持っている。
【0007】
しかし、このイントラスライスリフレッシュ方式もPPP構造の低遅延モードに組み合わされて、テレビ電話や監視用途など映像符号化の応用範囲の一部に適用されてきたに過ぎない。BBPあるいはBP構造は、画質の点でPPP構造より有利ながら、陽に標準化対象として定められているわけではない(MPEG-2の標準化範囲内で実現は可能)。この原因は、BBP構造あるいはBPBPBP…構造(BP構造)の符号化方式において、以下の問題等があり、十分な遅延低減効果が得られないばかりか、放送や蓄積用途における厳しい画質要求に応えられなかったためと考えられる。
【0008】
(1)イントラスライスを、途中のBピクチャに挿入できない分、Pピクチャにまとめて挿入しなければならないため、Pピクチャに占めるイントラスライスの符号量が大きくなり、PPP構造ほど、Pピクチャの符号量が小さくならない。このため、Pピクチャの符号量が小さくなることによる遅延低減効果は、PPP構造に比べると小さい。
(2)ピクチャを入力順から符号化順に並べ変える際の遅延と、シーンチェンジ時にピクチャ全体をIピクチャとして符号化せざるを得ないことによる遅延の両方の和が大きく、イントラスライスリフレッシュ方式の遅延低減効果が隠れてしまう。
(3)リフレッシュ効果を確実に得るのに必須となるイントラスライス挿入位置のピクチャ間の移動が直接的にあるいはちらつきとして目立ってしまう。
ただし、(3)の問題については、プリアナリシスの結果に基づいてイントラスライス部分と周辺の部分の量子化の粗さをそろえる方法(例えば、特許文献1参照)や、イントラスライス部分の圧縮率を上げて、一時的な符号発生量の増大を抑える方法(例えば、特許文献2参照)が提案されている。
【0009】
しかし、前者で利用するプリアナリシスは低遅延の条件ではうまく行くとは限らないため、イントラスライス部分で一時的に符号発生量が大きくなり過ぎることがあり、その結果として、符号発生量制約を守るために直後のマクロブロックの圧縮率を極端に上げなければならなくなり、逆にイントラスライス部分を目立たせることが起こりえる。また、後者については、リフレッシュ部分が周辺よりぼけることとなり、それがかえって目立つことが起こりえる欠点があり、高画質の映像符号化には不向きである。
【0010】
BBPあるいはBP構造にイントラスライスを適用する代わりに、IBBPあるいはIBP構造のリフレッシュピクチャ全体をPピクチャとして符号化するだけでなく、その局所復元PピクチャをIピクチャとしても再符号化し、その再符号化データを後送りすることで、遅延を低減する方法(特許文献3参照)が提案されている。しかし、この方法は、イントラスライスリフレッシュ方式のようにイントラスライスの移動がないため、それが目立つことはないものの、再符号化により、無視できない画質劣化が生じる問題がある。また、シーンチェンジで生じる遅延の低減にはあまり効果が期待できない。
【0011】

【特許文献1】特開平7-95564号公報
【特許文献2】特開2005-124041号公報
【特許文献3】特開2004-147306号公報
【発明の開示】
【発明が解決しようとする課題】
【0012】
イントラスライスリフレッシュ方式を用いて低遅延の映像符号化・復号化装置を実現する上で、前述した(1)から(3)の問題を解消すること、換言すれば、画質に優れるBPあるいはBBP構造の符号化方式で、PPP構造と同等の低遅延性を実現することと、イントラスライスの移動を目立ち難くすることとが、本発明が解決しようとする課題である。
すなわち、本発明は、イントラスライスの挿入位置をピクチャ毎に移動させる現在主流の低遅延映像符号化・復号化方式において、イントラスライスの移動に起因するちらつきを目立ち難くすることと、Bピクチャを用いる場合に、Bピクチャを用いない場合と同等の低遅延を実現することを目的とする。
【課題を解決するための手段】
【0013】
本発明は、以下の4つの手段により、符号化から復号化までの遅延を低減する。
(1)符号化装置で、リフレッシュ対象スライスについてイントラスライスとして符号化するとともに、Pピクチャの一部としてピクチャ間符号化も行い、Pピクチャ符号化データの方は符号化順に送出する。
(2)符号化装置で、リフレッシュ用のイントラスライス符号化データを、符号量の増加が遅延増の要因にならないように、Pピクチャ周期ごとの符号化において、Pピクチャ符号化データとBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送る。
(3)復号化装置で、符号化順に送られてくるPピクチャ符号化データよりイントラスライス無しのPピクチャを復号再生し、それによって復元されたPピクチャ(復元Pピクチャ)を、遅延低減にクリティカルなBピクチャの復号再生時に予測ブロックを切り出す参照画像として用いる(図4中段参照。この図4で、各矩形は、本発明の符号化装置で生成する符号化データより復号再生した復元ピクチャを示している。上段は、リフレッシュ対象スライスをイントラスライスの符号化データより復号再生した復元イントラスライスを示している。中段は、リフレッシュ対象部分も含めてピクチャ間符号化データから復号再生した復元ピクチャを示している。下段は、中段の復元Pピクチャのリフレッシュ対象スライス部分のみ上段の復元イントラスライスで置換したイントラスライスを含む復元Pピクチャを示している。この図で、ピクチャ間の矢印は参照元ピクチャから参照先ピクチャへ向かう参照の方向を示している。)。
(4)復号化装置で、遅れて届くイントラスライス符号化データを受け取ってからしか復号再生できないイントラスライスを含む復元Pピクチャを、リフレッシュ機能実現のためにイントラスライス無しPピクチャ復元時の参照画像として用いるようにする(図4の下段のイントラスライスを含む復元Pピクチャから中段のイントラスライス無し復元Pピクチャに向かう矢印参照)。
これら4つの手段による作用は以下の通りである。
【0014】
従来のイントラスライスリフレッシュ方式では、符号量の大きいイントラスライスを符号化順通りに送らなければならず遅延増の要因となっていたのが、本発明の符号化装置では、その符号化順通りに送らなければならないイントラスライス部分が符号量の小さいPスライスの符号化データに置き換わるため、Bピクチャの挿入枚数が増えることでリフレッシュ対象スライスの面積が増加して、イントラスライスの符号化データの符号量が増加しても、遅延増の要因とならなくなる。
また、低遅延の条件でも、リフレッシュ対象スライスのイントラスライスとしての符号化に十分な符号量を与えることができるようになるので、従来のイントラスライスより高画質な符号化が可能になる。
【0015】
さらに、シーンチェンジでリフレッシュ対象スライスを含むPピクチャが符号化順で後続のPピクチャにより参照されることがない場合に、無益となるリフレッシュ対象スライスのイントラスライス符号化データの復号化装置への送出を取り止め、その分の符号量をシーンチェンジ直後に挿入が必須となるイントラピクチャの符号化に割り当てられるようになる。これにより、従来、低遅延の条件では十分な符号量を与えられず劣化し易かったシーンチェンジ直後のイントラピクチャの画質を大幅に改善できる。
一方、本発明の復号化装置では、リフレッシュ対象スライス部分も含め符号化順に送られてくるPピクチャ符号化データよりイントラスライス無しのPピクチャを復元して、それを先に表示する必要のあるBピクチャの参照画像として用いるので、符号量が大きいためにイントラスライス符号化データの到着が遅れても、そのためにBピクチャの表示が遅れることがなくなる。
【0016】
Bピクチャの復号再生の後に続く、符号化順で後続のPピクチャを復号再生する時には、遅れて届くイントラスライス符号化データより復号再生する復元イントラスライスがリフレッシュ対象スライス部分に入るようにして参照するようにしているので、後続のPピクチャを復号再生する際の参照画像は、イントラスライスを含む復元Pピクチャとなり、従来のイントラスライスリフレッシュ方式と変わらないリフレッシュが実現される。さらに、Bピクチャ復号再生用に先に復号再生するPピクチャは、イントラスライスを含まず、リフレッシュの影響を受け難いので、表示用に用いること(図4中段参照)で、イントラスライスの移動が目立ってしまうという従来のイントラスライスリフレッシュ方式の欠点を緩和することができる。
【発明の効果】
【0017】
本発明により、局所的なリフレッシュ位置のピクチャ間での巡回移動の跡が目立ち易いという従来のイントラスライスリフレッシュ方式の欠点が大幅に緩和されるだけでなく、Bピクチャを挿入する条件で、リフレッシュ起因の遅延を大幅に低減できる。実際、NTSCのテレビ映像をフレーム構造で、かつBBPBBP・・・ のシーケンス構造で符号化する条件で、従来のイントラスライスに比べ、画質劣化の目立ち易い静止画で40m秒程度も遅延が少なくなることをシミュレーションにより確認している。
また、イントラスライス符号化データの後送りにより、シーンチェンジ検出時点で、イントラスライス符号化データの大半を送り終えない状態とすることが可能であり、それらの未送出で以降のリフレッシュに役立たない分のイントラスライス符号化データを送出しないで破棄することができる。この破棄した分の符号量はシーンチェンジ直後に挿入が不可避のIピクチャに回すことができ、その分だけ、シーンチェンジ時の遅延が低減できることになる。この分の遅延低減量は通常40m秒以上となるので、シーンチェンジ時の画質維持の制約から遅延が決まっている場合には、40m秒以上遅延が低減されることになる。
【0018】
さらに、イントラスライス符号化データを後送りできることは、イントラスライス部分の符号化に関してnパスの符号化が実現できることになるので、イントラスライス部分の画質を従来のイントラスライスリフレッシュ方式より大幅に改善することも可能となる。もちろん、本発明では、リフレッシュ対象スライスについて、ピクチャ間符号化も行うために、その分符号が余分に発生し、その結果として低遅延の符号化条件でも従来のイントラスライスリフレッシュ方式より画質が低下することが起こりえる。しかし、映像の特性の変化に応じて、本発明と従来のイントラスライスリフレッシュ方式とを適応的に切り換えて使用することとすれば、この画質劣化の問題は回避することができる。
【0019】
このように、本発明の符号化装置と復号化装置は画質の劣化なく遅延時間を極限にまで低減できる上に、BPBP・・・ あるいはBBPBBP・・・ のピクチャシーケンスに対する低遅延符号化であるので、蓄積ストリームを再生する際のトリックプレイ(低速度倍率のスムーズな早送り、早戻し)にまで対応可能であり、放送用途から、携帯電話を含む次世代の映像通信にまで幅広く応用することができる。
さらに、イントラスライスの符号化データの送出をPピクチャ、Bピクチャの送出の合間あるいはその後にすることで実現される符号量変動の低減は、ベストエフォートのようにバンド幅が保証されない通信路を通して映像を送る場合のコマ落ち防止にも役立つので、インターネットのようなネットワーク向けにも、安定した映像通信を実現する符号化/復号化装置として極めて有用である。
【発明を実施するための最良の形態】
【0020】
本発明は、映像符号化装置、映像復号化装置、あるいは映像符号化/復号化装置として実施される。ただし、発明が効果を発揮するには、これらが互いに通信路あるいは放送網を介して組み合わされる必要がある。以下に本発明の一実施形態について、図面を参照しながら詳細に説明するが、本発明の技術的範囲は下記の実施形態によって限定されるものではない。また本発明の技術的範囲は均等の範囲にまで及ぶものである。
【0021】
図5に、本発明の符号化装置の第1の実施例の構成図を示す。この図において、5は入力した映像信号から得られる同期信号をもとに他の各ユニットを制御する制御ユニットである。また、10は動き補償を利用してP、Bタイプのピクチャ間符号化とその局所復号化を行うピクチャ間符号化ユニット(マクロブロック単位でピクチャ間符号化とイントラ符号化の符号発生量を評価し、イントラ符号化の方が符号発生量が少ないと判定したマクロブロックについてはピクチャ間符号化ではなくイントラ符号化を行う機能も有する)、110はPピクチャ間で巡回する形式で挿入するリフレッシュ対象スライスに対し、イントラスライスとしての符号化とその局所復号化を行うイントラスライス符号化ユニット、20はピクチャ間符号化データを一時的に保持するバッファメモリ、21はリフレッシュ対象スライスのイントラスライス符号化データを一時的に保持するバッファメモリ、30はピクチャ間符号化データとイントラスライス符号化データを多重化するためのヘッダ付加機能付きマルチプレクサ、22は生成した符号化データを一時的に保持するバッファメモリである。23は局所復号化して復元したイントラスライスを格納するためのイントラスライスメモリ、31はピクチャ間符号化ユニット10からのピクチャ間符号化データの復元ピクチャか、イントラスライスメモリ23からの復元イントラスライスかを選択してフレームメモリに送るマルチプレクサ、80はP、Bの復元ピクチャを格納するフレームメモリである。
【0022】
以下、この第1の実施例の符号化装置の動作について説明する。この図5に示されるように、符号化対象のピクチャ列は、ラスタ走査順に展開された映像信号(輝度信号、色差信号、同期信号などからなる信号)として、ピクチャ間符号化ユニット10に入力される。
ピクチャ間符号化ユニット10は、フレームメモリ80内のPあるいはBの復元ピクチャを読み出し(参照し)、その参照画像から切り出す予測ブロックを用いて動き補償を行うことで、入力ピクチャ列のすべてのピクチャに対し、BPBP…あるいはBBPBBP…の順でピクチャ間符号化を行い、それによって得られる符号化データを、ヘッダなどの情報を付加した上で、バッファメモリ20に出力する。この時、ピクチャ間符号化は、制御ユニット5が制御信号で指定する符号化単位(例えば、マクロブロック、スライス、ピクチャなどの単位)ごとの符号発生量の目標値を満たすように行う。また、復号再生処理も同時に行い、得られた復元画像(局所復号画像)をマルチプレクサ31経由で、フレームメモリ80に格納し、以降のP、Bピクチャの符号化時の参照画像として用いられるようにする。さらに、符号化単位ごとにその量子化ステップサイズと符号発生量を制御ユニット5にフィードバックする。
【0023】
イントラスライス符号化ユニット110は、Pピクチャ毎に対象部位を移動させるリフレッシュ対象のスライスを取り出し、制御ユニット5が制御信号で指定する符号発生量の目標値を満たすようにイントラ符号化を行い、その結果得られる符号化データにヘッダなどの情報を付加した上でバッファメモリ21へ出力する。また、このリフレッシュ対象スライスのイントラスライス符号化データを局所復号再生(復元)し、イントラスライスメモリ23に出力する。さらに、フレーム間符号化ユニット10と同様に、符号化単位ごとの量子化ステップサイズと符号発生量を制御ユニット5にフィードバックする。
【0024】
イントラスライスメモリ23内の復元スライスは、Bピクチャ復号再生のためのイントラスライス無しの復元Pピクチャ参照が完了した後で次のPピクチャの符号化を開始するまでの間に、フレームメモリ80内の対応するPピクチャのリフレッシュ対象部位に上書きし、従来方式と同じイントラスライスを含む復元Pピクチャをフレームメモリ80内に復号再生する。これによって、Bピクチャの符号化では、前方向でイントラスライスを含む復元Pピクチャを、後方向でイントラスライス無し復元Pピクチャを、それぞれ参照画像として用いるのに対し、Pピクチャの符号化では、従来のイントラスライスリフレッシュ方式と同じく、符号化順で前方に位置するイントラスライスを含む復元Pピクチャを参照画像として用いる。
ピクチャ間符号化ユニット10およびイントラスライス符号化ユニット110が符号化した符号化データのバッファメモリ22への転送は、Pピクチャ周期毎に、先にマルチプレクサ30をバッファメモリ20側に切り替え、Pピクチャ符号化データ、Bピクチャ符号化データの順でピクチャ間符号化データに対して行い、その後にマルチプレクサ30をバッファメモリ21側に切り替え、イントラスライス符号化データに対して行う。ただし、途中でピクチャ間符号化データの発生レートが低くなり、バッファメモリ22がアンダーフローしそうになる場合には、マルチプレクサ30を一時的にバッファメモリ21側に切り換えて、アンダーフロー防止に必要な量のイントラスライス符号化データをバッファメモリ21から取り出し、識別用のヘッダ情報などを付加した上で、バッファメモリ22に転送する。バッファメモリ22からは、所定のビットレートで外部に出力する。
【0025】
制御ユニット5は、以上の各ユニットの動作が行われるように適切な制御信号を発生するとともに、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110とからフィードバックされる量子化ステップサイズ、符号発生量と、あらかじめ定めておく目標の符号化レートとをもとに、次のP、Bピクチャとイントラスライスの符号化における符号化単位の目標の符号発生量を計算し、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110とに出力する。
【0026】
以上の動作説明から明らかなように、本発明では、符号量の大きいリフレッシュ対象スライスのイントラスライス符号化データを後送りするので、ピクチャ間符号化データをその分早く送り終えることができる利点がある。復号化装置側が、これにより早く受け取れるピクチャ間符号化データのみを用いてPピクチャを復元し、それを続いて行うBピクチャ復元の参照画像として用いるようにすれば、後から届くイントラスライス符号化データを一切用いずにBピクチャが復元できることになるので、Bピクチャの復元が早まり、結果として、その分早く復元画像を表示できるようになり、符号化から復号化までの遅延を大幅に短縮できる。
イントラスライス符号化データの符号量の多さが、遅延に影響し難くなるので、リフレッシュ対象スライスのイントラスライスとしての符号化に十分な符号量を与えられるばかりか、イントラスライス符号化データについては符号化と同時に送出しなくてもよくなるため、nパスの符号化技術が使用可能となり、量子化ステップサイズの変動の少ない安定したイントラ符号化がイントラスライス内で実現可能となる。したがって、低遅延の符号化条件でも画質の劣化を最小限に抑制できる利点も持つ。
【0027】
また、静止画あるいは動きのほとんどない静止画的な画像で、ピクチャ間符号化データの発生量が極端に減り、出力用のバッファメモリ22がアンダーフローしそうになっても、マルチプレクサ30を一時的にバッファメモリ21の方に切り換えて、イントラスライス符号化データを流し込めるため、低遅延の符号化条件でも無益なスタッフィングの挿入を最小限に留められる利点がある。
さらに、次段のPピクチャ周期内でシーンチェンジが起こり、スライス単位のリフレッシュが無意味になる場合に、圧縮に寄与しない不要なイントラスライス符号化データの転送を、シーンチェンジを検出した時点で中断あるいは中止できる利点もある。このため、シーンチェンジ検出時点でイントラスライス符号化データをすでに送り終えている確率の高い従来のイントラスライスリフレッシュ方式に比べると、シーンチェンジ直後に挿入せざるを得ないイントラピクチャに中断あるいは中止した分の符号量を割り当てることができるようになり、これによりシーンチェンジ直後の画質劣化を大幅に緩和することができる。
なお、本実施例では、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110を、別のユニットとして構成しているが、ピクチャ間符号化ユニット10に組み込んでいるマクロブロック単位でのイントラ符号化とその局所復号化機能の処理能力を上げて、イントラスライスメモリへの出力機能を付加すれば、イントラスライス符号化ユニットの機能を同時に実現可能で、ピクチャ間符号化ユニット10とイントラスライス符号化ユニット110とを、ピクチャ間/イントラスライス符号化ユニットとして一体化することもできる。また、本実施例では、フレームメモリ80、バッファメモリ20~22、イントラスライスメモリ23は別々のメモリとして構成しているが、一つのメモリ上の別々の領域に割り付けることが可能である。この場合、マルチプレクサの機能はアクセス領域の切り換え機能として実現される。これらの符号化ユニットやメモリの一体化により、符号化装置全体のハードウェア規模の低減が可能になる。
【0028】
図6に、本発明の第2の実施例の符号化装置の構成図を示す。第1の実施例との違いは、フレームメモリ80がピクチャ間符号化ユニットとマルチプレクサ31との間に移動している点のみである。以下、第1の実施例との動作の違いについて説明する。
【0029】
第1の実施例では、イントラスライスメモリ23内の復元イントラスライスを、リフレッシュ対象部位に上書きすることで、イントラスライスを含む復元Pピクチャをフレームメモリ80内に実際に生成し、それを読み出すようにしていた。これに対し、第2の実施例では、復元Pピクチャをフレームメモリから読み出す際に、マルチプレクサ31を必要に応じて切り換えることで、イントラスライスメモリ23の復元イントラスライスを読み出せるようにして、等価的に、イントラスライスを含む復元Pピクチャが読み出されるようにしている。
具体的には、Bピクチャの符号化では、前方向、後方向共に、マルチプレクサ31を途中で切り換えることなくフレームメモリ内のイントラスライス無しの復元Pピクチャを参照画像として読み出すのに対し、Pピクチャの符号化では、リフレッシュ対象スライス部分だけはマルチプレクサ31をイントラスライスメモリ側に切り換えてその中の復元イントラスライスを参照画像として読み出す。制御ユニット5は、イントラスライス部位の移動に併せ、マルチプレクサ31を切り換えるとともに、フレームメモリ80とイントラスライスメモリ23に必要なアドレスと読み出し制御信号を生成、供給する。
【0030】
この第2の実施例では、イントラスライスメモリ23からフレームメモリ80へのリフレッシュスライス部分の上書きのための復元イントラスライスの転送が不要になる利点がある。また、復号化装置側の表示画像でリフレッシュ対象スライス部位の移動を目立ち難くするのに有効となるBピクチャの復号再生時の前方、後方の両方向でイントラスライス無しの復元Pピクチャを参照することが、イントラスライス無しのPピクチャのコピーを別に保持したり余分な転送を行ったりすること無しで実現できる利点がある。
図7は、例えば先の第1、第2の実施例で生成された符号化データを受けて、符号化映像を復号再生する本発明の第3の実施例の復号化装置の構成図を示している。この図において、35はマルチプレクサ、50は符号化データ列からヘッダなどの付加情報を抽出、解析し、その結果をもとに、符号化データ列をピクチャ間符号化データ列とイントラスライス符号化データ列に分離するデータ分離ユニット、62は入力の符号化データ列をバッファリングするバッファメモリ、60はデータ分離ユニット50によって分離されたピクチャ間符号化データ列を受け取りバッファリングするバッファメモリ、61はやはりデータ分離ユニット50によって分離されたイントラスライス符号化データを受け取りバッファリングするバッファメモリ、63は復号再生した復元イントラスライスを格納するイントラスライスメモリ、81は復元Pピクチャを格納するためのフレームメモリ、200はバッファメモリ60からピクチャ間符号化データを読み出して、それを復号再生するピクチャ間符号化データ復号化ユニット、210はバッファメモリ61からイントラスライス符号化データを読み出して、それを復号再生するイントラスライス復号化ユニット、90はフレームメモリ81内のP、Bの復元ピクチャを、ラスタ走査順の映像信号に変換して出力する映像信号化ユニットである。また、55は各ユニットを制御するための制御ユニットであり、各ユニットに対する制御信号(メモリに対するアドレス信号も含む)を生成する。
【0031】
以下、この第3の実施例の復号化装置の動作を、復号の開始時点から説明する。この復号化装置の動作は、電源投入後、装置が正常に立ち上がり、電源投入以前から送り込まれている符号化データ入力の取り込みを始めた時点、あるいは、符号化装置側から送り込まれてくる符号化データの先頭が始めて到達した時点から、開始する。いずれの場合も、符号化データ分離ユニット50が符号化データ入力からヘッダなどの付加情報を抽出、解析し、ピクチャ間符号化データとイントラスライス符号化データに分離して、前者をバッファメモリ60に、後者をバッファメモリ61に出力する。この時、以後の処理で不要となる付加情報は除去し、200、210の復号化ユニットから、ピクチャ単位あるいはスライス単位の符号化データを連続的に読み出せるようにする。
ピクチャ間復号化ユニット200は、ピクチャ間符号化データバッファにおいて有効なピクチャ間符号化データの読み出しが可能となった時点から読み出しを始め、符号化データの復号に必要なピクチャ(表示順で前方あるいは後方に位置するピクチャ)の復元画像を必要に応じて参照しつつピクチャ間符号化データの復号再生を実行する。この復号再生により復元したピクチャは、復元ピクチャ格納用のフレームメモリ81に一旦格納し、それ以降に符号化データからピクチャを復号再生するための参照画像として用いる。
【0032】
また、フレームメモリ81内の各復元ピクチャは、映像信号化ユニット90を介して、表示順に外部の表示装置に出力する。これらの表示ための出力と復号再生のための参照とが終わり不要になった復元ピクチャは、新たに生成される復元ピクチャで上書きすることでフレームメモリ81上から削除する。
イントラスライス復号化ユニット210の方も、ピクチャ間符号化データ復号化ユニット200と同様に、バッファメモリ61より有効なイントラスライス符号化データの読み出しが可能になった時点から読み出し始め、復号再生動作を開始する。これによって復号再生される復元イントラスライスは、イントラスライスメモリ63に格納する。イントラスライスメモリ63内の復元イントラスライスは、符号化時の切り出し元の復元画像であるフレームメモリ内の復元Pピクチャのリフレッシュ対象スライス部分に上書きする。ただし、この上書きのタイミングは、上書きしようとする復元Pピクチャに対するBピクチャ復号再生のための参照が終了してから、次のPピクチャの復元が始まるまでの間とする。
これによって、Pピクチャの復号再生には、イントラスライスを含むPピクチャを参照するというイントラスライスによるリフレッシュ実現の制約を守りながら、イントラスライスの符号化データの復号再生をBピクチャ復号再生のための参照が終了するまでに遅らせられるようになる。したがって、イントラスライスの符号化データの受信が遅れてもBピクチャの復号再生の進遅に影響しなくなる。このため、従来方式のようにイントラスライスの符号量増加が遅延増の要因となることがなくなり、符号化装置側でイントラスライスに十分な符号量を与えられるようになるため、低遅延の符号化・復号化の条件でも、最小限の画質劣化でリフレッシュを実現することが可能となる。
【0033】
なお、本実施例では、ピクチャ間符号化データ復号化ユニット200とイントラスライス復号化ユニット210を、別のユニットとして構成しているが、ピクチャ間符号化データ復号化ユニット200に組み込んでいるマクロブロック単位でのイントラ復号化機能の処理能力を上げて、イントラスライスメモリへの出力機能を付加すれば、イントラスライス復号化ユニットの機能を同時に実現可能で、ピクチャ間復号化ユニット200とイントラスライス復号化ユニット210を、ピクチャ間符号化データ/イントラスライス復号化ユニットとして一体化することができる。
また、本実施例では、フレームメモリ81、バッファメモリ60~62、イントラスライスメモリ63は別々のメモリとして構成しているが、一つのメモリ上の別々の領域に割り付けることが可能である。この場合、マルチプレクサの機能はアクセス領域の切り換え機能として実現される。これらの復号化ユニットやメモリの一体化により、符号化装置全体のハードウェア規模の低減が可能になる。
【0034】
図8に、本発明の第4の実施例の復号化装置の構成図を示す。第3の実施例との違いは、フレームメモリ81がピクチャ間復号化ユニットとマルチプレクサ35との間に移動して、リフレッシュ対象スライスの領域を参照する際に、参照元メモリをフレームメモリ81かイントラスライスメモリ63かのいずれかで選択できるようにしている点のみである。以下、第3の実施例との動作の違いについて説明する。
第3の実施例では、イントラスライスメモリ63内の復元イントラスライスを、リフレッシュ対象部位に上書きすることで、イントラスライスを含む復元Pピクチャをフレームメモリ81内に実際に構成してから、それを参照するようにしていた。これに対し、本実施例では、Pピクチャを参照する際に、参照元を選択する手段であるマルチプレクサ35を必要に応じて切り換えることでイントラスライスメモリ63の復元イントラスライスを参照できるようにして、イントラスライス無しの復元Pピクチャのみならず、イントラスライスを含む復元Pピクチャも参照できるようにしている。
具体的には、Bピクチャについては、前方、後方共にマルチプレクサ35をフレームメモリ81側に倒したままでイントラスライス無しの復元Pピクチャをフレームメモリ81内から参照画像として切り出して、復号再生を行い、結果をフレームメモリ81に格納する。
【0035】
一方、Pピクチャについては、イントラスライスを含む復元Pピクチャを次のように参照して、復号再生を行い、イントラスライス無しのままでフレームメモリ81に格納する。イントラスライスを含む復元Pピクチャの参照は、リフレッシュ対象スライス部分だけはイントラスライスメモリ63側が、それ以外の部分はフレームメモリ81側が、それぞれ選ばれるようにマルチプレクサ35を切り換える。こうすることで、リフレッシュ対象スライス領域に対する参照では、復元イントラスライスから切り出され、それ以外の領域に対する参照では、イントラスライス無しの復元Pピクチャから切り出されることになる。P、Bの復元ピクチャは、第3の実施例と同じく、表示順で映像信号化ユニット90を介して外部の表示装置に出力する。
制御ユニット55は、イントラスライス部位の移動に併せ、マルチプレクサ35の切り換え制御信号と、フレームメモリ81とイントラスライスメモリ63に必要なアドレスと読み出し制御信号を生成、供給する。
【0036】
この第4の実施例では、イントラスライスメモリ63からフレームメモリ81へのリフレッシュスライス部分の上書きのための復元イントラスライスの転送が不要になる利点がある。また、表示画像でリフレッシュ対象スライス部位の移動を目立ち難くするのに有効なBピクチャの参照画像を前方、後方共にイントラスライス無しの復元Pピクチャとすることが、イントラスライス無しのPピクチャを別にコピーしたり、余分な転送を行ったりすることなしで実現できる利点がある。さらに、第3の実施例とは異なりフレームメモリ81の復元Pピクチャに対する復元イントラスライスの上書きを行わないので、表示用にイントラスライス無しの復元Pピクチャを出力するのに、復元イントラスライスを上書きする前に行わなければならないという制約がなくなる利点がある。
【0037】
以上の実施例で説明したように、符号化装置側では、Pピクチャについて、全体を前方予測に基づく動き補償によりピクチャ間符号化を行い、その符号化順に符号化データを送出するのに加え、Pピクチャ毎に挿入位置を移動するリフレッシュ対象スライス部分についてイントラスライスとしても符号化する。そして、このイントラスライス符号化データの送出を、符号量の増加が遅延増の要因にならないように、Pピクチャ周期ごとの符号化において、Pピクチャ符号化データとBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に行う。
一方、復号化装置側では、符号化順に送られてくるPピクチャ符号化データよりイントラスライス無しのPピクチャを復号再生し、それによって復元されたPピクチャ(イントラスライス無し復元Pピクチャ)を、遅延低減にクリティカルなBピクチャの復号再生時に予測ブロックを切り出す参照画像として用いる。到着の遅れるイントラスライス符号化データがないと復号再生できないイントラスライスを含む復元Pピクチャを、リフレッシュ機能実現のためにイントラスライス無しPピクチャ復元時の参照画像として用いるようにする。
【0038】
以上の説明では、図5~図8に示すように本発明の映像符号化装置と映像復号化装置を個々のユニットあるいはメモリを相互に組み合わせてハードウェア的に実現する方法を示した。しかし、最近のマイクロプロセッサの技術の進歩は著しく、個々のユニットをマイクロプロセッサ上で動作するソフトウェアとして実装することが可能になっている。メモリもそのマイクロプロセッサの主記憶上に同様に実装することができるようになっている。還元すれば、本発明の一部あるいは全部がコンピュータのソフトウェアとして実装することができる。この場合、個々のユニットはサブルーチン、関数、あるいはオブジェクトとして実現される。
【0039】
本発明は、Pピクチャ内にリフレッシュ対象スライスを設ける符号化方式であれば、MPEG-2、MPEG-4の符号化方式や、H.261~H.263の符号化方式など、各種の符号化方式に適用可能である。Bピクチャとして、従来の双方向予測の代わりに前方あるいは後方に位置する2枚の復元画像から切り出すブロックの補間画像から予測ブロックを生成する双予測のピクチャ間符号化ピクチャを用いるH.264のような符号化方式に対しても同様に適用可能である。また、第1の実施例および第2の実施例として説明したように、Bピクチャ符号化時に動き補償用の予測ブロックを切り出す参照画像として用いる復元Pピクチャは、例えば前方向のものについてはイントラスライスを含む復元Pピクチャとし、時間的に後に表示される後方向のものについてはイントラスライス無しの復元Pピクチャとしてもよいし、双方をイントラスライス無しの復元Pピクチャとしてもよい。加え、必ずしもPピクチャのすべてにリフレッシュ対象スライスを設けなければならないわけではなく、リフレッシュ対象スライスがないPピクチャがあってもよい。
【図面の簡単な説明】
【0040】
【図1】PPP構造、BBP構造のピクチャシーケンスにイントラスライスを巡回的に挿入する様子を示した図である。
【図2】従来の標準的な構成の映像符号化装置の構成図である。
【図3】従来の標準的な構成の映像復号化装置の構成図である。
【図4】課題を解決する手段を説明するための図である。
【図5】本発明の第1の実施例の映像符号化装置の構成図である。
【図6】本発明の第2の実施例の映像符号化装置の構成図である。
【図7】本発明の第3の実施例の映像符号化装置の構成図である。
【図8】本発明の第4の実施例の映像復号化装置の構成図である。
【符号の説明】
【0041】
5,55 制御ユニット
10 ピクチャ間符号化ユニット
20,21,22,60,61,62 バッファメモリ
23,63 イントラスライスメモリ
30,31 マルチプレクサ
50 データ分離ユニット
80,81 フレームメモリ
90 映像信号化ユニット
110 イントラスライス符号化ユニット
200 ピクチャ間符号化データ復号化ユニット
210 イントラスライス復号化ユニット
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7