IMAGE ENCODER AND IMAGE DECODER, IMAGE ENCODING AND DECODING METHOD, AND PROGRAM THEREOF

• (In Japanese)近藤 利夫

• (In Japanese)国立大学法人三重大学

映像符号化における高画質、高圧縮率の両立は、すでに高いレベルに到達している。例えば、10年以上前に標準化されたMPEG-2の符号化方式ですら、HDTVデジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で、1／100程度の高圧縮率を実現している。MPEG-2の標準化以降にも圧縮率の向上は進んでおり、H．263、MPEG-4を経て、最近、標準化されたH．264では、MPEG-2の2倍以上の圧縮率が得られるといわれている。

このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定（CBR）の条件での遅延時間の低減については、MPEG-2以降、本質的な方式の進歩はない。その結果、画質に対する要求の緩いテレビ電話では100ms以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化と復号化に要する遅延が1秒以上にも及んでいる。

もちろん、MPEG-2においても遅延低減については配慮されており、2つの低遅延モードのフレームドロップとイントラスライスが用意されている。前者のフレームドロップは、遅延の主因ともいえるピクチャ（フレームあるいはフィールド）内符号化ピクチャ（以後I［イントラ］ピクチャと呼ぶ）あるいはピクチャ内符号化マクロブロック（イントラマクロブロック）が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して（ドロップさせて）、CBR（定ビットレート）の条件を満たそうとするものである。このモードを適用すると、連続して2枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、画質に対する要求の厳しい用途には向いていない。

これに対し、イントラスライスは、遅延増の主因となるIピクチャを周期的に挿入するのではなく、縦続するPピクチャ（動き補償を前方予測のみで行うピクチャ間符号化ピクチャ）間で移動させる（通常は上から下の順序で巡回的に移動させる）Pピクチャ内の一部スライス（ピクチャ内の特定のマクロブロックのグループ、MPEG-2では、通常、1～数行の横方向の帯状のマクロブロックの並びだが、1～数列の縦方向の帯状のマクロブロックの並び［MPEG-2ではイントラコラムと呼ばれる］とする場合や、矩形のマクロブロックの並びとする場合もある）の構成マクロブロックを、すべてイントラマクロブロックとして符号化することにより、分散的にリフレッシュを実現する方式（イントラスライスリフレッシュ方式）である。この方式は、画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。

図1は、左側が、PPPP…のピクチャシーケンス構造（PPP構造）、右側がBBPBBP…のピクチャシーケンス構造（Pピクチャ周期がBBPからなるピクチャシーケンス構造）（BBP構造）の場合で、Pピクチャ毎に、イントラスライスが上から下に巡回的に移動するのを表示順のピクチャシーケンスで示している。なお、イントラスライスは、映像を構成する各々のピクチャをIピクチャ、Pピクチャ、Bピクチャ（動き補償に前方予測、後方予測、双方向予測の3つを併用するピクチャ間符号化ピクチャ）として、逐次的に符号化あるいは復号化すること（MPEG-2のメインプロファイル相当）を前提に構築され、IBBPBBPBBP…構造（IBBP構造）あるいはIBPBPBP…構造（IBP構造）に対応する従来の標準的な構成の符号化装置（図2）、復号化装置（図3）の中で容易に実現できる利点も併せ持っている。

しかし、このイントラスライスリフレッシュ方式もPPP構造の低遅延モードに組み合わされて、テレビ電話や監視用途など映像符号化の応用範囲の一部に適用されてきたに過ぎない。BBPあるいはBP構造は、画質の点でPPP構造より有利ながら、陽に標準化対象として定められているわけではない（MPEG-2の標準化範囲内で実現は可能）。この原因は、BBP構造あるいはBPBPBP…構造（BP構造）の符号化方式において、以下の問題等があり、十分な遅延低減効果が得られないばかりか、放送や蓄積用途における厳しい画質要求に応えられなかったためと考えられる。

（1）イントラスライスを、途中のBピクチャに挿入できない分、Pピクチャにまとめて挿入しなければならないため、Pピクチャに占めるイントラスライスの符号量が大きくなり、PPP構造ほど、Pピクチャの符号量が小さくならない。このため、Pピクチャの符号量が小さくなることによる遅延低減効果は、PPP構造に比べると小さい。
（2）ピクチャを入力順から符号化順に並べ変える際の遅延と、シーンチェンジ時にピクチャ全体をIピクチャとして符号化せざるを得ないことによる遅延の両方の和が大きく、イントラスライスリフレッシュ方式の遅延低減効果が隠れてしまう。
（3）リフレッシュ効果を確実に得るのに必須となるイントラスライス挿入位置のピクチャ間の移動が直接的にあるいはちらつきとして目立ってしまう。
ただし、（3）の問題については、プリアナリシスの結果に基づいてイントラスライス部分と周辺の部分の量子化の粗さをそろえる方法（例えば、特許文献1参照）や、イントラスライス部分の圧縮率を上げて、一時的な符号発生量の増大を抑える方法（例えば、特許文献2参照）が提案されている。

しかし、前者で利用するプリアナリシスは低遅延の条件ではうまく行くとは限らないため、イントラスライス部分で一時的に符号発生量が大きくなり過ぎることがあり、その結果として、符号発生量制約を守るために直後のマクロブロックの圧縮率を極端に上げなければならなくなり、逆にイントラスライス部分を目立たせることが起こりえる。また、後者については、リフレッシュ部分が周辺よりぼけることとなり、それがかえって目立つことが起こりえる欠点があり、高画質の映像符号化には不向きである。

BBPあるいはBP構造にイントラスライスを適用する代わりに、IBBPあるいはIBP構造のリフレッシュピクチャ全体をPピクチャとして符号化するだけでなく、その局所復元PピクチャをIピクチャとしても再符号化し、その再符号化データを後送りすることで、遅延を低減する方法（特許文献3参照）が提案されている。しかし、この方法は、イントラスライスリフレッシュ方式のようにイントラスライスの移動がないため、それが目立つことはないものの、再符号化により、無視できない画質劣化が生じる問題がある。また、シーンチェンジで生じる遅延の低減にはあまり効果が期待できない。

【特許文献1】
特開平7－95564号公報
【特許文献2】
特開2005－124041号公報
【特許文献3】
特開2004－147306号公報

本発明は、低遅延映像符号化および復号化装置に関し、特に低遅延、高画質、高圧縮率の3つを両立する映像符号化復号化システムを構築する技術に関する。

• H04N   7/32      involving predictive coding;;
• H03M   7/36      Conversion to or from differential modulation with several bits, i.e. the difference between successive samples being coded by more than one bit

• 5C059KK01 Image deterioration prevention
• 5C059KK22 Keeping constant code amount
• 5C059KK35 Overflow or underflow prevention
• 5C059MA00 Encoding system
• 5C059MA05 Prediction among fields
• 5C059MA12 Referring to two or more screens
• 5C059NN43 Scene change
• 5C059PP05 1 picture (i.e. pictures being encoded alone)
• 5C059PP06 P picture (i.e. pictures being prediction-coded for one side)
• 5C059PP07 B picture (i.e. pictures being prediction-coded for both sides)
• 5C059RC07 Dummy, fill or stuff
• 5C059RF13 Partial refreshing
• 5C059SS08 Internet
• 5C059SS16 Special playback
• 5C059SS17 High speed reproducing
• 5C059TA25 Allocation or selection of IPB
• 5C059TA46 Quantization width
• 5C059TA60 Bit (i.e. code amount) allocation
• 5C059TB06 Slice (i.e. plural blocks)
• 5C059TC18 Code amount
• 5C059TC38 Compression rate or target code amount
• 5C059UA02 Encoding circuit
• 5C059UA05 Decoding circuit
• 5C159KK01 (In Japanese) 画像の劣化防止
• 5C159KK22 (In Japanese) 符号量の一定化
• 5C159KK35 (In Japanese) オーバー又はアンダーフロー防止
• 5C159MA00 (In Japanese) 符号化方式　＊
• 5C159MA05 (In Japanese) フレーム間予測
• 5C159MA12 (In Japanese) 2以上の画面を参照
• 5C159NN43 (In Japanese) シーンチェンジ
• 5C159PP05 (In Japanese) Iピクチャ（単独で符号化される画像）
• 5C159PP06 (In Japanese) Pピクチャ（片方向予測符号化される画像）
• 5C159PP07 (In Japanese) Bピクチャ（両方向予測符号化される画像）
• 5C159RC07 (In Japanese) ダミー又はフィル又はスタッフ
• 5C159RF13 (In Japanese) 部分的リフレッシュ
• 5C159SS08 (In Japanese) インターネット
• 5C159SS16 (In Japanese) 特殊再生
• 5C159SS17 (In Japanese) 高速再生
• 5C159TA24 (In Japanese) IPBの割り当て又は選択
• 5C159TA46 (In Japanese) 量子化幅
• 5C159TA60 (In Japanese) ビット（符号量）配分
• 5C159TB06 (In Japanese) スライス（複数ブロック）
• 5C159TC18 (In Japanese) 符号量
• 5C159TC38 (In Japanese) 圧縮率又は目標符号量
• 5C159UA02 (In Japanese) 符号化回路
• 5C159UA05 (In Japanese) 復号化回路
• 5J064AA01 Improved accuracy
• 5J064AA02 Improved efficiency
• 5J064BB01 Differential input and output units
• 5J064BB03 Calculation of predicted values
• 5J064BC01 Memories
• 5J064BC26 Adaptative calculations
• 5J064BD01 Unspecified fields