Top > Search of Japanese Patents > IMAGE ENCODER AND IMAGE DECODER, IMAGE ENCODING AND DECODING METHOD, AND PROGRAM THEREOF

IMAGE ENCODER AND IMAGE DECODER, IMAGE ENCODING AND DECODING METHOD, AND PROGRAM THEREOF

Patent code P07P005438
Posted date Sep 7, 2007
Application number P2006-038883
Publication number P2007-221411A
Patent number P4649615
Date of filing Feb 16, 2006
Date of publication of application Aug 30, 2007
Date of registration Dec 24, 2010
Inventor
  • (In Japanese)近藤 利夫
Applicant
  • (In Japanese)国立大学法人三重大学
Title IMAGE ENCODER AND IMAGE DECODER, IMAGE ENCODING AND DECODING METHOD, AND PROGRAM THEREOF
Abstract PROBLEM TO BE SOLVED: To make a transition of an intra-slice hard to be distinct and besides to achieve low delay in an image decoding method which moves an inserting position of the intra-slice for each picture.
SOLUTION: At an encoder side, an intra-picture encoding is performed with respect to a P picture to send out the encoded data in the encoded order. In addition, a refresh-target slice in which the inserting position is shifted for each P picture is also encoded as an intra-slice. In an encoding at every P picture cycle, the intra-slice encoded data are sent out during sending out P picture encoded data and B picture encoded adapt or after the completion of sending out both the data. For the encoded data at a decoder side, the P picture is decoded and is reproduced with the decoded P picture incorporated with the intra-slice defined as a reference image, while the B picture is decoded and is reproduced with the decoded P picture without the intra-slice as a reference image.
Outline of related art and contending technology (In Japanese)


映像符号化における高画質、高圧縮率の両立は、すでに高いレベルに到達している。例えば、10年以上前に標準化されたMPEG-2の符号化方式ですら、HDTVデジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で、1/100程度の高圧縮率を実現している。MPEG-2の標準化以降にも圧縮率の向上は進んでおり、H.263、MPEG-4を経て、最近、標準化されたH.264では、MPEG-2の2倍以上の圧縮率が得られるといわれている。



このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定(CBR)の条件での遅延時間の低減については、MPEG-2以降、本質的な方式の進歩はない。その結果、画質に対する要求の緩いテレビ電話では100ms以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化と復号化に要する遅延が1秒以上にも及んでいる。



もちろん、MPEG-2においても遅延低減については配慮されており、2つの低遅延モードのフレームドロップとイントラスライスが用意されている。前者のフレームドロップは、遅延の主因ともいえるピクチャ(フレームあるいはフィールド)内符号化ピクチャ(以後I[イントラ]ピクチャと呼ぶ)あるいはピクチャ内符号化マクロブロック(イントラマクロブロック)が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して(ドロップさせて)、CBR(定ビットレート)の条件を満たそうとするものである。このモードを適用すると、連続して2枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、画質に対する要求の厳しい用途には向いていない。



これに対し、イントラスライスは、遅延増の主因となるIピクチャを周期的に挿入するのではなく、縦続するPピクチャ(動き補償を前方予測のみで行うピクチャ間符号化ピクチャ)間で移動させる(通常は上から下の順序で巡回的に移動させる)Pピクチャ内の一部スライス(ピクチャ内の特定のマクロブロックのグループ、MPEG-2では、通常、1~数行の横方向の帯状のマクロブロックの並びだが、1~数列の縦方向の帯状のマクロブロックの並び[MPEG-2ではイントラコラムと呼ばれる]とする場合や、矩形のマクロブロックの並びとする場合もある)の構成マクロブロックを、すべてイントラマクロブロックとして符号化することにより、分散的にリフレッシュを実現する方式(イントラスライスリフレッシュ方式)である。この方式は、画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。



図1は、左側が、PPPP…のピクチャシーケンス構造(PPP構造)、右側がBBPBBP…のピクチャシーケンス構造(Pピクチャ周期がBBPからなるピクチャシーケンス構造)(BBP構造)の場合で、Pピクチャ毎に、イントラスライスが上から下に巡回的に移動するのを表示順のピクチャシーケンスで示している。なお、イントラスライスは、映像を構成する各々のピクチャをIピクチャ、Pピクチャ、Bピクチャ(動き補償に前方予測、後方予測、双方向予測の3つを併用するピクチャ間符号化ピクチャ)として、逐次的に符号化あるいは復号化すること(MPEG-2のメインプロファイル相当)を前提に構築され、IBBPBBPBBP…構造(IBBP構造)あるいはIBPBPBP…構造(IBP構造)に対応する従来の標準的な構成の符号化装置(図2)、復号化装置(図3)の中で容易に実現できる利点も併せ持っている。



しかし、このイントラスライスリフレッシュ方式もPPP構造の低遅延モードに組み合わされて、テレビ電話や監視用途など映像符号化の応用範囲の一部に適用されてきたに過ぎない。BBPあるいはBP構造は、画質の点でPPP構造より有利ながら、陽に標準化対象として定められているわけではない(MPEG-2の標準化範囲内で実現は可能)。この原因は、BBP構造あるいはBPBPBP…構造(BP構造)の符号化方式において、以下の問題等があり、十分な遅延低減効果が得られないばかりか、放送や蓄積用途における厳しい画質要求に応えられなかったためと考えられる。



(1)イントラスライスを、途中のBピクチャに挿入できない分、Pピクチャにまとめて挿入しなければならないため、Pピクチャに占めるイントラスライスの符号量が大きくなり、PPP構造ほど、Pピクチャの符号量が小さくならない。このため、Pピクチャの符号量が小さくなることによる遅延低減効果は、PPP構造に比べると小さい。
(2)ピクチャを入力順から符号化順に並べ変える際の遅延と、シーンチェンジ時にピクチャ全体をIピクチャとして符号化せざるを得ないことによる遅延の両方の和が大きく、イントラスライスリフレッシュ方式の遅延低減効果が隠れてしまう。
(3)リフレッシュ効果を確実に得るのに必須となるイントラスライス挿入位置のピクチャ間の移動が直接的にあるいはちらつきとして目立ってしまう。
ただし、(3)の問題については、プリアナリシスの結果に基づいてイントラスライス部分と周辺の部分の量子化の粗さをそろえる方法(例えば、特許文献1参照)や、イントラスライス部分の圧縮率を上げて、一時的な符号発生量の増大を抑える方法(例えば、特許文献2参照)が提案されている。



しかし、前者で利用するプリアナリシスは低遅延の条件ではうまく行くとは限らないため、イントラスライス部分で一時的に符号発生量が大きくなり過ぎることがあり、その結果として、符号発生量制約を守るために直後のマクロブロックの圧縮率を極端に上げなければならなくなり、逆にイントラスライス部分を目立たせることが起こりえる。また、後者については、リフレッシュ部分が周辺よりぼけることとなり、それがかえって目立つことが起こりえる欠点があり、高画質の映像符号化には不向きである。



BBPあるいはBP構造にイントラスライスを適用する代わりに、IBBPあるいはIBP構造のリフレッシュピクチャ全体をPピクチャとして符号化するだけでなく、その局所復元PピクチャをIピクチャとしても再符号化し、その再符号化データを後送りすることで、遅延を低減する方法(特許文献3参照)が提案されている。しかし、この方法は、イントラスライスリフレッシュ方式のようにイントラスライスの移動がないため、それが目立つことはないものの、再符号化により、無視できない画質劣化が生じる問題がある。また、シーンチェンジで生じる遅延の低減にはあまり効果が期待できない。



【特許文献1】
特開平7-95564号公報
【特許文献2】
特開2005-124041号公報
【特許文献3】
特開2004-147306号公報

Field of industrial application (In Japanese)


本発明は、低遅延映像符号化および復号化装置に関し、特に低遅延、高画質、高圧縮率の3つを両立する映像符号化復号化システムを構築する技術に関する。

Scope of claims (In Japanese)
【請求項1】
 
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化装置において、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段とを備える
ことを特徴とする映像符号化装置。

【請求項2】
 
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化装置において、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段とを備える
ことを特徴とする映像復号化装置。

【請求項3】
 
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方法において、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する過程と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する過程と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する過程と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する過程とを有する
ことを特徴とする映像符号化方法。

【請求項4】
 
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化方法において、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する過程と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する過程と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する過程と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する過程と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える過程と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする過程とを有する
ことを特徴とする映像復号化方法。

【請求項5】
 
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化をコンピュータに実行させるための映像符号化プログラムであって、
前記コンピュータを、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段として、
機能させるための映像符号化プログラム。

【請求項6】
 
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化をコンピュータに実行させるための映像復号化プログラムであって、
前記コンピュータを、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段として、
機能させるための映像復号化プログラム。
IPC(International Patent Classification)
F-term
Drawing

※Click image to enlarge.

JP2006038883thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close