TOP > 国内特許検索 > 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム

映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム

国内特許コード P07P005438
掲載日 2007年9月7日
出願番号 特願2006-038883
公開番号 特開2007-221411
登録番号 特許第4649615号
出願日 平成18年2月16日(2006.2.16)
公開日 平成19年8月30日(2007.8.30)
登録日 平成22年12月24日(2010.12.24)
発明者
  • 近藤 利夫
出願人
  • 国立大学法人三重大学
発明の名称 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
発明の概要

【課題】イントラスライスの挿入位置をピクチャ毎に移動させる映像符号化方式において、イントラスライスの移動を目立ち難くし、かつ低遅延を実現する。
【解決手段】符号化装置側で、Pピクチャについてピクチャ間符号化を行い、その符号化順に符号化データを送出するのに加え、Pピクチャ毎に挿入位置を移動するリフレッシュ対象スライス部分についてイントラスライスとしても符号化する。このイントラスライス符号化データの送出を、Pピクチャ周期ごとの符号化において、Pピクチャ符号化データとBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に行う。この符号化データに対し、復号化装置側でPピクチャはイントラスライスを組み込んだ復元Pピクチャを参照画像として復号再生し、Bピクチャはイントラスライス無しの復元Pピクチャを参照画像として復号再生する。
【選択図】図4

従来技術、競合技術の概要


映像符号化における高画質、高圧縮率の両立は、すでに高いレベルに到達している。例えば、10年以上前に標準化されたMPEG-2の符号化方式ですら、HDTVデジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で、1/100程度の高圧縮率を実現している。MPEG-2の標準化以降にも圧縮率の向上は進んでおり、H.263、MPEG-4を経て、最近、標準化されたH.264では、MPEG-2の2倍以上の圧縮率が得られるといわれている。



このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定(CBR)の条件での遅延時間の低減については、MPEG-2以降、本質的な方式の進歩はない。その結果、画質に対する要求の緩いテレビ電話では100ms以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化と復号化に要する遅延が1秒以上にも及んでいる。



もちろん、MPEG-2においても遅延低減については配慮されており、2つの低遅延モードのフレームドロップとイントラスライスが用意されている。前者のフレームドロップは、遅延の主因ともいえるピクチャ(フレームあるいはフィールド)内符号化ピクチャ(以後I[イントラ]ピクチャと呼ぶ)あるいはピクチャ内符号化マクロブロック(イントラマクロブロック)が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して(ドロップさせて)、CBR(定ビットレート)の条件を満たそうとするものである。このモードを適用すると、連続して2枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、画質に対する要求の厳しい用途には向いていない。



これに対し、イントラスライスは、遅延増の主因となるIピクチャを周期的に挿入するのではなく、縦続するPピクチャ(動き補償を前方予測のみで行うピクチャ間符号化ピクチャ)間で移動させる(通常は上から下の順序で巡回的に移動させる)Pピクチャ内の一部スライス(ピクチャ内の特定のマクロブロックのグループ、MPEG-2では、通常、1~数行の横方向の帯状のマクロブロックの並びだが、1~数列の縦方向の帯状のマクロブロックの並び[MPEG-2ではイントラコラムと呼ばれる]とする場合や、矩形のマクロブロックの並びとする場合もある)の構成マクロブロックを、すべてイントラマクロブロックとして符号化することにより、分散的にリフレッシュを実現する方式(イントラスライスリフレッシュ方式)である。この方式は、画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。



図1は、左側が、PPPP…のピクチャシーケンス構造(PPP構造)、右側がBBPBBP…のピクチャシーケンス構造(Pピクチャ周期がBBPからなるピクチャシーケンス構造)(BBP構造)の場合で、Pピクチャ毎に、イントラスライスが上から下に巡回的に移動するのを表示順のピクチャシーケンスで示している。なお、イントラスライスは、映像を構成する各々のピクチャをIピクチャ、Pピクチャ、Bピクチャ(動き補償に前方予測、後方予測、双方向予測の3つを併用するピクチャ間符号化ピクチャ)として、逐次的に符号化あるいは復号化すること(MPEG-2のメインプロファイル相当)を前提に構築され、IBBPBBPBBP…構造(IBBP構造)あるいはIBPBPBP…構造(IBP構造)に対応する従来の標準的な構成の符号化装置(図2)、復号化装置(図3)の中で容易に実現できる利点も併せ持っている。



しかし、このイントラスライスリフレッシュ方式もPPP構造の低遅延モードに組み合わされて、テレビ電話や監視用途など映像符号化の応用範囲の一部に適用されてきたに過ぎない。BBPあるいはBP構造は、画質の点でPPP構造より有利ながら、陽に標準化対象として定められているわけではない(MPEG-2の標準化範囲内で実現は可能)。この原因は、BBP構造あるいはBPBPBP…構造(BP構造)の符号化方式において、以下の問題等があり、十分な遅延低減効果が得られないばかりか、放送や蓄積用途における厳しい画質要求に応えられなかったためと考えられる。



(1)イントラスライスを、途中のBピクチャに挿入できない分、Pピクチャにまとめて挿入しなければならないため、Pピクチャに占めるイントラスライスの符号量が大きくなり、PPP構造ほど、Pピクチャの符号量が小さくならない。このため、Pピクチャの符号量が小さくなることによる遅延低減効果は、PPP構造に比べると小さい。
(2)ピクチャを入力順から符号化順に並べ変える際の遅延と、シーンチェンジ時にピクチャ全体をIピクチャとして符号化せざるを得ないことによる遅延の両方の和が大きく、イントラスライスリフレッシュ方式の遅延低減効果が隠れてしまう。
(3)リフレッシュ効果を確実に得るのに必須となるイントラスライス挿入位置のピクチャ間の移動が直接的にあるいはちらつきとして目立ってしまう。
ただし、(3)の問題については、プリアナリシスの結果に基づいてイントラスライス部分と周辺の部分の量子化の粗さをそろえる方法(例えば、特許文献1参照)や、イントラスライス部分の圧縮率を上げて、一時的な符号発生量の増大を抑える方法(例えば、特許文献2参照)が提案されている。



しかし、前者で利用するプリアナリシスは低遅延の条件ではうまく行くとは限らないため、イントラスライス部分で一時的に符号発生量が大きくなり過ぎることがあり、その結果として、符号発生量制約を守るために直後のマクロブロックの圧縮率を極端に上げなければならなくなり、逆にイントラスライス部分を目立たせることが起こりえる。また、後者については、リフレッシュ部分が周辺よりぼけることとなり、それがかえって目立つことが起こりえる欠点があり、高画質の映像符号化には不向きである。



BBPあるいはBP構造にイントラスライスを適用する代わりに、IBBPあるいはIBP構造のリフレッシュピクチャ全体をPピクチャとして符号化するだけでなく、その局所復元PピクチャをIピクチャとしても再符号化し、その再符号化データを後送りすることで、遅延を低減する方法(特許文献3参照)が提案されている。しかし、この方法は、イントラスライスリフレッシュ方式のようにイントラスライスの移動がないため、それが目立つことはないものの、再符号化により、無視できない画質劣化が生じる問題がある。また、シーンチェンジで生じる遅延の低減にはあまり効果が期待できない。




【特許文献1】特開平7-95564号公報

【特許文献2】特開2005-124041号公報

【特許文献3】特開2004-147306号公報

産業上の利用分野


本発明は、低遅延映像符号化および復号化装置に関し、特に低遅延、高画質、高圧縮率の3つを両立する映像符号化復号化システムを構築する技術に関する。

特許請求の範囲 【請求項1】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化装置において、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段とを備える
ことを特徴とする映像符号化装置。

【請求項2】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化装置において、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段とを備える
ことを特徴とする映像復号化装置。

【請求項3】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方法において、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する過程と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する過程と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する過程と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する過程とを有する
ことを特徴とする映像符号化方法。

【請求項4】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化方法において、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する過程と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する過程と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する過程と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する過程と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える過程と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする過程とを有する
ことを特徴とする映像復号化方法。

【請求項5】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化をコンピュータに実行させるための映像符号化プログラムであって、
前記コンピュータを、
Pピクチャ符号化時に、Pピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのPピクチャとしてピクチャ間符号化し、Pピクチャ符号化データを生成する手段と、
前記Pピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
Bピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いてピクチャ間符号化し、Bピクチャ符号化データを生成する手段と、
前記ピクチャ間符号化されたPピクチャ符号化データおよびBピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Pピクチャ符号化データおよびBピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段として、
機能させるための映像符号化プログラム。

【請求項6】
Pピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するPピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化をコンピュータに実行させるための映像復号化プログラムであって、
前記コンピュータを、
ピクチャ全体をイントラスライス無しのPピクチャとして符号化したPピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Pピクチャを用いて符号化したBピクチャ符号化データと、前記Pピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
前記受信したPピクチャ符号化データを復号し、イントラスライス無しの復元Pピクチャを生成して記憶する手段と、
前記受信したBピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Pピクチャ符号化データを復号したイントラスライス無しの復元Pピクチャを用いて復号し、復元Bピクチャを生成する手段と、
前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
前記イントラスライス無しの復元Pピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Pピクチャを後続するPピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段として、
機能させるための映像復号化プログラム。
産業区分
  • テレビ
  • 基本電子回路
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2006038883thum.jpg
出願権利状態 権利存続中
さらに詳しい情報をご要望の方は、下記「問合せ先」までお問い合わせください。未公開情報等の交換をおこなう場合は秘密保持契約を締結しての面談等にて対応しております。


PAGE TOP

close
close
close
close
close
close
close