TOP > 中国の大学の特許 > 北京大学の特許一覧 > スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置 > 明細書

明細書 :スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置

発行国 日本国特許庁(JP)
公表番号 特表2014-527739 (P2014-527739A)
公報種別 特許公報(B2)
公表日 平成26年10月16日(2014.10.16)
特許番号 特許第5749857号 (P5749857)
登録日 平成27年5月22日(2015.5.22)
発行日 平成27年7月15日(2015.7.15)
発明の名称または考案の名称 スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置
国際特許分類 H04N  19/146       (2014.01)
H04N  19/30        (2014.01)
H04N  21/2662      (2011.01)
FI H04N 19/146
H04N 19/30
H04N 21/2662
請求項の数または発明の数 12
全頁数 25
出願番号 特願2014-521940 (P2014-521940)
出願日 平成25年1月4日(2013.1.4)
国際出願番号 PCT/CN2013/070029
国際公開番号 WO2013/102434
国際公開日 平成25年7月11日(2013.7.11)
優先権出願番号 201210001318.2
優先日 平成24年1月4日(2012.1.4)
優先権主張国 中華人民共和国(CN)
審査請求日 平成26年1月23日(2014.1.23)
特許権者または実用新案権者 【識別番号】507232478
【氏名又は名称】北京大学
【氏名又は名称】PEKING UNIVERSITY
【識別番号】507231932
【氏名又は名称】北大方正集▲団▼有限公司
【氏名又は名称】PEKING UNIVERSITY FOUNDER GROUP CO., LTD
【識別番号】507232456
【氏名又は名称】北京北大方正▲電▼子有限公司
【氏名又は名称】BEIJING FOUNDER ELECTRONICS CO., LTD.
発明者または考案者 【氏名】孫 俊
【氏名】王 一 磊
【氏名】陳 科 吉
【氏名】郭 宗 明
個別代理人の代理人 【識別番号】110001195、【氏名又は名称】特許業務法人深見特許事務所
審査官 【審査官】久保 光宏
参考文献・文献 特開2009-188735(JP,A)
特開2010-212942(JP,A)
国際公開第2010/087113(WO,A1)
特開2007-36666(JP,A)
特開2007-300526(JP,A)
特開2008-78755(JP,A)
特開2011-180810(JP,A)
吉田裕志(外1名),「映像パケットの流体モデルに基づく映像ストリーミング制御」,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2009年 2月24日,Vol.108, No.458,第411~416頁,ISSN:0913-5685
調査した分野 H04N19/00-19/98,
H04N21/00-21/858,
CSDB(日本国特許庁)
特許請求の範囲 【請求項1】
スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法であって、
符号化モジュールが、伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成するステップと、
第1の伝送モジュールが、スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するステップと、
分析モジュールが、現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するステップとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記方法はさらに、
取得モジュールが、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するステップを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記方法はさらに、
第2の伝送モジュールが、前記現在最も高い拡張層の下のビデオデータを端末装置に送信するステップを含み、
前記分析モジュールが、現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを判断するプロセスは、周期的であり、
現在予期されるビットレートを周期的に判断する前記プロセスは、
第1の取得ユニットが、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するステップと、
第2の取得ユニットが、前記設定時間内に送信されたデータ量に従って再生時間を取得するステップとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記方法はさらに、
第3の取得ユニットが、前記設定時間および前記再生時間に従って、前記現在予期されるビットレートを取得するステップを含む、方法。
【請求項2】
前記第1の取得ユニットが、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得する前記ステップは、
第1のタイミングサブユニットが、送信されたデータ量をカウントし、カウント開始時間を判断するステップと、
第2のタイミングサブユニットが、現在の時間を判断し、カウントサブユニットが、前記設定時間内に送信されたデータ量を取得するステップとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であることを特徴とする、請求項1に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項3】
前記第3の取得ユニットが、前記設定時間および前記再生時間に従って、前記現在予期されるビットレートを取得する前記ステップは、
第1の取得サブユニットが、再生時間に対する設定時間の比率に従って、システム出力値を取得するステップと、
第2の取得サブユニットが、前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するステップとを含むことを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項4】
前記取得された現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積であることを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項5】
前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含み、
前記取得モジュールが、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得す前記ステップは、
1) 第1の抽出ユニットが、まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するステップと、
2) 第4の取得ユニットが、前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するステップと、
3) 検出ユニットが、前記ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するステップと、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、ステップ1)~ステップ3)周期的に繰返され、さらに、
4) 第2の抽出ユニットが、前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層が、現在最も高い拡張層として選択されるステップを含むことを特徴とする、請求項1に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項6】
前記取得モジュールが、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する前記ステップはさらに、拡張層番号設定モジュールが、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を1として設定するステップを、ステップ1)の前に含むことを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法。
【請求項7】
スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置であって、
伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成するための符号化モジュールと、
スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するための第1の伝送モジュールと、
現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するための分析モジュールとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記装置はさらに、
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための取得モジュールを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記装置はさらに、
前記現在最も高い拡張層の下のビデオデータを端末装置に送信するための第2の伝送モジュールを含み、
現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを分析モジュールによって判断するプロセスは、周期的であり、
前記分析モジュールは、
設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するための第1の取得ユニットと、
前記設定時間内に送信されたデータ量に従って再生時間を取得するための第2の取得ユニットとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記分析モジュールはさらに、
前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得するための第3の取得ユニットを含む、装置。
【請求項8】
前記第1の取得ユニットは、
送信されたデータ量をカウントするプロセスの間、カウント開始時間を判断するための第1のタイミングサブユニットと、
現在の時間を判断するための第2のタイミングサブユニットとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であり、前記第1の取得ユニットはさらに、
前記設定時間内に送信されたデータ量を取得するためのカウントサブユニットを含むことを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項9】
前記第3の取得ユニットは、
再生時間に対する設定時間の比率に従ってシステム出力値を取得するための第1の取得サブユニットと、
前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するための第2の取得サブユニットとを含むことを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項10】
第2の取得サブユニットによって取得された前記現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積であることを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項11】
前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含み、
前記取得モジュールは、
まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するための第1の抽出ユニットと、
前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するための第4の取得ユニットと、
ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するための検出ユニットとを含み、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、第1の抽出ユニット、第4の取得ユニット、および検出ユニットの動作を周期的に繰返し、前記取得モジュールはさらに、
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層を、現在最も高い拡張層として選択するための第2の抽出ユニットを含むことを特徴とする、請求項に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
【請求項12】
前記取得モジュールはさらに、第1の抽出ユニットに接続された、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を1として設定するための拡張層番号設定モジュールを含むことを特徴とする、請求項1に記載のスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置。
発明の詳細な説明 【技術分野】
【0001】
発明の分野
この発明はネットワークビデオ伝送の分野に関し、特にスケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置に関する。
【背景技術】
【0002】
発明の背景
ビデオ伝送技術の発展とともに、ネットワーク帯域幅に基づいたビデオ伝送技術が主流となっている。スケーラブルビデオ符号化(Scalable video coding:SVC)は、ネットワークビデオ伝送技術のうち、一般的な符号化方法である。
【0003】
SVCを採用しているビデオ伝送装置は、ビデオ信号に階層符号化を行なうこと、すなわち、時間、空間、および品質の点でビデオ信号を分割して、(基本層と拡張層とを含む)多層ビットストリームを出力することが可能である。ビデオ再生装置は、基本層を復号することによって基本的なビデオ内容を抽出でき、基本的なビデオ内容は視聴時のユーザ要件およびビデオ再生の最小条件を満たすことができる。しかしながら、基本層のデータのみから得られたビデオ画像は、フレームレート、解像度、および品質がより低い。チャネルが制限されている(ネットワーク帯域幅が小さい)場合、またはチャネル環境が複雑である(データ伝送が不安定である)場合、基本層のみを伝送することは、復号端(ビデオ再生装置)が比較的滑らかなビデオ画像を受信できるということを確実にできる。チャネル環境が良好である(データ伝送が比較的安定している)場合、またはチャネル源が豊富である(ネットワーク帯域幅が大きい)場合、フレームレート、解像度、およびビデオ品質を向上させるために拡張層データを伝送することができる。一方、拡張層が2つ以上ある場合がある。すなわち、チャネル状況(ネットワーク状況)下で伝送可能なビデオ信号の最大伝送ビットレートを上回らない状態でビデオ品質を向上させるよう、それぞれの拡張層を1つずつ基本層に追加することができる。
【0004】
SVCを採用しているビデオ伝送装置によるビデオ信号の伝送時、ビデオ品質変動は、ユーザの体験に影響を与える重大要因のうちの1つである。調査によれば、ユーザらは、品質が良かったり悪かったりするビデオ再生よりも、品質がより安定したビデオ再生、すなわち品質があまり変動しないビデオ再生を好む。したがって、SVCを採用しているネットワークビデオ伝送装置は、ネットワーク帯域幅の具体的な状態に従ってビデオデータの品質を制御する必要がある。ビデオ品質変動を制御するための現在の方法は、データパッケージの遅延フィードバック方法であり、それは、データパッケージの伝送プロセス中に生じた遅延に基づいてビデオ品質を調整することである。既に送信されたデータパッケージの伝送遅延を監視し、これらのデータを受信後、監視されたデータに従って調整を行なうことが必要とされる。ネットワークビデオ伝送装置は、ネットワーク帯域幅に変化が生じた後に1組のデータパッケージを送信するよう要求されており、この1組のデータパッケージの伝送遅延が監視され、その後、この伝送遅延に従った調整が続く。
【発明の概要】
【発明が解決しようとする課題】
【0005】
この発明を提案する前に、発明者らは、先行技術には少なくとも以下の問題が存在することを見出した。
【0006】
ビデオ品質変動を制御するための既存の方法は、伝送遅延のフィードバックを待つ必要があるため、より受動的な実現化例を有しており、それは、ネットワーク帯域幅の急変により生じる品質変動に対処するには適していない。加えて、ビデオ品質変動の制御の精度がより低く、このためユーザの体験は良好ではない。
【0007】
発明の概要
この発明は、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御することができる、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置を提供する。
【課題を解決するための手段】
【0008】
上述の目的を達成するために、この発明は以下の技術的解決策を採用している。
一局面では、この発明は、ビデオ品質変動を制御するための方法であって、
伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成するステップと、
スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するステップと、
現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するステップとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記方法はさらに、
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するステップを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記方法はさらに、
前記現在最も高い拡張層の下のビデオデータを端末装置に送信するステップを含む、方法を提供する。
【0009】
好ましくは、現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを判断するプロセスは、周期的であり、
現在予期されるビットレートを周期的に判断するための方法は、
設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するステップと、
前記設定時間内に送信されたデータ量に従って再生時間を取得するステップとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記方法はさらに、
前記設定時間および前記再生時間に従って、前記現在予期されるビットレートを取得するステップを含む。
【0010】
好ましくは、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得する前記ステップは、
送信されたデータ量をカウントし、カウント開始時間を判断するステップと、
現在の時間を判断し、前記設定時間内に送信されたデータ量を取得するステップとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間である。
【0011】
好ましくは、設定時間および再生時間に従って、現在予期されるビットレートを取得する前記ステップは、
再生時間に対する設定時間の比率に従って、システム出力値を取得するステップと、
システム出力値および現在のデータ伝送ビットレートに従って、現在予期されるビットレートを取得するステップとを含む。
【0012】
好ましくは、前記取得された現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積である。
【0013】
好ましくは、前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含む。
【0014】
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための前記方法は、
1) まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するステップと、
2) 前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するステップと、
3) 前記ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するステップと、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、ステップ1)~ステップ3)を周期的に繰返すステップと、
4) 前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層が、現在最も高い拡張層として選択されるステップとを含む。
【0015】
好ましくは、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための方法はさらに、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を1として設定するステップを、ステップ1)の前に含む。
【0016】
別の局面では、この発明は、ビデオ品質変動を制御するための装置であって、
伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成するための符号化モジュールと、
スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するための第1の伝送モジュールと、
現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するための分析モジュールとを含み、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートであり、前記装置はさらに、
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するための取得モジュールを含み、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくなく、前記装置はさらに、
前記現在最も高い拡張層の下のビデオデータを端末装置に送信するための第2の伝送モジュールを含む、装置を提供する。
【0017】
好ましくは、現在使用されているチャネルによって伝送すべき前記ビデオデータの伝送状態に従って、現在予期されるビットレートを分析モジュールによって判断するプロセスは、周期的であり、
前記分析モジュールは、
設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するための第1の取得ユニットと、
前記設定時間内に送信されたデータ量に従って再生時間を取得するための第2の取得ユニットとを含み、前記再生時間は、前記設定時間内に送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間であり、前記分析モジュールはさらに、
前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得するための第3の取得ユニットを含む。
【0018】
好ましくは、前記第1の取得ユニットは、
送信されたデータ量をカウントするプロセスの間、カウント開始時間を判断するための第1のタイミングサブユニットと、
現在の時間を判断するための第2のタイミングサブユニットとを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であり、前記第1の取得ユニットはさらに、
前記設定時間内に送信されたデータ量を取得するためのカウントサブユニットを含む。
【0019】
好ましくは、前記第3の取得ユニットは、
再生時間に対する設定時間の比率に従ってシステム出力値を取得するための第1の取得サブユニットと、
前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するための第2の取得サブユニットとを含む。
【0020】
好ましくは、第2の取得サブユニットによって取得された前記現在予期されるビットレートは、システム出力値と現在のデータ伝送ビットレートとの積である。
【0021】
好ましくは、前記現在最も高い拡張層の下のビデオデータは、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を含み、
前記取得モジュールは、
まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するための第1の抽出ユニットと、
前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するための第4の取得ユニットと、
ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するための検出ユニットとを含み、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、第1の抽出ユニット、第4の取得ユニット、および検出ユニットの動作が周期的に繰返され、前記取得モジュールはさらに、
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層を、現在最も高い拡張層として選択するための第2の抽出ユニットを含む。
【0022】
好ましくは、前記取得モジュールはさらに、第1の抽出ユニットに接続された、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を1として設定するための拡張層番号設定モジュールを含む。
【発明の効果】
【0023】
この発明によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、設定時間の期間内でデータ伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを具体的な監視結果に従って動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。
【0024】
図面の簡単な説明
この発明の実施例の技術的解決策をより明瞭に例示するために、実施例のために使用される図面についての簡単な紹介を以下に述べる。明らかに、以下に示す図面はこの発明の実施例の一部に過ぎず、当業者であれば、創意工夫をすることなく、これらの図面から他の図面を得ることができるであろう。
【図面の簡単な説明】
【0025】
【図1】この発明の第1の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法のフローチャートである。
【図2】この発明の第2の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法のフローチャートである。
【図3】この発明の第2の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法の具体例のフローチャートである。
【図4】この発明の第3の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置の構造図である。
【図5】この発明の第4の実施例に従った、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置の構造図である。
【発明を実施するための形態】
【0026】
実施例の詳細な説明
以下に、この発明の実施例の技術的解決策の明瞭で完全な説明を、この発明の実施例の添付図面を参照して述べる。明らかに、説明される実施例は、この発明の全ての実施例ではなく、実施例の一部に過ぎない。当業者によって創意工夫をすることなく得られるこの発明の実施例に基づいた他の全ての実施例は、この発明の保護の範囲に該当する。

【0027】
この発明の技術的解決策の利点をより明瞭にするために、この発明の詳細な説明を、図面および実施例を参照して例示する。

【0028】
第1の実施例
この発明の実施例は、図1に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法を提供する。この方法は、以下のステップを含む。

【0029】
ステップ101:伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成する。

【0030】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、送信すべきビデオデータにスケーラブルビデオ符号化を行ない、ビデオデータは1つの基本層および少なくとも1つの拡張層へと符号化され得る。ここで、ビデオデータにスケーラブルビデオ符号化を行なう詳細な実現化例は、当業者には周知であり、ここではさらには説明しない。

【0031】
ステップ102:スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信する。

【0032】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、スケーラブルビデオ符号化後のビデオデータを端末装置に送信する。ここで、この発明の実施例では、ビデオデータを送信する実現態様は制限されておらず、それは当業者には公知の任意の実現化例であってもよい。

【0033】
なお、このステップで送信されるビデオデータは必ずしも、ステップ101で生成された基本層および全ての拡張層に対応するビデオデータの全てではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低~高へと連続分布する態様で選択する必要がある。たとえば、3つの拡張層を選択する場合、拡張層1~拡張層3のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な量を自ら決定できる。

【0034】
ステップ103:現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断する。

【0035】
ここで、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートである。

【0036】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、PID(比例積分微分)自動制御方法を採用することにより、現在使用されているチャネルでのビデオデータの伝送状態に従って、現在使用されているチャネルによって伝送可能な最大データ伝送ビットレートを取得できる。

【0037】
ステップ104:前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する。

【0038】
ここで、前記現在最も高い拡張層の下のビデオデータ(すなわち、前記現在最も高い拡張層と、その下の拡張層と、基本層とに対応するビデオデータ)を伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。

【0039】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置が現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。

【0040】
前記現在最も高い拡張層の下でのビデオデータは、前記現在最も高い拡張層に対応するビデオデータと、前記現在最も高い拡張層より低い全ての拡張層に対応するビデオデータと、前記基本層に対応するビデオデータとの合計を含む。

【0041】
前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するステップは、オプションで以下のステップを含む:
ステップ104-1:まだ抽出されたことがない全ての拡張層から、層番号が最も低い(すなわち、レベルが最も低い)拡張層を抽出する;
ステップ104-2:前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得する;
ステップ104-3:前記ビットレートの合計が前記現在予期されるビットレートより大きいかどうかを判断する;
ステップ104-4:前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、ステップ104-1~104-3を周期的に繰返す;
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期においてまだ抽出されたことがない全ての拡張層のうちから抽出された、層番号が最も低い拡張層(すなわち、最後から2番目に抽出された拡張層)が、現在最も高い拡張層として選択される。

【0042】
言い換えると、それぞれの拡張層を1つずつ基本層にオーバーレイすることが可能であり、各オーバーレイ後のビデオデータを伝送する際にかかるビットレートの合計がそれぞれ取得され、現在予期されるビットレートと順に比較される。ある時点で、各オーバーレイ後のビデオデータを伝送する際にかかるビットレートの合計が現在予期されるビットレートよりも大きい場合、最後の時点(すなわち、上述の「ある時点」の前の時点)でオーバーレイされた拡張層が、前記現在最も高い拡張層(すなわち、最後から2番目にオーバーレイされた拡張層)である。

【0043】
ステップ105:前記現在最も高い拡張層の下のビデオデータを端末装置に送信する。
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する(すなわち、現在最も高い拡張層の下の)次に伝送すべきビデオデータ(すなわち、伝送すべきビデオデータの次のセグメント)を、端末装置に送信する。ここでのビデオデータを送信する実現化例は、ステップ102のものと一致しており、したがって詳細には説明しない。

【0044】
ステップ103~105を行なうことは、現在使用されているチャネルによって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断すること、前記現在予期されるビットレートに従って、現在最も高い拡張層を取得すること、および、前記現在最も高い拡張層の下のビデオデータを、次に伝送すべきビデオデータとして端末装置に送信することであることがわかる。また、ステップ103~105を繰返すことは、使用されているチャネルによって端末装置に送信された伝送すべきビデオデータのうちの前のセグメントの伝送状態に従って、ビデオデータの前のセグメントを伝送する際の予期されるビットレート(すなわち、ビデオデータの前のセグメントを伝送する際の、使用されているチャネルによって伝送可能な最大データ伝送ビットレート)を判断すること、前記予期されるビットレートに従って、対応する最も高い拡張層を取得すること、および、この対応する最も高い拡張層の下のビデオデータを、次のセグメントの伝送すべきビデオデータとして端末装置に送信することを実現できる。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。

【0045】
この発明によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、リアルタイムでビデオデータの伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを詳細な監視結果に従って予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。

【0046】
第2の実施例
この発明の実施例は、図2に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法を提供する。この方法は、以下のステップを含む。

【0047】
ステップ201:伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成する。

【0048】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、送信すべきビデオデータにスケーラブルビデオ符号化を行ない、ビデオデータは1つの基本層および少なくとも1つの拡張層へと符号化され得る。たとえば、表1に示すようになっている。

【0049】
【表1】
JP0005749857B2_000002t.gif

【0050】
番号が0の層は基本層であり、番号が1、2、3、4、5、6、7の層は拡張層(それぞれ、拡張層1~7)である。各拡張層は、自己の前にある拡張層に基づいて、ビデオデータのフレームレート、画像解像度、および信号対雑音比(SNR)の少なくとも1つに関して強化される。0は、前の層と比べて強化されていないことを表わし、1は、前の層と比べて強化されていることを表わす。たとえば、拡張層2は、ビデオデータのSNRに関しては拡張層1と比べて強化されているが、解像度およびフレームレートに関しては拡張層1と比べて強化されていない。SVCでは、ビデオの基本的再生性能を確実にするために、基本層はフレームレート、画像解像度、およびSNRという3つの局面全てにおいて最も低いレベルのままであり、ビデオ画像の品質の強化は、基本層への拡張層のオーバーレイに依存する、ということがわかる。

【0051】
ここで、ビデオデータにスケーラブルビデオ符号化を行なう実現化例は、当業者には既に周知であり、したがって詳細には説明しない。

【0052】
ステップ202:スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信する。

【0053】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、スケーラブルビデオ符号化後のビデオデータを端末装置に送信する。この発明の実施例では、ビデオデータを送信する実現化例は制限されていないが、当業者には公知の任意の実現態様であってもよい。

【0054】
なお、このステップで送信されるビデオデータは必ずしも、ステップ201で生成された基本層および全ての拡張層に対応するビデオデータの合計ではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低~高へと連続分布する態様で選択する必要がある。たとえば、3つの拡張層を選択する場合、拡張層1~拡張層3のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な量を自ら決定できる。

【0055】
ステップ203:データ量をカウントし、カウント開始時間を判断する。
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、ビデオデータを送信しつつ、ある時点(すなわち、前記カウント開始時間)から開始する送信されたデータ量をカウントできる。たとえば、図3に示すように、ビデオ伝送装置は時間Aからデータ量をカウントできる。

【0056】
ステップ204:現在の時間を判断し、設定時間内に送信されたデータ量を取得する。
ここで、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間である。

【0057】
具体的には、図3に示すように、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、送信されたデータ量のカウントを時間Aで開始できる。データ量をカウントする具体的な方法は、ビデオ伝送装置によって送信されたビデオデータのデータパッケージの量を監視することであってもよい。設定時間の後、監視は時間Bで停止され、設定時間内に送信されたデータ量を得るために、設定時間内に送信されたビデオデータのデータパッケージの総量が記録される。

【0058】
ステップ205:前記設定時間内に送信されたデータ量に従って再生時間を取得する。
ここで、前記再生時間は、スケーラブルビデオ符号化を採用しているビデオ伝送装置によって前記設定時間内に送信されたビデオデータに従って、端末装置がビデオを再生する期間である。

【0059】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、設定時間内に送信されたビデオデータのこれらのデータ量に従って、データ量のビデオデータに基づいて、受信端の端末装置がビデオを再生できる推定再生時間を計算できる。ここで、前記データ量に従って再生時間を取得する実現化例は当業者には周知であり、したがって詳細には説明しない。

【0060】
また、ビデオデータの伝送中、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、ステップ203~205の方法のプロセスを伝送中周期的に繰返し、各周期において得られた設定時間および再生時間を記録してもよい。ここで、隣接する周期間の時間間隔は、具体的な状態に従ってビデオ伝送装置により自動的に設定されてもよく、または技術者により手動で設定されてもよく、ここでは限定しない。

【0061】
ステップ206:再生時間に対する設定時間の比率に従って、システム出力値を取得する。

【0062】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、設定時間および再生時間に従ってシステム出力値を取得できる。可能な具体的な方法を以下に挙げる。

【0063】
スケーラブルビデオ符号化を採用しているビデオ伝送装置は、たとえば、以下のように、PID自動制御方法によってシステム出力値を取得できる:
システム出力値=比例係数*比例部分+積分係数*積分部分+微分係数*微分部分
式中、比例部分=制御変数=設定時間/再生時間
PID自動制御方法では、比例部分の機能は、この発明に従ってビデオ品質変動の制御結果を目標状態にうまく近付けるよう、現在のネットワーク帯域幅と伝送状態との整合度を予測することである。

【0064】
積分部分=累積設定時間/累積再生時間
ここで、累積設定時間または累積再生時間は、ビデオ伝送装置によって実行される再生時間の周期を最初に取得した時点から現在の時点までの全周期の設定時間または再生時間の合計である。たとえば、現時点までに3つの完全な周期が経過し(すなわち、各周期においてステップ203~205の方法プロセスが完全に行なわれ)、各周期の設定時間および再生時間がそれぞれ、10秒および8秒、10秒および9秒、10秒および7秒であるとすると、累積設定時間は30秒、累積再生時間は24秒であり、積分部分=累積設定時間/累積再生時間=30秒/24秒=1.25となる。

【0065】
PID自動制御方法では、積分部分の機能は、比較的長期間内の帯域幅の変化状態の平均を取得するためにデータを長期間監視し、それにより品質変動の可能性を減少させることである。

【0066】
微分部分=現時点の制御変数/最後の時点の制御変数
ここで、現時点の制御変数は、この周期における設定時間および再生時間に基づいて取得された制御変数(すなわち、現在の制御変数=現在の周期における設定時間/現在の周期における再生時間)であり、最後の時点の制御変数は、最後の周期における設定時間および再生時間に基づいて取得された制御変数(すなわち、最後の制御変数=最後の周期における設定時間/最後の周期における再生時間)である。

【0067】
PID自動制御方法では、微分部分の機能は、帯域幅の変化傾向を予測し、それにより制御変数ができるだけ早く目標状態に近付くことを可能にすることである。

【0068】
比例係数、積分係数、および微分係数を取得するための詳細な方法は、以下のようであってもよい。まず、スケーラブルビデオ符号化を採用しているビデオ伝送装置が電源オンになった後で、ビデオ伝送装置は積分係数および微分係数を自動的に0として設定し(すなわち、比例項目のみが残されている)、次に、システム出力値の周期的変化(または略周期的な変化)を可能にするよう、比例係数が調整される。システム出力値の変化期間をT(前記期間はシステム出力値の分布期間である)、比例係数をKと仮定すると、最終的な比例係数(すなわち、ビデオ伝送装置の通常動作後に得られた比例係数)は0.6Kであり、積分係数は2K/Tであり、微分係数はK*T/8である。ここで、比例係数、積分係数、および微分係数を取得するための詳細な実現化例は当業者には周知であり、したがって詳細には説明しない。

【0069】
ステップ207:前記システム出力値および現在のデータ伝送ビットレートに従って、現在予期されるビットレートを取得する。

【0070】
ここで、前記取得された現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な最大データ伝送ビットレートである。

【0071】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、システム出力値および現在のデータ伝送ビットレート(すなわち、現在使用されているチャネルのデータ伝送ビットレート)に従って、前記現在予期されるビットレートを取得する。ここで、現在のデータ伝送ビットレートを取得するための方法は、当業者にはよく知られた任意の方法であってもよく、したがってここでは限定しない。

【0072】
ここで、現在予期されるビットレート=システム出力値*現在のデータ伝送ビットレートである。

【0073】
ステップ208:まだ抽出されたことがない全ての拡張層から、層番号が最も低い(すなわち、レベルが最も低い)拡張層を抽出する。

【0074】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、表1に示すようなまだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出する。たとえば、現在抽出されている拡張層がない場合、拡張層1が抽出され、現在拡張層1および拡張層2が抽出されていた場合、拡張層3が抽出される。

【0075】
ステップ209:前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得する。

【0076】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置により、抽出された拡張層を1つずつ基本層にオーバーレイすることが可能であり、オーバーレイされたビデオデータの伝送中にかかるビットレートの合計が取得される。

【0077】
ステップ210:前記ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出する。

【0078】
ここで、前記ビットレートの合計が現在予期されるビットレートより大きくない場合、ステップ208~210のプロセスは周期的に繰返され、前記ビットレートの合計が現在予期されるビットレートより大きいことが検出されるまでは、ステップ211は行なわれない。

【0079】
ステップ211:前記ビットレートの合計が現在予期されるビットレートより大きい場合、最後の周期(すなわち、最後の時点のステップ208~210を行なうプロセス)においてまだ抽出されたことがない全ての拡張層のうち、層番号が最も低い拡張層(すなわち、最後から2番目に抽出された拡張層)が、現在最も高い拡張層である。

【0080】
ここで、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応するビデオデータの合計を伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートよりも大きくない。

【0081】
たとえば、表1に示すように、拡張層1~3(拡張層3は、現在の周期においてまだ抽出されたことがない全ての拡張層のうち、層番号が最も低い拡張層である)を基本層にオーバーレイした後で、伝送中にオーバーレイされたビデオデータが占めるビットレートの合計が現在予期されるビットレートよりも大きい場合、現在最も高い拡張層は拡張層2である(拡張層2は、前の周期においてまだ抽出されたことがない全ての拡張層のうち、層番号が最も低い拡張層である)。

【0082】
ステップ212:前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する、次に送信すべきビデオデータを、端末装置に送信する。

【0083】
具体的には、この実施例では、スケーラブルビデオ符号化を採用しているビデオ伝送装置は、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する、次に伝送すべきビデオデータ(すなわち、伝送すべきビデオデータの次のセグメント)を、端末装置に送信する。ビデオデータを送信する実現化例は、ステップ102のものと一致しており、したがって詳細には説明しない。

【0084】
また、ステップ203~212を繰返すことは、設定時間および再生時間に対応するシステム出力値が取得されるように、対応する設定時間および再生時間を取得するよう、端末装置に送信された伝送すべき前のセグメントのビデオデータのデータ量をカウントすること、前記システム出力値および現在使用されているチャネルのデータ伝送ビットレートに従って、対応する予期されるビットレートを取得すること(この予期されるビットレートは、前のセグメントのビデオデータを送信する際の、使用されているチャネルによって伝送可能な最大データ伝送ビットレートである)、この予期されるビットレートに従って、対応する最も高い拡張層を取得すること、および、伝送すべき次のセグメントのビデオデータとして作用する、対応する最も高い拡張層の下のビデオデータを、端末装置に送信することを実現できる。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。

【0085】
なお、ステップ203~212を繰返す際、以下のステップをステップ207とステップ208との間に追加する必要がある。そのステップとは、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を1として設定するステップである。すなわち、最後の周期(すなわち、ステップ203~212を行なう最後の時点)においてステップ208により抽出された拡張層の層番号を明確にするよう、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を拡張層1として設定する。これにより、次のセグメントのビデオデータを送信する際の現在のチャネル状態が前のセグメントのビデオデータを送信する際のチャネル状態より悪化している場合に、伝送すべき次のセグメントのビデオデータに対応する最も高い拡張層を効果的に取得できないという状況を防止する。

【0086】
この発明によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、リアルタイムでビデオデータの伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを詳細な監視結果に従って動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明の実施例は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。

【0087】
第3の実施例
この発明の実施例は、図4に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置を提供する。この装置は、符号化モジュール401と、第1の伝送モジュール402と、分析モジュール403と、取得モジュール404と、第2の伝送モジュール405とを含む。

【0088】
符号化モジュール401は、伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成するために使用される。

【0089】
第1の伝送モジュール402は、スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するために使用される。

【0090】
なお、第1の伝送モジュール402によって端末装置に送信されるビデオデータは必ずしも、符号化モジュール401によって生成された基本層および全ての拡張層に対応するビデオデータの合計ではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低~高へと連続分布する態様で選択する必要がある。たとえば、3つの拡張層を選択する場合、拡張層1~拡張層3のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な数を自ら決定できる。

【0091】
分析モジュール403は、現在使用されているチャネルによって第1の伝送モジュール402によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するために使用される。

【0092】
ここで、前記現在予期されるビットレートは、現在使用されているチャネルによって伝送可能な予測される最大データ伝送ビットレートである。

【0093】
取得モジュール404は、分析モジュール403によって判断された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するために使用される。

【0094】
ここで、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。

【0095】
第2の伝送モジュール405は、取得モジュール404によって取得された前記現在最も高い拡張層の下のビデオデータを送信するために使用される。

【0096】
次に、分析モジュール403は、現在使用されているチャネルによって第2の伝送モジュール405によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断し、取得モジュール404は、分析モジュール403によって判断された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得し、第2の伝送モジュール405は、取得モジュール404によって取得された前記現在最も高い拡張層の下のビデオデータを、端末装置に送信する。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。

【0097】
この発明の実施例によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、リアルタイムでビデオデータの伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを詳細な監視結果に従って動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明の実施例は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。

【0098】
第4の実施例
この発明の実施例は、図5に示すような、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置を提供する。この装置は、符号化モジュール401と、第1の伝送モジュール402と、分析モジュール403と、取得モジュール404と、第2の伝送モジュール405とを含み、分析モジュール403は、第1の取得ユニット4031と、第2の取得ユニット4032と、第3の取得ユニット4033とを含み、取得ユニット4031は、第1のタイミングサブユニット40311と、第2のタイミングサブユニット40312と、カウントサブユニット40313とを含み、第3の取得ユニット4033は、第1の取得サブユニット40331と、第2の取得サブユニット40332とを含み、取得モジュール404は、第1の抽出ユニット4041と、第4の取得ユニット4042と、検出ユニット4043と、第2の抽出ユニット4044とを含む。

【0099】
符号化モジュール401は、伝送すべきビデオデータにスケーラブルビデオ符号化を行ない、1つの基本層および少なくとも1つの拡張層を生成するために使用される。

【0100】
第1の伝送モジュール402は、スケーラブルビデオ符号化後の伝送すべきビデオデータを端末装置に送信するために使用される。

【0101】
なお、第1の伝送モジュール402によって端末装置に送信されるビデオデータは必ずしも、符号化モジュール401によって生成された基本層および全ての拡張層に対応するビデオデータの全てではなく、それらのほんの一部が選択的に送信される。たとえば、基本層に対応するビデオデータのみを送信することができ、または、基本層と一部の拡張層とに対応するビデオデータの合計を送信することもできる。しかしながら、レベルを飛ばすことは許可されていない。言い換えると、基本層は選択されなければならず、また、複数の拡張層を選択する場合、拡張層の数を最初から、低~高へと連続分布する態様で選択する必要がある。たとえば、3つの拡張層を選択する場合、拡張層1~拡張層3のみが選択可能である。当業者は、現在使用されているチャネルの状態に従って、選択すべき拡張層の具体的な量を自ら決定できる。

【0102】
分析モジュール403は、現在使用されているチャネルによって第1の伝送モジュール402によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断するために使用される。

【0103】
ここで、前記現在予期されるビットレートは、予測される現在使用されているチャネルによって伝送可能な最大データ伝送ビットレートである。

【0104】
第1の取得ユニット4031は、設定時間内に現在使用されているチャネルによって送信されたデータ量を取得するために使用される。

【0105】
ここで、第1の取得ユニット4031は、
第1の伝送モジュール402によって送信されたデータ量をカウントするプロセスの間、カウント開始時間を判断するために使用される第1のタイミングサブユニット40311と、
現在の時間を判断するために使用される第2のタイミングサブユニット40312とを含み、前記設定時間は、前記カウント開始時間から前記現在の時間までの期間であり、第1の取得ユニット4031はさらに、
前記設定時間内に送信されたデータ量を取得するために使用されるカウントサブユニット40313を含む。

【0106】
第2の取得ユニット4032は、前記設定時間内に送信されたデータ量に従って再生時間を取得するために使用され、前記再生時間は、前記設定時間内に第1の伝送モジュール402によって送信されたビデオデータに従った、端末装置によるビデオ再生の継続時間である。

【0107】
第3の取得ユニット4033は、前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得するために使用される。

【0108】
ここで、第3の取得ユニット4033は、
再生時間に対する設定時間の比率に従ってシステム出力値を取得するために使用される第1の取得サブユニット40331と、
前記システム出力値および現在のデータ伝送ビットレートに従って、前記現在予期されるビットレートを取得するために使用される第2の取得サブユニット40332とを含む。

【0109】
取得モジュール404は、第3の取得ユニット4033によって取得された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得するために使用される。

【0110】
ここで、前記現在最も高い拡張層の下のビデオデータを伝送する際にかかる全ビットレートの合計は、前記現在予期されるビットレートより大きくない。

【0111】
取得モジュール404は、
まだ抽出されたことがない全ての拡張層から、層番号が最も低い拡張層を抽出するために使用される第1の抽出ユニット4041と、
前記基本層と抽出された全ての拡張層とに対応するビデオデータの合計を伝送する際にかかるビットレートの合計を取得するために使用される第4の取得ユニット4042と、
ビットレートの合計が前記現在予期されるビットレートより大きいか否かを検出するために使用される検出ユニット4043とを含み、
前記ビットレートの合計が前記現在予期されるビットレートより大きくない場合、前記ビットレートの合計が前記現在予期されるビットレートより大きいことが検出されるまで、上述のプロセスが繰返され(すなわち、第1の抽出ユニット4041、第4の取得ユニット4042、および検出ユニット4043の動作が周期的に繰返され)、取得モジュール404はさらに、
前記ビットレートの合計が前記現在予期されるビットレートより大きい場合、最後の周期(すなわち、第1の抽出ユニット4041、第4の取得ユニット4042、および検出ユニット4043の動作が繰返された最後の時点)においてまだ抽出されたことがない全ての拡張層から抽出された、層番号が最も低い拡張層(すなわち、最後から2番目に抽出された拡張層)を、現在最も高い拡張層として選択するために使用される第2の抽出ユニット4044を含む。

【0112】
第2の伝送モジュール405は、前記現在最も高い拡張層と、前記現在最も高い拡張層より低い全ての拡張層と、基本層とに対応する、次に伝送すべきビデオデータ(すなわち、伝送すべき次のセグメントのビデオデータ)を、端末装置に送信するために使用される。

【0113】
次に、分析モジュール403は、現在使用されているチャネルによって第2の伝送モジュール405によって端末装置に送信されたビデオデータの伝送状態に従って、現在予期されるビットレートを判断する。言い換えると、第1の取得ユニット4031が、現在使用されているチャネルによって設定時間内に第2の伝送モジュール405によって送信されたデータ量を取得し、第2の取得ユニット4032が、前記設定時間内に送信されたデータ量に従って再生時間を取得し、第3の取得ユニット4032が、前記設定時間および前記再生時間に従って前記現在予期されるビットレートを取得する。取得モジュール404は、分析モジュール403によって判断された前記現在予期されるビットレートに従って、現在最も高い拡張層を取得する。そして、第2の伝送モジュール405は、取得モジュール404によって取得された前記現在最も高い拡張層の下のビデオデータを、端末装置に送信する。リアルタイムでのビデオ品質調整という目的を達成するために、周期はこのように繰返される。

【0114】
ここで、前記取得モジュールはさらに、拡張層番号設定モジュール(図示せず)を含む。それは第1の抽出ユニット4041に接続されており、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を1として設定する。すなわち、まだ抽出されたことがない全ての拡張層のうち層番号が最も低い拡張層の層番号を拡張層1として設定する。次に、第1の抽出ユニット4041、第4の取得ユニット4042、検出ユニット4043、および第2の抽出ユニット4044は、最後の周期(すなわち、分析モジュール403、取得モジュール404、および第2の伝送モジュール405の動作を繰返した最後の時点)において抽出された拡張層の層番号を明確にするよう、現在最も高い拡張層の取得を開始する。これにより、次のセグメントのビデオデータを送信する際の現在のチャネル状態が前のセグメントのビデオデータを送信する際のチャネル状態より悪化している場合に、伝送すべき次のセグメントのビデオデータに対応する最も高い拡張層を得られないという状況を防止する。

【0115】
この発明の実施例によって提供される、スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための装置は、ビデオ品質を具体的に制御するために、ビデオデータを送信するプロセスの間、設定時間の期間内でデータ伝送状態を監視し、現在使用されているチャネルによって伝送可能な最大ビットレートを動的に予測し、対応する調整を伝送可能な現在最も高い拡張層に行なうことが可能である。先行技術と比べると、この発明の実施例は、チャネル環境の変化を能動的に予想し、ネットワーク帯域幅の変化の具体的な状態に従って伝送されたビデオ品質を精密に調整することができ、ユーザの体験を向上させるよう、帯域幅の急変により生じるビデオ品質変動に対処し、ビデオ品質変動をより精密に制御する。

【0116】
上述の実施例における方法のプロセスの全てまたは一部は、関連ハードウェアに命令するコンピュータプログラムを用いることによって達成可能であり、前記プログラムはコンピュータ読取可能記憶媒体に格納可能である、ということを、当業者であれば理解できる。プログラムを実行する際、上述のようなさまざまな方法の実施例のプロセスが含まれていてもよい。前記記憶媒体は、フロッピー(登録商標)ディスク、コンパクトディスク、読出専用メモリ(ROM)、またはランダムアクセスメモリ(RAM)などであってもよい。

【0117】
上述の事項は、この発明の詳細な実施例に過ぎず、この発明の保護の範囲をそのように限定するために使用されない。この発明により開示される技術的範囲内で当業者が容易に思い付くあらゆる変形または置換えが、この発明の保護の範囲によって網羅されるべきである。したがって、この発明の保護の範囲は、請求項の保護の範囲によって定義されるべきである。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4