TOP > 国内特許検索 > 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置 > 明細書

明細書 :音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5099697号 (P5099697)
公開番号 特開2009-246584 (P2009-246584A)
登録日 平成24年10月5日(2012.10.5)
発行日 平成24年12月19日(2012.12.19)
公開日 平成21年10月22日(2009.10.22)
発明の名称または考案の名称 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置
国際特許分類 H04N   7/173       (2011.01)
H04L  12/56        (2006.01)
FI H04N 7/173 630
H04L 12/56 230Z
請求項の数または発明の数 3
全頁数 17
出願番号 特願2008-089079 (P2008-089079)
出願日 平成20年3月31日(2008.3.31)
新規性喪失の例外の表示 特許法第30条第1項適用 平成20年1月17日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告(信学技報 Vol.107 No.445)」に発表
審査請求日 平成23年3月25日(2011.3.25)
特許権者または実用新案権者 【識別番号】304021277
【氏名又は名称】国立大学法人 名古屋工業大学
発明者または考案者 【氏名】田坂 修二
【氏名】吉見 光
【氏名】布目 敏郎
審査官 【審査官】川崎 優
参考文献・文献 特開2003-116136(JP,A)
特開2008-042769(JP,A)
特開2008-311784(JP,A)
特表2011-510562(JP,A)
特表2011-057404(JP,A)
特表2010-530719(JP,A)
特表2007-527664(JP,A)
特表2004-528752(JP,A)
調査した分野 H04N 7/16-173,7/24,7/64-68,17/00 H04L 1/00,12/28-66,13/00,29/06-08
特許請求の範囲 【請求項1】
パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、前記バッファ部でのバッファリング時間および前記復号部で復号されたビデオフレームの誤り補償率に応じて、前記判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力方式であって、音声・ビデオ出力時に、前記出力部ならびに前記ビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、前記判定部において切り替えを行う閾値を、前記推定部の推定値を利用して設定することを特徴とする音声・ビデオ出力方式。
【請求項2】
パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、前記バッファ部でのバッファリング時間および前記復号部で復号されたビデオフレームの誤り補償率に応じて、前記判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力方式実現プログラムであって、音声・ビデオ出力時に、前記出力部ならびに前記ビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、前記判定部において切り替えを行う閾値を、前記推定部の推定値を利用して設定することを特徴とする音声・ビデオ出力方式実現プログラム。
【請求項3】
パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、前記バッファ部でのバッファリング時間および前記復号部で復号されたビデオフレームの誤り補償率に応じて、前記判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力装置であって、音声・ビデオ出力時に、前記出力部ならびに前記ビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、前記判定部において切り替えを行う閾値を、前記推定部の推定値を利用して設定することを特徴とする音声・ビデオ出力装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は,パケット伝送された音声・ビデオストリームの受信端末における音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置に関するものである。
【背景技術】
【0002】
アクセス回線の高速化に伴い,IP (Internet Protocol)ネットワーク上で音声・ビデオを扱うアプリケーションが広く普及している。しかし,IPネットワークは基本的にベストエフォート型であり,パケットの欠落や伝送遅延が生じる。
【0003】
パケットの欠落や伝送遅延は,音声の時間的構造やビデオの時間的・空間的構造を乱し,音声・ビデオ伝送のサービス品質(Quality of Service:QoS)を低下させる要因となる。音声・ビデオ伝送のQoSが低下すれば,ユーザ体感品質(Quality of Experience:QoE,非特許文献1参照)が下がることになる。
【0004】
そこで,パケットの欠落や伝送遅延によるQoEの低下を抑えるため,ビデオの出力制御には,誤り補償方式とフレームスキップ方式のいずれかまたは両方が実装されていることが多い(非特許文献2参照)。
【0005】
ビデオの誤り補償は,ネットワーク上での情報の欠落や同期はずれによる情報の廃棄に対処し,失われた情報を他の情報から補間することである。欠落を補間してビデオフレームを出力することができるため,ビデオの時間品質は改善される。しかし,その補間は必ずしも元の画像情報を復元できるとは限らないため,誤り補償によって空間品質が劣化する可能性もある。加えて,空間品質の劣化したフレームが次の動き予測の参照フレームとして用いられた場合には,その空間品質劣化がGOP (Group of Pictures)単位で伝播する問題がある。
【0006】
一方,フレームスキップ方式は,パケット欠落などによって乱れたビデオフレームがあれば,そのフレーム出力を一時中断し,次の正常なIフレームの出現まで中断を継続するものである。すなわち,この方式では,欠落などによって空間的構造が乱れたビデオフレームは出力せず,高い空間品質を持つフレームのみを出力することができる。しかし,ストリームのフリーズによって,ビデオの時間品質の低下をユーザに感じさせてしまう。
【0007】
以上から分かるように,誤り補償はビデオの時間品質を保持し,フレームスキップは空間品質を保持する。
【0008】
従来,音声・ビデオのパケット伝送において,誤り補償が引き起こすビデオの空間品質の劣化とフレームスキップが引き起こす時間品質の劣化とは,それぞれ別個の問題として取り上げられていた。そして,ほとんどの検討が,ビデオの空間品質または時間品質のいずれか一方しか考えておらず,更に音声品質は考慮に入れられていなかった。
【0009】
一方,放送の世界において,誤り補償とフレームスキップとを使い分ける方法に関する発明がいくつかなされている。しかし,これらでは,パケット伝送特有のパケット到着遅れによる時間品質劣化が考慮されていない。
【0010】
特許文献1では,デジタル放送を対象とした記録再生装置が発明されている。この装置では,トランスポートストリームデータの復号エラー信号数が所定の閾値以上存在する部分の映像復号用データ単位もしくは音声復号用データ単位の削除を行うことで,再生映像の画像品質劣化を抑える。ここで映像復号用データ単位はGOPとされている。ただし,この装置が想定しているのは記録再生であり,受信しながら再生するストリーミング型の形態は対象としていない。このため,再生映像にパケット到着遅れの影響などといった時間品質が考慮されていない。また,音声とビデオとの間の相互作用は考慮されていない。
【0011】
特許文献2では,受信した映像劣化の程度に対応した複数の処理態様で演算処理する映像データ処理手段を含めたデジタル放送受信装置が発明されている。この方式では,画像劣化の態様に応じてMPEG圧縮方式におけるフレーム間予測符号化画像を間引いて映像出力を行う。画像劣化の態様は複数種類のパラメータにより検出され,処理態様を決定する閾値は,ジャンルに対応して変化することを特徴としている。また,操作者により入力される表示出力中の映像劣化の度合いを閾値として設定することもできる。さらに,音声に対しては,劣化の程度に応じて音量を減少させる。しかし,映像劣化に応じてフレーム間予測符号化画像を単純に間引くことが,必ずしもユーザの体感品質向上につながっているか自明ではない。また,ユーザの体感品質を閾値設定に反映させる仕組みを持っているものの,ユーザからの情報入力を必要としており,ユーザにとって煩わしいものとなっている。更に,この特許文献においても,情報の到着遅れに起因する時間品質劣化は考慮されていない。

【特許文献1】特開2007-124445号公報
【特許文献2】特開2004-112654号公報
【非特許文献1】ITU-T Rec. G.100/P.10 Amendment 1, ``Amendment 1: new appendix I definition of Quality of Experience (QoE),'' Jan. 2007.
【非特許文献2】N. Feamster and H. Balakrishnan, ``Packet loss recovery for streaming video,'' Proc. IEEE 12th International Packetvideo Workshop (PV2002), Apr. 2002.
【非特許文献3】ITU-T Rec. P.800.1, ``Mean Opinion Score (MOS) terminology,'' Mar. 2003.
【非特許文献4】田中 良久, ``心理学的測定法 第二版'', 東京大学出版会, 1997.
【非特許文献5】J. P. Guilford, Psychometric methods, McGraw-Hill, N. Y., 1954.
【非特許文献6】Mindcraft Inc, ``WebStone benchmark information,'' http://www.mindcraft.com/webstone/.
【非特許文献7】``H.264/MPEG-4 AVC reference software JM11.0,'' http://iphome.hhi.de/suehring/tml/index.htm
【非特許文献8】The Video Quality Experts Group, ``The video quality experts group web site,'' http://www.its.bldrdoc.gov/vqeg/.
【非特許文献9】ITU-T Rec. P.911, ``Subjective audiovisual quality assessment methods for multimedia applications,'' Dec. 1998.
【非特許文献10】S. Tasaka and Y. Ito, ``Psychometric analysis of the mutually compensatory property of multimedia QoS,’’ Conf. Rec. IEEE ICC 2003, pp. 1880-1886, May 2003.
【非特許文献11】F. Mosteller, ``Remarks on the method of paired comparisons: III.a test of significance for paired comparisons when equal standard deviations and equal correlations are assumed,'' Psychometrika, vol.16, no.2, pp.207-218, 1951.
【発明の開示】
【発明が解決しようとする課題】
【0012】
音声・ビデオのパケット伝送に関する従来研究では,誤り補償が引き起こすビデオの空間品質の劣化とフレームスキップが引き起こす時間品質の劣化が,それぞれ別個の問題として取り上げられていた.そして,ほとんどの検討が,ビデオの空間品質または時間品質のいずれか一方しか考えておらず,更に音声品質は考慮に入れられていなかった。このことから,従来の誤り補償方式もしくはフレームスキップ方式のうちいずれか一方を用いての音声・ビデオ出力では,必ずしも最良のユーザ体感品質が得られるとは限らない。
【0013】
そこで,本発明は,ビデオの時間品質と空間品質とのトレードオフの関係を利用することにより,パケット伝送された音声・ビデオを視聴するユーザの体感品質(QoE)を最大化するように音声・ビデオの出力を行うことを可能とするものである。
【課題を解決するための手段】
【0014】
第1発明の音声・ビデオ出力方式は、パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、バッファ部でのバッファリング時間および復号部で復号されたビデオフレームの誤り補償率に応じて、判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力方式であって、音声・ビデオ出力時に、出力部ならびにビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、判定部において切り替えを行う閾値を、推定部の推定値を利用して設定することを特徴とする。第2発明の音声・ビデオ出力方式実現プログラムは、パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、バッファ部でのバッファリング時間および復号部で復号されたビデオフレームの誤り補償率に応じて、判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力方式実現プログラムであって、音声・ビデオ出力時に、出力部ならびにビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、判定部において切り替えを行う閾値を、推定部の推定値を利用して設定することを特徴とする。第3発明の音声・ビデオ出力装置は、パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、バッファ部でのバッファリング時間および復号部で復号されたビデオフレームの誤り補償率に応じて、判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力装置であって、音声・ビデオ出力時に、出力部ならびにビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、判定部において切り替えを行う閾値を,推定部の推定値を利用して設定することを特徴とする。
【0015】
本発明は,音声・ビデオのパケット伝送における受信側装置が備える出力方式に関するものである。本発明では,送信側装置に特別な機能を必要としない。このため,従前の送信側装置を利用可能である。
【0016】
本発明は,図1のブロック構成図に示されるように,パケットの到着遅延揺らぎを吸収するバッファ部と,音声・ビデオの復号を行う復号部と,復号されたビデオフレームの出力可否を判定する判定部と,復号された音声・ビデオの出力を行う出力部とを備え,バッファ部でのバッファリング時間および復号部で復号されたビデオフレームの誤り補償の度合いに応じて,判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替えることで,ビデオの時間品質と空間品質とのトレードオフを利用した高いユーザ体感品質の実現を可能とする。
【0017】
本発明の方式では,受信された音声・ビデオパケットは,バッファ部においてバッファリングされる。これにより,ネットワークを伝送される際の遅延揺らぎを吸収する。バッファリングされる時間を表すバッファリング時間には任意の上限値を設ける。すなわち,大きく遅れて到着したパケットは,意味のない情報と判断し,廃棄される。したがって,このバッファリング時間は,時間品質,空間品質の両方に影響を与える。
【0018】
このことから,バッファリングによる時間空間品質の改善効果と,誤り補償による空間品質改善効果と時間品質への影響とのトレードオフとを鑑みて,適切な制御を行うことが,ユーザの体感品質の向上に重要なものとなる。
【0019】
また,本発明の方式は,音声・ビデオ伝送におけるモダリティ間の相互作用を利用することで高いユーザ体感品質の実現を可能とすることを特徴としている。
【0020】
音声・ビデオ伝送では,音声とビデオという,異なる二つのメディアが伝送される。音声は聴覚により認識され,ビデオは視覚により認識される。これら異なる感覚(モダリティ)の間には,相互作用の性質が存在する。例えば,ビデオの出力品質が悪いときに,音声の品質が良ければ,ビデオの情報を補完することが可能となる。
【0021】
本発明では,このモダリティ間の相互作用を利用する。このために,ユーザ体感品質の尺度として,ITU-T標準の多くで用いられているMOS(Mean Opinion Score,非特許文献3参照)の代わりに,計量心理学的測定法の一つである系列カテゴリー法(非特許文献4,5参照)により得られる距離尺度を用いる。MOSにおいては,尺度値間の順序のみが保証され,値の等間隔性は保証されない。MOSは,単一メディア伝送の品質評価には向いている。しかし,マルチメディア伝送時には,モダリティ間の相互作用の影響により,ユーザにとって,尺度値の間隔は一定とならない可能性が高い。このため,MOSはマルチメディア伝送の品質評価に適しているとは言えない。
【0022】
系列カテゴリー法により得られる距離尺度を用いることで,モダリティ間の相互作用を含むユーザ体感品質の適切な評価ならびに推定が可能となる。そして,このような方式で評価されたユーザ体感品質を鑑みて制御を行うことで,高いユーザ体感品質の実現が可能となる。
【0023】
更に,本発明の方式では,図2のブロック構成図に示されるように,音声・ビデオ出力時に,出力部ならびにビデオ復号部において得られる音声時間品質情報,ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け,判定部においてビデオの時間品質と空間品質とのトレードオフから切り替えを判定する閾値を,この推定値を利用して設定することにより高いユーザ体感品質の実現を可能とすることを特徴としている。
【0024】
ユーザ体感品質の評価尺度として距離尺度を用いることにより,出力部において得られる時間品質情報ならびに空間品質情報,すなわちアプリケーションレベルQoSから高精度にユーザ体感品質を推定することが可能となる。そして,いくつかの出力形態に関してユーザ体感品質を推定し,推定結果が最も高くなる出力形態を採用することにより,高いユーザ体感品質を得ることが可能となる。
【0025】
このように,リアルタイムに推定されたユーザ体感品質をもとに,時間品質と空間品質とのどちらを優先するかを動的に決定することで,よりユーザの感覚に近い制御を行うことが可能となり,ユーザ体感品質の向上につなげることができる。
【発明の効果】
【0026】
本発明の構成により,パケット伝送された音声・ビデオについて,それを視聴するユーザに対して高いユーザ体感品質を提供することが可能となる。
【発明を実施するための最良の形態】
【0027】
以下,本発明を具体化した実施例1および実施例2について,図面を参照しつつ説明する。
【実施例1】
【0028】
本発明の実施例1として,1ビデオフレームにおいて誤り補償されたスライスの割合によって,誤り補償とフレームスキップとを切り替え,ビデオの空間品質と時間品質とを制御する方式が考えられる。その具体的な動作を図3のフローチャートに沿って説明する。図3より,まず,受信されたフレームを格納するバッファから,出力予定のフレーム情報を取得し,復号する。そして,復号されたフレーム内で欠落のあったスライスに対して誤り補償を行う。その際,誤り補償方式は特定のものに限定せず,誤り補償された割合が算出できるものであれば何でもよい。誤り補償された割合を誤り補償率(単位:%)と呼び,次式で定義する。
【0029】
誤り補償率 =
誤り補償の行われたスライス数/1フレーム全体のスライス数×100 [%]
求めた誤り補償率が予め設定された閾値より大きい場合,出力を取り消し,非出力フレームとする。また,誤り補償率が閾値以下の場合でも,対象フレームの動き予測参照フレームが非出力フレームであると,同様に出力を取り消し,非出力フレームとする。誤り補償率が閾値以下で,且つ対象フレームの動き予測参照フレームが出力フレームである場合に,フレームを出力する。この操作を1フレーム毎に行い,誤り補償方式とフレームスキップ方式とを切り替える。
【0030】
閾値を100%,40%,20%,0%とした場合の動作例を図4に示す。図中の実線の平行四辺形が出力フレームを示し,淡い実線の平行四辺形が非出力フレームを表す。誤り補償されたスライスは,グレーの小さな平行四辺形で示す。また,図中の()内の数値は,そのフレームの誤り補償率を表す。ここで,閾値を100%とした場合は純粋な誤り補償方式に,閾値0%は純粋なフレームスキップ方式に対応することに注意されたい。
【0031】
この方式の有効性を評価するために行った実験の方法を示す。実験では,上述の切り替え方式の閾値を変化させてQoEを評価する。そして,求めたQoE評価結果より,閾値の変化がQoEに及ぼす影響を考察する。以下に実験システムとQoE評価実験方法を示す。
【0032】
本実験に用いたネットワーク構成を図5に示す。4台のPCと2台のルータから構成される。4台のPCは,それぞれ,音声・ビデオ送信端末,音声・ビデオ受信端末,Web サーバおよびWebクライアントとして機能する。全ての回線は100BASE-TXである。ルータは,Alcatel Lucent社(旧Riverstone Networks社)製のRS3000である。
【0033】
音声・ビデオは,音声・ビデオ送信端末から音声・ビデオ受信端末へ伝送される。音声とビデオは別個のトランスポートストリームで伝送される。トランスポートプロトコルにはRTP/UDPを用いる。その際,受信端末では,伝送遅延の揺らぎを吸収するため,1秒間のプレイアウトバッファリング制御を行う。
【0034】
表1に,音声とビデオの仕様を示す。表中のMU(Media Unit)とは,メディア同期の処理単位であり,音声では20ミリ秒分のサンプリングデータ,ビデオでは1フレームに相当する。音声MUは一つのUDPデータグラムに梱包される。ビデオMUはスライスを単位とした15個のUDPデータグラムに分割されて伝送される。ピクチャパターンとして,Iフレームにn-1個のPフレーム(n=1,5,15)が続く3種類を考える。
【0035】
【表1】
JP0005099697B2_000002t.gif

【0036】
このネットワークにおいて,WebサーバからWebクライアントへWebトラヒックを伝送する。Webクライアントには,Webサーバ性能評価ツールであるWebStone (非特許文献6参照)を用いる。Webstoneに設定するクライアント数は,20, 30, 40, 50, 75, 100の計6種類とする。
【0037】
ビデオの誤り補償方式には,JM11.0(非特許文献7参照)に実装されているものを用いる。Iフレームにおける誤り補償では,欠落情報を周辺の情報から補間する。Pフレームにおける誤り補償には,2種類の誤り補償方式を用いることができるが,本実施例では,前出力フレームから欠落部分を複写する方式(Frame Copy)を選択する。
【0038】
誤り補償方式とフレームスキップ方式との切り替え制御は,前述の手順に従って行う。その際の閾値は,100%,40%,20%,0%とする。
【0039】
コンテンツの選択には,VQEGのテストプラン(非特許文献8参照)を参考にした。本検討では,表2に概要を示すように,3種類のコンテンツタイプを選び,その各々に対して2個のコンテンツを用意して,計6個のコンテンツを用いた。表3に平均ビットレートを示す。また,参考のため,全てのコンテンツに対してITU-T P.911(非特許文献9参照)で提唱されているTI(Temporal Information)値を示しておく。これは,動きの程度を表し,数値が大きいほど動きが大きいものである。なお,この表3のTI値は,シーンチェンジを除いて算出したものである。
【0040】
【表2】
JP0005099697B2_000003t.gif

【0041】
【表3】
JP0005099697B2_000004t.gif

【0042】
メディア受信端末で出力された音声・ビデオを記録し,これを刺激として,非特許文献10の方法により,系列カテゴリー法を用いたQoE評価を行う。評定尺度法におけるカテゴリーとして,表4に示す5段階妨害尺度(DCR:Degradation Category Rating)を用いる。そして,そのときの評価基準は,Webトラヒックを発生させなかった場合に出力された音声・ビデオとする。
【0043】
【表4】
JP0005099697B2_000005t.gif

【0044】
被験者は20代の男性32人である。評価対象(刺激)数は,コンテンツが6個,ピクチャパターンが3通り,切り替えの閾値が4種類,Webクライアント数が6種類の計432(=6×3×4×6)個とする。各コンテンツの提示順序は,被験者ごとにランダムとする。また,個々のコンテンツを評価する際,切り替えの閾値とWebクライアント数の組み合わせの提示順番もランダムとする。一つの刺激の再生時間を10秒とし,1人当りの評価時間は休憩を含めておよそ4.5時間であった。
【0045】
系列カテゴリー法により得られた尺度値に対し,Mostellerの適合度検定(非特許文献11参照)を行った。その結果,有意水準5%において,系列カテゴリー法により得られた尺度値が測定結果に適合しなかった。そこで,432個の刺激の内,推定値と実測値の誤差が大きいものから順に,刺激を一つずつ取り除いた。その結果,40個の刺激を取り除いたことで,有意水準5%において,得られた尺度値が測定結果に適合した。本実施例では,これらの尺度値をQoEパラメータとして用いる。
【0046】
距離尺度では任意の値を原点とすることができるため,本実施例では,QoEパラメータの最小値が0となるように尺度の原点を定めた。その結果,各カテゴリーの下限値は,4.649(カテゴリー5),3.532(カテゴリー4),2.371(カテゴリー3),1.010(カテゴリー2)となった。
【0047】
図6に,コンテンツがスポーツ2で,ピクチャパターンがIフレームのみの場合におけるWebクライアント数に対する心理的尺度値を示す。この図では,Mostellerの適合度検定の結果削除された評価値は示されていない。この図から,いずれのWebクライアント数においても,閾値を0%とした,フレームスキップ方式で高いQoEが得られることが分かる。ピクチャパターンがIフレームのみの場合,すべてのコンテンツにおいて,閾値を0%,すなわちフレームスキップ方式のみを用いることが高いQoEを得るのに有効であった。
【0048】
図7に,コンテンツがスポーツ2で,ピクチャパターンがIPPPPの場合におけるWebクライアント数に対する心理的尺度値を示す。この図から,Webクライアント数が多い,ネットワークが混雑した状況下において,閾値を0%より大きな値とした場合のQoEが,閾値を0%とした場合よりも優れていることが分かる。したがって,ピクチャパターンにPフレームが含まれる場合,ビデオが支配的に影響するコンテンツでは,閾値を0%より大きな値に設定することが,高いQoEを得るのに有効であると言える。
【0049】
図8に,コンテンツがアニメーション2で,ピクチャパターンがIPPPPの場合におけるWebクライアント数に対する心理的尺度値を示し,図9にピクチャパターンがIPPPPPPPPPPPPPPのときの心理的尺度値を示す。 これらの図から,ピクチャパターンに含まれるPフレームの数が増えるほど,閾値を大きな値に設定することが効果的であることが分かる。
【0050】
また,図7,図8,図9から,アニメーションにおいては,ビデオが支配的なコンテンツに比べて閾値を大きな値に設定することによる効果が出始めるのに,ピクチャパターンに含まれるPフレーム数を多く要することが分かる。音声が支配的なコンテンツにおいても,アニメーションと同様の傾向が得られた。
【0051】
また,ビデオの動きの激しいコンテンツやピクチャパターンにPフレームを多く含むコンテンツでは,閾値を100%とした,誤り補償方式のみの場合に,もっとも高いQoEが得られることが分かった。
【0052】
これらの結果から,ビデオ時間品質と空間品質との間にトレードオフの関係が存在し,それらがコンテンツの種類,ビデオの動きの度合い,およびピクチャパターンに依存することから,本発明の出力方式が有効であることが分かった。
【実施例2】
【0053】
実施例1のQoE評価結果をもとに,実施例2の方式を考えることができる。この方式では,誤り補償方式とフレームスキップ方式とを,一定の学習期間中のユーザ体感品質推定結果に応じて切り替える。この方式の具体的な動作を,図10のフローチャートに沿って説明する。
【0054】
実施例2の方式では,まずピクチャパターンに応じて,用いる方式を切り替える。ピクチャパターンがIフレームのみならば,閾値を0%とし,フレームスキップ方式のみを用いる。そうでなければ,コンテンツ種別に応じて,出力開始時の方式を決定する。ビデオ重視のコンテンツでは,閾値を100%とし,誤り補償方式で出力を開始する。音声重視のコンテンツならば,閾値を0%とし,フレームスキップ方式で出力を開始する。
【0055】
出力開始後,一定の学習期間を設ける。その間,前述の設定にしたがって音声・ビデオを出力する一方で,復号されたビデオを用いて複数の閾値(例えば,0%,20%,40%,100%など)で切り替え方式を適用した場合のQoE推定値を導出する。学習期間終了時点で,これら複数のQoE推定値を比較する。そして,最も高いQoE推定値が得られた閾値を,以降のビデオ出力に使用する。また,一定期間ごとにこのような閾値選択を繰り返し行う。
【0056】
以上が本発明の実施例であるが,QoE推定値を用いる代わりに,音声・ビデオ伝送セッション確立時にやり取りされるコンテンツの属性情報から一意に定められた閾値を使用することも可能である。
【産業上の利用可能性】
【0057】
本発明は,パケット伝送ネットワークを介した音声・ビデオストリーミングサービスに広く用いることができる。
【図面の簡単な説明】
【0058】
【図1】請求項1,2に示される方式のブロック構成図
【図2】請求項3に示される方式のブロック構成図
【図3】実施例1のフローチャート
【図4】ビデオストリーム出力例
【図5】実験システム
【図6】コンテンツがスポーツ2で,ピクチャパターンがIのときの心理的尺度値
【図7】コンテンツがスポーツ2で,ピクチャパターンがIPPPPのときの心理的尺度値
【図8】コンテンツがアニメーション2で,ピクチャパターンがIPPPPのときの心理的尺度値
【図9】コンテンツがアニメーション2で,ピクチャパターンがIPPPPPPPPPPPPPPのときの心理的尺度値
【図10】実施例2のフローチャート
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9