TOP > 国内特許検索 > 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置

音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置 コモンズ 新技術説明会

国内特許コード P09P006548
掲載日 2009年10月23日
出願番号 特願2008-089079
公開番号 特開2009-246584
登録番号 特許第5099697号
出願日 平成20年3月31日(2008.3.31)
公開日 平成21年10月22日(2009.10.22)
登録日 平成24年10月5日(2012.10.5)
発明者
  • 田坂 修二
  • 吉見 光
  • 布目 敏郎
出願人
  • 国立大学法人 名古屋工業大学
発明の名称 音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置 コモンズ 新技術説明会
発明の概要

【課題】パケット伝送された音声・ビデオを視聴するユーザに高いユーザ体感品質を提供する。
【解決手段】音声・ビデオ出力方式は,パケット伝送された音声およびビデオを受信出力する際に,パケットの到着遅延揺らぎを吸収するバッファ部と,音声・ビデオの復号を行う復号部と,復号されたビデオフレームの出力可否を判定する判定部と,復号された音声・ビデオの出力を行う出力部とを備え,バッファ部でのバッファリング時間および復号部で復号されたビデオフレームの誤り補償の度合いに応じて,判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替えることで,ビデオの空間品質と時間品質とのトレードオフの関係ならびに音声・ビデオ視聴時のモダリティ間の相互作用を利用することで高いユーザ体感品質を実現する。
【選択図】図2

従来技術、競合技術の概要


アクセス回線の高速化に伴い,IP (Internet Protocol)ネットワーク上で音声・ビデオを扱うアプリケーションが広く普及している。しかし,IPネットワークは基本的にベストエフォート型であり,パケットの欠落や伝送遅延が生じる。



パケットの欠落や伝送遅延は,音声の時間的構造やビデオの時間的・空間的構造を乱し,音声・ビデオ伝送のサービス品質(Quality of Service:QoS)を低下させる要因となる。音声・ビデオ伝送のQoSが低下すれば,ユーザ体感品質(Quality of Experience:QoE,非特許文献1参照)が下がることになる。



そこで,パケットの欠落や伝送遅延によるQoEの低下を抑えるため,ビデオの出力制御には,誤り補償方式とフレームスキップ方式のいずれかまたは両方が実装されていることが多い(非特許文献2参照)。



ビデオの誤り補償は,ネットワーク上での情報の欠落や同期はずれによる情報の廃棄に対処し,失われた情報を他の情報から補間することである。欠落を補間してビデオフレームを出力することができるため,ビデオの時間品質は改善される。しかし,その補間は必ずしも元の画像情報を復元できるとは限らないため,誤り補償によって空間品質が劣化する可能性もある。加えて,空間品質の劣化したフレームが次の動き予測の参照フレームとして用いられた場合には,その空間品質劣化がGOP (Group of Pictures)単位で伝播する問題がある。



一方,フレームスキップ方式は,パケット欠落などによって乱れたビデオフレームがあれば,そのフレーム出力を一時中断し,次の正常なIフレームの出現まで中断を継続するものである。すなわち,この方式では,欠落などによって空間的構造が乱れたビデオフレームは出力せず,高い空間品質を持つフレームのみを出力することができる。しかし,ストリームのフリーズによって,ビデオの時間品質の低下をユーザに感じさせてしまう。



以上から分かるように,誤り補償はビデオの時間品質を保持し,フレームスキップは空間品質を保持する。



従来,音声・ビデオのパケット伝送において,誤り補償が引き起こすビデオの空間品質の劣化とフレームスキップが引き起こす時間品質の劣化とは,それぞれ別個の問題として取り上げられていた。そして,ほとんどの検討が,ビデオの空間品質または時間品質のいずれか一方しか考えておらず,更に音声品質は考慮に入れられていなかった。



一方,放送の世界において,誤り補償とフレームスキップとを使い分ける方法に関する発明がいくつかなされている。しかし,これらでは,パケット伝送特有のパケット到着遅れによる時間品質劣化が考慮されていない。



特許文献1では,デジタル放送を対象とした記録再生装置が発明されている。この装置では,トランスポートストリームデータの復号エラー信号数が所定の閾値以上存在する部分の映像復号用データ単位もしくは音声復号用データ単位の削除を行うことで,再生映像の画像品質劣化を抑える。ここで映像復号用データ単位はGOPとされている。ただし,この装置が想定しているのは記録再生であり,受信しながら再生するストリーミング型の形態は対象としていない。このため,再生映像にパケット到着遅れの影響などといった時間品質が考慮されていない。また,音声とビデオとの間の相互作用は考慮されていない。



特許文献2では,受信した映像劣化の程度に対応した複数の処理態様で演算処理する映像データ処理手段を含めたデジタル放送受信装置が発明されている。この方式では,画像劣化の態様に応じてMPEG圧縮方式におけるフレーム間予測符号化画像を間引いて映像出力を行う。画像劣化の態様は複数種類のパラメータにより検出され,処理態様を決定する閾値は,ジャンルに対応して変化することを特徴としている。また,操作者により入力される表示出力中の映像劣化の度合いを閾値として設定することもできる。さらに,音声に対しては,劣化の程度に応じて音量を減少させる。しかし,映像劣化に応じてフレーム間予測符号化画像を単純に間引くことが,必ずしもユーザの体感品質向上につながっているか自明ではない。また,ユーザの体感品質を閾値設定に反映させる仕組みを持っているものの,ユーザからの情報入力を必要としており,ユーザにとって煩わしいものとなっている。更に,この特許文献においても,情報の到着遅れに起因する時間品質劣化は考慮されていない。

【特許文献1】特開2007-124445号公報

【特許文献2】特開2004-112654号公報

【非特許文献1】ITU-T Rec. G.100/P.10 Amendment 1, ``Amendment 1: new appendix I definition of Quality of Experience (QoE),'' Jan. 2007.

【非特許文献2】N. Feamster and H. Balakrishnan, ``Packet loss recovery for streaming video,'' Proc. IEEE 12th International Packetvideo Workshop (PV2002), Apr. 2002.

【非特許文献3】ITU-T Rec. P.800.1, ``Mean Opinion Score (MOS) terminology,'' Mar. 2003.

【非特許文献4】田中 良久, ``心理学的測定法 第二版'', 東京大学出版会, 1997.

【非特許文献5】J. P. Guilford, Psychometric methods, McGraw-Hill, N. Y., 1954.

【非特許文献6】Mindcraft Inc, ``WebStone benchmark information,'' http://www.mindcraft.com/webstone/.

【非特許文献7】``H.264/MPEG-4 AVC reference software JM11.0,'' http://iphome.hhi.de/suehring/tml/index.htm

【非特許文献8】The Video Quality Experts Group, ``The video quality experts group web site,'' http://www.its.bldrdoc.gov/vqeg/.

【非特許文献9】ITU-T Rec. P.911, ``Subjective audiovisual quality assessment methods for multimedia applications,'' Dec. 1998.

【非特許文献10】S. Tasaka and Y. Ito, ``Psychometric analysis of the mutually compensatory property of multimedia QoS,’’ Conf. Rec. IEEE ICC 2003, pp. 1880-1886, May 2003.

【非特許文献11】F. Mosteller, ``Remarks on the method of paired comparisons: III.a test of significance for paired comparisons when equal standard deviations and equal correlations are assumed,'' Psychometrika, vol.16, no.2, pp.207-218, 1951.

産業上の利用分野


本発明は,パケット伝送された音声・ビデオストリームの受信端末における音声・ビデオ出力方式、音声・ビデオ出力方式実現プログラム及び音声・ビデオ出力装置に関するものである。

特許請求の範囲 【請求項1】
パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、前記バッファ部でのバッファリング時間および前記復号部で復号されたビデオフレームの誤り補償率に応じて、前記判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力方式であって、音声・ビデオ出力時に、前記出力部ならびに前記ビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、前記判定部において切り替えを行う閾値を、前記推定部の推定値を利用して設定することを特徴とする音声・ビデオ出力方式。

【請求項2】
パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、前記バッファ部でのバッファリング時間および前記復号部で復号されたビデオフレームの誤り補償率に応じて、前記判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力方式実現プログラムであって、音声・ビデオ出力時に、前記出力部ならびに前記ビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、前記判定部において切り替えを行う閾値を、前記推定部の推定値を利用して設定することを特徴とする音声・ビデオ出力方式実現プログラム。

【請求項3】
パケット伝送された音声およびビデオを受信出力する際に、パケットの到着遅延揺らぎを吸収するバッファ部と、音声・ビデオの復号を行う復号部と、復号されたビデオフレームの出力可否を判定する判定部と、復号された音声・ビデオの出力を行う出力部とを備え、前記バッファ部でのバッファリング時間および前記復号部で復号されたビデオフレームの誤り補償率に応じて、前記判定部において誤り補償を行ったフレームを表示するか当該フレームをスキップするかを切り替える音声・ビデオ出力装置であって、音声・ビデオ出力時に、前記出力部ならびに前記ビデオ復号部において得られる音声時間品質情報、ビデオ時間品質情報ならびにビデオ空間品質情報とからリアルタイムにユーザ体感品質を推定する推定部を設け、前記判定部において切り替えを行う閾値を、前記推定部の推定値を利用して設定することを特徴とする音声・ビデオ出力装置。
産業区分
  • テレビ
  • 電信
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2008089079thum.jpg
出願権利状態 権利存続中
ライセンスをご希望の方、特許の内容に興味を持たれた方は、下記までご連絡ください。


PAGE TOP

close
close
close
close
close
close
close