TOP > 国内特許検索 > データ通信システム、データ送信装置およびデータ送信方法 > 明細書

明細書 :データ通信システム、データ送信装置およびデータ送信方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第5016279号 (P5016279)
公開番号 特開2008-067016 (P2008-067016A)
登録日 平成24年6月15日(2012.6.15)
発行日 平成24年9月5日(2012.9.5)
公開日 平成20年3月21日(2008.3.21)
発明の名称または考案の名称 データ通信システム、データ送信装置およびデータ送信方法
国際特許分類 H04L  29/06        (2006.01)
H04L  29/08        (2006.01)
H04L   1/16        (2006.01)
H04W  28/04        (2009.01)
FI H04L 13/00 305D
H04L 13/00 307Z
H04L 1/16
H04Q 7/00 263
請求項の数または発明の数 5
全頁数 17
出願番号 特願2006-242187 (P2006-242187)
出願日 平成18年9月6日(2006.9.6)
審査請求日 平成21年8月13日(2009.8.13)
特許権者または実用新案権者 【識別番号】000002185
【氏名又は名称】ソニー株式会社
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
発明者または考案者 【氏名】板倉 英三郎
【氏名】砂原 星
【氏名】高橋 豊
【氏名】笠原 正治
【氏名】増山 博之
【氏名】内田 祐介
個別代理人の代理人 【識別番号】100093241、【弁理士】、【氏名又は名称】宮田 正昭
【識別番号】100101801、【弁理士】、【氏名又は名称】山田 英治
【識別番号】100095496、【弁理士】、【氏名又は名称】佐々木 榮二
【識別番号】100086531、【弁理士】、【氏名又は名称】澤田 俊夫
審査官 【審査官】谷岡 佳彦
参考文献・文献 特開平06-104923(JP,A)
特開2003-179580(JP,A)
特開2003-152752(JP,A)
特開2003-258777(JP,A)
調査した分野 H04L 29/06
H04L 1/16
H04L 29/08
H04W 28/04
特許請求の範囲 【請求項1】
データ受信装置と、上記データ受信装置にデータパケットを送信するデータ送信装置とからなり、
上記データ送信装置は、
送信データに対して符号化処理を行い、該符号化された送信データを格納する上記データパケットを生成するエンコーダと、
上記エンコーダで生成された上記データパケットを第1の無線チャネルに送出するデータパケット送信部と、
第2の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、
上記第2の無線チャネルからプローブパケットを受信するプローブパケット受信部と、
上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を含み、
上記データ受信装置は、
上記第1の無線チャネルから上記データパケットを受信するデータパケット受信部と、
信されたデータパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、
信されたデータパケット上記デコーダで受信データを得るために必要とする所定のデータパケットを欠くとき、該所定のデータパケットの再送を要求する再送要求信号を、上記第2の無線チャネルに送出する再生要求制御部と、
上記第2の無線チャネルに一定間隔で上記プローブパケットを送出するプローブパケット送信部を含み、
上記データパケット送信部は、上記第1の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファをさらに含み、
上記送信バッファに蓄積される上記データパケットは、パケット優先度情報とパケット属性情報を持ち、
上記送信バッファに蓄積されているデータパケットのパケット数がバッファチェック間隔毎にチェックされ、
上記データパケット送信部は、上記送信バッファに蓄積されているデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除し、
上記パケット優先度情報は、符号化処理における優先度情報に基づいて決定された第1の重要度を、パケット属性情報に基づいて決定された第2の重要度に加えることで求められ、
上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第1の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第2の再送パケット、あるいは第1の再送パケットおよび第2の再送パケット以外の通常のパケットのいずれであるかを示す
データ通信システム。
【請求項2】
送信データに対して符号化処理を行い、該符号化された送信データを格納する上記データパケットを生成するエンコーダと、
上記エンコーダで生成された上記データパケットを第1の無線チャネルに送出するデータパケット送信部と、
第2の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、
上記第2の無線チャネルからプローブパケットを受信するプローブパケット受信部と、
上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を含み
上記データパケット送信部は、上記第1の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファをさらに含み、
上記送信バッファに蓄積される上記データパケットは、パケット優先度情報とパケット属性情報を持ち、
上記送信バッファに蓄積されているデータパケットのパケット数がバッファチェック間隔毎にチェックされ、
上記データパケット送信部は、上記送信バッファに蓄積されているデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除し、
上記パケット優先度情報は、符号化処理における優先度情報に基づいて決定された第1の重要度を、パケット属性情報に基づいて決定された第2の重要度に加えることで求められ、
上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第1の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第2の再送パケット、あるいは第1の再送パケットおよび第2の再送パケット以外の通常のパケットのいずれであるかを示す
データ送信装置。
【請求項3】
上記エンコーダは、上記送信データに対して階層符号化処理を実行し、
上記データパケットは、上記パケット属性情報と共に、少なくとも上記階層符号化におけるいずれの層のパケットであるかを示す階層情報を、上記パケットの優先度を示す情報として持つ
請求項に記載のデータ送信装置。
【請求項4】
上記予測再送制御部は、
上記プローブパケット受信部で受信できなかった上記プローブパケットの送信期間に対応した期間に上記データパケット送信部から上記第1の無線チャネルに送出されたデータパケットを損失したものと予測する
求項2に記載のデータ送信装置。
【請求項5】
送信データに対して符号化処理を行い、該符号化された送信データを格納したデータパケットを生成する符号化ステップと、
上記符号化ステップで生成された上記データパケットを第1の無線チャネルに送出するデータパケット送信ステップと、
第2の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信ステップを制御する再送制御ステップと、
上記第2の無線チャネルからプローブパケットを受信するプローブパケット受信ステップと、
上記プローブパケット受信ステップにおける上記プローブパケットの受信状況に基づき、上記データパケット送信ステップで上記第1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信ステップを制御する予測再送制御ステップを含み、
上記データパケット送信ステップは、
上記第1の無線チャネルに送出すべきデータパケットを送信バッファに一時的に蓄積するステップを含み、
上記送信バッファに一時的に蓄積されるデータパケットはパケット優先度情報とパケット属性情報を持ち、
上記データパケット送信ステップは、さらに、
上記送信バッファに蓄積されたデータパケットのパケット数をバッファチェック間隔毎にチェックするステップと、
上記送信バッファに蓄積されたデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除するステップと、
符号化処理における優先度情報に基づいて決定された第1の重要度を、パケット属性情報に基づいて決定された第2の重要度に加えることで上記パケット優先度情報を求めるステップとを含み、
上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第1の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第2の再送パケット、あるいは第1の再送パケットおよび第2の再送パケット以外の通常のパケットのいずれであるかを示す
データ送信方法。
発明の詳細な説明 【技術分野】
【0001】
この発明は、送信側から受信側に無線チャネルを利用してデータパケットを送信するデータ通信システム、データ送信装置およびデータ送信方法に関する。詳しくは、この発明は、受信側から送信側に一定間隔でプローブパケットを送信し、送信側ではプローブパケットの受信状況に応じて、受信側で損失されたデータパケットを予測して受信側に再送することにより、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能としたデータ通信システム等に係るものである。

【背景技術】
【0002】
近年のADSL(Asymmetric Digital Subscriber Line)や光ファイバーといったブロードバンド通信環境の普及、および動画像のデジタル化の普及により、インターネットを介したテレビ会議システムや音声・動画のリアルタイム配信などの、実時間性が必要とされる通信サービスの利用が拡大している。また、利用が増加している無線においても、スループットの向上に伴い、ワイヤレスカメラに代表される実時間動画通信サービスが利用されるようになった。このような通信においては、ネットワーク上で発生するパケット損失を克服しつつ、実時間性を確保することが重要となる。
【0003】
従来の有線環境におけるQoS(Quality of Service)制御の代表的な方法として、FEC(ForwardError Correction)とARQ(Automatic Repeat reQuest)がある。FECは、通信データに冗長性を付加する技術であり、訂正能力の範囲内であれば、再送を行うことなく損失パケットを修復することができるため実時間性に優れているが、訂正能力を超えたパケット損失が発生した場合には、 サービスの品質が著しく低下してしまう。一方、ARQは、損失したパケットに対して再送要求を行う技術であり、損失パケット数にかかわらず修復が可能であるが、再送回数によっては実時間性を確保することができず、同様に品質が低下する。
【0004】
従来、両者の欠点を補う手法として、非特許文献1等に記載されている、FEC/ARQ併用方式がある。

【非特許文献1】田中啓之,高橋豊,“リアルタイム・ハイブリッドFEC/ARQ のモデル化と性能解析”信学技報,IN 2004-22,pp.13-18,Jun.2004.
【発明の開示】
【発明が解決しようとする課題】
【0005】
非特許文献1等に記載される技術では、実時間性を確保しつつ、パケットの損失を修復することができる。しかし、パケット損失の多くがバーストロスであるような無線環境下では、FECの効果が低減するために、FEC/ARQ併用方式が効果的に機能しない問題がある。また、それを補うべきARQによる再送要求も、バーストロスが終了した後にまとめて行われるため、許容遅延内に再送パケットが到達しない可能性がある。
【0006】
この発明の目的は、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能とすることにある。
【課題を解決するための手段】
【0007】
この発明の概念は、
データ受信装置と、上記データ受信装置にデータパケットを送信するデータ送信装置とからなり、
上記データ送信装置は、
送信データに対して符号化処理を行い、該符号化された送信データを格納する上記データパケットを生成するエンコーダと、
上記エンコーダで生成された上記データパケットを第1の無線チャネルに送出するデータパケット送信部と、
第2の無線チャネルから再送要求信号を受信し、該再送要求信号で要求される所定のデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信部を制御する再送制御部と、
上記第2の無線チャネルからプローブパケットを受信するプローブパケット受信部と、
上記プローブパケット受信部における上記プローブパケットの受信状況に基づき、上記データパケット送信部から上記第1の無線チャネルに送出されたデータパケットのうち、損失したものと予測されたデータパケットを、上記第1の無線チャネルに再送出するように、上記データパケット送信部を制御する予測再送制御部を含み、
上記データ受信装置は、
上記第1の無線チャネルから上記データパケットを受信するデータパケット受信部と、
信されたデータパケットに格納されている符号化されたデータに対して復号化処理を行って受信データを得るデコーダと、
信されたデータパケット上記デコーダで受信データを得るために必要とする所定のデータパケットを欠くとき、該所定のデータパケットの再送を要求する再送要求信号を、上記第2の無線チャネルに送出する再生要求制御部と、
上記第2の無線チャネルに一定間隔で上記プローブパケットを送出するプローブパケット送信部を含み、
上記データパケット送信部は、上記第1の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファをさらに含み、
上記送信バッファに蓄積される上記データパケットは、パケット優先度情報とパケット属性情報を持ち、
上記送信バッファに蓄積されているデータパケットのパケット数がバッファチェック間隔毎にチェックされ、
上記データパケット送信部は、上記送信バッファに蓄積されているデータパケットのパケット数が閾値を超えるとき、上記送信バッファ内のパケット優先度情報の最小値を持つレイヤのパケットを全て削除し、
上記パケット優先度情報は、符号化処理における優先度情報に基づいて決定された第1の重要度を、パケット属性情報に基づいて決定された第2の重要度に加えることで求められ、
上記パケット属性情報は、上記データパケットが、上記再送要求信号に基づいて再送されるべき第1の再送パケット、上記プローブパケットの受信状況に基づいた損失予測に基づいて再送される第2の再送パケット、あるいは第1の再送パケットおよび第2の再送パケット以外の通常のパケットのいずれであるかを示す
データ通信システムにある。

【0008】
データ送信装置からデータ受信装置にデータパケットが送信される。送信側では、エンコーダにおいて、送信データに対して符号化処理が行われ、さらにパケット化処理により符号化された送信データが格納されたパケットデータが生成される。そして、送信側では、データパケット送信部において、データパケットが第1の無線チャネルに送出される。
【0009】
また、送信側では、再送制御部において、第2の無線チャネルから再送要求信号が受信されるとき、この再生要求信号で要求される所定のデータパケットを第1の無線チャネルに再送出するように、データパケット送信部の制御が行われる。この場合、データパケット送信部において、所定のデータパケットが第1の無線チャネルに送出される。
【0010】
また、送信側では、プローブパケット受信部において、プローブパケットが受信される。予測再送制御部においては、プローブパケットの受信状況に基づいて、データパケット送信部から第1の無線チャネルに送出されたデータパケットのうち、受信側で損失したデータパケットが予測される。例えば、予測再送制御部においては、プローブパケット受信部で受信できなかったプローブパケットの送信期間に対応した期間にデータパケット送信部から第1の無線チャネルに送出されたデータパケットが、損失したデータパケットと予測される。そして、予測再送制御部においては、損失したものと予測されるデータパケットを第1の無線チャネルに再送出するように、データパケット送信部の制御が行われる。この場合、データパケット送信部において、受信側で損失したものと予測されたデータパケットが第1の無線チャネルに送出される。
【0011】
上述したように、再送要求がされたデータパケットおよび受信側で損失したものと予測されるデータパケットがデータパケット送信部から第1の無線チャネルに送出されるものであり、受信側におけるパケット損失を克服できる。また、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットが予測され、受信側からの再送要求を待たずに、そのデータパケットがデータパケット送信部から第1の無線チャネルに送出されるものであり、受信側における実時間性を確保できる。
【0012】
例えば、データパケット送信部は、第1の無線チャネルに送出すべきデータパケットを一時的に蓄積する送信バッファを有しており、この送信バッファに蓄積されるデータパケットは、パケットの優先度の情報を持っている。データパケット送信部においては、例えば、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報に基づいて、送信バッファから所定のデータパケットが削除される。
【0013】
例えば、送信バッファに蓄積されているデータパケットは、再送要求信号に基づいて再送される第1の再送パケット、プローブパケットの受信状況に基づいた損失予測に基づいて再送される第2の再送パケット、あるいは第1の再送パケットおよび第2の再送パケット以外の通常パケットのいずれであるかを示すパケット属性情報を、パケットの優先度を示す情報として持っている。また、例えば、送信バッファに蓄積されているデータパケットは、パケット属性情報と共に、少なくとも階層符号化におけるいずれの層(レイヤ)のパケットであるかを示す階層情報を、パケットの優先度を示す情報として持っている。
【0014】
例えば、パケット属性情報および階層等に基づいて重要度が求められ、重要度が最も低いデータパケットおよび当該データパケットが属する層(レイヤ)のデータパケットが全て削除される。
【0015】
上述したように、パケットデータ送信部では、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報に基づいて、送信バッファから所定のデータパケットが削除されるものであり、第1の無線チャネルの限られた帯域でも、重要なデータパケットを優先的に受信側に届けることができる。
【0016】
受信側では、データパケット受信部において、第1の無線チャネルからデータパケットが受信される。そして、受信側では、デコーダにおいて、受信されたデータパケットに格納されている符号化されているデータに対して復号化処理が行われて受信データが得られる。
【0017】
また、受信側では、再送要求制御部において、データパケット受信部で受信されたデータパケットに、デコーダで受信データを得るために必要とする所定のデータパケットが不足しているか否かが判別される。そして、この再送要求制御部において、不足の所定のデータパケットの再送を要求する再送要求信号が第2の無線チャネルに送出される。また、受信側では、第2の無線チャネルに一定間隔でプローブパケットが送出される。
【0018】
上述したように、デコーダで受信データを得るために必要とする所定のデータパケットの再送を要求する再送要求信号が第2の無線チャネルに送出されると共に、この第2の無線チャネルに一定間隔でプローブパケットが送出されるものである。そのため、上述したように、送信側では、再送要求がされたデータパケットおよび受信側で損失したものと予測されるデータパケットをデータパケット送信部から第1の無線チャネルに送出でき、受信側におけるパケット損失を克服できる。また、送信側では、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットが予測され、受信側からの再送要求を待たずに、そのデータパケットをデータパケット送信部から第1の無線チャネルに送出でき、受信側における実時間性を確保できる。
【発明の効果】
【0019】
この発明によれば、受信側から送信側に一定間隔でプローブパケットを送信し、送信側ではプローブパケットの受信状況に応じて、受信側で損失されたデータパケットを予測して受信側に再送するものであり、無線環境下において、パケット損失を克服しつつ、実時間性を良好に確保できる。
【発明を実施するための最良の形態】
【0020】
図1は、実施の形態としての、データ通信システム10の構成を示している。このデータ通信システム10は、データ送信装置100とデータ受信装置200とを有している。
データ送信装置100は、パケット送出端末110、無線送信端末120および無線受信端末130から構成されている。データ受信装置200は、パケット受信端末210、無線受信端末220および無線送信端末230から構成されている。
【0021】
データ送信装置100のパケット送出端末110から無線送信端末120へと渡されたデータパケットは、第1の無線チャネル310を利用して、データ受信装置200の無線受信端末220によって受信される。また、データ受信装置200のパケット受信端末210は、無線送信端末230によって第2の無線チャネル320に、プローブパケットを送出する。データ送信装置100のパケット送出端末110は、無線受信端末130によってプローブパケットを受信し、その受信状況に応じて、第2の無線チャネル320のパケット損失状況を測定し、同程度のパケット損失が第1の無線チャネル310でも発生していることを予測し、データ受信装置200のパケット受信端末210からの再送要求を待たずに、再送パケットを送信する。
【0022】
図2は、データ送信装置100のパケット送出端末110およびデータ受信装置200のパケット受信端末210の詳細構成を示している。
【0023】
最初に、パケット送出端末110を説明する。このパケット送出端末110は、エンコーダ111と、優先度処理部112と、FEC制御部113と、再送用バッファ114と、優先処理送信バッファ115と、ARQ制御部116と、プローブ解析部117と、予測再送制御部118とを有している。
【0024】
エンコーダ111は送信データ(例えば、画像データあるいは音声データ等のストリーム型データ)に対して符号化処理を行い、この符号化された送信データを格納したデータパケットを生成する。この実施の形態において、エンコーダ111は、階層符号化処理を実行する。階層符号化が可能な圧縮・伸張方式としては、例えばJPEG2000とMPEG4によるビデオストリームをあげることができる。
【0025】
MPEG4は、スケーラブルに低いビットレートから高いビットレートまで配信することが可能である。また、ウェーブレット(Wavelet)変換をベースとするJPEG2000は、ウェーブレット(Wavelet)変換の特徴を生かし、空間解像度をベースにパケット化することや、あるいは画質をベースに階層的にパケット化することが可能である。JPEG2000は、静止画だけでなく動画を扱えるMotionJPEG2000(Part 3)規格により、階層化したデータを、ファイルフォーマットで保存することが可能である。上述の階層符号化処理の適用により、1つのファイルデータから異なる能力の端末へ同時にデータ配信を実行することが可能となる。
【0026】
また、階層符号化の例としてDCT(Discrete Cosine Transform)ベースの技術を用いた構成も可能である。これは配信情報となる例えば画像データをDCT処理し、DCT処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ配信を実行する方法である。エンコーダ111は、上述のDCT処理、あるいは、ウェーブレット変換のような階層化の可能な符号化方式を実行する。
【0027】
エンコーダ111は、上述の階層符号化をあらかじめ設定されたプログレッシブ順序でのプログレッシブ符号化処理を実行する。すなわち、ウェーブレット変換等に対応する空間解像度によるプログレッシブ、あるいはSNR(Signal to Noise Ratio)、すなわち画質毎に設定した階層に対応するプログレッシブ、あるいはカラー成分(RGBやYCbCr)毎の階層に対応するプログレッシブ等、様々なデータ階層に応じたプログレッシブ符号化処理を実行する。
【0028】
プログレッシプ符号化とは、インターネットの画像配信等において多用される符号化処理であり、データ受信端末側で粗い画像データを先に出力し、順次、細かい画像を出力して表示することを可能とするものである。例えば、空間解像度によるプログレッシブ符号化の場合は、粗い画像に対応する低周波画像データの符号化データから精細な画像に対応する高周波画像データの符号化データを生成する。データの復号、表示を実行する端末では、低周波画像データの符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗い概略画像を表示することが可能となり、その後、高周波領域の符号化データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。
【0029】
SNR(Signal to Noise Ratio)、すなわち画質によるプログレッシブの場合は、低SNR(低画質)の符号化データから高SNR(高画質)を区別して符号化する。カラー成分(RGBやYCbCr)によるプログレッシブの場合は、カラー成分(RGBやYCbCr)毎の符号化を実行する。
【0030】
図3は、JPEG2000の階層構造例を示している。この例では、SNRプログレッシブ順序でJ2Kパケット化されているものとする。この例では、3番以降のパケットが届かなかったとしてもレイヤ0のパケットに損失は無いことからレイヤ0は再生することが可能であり、5番までのパケットが届けばレイヤ1までを再生することが可能になる。このように、JPEG2000においては、全てのパケットが届かなくとも、再生可能なレイヤまでの画像を再生することができる。したがって、予測によってパケットを再送する場合には、レイヤの低いパケットに、より大きな優先度を与えることで、可能な限り画像のスキップを防ぐことが可能となる。
【0031】
エンコーダ111は、上述したように、符号化された送信データをペイロードとして格納したデータパケットを生成する。エンコーダ111は、ペイロードデータに対して、例えば、RTPヘッダを付加してパケット化する。図4は、RTPパケットの構成を示している。RTPヘッダには、バージョン番号(v)、パディング(P)、拡張ヘッダ(X)の有無、送信元数(Counter)、マーカ情報(markerbit)、ペイロードタイプ(Payload type)、シーケンス番号、タイムスタンプ、同期ソース(送信元)識別子(SSRC)および貢献ソース(送信元)識別子(CSRC)の各フィールドが設けられている。
【0032】
データ受信側において、RTPヘッダに付与されたタイムスタンプによりRTPパケットの展開時に処理時間の制御が実行され、リアルタイム画像、または、音声の再生制御が可能となる。なお、例えば、動画像データの符号化データを格納したRTPパケットにおいては、1つの画像フレームに属する複数のRTPパケットに共通のタイムスタンプが設定され、各フレームを構成する終端パケットには、終端であることを示す識別フラグがRTPヘッダに格納される。
【0033】
図2に戻って、優先度処理部112は、エンコーダ111で生成された各データパケット(RTPパケット)のヘッダに、優先度の情報を付加する。例えば、優先度の情報は、当該データパケットが階層符号化におけるいずれの層(レイヤ)のパケットであるかを示す階層情報とされる。また、例えば、優先度の情報は、上述の階層情報の他に、当該データパケットが層内のいかなる位置付けのデータであるか(例えば、図3の「Resolutions」など)を示す層内情報を含むものとされる。
【0034】
FEC制御部113は、優先度処理部112で優先度が付加された各データパケットに対して、複数個のデータパケットを1つのFECブロックとして、リードソロモン(RS:Reed-Solomon符号)、またはその他の誤り訂正符号を用いて冗長符号化する。例えば、(n,k)RS符号を用いる場合、冗長符号化前のk個の元パケットからn-k個の冗長パケットを生成することができる。なお、n>kである。
【0035】
この場合、1つのFECブロックにつき、データ送信装置100からn個のパケットが送信される。データ受信装置200においては、n個のパケットのうちk個のパケットを受信できれば、RS復号処理によりk個の元パケットを復元することができる。
【0036】
再送用バッファ114は、優先度処理部112で優先度が付加された各データパケットを、再送用のデータパケットとして、保存する。
【0037】
ARQ制御部116は、第2の無線チャネル320から無線受信端末130を介して、再送要求信号としてのNACK(Negative Acknowledge)-RTCPパケットが受信されるとき、このNACK-RTCPパケットで要求される所定のデータパケットを、再送用バッファ114から読み出して、優先処理送信バッファ115に送る。図5は、NACK-RTCPパケットの構成を示している。NACK-RTCPパケットは、ヘッダ(HEAD)、フォーマット(FORMAT)、パケットタイプ、パケット長、送信同期ソース識別子(RTCP)、タイムスタンプの情報に加えて、再送要求対象となるパケットの識別子としての再送指定シーケンス番号、さらに、各再送指定シーケンス番号に対応するデータとして、「再送回数」、「オプション」、「重複指定回数」が設定可能である。
【0038】
ARQ制御部116は、再送用バッファ114から優先処理送信バッファ115に送るデータパケット(再送パケット)のヘッダに、NACK-RTCPパケットにより再送要求されたデータパケットであることを示すパケット属性情報を付加する。このパケット属性情報は、優先度を示す情報を構成する。このパケット属性情報により、後述するように、FEC制御部113から優先処理送信バッファ115に供給される通常のデータパケット(通常パケット)の同一の階層のものと比べて、再送パケットの送信の重要度が高くされる。
【0039】
プローブ解析部117は、第2の無線チャネル320から無線受信端末130で受信されるプローブパケットの受信状況に基づいて、通信良好状態にあるかバーストロス状態にあるかを検知する。
【0040】
プローブパケットは、データ受信装置200から第2の無線チャネル320に一定間隔で送出されている。図6は、プローブパケットの構成を示している。プローブパケットは、ヘッダ(HEAD)、フォーマット(FORMAT)、パケットタイプ、パケット長、送信同期ソース識別子(RTCP)の情報に加えて、プローブ情報として、シーケンス番号とタイムスタンプの情報を持っている。なお、受信側端末でプローブパケットを一定間隔で出力し、かつ受信側端末から送信側端末への伝播遅延が一定であれば、タイムスタンプ情報は必ずしも必要ではない。シーケンス番号も、同様に、必ずしも必要な情報ではない。
【0041】
予測再送制御部118は、プローブ解析部117においてバーストロス状態が検知されるとき、データ送信装置100から第1の無線チャネル310に送出されたデータパケットのうち、受信データ装置200で損失したデータパケットを予測し、当該予測したデータパケットを、再送用バッファ114から読み出し、優先処理送信バッファ115に送る。このとき、予測再送制御部118は、再送用バッファ114から優先処理送信バッファ115に送るデータパケット(再送パケット)のヘッダに、プローブパケットの受信状況で損失予測されたデータパケットであることを示すパケット属性情報を付加する。このパケット属性情報は、優先度を示す情報を構成する。このパケット属性情報により、後述するように、FEC制御部113から優先送信バッファ115に供給される通常のデータパケット(通常パケット)の同一の階層のものと比べて、再送パケットの送信の重要度が高くされる。

【0042】
ここで、プローブ解析部117における受信側における損失の予測処理、および予測再送制御部118における再送処理の詳細について説明する。
【0043】
プローブパケットの送信間隔をTprobeとする。プローブ解析部117は、バースト検知閾値θBurstの間NACK-RTCPパケットおよびプローブパケットのいずれも受信しなければ、バーストロスが発生したと判断する。θBurst (>Tprobe)が小さすぎると、ランダムロスをバーストロスと誤検知する可能性が高くなり、逆に、θBurstが大きすぎると、バーストロス検知が遅れることになる。プローブ解析部117は、バーストロス検知中に、新たにNACK-RTCPパケットまたはプローブパケットを受信すると、バーストロス状態が終了したと判断する。
【0044】
予測再送制御部118は、プローブ解析部117によりバーストロスが検知されると、検知したバーストロスで失われたと予測されるデータパケットを再送するように、再送用バッファ114から再送すべきデータパケットを読み出し、優先処理送信バッファ115に送る。
【0045】
予測再送制御部118は、バースト検知閾値θBurst によってバーストロスが検知された際、その検知時刻をt として、時刻t-RTT/2-θBurst からt- RTT/2の間に送信したパケットを再送するように制御する。 ここで、RTTは、往復伝播遅延(Round Trip Time)である。その後、プローブ解析部117によりバーストロス検知が続いている限り、再送間隔TRet毎に、その時刻をt として、時刻t-RTT/2-TRetからt-RTT/2の間に送信したパケットを再送するように制御する。
【0046】
図7は、バーストロス検知、および予測再送の例を示している。図7において、まず時刻t1でプローブ解析部117はバーストロスを検知する。その際、予測再送制御部118は、対応する損失パケット群P1を再送するように制御する。TRet 後の時刻t2では、バーストロス検知がまだ終了していないので、予測再送制御部118は、今度は、損失パケット群P2を再送するように制御する。時刻t3になると、受信側からのNACK-RTCPパケットまたはプローブパケットが到着するようになり、プローブ解析部117は、バーストロス状態が終了したと判断する。
【0047】
図8のフローチャートは、予測再送制御部118における予測再送の制御処理を示している。予測再送制御部118は、このフローチャートの動作を所定の周期をもって実行する。
【0048】
まず、予測再送制御部118は、ステップST1で、処理を開始し、ステップST2で、プローブ解析部117によりバーストロスが検知されたか否かを判定する。予測再送制御部118は、バーストロスが検知されていないときは、ステップST13に進み、予測再送の制御処理を終了する。
【0049】
予測再送制御部118は、ステップST2でバーストロスが検知されているときは、ステップST3で、経過時間Taを0にリセットする。そして、予測再送制御部118は、ステップST4で、検知時刻をt として、時刻t-RTT/2-θBurst からt-RTT/2の間に送信したパケットを損失パケットと予測し、ステップST5で、再送用バッファ114から損失予測パケットを読み出し、優先処理バッファ115に送る。
【0050】
次に、予測再送制御部118は、ステップST6で、時間TRetが経過したか否かを判定する。時間TRetが経過していないとき、予測再送制御部118は、ステップST7で、NACKパケット(再送要求信号)を受信したか、またはプローブパケットを受信したかを判定する。いずれも受信していないとき、予測再送制御部118は、ステップST6に戻る。
【0051】
予測再送制御部118は、ステップST6で、時間TRetが経過したときは、ステップST8で、経過時間Taを0にリセットする。そして、予測再送制御部118は、ステップST9で、時間TRetの経過時点の時刻をt として、時刻t-RTT/2-TRet からt- RTT/2の間に送信したパケットを損失パケットと予測し、ステップST10で、再送用バッファ114から損失予測パケットを読み出し、優先処理バッファ115に送る。そして、予測再送制御部118は、ステップST6に戻る。
【0052】
また、予測再送制御部118は、ステップST7でNACKパケットまたはプローブパケットを受信したときは、ステップST11で、受信した時点の時刻をt として、プローブパケットを受信した場合は時刻t-RTT/2-Ta からt- RTT/2の間に送信したパケットを損失パケットと予測し、ステップST12で、再送用バッファ114から損失予測パケットを読み出し、優先処理バッファ115に送る。NACKパケットを受信した場合は、時刻t-RTT/2-TaからNACKパケット内の情報が示す要求再送パケットを損失パケットとし、ステップST12で、再送用バッファ114から損失予測パケットを読み出し、優先処理バッファ115に送る。そして、予測再送制御部118は、ステップST13に進み、予測再送の制御処理を終了する。
【0053】
また、図2に戻って、優先処理送信バッファ115は、FEC制御部113から出力されるFECブロック毎のデータパケットおよび冗長パケットと、ARQ制御部116および予測再送制御部118の制御により再送用バッファ114から読み出されるデータパケットを一時的に蓄積し、優先度に基づいて、送信すべきパケットを取捨選択し、無線送信端末120を介して、第1の無線チャネル310に送出する。この優先処理送信バッファ115は、データパケット送信部を構成している。
【0054】
優先処理送信バッファ115におけるバッファ管理(送信すべきパケットの取捨選択処理)について説明する。
【0055】
上述した予測再送制御部118の制御による予測再送を行うことで、一時的に優先処理送信バッファ115にデータパケットが過剰に蓄積され、許容遅延内にパケットが受信端末に到達しない状況が発生する可能性がある。ここでは、効率的なパケット伝送に向け、 パケットの重要度を定義し、 バッファ内で相対的に重要度の低いパケットを削除するといったバッファ管理を行っている。
【0056】
まず、パケットの重要度Pvalue を、次式で定義する。
【0057】
Pvalue =PLvalue(n)+PSvalue(u) ・・・(1)
【0058】
ここで、PLVvalue(n)は、上述したように優先度処理部112において各データパケットに付加される階層化符号に関する優先度情報に基づいて決定される重要度であり、例えばパケットのレイヤ番号n が小さいほど大きな値を取る。PSvalue(u)は、上述した優先度情報としてのパケット属性uに基づいて決定される重要度であり、パケットの属性uが通常パケット(u =0)、予測再送パケット(u =1)、NACKに対する再送パケット(u =2)のいずれであるかによって値が決定される。後者の属性ほど画質への貢献度に対する帯域の利用率が低く、例えば後者の属性ほど大きな値を取る。
【0059】
優先処理送信バッファ115は、バッファチェック間隔TBCheck 毎に、 バッファ内パケット数がバッファ閾値θBPacket よりも大きい間、Pvalue を基に、(1) 送信バッファ内で最も小さいPvalue を持つパケットを検索すること、(2)そのパケットが属するレイヤのパケットを全て送信バッファから削除すること、を繰り返す。
【0060】
次に、パケット受信端末210を説明する。このパケット受信端末210は、受信バッファ211と、FEC復号部212と、デコーダ214と、再送要求制御部215と、プローブ送信部216とを有している。
【0061】
受信バッファ211は、無線受信端末220が第1の無線チャネル310から受信したデータパケットを保持する。FEC復号部212は、受信バッファ211に保持されたパケットに損失があった場合に、復号化処理を行う。デコーダ214は、損失がなく、あるいは損失があっても復号化の処理によって、必要なパケットが再生時間内に揃ったとき、当該必要なパケットに対して復号化処理を行って受信データを得る。
【0062】
再送要求制御部215は、FEC復号部212の復号化処理によっても、上述したデコーダ214で受信データを得るために必要とする所定のデータパケットが不足しているとき、この所定のデータパケットの再送を要求するNACK-RTCPパケットを、無線送信端末230を介して、第2の無線チャネル320に送出する。プローブ送信部216は、一定間隔Tprobeで、上述したプローブパケットを、無線送信端末230を介して、第2の無線チャネル320に送出する。
【0063】
図2に示すパケット送出端末110およびパケット受信端末210の動作を説明する。
【0064】
送信データ(例えば、画像データあるいは音声データ等のストリーム型データ)が、パケット送出端末110のエンコーダ111に供給される。エンコーダ111では、送信データに対して階層符号化処理が行われると共に、符号化された送信データがペイロードとして格納されたデータパケット(RTPパケット)が生成される。
【0065】
エンコーダ111で生成されたデータパケットは、優先度処理部112に供給される。優先度処理部112では、エンコーダ111で生成された各データパケット(RTPパケット)のヘッダに、階層符号の階層に対応して優先度(レイヤ番号が小さいほど優先度は高くなる)が付加される。優先度の付加されたデータパケットは、再送用バッファ114に供給されて保持されると共に、FEC制御部113に供給される。
【0066】
FEC制御部113では、複数個のデータパケットが1つのFECブロックとされ、FECブロック毎にリードソロモン(RS:Reed-Solomon)符号等の誤り訂正符号が用いられて冗長符号化が行われる。このFEC制御部113から出力される各FECブロックのパケット(データパケットおよび冗長パケット)は優先処理送信バッファ115に供給される。
【0067】
また、パケット受信端末210のプローブ送信部210から、無線送信端末230を介して、第2の無線チャネル320に、一定間隔で、プローブパケットが送出される。データ送信端末110のプローブ解析部117では、第2の無線チャネル320から無線受信端末130で受信されるプローブパケットの受信状況に基づいて、通信良好状態にあるか、あるいはバーストロス状態にあるかが検知される。
【0068】
プローブ再送制御部118では、プローブ解析部117においてバーストロス状態が検知されるとき、データ送信装置100から第1の無線チャネル310に送出されたデータパケットのうち、受信データ装置200で損失したデータパケットが予測される。そして、このプローブ再送制御部118の制御により、当該予測されたデータパケットが再送用バッファ114から読み出され、優先処理送信バッファ115に送られる。この場合、再送用バッファ114から優先処理送信バッファ115に送るデータパケット(再送パケット)のヘッダには、プローブパケットの受信状況で損失予測されたデータパケットであることを示すパケット属性情報(優先度情報)が付加される。
【0069】
また、ARQ制御部116では、第2の無線チャネル320から無線受信端末130を介して、再送要求信号としてのNACK(Negative Acknowledge)-RTCPパケットが受信されるとき、このARQ制御部116の制御により、このNACK-RTCPパケットで要求される所定のデータパケットが再送用バッファ114から読み出され、優先処理送信バッファ115に送られる。再送用バッファ114から優先処理送信バッファ115に送られるデータパケット(再送パケット)のヘッダには、NACK-RTCPパケットにより再送要求されたデータパケットであることを示すパケット属性情報(優先度情報)が付加される。
【0070】
優先処理送信バッファ115では、FEC制御部113から出力されるFECブロック毎のデータパケットおよび冗長パケットと、ARQ制御部116および予測再送制御部118の制御により再送用バッファ114から読み出されるデータパケットが一時的に蓄積され、優先度(階層に対応した優先度、パケット属性に対応した優先度)に基づいて求められた重要度により、送信すべきパケットが取捨選択される。そして、この優先処理送信バッファ115から、当該送信すべきパケットが、無線送信装置120を介して、第1の無線チャネル310に送出される。
【0071】
パケット受信端末210の受信バッファ211には、無線受信端末220により第1の無線チャネル310から受信されたデータパケットが保持される。FEC復号部212では、受信バッファ211に保持されたパケットに損失があった場合に、冗長パケットを用いて復号化処理が行われる。デコーダ214では、損失がなく、あるいは損失があっても復号化の処理によって、必要なパケットが再生時間内に揃ったとき、当該必要なパケットに対して復号化処理が行われて、受信データ(例えば、画像データあるいは音声データ等のストリーム型データ)が得られる。
【0072】
また、パケット受信端末210の再送要求制御部215では、FEC復号部212の復号化処理によっても、上述したデコーダ214で受信データを得るために必要とする所定のデータパケットが不足しているとき、この所定のデータパケットの再送を要求するNACK-RTCPパケットを、無線送信端末230を介して、第2の無線チャネル320に送出することが行われる。
【0073】
上述した実施の形態においては、パケット受信端末210のデコーダ214で受信データを得るために必要とする所定のデータパケットの再送を要求するNACK-RTCPパケット(再送要求信号)が第2の無線チャネル320に送出されると共に、パケット受信端末210のプローブ送信部216から第2の無線チャネル320に一定間隔でプローブパケットが送出される。
【0074】
したがって、上述した実施の形態によれば、パケット送出端末110において、再送要求がされたデータパケットおよび受信側で損失したものと予測されるデータパケットを、優先処理送信バッファ115から第1の無線チャネル310に送出でき、受信側におけるパケット損失を克服できる。また、上述した実施の形態によれば、パケット受信端末210の予測再送制御部118では、プローブパケットの受信状況に基づいて、受信側で損失したデータパケットを予測でき、受信側からのNACK-RTCPパケット(再送要求信号)を待たずに、受信側で損失が予測されたデータパケットを、優先処理送信バッファ115から第1の無線チャネル310に送出でき、受信側における実時間性を確保できる。
【0075】
また、上述実施の形態においては、パケット送出端末110の優先処理送信バッファ115では、送信バッファに蓄積されるデータパケットのパケット数が閾値より大きいとき、パケットの優先度の情報(パケット属性情報、階層情報)に基づいて、所定のデータパケット、例えば送信バッファから重要度が最も低いデータパケットおよび当該データパケットが属する層(レイヤ)のデータパケットが削除される。したがって、上述した実施の形態によれば、第1の無線チャネル310の限られた帯域でも、重要なデータパケットを優先的に受信側に届けることができる。
【0076】
なお、上述実施の形態におけるパケット送出端末110およびパケット受信端末210の各機能部は、ハードウェアおよびソフトウェアのいずれによっても実現できる。ソフトウェアで実現する場合には、コンピュータが、ROMまたはハードディスクに格納されているプログラムに基づいて、各機能部の処理を実行する。
【0077】
また、上述実施の形態においては、ARQ方式(自動再送方式)およびFEC方式(前方誤り訂正符号化方式)を組み合わせたものを示したが、ARQ方式のみを採用するデータ通信システムにも、この発明を同様に適用できる。
【産業上の利用可能性】
【0078】
この発明は、無線環境下において、パケット損失を克服しつつ、実時間性を確保可能としたものであり、送信側から受信側に、無線チャネルを利用して、画像データあるいは音声データ等のストリーム型データのデータパケットを送信する、データ通信システム等に適用できる。
【図面の簡単な説明】
【0079】
【図1】実施の形態としてのデータ通信システムの構成を示すブロック図である。
【図2】データ送信装置のパケット送出端末およびデータ受信装置のパケット受信端末の詳細構成を示すブロック図である。
【図3】JPEG2000の階層構造例を示す図である。
【図4】符号化データを格納するデータパケット(RTPパケット)の構成例を示す図である。
【図5】NACK-RTCPパケットの構成例を示す図である。
【図6】プローブパケットの構成例を示す図である。
【図7】バーストロス検知、および予測再送の例を示す図である。
【図8】予測再送制御部における予測再送の制御処理を示すフローチャートである。
【符号の説明】
【0080】
10・・・データ通信システム、100・・・データ送信装置、110・・・パケット送出装置、111・・・エンコーダ、112・・・優先度処理部、113・・・FEC制御部、114・・・再送用バッファ、115・・・優先処理送信バッファ、116・・・ARQ制御部、117・・・プローブ解析部、118・・・予測再送制御部、120・・・無線送信端末、130・・・無線受信端末、200・・・データ受信端末、210・・・パケット受信端末、211・・・受信バッファ、212・・・FEC復号部、214・・・デコーダ、215・・・再送要求制御部、216・・・プローブ送信部、220・・・無線受信端末、230・・・無線送信端末、310・・・第1の無線チャネル、320・・・第2の無線チャネル
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7