一种网络实时视频传输方法及装置制造方法及图纸

本发明专利技术提供了一种网络实时视频传输方法，包括：1)发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；2)接收端统计丢失的数据包以及当前的网络实时状况信息并将这些信息反馈给发送端；3)发送端根据所缓存的丢失数据包，基于可变码前向纠错技术构造重传数据包并发送至接收端；其中，重传数据包的纠错率根据丢失数据包的剩余生存时间和网络实时状况信息确定；4)接收端接收重传数据包并恢复出所丢失的数据包。本发明专利技术还提供了一种网络实时视频传输装置。本发明专利技术能够减少实时视频传输的网络冗余负载，能够降低实时视频传输的传输延迟，特别适于在高丢包率高延迟的网络环境下实现实时视频传输。

【技术实现步骤摘要】
一种网络实时视频传输方法及装置
本专利技术涉及视频传输
，具体地说，本专利技术涉及一种网络实时视频传输方法及装置。
技术介绍
随着互联网的迅速发展，网络实时视频传输系统已经在诸如体育赛事网络直播，视频会议系统，视频通讯工具等领域得到越来越广泛的应用。众所周知，网络视频传输存在丢包、延迟等方面的问题。为了克服上述问题，提升网络实时视频传输的可靠性，人们提出了多种对应的解决方案，其中就包括前向纠错技术和自动重传请求技术，下面分别介绍这两种技术。前向纠错(ForwardErrorCorrection，简称FEC)是单向通讯中增加数据通讯可靠性的一种常用方法。前向纠错技术中，设置一个固定的纠错率(比如1/2、2/3、3/4、5/6、7/8等)。以7/8为例，它表示在传输的数据中原始信息占比7/8，而另外1/8的信息则是冗余纠错信息。在实际纠错编码应用中，假设以7个原始数据包作为一个分组，则每个分组在经过前向纠错编码后，会生成8个数据包，接收端接收到分组中的任意7个数据包，就能够解码恢复原始数据包。这样就在一定程度上解决了网络传输的丢包问题，增加了系统的可靠性。然而，这种技术尚存在一些缺陷。假设在一个平均丢包率在10％以下的网络环境中，发送端的前向纠错的纠错率设置为7/8。这种情况下，如果丢包均衡的分散在每个分组中，则接收端可以恢复所有数据。但众所周知，在实际的网络环境中，通常丢包并不会如此均衡，经常存在某些分组丢包数超过了可以纠错恢复的范围导致整个分组无法恢复。而另一方面，如果增大前向纠错的冗余负载，比如把前向纠错的纠错率设置到3/4，则可以更大程度的容忍网络质量的波动，但是这样又会增加带宽，降低带宽的有效利用率。此外，前向纠错技术还会增加额外的计算开销，这会对系统的吞吐率产生消极影响。自动重传请求技术(AutomaticRepeatreQuest,简称为ARQ)是通过接收端监测丢失或出错的数据包，并请求发送端重传丢失或错误的数据包，从而得以处理传输中所带来差错的方法。常用的ARQ方法包含即停等式(stop-and-wait)ARQ，回退n帧(go-back-n)ARQ，以及选择性重传(selectiverepeat)ARQ。在停等式ARQ中，数据报文发送完成之后，发送方等待接收方的状态报告，如果状态报告报文发送成功，发送后续的数据报文，否则重传该报文。该方法所需要的缓冲存储空间最小，缺点是信道效率很低。回退n帧(go-back-n)ARQ，发信侧不用等待收信侧的应答，持续的发送多个帧，假如发现已发送的帧中有错误发生，那么从那个发生错误的帧开始及其之后所有的帧全部再重新发送。该方法复杂度低，但是不必要的帧会再重发，所以大幅度范围内使用的话效率是不高的。选择性重传ARQ，发信侧不用等待收信侧的应答，持续的发送多个帧，假如发现已发送的帧中有错误发生，那么发信侧将只重新发送那个发生错误的帧。这种方法比前两种复杂度高，但效率也最高。ARQ技术能够减少网络冗余负载，具有较高的带宽利用率，但会带来延迟增加等技术问题。以效率最高的选择性重传ARQ为例进行说明。假设网络丢包率为20％，网络的往返时延(Round-TripTime，简称为RTT)为500毫秒(这是一个比较典型的中国与境外的跨境网络状况)。那么，在最理想的情况下，数据包经过三次重传后的成功率为99.84％。也就是说，发送端数据包在经过三次重传后才能够到达较为理想的接收率。而三次重传的过程包括：发送端发送原始包、接收端反馈ARQ请求、发送端执行第一次重传、接收端再次反馈ARQ请求、发送端执行第二次重传、接收端再次反馈ARQ请求、发送端执行第三次重传。这样产生的延迟至少为3.5倍RTT。可见，如果要对实时视频数据进行可靠的传输，这种技术的一个明显缺点就是会增加延迟。当网络环境质量不佳时(例如固有丢包率高、固有延时大以及网络抖动大)，上述缺陷会更加明显。因此，当前迫切需要一种能够减少网络冗余负载且降低传输延迟的实时视频传输解决方案。
技术实现思路
本专利技术的任务是提供一种能够减少网络冗余负载且降低传输延迟的实时视频传输解决方案。根据本专利技术的一个方面，提供了一种网络实时视频传输方法，包括下列步骤：1)发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；2)接收端统计丢失的数据包以及当前的网络实时状况信息并将这些信息反馈给发送端；3)发送端根据所缓存的丢失数据包，基于可变码前向纠错技术构造重传数据包并发送至接收端；其中，重传数据包的纠错率根据丢失数据包的剩余生存时间和网络实时状况信息确定；4)接收端接收重传数据包并恢复出所丢失的数据包。其中，所述步骤3)中，丢失数据包的剩余生存时间越少、网络实时状况越差，则在不超过最大可用网络带宽的情况下使用越高的所述纠错率构造所述重传数据包；丢失数据包的剩余生存时间越多、网络实时状况越好，则使用越低的纠错率构造重传数据包。其中，所述网络实时状况信息包括实时丢包率。其中，所述步骤2)中，所述网络实时状况信息还包括丢包离散分布信息；所述步骤3)还包括：当丢包离散分布信息呈现当前网络突发连续丢包的比例超出预设的阈值时，构造重传包时相应地增大重传编码的分组长度。其中，所述步骤3)中，所述重传编码的分组长度G>N/L，其中N表示连续丢包数分布曲线的峰值位置对应的丢包数，L表示实时丢包率。其中，所述步骤3)中，所述可变码前向纠错技术为Raptor编码技术或者改进的LT编码技术。其中，所述步骤2)还包括接收端统计当前的网络带宽。其中，所述步骤3)还包括：发送端在发送重传数据包的同时还发送本次重传所设定的纠错率信息；所述步骤4)还包括：接收端根据所接收的纠错率信息解析重传数据包并恢复出所丢失的数据包。其中，所述步骤3)中，所述剩余生存时间是最大缓冲时间减去丢失数据包对应的所述原始数据包的发送时刻起已经流逝的时间。根据本专利技术的另一个方面，还提供了一种网络实时视频传输装置，包括：发送端装置，用于缓存已发送的原始数据包并记录原始数据包的发送时刻，以及根据所缓存的丢失数据包，基于可变码前向纠错技术构造重传数据包并发送至接收端；其中，重传数据包的纠错率根据丢失数据包的剩余生存时间和网络实时状况确定；和接收端装置，用于统计丢失的数据包以及当前的网络实时状况并将这些信息反馈给发送端，以及接收重传数据包并恢复出所丢失的数据包。其中，所述发送端装置包括：发送端缓冲模块，用于缓存已发送的原始数据包并记录原始数据包的发送时刻；数据包发送队列处理模块，用于对待发送的数据包进行封包处理，并根据发送码率按照一定间隔进行平滑整流输出；反馈包接收处理模块，用于接收并解析处理接收端发送回来的反馈包，将其中丢包信息交由丢包重传处理模块处理；和丢包重传处理模块，用于根据反馈包接收处理模块解析处理后的结果，得到网络实时状况信息，通过前向纠错编码算法为丢失的包生成重传包，并输出给数据包发送队列处理模块；其中，重传数据包的纠错率根据丢失数据包的剩余生存时间和网络实时状况信息确定。其中，所述接收端装置包括：数据包接收以及解析处理模块，用于接收数据包并对数据包头进行解析处理，统计当前网络实时状况信息并把这些信息输出给反馈包生成模块；重传包解码模块，用于对重传包进行前向纠错解码本文档来自技高网...

【技术保护点】
一种网络实时视频传输方法，包括下列步骤：1)发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；2)接收端统计丢失的数据包以及当前的网络实时状况信息并将这些信息反馈给发送端；3)发送端根据所缓存的丢失数据包，基于可变码前向纠错技术构造重传数据包并发送至接收端；其中，重传数据包的纠错率根据丢失数据包的剩余生存时间和网络实时状况信息确定；4)接收端接收重传数据包并恢复出所丢失的数据包。

【技术特征摘要】
1.一种网络实时视频传输方法，包括下列步骤：1)发送端缓存已发送的原始数据包并记录原始数据包的发送时刻；2)接收端统计丢失的数据包以及当前的网络实时状况信息并将这些信息反馈给发送端；3)发送端根据所缓存的丢失数据包，基于可变码前向纠错技术构造重传数据包并发送至接收端；其中，重传数据包的纠错率根据丢失数据包的剩余生存时间和网络实时状况信息确定；4)接收端接收重传数据包并恢复出所丢失的数据包。2.根据权利要求1所述的网络实时视频传输方法，其特征在于，所述步骤3)中，丢失数据包的剩余生存时间越少、网络实时状况越差，则在不超过最大可用网络带宽的情况下使用越高的所述纠错率构造所述重传数据包；丢失数据包的剩余生存时间越多、网络实时状况越好，则使用越低的纠错率构造重传数据包。3.根据权利要求2所述的网络实时视频传输方法，其特征在于，所述网络实时状况信息包括实时丢包率。4.根据权利要求3所述的网络实时视频传输方法，其特征在于，所述步骤2)中，所述网络实时状况信息还包括丢包离散分布信息；所述步骤3)还包括：当丢包离散分布信息呈现当前网络突发连续丢包的比例超出预设的阈值时，构造重传包时相应地增大重传编码的分组长度。5.根据权利要求4所述的网络实时视频传输方法，其特征在于，所述步骤3)中，所述重传编码的分组长度G>N/L，其中N表示连续丢包数分布曲线的峰值位置对应的丢包数，L表示实时丢包率。6.根据权利要求2所述的网络实时视频传输方法，其特征在于，所述步骤3)中，所述可变码前向纠错技术为Raptor编码技术或者改进的LT编码技术。7.根据权利要求1所述的网络实时视频传输方法，其特征在于，所述步骤2)还包括接收端统计当前的网络带宽。8.根据权利要求1所述的网络实时视频传输方法，其特征在于，所述步骤3)还包括：发送端在发送重传数据包的同时还发送本次重传所设定的纠错率信息；所述步骤4)还包括：接收端根据所接收的纠错率信息解析重传数据包并恢复出所丢失的数据包。...

【专利技术属性】
技术研发人员：王旺，黄雷，
申请(专利权)人：瞬已网络科技上海有限公司，
类型：发明
国别省市：上海,31