一种端到端的视频发送方法及装置制造方法及图纸

本发明专利技术公开了一种端到端的视频发送方法及装置，其中所述方法包括：确定第一带宽测量值向量

End to end video transmission method and device

The invention discloses an end-to-end video transmission method and device, wherein the method comprises determining a first bandwidth measuring value vector

【技术实现步骤摘要】
一种端到端的视频发送方法及装置
本专利技术涉及电子技术，尤其涉及一种端到端的视频发送方法及装置。
技术介绍
在过去十年中，网络和视频编码技术的发展使得实时视频传输应用，包括视频电话和视频会议，成为人们生活中必不可少的一部分。尽管实时视频传送应用在有线网络和无线网络例如无线保真(Wi-Fi)中很普及，但是实时视频传送应用并没有在移动网络中得到广泛应用。在移动网络中传送实时视频的关键挑战是，通过带宽快速变化、存在数据包延迟和丢失的不稳定的移动网络，同时实现高速和低延迟的视频传输。在移动网络中，视频发送速率超过可用带宽会导致拥塞和难以容忍的数据包延迟，最后造成帧延迟，而过度延迟的帧将被当作丢失处理。另一方面，保守的低发送率会导致移动网络的带宽利用率较低，最终导致视频通话质量较低。及其有限的设计空间需要联合跨层设计方法来实现实时视频编码、比特率控制、发送速率调整和误差控制。理想的情况下，人们希望视频传送速率能够紧紧地随着移动网络的传送能力变化而变化。但是，传统的反应拥塞控制算法，需要根据数据包丢失，和/或数据包延迟这种形式的拥塞反馈来调整发送速度。这样发送速度调整太慢，不能适应网络传送能力的变化，造成带宽无法充分利用或者较长的数据包延迟。人们更希望能设计一种主动的拥塞控制算法，通过预测移动网络传输能力来计算数据发送速率。同时，对于视频调控，视频编码器可以调整不同的视频编码参数，这样得到的视频比特率就能够同拥塞控制算法确定的发送速率相适应。但是，对于低延迟的编码来说，精确的速率控制是非常有挑战的。同时在采用了先进技术的视频编码器中，严重的速率不匹配仍然经常存在。此外，使问题更加严重的是，丢失和延迟的数据包不仅会造成所对应的帧无法解码，而且使其它帧也无法解码。解码器和传输层应该被设计成具有错误恢复能力，这些丢失和延迟的数据包就会对解码的视频造成较小的影响。
技术实现思路
有鉴于此，本专利技术实施例为解决现有技术中存在的至少一个问题而提供一种端到端的视频发送方法及装置，能够避免帧拥塞和使数据包延迟最小化。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种端到端的视频发送方法，所述方法包括：确定第一带宽测量值向量所述第一带宽测量值向量为第一时刻之前发送的(M-1)个连续的I帧间隔的带宽测量值所组成的向量，所述第一时刻为当前I帧间隔k的结束时刻；基于所述第一带宽测量值向量预测下一个I帧间隔(k+1)的可用带宽预测值根据所述可用带宽预测值和预先设定的置信参数确定用于发送下一个I帧间隔内的视频帧的速率限制值；根据所述速率限制值采用层次型-P(hP)编码方式对所述下一个I帧间隔内的视频帧进行编码，得到编码后的视频流，并记录所述编码后的视频流中每一所述帧的编码速率和时序层优先级；按照预设的第一规则发送所述编码后的视频流，所述第一规则，用于按照所述时序层优先级在总的编码速率不超过所述速率限制值的情况下，使得下一个I帧间隔(k+1)结束时发送的总帧数最大，同时所选择帧之间的发送时间间隔平均值和方差最小。第二方面，本专利技术实施例提供一种端到端的视频发送方法，所述方法包括：接收发送端发送的视频帧；将所述发送端发送的视频帧作为突发数据包；利用突发数据包到达间隔的方法测量当前I帧间隔k的可用带宽，得到第一带宽测量值，所述第一带宽测量值为当前I帧间隔k的带宽测量值将所述可第一带宽测量值发送给所述发送端。第三方面，本专利技术实施例提供一种端到端的视频发送装置，所述装置包括第一确定单元、预测单元、第二确定单元、编码单元、记录单元和第一发送单元，其中：所述第一确定单元，用于确定第一带宽测量值向量所述第一带宽测量值向量为第一时刻之前发送的(M-1)个连续的I帧间隔的带宽测量值所组成的向量，所述第一时刻为当前I帧间隔k的结束时刻；所述预测单元，用于基于所述第一带宽测量值向量预测下一个I帧间隔(k+1)的可用带宽预测值所述第二确定单元，用于根据所述可用带宽预测值和预先设定的置信参数确定用于发送下一个I帧间隔内的视频帧的速率限制值；所述编码单元，用于根据所述速率限制值采用层次型-P(hP)编码方式对所述下一个I帧间隔内的视频帧进行编码，得到编码后的视频流；所述记录单元，用于记录所述编码后的视频流中每一所述帧的编码速率和时序层优先级；所述第一发送单元，用于按照预设的第一规则发送所述编码后的视频流，所述第一规则，用于按照所述时序层优先级在总的编码速率不超过所述速率限制值的情况下，使得下一个I帧间隔(k+1)结束时发送的总帧数最大，同时所选择帧之间的发送时间间隔平均值和方差最小。第四方面，本专利技术实施例提供一种端到端的视频发送装置，所述装置包括接收单元、第四确定单元、测量单元和第二发送单元，其中：所述接收单元，用于接收发送端发送的视频帧；所述第四确定单元，用于将所述发送端发送的视频帧作为突发数据包；所述测量单元，用于利用突发数据包到达间隔的方法测量当前I帧间隔k的可用带宽，得到第一带宽测量值，所述第一带宽测量值为当前I帧间隔k的带宽测量值所述第二发送单元，用于将所述可第一带宽测量值发送给所述发送端。本专利技术实施例提供一种端到端的视频发送方法及装置，其中确定第一带宽测量值向量基于所述第一带宽测量值向量预测下一个I帧间隔(k+1)的可用带宽预测值根据所述可用带宽预测值和预先设定的置信参数确定用于发送下一个I帧间隔内的视频帧的速率限制值；根据所述速率限制值采用层次型-P(hP)编码方式对所述下一个I帧间隔内的视频帧进行编码，得到编码后的视频流，并记录所述编码后的视频流中每一所述帧的编码速率和时序层优先级；按照预设的第一规则发送所述编码后的视频流；如此，能够避免帧拥塞和使数据包延迟最小化。附图说明图1为本专利技术实施例一端到端的视频发送方法的实现流程示意图；图2为本专利技术实施例二端到端的视频发送方法的实现流程示意图；图3-1相关技术中移动网络的组成结构示意图；图3-2为本专利技术实施例三提供的移动网络实时视频传输系统的组成结构示意图；图3-3为本专利技术实施例三hP编码后的视频流的层次结构示意图；图3-4为本专利技术实施例三中所采用的DFS与常规的FP和LP的比较结果示意图；图3-5为本专利技术实施例三实验平台的结构示意图；图3-6为本专利技术实施例三梯度带宽情况下的带宽利用率的示意图；图3-7为本专利技术实施例三实验中所用的追踪数据的示意图；图3-8为在单条移动网络链路追踪数据2至7作为前向链路传输能力情况下Rebera和FaceTime的视频发送速率比较结果示意图；图4为本专利技术实施例四端到端的视频发送装置的组成结构示意图；图5为本专利技术实施例五端到端的视频发送装置的组成结构示意图。具体实施方式本专利技术实施例提供的技术方案适用于两个用户之间交互的视频电话应用，其中至少一个用户通过移动网络进行连接。众所周知，移动网络链路具有高度动态变化的网络带宽和数据包延迟。如果视频电话的数据发送速率超过了可用带宽，则视频帧会出现极大的延迟，从而影响视频电话的交互性能。在本专利技术的以下实施例中提供一种实现主动拥塞控制、视频编码和速率自适应功能的新的实时视频传输系统(Rebera，Real-timeBandwidthEstimationandRateAdaptation，实时带宽估计和速率自适应)，使得在保持单向本文档来自技高网...

【技术保护点】
一种端到端的视频发送方法，其特征在于，所述方法包括：确定第一带宽测量值向量

【技术特征摘要】
1.一种端到端的视频发送方法，其特征在于，所述方法包括：确定第一带宽测量值向量所述第一带宽测量值向量为第一时刻之前发送的(M-1)个连续的I帧间隔的带宽测量值所组成的向量，所述第一时刻为当前I帧间隔k的结束时刻；基于所述第一带宽测量值向量预测下一个I帧间隔(k+1)的可用带宽预测值根据所述可用带宽预测值和预先设定的置信参数确定用于发送下一个I帧间隔内视频帧的速率限制值；根据所述速率限制值采用层次型-P(hP)编码方式对所述下一个I帧间隔内的视频帧进行编码，得到编码后的视频流，并记录所述编码后的视频流中每一所述帧的编码速率和时序层优先级；按照预设的第一规则发送所述编码后的视频流，所述第一规则，用于按照所述时序层优先级在总的编码速率不超过所述速率限制值的情况下，使得下一个I帧间隔(k+1)结束时发送的总帧数最大，同时所选择帧之间的发送时间间隔平均值和方差最小。2.根据权利要求1所述的方法，其特征在于，所述确定第一带宽测量值向量c(k)，包括：接收发送端发送的第一带宽测量值，所述第一带宽测量值为当前I帧间隔k的带宽测量值利用所述第一带宽测量值更新保存的第二带宽测量值向量得到第一带宽测量值向量3.根据权利要求2所述的方法，其特征在于，所述基于所述第一带宽测量值集合预测下一个I帧间隔(k+1)的可用带宽预测值包括：将所述第一带宽测量值集合输入预设的自适应线性预测过滤器，得到由所述过滤器输出的下一个I帧间隔(k+1)的可用带宽预测值4.根据权利要求3所述的方法，其特征在于，所述自适应线性预测过滤器采用如下的方式进行预测：在t＝Tk+1时刻，接收当前I帧间隔k的带宽测量值其中所述Tk+1为当前I帧间隔k的结束时刻；根据计算得到长度为M的增益向量g(k)，其中，P(k)为经验自相关矩阵的逆，λ为遗忘因子参数；根据计算得到先验预测误差εk，其中w(k)为长度为M的滤波器抽头向量；根据w(k)＝w(k-1)+∈kg(k)计算得到更新所述滤波器的抽头向量w(k)；根据计算得到下一个I帧间隔(k+1)的可用带宽预测值5.根据权利要求1所述的方法，其特征在于，所述置信参数通过如下方式确定，包括：根据确定置信参数δ，其中rk+1表示下一个I帧间隔k+1的发送速率，εk+1表示通过RLS算法获得的带宽预测误差，其中，6.根据权利要求1至5任一项所述的方法，其特征在于，所述按照预设的第一规则发送所述编码后的视频流，包括：按照时序层对每个编码后的帧进行标记，将帧n的大小和时序层分别表示为sn和ln；将编码后的视频帧按照层数从时序层优先级开始进行排列，得到优先级队列π；对于每个新到达的帧n，通过排除历史帧将π变成πn，根据所述πn更新帧的大小估算值以及剩余带宽估算值；根据帧的大小估算值和剩余带宽估算值建立一个准备发送的帧集合En，其中所述帧集合En是通过从所述πn中第一个帧开始抽取帧得到的；当抽取的帧的总大小达到剩余带宽估算值时，停止抽取，如果帧n在集合En中，就发送帧n，如果帧n不在集合En，则丢弃。7.一种端到端的视频发送方法，其特征在于，所述方法包括：接收发送端发送的视频帧；将所述发送端发送的视频帧作为突发数据包；利用突发数据包到达间隔的方法测量当前I帧间隔k的可用带宽，得到第一带宽测量值，所述第一带宽测量值为当前I帧间隔k的带宽测量值将所述可第一带宽测量值发送给所述发送端。8.根据权利要求7所述的方法，其特征在于，所述利用突发数据包到达间隔的方法测量当前I帧间隔k的可用带宽，得到第一带宽测量值包括：将数据包i-1和i的到达间隔时间表示为ai，将数据包i的大小表示为zi；利用确定mn；对于任一周期(t1,t2]，利用估算(t1,t2]周期内的带宽测量值c(t1,t2)，其中N是在(t1,t2]到达的所有帧的集合，当k＝1时，当前I帧间隔k的开始时间Tk即为t1，当前I帧间隔k的结束时间Tk+1即为t2。9.根据权利要求8所述的方法，其特征在于，在最近T秒内，每Δ秒测量一下网络的带宽，其中Δ<<T，所述T表示I帧间隔。10.一种端到端的视频发送装置，其特征在于，所述装置包括第一确定单元、预测单元、第二确定单元、编码单元、记录单元和第一发送单元，其中：所述第一确定单元，用于确定第一带宽测量值向量所述第一带宽测量值向量为第一时刻之前发送的(M-1)个连续的I帧间隔的带...

【专利技术属性】
技术研发人员：王瑶，吕静，时永方，谷沉沉，管刚，刘婷婷，刘勇，艾门科杜，
申请(专利权)人：纽约大学，腾讯科技深圳有限公司，
类型：发明
国别省市：美国,US