紧密集成传输协议和编解码器的视频传输方法及存储介质技术

本发明专利技术的一种紧密集成传输协议和编解码器的视频传输方法及存储介质，其方法包括接收端收到网络片段后，计算帧间隔时间，通过传输协议将帧间隔时间发送至发送端；发送端通过帧间隔时间和目标延迟，计算下一帧的目标帧大小；发送端编码器生成两种帧：高质量帧和低质量帧；发送端根据步骤2中的目标帧大小选择步骤3中生成的帧发送。本发明专利技术将编解码器和传输协议紧密结合，让应用程序可以探索每个视频帧在不同质量水平上的替代编码。以找到一个压缩帧大小符合网络瞬时容量的编码。本方法并不需要特殊的编解码器或者传输协议，本发明专利技术可以将已有的编解码器和传输协议整合在一起，快速响应网络带宽的变化，减小由于网络波动带来的延迟。迟。迟。

【技术实现步骤摘要】
紧密集成传输协议和编解码器的视频传输方法及存储介质


[0001]本专利技术涉及计算机实时视频传输
，具体涉及一种紧密集成传输协议和编解码器的视频传输方法。

技术介绍

[0002]实时视频传输技术广泛应用于视频会议、远程手术、远程通话、视频直播等场景。实时视频传输系统主要由编解码器和传输协议组成。发送端编码器将摄像头获取的视频信息编码为帧。传输协议将帧切分为片段，传输到接收端；接收端解码器收到网络片段，对帧进行解码，生成视频流。
[0003]为了实现低延迟、高质量的实时视频传输，业界普遍采用如下方法：1.自适应视频。如图1，该系统通常包括视频编解码器和传输协议作为独立的子系统，每个子系统都有自己的速率控制逻辑和控制回路。传输协议为编解码器提供网络数据速率的估计，而视频编码器选择编码参数以匹配其平均比特率。2.联合源通道视频编码，该方法假设数据速率为固定的或缓慢变化的，并且数据包丢失和排队延迟可以被模拟为独立于应用本身的随机过程。在这种情况下，先前的工作集中在源编码(视频压缩)与信道编码(前向纠错)，以使应用程序能应对数据包丢失和延迟。
[0004]然而目前的方法虽然有很多优点，但没有考虑到数据包丢失和排队延迟受应用程序选择发送多少数据的影响，不能快速响应网络带宽的变化，当网络条件变化时，现有方法会造成严重的数据包丢失和排队延迟。

技术实现思路

[0005]本专利技术提出的一种紧密集成传输协议和编解码器的视频传输方法，可至少解决上述技术问题之一。
[0006]为实现上述目的，本专利技术采用了以下技术方案：
[0007]一种紧密集成传输协议和编解码器的视频传输方法，包括以下步骤，
[0008]步骤1：接收端收到网络片段后，计算帧间隔时间，通过传输协议将帧间隔时间发送至发送端；
[0009]步骤2：发送端通过帧间隔时间和目标延迟，计算下一帧的目标帧大小；
[0010]步骤3：发送端编码器生成两种帧：高质量帧和低质量帧；
[0011]步骤4：发送端根据步骤2中的目标帧大小选择步骤3中生成的帧发送。
[0012]另一方面，本专利技术还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0013]由上述技术方案可知，本专利技术的紧密集成传输协议和编解码器的视频传输方法，通过对当前网络容量的估计，对网络条件的变化做出快速反应，避免引起数据丢包和排队延迟。
[0014]本专利技术的有益效果具体如下：
[0015]本专利技术方法将编解码器和传输协议紧密结合，让应用程序可以探索每个视频帧在不同质量水平上的替代编码。以找到一个压缩帧大小符合网络瞬时容量的编码。本方法并不需要特殊的编解码器或者传输协议，作为一个具体的系统，它可以将已有的编解码器和传输协议整合在一起，快速响应网络带宽的变化，减小由于网络波动带来的延迟。
[0016]本专利技术方法与设置比特率的传统方法对比，通过将传输协议和编解码器紧密结合，计算帧间隔和下一个目标帧大小，更细粒度地决定每个帧的最佳传输质量，并且可以通过设置目标延迟时间来达到视频画面质量和网络延迟之间的平衡。
[0017]本专利技术方法在网络状况变化的通信介质中效果更佳明显，更适用于蜂窝网络和wifi等网络容量变化较大的通信环境。能在波动的网络条件下提供稳定低延迟的时实视频传输。
附图说明
[0018]图1是现有的编码器和传输协议构成的低耦合系统；
[0019]图2是本专利技术实施例的发送端和接收端的帧示意图；
[0020]图3是本专利技术实施例的编解码器和传输协议紧密结合示意图；
[0021]图4是本专利技术实施例的发送端选择帧的过程实例示意图；
[0022]图5是本专利技术实施例的发送端选择高质量帧的实例；
[0023]图6是本专利技术实施例的发送端跳过此帧的实例。
具体实施方式
[0024]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。
[0025]如图1所示，本实施例所述的紧密集成传输协议和编解码器的视频传输方法，包括以下步骤：
[0026]步骤1：接收端收到网络片段后，计算帧间隔时间，通过传输协议将帧间隔时间发送至发送端；
[0027]步骤2：发送端通过帧间隔时间和目标延迟，计算下一帧的目标帧大小；
[0028]步骤3：发送端编码器生成两种帧：高质量帧和低质量帧；
[0029]步骤4：发送端根据步骤2中的目标帧大小选择步骤3中生成的帧发送。
[0030]其中，所述步骤1“接收端收到网络包后，计算帧间隔时间，通过传输协议将帧间隔时间发送至发送端。”是指当帧i收到后，接收端用如下公式计算一个平滑后的帧间隔时间τ
i
。当帧被发送时，会被切分为很多片段(如图2)，其中T
i
是帧i最后一个片段的到达时间，T
i
‑1是帧i
‑
1最后一个片段的到达时间；grace_period
i
是发送两个帧之间的时间间隔，通过传输协议中的grace_period
i
的字段获取；τ
i
‑1是上一次计算的帧间隔时间，α是平滑系数，取值范围为0
‑
1，通常取0.2。
[0031]τ
i
＝α(T
i
‑
T
i
‑1‑
grace_period
i
)+(1
‑
α)τ
i
‑1[0032]当帧间隔时间τ
i
计算完成后，接收端通过传输协议将帧间隔时间τ
i
发送给发送端。
[0033]所述步骤2“发送端通过帧间隔时间和目标延迟，计算下一帧的目标帧大小。”所指
的是发送端收到接收端在步骤一发送的帧间隔时间τ
i
后，根据设定的目标延迟时间d(通常d的单位是毫秒)，为下一个帧设置目标帧大小的上界。为了避免延迟时间超过d,通过避免传输比目标帧大小大的帧数据，来避免网络拥塞和延迟。目标帧大小的公式计算如下：
[0034]目标帧大小＝(d/τ
i
,
‑
N
i
)MTU
[0035]其中τ
i
是帧间隔时间，d是目标延迟时间，N
i
是发送中的数据片段的数量，通过已经发送的数据片段数量减去接收端已经确认收到的片段数量得到。MTU是最大传输单元，由于链路层协议的限制，每个片段大小最大为MTU。
[0036]如图3所示，发送端利用传输协议为每个帧生成目标帧大小，与每隔一段时间传输协议规定编解码器的比特率相比，编解码器与传输协议结合更紧密，以适应网络带宽的变化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种紧密集成传输协议和编解码器的视频传输方法，其特征在于，包括以下步骤，步骤1：接收端收到网络片段后，计算帧间隔时间，通过传输协议将帧间隔时间发送至发送端；步骤2：发送端通过帧间隔时间和目标延迟，计算下一帧的目标帧大小；步骤3：发送端编码器生成两种帧：高质量帧和低质量帧；步骤4：发送端根据步骤2中的目标帧大小选择步骤3中生成的帧发送。2.根据权利要求1所述的紧密集成传输协议和编解码器的视频传输方法，其特征在于：所述步骤1中接收端收到网络包后，计算帧间隔时间，通过传输协议将帧间隔时间发送至发送端；是指当帧i收到后，接收端用如下公式计算一个平滑后的帧间隔时间τ
i
；当帧被发送时，会被切分为多个片段，其中T
i
是帧i最后一个片段的到达时间，T
i
‑1是帧i
‑
1最后一个片段的到达时间；grace_period
i
是发送两个帧之间的时间间隔，通过传输协议中的grace_period
i
的字段获取；τ
i
‑1是上一次计算的帧间隔时间，α是平滑系数，取值范围为0
‑
1，τ
i
＝α(T
i
‑
T
i
‑1‑
grace_period
i
)+(1
‑
α)τ
i
‑1当帧间隔时间τ
i
计算完成后，接收端通过传输协议将帧间隔时间τ
i
发送给发送端。3.根据权利要求2所述的紧密集...

【专利技术属性】
技术研发人员：江大白，杨坤龙，王鹏，
申请(专利权)人：中用科技有限公司，
类型：发明
国别省市：