面向交互式视频的松耦合编码码率-传输速率调节方法技术

本发明专利技术公开了一种面向交互式视频的松耦合编码码率

【技术实现步骤摘要】
面向交互式视频的松耦合编码码率
‑
传输速率调节方法


[0001]本专利技术属于网络通信与多媒体交互领域，更具体地，涉及一种面向交互式视频的松耦合编码码率
‑
传输速率调节方法。

技术介绍

[0002]近年来，在LTE
‑
Advanced和5G网络基础设施的推动下，交互式视频应用正在急速增长，如近年来的视频会议、数字教室、现场购物、AR/VR 流媒体等应用。
[0003]如何保障交互式视频的用户质量体验(QoE)仍然是交互式视频应用的难题之一。一方面，交互式视频对延时提出了极为苛刻的要求(低至几百毫秒)；另一方面，由于实时编码的特性牺牲了压缩效率，交互式视频对带宽的需求更强烈，此外，新兴的应用如VR/AR/360
°
游戏和VR现场音乐会，对更大的视频尺寸、更高的分辨率以及更低的延时表现出新的需求与性能期望。
[0004]为了最大化QoE，现有技术中，解决方案一般有两种，一种是通过应用层编码码率和传输层速率间的“过度耦合和高度同步”，以保证低延时性能，如基于人为规则的谷歌拥塞控制(GCC)算法和基于学习算法的OnRL， Loki等。一种是针对点播(VoD)视频，应用层编码码率和传输速率之间无交互，分别对应用层编码码率和传输速率进行独立调节。
[0005]而上述两种方式，应用层编码码率和传输速率之间的调节要么是过渡耦合，要么是无交互；针对点播(VoD)视频的“无交互”方案，由于对传输延时的限制，并不适合交互式视频流媒体传输。/>[0006]针对“过度耦合”的方案会导致传输速率和应用层编码码率调节策略之间有冲突，进而影响QoE，具体表现为：传输速率调节机制依赖快速嗅探来检测带宽，嗅探的速度一般是毫秒级别，要求在降低延时的同时最大化吞吐量；而应用层编码码率调节机制的时间跨度则是秒级，强调码率变换的平稳性，以避免造成大的帧质量/延时抖动。可以看出，两种调节机制是有差异冲突的；基于上述差异冲突，GCC算法放弃了部分传输层的优势，放慢带宽嗅探速度来配合编码码率调节，以保证其高度同步性，然而该方法导致带宽利用率低；而基于学习的算法则保留传输层带宽嗅探速度，具体做法为将调节时间间隔配置为50
‑
100毫秒且不对调节幅度进行严格限制，然而，由此产生的调节波动往往会抑制编码码率大小并影响平滑性，在目标编码码率和实际编码码率之间产生差距。

技术实现思路

[0007]针对现有技术的缺陷和改进需求，本专利技术提供了一种面向交互式视频的松耦合编码码率
‑
传输速率调节方法，其目的在于使交互式视频编码码率与传输速率以协作与独立共存的方式进行调节，以最大化交互式视频的 QoE。
[0008]为实现上述目的，按照本专利技术的一个方面，提供了一种面向交互式视频的松耦合编码码率
‑
传输速率调节方法，包括：
[0009]训练阶段：以当前时刻t视频传输中应用层指标和传输层指标作为调节网络的输
入以对调节网络进行训练；其中，所述调节网络包括：公共网络单元、第一分支网络单元及第二分支网络单元；
[0010]所述公共网络单元用于提取当前时刻t应用层指标和传输层指标中的共享特征，得到共享特征向量；
[0011]所述第一分支网络单元用于以当前时刻t应用层指标和共享特征向量为输入，输出当前时刻预测的编码码率
[0012]所述第二分支网络单元用于以当前时刻t传输层指标、共享特征向量以及当前时刻预测的编码码率为输入，输出当前时刻预测的传输速率
[0013]以当前时刻预测的编码码率和预测的传输速率更新下一时刻应用层指标和传输层指标，作为下一时刻调节网络的输入以对调节网络进行下一轮次的训练，直至调节网络收敛，使所述第一分支网络单元输出最终的目标编码码率，所述第二分支网络单元输出最终的目标传输速率；
[0014]应用阶段：将目标视频传输中应用层指标和传输层指标输入训练好的调节网络中，输出目标编码码率及目标传输速率，并反馈至交互式视频系统中的视频发送设备，使视频发送设备按照目标编码码率及目标传输速率传输目标视频。
[0015]进一步地，在所述调节网络训练的过程中，采用应用层指标作为网络参数优化的奖励；
[0016]所述奖励r
t
的定义为：
[0017][0018]其中，f
t
表示视频帧率，q
t
表示帧质量，I
t
表示设定过去时间内的视频卡顿率，|b
t
‑
b
t
‑
Δt
|表示相邻时间间隔的编码码率之间的抖动，Δt表示所述调节网络一次决策的时间间隔，α、β、η、分别为对应的权重。
[0019]进一步地，采用行动
‑
评价模型与PPO算法结合的方法对所述调节网络进行在线训练；
[0020]所述损失函数L
θ
′
(θ)为：
[0021][0022]其中，δ
θ
′
(θ)表示调节网络的新策略和旧策略之间的比值，表示优势函数，表示输入调节网络的应用层指标和传输层指标，表示调节网络的输出，clip()表示截断函数，∈是超参数。
[0023]进一步地，所述公共网络单元包括两个串联连接的全连接层，之后连接LeakyReLU激活函数。
[0024]进一步地，分支网络单元包括两个串联连接的全连接层，之后连接softmax激活函数，其中，所述分支网络单元为第一分支网络单元或第二分支网络单元。
[0025]进一步地，所述应用层指标包括：帧率序列、帧丢失序列、帧质量序列和视频编码
码率序列；
[0026]所述传输层指标包括：数据包丢失序列、数据包延时序列、延时抖动序列、吞吐量序列和过去的传输速率序列。
[0027]进一步地，所述调节网络搭载在云服务器上，所述应用层指标和传输层指标通过交互式视频系统中的视频发送设备上载至所述云服务器，并输入至所述调节网络；
[0028]所述云服务器将所述当前时刻预测的编码码率及当前时刻预测的传输速率反馈给所述视频发送设备，用于分别调节视频编码码率与传输速率。
[0029]进一步地，还包括：设定延时限制，若应用层指标和传输层指标上载至云服务器的时间至云服务器将目标码率反馈给视频发送设备的时间超过所述设定延时，则采用GCC算法计算交互式视频的编码码率和传输速率；
[0030]其中，所述目标码率包括当前时刻预测的编码码率及当前时刻预测的传输速率
[0031]按照本专利技术的第二方面，提供了一种交互式视频传输方法，包括：
[0032]交互式视频系统中的视频发送设备基于目标编码码率和目标传输速率对目标视频进行传输；其中，所述目标编码码率和所述目标传输速率通过训练好的调节网络获得；
[0033]所述训练好的调节网络为第一方面任意一项所述的调节方法中的调节网络。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向交互式视频的松耦合编码码率
‑
传输速率调节方法，其特征在于，包括：训练阶段：以当前时刻t视频传输中应用层指标和传输层指标作为调节网络的输入以对调节网络进行训练；其中，所述调节网络包括：公共网络单元、第一分支网络单元及第二分支网络单元；所述公共网络单元用于提取当前时刻t应用层指标和传输层指标中的共享特征，得到共享特征向量；所述第一分支网络单元用于以当前时刻t应用层指标和共享特征向量为输入，输出当前时刻预测的编码码率所述第二分支网络单元用于以当前时刻t传输层指标、共享特征向量以及当前时刻预测的编码码率为输入，输出当前时刻预测的传输速率以当前时刻预测的编码码率和预测的传输速率更新下一时刻应用层指标和传输层指标，作为下一时刻调节网络的输入以对调节网络进行下一轮次的训练，直至调节网络收敛，使所述第一分支网络单元输出最终的目标编码码率，所述第二分支网络单元输出最终的目标传输速率；应用阶段：将目标视频传输中应用层指标和传输层指标输入训练好的调节网络中，输出目标编码码率及目标传输速率，并反馈至交互式视频系统中的视频发送设备，使视频发送设备按照目标编码码率及目标传输速率传输目标视频。2.根据权利要求1所述的调节方法，其特征在于，在所述调节网络训练的过程中，采用应用层指标作为网络参数优化的奖励；所述奖励r
t
的定义为：其中，f
t
表示视频帧率，q
t
表示帧质量，l
t
表示设定过去时间内的视频卡顿率，|b
t
‑
b
t
‑
Δt
|表示相邻时间间隔的编码码率之间的抖动，Δt表示所述调节网络一次决策的时间间隔，α、β、η、分别为对应的权重。3.根据权利要求1所述的调节方法，其特征在于，采用行动
‑
评价模型与PPO算法结合的方法对所述调节网络进行在线训练；所述损失函数L
θ
′
(θ)为：其中，δ
θ
′
(θ)表示调节网络的新策略和旧策略之间...

【专利技术属性】
技术研发人员：王巍，肖雪豆，阎明轩，左莹莹，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：