视频传输方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种视频传输方法、装置、电子设备及可读存储介质，属于人工智能领域。本申请实施例的视频传输方法包括：获取待传输的目标视频；将所述目标视频分解为多个短视频；分别对每个所述短视频进行低分辨率处理，获得多个低分辨率视频；将所述多个低分辨率视频以及教师模型发送至客户端，所述教师模型能够将所述多个低分辨率视频恢复为高分辨率视频，用于所述客户端获得与所述教师模型对应的学生模型，并利用所述学生模型对所述多个低分辨率视频进行恢复，获得相应的高分辨率视频。由此，可以降低传输视频的分辨率，从而大大提高传输效率，从而减少视频传输时延。从而减少视频传输时延。从而减少视频传输时延。

【技术实现步骤摘要】
视频传输方法、装置、电子设备及可读存储介质


[0001]本申请属于人工智能
，具体涉及一种视频传输方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着互联网视频的爆发式增长，对视频清晰度的要求也越来越高，对视频传输基础设施带来巨大压力。目前，通常采用内容分发网络(Content Delivery Network，CDN)方式进行视频传输，以尽可能降低视频传输时延。但是在互联网用户数量巨大的情况下，仍存在视频传输时延较大的问题。

技术实现思路

[0003]本申请实施例的目的是提供一种视频传输方法、装置、电子设备及可读存储介质，以解决目前存在的视频传输时延较大的问题。
[0004]为了解决上述技术问题，本申请是这样实现的：
[0005]第一方面，提供了一种视频传输方法，应用于服务端，包括：
[0006]获取待传输的目标视频；
[0007]将所述目标视频分解为多个短视频；
[0008]分别对每个所述短视频进行低分辨率处理，获得多个低分辨率视频；
[0009]将所述多个低分辨率视频以及教师模型发送至客户端，其中，所述教师模型能够将所述多个低分辨率视频恢复为高分辨率视频，用于所述客户端获得与所述教师模型对应的学生模型，并利用所述学生模型对所述多个低分辨率视频进行恢复，获得相应的高分辨率视频。
[0010]第二方面，提供了一种视频传输方法，应用于客户端，包括：
[0011]从服务端接收多个低分辨率视频以及教师模型，其中，所述教师模型能够将所述多个低分辨率视频恢复为高分辨率视频；
[0012]获取与所述教师模型对应的学生模型；
[0013]利用所述学生模型对所述多个低分辨率视频进行恢复，获得相应的高分辨率视频。
[0014]第三方面，提供了一种视频传输装置，应用于服务端，包括：
[0015]第一获取模块，用于获取待传输的目标视频；
[0016]分解模块，用于将所述目标视频分解为多个短视频；
[0017]处理模块，用于分别对每个所述短视频进行低分辨率处理，获得多个低分辨率视频；
[0018]发送模块，用于将所述多个低分辨率视频以及教师模型发送至客户端，其中，所述教师模型能够将所述多个低分辨率视频恢复为高分辨率视频，用于所述客户端获得与所述教师模型对应的学生模型，并利用所述学生模型对所述多个低分辨率视频进行恢复，获得
相应的高分辨率视频。
[0019]第四方面，提供了一种视频传输装置，应用于客户端，包括：
[0020]接收模块，用于从服务端接收多个低分辨率视频以及教师模型，其中，所述教师模型能够将所述多个低分辨率视频恢复为高分辨率视频；
[0021]第二获取模块，用于获取与所述教师模型对应的学生模型；
[0022]恢复模块，用于利用所述学生模型对所述多个低分辨率视频进行恢复，获得相应的高分辨率视频。
[0023]第五方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者如第二方面所述的方法的步骤。
[0024]第六方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者如第二方面所述的方法的步骤。
[0025]在本申请实施例中，服务端在获取待传输的目标视频后，可以将所述目标视频分解为多个短视频，分别对每个所述短视频进行低分辨率处理，获得多个低分辨率视频，并将所述多个低分辨率视频以及教师模型发送至客户端，从而使得客户端获得与所述教师模型对应的学生模型，并利用所述学生模型对所述多个低分辨率视频进行恢复，获得相应的高分辨率视频。由此，可以在使得客户端获得高分辨率视频的基础上，降低传输视频的分辨率，从而大大提高传输效率，从而减少视频传输时延。
附图说明
[0026]图1是本申请实施例提供的一种视频传输系统的示意图；
[0027]图2是本申请实施例中的教师生成神经网络和判决器的示意图；
[0028]图3是本申请实施例中的学生生成神经网络的示意图；
[0029]图4是本申请实施例提供的一种视频传输方法的流程图；
[0030]图5是本申请实施例中的交织深度的设置示意图；
[0031]图6是本申请实施例提供的另一种视频传输方法的流程图；
[0032]图7是本申请实施例提供的一种视频传输装置的结构示意图；
[0033]图8是本申请实施例提供的另一种视频传输装置的结构示意图；
[0034]图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、
“
第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0037]为了解决目前存在的视频传输时延较大的问题，本申请实施例提出了基于知识蒸馏(Knowledge Distillation，KD)的生成对抗神经网络的视频传输方法，其在服务端可以将长视频分解为多个短视频，并分别对每个短视频进行低分辨率LR处理，获得多个低分辨率视频，然后将多个低分辨率视频以及预先训练的教师模型发送至客户端，该教师模型能够将该多个低分辨率视频恢复为高分辨率视频；之后，由客户端基于知识蒸馏，获得与该教师模型对应的轻量型学生模型，并利用该学生模型对多个低分辨率视频进行恢复/重建，获得相应的高分辨率视频。这样，通过降低传输视频的分辨率，可以大大提高传输效率，从而减少视频传输时延。
[0038]进一步的，通过使用知识蒸馏技术，可以有效减小客户端中模型的计算量，有利于节约计算资源，从而有利于推广到更多计算能力弱的客户端来获得高分辨率视频。
[0039]知识蒸馏是一种模型压缩方法，是一种基于“教师
‑
学生网络思想”的训练方式，将已经训练好的模型包含的知识(“Knowledge”)，蒸馏(“Distill”)提取到另一个模型里面。在训练过程中，一般需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。知识蒸馏涉及的模型训练主要包括：1)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频传输方法，应用于服务端，其特征在于，包括：获取待传输的目标视频；将所述目标视频分解为多个短视频；分别对每个所述短视频进行低分辨率处理，获得多个低分辨率视频；将所述多个低分辨率视频以及教师模型发送至客户端，其中，所述教师模型能够将所述多个低分辨率视频恢复为高分辨率视频，用于所述客户端获得与所述教师模型对应的学生模型，并利用所述学生模型对所述多个低分辨率视频进行恢复，获得相应的高分辨率视频。2.根据权利要求1所述的方法，其特征在于，所述将所述多个低分辨率视频以及教师模型发送至客户端包括：根据预先建立的服务质量QoS数据流与传输内容之间的映射关系，将所述多个低分辨率视频以及教师模型映射至对应的QoS数据流发送给所述客户端，其中，所述QoS数据流与传输内容之间的映射关系是基于知识蒸馏损失值建立的。3.根据权利要求1所述的方法，其特征在于，所述学生模型的生成器G
S
是基于知识蒸馏，利用所述教师模型的生成器G
T
的模型参数进行优化训练得到，所述知识蒸馏的损失值与以下至少一项相关：结构相似性损失值和感知损失值，其中，所述结构相似性损失值和感知损失值用于衡量所述G
T
的输出p
t
和所述G
S
的输出p
s
之间的差异；噪声损失值，其中，所述噪声损失值用于衡量视频流传输中的损失值；通道损失值，其中，所述通道损失值用于衡量所述G
S
和所述G
T
中的各通道的损失值。4.根据权利要求3所述的方法，其特征在于，所述结构相似性损失值L
SSIM
(p
t
,p
s
)为：其中，μ
s
为p
s
的亮度估计的平均值，μ
t
为p
t
的亮度估计的平均值，为p
s
的对比度的标准偏差，为p
t
的对比度的标准偏差，σ
ts
为p
t
和p
s
的结构相似性估计的协方差，C1和C2为预设常数；和/或，所述感知损失值包括特征重建损失值L
feature
(p
t
,p
s
)和风格重建损失值L
style
(p
t
,p
s
)，分别为：)，分别为：其中，为教师模型的第j层的激活函数，为学生模型的第j层的激活函数，C
j
H
j
W
j
为第j层的激活函数的尺寸；为教师模型的第j层的格拉姆gram矩阵，为学生模型的第j层的gram矩阵，所述gram矩阵表示不同特征图像通道的特征图
像之间内积；和/或，所述噪声损失值SNR为：其中，N0为基于本地导频图像与从客户端接收的第一导频图像获得的噪声功率，为所述第一导频图像的像素灰度均值，为所述第一导频图像的像素灰度值的方差；和/或，所述通道损失值L
CD
(G
T
,G
S
)为：其中，n为用于模型训练的特征图像的数量，C为特征图像的通道数量，w
ij
为第i个特征图像的第j个...

【专利技术属性】
技术研发人员：梁双春，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：