一种视频处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种视频处理方法、装置、计算机设备及存储介质，该方法包括获得解码后的当前视频帧；将当前视频帧作为输入数据，输入至预训练的超分辨率网络模型，超分辨率网络模型包括至少一个以U型网络结构设计的轻量网络模块；采用超分辨率网络模型对当前视频帧进行处理，获得具备目标分辨率的目标视频帧。利用该方法，所采用的超分辨率网络模型具备有多个U型网络结构的轻量网络模块，通过多个轻量网络模块的级联，实现了模型结构的简化，加快了模型运算速度的同时也提升了模型性能，也提高了模型到移动终端等边端设备上的可移植性；从而保证了视频数据的实时有效处理，同时还保证恢复视频分辨率后的视频具备更优的播放质量。恢复视频分辨率后的视频具备更优的播放质量。恢复视频分辨率后的视频具备更优的播放质量。

【技术实现步骤摘要】
一种视频处理方法、装置、计算机设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种视频处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]对于在线视频会议、视频直播等视频传输应用场景，需要保证传输视频数据的实时性。然而，当网络信号差，或者传输的数据超过带宽的承受能力时，在线视频会议等相关应用会受到严重影响。为保证视频传输的实时性，需要在发送端对视频数据进行压缩传输，然后在接收端对接收的视频进行信息恢复以展示视频内容。
[0003]在保证视频传输实时性的现有技术方案中，其中一类方案是将原始视频进行低码率压缩编码，通过网络传输后由接收端从低码率编码数据中解码原始视频。该种方案的问题在于：低码率压缩编码会导致原始视频损失大量的信息，并且会引入明显的压缩伪影，影响接收端所解码视频的视频质量，难以满足实际的使用需求。
[0004]在上述问题的基础上，提出的改进方案为发送端先将原始视频进行下采样压缩，然后对低分辨率视频进行编码压缩并传输，接收端则使用超分辨率方法对接收视频进行上采样，从而恢复到原始视频的分辨率大小。现在所使用的超分辨率方法基本采用深度学习实现，但是现有的深度学习算法存在计算代价昂贵，网络模型难以部署到笔记本、移动终端等边端设备上的问题，复杂的计算以及较差的可移植性影响了视频数据实时性播放的效果。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种视频处理方法、装置、计算机设备及存储介质，能够在保证平台长期收益的基础上实现面向大规模网络课程的有效推荐。
[0006]第一方面，本申请实施例提供了一种视频处理方法，包括：
[0007]获得解码后的当前视频帧，所述当前视频帧在发送端通过压缩编码后传输至执行终端；
[0008]将所述当前视频帧作为输入数据，输入至预训练的超分辨率网络模型，所述超分辨率网络模型包括至少一个以U型网络结构设计的轻量网络模块；
[0009]采用所述超分辨率网络模型对所述当前视频帧进行处理，获得具备目标分辨率的目标视频帧。
[0010]进一步地，U型网络结构的所述轻量网络模块包括：下采样网络单元和上采样网络单元；
[0011]所述下采样网络单元及所述上采样网络单元中分别包括设定个数的下采样卷积层和上采样组合层；
[0012]各所述上采样组合层由一个上采样卷积层和一个像素重组pixelshuffle层构成；
[0013]各所述下采样卷积层按由上自下顺序依次连接，各所述上采样组合层按由下自上
顺序依次连接，且一个下采样卷积层与一个上采样组合层中的上采样卷积层对应，并建立有跳连接。
[0014]进一步地，在一个轻量网络模块中，各所述下采样卷积层分别用于将下采样输入特征图的图像尺寸缩小第一倍数，以及将下采样输入特征图的通道量增大第二倍数，输出下采样特征图；
[0015]各所述下采样卷积层的下采样输入特征图为：前一下采样卷积层输出的下采样特征图，或者，前一轻量网络模块输出的模块特征图，或者，当前视频帧的原始特征图；
[0016]各所述上采样组合层分别用于将上采样输入特征图的图像尺寸增大所述第一倍数，以及将下采样输入特征图的通道量缩小第二倍数，输出上采样特征图；
[0017]首个上采样组合层的上采样输入特征图为：末个下采样卷积层输出的下采样特征图；
[0018]非首个上采样组合层关联的上采样输入特征图为：前一上采样组合层所输出上采样特征图与所关联各下采样卷积层所输出下采样特征图的拼接。
[0019]进一步地，超分辨率网络模型还包括：卷积
‑
pixelshuffle组合层，
[0020]所述卷积
‑
pixelshuffle组合层与末个轻量网络模块连接；
[0021]一个轻量网络模块中上采样网络单元输出的上采样特征图与输入所述轻量网络模块的输入特征图拼接后形成模块特征图；
[0022]所述模块特征图，作为下一相邻轻量网络模块中下采样网络单元的下采样输入特征图；或者，作为所述卷积
‑
pixelshuffle组合层的组合特征图。
[0023]进一步地，所述卷积
‑
pixelshuffle组合层，用于增大所输入组合特征图的图像分辨率，输出具备目标分辨率的目标视频帧。
[0024]进一步地，该方法还包括：
[0025]采用预先确定的训练样本数据集，对初始超分辨率网络模型进行训练，获得超分辨率网络模型。
[0026]进一步地，所述训练样本数据集包括：
[0027]训练数据及相对应的标签数据；
[0028]所述标签数据为样本视频流中各样本视频帧；
[0029]所述训练数据为对所述样本视频流中各样本视频帧进行压缩编码及解码处理后的压缩视频帧。
[0030]第二方面，本申请实施例提供了一种视频处理装置，包括：
[0031]数据获取模块，用于获得解码后的当前视频帧，所述当前视频帧在发送端通过压缩编码后传输至执行终端；
[0032]数据输入模块，用于将所述当前视频帧作为输入数据，输入至预训练的超分辨率网络模型，所述超分辨率网络模型包括至少一个以U型网络结构设计的轻量网络模块；
[0033]数据处理模块，用于采用所述超分辨率网络模型对所述当前视频帧进行处理，获得具备目标分辨率的目标视频帧。
[0034]第三方面，本申请实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；
[0035]所述存储器，用于存储一个或多个程序；
[0036]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的视频处理方法。
[0037]第四方面，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的视频处理方法。
[0038]上述提供的一种视频处理方法、装置、计算机设备及存储介质，该方法首先获得解码后的当前视频帧，其中，当前视频帧在发送端通过压缩编码后传输至执行终端；之后将当前视频帧作为输入数据，输入至预训练的超分辨率网络模型，该超分辨率网络模型中包括至少一个以U型网络结构设计的轻量网络模块；最终采用该超分辨率网络模型能够对当前视频帧进行处理，并获得具备目标分辨率的目标视频帧。本实施例上述技术方案，在需要对压缩后视频的分辨率进行恢复操作时，可以通过本实施例中提供的超分辨率网络模型来快速实现视频帧分辨率的恢复。相比现有的深度学习算法，所采用的超分辨率网络模型具备有多个U型网络结构的轻量网络模块，通过多个轻量网络模块的级联，实现了模型结构的简化，加快了模型运算速度的同时也提升了模型性能，也提高了模型到移动终端等边端设备上的可移植性；从而保证了视频数据的实时有效处理，同时还保证所重构视频(即，恢复视频分辨率后的视频)具备更优的质量。
附图说明
[0039]通过阅读本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获得解码后的当前视频帧，所述当前视频帧在发送端通过压缩编码后传输至执行终端；将所述当前视频帧作为输入数据，输入至预训练的超分辨率网络模型，所述超分辨率网络模型包括至少一个以U型网络结构设计的轻量网络模块；采用所述超分辨率网络模型对所述当前视频帧进行处理，获得具备目标分辨率的目标视频帧。2.根据权利要求1所述的方法，其特征在于，U型网络结构的所述轻量网络模块包括：下采样网络单元和上采样网络单元；所述下采样网络单元及所述上采样网络单元中分别包括设定个数的下采样卷积层和上采样组合层；各所述上采样组合层由一个上采样卷积层和一个像素重组pixelshuffle层构成；各所述下采样卷积层按由上自下顺序依次连接，各所述上采样组合层按由下自上顺序依次连接，且一个下采样卷积层与一个上采样组合层中的上采样卷积层对应，并建立有跳连接。3.根据权利要求2所述的方法，其特征在于，在一个轻量网络模块中，各所述下采样卷积层分别用于将下采样输入特征图的图像尺寸缩小第一倍数，以及将下采样输入特征图的通道量增大第二倍数，输出下采样特征图；各所述下采样卷积层的下采样输入特征图为：前一下采样卷积层输出的下采样特征图，或者，前一轻量网络模块输出的模块特征图，或者，当前视频帧的原始特征图；各所述上采样组合层分别用于将上采样输入特征图的图像尺寸增大所述第一倍数，以及将下采样输入特征图的通道量缩小第二倍数，输出上采样特征图；首个上采样组合层的上采样输入特征图为：末个下采样卷积层输出的下采样特征图；非首个上采样组合层关联的上采样输入特征图为：前一上采样组合层所输出上采样特征图与所关联各下采样卷积层所输出下采样特征图的拼接。4.根据权利要求2所述的方法，其特征在于，所述超分辨率网络模型还包括：卷积
‑
pixelshuffle组合层，所述卷积
‑
pixelshuffle组合层与末个轻量网络模...

【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：