视频处理方法及装置制造方法及图纸

本申请实施例提供一种视频处理方法，方法包括：获取

【技术实现步骤摘要】
视频处理方法及装置


[0001]本申请涉及机器学习领域，特别涉及一种视频处理方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]视频超分辨率技术是一种将模糊的低分辨率视频通过算法处理转化为清晰的高分辨率视频的技术
。
通过视频超分辨率技术，可以使用户观赏到画质更高的视频，提高用户体验
。
[0003]目前，视频超分辨率技术的实现方式有三种：基于插值的方法
、
基于重建的方法和基于机器学习的方法
。
基于机器学习的视频超分辨率技术虽然在泛化性和效果上要优于前两者，但是对计算能力的要求较高，推理速度较慢，实时性较差
。

技术实现思路

[0004]本申请的目的在于提供一种视频处理方法，装置
、
计算机设备及存储介质，用于解决目前基于机器学习的视频超分辨率技术推理速度较慢
、
实时性较差的技术问题
。
[0005]本申请实施例的一个方面提供了一种视频处理方法，包括：获取
N
对图像对，
N
对图像对包括
N
个高分辨率图像和
N
个与高分辨率图像一一对应的低分辨率图像，
N
为正整数；将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，其中生成对抗网络中的生成器用于将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，低频分量经过下采样后进行重建，生成对抗网络中的判别器用于对伪高分辨率图和高分辨率图像进行判别；获取训练好的生成对抗网络中的生成器作为超分模型；获取目标视频的每一视频帧，将视频帧输入至超分模型中，以得到超分后的目标视频
。
[0006]可选地，获取
N
对图像对，包括：获取
N
个高分辨率图像；采用若干层退化矩阵对每一高分辨率图像进行退化，以得到低分辨图像，其中，每一层退化矩阵随机采样至多一种退化方式对图像数据进行退化，退化方式包括模糊退化
、
下采样退化
、
压缩退化
、
缩放退化和噪声退化中的至少部分退化方式
。
[0007]可选地，生成器包括低频处理模块和高频处理模块，将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，包括：将低频分量经过下采样后使用低频处理模块进行特征重建，得到第一特征重建图像数据，并将高频分量使用高频处理模块进行特征重建，得到第二特征重建图像数据；将第一特征重建图像数据上采样后与第二特征重建图像数据进行特征融合，得到特征融合的图像数据；根据预设的超分倍数对特征融合的图像数据进行上采样，以得到伪高分辨率图像
。
[0008]可选地，获取
N
对图像对，包括：按照预设间隔对预设画质的第一视频集中的视频进行抽帧，得到高分辨率图像；对第一视频集中的视频进行下采样得到第二视频集；按照预设间隔对第二视频集中的视频进行抽帧，采用若干层退化矩阵对抽帧得到图像数据进行退
化，以得到低分辨率图像，其中，每一层退化矩阵随机采样一种退化方式对图像数据进行退化，退化方式包括模糊退化
、
下采样退化
、
压缩退化
、
缩放退化和噪声退化中的至少部分退化方式
。
[0009]可选地，对第一视频集中的视频进行下采样得到第二视频集，包括：对第一视频集中的视频进行下采样，并在下采样过程中加入随机的固定码率因子参数得到第二视频集
。
[0010]可选地，将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，还包括：在训练的过程中，根据自适应学习策略进行学习，以得到训练好的生成对抗网络，其中，自适应学习策略包括伪高分辨率图像与高分辨图像之间的均方差损失和生成对抗损失
。
[0011]可选地，方法还包括：根据峰值信噪比和结构相似性指数验证训练后的生成对抗网络；在峰值信噪比和结构相似性指数验证均通过之后，得到训练好的生成对抗网络
。
[0012]本申请实施例的一个方面又提供了一种视频处理装置，包括：第一获取模块，用于获取
N
对图像对，
N
对图像对包括
N
个高分辨率图像和
N
个与高分辨率图像一一对应的低分辨率图像，
N
为正整数；训练模块，用于将图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，其中生成对抗网络中的生成器用于将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，低频分量经过下采样后进行重建，生成对抗网络中的判别器用于对伪高分辨率图和高分辨率图像进行判别；第二获取模块，用于获取训练好的生成对抗网络中的生成器作为超分模型；超分模块，用于获取目标视频的每一视频帧，将视频帧输入至超分模型中，以得到超分后的目标视频
。
[0013]本申请实施例的一个方面又提供了一种计算机设备，计算机设备包括存储器
、
处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时用于实现上述的视频处理方法的步骤
。
[0014]本申请实施例的一个方面又提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序可被至少一个处理器所执行，以使至少一个处理器执行上述的视频处理方法的步骤
。
[0015]本申请实施例提供的视频处理方法
、
装置
、
计算机设备及存储介质，包括以下优点：
[0016]通过获取
N
对图像对，将图像对输入至预先构建的生成对抗网络进行训练，通过生成对抗网络的生成器将低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，且低频分量经过下采样后进行重建，生成对抗网络中的判别器则对伪高分辨率图像与高分辨率图像进行判别；获取训练好的生成对抗网络中的生成器作为超分模型对低分辨率视频进行修复，由于低频分量经过下采样后再进行重建，信息丢失较少且能有效节省算力，因此可以在保证超分效果的同时降低对计算能力的要求，提高超分模型推理的速度和推理的实时性
。
附图说明
[0017]图1示意性示出了本申请实施例一的视频处理方法的流程图；
[0018]图2为图1中步骤
S110
的子步骤的流程图；
[0019]图3为对高分辨率图像退化得到低分辨率图像的原理示意图；
[0020]图4为图1中步骤
S120
的子步骤的流程图；
[0021]图5为根据低分辨率图像生成伪高分辨率图像的原理示意图；
[0022]图6为图1中步骤
S110
的另一子步骤的流程图；
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频处理方法，其特征在于，包括：获取
N
对图像对，所述
N
对图像对包括
N
个高分辨率图像和
N
个与所述高分辨率图像一一对应的低分辨率图像，所述
N
为正整数；将所述图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，其中所述生成对抗网络中的生成器用于将所述低分辨率图像分为低频分量和高频分量两个部分进行重建得到伪高分辨率图像，所述低频分量经过下采样后进行重建，所述生成对抗网络中的判别器用于对所述伪高分辨率图和所述高分辨率图像进行判别；获取所述训练好的生成对抗网络中的生成器作为超分模型；获取目标视频的每一视频帧，将所述视频帧输入至所述超分模型中，以得到超分后的目标视频
。2.
根据权利要求1所述的视频处理方法，其特征在于，所述获取
N
对图像对，包括：获取
N
个高分辨率图像；采用若干层退化矩阵对每一所述高分辨率图像进行退化，以得到所述低分辨图像，其中，每一层所述退化矩阵随机采样至多一种退化方式对图像数据进行退化，所述退化方式包括模糊退化
、
下采样退化
、
压缩退化
、
缩放退化和噪声退化中的至少部分退化方式
。3.
根据权利要求2所述的视频处理方法，其特征在于，所述生成器包括低频处理模块和高频处理模块，所述将所述图像对输入至预先构建的生成对抗网络中进行训练，得到训练好的生成对抗网络，包括：将所述低频分量经过下采样后使用所述低频处理模块进行特征重建，得到第一特征重建图像数据，并将所述高频分量使用高频处理模块进行特征重建，得到第二特征重建图像数据；将所述第一特征重建图像数据上采样后与所述第二特征重建图像数据进行特征融合，得到特征融合的图像数据；根据预设的超分倍数对所述特征融合的图像数据进行上采样，以得到所述伪高分辨率图像
。4.
根据权利要求1所述的视频处理方法，其特征在于，所述获取
N
对图像对，包括：按照预设间隔对预设画质的第一视频集中的视频进行抽帧，得到所述高分辨率图像；对所述第一视频集中的视频进行下采样得到第二视频集；按照所述预设间隔对所述第二视频集中的视频进行抽帧，采用若干层退化矩阵对抽帧得到图像数据进行退化，以得到所述低分辨率图像，其中，每一层所述退化矩阵随机采样一种退化方式对图像数据进行退化，所述退化方式包括模糊退化
、
...

【专利技术属性】
技术研发人员：徐嘉文，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：