视频超分增强方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视频超分增强方法、装置、计算机设备和存储介质。本申请能够把去压缩模型和轻量级的超分模型组合起来使用，使得传统的复杂的超分模型简化，降低了对硬件算力的要求，并能达到实时增强视频的需求。该方法包括：将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；通过梯度算子针对第一视频帧进行处理，得到梯度图；以梯度图中的梯度作为权重，针对第一视频帧和第二视频帧进行混合加权运算，得到第三视频帧；将第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；将低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。

【技术实现步骤摘要】
视频超分增强方法、装置、计算机设备和存储介质
本申请涉及图像处理
，特别是涉及一种视频超分增强方法、装置、计算机设备和存储介质。
技术介绍
随着5G通信技术的发展和普及，高清视频正成为5G应用中典型的落地场景之一。5G通信技术提高了网络数据传输的阈值上限，但由于高清视频传输所需的带宽仍然偏大，需要使用数字视频编解码技术结合各种性能优越的视频编码标准针对视频进行各种编解码变换，以降低视频数据传输所需要的带宽，但同时也带来了视频压缩后画质下降的问题。因此，视频增强技术作为视频画质恢复的关键技术，逐渐受到了关注。目前多使用视频超分技术对低码率视频进行画质增强，视频超分技术是一项底层图像处理任务，是将低分辨率的图像映射至高分辨率，以期达到增强图像细节的作用。但目前的视频超分技术对硬件算力的要求较高，不能适用于一般的硬件设备上，不是对所有设备都具有普适性。
技术实现思路
基于此，有必要针对上述技术问题，提供一种视频超分增强方法、装置、计算机设备和存储介质。一种视频超分增强方法，所述方法包括：将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；通过梯度算子针对所述第一视频帧进行处理，得到梯度图；以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。在其中一个实施例中，所述以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧，包括：获取所述梯度图中的梯度矩阵；对所述梯度矩阵进行归一化处理，得到归一化后的梯度矩阵；使用预设的混合加权公式结合所述归一化的梯度矩阵对所述第一视频帧中的像素数值矩阵和所述第二视频帧中的像素数值矩阵进行运算，得到所述第三视频帧。在其中一个实施例中，所述预设的混合加权公式为：P3＝P1×ω1+P2×(1-ω1)其中，P3为所述第三视频帧的像素数值矩阵，P1为所述第一视频帧的像素数值矩阵，P2为所述第二视频帧的像素数值矩阵；ω1为归一化后的梯度矩阵。在其中一个实施例中，所述将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片之前，所述方法包括：获取包含多个超分倍数的视频帧作为训练样本；利用所述训练样本对待训练的超分模型进行训练，得到所述预先构建的超分模型。在其中一个实施例中，所述将所述低码率视频对应的各增强图片输入视频编码器中编码之前，还包括：对所述各增强图片进行图像锐化和色彩增强处理。在其中一个实施例中，所述梯度算子至少包括Roberts算子、Prewitt算子和Sobel算子的其中之一。在其中一个实施例中，所述去压缩模型是基于低通滤波器构建的；其中低通滤波器包括高斯低通滤波器或者巴特沃斯低通滤波器中的至少一种。一种视频超分增强装置，所述装置包括：视频解码模块，用于将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；噪声去除模块，用于将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；梯度计算模块，用于通过梯度算子针对所述第一视频帧进行处理，得到梯度图；视频帧加权模块，用于以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；超分处理模块，用于将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；视频编码模块，用于将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的视频超分增强方法实施例中的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视频超分增强方法实施例中的步骤。上述视频超分增强方法、装置、计算机设备和存储介质，通过将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；通过梯度算子针对第一视频帧进行处理，得到梯度图；以梯度图中的梯度作为权重，针对第一视频帧和第二视频帧进行混合加权运算，得到第三视频帧；将第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；将低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。该方法把去压缩模型和轻量级的超分模型组合起来使用，使得传统的复杂的超分模型简化，降低了对硬件算力的要求，并能达到实时增强视频的需求。附图说明图1为一个实施例中视频超分增强方法的流程示意图；图2为另一个实施例中视频超分增强方法的流程示意图；图3为一个实施例中视频超分增强装置的结构框图；图4为一个实施例中计算机设备的内部结构图；图5为另一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的视频超分增强方法，可以应用于终端或者服务器，其中终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备以及车载终端上。在一个实施例中，如1所示，提供了一种视频超分增强方法，以该方法应用于终端为例进行说明，包括以下步骤：步骤S101，将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；其中，低码率视频是指原始视频，例如在移动终端上通过无线通信网络获取的原始视频由于受到带宽限制的原因，导致视频是不清楚的。视频码率是指视频数据传输时单位时间传送的数据位数。在同样的分辨率下，视频数据量越大(也就是码率越高)，越清晰，质量也越好。视频解码器，是指一个能够对数字视频进行解压缩的程序或者设备。具体地，终端将原始视频即不够清楚的低码率视频输入视频解码器中解码，由于受到带宽限制，终端接收到的原始视频往往是经过压缩过的视频数据，这种压缩往往是有损压缩，会使像素或者画质有所损伤导致不清晰，因此解码后得到的也是带有压缩噪声的一幅幅视频帧。步骤S102，将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；具体地，该去压缩模型可以为低通滤波器，可用于去除视频帧的压缩噪声。其中低通滤波器包括高斯低通滤波器或者巴特沃斯低通滤波器中的至少一种。将上述解码后得到的第一视频帧输入至压缩模型中去除压缩噪声，得到第二视频帧，即去除压缩噪声后的干净图片。步骤S103，通过梯度算子针对第一视频帧进行处理，得到梯度图；本文档来自技高网...

【技术保护点】
1.一种视频超分增强方法，其特征在于，所述方法包括：/n将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；/n将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；/n通过梯度算子针对所述第一视频帧进行处理，得到梯度图；/n以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；/n将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；/n将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。/n

【技术特征摘要】
1.一种视频超分增强方法，其特征在于，所述方法包括：
将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
通过梯度算子针对所述第一视频帧进行处理，得到梯度图；
以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；
将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；
将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。


2.根据权利要求1所述的方法，其特征在于，所述以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧，包括：
获取所述梯度图中的梯度矩阵；
对所述梯度矩阵进行归一化处理，得到归一化后的梯度矩阵；
使用预设的混合加权公式结合所述归一化的梯度矩阵对所述第一视频帧中的像素数值矩阵和所述第二视频帧中的像素数值矩阵进行运算，得到所述第三视频帧。


3.根据权利要求2所述的方法，其特征在于，所述预设的混合加权公式为：
P3＝P1×ω1+P2×(1-ω1)
其中，P3为所述第三视频帧的像素数值矩阵，P1为所述第一视频帧的像素数值矩阵，P2为所述第二视频帧的像素数值矩阵；ω1为归一化后的梯度矩阵。


4.根据权利要求1所述的方法，其特征在于，所述将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片之前，所述方法包括：
获取包含多个不同分辨率的视频帧作为训练样本；
利用所述训练样本对待训练的超分模型进行训练，得到所述预先构建的超分模型。
<...

【专利技术属性】
技术研发人员：丘海华，蒋念娟，周昆，江聚勇，陈杰，贾佳亚，沈小勇，吕江波，
申请(专利权)人：深圳思谋信息科技有限公司，上海思谋科技有限公司，
类型：发明
国别省市：广东;44