视频处理方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了一种视频处理方法、装置、存储介质及电子设备，该视频处理方法包括：获取具有第一分辨率的待编码视频；将该待编码视频输入已训练的可逆神经网络进行处理，得到该可逆神经网络正向输出的具有第二分辨率的下采样视频，该第二分辨率小于该第一分辨率，其中，该可逆神经网络中的损失函数是根据样本视频中的目标感知区域设定的；对该下采样视频进行编码，得到该待编码视频对应的编码视频，从而能适用于各种分辨率视频图像的编解码，避免出现方块效应和振铃效应，有效提高了编解码视频质量。质量。质量。

【技术实现步骤摘要】
视频处理方法、装置、存储介质及电子设备


[0001]本申请属于图像处理
，尤其涉及一种视频处理方法、装置、存储介质及电子设备。

技术介绍

[0002]视频在日常生活中具有重要的作用，视频通话、短视频拍摄、视频观看等。随着网络技术的发展，海量的视频数据对视频的传输、存储以及处理带来了巨大挑战，视频编解码技术变得至关重要。
[0003]视频编解码是计算机视觉领域的一项基础任务，能够极大的减少存储视频所需的存储空间，并降低网络通信的带宽。近年来，视频压缩技术得到了快速的发展，AVC视频编解码标准和HEVC视频编解码标准是目前广泛使用的视频编解码标准，其是采用率失真优化的方法来平衡码率和失真之间的关系。但是，在利用这两种视频编解码方法对高分辨率的视频图像进行编解码时，容易出现方块效应和振铃效应，严重影响了编解码视频质量。

技术实现思路

[0004]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种视频处理方法、装置、存储介质及电子设备，适用于各种分辨率视频图像的编解码，能有效提高编解码视频质量。
[0005]第一方面，本申请提供了一种视频处理方法，包括：
[0006]获取具有第一分辨率的待编码视频；
[0007]将所述待编码视频输入已训练的可逆神经网络进行处理，得到所述可逆神经网络正向输出的具有第二分辨率的下采样视频，所述第二分辨率小于所述第一分辨率，其中，所述可逆神经网络中的损失函数是根据样本视频中的目标感知区域设定的；
[0008]对所述下采样视频进行编码，得到所述待编码视频对应的编码视频。
[0009]在一些实施例中，所述视频处理方法还包括：
[0010]对所述编码视频进行解码，得到解码视频；
[0011]将所述解码视频输入所述可逆神经网络进行处理，得到所述可逆神经网络反向输出的具有所述第一分辨率的上采样视频。
[0012]在一些实施例中，所述视频处理方法还包括：
[0013]提取所述样本视频中的目标感知区域；
[0014]根据所述目标感知区域设定所述可逆神经网络的损失函数；
[0015]根据所述样本视频和所述损失函数对所述可逆神经网络进行训练。
[0016]在一些实施例中，所述根据所述样本视频和所述损失函数对所述可逆神经网络进行训练，包括：
[0017]将所述样本视频输入所述可逆神经网络进行处理，得到所述可逆神经网络正向输出的第一处理视频，所述第一处理视频的分辨率小于所述样本视频的分辨率，且包含所述
样本视频中的高频信息和低频信息；
[0018]对所述第一处理视频进行编码压缩，得到视频码流；
[0019]对所述视频码流进行解码，得到第二处理视频；
[0020]将所述第二处理视频输入所述可逆神经网络进行处理，得到所述可逆神经网络反向输出的重建视频，所述重建视频和所述样本视频具有相同的分辨率；
[0021]根据所述损失函数，确定所述重建视频中每个像素点与所述样本视频中相应像素点之间的像素差值，作为损失值；
[0022]根据所述损失值反向调整所述可逆神经网络的模型参数，以对所述可逆神经网络进行训练。
[0023]在一些实施例中，所述损失函数包括第一损失函数和第二损失函数，所述根据所述目标感知区域设定所述可逆神经网络的损失函数，包括：
[0024]设定第一损失函数，所述第一损失函数用于计算重建视频中的目标像素点和所述样本视频中相应像素点之间的像素差值，所述目标像素点与所述目标感知区域相对应；
[0025]设定第二损失函数，所述第二损失函数用于计算所述重建视频中除所述目标像素点之外的其它像素点与所述样本视频中相应像素点之间的像素差值。
[0026]在一些实施例中，所述提取所述样本视频中的目标感知区域，包括：
[0027]利用预设的边缘检测算法，提取所述样本视频中的边缘区域；
[0028]利用预设的对象检测算法，提取所述样本视频中运动对象所在的区域；
[0029]将所述边缘区域和所述运动对象所在的区域作为目标感知区域。
[0030]在一些实施例中，所述利用预设的对象检测算法，提取所述样本视频中运动对象所在的区域，包括：
[0031]将所述样本视频中的第一帧视频图像作为背景图像，并获取所述样本视频中的剩余帧视频图像；
[0032]确定所述剩余帧视频图像中每帧视频图像中的像素点与所述背景图像中相应像素点之间的像素差值，得到差分值；
[0033]根据所述差分值提取所述样本视频中运动对象所在的区域。
[0034]在一些实施例中，所述根据所述差分值提取所述样本视频中运动对象所在的区域，包括：
[0035]提取所述剩余帧视频图像中所述差分值大于预设阈值的所述像素点；
[0036]将提取的所述像素点构成的区域，作为运动对象所在的区域。
[0037]第二方面，本申请提供了一种视频处理装置，包括：
[0038]获取模块，用于获取具有第一分辨率的待编码视频；
[0039]输入模块，用于将所述待编码视频输入已训练的可逆神经网络进行处理，得到所述可逆神经网络正向输出的具有第二分辨率的下采样视频，所述第二分辨率小于所述第一分辨率，其中，所述可逆神经网络中的损失函数是根据样本视频中的目标感知区域设定的；
[0040]编码压缩模块，用于对所述下采样视频进行编码压缩，得到所述待编码视频对应的编码视频。
[0041]在一些实施例中，所述视频处理装置还包括解码重建模块，用于：
[0042]对所述编码视频进行解码，得到解码视频；
[0043]将所述解码视频输入所述可逆神经网络进行处理，得到所述可逆神经网络反向输出的具有所述第一分辨率的上采样视频。
[0044]在一些实施例中，所述视频处理装置还包括训练模块，用于：
[0045]提取所述样本视频中的目标感知区域；
[0046]根据所述目标感知区域设定所述可逆神经网络的损失函数；
[0047]根据所述样本视频和所述损失函数对所述可逆神经网络进行训练。
[0048]在一些实施例中，所述训练模块具体用于：
[0049]将所述样本视频输入所述可逆神经网络进行处理，得到所述可逆神经网络正向输出的第一处理视频，所述第一处理视频的分辨率小于所述样本视频的分辨率，且包含所述样本视频中的高频信息和低频信息；
[0050]对所述第一处理视频进行编码压缩，得到视频码流；
[0051]对所述视频码流进行解码，得到第二处理视频；
[0052]将所述第二处理视频输入所述可逆神经网络进行处理，得到所述可逆神经网络反向输出的重建视频，所述重建视频和所述样本视频具有相同的分辨率；
[0053]根据所述损失函数，确定所述重建视频中每个像素点与所述样本视频中相应像素点之间的像素差值，作为损失值；
[0054]根据所述损失值反向调整所述可逆神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取具有第一分辨率的待编码视频；将所述待编码视频输入已训练的可逆神经网络进行处理，得到所述可逆神经网络正向输出的具有第二分辨率的下采样视频，所述第二分辨率小于所述第一分辨率，其中，所述可逆神经网络中的损失函数是根据样本视频中的目标感知区域设定的；对所述下采样视频进行编码，得到所述待编码视频对应的编码视频。2.根据权利要求1所述的视频处理方法，其特征在于，所述视频处理方法还包括：对所述编码视频进行解码，得到解码视频；将所述解码视频输入所述可逆神经网络进行处理，得到所述可逆神经网络反向输出的具有所述第一分辨率的上采样视频。3.根据权利要求1所述的视频处理方法，其特征在于，所述视频处理方法还包括：提取所述样本视频中的目标感知区域；根据所述目标感知区域设定所述可逆神经网络的损失函数；根据所述样本视频和所述损失函数对所述可逆神经网络进行训练。4.根据权利要求3所述的视频处理方法，其特征在于，所述根据所述样本视频和所述损失函数对所述可逆神经网络进行训练，包括：将所述样本视频输入所述可逆神经网络进行处理，得到所述可逆神经网络正向输出的第一处理视频，所述第一处理视频的分辨率小于所述样本视频的分辨率，且包含所述样本视频中的高频信息和低频信息；对所述第一处理视频进行编码压缩，得到视频码流；对所述视频码流进行解码，得到第二处理视频；将所述第二处理视频输入所述可逆神经网络进行处理，得到所述可逆神经网络反向输出的重建视频，所述重建视频和所述样本视频具有相同的分辨率；根据所述损失函数，确定所述重建视频中每个像素点与所述样本视频中相应像素点之间的像素差值，作为损失值；根据所述损失值反向调整所述可逆神经网络的模型参数，以对所述可逆神经网络进行训练。5.根据权利要求3所述的视频处理方法，其特征在于，所述损失函数包括第一损失函数和第二损失函数，所述根据所述目标感知区域设定所述可逆神经网络的损失函数，包括：设定第一损失函数，所述第一损失函数用于计算重建视频中的目标像素点和所述样本视频中相应像素点之间的像素差值，所述目标像素点与所述目标感知区域相对应；设定第二损失函数，所述第二损失函数用于计算所述重建视频中除所述目标像素点之外的其它像素点与所述样本视频中相应像素点之间的像素差值。6.根据权利要求3所述的视频处理方法，其特征在于，所述提取所述样本视频中的目标感知区域，包括：利用预设的边缘检测算法，提取所述样本视频中的边缘区域；利用预设的对象检测算法，提取所述样本视频中运动对象所在的区域；将所述边缘区域和所述运动对象所在的区域作为目标感知区域。7.根据权利要求6所述的视频处理方法，其特征在于，所述利用预设的对象检测算法，
提取所述样本视频中运动对象所在的区域，包括：将所述样本视频中的第一帧视频图像作为背景图像，并获取所述样本视频中的剩余帧视频图像；确定所述剩余帧视频图像中每帧视频图像中的像素点与所述背景图像中相应像素点之间的像素差值，得到差分值；根据所述差分值提取所述样本视频中运动对象所在的区域。8.根据权利要求7所述的视频处理方法，其特征在于，所述根据所述差分值提取所述样本视频中运动对象所在的区域，包括：提取所述剩余帧视频图像中所述差分值大于预设阈值的所述像素点；将提取的所述像素点构成的区域，作为运动对象所在的区域。9.一种视频处理装置，其特征在于，包括：获取模块，用于获取具有第一分辨率的待编码视频；输入模块，用于将所述待编码视频输入已训练的可逆神经网络进行处理，...

【专利技术属性】
技术研发人员：凌强，王健，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：