视频压缩处理方法、装置、存储介质和电子设备制造方法及图纸

本公开公开了一种视频压缩处理方法、装置、存储介质和电子设备，其中的视频压缩处理方法包括：确定当前帧图像以及历史帧图像的重建帧；通过第一神经网络模型对当前帧图像与历史帧图像的重建帧进行处理，获得当前帧图像的压缩数据以及当前帧图像的预测帧；根据当前帧图像的预测帧以及当前帧图像，确定当前帧图像对应的残差图像；通过第二神经网络模型对残差图像进行处理，获得残差图像的压缩数据以及当前帧图像对应的重建残差图像；根据当前帧图像的预测帧以及当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。本公开提供的技术方案，能够降低训练优化难度，提高训练优化效率。

Video compression processing method, device, storage medium and electronic equipment

【技术实现步骤摘要】
视频压缩处理方法、装置、存储介质和电子设备
本公开涉及视频处理
，尤其涉及一种视频压缩处理方法、装置、存储介质和电子设备。
技术介绍
随着视频数据在分辨率、帧率等方面的不断发展，视频压缩成为了视频传输、视频存储、视频广播等视频服务的基础。传统的视频压缩技术通常是使用高性能视频编码(HighEfficiencyVideoCoding，以下简称：HEVC)标准、H.264视频压缩编码标准、H.265视频压缩编码标准等提供的视频压缩处理框架。相关技术中所使用的视频压缩处理框架内部，其中对视频帧图像进行压缩过程中，通常会使用独立的编码器和解码器，其中的编码器用于对视频帧图像进行压缩编码得到压缩数据，而解码器基于上述压缩数据得到预测帧或者重建帧。专利技术人在实现本专利技术的过程中发现：上述相关的视频压缩处理框架由于不能够进行端到端的联合优化，存在无法提高整个视频压缩处理框架的压缩编码性能，进而提升视频压缩效率和准确率的缺陷。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种视频压缩处理方法、装置、存储介质和电子设备。根据本公开的一个方面，提供了一种视频压缩处理方法，包括：确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及所述当前帧图像的预测帧；根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。根据本公开的另一方面，提供了一种视频压缩处理装置，包括：第一确定模块，用于确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；第一压缩模块，用于通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及所述当前帧图像的预测帧；第二确定模块，用于根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；第二压缩模块，用于通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；第三确定模块，用于根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。根据本专利技术的再一个方面，提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述的视频压缩处理方法。根据本专利技术的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储该处理器可执行指令的存储器；上述处理器，用于从存储器中读取可执行指令，并执行该指令以实现上述的视频压缩处理方法。本公开实施例提供的视频压缩处理的技术方案，其中包括第一神经网络模型和第二神经网络模型，其中第一神经网络模型能够对当前帧图像，所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及所述当前帧图像的预测帧，并进一步可以根据该预测帧和原始的当前帧图像确定残差图像，该残差图像可以用以评价第一神经网络模型的优劣，在第一神经网络训练较佳时，残差图像越小；而第二神经网络模型又可以将残差图像进行处理得到残差图像的压缩数据，以及对应的重建残差图像；其中的重建残差图像可以对第一神经网络得到的预测帧进行补偿以得到重建帧，使得该第二神经网络模型可以对第一神经网络模型的结果起到纠错和补偿的作用。上述由第一神经网络模型和第二神经网络模型构成的视频压缩处理架构是一种基于深度学习的处理架构，能够进行端到端的联合优化，因此能够大大提高整个视频压缩处理框架的压缩编码性能，提高视频压缩效率和准确率。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1为本公开实施例所适用的视频压缩处理框架的一种框架示意图。图2是本公开一示例性实施例提供的视频压缩处理方法的流程示意图。图3是本公开一示例性实施例提供的帧间编码处理方法的流程示意图。图4是本公开一示例性实施例提供的帧间解码处理方法的流程示意图。图5是图3和图4所示实施例中的具体步骤示意图。图6是本公开一示例性实施例提供的第一特征图获取的方式一的流程图图7是本公开一示例性实施例提供的第一特征图获取的方式二的流程图。图8是图3和图4所示实施例中空间先验信息获取方式的流程示意图。图9是图8所示实施例中3D掩模卷积核的示意图。图10是图3和图4所示实施例中小尺寸先验信息获取方式的流程示意图。图11是本公开一示例性实施例提供的残差图像编码处理方法的流程示意图。图12是本公开一示例性实施例提供的残差图像的解码处理方法的流程示意图。图13为本公开实施例所适用的视频压缩处理框架的另一种框架示意图。图14是本公开另一示例性实施例提供的视频压缩处理方法的流程示意图。图15是本公开一示例性实施例提供的基准帧图像编码处理方法的流程示意图。图16是本公开一示例性实施例提供的基准帧图像的解码处理方法的流程示意图。图17是图15和图16所示实施例中空间先验信息获取方法的流程示意图。图18是图15和图16所示实施例中小尺寸先验信息获取方法的流程示意图。图19是本公开一示例性实施例提供的视频压缩处理装置的结构示意图。图20是本公开另一示例性实施例提供的视频压缩处理装置的结构示意图。图21是本公开一示例性实施例提供的电子设备的结构图。具体实施方式下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。申请概述针对相关技术中视频压缩技术所使用的视频压缩处理框架，存在不能够进行端到端的联合优化，无法提高整个视频压缩处理框架的压缩编码性能，进而提升视频压缩效率和准确率的缺陷。本公开实施例提供的技术方案中，在进行视频压缩处理方法中，通过第一神经网络模型进行帧间编解码处理，得到当前帧图像的压缩数据，又能够得到当前帧图像的预测帧，该预测帧可以和原始的当前帧图像确定残差图像；通过第二神经网络模型对残差图像进行编解码，得到残差图像的压缩数据，以及对应的重建残差图像，重建残差图像可以对第一神经网络得到的预测帧进行补偿以得本文档来自技高网...

【技术保护点】
1.一种视频压缩处理方法，包括：/n确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；/n通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据以及所述当前帧图像的预测帧；/n根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；/n通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；/n根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。/n

【技术特征摘要】
1.一种视频压缩处理方法，包括：
确定当前帧图像以及历史帧图像的重建帧，所述当前帧图像与所述历史帧图像之间距离N帧图像，N为正整数；
通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据以及所述当前帧图像的预测帧；
根据所述当前帧图像的预测帧以及所述当前帧图像，确定所述当前帧图像对应的残差图像；
通过第二神经网络模型对所述残差图像进行处理，获得所述残差图像的压缩数据以及所述当前帧图像对应的重建残差图像；
根据所述当前帧图像的预测帧以及所述当前帧图像对应的重建残差图像，确定当前帧图像的重建帧。


2.根据权利要求1所述的方法，其中，所述通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处理，获得所述当前帧图像的压缩数据，以及当前帧图像的预测帧，包括；
通过所述第一神经网络模型对所述当前帧图像，所述历史帧图像的重建帧进行处编码处理，获得当前帧图像的压缩数据；
通过所述第一神经网络模型对所述当前帧图像的压缩数据进行解码处理，获得所述当前帧图像的预测帧。


3.根据权利要求2所述的方法，其中，通过所述第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行处编码处理，以得到当前帧图像的压缩数据，包括：
对所述当前帧图像与所述历史帧图像的重建帧进行融合特征提取，获得当前帧图像对应的第一特征图；
确定所述第一特征图中每个位置点的量化特征值，以及所述第一特征图中每个位置点的概率预测值；
基于所述量化特征值和所述概率预测值，确定所述第一特征图中每个位置点的表征值；
确定所述当前帧图像的压缩数据，所述压缩数据包括所述每个位置点的表征值。


4.根据权利要求3所述的方法，其中，通过所述第一神经网络模型对所述当前帧图像的压缩数据进行解码处理，获得所述当前帧图像的预测帧，包括：
确定第一特征图中每个位置点的概率预测值；
基于所述压缩数据中每个位置点的表征值，以及每个位置点的概率预测值，确定每个位置点的量化特征值；
基于所述每个位置点的量化特征值，确定所述第一特征图；
基于所述第一特征图，确定二维光流图；
基于所述二维光流图，对所述历史帧图像的重建帧进行补偿，获得到所述当前帧图像的预测帧。


5.根据权利要求4所述的方法，其中，所述通过第一神经网络模型对所述当前帧图像与所述历史帧图像的重建帧进行融合特征提取，获取第一特征图，包括：
对所述当前帧图像与所述历史帧图像的重建帧进行级联操作，获得级联图像；
对所述级联图像进行融合特征提取，获得第一特征图；或者，
对所述当前帧图像进行特征提取，获得当前帧图像的特征图；
对所述历史帧图像的重建帧进行特征提取，获得历史帧图...

【专利技术属性】
技术研发人员：刘浩杰，申晗，黄李超，陆明，陈彤，马展，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11