帧间预测的方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种帧间预测的方法、装置、电子设备及介质。本申请中，将参考帧输入到预设的第一时序学习模型中，推理一段时间内时空域的变化规律，并依据此导出初始预测信号；获取参考帧与待编码帧的高维特征，并将高维特征与初始预测信号融合到预设的第二时序学习模型中，得到扩展运动信息；基于扩展运动信息，对初始预测信号调整和增强。通过应用本申请的技术方案，可以实现一种利用第一时序学习模型提取用于表征若干个相邻的参考帧在时空域的变化规律的时域转换特征，导出内在运动信息，并利用第二序学习模型，学习扩展运动信息并以此得到预测帧。从而达到避免相关技术中出现的，采用固有的运动信息进行帧间预测会导致帧间预测的效果不佳的问题。预测的效果不佳的问题。预测的效果不佳的问题。

【技术实现步骤摘要】
帧间预测的方法、装置、电子设备及介质


[0001]本申请中涉及图像数据处理技术，尤其是一种帧间预测的方法、装置、电子设备及介质。

技术介绍

[0002]深度学习在传统计算机视觉任务上不断取得突破。结合深度神经网络与非线性激活函数，端到端图像编码算法在编码效率上已经超越最先进的传统图像标准VVC。除了空域相关性，视频具有更加复杂的时域相关性，需要引入帧间预测模块来去除时域冗余。其中，帧间预测主要包含运动表示、运动估计和运动补偿等部分组成。
[0003]其中，现有的图像压缩方法往往采用遵循亮度恒定假设的像素级的光流作为运动信息，结合反向映射（Backward Warping）进行运动补偿。然而，这样的方式在复杂编码场景下会导致帧间预测的效果不佳的问题。

技术实现思路

[0004]本申请实施例提供一种帧间预测的方法、装置、电子设备及介质。用以解决相关技术中存在的，采用固有的运动信息进行帧间预测会导致帧间预测的效果不佳的问题。
[0005]其中，根据本申请实施例的一个方面，提供的一种帧间预测的方法，包括：将参考帧输入到预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种帧间预测的方法，其特征在于，包括：将参考帧输入到预设的第一时序学习模型中，得到初始预测信号；获取所述参考帧与待编码帧的高维特征，并将所述高维特征与所述初始预测信号输入到预设的第二时序学习模型中，得到扩展运动信息；基于所述扩展运动信息，对所述初始预测信号进行帧间调整增强，得到预测帧。2.如权利要求1所述的方法，其特征在于，所述获取所述参考帧与待编码帧的高维特征，包括：将所述参考帧与所述待编码帧转换为输入向量；将所述输入向量输入到编码器中，提取所述输入向量的所述高维特征，所述高维特征用于反映所述参考帧的颜色、纹理、形状以及空间关系。3.如权利要求2所述的方法，其特征在于，在所述将所述输入向量输入到编码器中，提取所述输入向量的所述高维特征之后，还包括：将所述高维特征进行量化，得到量化特征；将所述量化特征输入到解码器中进行解析，得到解析后的高维特征；将所述解析后的高维特征与时域转换特征输入到预设的第二时序学习模型中，得到所述扩展运动信息。4.如权利要求1所述的方法，其特征在于，所述将参考帧输入到预设的第一时序学习模型中，得到所述参考帧对应的初始预测信号，包括：将所述参考帧输入到所述第一时序学习模型中，得到用于反...

【专利技术属性】
技术研发人员：马思伟，林凯，贾川民，王苫社，冯亚楠，周效军，李琳，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：