视频图像的处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种视频图像的处理方法及装置、电子设备和存储介质，所述方法包括：针对当前时刻待复原的目标解码帧，对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻的先验估计，其中，所述参考帧至少包括前一时刻的复原帧；至少根据所述当前时刻的先验估计，得到当前时刻的复原帧。根据本公开实施例可降低复原帧的失真率。

【技术实现步骤摘要】
视频图像的处理方法及装置、电子设备和存储介质
本公开涉及图像处理
，尤其涉及一种视频图像的处理方法及装置、电子设备和存储介质。
技术介绍
视频压缩技术可以广泛的应用于各类视频的传输处理中，能够提高传输效率。但是进行视频压缩后的视频，会造成一定程度上的失真，影响视频的观看效果。相关技术中，通常可以结合时间域的信息处理视频图像，包括根据前一时刻的解码帧当前时刻的解码帧进行处理，减少视频图像的失真。但是相关技术中，视频不同时刻的解码帧的处理过程彼此独立，处理后得到的复原帧仍然具有较严重的失真问题。
技术实现思路
本公开提出了一种视频图像的处理方法及装置、电子设备和存储介质的技术方案。根据本公开的一方面，提供了一种视频图像的处理方法，包括：针对当前时刻待复原的目标解码帧，对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻的先验估计，其中，所述参考帧至少包括前一时刻的复原帧；至少根据所述当前时刻的先验估计，得到当前时刻的复原帧。在一种可能的实现方式中，所述方法还包括：根据所述目标解码帧，确定所述目标解码帧的测量值；其中，所述至少根据所述当前时刻的先验估计，得到当前时刻的复原帧，包括：对所述当前时刻的先验估计及所述目标解码帧的测量值进行融合处理，得到当前时刻的复原帧。在一种可能的实现方式中，所述方法还包括：对所述参考帧进行矩阵变换处理，得到当前时刻的状态转换矩阵；根据所述状态转换矩阵以及前一时刻的协方差矩阵，确定当前时刻的卡尔曼增益；其中，所述对所述当前时刻的先验估计及所述目标解码帧的测量值进行融合处理，得到当前时刻的复原帧，包括：根据所述当前时刻的卡尔曼增益，对所述当前时刻的先验估计及所述目标解码帧的测量值进行加权融合处理，得到当前时刻的复原帧。在一种可能的实现方式中，所述对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻的先验估计，包括：将所述前一时刻的复原帧输入第一状态估计网络中处理，得到当前时刻的先验估计。在一种可能的实现方式中，所述对所述参考帧进行矩阵变换处理，得到当前时刻的状态转换矩阵，包括：将所述前一时刻的复原帧输入第一矩阵变换网络中，得到当前时刻的状态转换矩阵。在一种可能的实现方式中，所述参考帧还包括所述目标解码帧，其中，所述对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻对应的先验估计，包括：将所述前一时刻的复原帧及所述目标解码帧输入所述第二状态估计网络中，得到当前时刻对应的先验估计。在一种可能的实现方式中，所述参考帧还包括所述目标解码帧，其中，所述对所述参考帧进行矩阵变换处理，得到当前时刻的状态转换矩阵，包括：将所述前一时刻的复原帧及所述目标解码帧输入第二矩阵变换网络中，得到当前时刻的状态转换矩阵。在一种可能的实现方式中，所述根据所述目标解码帧，确定所述目标解码帧的测量值，包括：从所述目标解码帧中获取预测残差和预测帧；将所述目标解码帧及所述预测残差输入残差恢复网络中，得到恢复后的预测残差；对所述恢复后的预测残差及所述预测帧进行融合处理，得到所述目标解码帧的测量值。在一种可能的实现方式中，所述第一状态估计网络包括第一卷积网络、第一线性整流ReLU网络、归一化网络、第一残差块网络、逆归一化网络及第二卷积网络，其中，将所述前一时刻的复原帧输入第一状态估计网络中处理，得到当前时刻的先验估计，包括：通过所述第一状态估计网络的第一卷积网络、第一线性整流ReLU网络、归一化网络、第一残差块网络、逆归一化网络及第二卷积网络，依次对所述前一时刻的复原帧进行处理，得到当前时刻的先验估计。在一种可能的实现方式中，所述第一矩阵变换网络包括：第三卷积网络、第二线性整流ReLU网络、第二残差块网络、第四卷积网络、矩阵变换网络及第一融合网络，其中，所述将所述前一时刻的复原帧输入第一矩阵变换网络中，得到当前时刻的状态转换矩阵，包括：通过所述第三卷积网络、第二线性整流ReLU网络、第二残差块网络、第四卷积网络、矩阵变换网络及第一融合网络，依次对所述前一时刻的复原帧进行处理，得到当前时刻的状态转换矩阵。在一种可能的实现方式中，所述第二状态网络包括：第一拼接网络、第一卷积网络、第一线性整流ReLU网络、归一化网络、第一残差块网络、逆归一化网络、第二卷积网络及第二融合网络，其中，将所述前一时刻的复原帧及所述目标解码帧输入所述第二状态估计网络中，得到当前时刻对应的先验估计，包括：通过所述第一拼接网络、第一卷积网络、第一线性整流ReLU网络、归一化网络、第一残差块网络、逆归一化网络、第二卷积网络及第二融合网络，依次对所述前一时刻的复原帧及所述目标解码帧进行处理，得到当前时刻的先验估计。在一种可能的实现方式中，所述第二矩阵变换网络包括：第一拼接网络、第三卷积网络、第二线性整流ReLU网络、第二残差块网络、第四卷积网络、矩阵变换网络及第一融合网络，其中，所述将所述前一时刻的复原帧及所述目标解码帧输入第二矩阵变换网络中，得到当前时刻的状态转换矩阵，包括：通过所述第一拼接网络、第三卷积网络、第二线性整流ReLU网络、第二残差块网络、第四卷积网络、矩阵变换网络及第一融合网络，依次对所述前一时刻的复原帧及所述目标解码帧进行处理，得到当前时刻的状态转换矩阵。在一种可能的实现方式中，所述残差恢复网络包括：第二拼接网络、第五卷积网络、第三线性整流ReLU网络、归一化网络、第三残差块网络、逆归一化网络及第六卷积网络，其中，所述将所述目标解码帧及所述预测残差输入残差恢复网络中，得到恢复后的预测残差，包括：通过所述第二拼接网络、第五卷积网络、第三线性整流ReLU网络、归一化网络、第三残差块网络、逆归一化网络及第六卷积网络，依次对所述目标解码帧及所述预测残差进行处理，得到恢复后的预测残差。在一种可能的实现方式中，所述方法还包括：将第二时刻的复原帧输入第一状态估计网络中进行处理，得到所述第一时刻的第一训练先验估计，其中，所述第二时刻是所述第一时刻的前一时刻；根据所述第一时刻的第一训练先验估计以及所述第一时刻的原始帧，确定所述第一状态估计网络的第一网络损失；根据所述第一网络损失，调整所述第一状态估计网络的参数值。在一种可能的实现方式中，所述方法还包括：将第二时刻对应的复原帧输入第一矩阵变换网络中进行处理，得到第一时刻的第一训练状态转换矩阵，其中，所述第二时刻是所述第一时刻的前一时刻；根据所述第一时刻的第一训练状态转换矩阵及所述第一时刻的先验估计，确定所述第一矩阵变换网络的第二网络损失；根据所述第二网络损失，调整所述第一矩阵变换网络的参数值。在一种可能的实现方式中，所述方法还包括：将第一时刻对应的解码帧及第二时刻对应的复原帧输入所述第二状态估计网络中进行处理，得到所述第一时刻的第二训练先验估计，其中，所述第二时刻是所述第一时刻的前一时刻；根据所述第一时刻的第二训练先验估计以及所述第一时刻的原始帧，确定所述第二状态估计网络的第三网络损失；根据所述第三网络损失，调整所述第二状态估计网络的参数值。在一种可能的实现方式中，所述方法还包括：将第一时刻对应的解码帧及第二时刻对应的复原帧输入所述第二矩阵变换网络中进行处理，得到第一时刻的第二训练状态转换矩阵，其中，所述第二时刻是所述第一时刻的前一时刻；根据所述第一时刻的第二训练状本文档来自技高网...

【技术保护点】
1.一种视频图像的处理方法，其特征在于，包括：针对当前时刻待复原的目标解码帧，对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻的先验估计，其中，所述参考帧至少包括前一时刻的复原帧；至少根据所述当前时刻的先验估计，得到当前时刻的复原帧。

【技术特征摘要】
1.一种视频图像的处理方法，其特征在于，包括：针对当前时刻待复原的目标解码帧，对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻的先验估计，其中，所述参考帧至少包括前一时刻的复原帧；至少根据所述当前时刻的先验估计，得到当前时刻的复原帧。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述目标解码帧，确定所述目标解码帧的测量值；其中，所述至少根据所述当前时刻的先验估计，得到当前时刻的复原帧，包括：对所述当前时刻的先验估计及所述目标解码帧的测量值进行融合处理，得到当前时刻的复原帧。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述参考帧进行矩阵变换处理，得到当前时刻的状态转换矩阵；根据所述状态转换矩阵以及前一时刻的协方差矩阵，确定当前时刻的卡尔曼增益；其中，所述对所述当前时刻的先验估计及所述目标解码帧的测量值进行融合处理，得到当前时刻的复原帧，包括：根据所述当前时刻的卡尔曼增益，对所述当前时刻的先验估计及所述目标解码帧的测量值进行加权融合处理，得到当前时刻的复原帧。4.根据权利要求1～3中任意一项所述的方法，其特征在于，所述参考帧还包括所述目标解码帧，其中，所述对与所述目标解码帧相关联的参考帧进行状态估计处理，得到当前时刻对应的先验估计，包括：将所述前一时刻的复原帧及所述目标解码帧输入第二状态估计网络中，得到当前时刻对应的先验估计。5.根据权利要求3所述的方法，其特征在于，所述参考帧还包括所述目标解码帧，其...

【专利技术属性】
技术研发人员：鲁国，欧阳万里，徐东，张小云，高志勇，孙明庭，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11