预测编码神经网络权重更新方法及装置制造方法及图纸

本申请公开了一种预测编码神经网络权重更新方法、装置及介质。本申请适用于基于神经网络的预测编码工具，包括帧内预测、帧间预测、以及预测后的增强等。由于视频前后帧存在的连续性，导致已编码帧与待处理帧在场景、纹理、内容的分布上存在着极高的相似性，因此在已编码数据中挖掘相关信息来调整网络参数可以使得神经网络定制化，十分有利于后续编码过程。另一方面，重构像素在编解码端都易获取，相比于预测像素，重构像素的客观质量更接近于原始像素，因此可以作为标签来反向微调神经网络的参数。

【技术实现步骤摘要】
预测编码神经网络权重更新方法及装置
本申请中涉及视频编码技术，尤其是一种预测编码模块神经网络权重更新方法、装置及介质。
技术介绍
如今广泛使用的视频编码标准普遍采用混合编码框架，包括预测、变换、量化、熵编码、环路滤波等模块。其中，预测模块旨在利用视频的时空相似性以降低数据冗余，即通过当前帧或者相邻帧的参考像素推断得到预测像素。近年来由于深度学习的发展，基于神经网络的预测编码包括预测后增强、帧内/帧间预测等工作不断涌现。神经网络在大规模训练集收敛后而后被嵌入到编码环境中，对预测结果增强或者由参考像素推断预测像素。然而，现有工作设计的神经网络在编码过程中的权重是固定不变的，视频数据的压缩则是一个持续的过程，由于前后帧在时空域存在着连续性，已编码数据中存在着大量有效信息供神经网络学习与调整。
技术实现思路
本申请实施例提供一种预测编码神经网络权重更新方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的神经网络在编码过程中的权重固定不变的所导致的预测结果不精准的问题。其中，根据本申请实施例的一个方面，提供本文档来自技高网...

【技术保护点】
1.一种预测编码神经网络权重更新方法，其特征在于，包括：/n借助于神经网络，根据原始像素生成预测像素或得到预测像素后进一步增强；/n以所述重构像素为标签，编解码端实现预测编码模块神经网络权重的同步更新。/n

【技术特征摘要】
1.一种预测编码神经网络权重更新方法，其特征在于，包括：
借助于神经网络，根据原始像素生成预测像素或得到预测像素后进一步增强；
以所述重构像素为标签，编解码端实现预测编码模块神经网络权重的同步更新。


2.如权利要求1所述的方法，其特征在于，所述根据原始像素生成预测像素，包括：
利用神经网络在帧内预测模块，或，使用帧间预测模块导出所述预测像素。


3.如权利要求1所述的方法，其特征在于，所述增强预测像素，包括：
利用预设的神经网络模型以及参考像素，增强所述预测像素。


4.如权利要求1所述的方法，其特征在于，包括：
在神经网络预测任务中，以所述重构像素为标签，将参考像素作为输入实现预测编码神经网络权重的更新；或，
在神经网络增强任务中，以所述重构像素为标签，将所述预测像素作为输入实现预测增强神经网络权重的更新。


5.如权利要求4所述的方法，其特征在于，包括：
将所述预测像素或者所述参考像素划分为目标数量个大小相同的像素块；
将所述目标数量个大小相同的像素块以组的形式输入至所述编码神经网络中，以所述重构像素为标签计算损失函数进行反向传播权重更新。


6.如权利要求1所述的方法，其特征在于，包括：

【专利技术属性】
技术研发人员：马思伟，林凯，贾川民，王苫社，赵政辉，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11