用于神经图像压缩中多个块的内容自适应在线训练的系统、方法和计算机程序技术方案

本申请提供了用于使用神经网络的端到端(E2E)神经图像压缩(NIC)的内容自适应在线训练，其由至少一个处理器执行，包括：将包括一个或多个块的输入图像接收至E2E NIC框架，基于一个或多个块对E2E NIC框架的第一神经网络进行预处理，使用经预处理的第一神经网络计算更新参数，对一个或多个块和更新参数进行编码，基于已编码的更新参数更新第一神经网络，以及使用已更新的第一神经网络生成已编码的一个或多个块的压缩表示。或多个块的压缩表示。

【技术实现步骤摘要】
【国外来华专利技术】用于神经图像压缩中多个块的内容自适应在线训练的系统、方法和计算机程序
相关申请的交叉引用
[0001]本申请基于并要求于2021年12月13日提交的美国临时专利申请第63/289,033号和于2022年9月22日提交的美国专利申请第17/950,569号的优先权权益，其全部内容通过引用并入本文中。

技术介绍

[0002]传统的混合视频编解码器很难从整体上进行优化。单个模块的改进可能不会产生整体性能的编解码增益。最近，标准组织和公司一直在积极寻找未来视频编解码技术标准化的潜在需求。这些标准组织和公司已经成立了JPEG
‑
AI(Joint Photographic Experts Group
‑
Artificial Intelligence，联合图像专家组
‑
人工智能)小组，专注于使用深度神经网络(Deep Neural Network，DNN)进行基于AI的端到端神经图像压缩。中国AVS(Audio Video coding Standard，音视频编解码标准)标准还成立了AVSr/>‑
A本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用神经网络的端到端(E2E)神经图像压缩(NIC)的内容自适应在线训练的方法，所述方法由至少一个处理器执行，其特征在于，所述方法包括：将包括一个或多个块的输入图像接收至E2E NIC框架；基于所述一个或多个块对所述E2E NIC框架的第一神经网络进行预处理；使用经预处理的第一神经网络计算更新参数；对所述一个或多个块和所述更新参数进行编码；基于已编码的更新参数更新所述第一神经网络；以及使用已更新的第一神经网络生成已编码的一个或多个块的压缩表示。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述输入图像分割成所述一个或多个块；以及单独地压缩所述一个或多个块。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：使用算术解码对所述压缩表示进行解码；以及使用第二神经网络基于已解码的压缩表示生成重建图像。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：压缩所述更新参数。5.根据权利要求1所述的方法，其特征在于，所述更新参数包括学习率和步数，并且所述学习率和所述步数是基于所述输入图像的特征来选择的。6.根据权利要求5所述的方法，其特征在于，所述输入图像的所述特征是以下之一：所述输入图像的红
‑
绿
‑
蓝(RGB)方差和所述输入图像的率失真(RD)性能。7.根据权利要求1所述的方法，其特征在于，当对所述第一神经网络进行预处理时，使用所述一个或多个块微调所述第一神经网络。8.一种用于使用神经网络的端到端(E2E)神经图像压缩(NIC)的内容自适应在线训练的装置，其特征在于，所述装置包括：至少一个存储器，用于存储计算机程序代码；以及至少一个处理器，用于读取所述计算机程序代码并按照所述计算机程序代码的指示操作，所述计算机程序代码包括：接收代码，用于使得所述至少一个处理器将包括一个或多个块的输入图像接收至E2E NIC框架；预处理代码，用于使得所述至少一个处理器基于所述一个或多个块对所述E2E NIC框架的第一神经网络进行预处理；计算代码，用于使得所述至少一个处理器使用经预处理的第一神经网络来计算更新参数；编码代码，用于使得所述至少一个处理器对所述一个或多个块和所述更新参数进行编码；更新代码，用于使得所述至少一个处理器基于已编码的更新参数更新所述第一神经网络；以及第一生成代码，用于使得所述至少一个处理器使用已更新的第一神经网络生成已编码的一个或多个块的压缩表示。9.根据权利要求8所述的装置，其特征在于，所述计算机程序代码还包括：
分割代码，用于使得所述至少一个处理器将所述输入图像分割成所述一个或多个块；以及压缩代码，用于使得所述至少一个处理器单独地压缩所述一个或多个块...

【专利技术属性】
技术研发人员：丁鼎，王炜，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：