用于神经图像压缩中的替代的动态学习率的方法和装置制造方法及图纸

由至少一个处理器执行的基于神经网络的端到端(E2E)替代图像压缩(NIC)，包括将输入图像接收到E2E NIC框架，确定指示训练模型的学习率的输入图像的步长，基于训练模型来确定替代图像，对代替输入图像的替代图像进行编码以生成比特流，以及将替代图像映射到比特流以生成压缩表示。此外，步长可以由调度器确定，并在训练模型的整个训练过程中改变。图像还可以被分割成块，针对每个块分配有调度器，并对每个块进行编码，而不是对整个输入图像进行编码。而不是对整个输入图像进行编码。

【技术实现步骤摘要】
【国外来华专利技术】用于神经图像压缩中的替代的动态学习率的方法和装置

技术介绍

[0001]传统的混合视频编解码器很难从整体上进行优化。单个模块的改进可能不会产生整体性能的编码增益。最近，标准集团和公司一直在积极寻找未来视频编码技术标准化的潜在需求。这些标准集团和公司已经建立了JPEG
‑
AI小组，专注于使用深度神经网络(Deep Neural Networks，DNN)进行基于AI的端到端神经图像压缩。中国AVS标准还已经成立了AVS
‑
AI专门小组来研究神经图像和视频压缩技术。最近方法的成功已经为先进的神经图像和视频压缩方法带来了越来越多的工业兴趣。

技术实现思路

[0002]根据示例性实施方式，一种由至少一个处理器执行的使用神经网络的端到端(end
‑
to
‑
end，E2E)替代神经图像压缩(neural image compression，NIC)的方法，包括：将输入图像接收到E2E NIC框架，确定指示训练模型的学习率的输入图像的步长，基于训练模型来确定替代图像，对代替输入图像的替代图像进行编本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由至少一个处理器执行的使用神经网络的端到端(E2E)替代神经图像压缩(NIC)方法，所述方法包括：将输入图像接收到E2E NIC框架；确定所述输入图像的步长，所述步长指示训练模型的学习率；基于所述训练模型来确定替代图像；对代替所述输入图像的所述替代图像进行编程以生成比特流；以及将所述替代图像映射到所述比特流以生成压缩表示。2.根据权利要求1所述的方法，其中，所述替代图像是通过执行所述训练模型的优化过程来确定的，包括：调整所述输入图像的元素以生成替代表示；以及选择在所述输入图像与所述替代表示之间具有最小失真损失的元素以用作所述替代图像。3.根据权利要求1所述的方法，其中，所述替代图像映射到所述输入图像；以及其中，所述替代图像到所述输入图像的重建图像之间的距离短于通过距离测量或损失函数测量的所述替代图像到所述输入图像之间的距离。4.根据权利要求1所述的方法，其中，基于所确定的步长、对所述输入图像的更新次数和失真损失来训练所述训练模型；以及其中，对于所述训练模型的一个或更多个迭代，所述步长能够增加、减少或保持相同。5.根据权利要求1所述的方法，其中，基于多个步长来确定多个替代图像，其中，基于多个调度器来确定与所述多个步长相对应的步长值，以及选择具有最高压缩性能的替代图像进行编码。6.根据权利要求5所述的方法，还包括：将所述输入图像分割成一个或更多个块，其中，所述一个或更多个块中的每一个被分配有来自所述多个调度器的调度器。7.根据权利要求1所述的方法，其中，所述训练模型是基于预训练图像编码的人工神经网络，以及其中，所述人工神经网络的参数是固定的并且使用梯度来更新所述输入图像。8.一种用于使用神经网络的端到端(E2E)替代神经图像压缩(NIC)的装置，所述装置包括：至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：接收代码，所述接收代码被配置成使所述至少一个处理器将输入图像接收到E2E NIC框架；步长确定代码，所述步长确定代码被配置成使所述至少一个处理器确定所述输入图像的步长，所述步长指示训练模型的学习率；确定代码，所述确定代码被配置成使所述至少一个处理器基于所述训练模型来确定替代图像；编码代码，所述编码代码被配置成使所述至少一个处理器对代替所述输入图像的所述
替代图像进行编码以生成比特流；以及映射代码，所述映射代码被配置成使所述至少一个处理器将所述替代图像映射到所述比特流以生成压缩表示。9.根据权利要求8所述的装置，其中，所述替代图像是通过执行所述训练模型的优化过程来确定的，包括：调整代码，所述调整代码被配置成使所述至少一个处理器调整所述输入图像的元素以生成替代表示；以及选择代码，所述选择代码被配置成使所述至少一个处理器选择在所述输入图像与所述替代表示之间具有最小失真...

【专利技术属性】
技术研发人员：林晟，丁鼎，蒋薇，王炜，许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：