用于针对基于特定模式的多个块进行内容自适应在线训练的系统、方法和计算机程序技术方案

提供了由至少一个处理器执行的针对使用神经网络的端到端(E2E)神经图像压缩(NIC)的内容自适应在线训练，包括：将输入图像接收至E2E NIC框架；将该输入图像分割为多个块；从所述多个块中选择块的子集，该子集中的块共享相同的模式；对E2E NIC框架的神经网络进行预处理，其中，将经预处理的神经网络应用于所选择的块的子集；使用该经预处理的神经网络来计算更新的参数；以及基于所述更新的参数生成更新的E2E NIC框架。

【技术实现步骤摘要】
【国外来华专利技术】

技术介绍

1、混合视频编解码器可能难以作为整体进行优化。单个模块的改进可能不会产生整体性能上的编码增益。最近，标准组织和公司一直积极地寻找对未来视频编码技术的标准化的潜在需求。这些标准组织和公司已经建立了jpeg-ai(joint photographic expertsgroup-artificial intelligence，jpeg-ai)小组，专注于使用深度神经网络(deep neuralnetworks，dnn)的基于ai的端到端神经图像压缩。中国音视频编码标准(audio videocoding standard，avs)还成立了avs-ai(audio video coding standard-artificialintelligence，avs-ai)特别小组，从事于神经图像和视频压缩技术。最近方法的成功已经为先进的神经图像和视频压缩方法带来了越来越多的工业兴趣。

2、然而，在相关技术中，基于神经网络的视频或图像编码框架限于特定类型的压缩框架。为了适应各种类型的框架，常规系统可能需要增加的计算内存/成本和增加的率失真损失，导本文档来自技高网...

【技术保护点】

1.一种针对使用神经网络的端到端(E2E)神经图像压缩(NIC)进行内容自适应在线训练的方法，所述方法由至少一个处理器执行，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，还包括：基于所述多个块和所述更新的参数的压缩表示的消耗、权衡超参数、以及所述多个块的压缩表示的块残差与所述多个块的已解码的压缩表示的块残差之间的失真来确定所述重构的图像的失真损失。

4.根据权利要求1所述的方法，其中，所述相同的模式基于所述多个块的RGB方差或所述多个块的YUV方差来确定。

5.根据权利要求1所述的方法，其中，所述更新...

【技术特征摘要】
【国外来华专利技术】

1.一种针对使用神经网络的端到端(e2e)神经图像压缩(nic)进行内容自适应在线训练的方法，所述方法由至少一个处理器执行，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，还包括：基于所述多个块和所述更新的参数的压缩表示的消耗、权衡超参数、以及所述多个块的压缩表示的块残差与所述多个块的已解码的压缩表示的块残差之间的失真来确定所述重构的图像的失真损失。

4.根据权利要求1所述的方法，其中，所述相同的模式基于所述多个块的rgb方差或所述多个块的yuv方差来确定。

5.根据权利要求1所述的方法，其中，所述更新的参数包括学习率和步数，并且所述学习率和所述步数基于所述输入图像的特征来选择。

6.根据权利要求5所述的方法，其中，所述输入图像的特征是所述输入图像的rgb方差和所述输入图像的rd性能中的一者。

7.根据权利要求1所述的方法，其中，在对所述神经网络进行预处理时，使用所述多个块对所述神经网络进行微调。

8.一种用于针对使用神经网络的端到端(e2e)神经图像压缩(nic)进行内容自适应在线训练的装置，所述装置包括：

9.根据权利要求8所述的装置，所述计算机程序代码还包括：

10.根据权利要求9所述的装置，所述计算机程序代码还包括：失真损失确定代码，其被配置成使所述至少一个处理器基于所述多个块和所述更新的参数的压缩表示的消耗、权衡超参数、以及所述多个块的压缩表示的块残差与所述多个块的已解码的压缩表示的块残差之间的失真来确定所述重构的图像的失真损失。

11.根据权利要求8所述的装置，其中，所述相同的模式基于所述多个块的rgb方差或所述多个...

【专利技术属性】
技术研发人员：丁鼎，王炜，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：