使用帧内预测残差的多尺度神经图像压缩方法和装置制造方法及图纸

一种使用帧内预测残差的多尺度神经图像压缩方法，由至少一个处理器执行，并且包括：对输入图像进行下采样，基于先前恢复的预测图像，生成当前预测图像，以及基于下采样的输入图像与生成的当前预测图像之差，生成预测残差。该方法进一步包括：对生成的预测残差进行编码，对已编码预测残差进行解码，以及基于当前预测图像和已解码预测残差的相加，生成当前恢复的预测图像。该方法进一步包括：对当前恢复的预测图像进行上采样，基于输入图像与上采样的当前恢复的预测图像之差，生成尺度残差，以及对尺度残差进行编码。以及对尺度残差进行编码。以及对尺度残差进行编码。

【技术实现步骤摘要】
【国外来华专利技术】使用帧内预测残差的多尺度神经图像压缩方法和装置
相关申请的交叉引用本申请基于在美国专利和商标局于2020年9月3日提交的、申请号为63/074,405的美国临时专利申请和于2021年5月28日提交的、申请号为17/333,319的美国专利申请，并要求它们的优先权，这两个申请的公开内容通过引用整体并入本申请中。

技术介绍

ISO/IEC MPEG(国际标准化组织/国际电工委员会运动图像专家组)(JTC 1/SC 29/WG 11)(联合技术委员会1/第29分委员会/第11工作组)一直在积极地寻找未来视频编解码技术标准化的潜在需要。ISO/IEC JPEG(联合图像专家组)建立了聚焦于使用深度神经网络(DNN)的基于人工智能(AI)的端到端神经图像压缩的JPEG
‑
AI小组。最近方法的成功为先进的神经图像和视频压缩方法带来了越来越多的工业利益。给定输入图像x，神经图像压缩(NIC)的目标是使用图像x作为DNN编码器的输入来计算已压缩表示，已压缩表示对于存储和传输是紧凑的，然后，使用作为DNN解码器的输入来重建图像先前的NIC方法采用变分自编码器(v本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用帧内预测残差的多尺度神经图像压缩方法，其特征在于，所述方法由至少一个处理器执行，并且所述方法包括：对输入图像进行下采样；基于先前恢复的预测图像，生成当前预测图像；基于下采样的输入图像与生成的当前预测图像之差，生成预测残差；对生成的预测残差进行编码；对已编码预测残差进行解码；基于所述当前预测图像和已解码预测残差的相加，生成当前恢复的预测图像；对所述当前恢复的预测图像进行上采样；基于所述输入图像与上采样的当前恢复的预测图像之差，生成尺度残差；以及对所述尺度残差进行编码。2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：对已编码尺度残差进行解码；以及基于所述上采样的当前恢复的预测图像和已解码尺度残差的相加，生成已重建图像。3.根据权利要求2所述的方法，其特征在于，所述对输入图像进行下采样、所述生成当前预测图像、所述对生成的预测残差进行编码、所述对已编码预测残差进行解码、所述对所述当前恢复的预测图像进行上采样、所述对所述尺度残差进行编码以及所述对已编码尺度残差进行解码分别使用神经网络。4.根据权利要求3所述的方法，其特征在于，所述神经网络通过以下操作进行训练：基于所述已解码尺度残差与所述已编码尺度残差之间的重建误差，以及所述已解码预测残差与所述已编码预测残差之间的重建误差，确定正则化损失；以及更新所述神经网络的权重系数，以最小化所确定的正则化损失。5.根据权利要求4所述的方法，其特征在于，所述神经网络进一步通过以下操作进行训练：基于所述输入图像和所述已重建图像，确定失真损失；以及基于所述已编码尺度残差和所述已编码预测残差的比特率，确定速率损失，其中，所述更新所述权重系数包括：更新所述神经网络的所述权重系数，以最小化所确定的失真损失、所确定的速率损失和所确定的正则化损失。6.根据权利要求1所述的方法，其特征在于，所述生成当前预测图像包括：基于所述先前恢复的预测图像的先前恢复的预测块集合，生成当前预测块，并且所述生成预测残差包括：基于生成的当前预测块与所述下采样的输入图像的真实图像块之差，生成预测残差块。7.根据权利要求6所述的方法，其特征在于，所述对生成的预测残差进行编码包括：对生成的预测残差块进行编码，并且所述对已编码预测残差进行解码包括：对已编码预测残差块进行解码。8.一种使用帧内预测残差的多尺度神经图像压缩装置，其特征在于，所述装置包括：至少一个存储器，被配置为存储程序代码；以及至少一个处理器，被配置为读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：
下采样代码，被配置为使所述至少一个处理器对输入图像进行下采样；第一生成代码，被配置为使所述至少一个处理器基于先前恢复的预测图像，生成当前预测图像；第二生成代码，被配置为使所述至少一个处理器基于下采样的输入图像与生成的当前预测图像之差，生成预测残差；第一编码代码，被配置为使所述至少一个处理器对生成的预测残差进行编码；第一解码代码，被配置为使所述至少一个处理器对已编码预测残差进行解码；第三生成代码，被配置为使所述至少一个处理器基于所述当前预测图像和已解码预测残差的相加，生成当前恢复的预测图像；上采样代码，被配置为使所述至少一个处理器对所述当前恢复的预测图像进行上采样；第四生成代码，被配置为使所述至少一个处理器基于所述输入图像与上采样的当前恢复的预测图像之差，生成尺度残差；以及第二编码代码，被配置为使所述至少一个处理器对所述尺度残差进行编码。9.根据权利要求8所述的装置，其特征在于，所述程序代码进一步包括：第二解码代码，被配置为使所述至少一个处理器对已编码尺度残差进行解码；以及第五生成代码，被配置为使所述至少一个处理器基于所述上采样的当前恢复的预测图像和已解码尺度残差的相加，...

【专利技术属性】
技术研发人员：蒋薇，王炜，丁鼎，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：