神经图像压缩中具有替代项的依赖标量量化制造技术

用于使用具有替代项的依赖标量量化进行端到端神经图像压缩的方法、装置和非暂时性存储介质，包括：接收输入图像；基于输入图像，使用基于神经网络的替代特征生成器确定替代图像；压缩替代图像；通过使用第一依赖标量量化器，对已压缩的替代图像进行量化，以获得具有更高压缩性能的输入图像的量化表示；以及使用基于神经网络的编码器对替代图像进行熵编码，以生成量化表示的压缩表示。以生成量化表示的压缩表示。以生成量化表示的压缩表示。

【技术实现步骤摘要】
【国外来华专利技术】神经图像压缩中具有替代项的依赖标量量化
[0001]相关申请的交叉引用
[0002]本申请基于并要求于2021年6月18日提交的美国临时专利申请No.63/212,460的优先权和于2022年5月26日提交的美国专利申请No.17/825,562的优先权，这两个美国申请的公开内容通过引用整体并入本文中。

技术介绍

[0003]近来，ISO/IEC MPEG(JTC 1/SC 29/WG 11)一直在积极尝试对未来的视频编码技术进行标准化，特别是可利用机器学习或人工智能(ML/AI)的标准化。ISO/IEC JPEG已建立专注于基于AI的端到端神经图像压缩的JPEG
‑
AI小组。中国AVS标准还成立AVS
‑
AI特别小组来致力于神经图像和视频压缩技术。同时，像谷歌这样的公司还对神经图像压缩(neural image compression，NIC)方面的专门研究项目提供资金。
[0004]在基于神经网络的视频或图像编码框架中，可使用多个模型，且每个模型可能需要大数据集并实现多个机器学习模型。传统的混合视频编解码框本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用具有替代项的依赖标量量化进行神经图像压缩的方法，所述方法由一个或多个处理器执行，所述方法包括：接收输入图像；基于所述输入图像，使用基于神经网络的替代特征生成器确定替代图像；压缩所述替代图像；通过使用第一依赖标量量化器，对已压缩的替代图像进行量化，以获得具有更高压缩性能的所述输入图像的量化表示；以及使用基于神经网络的编码器对所述替代图像进行熵编码，以生成所述量化表示的压缩表示。2.根据权利要求1所述的方法，其中，所述方法还包括：接收所述压缩表示；使用熵解码对所述压缩表示进行解码；以及基于已解码的压缩表示，使用基于神经网络的解码器来生成重建图像。3.根据权利要求2所述的方法，其中，最佳压缩表示是所述输入图像和所述重建图像之间的率失真损失与所述压缩表示的比特消耗率之间的折衷的全局最小值。4.根据权利要求1所述的方法，其中，所述生成压缩表示包括：使用基于超先验神经网络的编码器对已压缩的替代图像进行超编码；使用第二依赖标量量化器和熵编码生成已超编码的已压缩的替代图像的超压缩表示；使用基于超先验神经网络的解码器对所述超压缩表示进行超解码，以生成超重建图像；基于所述超重建图像和所述量化表示来训练上下文神经网络模型；以及使用熵编码和所述上下文神经网络模型生成所述量化表示的压缩表示。5.根据权利要求1所述的方法，其中，所述量化包括第一量化器、第二量化器和状态机，其中，所述状态机使得能够在所述第一量化器和所述第二量化器之间切换。6.根据权利要求1所述的方法，其中，所述神经图像压缩包括预训练模型，并且其中，与所述预训练模型相关联的一个或多个模型权重是固定的。7.根据权利要求6所述的方法，其中，使用所述第一依赖标量量化器对所述预训练模型进行微调。8.根据权利要求1所述的方法，其中，所述神经图像压缩包括训练模型，并且其中，训练所述训练模型包括：初始化所述训练模型的学习速率；以阈值次数调整所述训练模型的学习速率，其中，所述调整基于一个或多个训练图像的图像属性；以及基于以下至少一项终止所述训练：确定连续迭代之间的学习速率之差小于学习阈值，确定对于第一迭代次数，损失函数的输出损失是一致的，或者确定对于最大迭代次数，已调整所述学习速率。9.根据权利要求8所述的方法，其中，基于所述损失函数的输出损失来反向调整所述学习速率。
10.一种用于使用具有替代项的依赖标量量化进行神经图像压缩的装置，所述装置包括：至少一个存储器，配置成存储程序代码；以及至少一个处理器，配置成读取所述程序代码并按照所述程序代码的指令进行操作，所述程序代码包括：第一接收代码，配置成使得所述至少一个处理器接收输入图像；第一确定代码，配置成使得所述至少一个处理器基于所述输入图像，使用基于神经网络的替代特征生成器确定替代图像；压缩代码，配置成使...

【专利技术属性】
技术研发人员：林晟，蒋薇，戚思雨，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：