【技术实现步骤摘要】
本专利技术涉及的是一种针对图像压缩模型的量化技术，具体是一种基于参数分布整形优化的图像压缩模型量化方法。
技术介绍
1、在互联网时代，图像数据的急剧增长对存储和传输系统构成了显著挑战。目前，基于深度学习的图像压缩技术能有效提高传输效率并减少存储需求，但同时面临着浮点图像压缩模型在跨平台一致性和高计算资源消耗方面的问题。通过引入量化感知优化的量化技术，可以将浮点图像压缩模型转化为更为高效的整型模型，从而显著提升量化后模型的跨平台编解码性能，减少图像压缩模型内存开销，有效地解决上述挑战。然而，现有针对图像压缩网络的量化感知优化方法未能充分考虑图像压缩模型参数的高斯分布和长尾现象，这会导致量化后的图像压缩模型具有不容忽视的量化误差。
技术实现思路
1、本专利技术针对现有技术存在的上述不足，提出一种基于参数分布整形优化的图像压缩模型量化方法，针对图像压缩网络的特点，有效地结合整体分布平展约束和局部分布收缩约束，在量化感知优化过程中实现粗粒度和细粒度联合的量化误差控制，从而减少量化误差，提升量化后整型化图像压缩模型性能。本专利技术获得的整形图像压缩模型能够在节省内存消耗的同时，维持与浮点模型相近的性能，并保证图像压缩跨平台编解码一致性。
2、本专利技术是通过以下技术方案实现的：
3、本专利技术涉及一种基于参数分布整形优化的图像压缩模型量化方法，在预处理阶段构建全精度浮点图像压缩模型并进行基于整体分布平展约束的训练，对训练后的浮点图像压缩模型的权重和特征添加伪量化器获得
4、所述的全精度浮点图像压缩模型，采用图像压缩超先验模型，包括：图像自编码器和实现超先验的自编码器，其中图像自编码器将输入原始图像进行编码、量化和压缩处理，得到用于存储的压缩比特流。实现超先验的自编码器根据图像自编码器编码部分得到的特征，得到编码超先验信息，输出包含原始数据统计特性的压缩信息提升系统压缩效率和质量。
5、所述的基于整体分布平展约束的训练包括：采用vimeo90k和open images作为训练集，通过峰度表征衡量权重中存在长尾现象，并在权重的训练过程中基于峰度值施加整体分布平展约束，实现长尾抑制，从整体分布层面提升量化模型性能，整体分布平展约束其中：w为网络权重，kurt[.]峰度计算，训练过程通过梯度下降法优化权重直到权重趋向均匀分布以及整体分布平展约束趋向稳定。
6、所述的伪量化器，包括量化操作和伪量化操作，伪量化器在后续量化感知优化阶段参与训练，使模型感知到量化操作，并引导模型参数更新以获得更好的量化效果。
7、所述的整体分布平展约束和局部分布收缩约束的联合量化感知优化，采用的损失函数为：其中：l表示含权重的网络总层数，表示图像压缩任务本身的损失函数，和分别表示第i层的整体分布平展约束项和局部分布收约束项α和β为超参数，用于调节两个分布约束项的作用强度。局部分布收缩约束优化参数向量化值靠近，其中：m为权重w量化为的比特数，2m为对应参数映射到的子区间数，bi为第i个区间内所有权重值，qi为第i个区间的量化值，var()表示方差。
8、所述的整型化操作，具体为：将图像压缩模型存在的gdn激活层替换为relu激活层，并采用量化操作将量化感知优化获得的伪量化模型中的卷积层、线性层浮点值权重和激活量化为指定位宽的整型权重和激活。
9、技术效果
10、本专利技术通过在量化感知优化前对图像压缩模型进行基于整体分布平展约束的训练，调整图像压缩模型参数分布；在量化感知优化时，对图像压缩模型进行整体分布平展约束和局部分布收缩约束的联合量化感知优化，从而减少图像压缩参数分布对量化性能影响。与现有技术相比，本专利技术能够将全精度浮点图像压缩模型量化为整型图像压缩模型，在节省图像压缩模型的内存占用的同时保证图像压缩跨平台编解码一致。相比于其他针对图像压缩模型的量化感知优化方法，本专利技术提出的方法可实现更小的率失真损失。
本文档来自技高网...【技术保护点】
1.一种基于参数分布整形优化的图像压缩模型量化方法，其特征在于，在预处理阶段构建全精度浮点图像压缩模型并进行基于整体分布平展约束的训练，对训练后的浮点图像压缩模型的权重和特征添加伪量化器获得量化感知模型；再对量化感知模型进行整体分布平展约束和局部分布收缩约束的联合量化感知优化获得伪量化图像压缩模型；在应用阶段将伪量化图像压缩模型进行量化处理，实现图像压缩模型整型化。
2.根据权利要求1所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的全精度浮点图像压缩模型，采用图像压缩超先验模型，包括：图像自编码器和实现超先验的自编码器，其中图像自编码器将输入原始图像进行编码、量化和压缩处理，得到用于存储的压缩比特流，实现超先验的自编码器根据图像自编码器编码部分得到的特征，得到编码超先验信息，输出包含原始数据统计特性的压缩信息提升系统压缩效率和质量。
3.根据权利要求1或2所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的基于整体分布平展约束的训练包括：采用Vimeo90K和Open Images作为训练集，通过峰度表征衡量权重中存在长尾现
4.根据权利要求1所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的伪量化器，包括量化操作和伪量化操作，伪量化器在后续量化感知优化阶段参与训练，使模型感知到量化操作，并引导模型参数更新以获得更好的量化效果。
5.根据权利要求1所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的整体分布平展约束和局部分布收缩约束的联合量化感知优化，采用的损失函数为：其中：L表示含权重的网络总层数，表示图像压缩任务本身的损失函数，和分别表示第i层的整体分布平展约束项和局部分布收约束项α和β为超参数，用于调节两个分布约束项的作用强度，局部分布收缩约束优化参数向量化值靠近，其中：M为权重W量化为的比特数，2M为对应参数映射到的子区间数，Bi为第i个区间内所有权重值，qi为第i个区间的量化值，Var()表示方差。
6.根据权利要求1所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的整型化操作，具体为：将图像压缩模型存在的GDN激活层替换为Relu激活层，并采用量化操作将量化感知优化获得的伪量化模型中的卷积层、线性层浮点值权重和激活量化为指定位宽的整型权重和激活。
7.根据权利要求1-6中任一所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，具体包括：
...【技术特征摘要】
1.一种基于参数分布整形优化的图像压缩模型量化方法，其特征在于，在预处理阶段构建全精度浮点图像压缩模型并进行基于整体分布平展约束的训练，对训练后的浮点图像压缩模型的权重和特征添加伪量化器获得量化感知模型；再对量化感知模型进行整体分布平展约束和局部分布收缩约束的联合量化感知优化获得伪量化图像压缩模型；在应用阶段将伪量化图像压缩模型进行量化处理，实现图像压缩模型整型化。
2.根据权利要求1所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的全精度浮点图像压缩模型，采用图像压缩超先验模型，包括：图像自编码器和实现超先验的自编码器，其中图像自编码器将输入原始图像进行编码、量化和压缩处理，得到用于存储的压缩比特流，实现超先验的自编码器根据图像自编码器编码部分得到的特征，得到编码超先验信息，输出包含原始数据统计特性的压缩信息提升系统压缩效率和质量。
3.根据权利要求1或2所述的基于参数分布整形优化的图像压缩模型量化方法，其特征是，所述的基于整体分布平展约束的训练包括：采用vimeo90k和open images作为训练集，通过峰度表征衡量权重中存在长尾现象，并在权重的训练过程中基于峰度值施加整体分布平展约束，实现长尾抑制，从整体分布层面提升量化模型性能，整体分布平展约束其中：w为网络权重，kurt[.]峰度计算，训练过程通过梯度下降法优化权重直到权...
【专利技术属性】
技术研发人员：林巍峣，张歌，秦子然，王迎雪，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。