一种无约束的训练后量化图像分类方法技术

本发明专利技术公开了一种无约束的训练后量化图像分类方法，对于训练好的图像分类Transformer模型，根据实际需要确定需要量化的网络层，确定待量化特征和待量化权重，先采用均匀量化求解得到每层网络层权重的量化值和量化边界，然后在校准阶段获取实际的若干张样本图像并将其输入训练好的图像分类Transformer模型，得到每张样本图像的每个待量化特征值，然后求解量化优化问题得到每层待量化网络层待量化特征的量化值和量化边界，最后在推理阶段将待分类图像输入图像分类Transformer模型对待量化特征和权重分别进行量化，完成图像分类。本发明专利技术允许基于激活分布进行灵活的量化，而不受限于固定的量化范围，从而提高图像分类模型在量化压缩后的性能。

【技术实现步骤摘要】

本专利技术属于图像分类，更为具体地讲，涉及一种无约束的训练后量化图像分类方法。

技术介绍

1、基于transformer的模型越来越多地被用在各种视觉领域，尤其在图像分类方面取得了很大的进步。然而，这些成功伴随着巨大的计算需求，导致大量的内存使用、高功耗和推理延迟的增加。因此，在资源受限的边缘设备上部署这些图像分类transformer模型变得非常具有挑战性，限制了其实际应用。为了应对这些效率瓶颈，模型压缩技术得到了广泛研究，其中包括蒸馏、剪枝和量化。在这些技术中，模型量化表现出显著的优势，尤其是在低成本部署和实时推理至关重要的实际场景中。

2、模型量化将权重和运行时激活函数输出压缩为低比特格式表示。在图像分类中训练量后化(post-training quantization，ptq)是其中最受欢迎的量化方法之一，它只需少量未标注的样本即可校准量化参数，而无需重新训练模型。两种常用的ptq量化器是均匀量化器和log2量化器，都可以通过简单的量化过程实现高效推理。均匀量化器需要相等的量化范围，而log2量化器要求量化范围满足倍增关系，这些量化范围本文档来自技高网...

【技术保护点】

1.一种无约束的训练后量化图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的训练后量化图像分类方法，其特征在于，所述步骤S3中量化优化问题的求解方法如下：

3.根据权利要求2所述的训练后量化图像分类方法，其特征在于，所述步骤S2.1中量化值ak的初始化采用如下公式：

4.根据权利要求1所述的训练后量化图像分类方法，其特征在于，所述步骤S4中对反量化输入特征图进行偏移校正，具体方法为：

5.根据权利要求1所述的训练后量化图像分类方法，其特征在于，所述的计算采用查找表矩阵乘法实现，具体方法为：

【技术特征摘要】

1.一种无约束的训练后量化图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的训练后量化图像分类方法，其特征在于，所述步骤s3中量化优化问题的求解方法如下：

3.根据权利要求2所述的训练后量化图像分类方法，其特征在于，所述步骤s2.1中量化值...

【专利技术属性】
技术研发人员：许辉，李梦琦，金正权，郭智慧，赵家铭，曾鹏鹏，邵杰，
申请(专利权)人：电子科技大学深圳高等研究院，
类型：发明
国别省市：