一种基于可微量化训练的视觉Transformer压缩方法及系统技术方案

本发明专利技术公开了一种基于可微量化训练的视觉Transformer压缩方法及系统，属于人工智能的技术领域。包括以下步骤：步骤一、将输入图片进行分块处理，并通过线性映射转换成对应的图片序列；步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理，得到压缩后的图片序列；步骤三、将压缩后的图片序列进行分类处理，输出预测的概率值。在执行步骤一至步骤三时引入了可微量化步长训练方法，基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度；同时，步骤二在执行局部信息量化时引入了可微量化偏置训练方法，基于可微量化偏置训练方法自动学习得到最优的量化区间，保留负激活区域的信息。降低了因量化导致的性能损失，提高了量化精度。提高了量化精度。提高了量化精度。

A visual transformer compression method and system based on miniaturized training

【技术实现步骤摘要】
一种基于可微量化训练的视觉Transformer压缩方法及系统


[0001]本专利技术属于人工智能的
，特别是涉及一种基于可微量化训练的视觉Transformer压缩方法及系统。

技术介绍

[0002]近些年，基于Transformer结构的模型在各个自然语言处理(NaturalLanguageProcessing)任务中都取得了非常成功的结果。而在计算机视觉(ComputerVision)领域中，一些基于视觉Transformer(VisionTransformer)的工作也在各个视觉任务中取得了接近甚至超越传统卷积神经网络(ConvolutionalNeuralNetwork)的效果，包括分类、检测、分割、超分辨率、去噪等任务。然而，由于视觉Transformer具有非常大的参数量以及随输入图片分辨率平方级增长的计算量，其在推理时会带来较高的内存占用和较高的延迟，很难找在一些算力有限的设备上如移动端、自动驾驶芯片上部署。因此，探索合适的压缩技术，使得在大幅减少视觉Transformer模型大小和推理延迟的同时保持较低的性能损失是至关重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，包括以下步骤：步骤一、将输入图片进行分块处理，并通过线性映射转换成对应的图片序列；步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理，得到压缩后的图片序列；其中M为整数；步骤三、将压缩后的图片序列进行分类处理，输出预测的概率值；在执行步骤一至步骤三时引入了可微量化步长训练方法，基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度；同时，步骤二在执行局部信息量化时引入了可微量化偏置训练方法，基于可微量化偏置训练方法自动学习得到最优的量化区间，保留负激活区域的信息。2.根据权利要求1所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，在执行可微量化步长训练方法和/或可微量化偏置训练方法时，还包括基于最小化均方误差的量化参数初始化。3.根据权利要求1所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，所述可微量化步长训练方法同时适用于图像特征量化和图像权重量化；其中，所述可微量化步长训练方法包括以下流程：定义全精度的权重为w，量化后的定点权重为q，量化操作表示为：式中，clip(z,a,b)表示将矩阵z中大于a的元素置为a，大于b的元素置为b；round操作表示基于四舍五入的取整；α表示可微量化步长，
‑
q
min
,q
max
分别表示量化范围的最小值和最大值；通过反量化操作，计算得到与定点权重为q相对应的浮点化操作，计算得到与定点权重为q相对应的浮点4.根据权利要求1所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，所述可微量化偏置训练方法包括以下流程：定义全精度的权重为w，量化后的定点权重为q，量化操作表示为：式中，clip(z,a,b)表示将矩阵z中大于a的元素置为a，大于b的元素置为b；round操作表示基于四舍五入的取整；α表示可微量化步长，
‑
q
min
,q
max
分别表示量化范围的最小值和最大值；通过反量化操作，计算得到与定点权重为q相对应的浮点通过反量化操作，计算得到与定点权重为q相对应的浮点其中，β为引入的可微量化偏置。5.根据权利要求3或4任意一项所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，所述
‑
q
min
,q
max
的取值...

【专利技术属性】
技术研发人员：李哲鑫，张一帆，王培松，程健，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：