基于剪枝和量化训练的自动驾驶模型压缩方法及装置制造方法及图纸

本发明专利技术提供一种基于剪枝和量化训练的自动驾驶模型压缩方法及装置，本发明专利技术可应用于自动驾驶领域，基于剪枝和量化训练的自动驾驶模型压缩方法包括根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据待剪枝项计算当前模型剪枝率；在当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型。根据量化损失筛选出待剪枝项可以在剪枝时考虑对量化操作带来的影响，因此剪枝后的模型对量化更友好，减少量化时的精度损失，提升模型压缩效果，并且，减小硬件的存储空间，不需要昂贵的计算资源，降低模型推理时间，满足自动驾驶实时控制需求。驶实时控制需求。驶实时控制需求。

【技术实现步骤摘要】
基于剪枝和量化训练的自动驾驶模型压缩方法及装置


[0001]本专利技术涉及自动驾驶
，尤其涉及一种基于剪枝和量化训练的自动驾驶模型压缩方法及装置。

技术介绍

[0002]随着自动驾驶技术和深度学习的蓬勃发展，自动驾驶模型变得越来越复杂，随之而来的模型参数也越来越多，模型越来越复杂，复杂的模型会对存储空间、计算资源有更高要求，而且复杂的模型会增加模型的推理时间，在自动驾驶场景中，通过模型对获取的数据进行实时分析，根据实时分析结果控制驾驶是非常重要的。模型压缩技术可以提高推理速度，降低模型参数量和运算量，因此自动驾驶模型计算加速领域得到广泛应用。传统压缩方法包括模型量化和模型剪枝方法，但是无论是模型剪枝还是模型量化，压缩效果都不理想，模型部署耗时长。相关技术中，使用先模型剪枝再模型量化的方法进行模型压缩，由于剪枝后的模型其各层的参数范围改变了，有些层的权重参数方差较大、离群点较多，而量化模型的输入条件是权重参数方差小，因此会导致剪枝后模型不适合做量化处理，量化精度损失严重，整个模型压缩效果不佳，对硬件的存储空间、计算资源要求高，模型的推理时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，包括：根据量化损失筛选出待剪枝自动驾驶预训练网络模型中的待剪枝项；根据所述待剪枝项计算当前模型剪枝率；在所述当前模型剪枝率达到预设剪枝目标时，按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝；对剪枝后模型进行微调操作，输出自动驾驶压缩模型。2.根据权利要求1所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述量化损失计算方法，包括：对所述待剪枝自动驾驶预训练网络模型中第j层的第i个通道进行模拟剪枝；对模拟剪枝后模型的第j层进行量化得到模拟剪枝模型；计算所述待剪枝自动驾驶预训练网络模型根据测试集输出测试结果的第一正确率，以及，模拟剪枝模型根据测试集输出测试结果的第二正确率；将所述第一正确率和第二正确率的差值作为量化损失。3.根据权利要求2所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述量化的具体方法，包括：将模型特征数据中的浮点数数据转换为整型数据。4.根据权利要求3所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述根据量化损失筛选出所述待剪枝自动驾驶预训练网络模型中的待剪枝项，包括：在所述当前模型剪枝率小于预设剪枝目标时，依次分析所述待剪枝自动驾驶预训练网络模型中各层中各通道的量化损失；对得到的量化损失进行排序，将最小值所对应的某层的某个通道作为待剪枝项。5.根据权利要求1所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述按照筛选出的待剪枝项对所述待剪枝自动驾驶预训练网络模型进行剪枝，包括：为所述待剪枝项的权重参数的反向传播梯度添加惩罚项；根据所述惩罚项将所述权重参数的反向传播梯度逐渐逼近0。6.根据权利要求5所述的一种基于剪枝和量化训练的自动驾驶模型压缩方法，其特征在于，所述对剪枝后模型进行微调操作，包括：在预设模型训练迭代次数内，每次训练迭代时计算模型基于训练集输出结果与实际结果的微调损失函数；根...

【专利技术属性】
技术研发人员：陆强，
申请(专利权)人：际络科技上海有限公司，
类型：发明
国别省市：