【技术实现步骤摘要】
一种基于知识蒸馏的卷积神经网络的量化方法
本专利技术涉及卷积神经网络
，具体涉及一种基于知识蒸馏的卷积神经网络的量化方法。
技术介绍
目前国内外大量的视觉应用场景都采用基于卷积神经网络(ConvolutionalNeuralNetwork)进行特征提取，包括在线的图像分类，识别，检测服务，人脸识别，重识别，安防监控等应用场景。基于卷积神经网络的解决方案相对于传统方案具有精度高，泛化能力强等优点，但其需求计算量大，对硬件要求高，对存储要求高，使得该方案的普及和使用都受到了限制。一般的卷积神经网络内部都采用浮点数进行相关运算，近些年，陆续出现采用二值化的方法对卷积神经网络内部的运算进行简化的方案，这样一来，大量的浮点数的加法和乘法计算被简化为二值化的移位和计数，从而大幅度降低了卷积神经网络这一解决方案对计算能力和存储能力的需求。但是，然而二值化计算存在两点局限性，一是导致卷积神经网络的精度大幅度下降，二是一般的二值化方案只能针对不含有深度可分离卷积的卷积神经网络进行；基于上述两点考虑，使得简化二值化的方案并不能在实际场景中...
【技术保护点】
1.一种基于知识蒸馏的卷积神经网络的量化方法，其特征在于，包括如下步骤：/n1)训练卷积神经网络模型，直到卷积神经网络模型收敛，预设卷积神经网络模型的稀疏度和网络精度；/n2)对卷积神经网络模型的每一个网络权重层进行敏感性分析，并根据敏感性分析结果对卷积神经网络模型的进行启发式裁剪，获得稀疏化的卷积神经网络模型；/n3)采用教师网络对稀疏化的卷积神经网络模型进行基于知识蒸馏的微调训练，获得微调后卷积神经网络模型；所述基于知识蒸馏的微调训练的微调标准为微调后卷积神经网络模型的网络精度达到预设的卷积神经网络模型的网络精度；/n4)检查微调后卷积神经网络模型的稀疏度；若微调后卷积...
【技术特征摘要】
1.一种基于知识蒸馏的卷积神经网络的量化方法，其特征在于，包括如下步骤：
1)训练卷积神经网络模型，直到卷积神经网络模型收敛，预设卷积神经网络模型的稀疏度和网络精度；
2)对卷积神经网络模型的每一个网络权重层进行敏感性分析，并根据敏感性分析结果对卷积神经网络模型的进行启发式裁剪，获得稀疏化的卷积神经网络模型；
3)采用教师网络对稀疏化的卷积神经网络模型进行基于知识蒸馏的微调训练，获得微调后卷积神经网络模型；所述基于知识蒸馏的微调训练的微调标准为微调后卷积神经网络模型的网络精度达到预设的卷积神经网络模型的网络精度；
4)检查微调后卷积神经网络模型的稀疏度；若微调后卷积神经网络模型的稀疏度达到预设的卷积神经网络模型的稀疏度，则进行步骤5)；若微调后卷积神经网络模型的稀疏度未达到预设的卷积神经网络模型的稀疏度，则对微调后卷积神经网络模型重复执行步骤2)和步骤3)，直至微调后卷积神经网络模型的稀疏度达到预设的卷积神经网络模型的稀疏度；
5)对微调后卷积神经网络模型的每一个网络权重层进行量化的敏感性分析，并根据敏感性分析结果确定微调后卷积神经网络模型的每一层网络权重的量化位数；
6)根据微调后卷积神经网络模型的每一层网络权重的量化位数，对微调后卷积神经网络模型逐层量化，获得量化后卷积神经网络模型；
7)采用教师网络对量化后卷积神经网络模型进行基于知识蒸馏的微调训练，恢复网络精度到预设的卷积神经网络模型的网络精度。
2.根据权利要求1所述的基于知识蒸馏的卷积神经网络的量化方法，其特征在于，所述步骤1)中采用ImageNet数据集训练卷积神经网络模型，卷积神经网络模型为MixNet模型；所述MixNet模型包含K个网络权重层，记为[w1，w2，w3，…，wK]，每一个网络权重层包含若干浮点数。
3.根据权利要求2所述的基于知识蒸馏的卷积神经网络的量化方法，其特征在于，所述步骤2)中敏感性分析为对MixNet模型的所有网络权重层设定各层对应的裁剪比例，分别测试各网络权重层在对应的裁剪比例裁剪后的网络精度，分析获得网络精度对不同网络权重层裁剪的敏感性；
所述启发式裁剪为根据网络精度对不同网络权重层裁剪的敏感性，对所有网络权重层的浮点数按照数字从小到大进行排序，设定不同网络权重层的裁剪比例，所有网络权重层的浮点数自小数字侧向大数字侧按照该层对应的裁剪比例将数字置0。
4.根据权利要求2所述的基于知识蒸馏的卷积神经网络的量化方法，其特征在于，所述步骤3)中教师网络为ResNet50模型。
5....
【专利技术属性】
技术研发人员：吴梓恒，胡杰，曾梦泽，
申请(专利权)人：魔门塔苏州科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。