【技术实现步骤摘要】
用于调整神经网络模型的剪枝方法及其装置、电子设备
[0001]本专利技术涉及人工智能领域，具体而言，涉及一种用于调整神经网络模型的剪枝方法及其装置、电子设备。
技术介绍
[0002]人工智能技术的飞速发展为计算机视觉(CV)技术带来了巨大的进步。随着神经网络模型层数的不断加深，模型的准确率也在不断提高，但是模型的计算复杂度也越来越大，模型需要在GPU甚至TPU上训练。巨大的计算量限制了许多深度学习技术，这些技术只能迁移到云端，不能应用于移动设备。
[0003]为了缓解上述问题，相关技术中提出了多种模型压缩和加速算法，其中，剪枝算法是经典算法之一。剪枝算法作为一种常见的模型压缩和加速算法，可以有效地降低网络复杂度和计算量。然而，剪枝算法的训练时间较长，在剪枝复杂任务时，剪枝的准确率下降过快。
[0004]图1是根据现有技术中的一种可选的模型剪枝的示意图，如图1所示，剪枝过程如下：对于某一神经网络模型，可以先评估神经元的重要程度，移除最不重要的神经元，然后微调神经网络模型，判断是否继续剪枝，如果继续，则再次评估神...
【技术保护点】
【技术特征摘要】
1.一种用于调整神经网络模型的剪枝方法，其特征在于，包括：采用预设评估策略对神经网络模型中每个神经元进行评估，得到评估值集合，其中，所述神经网络模型包含有多个神经元，所述预设评估策略对应有目标排序策略，所述评估值集合中的每个评估值与对应的所述神经元建立映射关系；在对每个所述神经元进行评估的次数达到预设次数阈值的情况下，得到多个神经元集合；依据所述评估值集合和所述映射关系，采用所述目标排序策略对所述多个神经元集合中的所有所述神经元进行排序，得到排序结果；基于所述排序结果，选取预设数量的目标神经元，得到目标神经元集合；裁剪所述目标神经元集合中的每个所述目标神经元，并且在裁剪结束后，依据裁剪结果调整所述神经网络模型，得到调整后的目标神经网络模型，其中，所述目标神经网络模型用于处理输入图像。2.根据权利要求1所述的剪枝方法，其特征在于，在对每个所述神经元进行评估的次数达到预设次数阈值的情况下，得到多个神经元集合之前，还包括：在所述预设评估策略为评估绝对值策略的情况下，计算所述神经网络模型中每个所述神经元的绝对值，得到绝对值集合，其中，所述绝对值集合中的每个所述绝对值与对应的所述神经元建立第一映射关系；基于所述绝对值集合和所述第一映射关系，按照绝对值顺序，对所述神经元进行排序，得到第一排序结果；基于所述第一排序结果，选取第一预设数量的第一神经元，得到第一神经元集合。3.根据权利要求2所述的剪枝方法，其特征在于，计算所述神经网络模型中每个所述神经元的绝对值的步骤，包括：确定进行评估的评估次数以及每次评估选取的神经元数量；基于所述评估次数以及所述神经元数量，计算所述神经元的初始绝对值；基于所述初始绝对值，计算所述神经元的第一代价值；在所述第一代价值小于预设代价阈值的情况下，确定所述初始绝对值为所述神经元的所述绝对值。4.根据权利要求1所述的剪枝方法，其特征在于，在对每个所述神经元进行评估的次数达到预设次数阈值的情况下，得到多个神经元集合之前，还包括：在所述预设评估策略为评估重叠值策略的情况下，计算所述神经网络模型中每个所述神经元的重叠值，得到重叠值集合，其中，所述重叠值集合中的每个所述重叠值与对应的所述神经元建立第二映射关系；基于所述重叠值集合和所述第二映射关系，按照重叠值顺序，对所述神经元进行排序，得到第二排序结果；基于所述第二排序结果，选取第二预设数量的第二神经元，得到第二神经元集合。5.根据权利要求4所述的剪枝方法，其特征在于，计算所述神经网络模型中每个所述神经元的重叠值的步骤，包括：确定进行评估的评估次数以及每次评估选取的神经元数量；基于所述评估次数以及所述神经元数量，计算每个所述神经元的第二代价值；
依据所述第二代价值顺序，对所述神经元进行排序，并基于排序结果，选取第三预设数量的第三神经元集合，其中，所述第三预设数量表征的数量与所述神经元数量相等；将所述第三神经元集合中的每个所述神经元映射到所述神经网络模型的各特征层...
【专利技术属性】
技术研发人员：吕朝辉，罗涛，施佳子，于海燕，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。