一种基于相似性的模块减枝方法技术

本发明专利技术公开了一种基于相似性的模块减枝方法，属于人工智能模型压缩领域，包括：S1，将M个样本输入神经网络模型中，并分别提取神经网络模型中N个模块的输出特征；S2，找到神经网络模型中串联的N个模块的最后一个模块的输出特征，分别计算输出特征与各个模块的输出特征的余弦相似度，得到M*N个余弦相似度；S3，计算个样本的平均余弦相似度；S4，将模块的相似度换算为贡献度，根据贡献度高低对模块进行排序；S5，裁剪掉贡献度低的模块，对神经网络模型进行调优训练来恢复精度。本发明专利技术在模块层面上进行剪枝，粒度更大，有效减少网络参数，且模块重要性求得的方法非常简单，易于实际部署中快速对网络进行裁剪。速对网络进行裁剪。速对网络进行裁剪。

【技术实现步骤摘要】
一种基于相似性的模块减枝方法


[0001]本专利技术涉及人工智能模型压缩
，更为具体的，涉及一种基于相似性的模块减枝方法。

技术介绍

[0002]随着深度神经网络的出现，其在图像分类、语义分割、超分辨率等领域都有越来越重要的应用。与此同时，神经网络模型也在变得越来越复杂庞大，神经网络模型的深度和广度的提高可以为模型带来更强的拟合能力，提高模型的性能，同时也带来了庞大的计算消耗和存储消耗。这也为神经网络模型在低性能平台上的部署带来了挑战。为了解决这一问题，模型量化、模型剪枝、知识蒸馏等模型优化手段被相继提出，用以减少模型的参数量并降低模型计算量，这些方法在实际部署中被广泛使用。
[0003]目前存在的网络剪枝方法大多从通道或权重层面进行剪枝，粒度较细，能够裁剪的参数量有限。且这些方法在计算参数重要性的过程中大都比较复杂，在实际部署过程中会受到一定的限制。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于相似性的模块减枝方法，该方法在模块层面上进行剪枝，粒度更大，可以有效减少网络参数，且模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似性的模块减枝方法，其特征在于，包括步骤：S1，从训练集中得到个样本，将个样本输入到准备剪枝的、包含N个模块的神经网络模型中，个模块串联在一起，上一模块的输出是下一模块的输入，并分别提取出神经网络模型中N个模块的输出特征，其中代表模块编号，取值为0~N
‑
1之间的整数；代表样本编号，取值为0~
‑
1之间的整数，N、M均是正整数；S2，找到神经网络模型中串联的N个模块的最后一个模块的第j个输出特征，分别计算第j个输出特征与个模块中各个模块的输出特征的余弦相似度，得到M*N个余弦相似度；S3，计算个样本的平均余弦相似度；S4，将模块的相似度换算为模块的贡献度，找出贡献度较低的模块，并根据贡献度高低对模块的重要性进行排序；S5，裁剪掉贡献度低的模块，保留裁剪后的其他模块，并对神经网络模型进行调优训练来恢复精度。2.根据权利要求1所述的基于相似性的模块减枝方法，其特征在于，步骤S1中，所述个样本能够代...

【专利技术属性】
技术研发人员：周仁爽，陈尧森，杨瀚，王都，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：