【技术实现步骤摘要】
本专利技术主要涉及滤波器剪枝，具体涉及一种贡献度度量的冗余滤波器剪枝方法及系统。
技术介绍
1、在图像处理领域，随着深度学习模型规模的增加，模型在部署和运行时需要的计算资源越来越大，这导致模型在边缘设备上部署困难。为了解决这个问题，可以通过减少冗余的滤波器来精简模型，从而达到在不影响任务精度的前提下降低对计算资源需求。在深度神经网络中每个滤波器对模型的影响程度是不同的，对那些没有影响和影响程度小的滤波器进行剪枝，可以在不影响精度的前提下减少对计算资源的需求。
2、网络剪枝分为非结构化剪枝和结构化剪枝，两者的区别在于：非结构化剪枝是对权重参数剪枝，需要在实现较高稀疏性的同时才能保证模型的性能。结构化剪枝是一种粗粒度的剪枝方式，例如对卷积核和通道的剪枝。目前解结构化剪枝的方法有：1、根据滤波器的重要性来判断是否需要剪枝，但网络模型中存在一些相似的滤波器，而传统的方法并没有考虑这种相似性情况。2、通过找到滤波器通道与任务之间的关系，再建立数学模型，且直接利用参数对模型精度的影响去搜索冗余参数，随着网络的加深训练的工作量会越来越大。3、基于结构搜索的方法，目的是搜索最佳的网络结构，这类方法可以将网络变为更加紧凑的网络模型，但会在整体的结构上破坏原始的滤波器信息。因此，需要一种通过探索滤波器与滤波器之间和滤波器与任务之间的关系来进行对滤波器剪枝的方法。
技术实现思路
1、本专利技术所要解决的技术问题是针对现有技术的不足，提供一种贡献度度量的冗余滤波器剪枝方法及系统。
3、一种贡献度度量的冗余滤波器剪枝方法，包括如下步骤：
4、s1、导入预先训练的卷积神经网络模型，所述卷积神经网络模型包括多层卷积层，每层卷积层中包括多个滤波器；
5、s2、依次对每层卷积层中的多个滤波器进行聚类处理，确定出每层卷积层中的多个聚类中心滤波器；
6、s3、对所述卷积层的多个聚类中心滤波器进行贡献度的计算，得到多个所述聚类中心滤波器的贡献度，根据多个所述贡献度对所述卷积层中的多个滤波器进行剪枝，得到多个剩余滤波器；
7、s4、对多个剩余滤波器进行差异性计算，得到多个剩余滤波器的差异性，根据多个所述差异性对多个剩余滤波器进行剪枝，得到多个未剪枝滤波器，判断是否对所有卷积层进行剪枝，若是，得到所有卷积层对应的多个未剪枝滤波器，并执行s5，若否，返回s3；
8、s5、通过各个卷积层的多个未剪枝滤波器构成剪枝卷积神经网络模型。
9、本专利技术的有益效果是：由于卷积神经网络模型有多层卷积层，且每层卷积层包括多个滤波器，根据滤波器与任务之间的关系，为降低对滤波器的度量规模，通过寻找具有当前卷积层内其它滤波器的绝大部分信息的多个聚类中心的滤波器，以对当前卷积层的所有滤波器的贡献度进行度量；度量聚类滤波器对任务的贡献度，从多层卷积神经网络模型中搜索出贡献度小的滤波器，对其进行剪枝，再根据滤波器与滤波器之间的关系，度量滤波器与滤波器之间的差异性，从多层卷积神经网络模型中搜索出相似性高度的滤波器，对其进行剪枝，在不影响模型精度的前提下压缩了卷积神经网络模型，即节约了计算资源。
10、进一步地，所述依次对每层卷积层中的多个滤波器进行聚类处理，确定出每层卷积层中的多个聚类中心滤波器，具体为：
11、依次对每层卷积层中的多个滤波器进行聚类处理，得到每层卷积层对应的多个簇，所述簇中包括多个相似度高的滤波器，并在所述簇中确定聚类中心滤波器。
12、采用上述进一步方案的有益效果是：聚类处理后每层卷积层中的滤波器分为多个簇，是由于簇中的滤波器都相似，因此确定出具有簇中其它滤波器绝大部分信息的聚类中心滤波器，以通过度量多个聚类滤波器的贡献度来衡量对应层内其它滤波器的贡献度，如果贡献度小，就直接把对应的簇删除(即剪枝)。
13、进一步地，每个滤波器包括多个通道，且当前卷积层的各个滤波器中用于输出结果的通道分别与下一卷积层的多个滤波器中用于输入结果的通道连接；所述对所述卷积层的多个聚类中心滤波器进行贡献度的计算，得到多个所述聚类中心滤波器的贡献度，具体为：
14、对所述卷积层的多个聚类中心滤波器的权重值进行计算，得到多个聚类中心滤波器权重值的一范数，对多个聚类中心滤波器下层通道的权重值进行计算，得到多个下层通道权重值的一范数；
15、对多个聚类中心滤波器权重值的一范数进行标准化的计算，得到多个聚类中心滤波器权重值的一范数的标准化值；对多个下层通道权重值的一范数进行标准化的计算，得到多个下层通道权重值的一范数的标准化值；
16、对多个所述聚类中心滤波器的聚类中心滤波器权重值的一范数与下层通道权重值的一范数进行贡献度的计算，得到多个所述聚类中心滤波器对应的贡献度。
17、其中，一范数是向量中各个元素绝对值之和。
18、采用上述进一步方案的有益效果是：通过计算聚类中心滤波器权重值的一范数来衡量聚类中心滤波器对模型的重要性，由于每个滤波器的输出会作为下一层每个滤波器中对应通道的输入，下一层中对应通道也是衡量聚类中心滤波器的重要指标，故对下一层中对应通道权重值的一范数进行计算，来衡量聚类中心滤波器的重要性。
19、进一步地，所述对所述卷积层的多个聚类中心滤波器的权重值进行计算，得到多个聚类中心滤波器权重值的一范数，具体为：
20、对所述卷积层的多个聚类中心滤波器的权重值进行一范数的计算，得到多个聚类中心滤波器权重值的一范数，滤波器权重值一范数计算表达式为：
21、
22、其中，表示第k层第i个滤波器的影响程度，表示第k层第i个滤波器的权重值，|·|1表示一范数。
23、采用上述进一步方案的有益效果是：通过计算滤波器权重值的一范数，能够使向量中的一些元素变为零，从而实现特征选择和降维，可用于在优化时去除没有取值的信息，具有稀疏性和不变性的特性，同时一范数对异常值具有一定的鲁棒性。
24、进一步地，所述对多个聚类中心滤波器下层通道的权重值进行计算，得到多个下层通道权重值的一范数，具体为：
25、对多个聚类中心滤波器下层通道的权重值进行一范数的计算，得到多个下层通道权重值的一范数，通道权重值一范数计算表达式为：
26、
27、其中，表示第k层第i个滤波器对应的下层通道，表示第k+1层第n个滤波器的第i个通道的权重值，|·|1表示一范数，a表示第k+1层滤波器的数量。
28、采用上述进一步方案的有益效果是：由于当前卷积层的某个滤波器输出的特征图，会作为下一层多个滤波器中对应的通道输入，那么下一层通道权重值也会是衡量当前滤波器的重要指标，故通过计算下一层通道权重值的一范数来衡量当前滤波器对应的下层通道。
29、进一步地，所述对多个聚类中心滤波器权重值的一范数进行标准化的计算，得到多个聚类中心滤波器权重值的一范数的标准化值，具体为：本文档来自技高网...
【技术保护点】
1.一种贡献度度量的冗余滤波器剪枝方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的冗余滤波器剪枝方法，其特征在于，所述依次对每层卷积层中的多个滤波器进行聚类处理，确定出每层卷积层中的多个聚类中心滤波器，具体为：
3.根据权利要求2所述的冗余滤波器剪枝方法，其特征在于，所述根据多个所述贡献度对所述卷积层中的多个滤波器进行剪枝，得到多个剩余滤波器，具体为：
4.根据权利要求3所述的冗余滤波器剪枝方法，其特征在于，所述对多个剩余滤波器进行差异性计算，得到多个剩余滤波器的差异性，具体为：
5.根据权利要求4所述的冗余滤波器剪枝方法，其特征在于，所述根据多个所述差异性对多个剩余滤波器进行剪枝，得到多个未剪枝滤波器，具体为：
6.根据权利要求1所述的冗余滤波器剪枝方法，其特征在于，每个滤波器包括多个通道，且当前卷积层的各个滤波器中用于输出结果的通道分别与下一卷积层的多个滤波器中用于输入结果的通道连接；
7.根据权利要求6所述的冗余滤波器剪枝方法，其特征在于，所述对所述卷积层的多个聚类中心滤波器的权重值进行计算，
8.根据权利要求6所述的冗余滤波器剪枝方法，其特征在于，所述对多个聚类中心滤波器下层通道的权重值进行计算，得到多个下层通道权重值的一范数，具体为：
9.根据权利要求7或8所述的冗余滤波器剪枝方法，其特征在于，所述对多个聚类中心滤波器权重值的一范数进行标准化的计算，得到多个聚类中心滤波器权重值的一范数的标准化值，具体为：
10.一种贡献度度量的冗余滤波器剪枝系统，其特征在于，包括：模型导入模块、聚类处理模块、贡献剪枝模块、相似剪枝模块和模型生成模块；
...【技术特征摘要】
1.一种贡献度度量的冗余滤波器剪枝方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的冗余滤波器剪枝方法，其特征在于，所述依次对每层卷积层中的多个滤波器进行聚类处理，确定出每层卷积层中的多个聚类中心滤波器，具体为：
3.根据权利要求2所述的冗余滤波器剪枝方法，其特征在于，所述根据多个所述贡献度对所述卷积层中的多个滤波器进行剪枝，得到多个剩余滤波器，具体为：
4.根据权利要求3所述的冗余滤波器剪枝方法，其特征在于，所述对多个剩余滤波器进行差异性计算，得到多个剩余滤波器的差异性，具体为：
5.根据权利要求4所述的冗余滤波器剪枝方法，其特征在于，所述根据多个所述差异性对多个剩余滤波器进行剪枝，得到多个未剪枝滤波器，具体为：
6.根据权利要求1所述的冗余滤波器剪枝方法，其特征在于，每个滤波器包括多个...
【专利技术属性】
技术研发人员：冯夫健，曾涛涛，谭棉，李志玲，冯乐，邹红梅，王林，
申请(专利权)人：贵州民族大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。