高效可解释的全自动化通道剪枝方法技术

本发明专利技术公开了高效可解释的全自动化通道剪枝方法，包括以下步骤：步骤S1：计算待剪枝卷积层的通道重要性，并将之转换为信息贡献率；步骤S2：结合当前探查的累计信息贡献率，保留信息贡献率最大的若干通道，步骤S3：为待剪枝模型的每个卷积层执行剪枝操作，得到剪枝后模型；步骤S4：对剪枝后模型进行评估，若其测试集精度相比于原模型的下降在可接受范围内，则将这个剪枝后模型保留为候选模型之一；步骤S5：更新搜索空间边界和累计信息贡献率，本发明专利技术的有益效果是：待剪枝通道的选择算法兼顾了基于度量的剪枝方法的高效性和基于误差重建的剪枝方法的可解释性，相比于这两类算法中的经典工作，可以在更高的模型压缩率下得到更高的测试集精度。试集精度。试集精度。

【技术实现步骤摘要】
高效可解释的全自动化通道剪枝方法


[0001]本专利技术涉及计算机应用领域，具体为高效可解释的全自动化通道剪枝方法。

技术介绍

[0002]通道剪枝是一种有效的、重要的模型压缩方法，它不仅可以在保持模型结构不变的同时降低模型体量、提升模型前向传播速度，还可以有效地抑制模型在训练中可能出现的过拟合现象。通道剪枝的主要问题在于待剪枝通道的选择和剪枝比例的设定，前者的相关研究主要有基于度量、基于误差重建和基于稀疏化训练等方向，后者即具化为剪枝率设置问题，这类研究主要可分为预定义和自动两种。然而，有研究指出随机性的通道剪枝在微调后同样能得到理想的结果，这几乎推翻了一些传统的通道剪枝理论，并促使通道剪枝与NAS的结合。自He等人提出的AMC开始，越来越多结合NAS的相关研究出现，实验证明这类方法可以取得极具竞争力的剪枝结果，并且其自动化的剪枝流程对使用者而言十分友好，与NAS的结合将是未来通道剪枝乃至网络剪枝的重要研究方向。
[0003]现有自动化通道剪枝方法大多结合神经网络结构搜索实现，难以兼顾高效率与高自动化程度，如图1所示。
[0004]待剪枝模型巨大的子结构空间为自动化剪枝带来了高昂的搜索成本。基于NAS的自动化通道剪枝，本质上是遍历待剪枝模型所有卷积层的通道组合并从中选择最优解，对于一个复杂的模型，算法需要做大量的探查，比如VGG16、GoogLeNet和ResNet152分别有、和种通道组合，如此高昂的时间代价和严苛的算力需求在实际应用中几乎是不可接受的。通过引入超参数重定义搜索空间的方式难以兼顾效率与自动化程度。为了降低搜索的复杂度，一些研究通过设置新的超参数定义更小的搜索空间，如ABCPruner为模型设置超参数用于限定每个卷积层最大保留比例。这些方法可以有效降低搜索成本，但它需要使用者为超参数设置合适的值才能得到理想剪枝结果，降低了算法的自动化程度，违背了算法减少人工参与的初衷。
[0005]现有通道剪枝的通道重要性衡量算法主要分为基于度量的方法和基于误差重建的方法。基于度量的方法寻找一个衡量通道重要性的标准，结合使用者设置的剪枝率将重要性最低的若干通道移除。这类方法通常不需要经过计算即可得到通道重要性，但选择标准主要着眼于网络权重本身，对数据（输出）在其中发挥的作用关注不足，并且这类方法是基于“smaller
‑
norm
‑
less
‑
informative”假设，即根据幅值大小决定通道的裁剪与否，这种假设却未必是成立的，因此其合理性难以证明。基于误差重建的方法通过最小化输出重建的误差指导剪枝过程，依靠通道对模型性能的影响程度选择待剪枝通道。将Loss等结合数据的指标纳入考虑范围，虽然解决了潜在的剪枝合理性问题，却也引入了高额计算成本，如ThiNet对一个n通道卷积层的计算复杂度为，He等人在单个卷积层的输出特征图上做Lasso回归以寻找最具代表性的通道，其计算复杂度更是难以量化。这两类方法陷入效率与可解释性不可得兼的困境，如图2所示，它们难以支持自动化通道剪枝算法的需要。

技术实现思路

[0006]本专利技术的目的在于提供高效可解释的全自动化通道剪枝方法，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：高效可解释的全自动化通道剪枝方法，包括以下步骤：步骤S1：计算待剪枝卷积层的通道重要性，并将之转换为信息贡献率；步骤S2：结合当前探查的累计信息贡献率，保留信息贡献率最大的若干通道，使得这些通道的信息贡献率之和满足下式：
[0008]式中表示被保留的通道集合，表示中第个通道的信息贡献率，cr表示当前累计信息贡献率；步骤S3：为待剪枝模型的每个卷积层执行剪枝操作，得到剪枝后模型；步骤S4：对剪枝后模型进行评估，若其测试集精度相比于原模型的下降在可接受范围内，则将这个剪枝后模型保留为候选模型之一；步骤S5：更新搜索空间边界和累计信息贡献率，当搜索空间小于给定的最小搜索区间时算法结束，并从候选模型集合中选择压缩率最高的作为自动化剪枝的结果。
[0009]具体的，步骤S1的具体流程为：步骤S11：基于权重置换的通道重要性度量算法衡量各卷积层的通道重要性；步骤S12：逐卷积层地将通道重要性转换为其信息贡献率。
[0010]具体的，步骤S11具体为：步骤S111：对卷积层通道进行权重置换；步骤S112：计算权重置换前后与该通道对应的输出特征图的变化；步骤S113：根据输出特征图的变化程度衡量通道的重要性。
[0011]具体的，步骤S12具体为：通道的信息贡献率可依据通道重要性进行计算，如下式。
[0012][0013]式中表示卷积层中第个通道的贡献率，表示卷积层中第个通道权重置换引发的输出特征图变化程度，表示卷积层所有通道权重同时置换引发的特征图变化程度。
[0014]具体的，步骤S4基于二分查找的搜索策略进行搜索模型，其中：二分搜索的对象是累计信息贡献率cr，二分决策指标为剪枝后模型的测试集精度，当剪枝后模型精度在可接受范围内时将探查cr更低的模型，反之则探查cr更高的模型，此时算法的搜索空间恒为其定义域。
[0015]与现有技术相比，本专利技术的有益效果是：算法将传统自动化通道剪枝的高维搜索空间降至一维，极大地降低了搜索成本；算法摆脱了人工调整超参数的繁杂过程，在设定可接受精度损失和最小搜索区间
后，算法即可在无人工参与的情况下完成剪枝，显著提升了算法的自动化程度；待剪枝通道的选择算法兼顾了基于度量的剪枝方法的高效性和基于误差重建的剪枝方法的可解释性，相比于这两类算法中的经典工作，可以在更高的模型压缩率下得到更高的测试集精度。
附图说明
[0016]图1为现有自动化通道剪枝算法中效率与自动化程度的矛盾示意图；图2为现有待剪枝通道选择方法中效率与可解释性的矛盾示意图；图3为本专利技术的卷积层的处理过程；图4为本专利技术的权重置换的示意图；图5为本专利技术的基于累计信息贡献率的通道剪枝算法示意图；图6为本专利技术的全自动化通道剪枝算法框架示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]请参阅图3
‑
图6，本专利技术提供一种技术方案：高效可解释的全自动化通道剪枝方法，包括以下步骤：步骤S1：计算待剪枝卷积层的通道重要性，并将之转换为信息贡献率；如图4所示，首先对卷积层通道进行权重置换，其次计算权重置换前后与该通道对应的输出特征图的变化，再次根据输出特征图的变化程度衡量通道的重要性，然后将通道重要性转换为信息贡献率，最后在给定累计信息贡献率的指导下按照通道信息贡献率对模型进行通道剪枝。模型经过充分训练后，其权重分布与训练集样本各项特征所包含的信息相对应，若模型在打乱测试集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.高效可解释的全自动化通道剪枝方法，其特征在于，包括以下步骤：步骤S1：计算待剪枝卷积层的通道重要性，并将之转换为信息贡献率；步骤S2：结合当前探查的累计信息贡献率，保留信息贡献率最大的若干通道，使得这些通道的信息贡献率之和满足下式：式中表示被保留的通道集合，表示中第个通道的信息贡献率，cr表示当前累计信息贡献率；步骤S3：为待剪枝模型的每个卷积层执行剪枝操作，得到剪枝后模型；步骤S4：对剪枝后模型进行评估，若其测试集精度相比于原模型的下降在可接受范围内，则将这个剪枝后模型保留为候选模型之一；步骤S5：更新搜索空间边界和累计信息贡献率，当搜索空间小于给定的最小搜索区间时算法结束，并从候选模型集合中选择压缩率最高的作为自动化剪枝的结果。2.根据权利要求1所述的高效可解释的全自动化通道剪枝方法，其特征在于：步骤S1的具体流程为：步骤S11：基于权重置换的通道重要性度量算法衡量各卷积层的通道重要性；步骤S12：逐卷积层地将通道重要性转换为其信息...

【专利技术属性】
技术研发人员：黄源翔，何杰，齐悦，杨文金，陈润和，李冠辰，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：