【技术实现步骤摘要】
基于输出激活映射的过滤器剪枝方法、图像分类系统及边缘设备
[0001]本专利技术涉及计算机视觉和深度学习领域，特别是涉及一种基于输出激活映射的过滤器剪枝方法
、
图像分类系统及边缘设备
。
技术介绍
[0002]近年来，深度卷积神经网络
CNNs
为深度神经网络
DNNs
的一大分支，在图像分类等计算机视觉领域应用广泛
。
但是，众所周知，深度学习任务具有很高的计算密度，因此也需要高性能的计算设备以及海量的计算资源，使得
CNNs
很难部署在资源受限的设备上
。
这也让深度学习应用的性能和成本逐渐成为不可忽视的挑战
。
[0003]为此，对
CNNs
进行过滤器剪枝以此得到轻量化模型成为研究趋势
。
在修剪参数释放大量存储空间以降低使用成本的同时，过滤器剪枝仍然能够保持甚至提升模型的精度
。
一种已有的方法认为过滤器激活映射与类标签之间的类互信息可以反馈出该过滤器对类标签信息的提取情况，进而根据类互信息对每层的过滤器进行排名，进而修剪类互信息较小的过滤器达到压缩模型的目的
。
但是，这种方法没有考虑高
‑
类互信息，即强
‑
类相关性的过滤器之间可能存在高冗余的情况，导致错误选择
。
[0004]因此亟需提供一种新型的基于输出激活映射的过滤器剪枝方法
、
图像分类系统及边缘...
【技术保护点】
【技术特征摘要】
1.
一种基于输出激活映射的过滤器剪枝方法，其特征在于，包括以下步骤：
S1
：设定超参数：分层剪枝率
、
每层需要保留的过滤器的数量和修剪迭代时每层剩余过滤器的数量；
S2
：预训练初始模型得到基线模型，并将基线模型作为当前需要剪枝的模型；
S3
：对当前需要剪枝的模型运行基于相关性和冗余度的过滤器综合评价准则；
S4
：根据所述分层剪枝率与修剪迭代前每层剩余过滤器的数量的乘积得到每层需要修剪的过滤器数量，再结合步骤
S3
得到的每个卷积层的过滤器排名，修剪每层相应数量的贡献较小的过滤器；
S5
：对剪枝后的模型进行再训练以此恢复精度下降；
S6
：判断每层剩余过滤器的数量是否已经达到所述每层需要保留的过滤器的数量，若未达到，则返回步骤
S3
，继续评价过滤器贡献并执行步骤
S3
至
S5
，直至模型剪枝完毕
。2.
根据权利要求1所述的基于输出激活映射的过滤器剪枝方法，其特征在于，所述基于相关性和冗余度的过滤器综合评价准则的执行步骤包括：
S301
：将数据集分为多个小批次数据集，并依次输入基线模型进行图像分类
;S302
：遍历所有小批次数据集；
S303
：对于当前的小批次数据集，计算该组图像对应类标签的熵以及每个过滤器输出激活映射的熵，根据求得的熵计算每个过滤器输出激活映射与类标签之间的类互信息；
S304
：根据类互信息大小对过滤器进行排名，在每个卷积层中选出具有最大类互信息的过滤器作为被选过滤器，剩余过滤器为候选过滤器；
S305
：计算每层候选过滤器与每层对应的被选过滤器之间的冗余度；
S306
：计算每个过滤器的相关冗余权重；
S307
：计算每个过滤器的相关性；
S308
：从相关性和冗余度两个方面综合评价过滤器贡献；
S309
：判断是否遍历所有小批次数据集，若未遍历，则返回至
S302
，执行步骤
S303
‑
S308
，若全部遍历，则执行步骤
S310
；
S310
：将每个过滤器对应的所有小批次数据集的贡献求和取均值，最终得到每个过滤器在整个数据集上的贡献；
S311
：根据贡献对过滤器进行分层排名
。3.
根据权利要求2所述的基于输出激活映射的过滤器剪枝方法，其特征在于，所述某个小批次数据集的图像对应类标签的熵
、
第层第个过滤器输出激活映射的熵和其输出激活映射与类标签 之间的类互信息的计算包括步骤：（1）对于给定的大小为 的小批次数据集，其中图像的类标签第层第个过滤器输出的激活映射；（2）使用高斯核函数分别计算类标签和过滤器对应的大小的
Gram
矩阵和：
；其中对于所有的，
,
是高斯核宽度，是
Frobenius
范数；（3）信息熵使用归一化的
Gram
矩阵的特征值计算：；其中
,
其中，是的第
i
个特征值；（4）计算某个小批次数据集的图像对应类标签的熵和第层第个过滤器输出激活映射的熵：
;
（5）计算第层第个过滤器输出激活映射与类标签之间的类互信息：
;
...
【专利技术属性】
技术研发人员：陆景祺，张武，左冠鹏，王瑞卿，金秀，刘波，江朝晖，饶元，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。