用于深度网络压缩的智能剪枝方法和系统技术方案

本发明专利技术涉及一种用于深度网络压缩的智能剪枝方法和系统，该方法包括：获取训练样本集以及未经训练的待压缩卷积神经网络；根据神经元的睡眠与清醒机制，利用训练样本集对卷积神经网络进行训练，在训练过程中同时更新卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到训练完成的卷积神经网络；根据训练完成的卷积神经网络中每一层卷积层的滤波器的信息熵大小排序，以及预设的剪枝比例对每一层卷积层的滤波器进行剪枝处理，得到训练完成且压缩好的压缩卷积神经网络。本发明专利技术的方法得到的压缩卷积神经网络，可以避免安检图像分类过程中的运算冗余，节约运算时间，而且压缩后的卷积神经网络能运行于计算资源受限的平台上。卷积神经网络能运行于计算资源受限的平台上。卷积神经网络能运行于计算资源受限的平台上。

Intelligent pruning method and system for deep network compression

【技术实现步骤摘要】
用于深度网络压缩的智能剪枝方法和系统


[0001]本专利技术属于人工智能
，具体涉及一种用于深度网络压缩的智能剪枝方法和系统。

技术介绍

[0002]随着经济社会的快速发展，当前我国人口流动性大大增强，为了维护公共安全，在机场、火车站、汽车站、地铁入口等公共场所需要进行安检，以保证人们的出行安全。
[0003]目前常见的安检仪器为X射线安检机，X射线安检机在使用过程中，需要工作人员认真仔细地查看X射线行李图像来判别是否含有危险物品，装置智能化程度低，人工检查所需的成本较高，同时也可能会出现误判漏判情况。
[0004]随着人工智能技术的飞速发展，神经网络方法在图像处理领域的广泛应用，基于卷积神经网络算法的安检系统也开始出现，卷积神经网络是深度学习
具有代表性的神经网络，融入深度学习算法和卷积神经网络的智能化安检机系统大大提高了安检装置的智能化程序，提高了危险物品识别的准确率，同时有效减轻安检工作人员的压力。
[0005]但是，卷积神经网络的网络结构复杂，不能满足快速、实时应用的需求，会导致安检过程中存在安检通道拥堵的情况，另外，卷积神经网络一般需要较高的计算资源，而在图像分类识别的实际应用场景中，由于空间、成本限制导致计算资源受限，无法将其大规模的应用于实际生活中。

技术实现思路

[0006]为了解决现有技术中存在的上述问题，本专利技术提供了一种用于深度网络压缩的智能剪枝方法和系统。本专利技术要解决的技术问题通过以下技术方案实现：
[0007]本专利技术提供了一种用于深度网络压缩的智能剪枝方法，包括：
[0008]获取训练样本集以及未经训练的待压缩卷积神经网络；
[0009]根据神经元的睡眠与清醒机制，利用所述训练样本集对所述卷积神经网络进行训练，在训练过程中同时更新所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到训练完成的卷积神经网络；
[0010]根据所述训练完成的卷积神经网络中每一层卷积层的滤波器的信息熵大小排序，以及预设的剪枝比例对每一层卷积层的滤波器进行剪枝处理，得到训练完成且压缩好的压缩卷积神经网络，以利用该压缩卷积神经网络对安检图像数据进行分类。
[0011]在本专利技术的一个实施例中，根据神经元的睡眠与清醒机制，利用所述训练样本集对所述卷积神经网络进行训练，在训练过程中同时更新所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到训练完成的卷积神经网络，包括：
[0012]将所述训练样本集输入所述卷积神经网络中，按照睡眠阶段与清醒阶段轮次交替对所述卷积神经网络进行训练，更新所述卷积神经网络的参数，并在每一轮次训练后计算所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵；
[0013]达到预设的网络收敛条件后，得到所述训练完成的卷积神经网络。
[0014]在本专利技术的一个实施例中，在睡眠阶段对所述卷积神经网络进行训练，更新所述卷积神经网络的参数，包括：
[0015]根据上一轮次清醒阶段训练后得到的所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到每一层卷积层的滤波器的信息熵大小排序；
[0016]对每一层卷积层的滤波器，按照其信息熵从小到大的顺序，确定所述剪枝比例对应数量的滤波器，作为所述卷积层对应的候选待剪枝滤波器；
[0017]在当前轮次睡眠阶段的训练过程中，对每一层卷积层的所述候选待剪枝滤波器的权重参数进行删除，更新其余滤波器的权重参数，以实现所述卷积神经网络的参数更新。
[0018]在本专利技术的一个实施例中，在清醒阶段对所述卷积神经网络进行训练，更新所述卷积神经网络的参数，包括：
[0019]在当前轮次清醒阶段的训练过程中，对每一层卷积层的所有滤波器的权重参数进行更新，以实现所述卷积神经网络的参数更新。
[0020]在本专利技术的一个实施例中，根据所述训练完成的卷积神经网络中每一层卷积层的滤波器的信息熵大小排序，以及预设的剪枝比例对每一层卷积层进行剪枝处理，得到训练完成且压缩好的压缩卷积神经网络，包括：
[0021]根据所述训练完成的卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到每一层卷积层的滤波器的信息熵大小排序；
[0022]对每一层卷积层的滤波器，按照其信息熵从小到大的顺序，确定所述剪枝比例对应数量的滤波器，作为所述卷积层对应的待剪枝滤波器；
[0023]对每一层卷积层的所述待剪枝滤波器进行剪枝处理，得到所述压缩卷积神经网络。
[0024]在本专利技术的一个实施例中，每一层卷积层中每一个滤波器的信息熵的计算公式为：
[0025][0026][0027]式中，H
i,j
表示第i个卷积层第j个滤波器的信息熵，N表示将滤波器的权重范围均匀划分的区间个数，n表示滤波器的第n个权重区间，p
n
表示滤波器的权重在第n个权重区间出现的概率，K1表示滤波器的高度，K2表示滤波器的宽度，w
i,j
[k1][k2]表示第i个卷积层第j个滤波器中高度为k1宽度为k2位置上的权重，[B
n1
,B
n2
)表示第n个权重区间的取值范围。
[0028]本专利技术提供了一种用于图像分类的卷积神经网络的压缩系统，包括：
[0029]获取模块，用于获取训练样本集以及未经训练的待压缩卷积神经网络；
[0030]网络训练模块，用于根据神经元的睡眠与清醒机制，利用所述训练样本集对所述卷积神经网络进行训练，在训练过程中同时更新所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到训练完成的卷积神经网络；
[0031]剪枝模块，用于根据所述训练完成的卷积神经网络中每一层卷积层的滤波器的信息熵大小排序，以及预设的剪枝比例对每一层卷积层的滤波器进行剪枝处理，得到训练完成且压缩好的压缩卷积神经网络。
[0032]本专利技术提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一所述实施例的方法步骤。
[0033]本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述实施例的方法步骤。
[0034]与现有技术相比，本专利技术的有益效果在于：
[0035]1.本专利技术的用于深度网络压缩的智能剪枝方法，采用信息熵作为滤波器的评估准则，充分考虑滤波器权重对卷积神经网络特征表达能力的影响，同时引入神经科学中的睡眠与清醒理念，并设置了全局剪枝阈值，构成智能结构化的剪枝方法，在训练过程中选择好卷积神经网络中待剪枝的滤波器，训练完成后对网络剪枝得到压缩卷积神经网络，将该压缩卷积神经网络用于图像分类时，其在保持模型分类准确率几乎不变的同时还具有较高的模型泛化能力，而且经过剪枝后的压缩卷积神经网络，可以避免安检图像分类过程中的运算冗余，节约运算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于深度网络压缩的智能剪枝方法，其特征在于，包括：获取训练样本集以及未经训练的待压缩的卷积神经网络；根据神经元的睡眠与清醒机制，利用所述训练样本集对所述卷积神经网络进行训练，在训练过程中同时更新所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到训练完成的卷积神经网络；根据所述训练完成的卷积神经网络中每一层卷积层的滤波器的信息熵大小排序，以及预设的剪枝比例对每一层卷积层的滤波器进行剪枝处理，得到训练完成且压缩好的压缩卷积神经网络，以利用该压缩卷积神经网络对安检图像数据进行分类。2.根据权利要求1所述的用于深度网络压缩的智能剪枝方法，其特征在于，根据神经元的睡眠与清醒机制，利用所述训练样本集对所述卷积神经网络进行训练，在训练过程中同时更新所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到训练完成的卷积神经网络，包括：将所述训练样本集输入所述卷积神经网络中，按照睡眠阶段与清醒阶段轮次交替对所述卷积神经网络进行训练，更新所述卷积神经网络的参数，并在每一轮次训练后计算所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵；达到预设的网络收敛条件后，得到所述训练完成的卷积神经网络。3.根据权利要求2所述的用于深度网络压缩的智能剪枝方法，其特征在于，在睡眠阶段对所述卷积神经网络进行训练，更新所述卷积神经网络的参数，包括：根据上一轮次清醒阶段训练后得到的所述卷积神经网络中每一层卷积层中每一个滤波器的信息熵，得到每一层卷积层的滤波器的信息熵大小排序；对每一层卷积层的滤波器，按照其信息熵从小到大的顺序，确定所述剪枝比例对应数量的滤波器，作为所述卷积层对应的候选待剪枝滤波器；在当前轮次睡眠阶段的训练过程中，对每一层卷积层的所述候选待剪枝滤波器的权重参数进行删除，更新其余滤波器的权重参数，以实现所述卷积神经网络的参数更新。4.根据权利要求2所述的用于深度网络压缩的智能剪枝方法，其特征在于，在清醒阶段对所述卷积神经网络进行训练，更新所述卷积神经网络的参数，包括：在当前轮次清醒阶段的训练过程中，对每一层卷积层的所有滤波器的权重参数进行更新，以实现所述卷积神经网络的参数更新。5.根据权利要求1所述的用于深度网络压缩的智能剪枝方法，其特征在于，根据所述训练完成的卷积神经网络中每一层卷积层的滤波器的信息熵大小排序，以及预设的剪枝比...

【专利技术属性】
技术研发人员：王颖，陈怡桦，李洁，王斌，胡留成，马浩中，张建龙，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：