【技术实现步骤摘要】
本专利技术涉及卷积神经网络，特别是涉及一种基于卷积神经网络结构化剪枝稀疏模型优化方法。
技术介绍
1、近年来，卷积神经网络深度学习已经成为众多计算机视觉问题的最佳解决方案，例如图像分类、目标检测、目标跟踪、动作识别、语义分割、人体姿态估计等。研究人员们提出了许多优秀的网络模型，例如alexnet、vggnet、inceptions、resnet、densenet等。然而，这些网络模型都包含数百万个参数，并且需要强大的计算能力的支撑，基于上述网络模型在部署于计算资源受限的平台时，就会面临着巨大的算力挑战。针对上述问题，模型压缩成为了一种有效的解决方案。
2、但是在模型压缩旨在减少模型的参数数量、计算成本和内存消耗。如专利cn202310783843.2专利名称：网络通道剪枝率自适应调整方法、装置、设备和存储介质，上述专利中所记载的剪枝方案通过自适应的调整还是会极大浪费算力能力。目前来说，模型压缩主要包括网络剪枝、量化、知识蒸馏和低秩分解等方法。网络剪枝旨在不显著影响模型性能的情况下尽量减少模型参数的数量。网络剪枝算法可以划分为非结构化剪枝与结构化剪枝。非结构化剪枝是一种细粒度的剪枝方法，旨在修剪神经网络中不重要的参数。非结构化剪枝会产生非结构化的稀疏模型，通常会获得较高的模型压缩率。然而，由于非结构化剪枝对参数置零的位置存在随机性，造成了内存寻址上的不连续性，严重影响了模型的推理速度。
3、因此，针对现有技术不足，提供一种基于卷积神经网络结构化剪枝稀疏模型优化方法以克服现有技术不足甚为必要。
>技术实现思路
1、本专利技术的目的在于避免现有技术的不足之处而提供一种基于卷积神经网络结构化剪枝稀疏模型优化方法，该基于卷积神经网络结构化剪枝稀疏模型优化方法通过，能够修剪卷积神经网络中的某组不重要的连接或者整个滤波器。通过结构化剪枝会产生结构化的稀疏模型，大幅降低了修剪卷积神经网络模型的参数量与浮点运算量。同时，与原始模型相比，其产生的结构化稀疏模型只在通道数量上发生了变化，因此可以直接使用现有的基本线性代数子程序库进行加速，这也使得修剪卷积神经网络经过结构化剪枝相在实际应用时更加灵活。
2、本专利技术的上述目的通过如下技术手段实现。
3、提供一种基于卷积神经网络结构化剪枝稀疏模型优化方法，包含有：
4、步骤s1，分别确定数据集和在对应数据集上完成预训练的卷积神经网络模型；步骤s2，从数据集中随机选择个训练样本，将训练样本输入模型，通过公式（ii -5）得到网络倒数第二层输出的特征图；
5、其中，中，是一个张量，代表深度卷积神经网络每一层输出的特征图；为特征图的实数集，代表输入卷积神经网络模型中用于待评估滤波器的特征图敏感性的样本的数量，代表滤波器的个数，代表第层输出特征图的高度，代表第层输出特征图的宽度。
6、步骤s3，设定待剪枝的滤波器，将原始卷积神经网络模型中待剪枝的滤波器删除，通过公式（ii -5）重新计算出删除待剪枝的特定滤波器后新形成的重构卷积神经网络模型倒数第二层输出特征图；
7、步骤s4，计算特征图；与特征图之间的欧式距离，并进行待剪枝的滤波器的特征图敏感度评分获取特征图敏感性评估结果；
8、步骤s5，对特征图敏感性评估结果的稳定性进行分析。
9、其中，上述数据集表达式为：，其中表示第个输入数据，表示应的标签；为输入输出对的个数；
10、所述卷积神经网络模型，其中表示第个卷积层，表示第个全连接层；
11、所述卷积神经网络模型包含有个卷积层和个全连接层且每个卷积层由一组滤波器组成；
12、每个卷积层表示为；其中，代表第层的滤波器数量，代表第个卷积层中的第个滤波器，代表滤波器的尺寸。
13、其中，上述公式（ii -5）为,
14、;
15、表示倒数第二层输出的特征图；表示全尺寸模型的参数。
16、其中，上述步骤s3中设定待剪枝的滤波器，将原始卷积神经网络模型中待剪枝的滤波器删除具体操作包含有；步骤（s3-3-1），选取原始卷积云神经网络模型中的某个卷积层，通过公式（ii-6）将其中第个滤波器置0；
17、步骤（s3-3-2），使用新卷积层重构网络，得到重构网络参数，将训练样本输入重构网络，由所述公式（ii -5）得到重构网络倒数第二层输出的特征图；按照输入样本数量将特征图与由原始4维张量转化为2维张量。
18、优选的，上述步骤s4，计算特征图与特征图之间的欧式距离具体为通过公式（ii-7）计算；
19、其中，上述公式（ii-7）的表达式为；
20、优选的，上述步骤s4中敏感度评分具体为；通过公式（ii -8）计算得到待剪枝的滤波器的特征图敏感性评估结果。
21、优选的，上述公式（ii-8）为；其中，代表滤波器特征图敏感性评估结果。
22、优选的，上述步骤（s3-3-2）中输入样本数量将特征图与由原始4维张量转化为2维张量表达式为：。
23、优选的，上述还包含有步骤s6，设置卷积层的剪枝率通过公式（ii-1）网络损失函数实现卷积神经网络模型的模型训练。
24、优选的，上述网络损失函数具体为，…… 公式（ii-1）
25、其中，代表模型中的所有参数，代表输入样本时卷积神经网络模型的预测结果。
26、本专利技术的基于卷积神经网络结构化剪枝稀疏模型优化方法，包含有：
27、步骤s1，分别确定数据集和在对应数据集上完成预训练的卷积神经网络模型；
28、步骤s2，从数据集中随机选择个训练样本，将训练样本输入模型，通过公式（ii-5）得到网络倒数第二层输出的特征图；
29、其中，中，是一个张量，代表深度卷积神经网络每一层输出的特征图；为特征图的实数集，代表输入卷积神经网络模型中用于待评估滤波器的特征图敏感性的样本的数量，代表滤波器的个数，代表第层输出特征图的高度，代表第层输出特征图的宽度。
30、步骤s3，设定待剪枝的滤波器，将原始卷积神经网络模型中待剪枝的滤波器删除，通过公式（ii -5）重新计算出删除待剪枝的特定滤波器后新形成的重构卷积神经网络模型倒数第二层输出特征图；
31、步骤s4，计算特征图与特征图之间的欧式距离，并进行待剪枝的滤波器的特征图敏感度评分获取特征图敏感性评估结果；
32、步骤s5，对特征图敏感性评估结果的稳定性进行分析。
33、其中，上述数据集表达式为：，其中表示第个输入数据，表示对应的标签；为输入输出对的个数；
34、所述卷积神经网络模型，其中表示第个卷积层，表示第个全连接层；
35、所述卷积神经网络模型包含有个卷积层和个全连接层且每个卷积层由一组滤波器组成；
36、每个卷积层表示为；其中，代表第层的滤波器数量，代表第个卷积层中的第个滤波器，代表滤波器的尺寸。
3本文档来自技高网...
【技术保护点】
1.一种基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：包含有，
2.根据权利要求1所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：所述数据集表达式为：，其中表示第个输入数据，表示对应的标签；为输入输出对的个数。
3.根据权利要求2所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：
4.根据权利要求3所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：
5.根据权利要求4所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：步骤S4，计算特征图与特征图之间的欧式距离具体为通过公式（II -7）计算；
6.根据权利要求5所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：所述步骤S4中敏感度评分具体为；通过公式（II -8）计算得到待剪枝的滤波器的特征图敏感性评估结果；
7.根据权利要求6所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：
8.根据权利要求1所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：还包含有
9.根据权利要求8所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：所述网络损失函数具体为……公式（II -1）；
...【技术特征摘要】
1.一种基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：包含有，
2.根据权利要求1所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：所述数据集表达式为：，其中表示第个输入数据，表示对应的标签；为输入输出对的个数。
3.根据权利要求2所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：
4.根据权利要求3所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：
5.根据权利要求4所述的基于卷积神经网络结构化剪枝稀疏模型优化方法，其特征在于：步骤s4，计算特征图与特征图之间的欧式距离具体为通过公式（ii -7）计算；<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。