【技术实现步骤摘要】
本专利技术涉及深度学习，具体涉及网络模型的结构优化方法、装置、计算机设备及存储介质。
技术介绍
1、近年，深度卷积神经网络(dcnn)在计算机视觉领域的多个方面中均取得了巨大成功，在很多应用中需要深度网络模型的支持才能够有效提升终端的智能化水平，但深度模型拥有巨大的参数量，移植到终端难度较大。在保证模型性能基本不变的情况下，对模型参数量进行压缩，降低模型的运算量是一个有效的方法。因此，dcnn模型压缩加速的研究越来越受到重视。dcnn网络剪枝是一种常用的模型压缩加速方法。剪枝通过抛弃网络中无用参数的方式来压缩网络，从而加速模型的推理过程。根据剪枝粒度的大小，网络剪枝可以分为权值剪枝、卷积核剪枝和滤波器剪枝三类。滤波器剪枝是一种较大尺度上的结构剪枝方法，剪枝后的网络较易用现有计算架构实现。
2、相关技术中，滤波器剪枝多是通过考虑滤波器的范数、几何中值等指标来确定剪枝的滤波器。由于滤波器对各个输入通道信息的敏感度与关注程度有区别，对滤波器的剪枝需要手动设置每一层的剪枝率，导致工作效率低下，且存在模型精确度下降的问题。另一方面，模型的优化精简更多地是为了适配承载模型的硬件设备，以应用于边缘计算的智能视频监控领域为例，当智能视频监控的算力分散到监控前端时，若前端的设备资源有限的情况下，则很难维持一个需要高算力的模型，使得视频数据的计算容易出现异常。因此，为了适配边缘计算的前端设备，对模型进行剪枝优化处理也是必要的。
技术实现思路
1、有鉴于此，本专利技术提供了一种网络模型的结构
2、第一方面，本专利技术提供了一种网络模型的结构优化方法，方法包括：
3、获取待剪枝网络模型；
4、对待剪枝网络模型进行预训练，得到原始模型；
5、对待剪枝网络模型进行稀疏性训练，确定原始模型的每一层保留的滤波器数量；
6、计算滤波器之间的序-信息相似性度量，基于滤波器之间的序-信息相似性度量，构造滤波器的相似性图；
7、基于滤波器的相似性图与原始模型的每一层保留的滤波器数量，对滤波器进行相似性图聚类，确定每一层的待剪枝集合；
8、对待剪枝集合进行剪枝，得到剪枝后的网络模型。
9、在本专利技术中，通过对部署在监控前端的用于进行视频数据处理的模型进行稀疏性训练，确定模型中每一层需要进行剪枝的滤波器的数量，将滤波器按照相似性进行剪枝，得到更为紧凑的模型，通过自动调节模型每一层保留的滤波器数量，解决了现有技术无法确定模型待剪枝的滤波器及滤波器的数量的问题。通过对模型的剪枝，有效减少了模型的参数和浮点操作数，并且精确度几乎不下降，进而可以实现在保证精度的同时将剪枝后的高算力模型安装至边缘计算的前端设备，降低了对前端设备的要求，进一步降低了计算成本。
10、在一种可选的实施方式中，对原始模型进行稀疏性训练，确定原始模型的每一层保留的滤波器数量，包括：
11、对待剪枝网络模型进行稀疏训练，得到稀疏网络模型；
12、基于稀疏网络模型每一层的缩放因子和预设全局剪枝率，计算得到原始模型的每一层保留的滤波器数量。
13、在该方式中，通过对模型进行稀疏训练，获取每一层的剪枝率，可以动态自动调整每一层的剪枝率，无需手动调节剪枝率，避免了手动调节剪枝率存在的工作效率低下的问题。
14、在一种可选的实施方式中，基于稀疏网络模型每一层的缩放因子和预设全局剪枝率，计算得到原始模型的每一层保留的滤波器数量，包括：
15、基于缩放因子在各层的分布特性和每一层的滤波器数量，确定出每一层的剪枝敏感度；
16、基于敏感度和预设全局剪枝率，对滤波器进行配分，计算得到原始模型的每一层的剪枝率；
17、基于每一层的剪枝率，计算得到每一层保留的滤波器数量。
18、在该方式中，通过缩放因子的比例反映每一层具体可以剪枝的程度，进而实现动态确定每一层具体剪枝的滤波器的数量，进一步提升了剪枝的准确性。
19、在一种可选的实施方式中，通过以下公式计算得到每一层的剪枝敏感度：
20、
21、其中，δl表示每一层的敏感度，γl,j表示每一层的缩放因子，表示每一层的缩放因子的最大值。
22、在该方式中，通过缩放因子的所占比例，反映模型每一层对剪枝的敏感度，进而确定模型每一层可接受的剪枝程度。
23、在一种可选的实施方式中，通过以下公式计算得到每一层的剪枝率：
24、
25、其中，pl表示每一层的剪枝率，表示第l层对滤波器剪枝数量的配分占比，p表示预设全局剪枝率，ni表示每一层的滤波器数量。
26、在该方式中，通过模型每一层的敏感度，结合预设的全局剪枝率，动态确定了每一层的剪枝率，保证对剪枝敏感层不被剪去过多的滤波器。
27、在一种可选的实施方式中，计算滤波器之间的序-信息相似性度量，包括：
28、根据原始模型的卷积核对输入通道信息映射的相对强度序结构向量，计算得到原始模型的滤波器之间的相对强度序结构距离；
29、计算得到原始模型的滤波器之间的等位核向量距离；
30、结合相对强度序结构距离与等位核向量距离，计算得到原始模型的滤波器之间的序-信息相似性度量。
31、在该方式中，通过使用到序结构相似性以及等位核信息映射相似性两种相似性进行滤波器相似性度量，优化滤波器相似性度量，并且通过图聚类的方法，更好地利用滤波器的相似性进行剪枝，确保减去冗余的滤波器。
32、在一种可选的实施方式中，基于滤波器的相似性图与原始模型的每一层保留的滤波器数量，对滤波器进行相似性图聚类，确定每一层的待剪枝集合，包括：
33、基于原始模型的每一层保留的滤波器数量，确定原始模型的每一层的阈值；
34、基于原始模型的每一层的阈值，将相似性图进行分解，得到若干水平全连接子图与顶点集；
35、在每一顶点集中选取一滤波器保留，将其余滤波器放入待剪枝集合。
36、在该方式中，通过使用相似性图聚类方法对滤波器进行相似性分类，将相似度高的滤波器视为冗余并进行剪枝，提升了模型的准确率，得到剪枝后的紧凑模型。
37、第二方面，本专利技术提供了一种网络模型的结构优化装置，装置包括：
38、模型获取模块，用于获取待剪枝网络模型；
39、模型预训练模块，用于对待剪枝网络模型进行预训练，得到原始模型；
40、稀疏训练模块，用于对待剪枝网络模型进行稀疏性训练，确定原始模型的每一层保留的滤波器数量；
41、相似性图构建模块，用于计算滤波器之间的序-信息相似性度量，基于滤波器之间的序-信息相似性度量，构造滤波器的相似性图；
42、待剪枝集合确定模块，用于基于滤波器的相似性图与原始模型的每一层保留的本文档来自技高网...
【技术保护点】
1.一种网络模型的结构优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待剪枝网络模型进行稀疏性训练，确定所述原始模型的每一层保留的滤波器数量，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述稀疏网络模型每一层的缩放因子和预设全局剪枝率，计算得到所述原始模型的每一层保留的滤波器数量，包括：
4.根据权利要求3所述的方法，其特征在于，通过以下公式计算得到所述每一层的剪枝敏感度：
5.根据权利要求4所述的方法，其特征在于，通过以下公式计算得到所述每一层的剪枝率：
6.根据权利要求1所述的方法，其特征在于，所述计算所述滤波器之间的序-信息相似性度量，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述滤波器的相似性图与所述原始模型的每一层保留的滤波器数量，对所述滤波器进行相似性图聚类，确定每一层的待剪枝集合，包括：
8.一种网络模型的结构优化装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，包括：
1
...【技术特征摘要】
1.一种网络模型的结构优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待剪枝网络模型进行稀疏性训练，确定所述原始模型的每一层保留的滤波器数量，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述稀疏网络模型每一层的缩放因子和预设全局剪枝率，计算得到所述原始模型的每一层保留的滤波器数量，包括：
4.根据权利要求3所述的方法，其特征在于，通过以下公式计算得到所述每一层的剪枝敏感度：
5.根据权利要求4所述的方法，其特征在于，通过以下公式计算得到所述每一层的剪枝率：
6...
【专利技术属性】
技术研发人员：裴继红，黄政亮，朱继洪，赵阳，杨烜，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。