一种基于网络结构搜索的模型剪枝方法技术

本发明专利技术公开了一种基于网络结构搜索的模型剪枝方法。该方法包括：获取需要的剪枝模型和剪枝目标；其中，所述待剪枝模型基于网络结构搜索获得，所述待剪枝目标包含各种参数信息；控制器发送控制信息参数进行第一次剪枝；获取了第一次的剪枝后的模型的各种参数；控制器以此类推进行循环发送剪枝请求；可以控制剪枝请求循环次数；将最后一次循环的剪枝模型作为目标模型。为目标模型。为目标模型。

【技术实现步骤摘要】
一种基于网络结构搜索的模型剪枝方法


[0001]本专利技术涉及模型压缩
，尤其涉及一种基于网络结构搜索的模型剪枝方法。

技术介绍

[0002]深度学习模型压缩方法中的剪枝，内容从剪枝简介、剪枝步骤、结构化剪枝与非结构化剪枝、静态剪枝与动态剪枝、硬剪枝与软剪枝等五个部分展开。
[0003]剪枝简介
[0004]在介绍剪枝之前，首先来过参数化这个概念，过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕捉数据中微小的变化信息，一旦完成迭代式的训练之后，网络模型在推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础提出来的。剪枝算法的核心思想就是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。
[0005]剪枝步骤
[0006]先训练一个模型，然后对模型进行剪枝，最后对剪枝后模型进行微调。这种方法是三种方法中用的最多的。
[0007]直接在模型训练过程中进行剪枝，最后对剪枝后模型进行微调。
[0008]直接进行剪枝，然后从头训练剪枝后的模型。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型剪枝方法，其特征在于，包括：获取需要的剪枝模型和剪枝目标；其中，所述待剪枝模型基于网络结构搜索获得，所述待剪枝目标包含各种参数信息；控制器发送控制信息参数进行第一次剪枝；获取了第一次的剪枝后的模型的各种参数；控制器以此类推进行循环发送剪枝请求；可以控制剪枝请求循环次数；将最后一次循环的剪枝模型作为目标模型。2.根据权利要求1所述的模型剪枝方法，其特征在于，所述采集图像数据的步骤，包括：收集硬件设备查找预设输电线收集的图像参数；从所获取的图像参数信息中获取剪枝目标图像；从所获取的目标图像的问题检测数据库的数据集；从所述目标图像问题检测数据库的数据集对所述待剪枝目标图像进行标记，得到目标图像参数。3.根据权利要求1所述的模型剪枝方法，其特征在于，所述剪枝目标还包括目标剪枝通道数；相应地，所述根据所述剪枝目标对所述第一微调后模型进行迭代剪枝，获得第二剪枝后模型，包括：S1，对所述第一微调后模型中的一个通道进行剪枝，获得单通道剪枝后模型；S2，按照第二微调次数对单通道剪枝后模型进行微调训练，获得第二微调后模型；其中，所述第二微调次数根据剪枝配比信息中迭代剪枝在模型剪枝过程的占比信息、目标剪枝通道数以及剪枝训练迭代总数确定；S3，在所述第二微调后模型的基础上重复执行S1
‑
S2，直到达到预设的迭代次数，以获得最新的第二微调后模型，并将最新的第二微调后模型作为第二剪枝后模型；其中，所述预设的迭代次数根据迭代剪枝通道数确定，该迭代剪枝通道数根据所述目标剪枝通道数以及所述剪枝配比信息中迭代剪枝在模型剪枝过程中的占比信息计算得到。4.根据权利要求1所述的模型剪枝方法，其特征在于，清洗所述图像数据中的异常数据，得到清洗数据；所述清洗数据包括正常设备数据和缺陷设备数据；调整所述正常设备数据和所述缺陷设备数据的比例，得到样本数据；按照预设比例从所述样本数据中提取训练数据，生成训练集。5.根据权利要求1所述的模型剪枝方法，其特征在于，所述剪枝目标还包括目标剪枝通道数；相应地，所述根据所述剪枝目标对所述待剪枝模型进行一次剪枝，获得第一剪枝后模型，包...

【专利技术属性】
技术研发人员：丁晓嵘，张新，李晓梅，聂明杰，李楠，王柏春，张兴业，田晓宇，高涵，项乾，
申请(专利权)人：北京市智慧水务发展研究院，
类型：发明
国别省市：