【技术实现步骤摘要】
本专利技术涉及一种深度神经网络压缩的方法、装置、计算机设备和存储介质，属于卷积神经网络。
技术介绍
1、申请号为202311174427.9、专利名称为输变电缺陷识别的方法、装置、计算机设备和存储介质的专利，利用卷积神经网络建立输变电缺陷识别模型，根据实时采集输变电缺陷监测图像进行输变电缺陷检测，提升了缺陷识别的准确率，而且能够提高巡检工作效率和质量，提高了输变电运维自动化水平和电网运行安全。但是，其采用的变电站缺陷识别模型计算复杂度高，推理时间长，边缘端计算装置内存、存储有限，模型需要进行加速与压缩。
2、常用的模型加速与压缩方法是剪枝与量化。剪枝的目标是从神经网络中移除不重要的权重，以实现存储效率、内存效率，有时还包括计算效率和时间效率，同时还需要保持模型性能。剪枝方法中有两个关键元素：（1）剪枝单元是从模型中移除的原子单位；它可以是单个权重（非结构化剪枝），也可以是注意力头甚至是transformer层（结构化剪枝）。（2）显著性分数是制定剪枝决策的标准。基于它是否使用梯度以及使用的梯度顺序，我们可以将剪枝方法分类为零...
【技术保护点】
1.一种深度神经网络压缩的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的深度神经网络压缩的方法，其特征在于，所述通过局部结构化稀疏处理对权重矩阵进行稀疏剪枝，包括：
3.根据权利要求2所述的深度神经网络压缩的方法，其特征在于，所述对每一组的子矩阵进行剪枝操作的公式如下：
4.根据权利要求3所述的深度神经网络压缩的方法，其特征在于，所述对剪枝后的损失函数使用泰勒公式进行展开：
5.根据权利要求1所述的深度神经网络压缩的方法，其特征在于，所述通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩，获得压缩权重，包括
6....
【技术特征摘要】
1.一种深度神经网络压缩的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的深度神经网络压缩的方法，其特征在于，所述通过局部结构化稀疏处理对权重矩阵进行稀疏剪枝，包括：
3.根据权利要求2所述的深度神经网络压缩的方法，其特征在于，所述对每一组的子矩阵进行剪枝操作的公式如下：
4.根据权利要求3所述的深度神经网络压缩的方法，其特征在于，所述对剪枝后的损失函数使用泰勒公式进行展开：
5.根据权利要求1所述的深度神经网络压缩的方法，其特征在于，所述通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩，获得压缩权重，包括：
6.根据权利要求5所述的深度神经网络压缩的方法，其特征在于，在通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩过程中，对于参数矩阵w，t是输出通道，s是输入通道；将输入通道分成k组，每组表示成一个量化的单元，每次量化以一组权重wi中非零的参数进行量化：
7.根据权利要求5所述的深度神经网络压缩的方法，其特征在于，在通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩过程中，
8.根据权利要求1所述的深度神经网络压缩的方法，其特征在于，在将压缩权重放入adam模块进行微调过程中，采用固定聚类标签b，然后通过反向传播对每个组的聚类中心d进行梯度更新，从而实现对模型的微调。<...
【专利技术属性】
技术研发人员：胥明凯，任志刚，李琮，杨杰，陈显达，王淑颖，王思源，刘昭，刘晓，刘哲，王万国，胡庆浩，李章明，高翔，邵帅，郑义斌，张雨薇，
申请(专利权)人：国网山东省电力公司济南供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。