基于相邻卷积的模型剪枝方法、装置及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，揭露一种基于相邻卷积的模型剪枝方法，包括：利用绝对值函数获取待评价卷积层中的滤波器矩阵的滤波器曼哈顿距离以及通道矩阵的通道曼哈顿距离，进而获取卷积层滤波器方式参数和卷积层通道方式参数；将卷积层滤波器方式参数与卷积层通道方式参数的乘积，形成用于判断滤波器剪枝概率的滤波器剪枝概率参数；根据预设的规则将滤波器剪枝概率参数进行排序，并根据滤波器剪枝概率参数的排序结果确定待剪枝滤波器；将所确定的待剪枝滤波器进行裁剪。本发明专利技术的待剪枝卷积模型可以为用于智慧医疗的神经网络模型；本发明专利技术实现了在保持卷积模型相对较好的模型性能的同时，达到较高的精度的技术效果。达到较高的精度的技术效果。达到较高的精度的技术效果。

【技术实现步骤摘要】
基于相邻卷积的模型剪枝方法、装置及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种基于相邻卷积的模型剪枝方法、装置及计算机可读存储介质。

技术介绍

[0002]卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络虽然有着较好的性能，但是卷积神经网络模型需要大量的计算开销，且模型中含有大量冗余信息，因此需要对卷积神经网络进行压缩。在智慧医疗领域中，卷积神经网络广泛可以支持疾病辅助诊断、健康管理、远程会诊等功能；现有的应用于智慧医疗的卷积神经网络模型压缩方法有模型剪枝、量化和蒸馏。现有技术中的模型剪枝是通过选取相对不重要的卷积核的滤波器(filter)并去掉；对于去掉了不重要的滤波器的模型进行微调(fine
‑
tune)；已恢复因为去掉微调带来的精度损失。
[0003]现有技术中的相对不重要的卷积核的滤波本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相邻卷积的模型剪枝方法，应用于电子装置，其特征在于，所述方法包括：利用绝对值函数获取待评价卷积层中的滤波器矩阵的滤波器曼哈顿距离以及通道矩阵的通道曼哈顿距离，根据所述滤波器曼哈顿距离获取卷积层滤波器方式参数，并通过所述通道曼哈顿距离获取卷积层通道方式参数；将所述卷积层滤波器方式参数与卷积层通道方式参数的乘积，形成用于判断滤波器剪枝概率的滤波器剪枝概率参数；根据预设的规则将所述滤波器剪枝概率参数进行排序，并根据所述滤波器剪枝概率参数的排序结果确定待剪枝滤波器；将所确定的待剪枝滤波器进行裁剪。2.如权利要求1所述的基于相邻卷积的模型剪枝方法，其特征在于，所述将所确定的待剪枝滤波器进行裁剪的方法包括：获取待剪枝滤波器，根据待剪枝滤波器以及预设的裁剪阈值训练基于相邻卷积的剪枝模型；根据所述基于相邻卷积的剪枝模型的原始参数获取掩码矩阵；其中，所述掩码矩阵与所述基于相邻卷积的剪枝模型的原始参数矩阵尺寸一致，且所述掩码矩阵为包括0和1的训练矩阵；利用所述掩码矩阵对所述基于相邻卷积的剪枝模型的参数进行调整；利用参数调整后的所述基于相邻卷积的剪枝模型进行剪枝。3.如权利要求2中所述的基于相邻卷积的模型剪枝方法，其特征在于，所述利用所述掩码矩阵对所述基于相邻卷积的剪枝模型的参数进行调整的方法包括：将所述基于相邻卷积的剪枝模型的参数与所述掩码矩阵相乘；筛选掩码为1的剪枝模型的模型参数，掩码并对所述模型参数值进行训练以及反向传播调整；储存通过反向传播调整后的模型参数值以及其对应的矩阵位置；通过模型参数值以及其对应的矩阵位置获取所述基于相邻卷积的剪枝模型的最终参数，完成对所述剪枝模型的参数进行调整。4.如权利要求1所述的基于相邻卷积的模型剪枝方法，其特征在于，所述步骤根据所述滤波器剪枝概率参数的排序结果确定待剪枝滤波器的方法包括：按照滤波器剪枝概率参数从大到小进行排序，将滤波器剪枝概率参数小于预设阈值的通道作为待剪枝滤波器；其中，预设阈值为1％。5.如权利要求1所述的基于相邻卷积的模型剪枝方法，其特征在于，绝对值函数曼哈顿距离曼哈顿距离曼哈顿距离曼哈顿距离；所述损失函数通过以下公式获得：其中，p＝[p0，
…
，p
C
‑1]为概率分布，每个元素p
i
表示样本属于第i...

【专利技术属性】
技术研发人员：王晓锐，郑强，高鹏，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：