【技术实现步骤摘要】
一种基于联合动态剪枝的深度神经网络压缩方法
本专利技术涉及一种神经网络压缩方法，尤其涉及一种基于联合动态剪枝的深度神经网络压缩方法。
技术介绍
深度学习推动了计算机视觉、自然语言处理等方面的进步同时，其模型的复杂度、高额的存储空间以及计算资源消耗使其难以被应用在各种硬件平台上。例如经典的图像分类网络VGG16，参数数量多达1.3亿，占用存储空间500MB，需要进行309亿次浮点运算才能完成一次图像识别任务。实际上深度学习的神经网络中存在很大程度的冗余，仅使用很少一部分权值就可以预测剩余的权值。因而，模型压缩在理论上存在可行性，在现实中也存在着必要性。网络剪枝是模型压缩领域中较为热门的一个方向，其原理是移除网络中较为不重要的权重，再重新微调网络使之收敛。因而，如何衡量权重的重要性成为了网络剪枝的核心问题。静态剪枝方法，无论参数选择标准、剪枝训练过程有何差别，有一点是共通的：被剪枝的参数被永久移除模型，后续不再参与推理和训练。尽管网络中大部分参数是多余的，静态剪枝方法仍然会永久性地移除一部分关键性参数，无论采取何种评判标...
【技术保护点】
1.一种基于联合动态剪枝的深度神经网络压缩方法，其特征在于：包括以下步骤：/n步骤1：获得卷积核动态剪枝率β和通道动态压缩率α两个超参数；/n步骤2：利用卷积核动态剪枝方法，剪除卷积层中M
【技术特征摘要】
1.一种基于联合动态剪枝的深度神经网络压缩方法，其特征在于：包括以下步骤：
步骤1：获得卷积核动态剪枝率β和通道动态压缩率α两个超参数；
步骤2：利用卷积核动态剪枝方法，剪除卷积层中Mi(1-β)个卷积核，其中Mi为第i层卷积核个数；
步骤3：利用通道动态压缩方法，选择Niα个通道参与训练，其中Ni为第i层输入通道数；
步骤4：训练过程中更新模型参数，使得卷积核动态剪枝收敛为通道动态压缩的子集。
2.根据权利要求1所述基于联合动态剪枝的深度神经网络压缩方法，其特征在于：步骤2包括以下步骤：
步骤21：获得同一卷积层中每一个卷积核的L1范数；
步骤22：将该卷积层中L1范数最小的Mi(1-β)个卷积核进行置零；
步骤23：反向传播中更新模型参数，然后返回步骤(21)，进行模型下一轮迭代；
步骤24：迭代完成时剪除为零的卷积核。
3.根据权利要求1所述基于联合动态剪枝的深度神经网络压缩方法，其特...
【专利技术属性】
技术研发人员：张明明，宋浒，卢庆宁，俞俊，温磊，刘文盼，范江，查易艺，
申请(专利权)人：国网江苏省电力有限公司信息通信分公司，南瑞集团有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。