基于动态编码卷积核融合的神经网络剪枝方法技术

基于动态编码卷积核融合的神经网络剪枝方法，涉及人工神经网络的压缩与加速。1)计算当前训练轮数的温度系数；2)根据原始层的卷积核权重与当前训练轮数的温度系数，计算原始层每个卷积核的概率向量；3)根据原始层每个卷积核的概率向量，计算融合层卷积核的权重；4)前向传播过程只使用融合层，反向传播的梯度由当前融合层同时回传到当前原始层与上一个融合层；5)循环执行1)～4)，直至达到预定的训练轮数；6)训练结束保留所有融合层的权重，即得剪枝后的紧凑卷积神经网络。无需依赖预训练模型与稀疏约束，可直接从头训练得到，卷积核个数更少，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。硬件平台上实现网络压缩与加速。硬件平台上实现网络压缩与加速。

【技术实现步骤摘要】
基于动态编码卷积核融合的神经网络剪枝方法


[0001]本专利技术涉及人工神经网络的压缩与加速，尤其是涉及一种基于动态编码卷积核融合的神经网络剪枝方法。

技术介绍

[0002]近年来，随着深度学习的快速发展，卷积神经网络(CNNs)的广泛的应用，使得图像分类、目标检测、目标跟踪等许多计算机视觉任务都发生革命性的变化。然而，这些任务性能的提升往往建立在巨大的网络计算成本和不断增加的模型参数量的基础上。虽然在拥有强大计算力的GPU上处理大规模的卷积神经网络模型是可行的，但在计算资源受限，存储空间受限，但却要求实时处理的移动设备上部署大型的卷积神经网络模型仍然具有很大的挑战。因此找出卷积神经网络模型中的计算和参数冗余已经成为计算机视觉方向的一个活跃的研究领域。当前学术界流行的方法包括但不限于权重共享、低比特量化、张量分解、知识蒸馏和网络剪枝。在这些方法中，网络剪枝又可以分为非结构化剪枝和结构化剪枝。
[0003]非结构化剪枝也称为权重剪枝，该方法移除单个卷积核中的权重或全连接层中的连接，最优脑损失和最佳脑手术利用二阶Hessian矩阵进行权重剪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于动态编码卷积核融合的神经网络剪枝方法，其特征在于包括以下步骤：1)计算当前训练轮数的温度系数；2)根据原始层的卷积核权重与当前训练轮数的温度系数，计算原始层每个卷积核的概率向量；3)根据原始层每个卷积核的概率向量，计算融合层卷积核的权重；4)训练一个轮次，前向传播过程只使用融合层，反向传播的梯度由当前融合层同时回传到当前原始层与上一个融合层；5)循环执行步骤1)～4)，直至达到预定的训练轮数；6)训练结束后保留所有融合层的权重，即得到剪枝后的紧凑卷积神经网络。2.如权利要求1所述基于动态编码卷积核融合的神经网络剪枝方法，其特征在于在步骤1)中，所述温度系数的表达式如下：其中，T
s
＝1，T
e
＝+∞，E是总的训练轮数，e是当前的训练轮数，e∈[0，E)；T...

【专利技术属性】
技术研发人员：纪荣嵘，林明宝，
申请(专利权)人：厦门大学，
类型：发明
国别省市：