动态修剪深度神经网络权重和权重共享的压缩方法技术

本发明专利技术提出一种动态修剪深度神经网络权重和权重共享的压缩方法，它在非结构化剪枝的基础上，在保证精度稳定的情况下进一步降低深度神经网络模型的参数冗余。本发明专利技术先对深度神经网络模型进行动态修剪操作，主要分为剪枝和剪接两个部分，剪接可以最大程度保留网络中重要的权重连接，避免修剪过程中存在的误操作，另外为了提高模型修剪后的精度，在修剪过程中加入L1正则化；然后对修剪后的网络进一步K‑Means量化，使得权重共享。本发明专利技术提出的压缩方法，可以保证模型的精度没有损失的情况下，大大减少深度神经网络中的冗余参数，降低模型的存储内存。本发明专利技术在基于ImageNet数据集的AlexNet网络上进行本压缩方法实验，将原始网络压缩了52倍，并且没有造成精度的损失。

Compression Method for Weight and Weight Sharing of Dynamic Pruning Depth Neural Network

【技术实现步骤摘要】
动态修剪深度神经网络权重和权重共享的压缩方法
本专利技术涉及计算机视觉与人工智能、多媒体信号处理领域，特别是涉及动态修剪深度神经网络权重和权重共享的压缩方法。
技术介绍
近年来，深度神经网络引起广泛关注，普遍应用于图像处理、语音处理、自然语言处理等领域，并取得了优秀成果。深度神经网络高检测精度使其在移动终端有着广泛应用前景。其中卷积神经网络将图像识别的精度提升了一个量级，例如在人脸识别方面超过了人类正常的识别水平。然而，深度神经网络强大的表现能力主要依赖于百万甚至上亿的参数量和GPU的高计算能力。尽管它非常强大，但大量的权重参数会消耗大量的存储空间、内存带宽、计算资源以及能量消耗，即使用GPU进行加速也难以满足移动端的需求，所以在实际应用中仍然受限。进行深度神经网络的压缩可以减少模型的计算资源、加快推理速度、减少能源的消耗和降低成本。目前，针对深度神经网络中的参数冗余问题，研究人员提出了研究人员们相继提出了不同的解决方法。他们对于压缩和加速深度神经网络的工作大致可分为矩阵分解、低精度权重、参数修剪、量化和权重共享。本专利技术主要基于参数修剪和权重共享方法，目前的参数修剪压缩方法无法在本文档来自技高网...

【技术保护点】
1.动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述的方法包括如下步骤：(1)将深度神经网络模型进行预训练；(2)根据权值重要性进行网络修剪和网络剪接；(3)将修剪和剪接后的模型参数进行一次更新；(4)迭代层重复步骤(2)和(3)，完成网络的权重修剪操作；(5)初始化K‑Means质心；(6)确定量化阈值；(7)微调量化后的网络，完成网络权重共享操作。

【技术特征摘要】
1.动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述的方法包括如下步骤：(1)将深度神经网络模型进行预训练；(2)根据权值重要性进行网络修剪和网络剪接；(3)将修剪和剪接后的模型参数进行一次更新；(4)迭代层重复步骤(2)和(3)，完成网络的权重修剪操作；(5)初始化K-Means质心；(6)确定量化阈值；(7)微调量化后的网络，完成网络权重共享操作。2.根据权利要求1所述的动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述步骤(1)中对深度神经网络模型进行预训练，具体步骤为：步骤2.1：对于一个特定深度神经网络模型，对选择的数据集上通过常规的训练，学习网络中的参数，保存训练后的模型。3.根据权利要求1所述的动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述步骤(2)中根据权值重要性进行网络修剪和网络剪接，具体步骤为：步骤3.1：通过权值的绝对值来衡量权重的重要性，将步骤2.1训练好的模型进行修剪和剪接，修剪相对较小的幅度的参数，保留或剪接幅度较大的参数，其中设定的阈值对最终的压缩率有着显著的影响，对于某个特定层，基于其连接权重的平均绝对值和方差来设置单个阈值，为了提高动态修剪网络方法的鲁棒性，使用两个阈值ak和bk＝ak+t，其中t是一个偏置项，因此，权重度量函数可以表示为如式1所示，对于超出此范围的权值将度量函数输出设置为Tk中的相对应的值，这意味着这些权值在当前迭代中既不会被修剪也不会被剪接，另外，为了加速网络收敛，一方面使用p＝σ(iter)为修剪和剪枝添加概率因子，其中σ(·)为非单调递增函数并σ(0)＝1，随着网络的迭代次数iter增加，p逐渐减小甚至为0，即网络不再进行修剪和剪接，另一方面将卷积层和全连接层分开进行动态修剪；4.根据权利要求1所述的动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述步骤(3)中将修剪和剪接后的模型参数进行一次更新，具体步骤为：步骤4.1：对于第k层，网络的损失函数L由下式表示其中Wk表示第k层连接权重矩阵，Tk是二进制矩阵，表示网络的连接状态，即它们是否被修剪，I由Wk中每个元素在矩阵中的索引组成，hk(·)是判别函数，如果参数w在当前层中是重要的，则hk(w)＝1，否则hk(w)＝0，然后根据拉格朗日乘法和梯度下降法，Wk由下式更新；其中β为正学习率，公式3中的偏导数可以通过链式求导规则应用随机选择的小批量样本计算，一旦矩阵Wk和Tk被更新，它们将被应用于重新计算整个网络激活和损失函数梯度。5.根据权利要求1所述的动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述步骤(4)中迭代重复权利要求3和权利要求4的操作，完成网络的权重修剪操作，具体步骤为：步骤5.1：在网络的学习过程中需不断维护网络的结构，迭代重复进行网络修剪、剪接和参数更新，得到高精度的稀疏网络模型，对于最终的稀疏网络模型通过CSR形式来存储，用相对位置替代绝对位置存储索引值，偏移量超过最大间隔，通过补零来补齐偏移，另外，为了提高模型修剪后的精度，在模型修剪过程中添加L1正则化，如下式4所示；其中L是正则化后的损失函数，L0是原始的损失函数，λ表示正则化因子。6.根据权利要求...

【专利技术属性】
技术研发人员：裴文江，徐国现，夏亦犁，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32