一种基于稀疏矩阵的深度网络模型加速方法技术

本发明专利技术公开了一种基于稀疏矩阵的深度网络模型加速方法。其具体步骤是：(1)、调用深度网络模型和训练集；(2)、首先根据模型参数求得L1范数与L2范数的比值，然后进行归一化获得稀疏度计算公式，利用稀疏度计算公式求得上一层通道上的稀疏度；(3)、根据上一层通道上的稀疏度，然后利用依据浮点运算数得到的剪枝度计算公式获取相应的剪枝力度；(4)、根据剪枝度计算公式得到的剪枝力度，对深度网络模型的每一层进行逐层剪枝并微调深度网络模型参数；(5)、输出微调后的结构化剪枝的稀疏模型。本发明专利技术能降低深度网络模型的计算量和提高深度网络模型的运算速度。本发明专利技术便于移植到移动设备上。

【技术实现步骤摘要】
一种基于稀疏矩阵的深度网络模型加速方法
本专利技术涉及模型压缩，神经网络
，具体涉及一种基于稀疏矩阵的深度网络模型加速方法，是利用基于卷积核稀疏度的剪枝方法来降低深度网络模型的计算量。
技术介绍
现阶段，人工智能的发展以深度网络模型，大数据为研究方向。在图像识别，检测等方面取得的卓越成果，也被应用于社交媒体和图像视频处理等领域，从而发展出自动驾驶，人脸识别，安防监控等多方面的应用。同时信息社会的发展，每天产生的图像数据量也不断增加，所以对于深度网络模型来说，不仅要提高深度网络模型对于目标识别的精确度，而且要提高深度网络模型的运算速度。目前，计算机视觉是应用最广泛的人工智能技术。基于深度网络模型的计算机视觉研究，首先在大规模的数据集上训练得到深度网络模型，然后再通过L1或L2范数正则化，提高模型的泛化能力，将深度网络模型应用到实际场景中。现阶段，各种深度网络模型在物体识别领域都取得了不错的效果，如在ILSVRC-2012数据集上，vgg16深度网络模型在测试集的top-1准确率可以达到68.34％，top-5准确率可以达到88.45％，resnet50网络在测试集的top-1准确本文档来自技高网...

【技术保护点】
1.一种基于稀疏矩阵的深度网络模型加速方法，其特征在于，具体步骤如下：(1)、调用深度网络模型和训练集；(2)、在深度网络模型中，利用L1范数与L2范数约束深度网络模型参数，L1范数表达式为式①，L2范数表达式为式②；首先根据模型参数求得L1范数与L2范数的比值，然后进行归一化获得稀疏度计算公式如式③，利用公式③能够提高深度网络模型在其他样本上的精确度；

【技术特征摘要】
1.一种基于稀疏矩阵的深度网络模型加速方法，其特征在于，具体步骤如下：(1)、调用深度网络模型和训练集；(2)、在深度网络模型中，利用L1范数与L2范数约束深度网络模型参数，L1范数表达式为式①，L2范数表达式为式②；首先根据模型参数求得L1范数与L2范数的比值，然后进行归一化获得稀疏度计算公式如式③，利用公式③能够提高深度网络模型在其他样本上的精确度；其中Nl为第l层输入通道数，wj为一个通道内第j个卷积核的参数，n为每层卷积核的个数，S为稀疏度计算公式；(3)、根据公式③得到上一层通道上的稀疏度，然后利用依据浮点运算数得到的剪枝度Gi,l计算公式如式④获取相应的剪枝力度，Gi,l对应第l层第i通道的剪枝力度；其中Si′,l-1是上一层对应这一层输入通道的卷积核的稀疏度，由式③计算得出，l是这一层的层深，与输入图片直接相连的是第1层，最后一层卷积层是第L层，Fl是第l层卷积层的浮点运算数占总浮点运算数的比例，k是系数，Fsum是卷积层总的浮点运算数，Floapsl为第l层浮点运算次数，Xl是第l层输入特征图的宽度，Yl是第l层输入特征图的高度，Nl为第l层输出特征图数量，...

【专利技术属性】
技术研发人员：赵海武，梁聪聪，何鸣，陈钰，高远，顾晓，余玲芝，陈佳玲，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31