一种深度学习模型剪枝方法及系统技术方案

本发明专利技术公开了一种深度学习模型剪枝方法及系统，属于计算机视觉技术领域，包括以下步骤：S1：层选择；S2：节点相似度比较；S3：节点合并；S4：相似度遍历判断；S5：剩余层处理。本发明专利技术对被合并的节点与前一层相连的权重、与后一层相连的权重均进行处理，最大程度地保持权重信息，可减少剪枝技术对深度学习模型最终输出的影响；并对批量归一化操作的参数进行合并，最大限度地保留节点的信息；还对被剪枝的层之后的最大池化层(maxpool)、平均池化层(avgpool)、随机丢弃层(dropout)进行相应处理，值得被推广使用。值得被推广使用。值得被推广使用。

【技术实现步骤摘要】
一种深度学习模型剪枝方法及系统


[0001]本专利技术涉及计算机视觉
，具体涉及深度学习模型剪枝方法及系统。

技术介绍

[0002]近年来，深度学习技术在计算机视觉、语音、自然语言处理等领域得到了广泛地应用，解决了很多传统方法无法解决的问题。在计算机视觉领域，利用深度学习技术进行目标识别的精度远远超过了传统计算机视觉方法。以深度学习模型作为核心实现语音识别已经成为语音识别领域的主流。随之而来的一个问题是，深度学习模型的计算量非常大，其参数也非常多，对硬件的要求非常高，难以在对功耗限制较强的场景中使用。如常见的VGG16模型，其权重文件大小超过500MB，其参数量达到了1亿3千多万，需要三百多亿次浮点运算才能完成一次图像识别任务。在手机、智能手表、无人机等对功耗要求比较敏感的设备上，迫切需要计算量小、占用内存小，而精度仍可达到一定水平的深度学习模型。很多方法被提出，用于将深度学习模型进行轻量化，即降低计算量、或降低权重参数的个数。这些方法包括量化、剪枝等等。
[0003]剪枝技术是一项减小深度学习模型计算量与权重参数数量的技术。它通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型剪枝方法，其特征在于，包括以下步骤：S1：层选择选择深度学习模型的其中一层；S2：节点相似度比较对该层所有的节点，两两比较其相似度；S3：节点合并选择该层中相似度最大的两个节点，若相似度超过预设阈值，则执行节点合并；S4：相似度遍历判断继续计算该层所有节点之间的相似度并执行步骤S3中的操作，直到任意两个节点间的相似度都不超过预设阈值；S5：剩余层处理对模型的剩余包含权重的层依次执行步骤S1
‑
S4的操作，直至模型中所有包含权重的层全部处理完毕。2.根据权利要求1所述的一种深度学习模型剪枝方法，其特征在于：在所述步骤S1中，选择的该层为卷积层或全连接层。3.根据权利要求2所述的一种深度学习模型剪枝方法，其特征在于：在所述步骤S2中，两两比较其相似度指的是比较计算这两个节点所需要的权重的相似度，即把计算一个节点的激活度的所有权重看成一个向量，比较两个节点的权重向量的相似度。4.根据权利要求3所述的一种深度学习模型剪枝方法，其特征在于：对于全连接层，权重向量即由前一层所有节点连接到该节点的所有权重组成的向量；对于卷积层，权重向量即由卷积核的所有权重展开为向量。5.根据权利要求4所述的一种深度学习模型剪枝方法，其特征在于：在所述步骤S2中，计算权重向量相似度的方法包括夹角余弦相似度、欧氏距离，其中夹角余弦越大，权重向量的相似度越大；欧氏距离越小，权重向量的相似度越大。6.根据权利要求1所述的一种深度学习模型剪枝方法，其特征在于：在所述步骤S3中，执行节点合并的过程如下：S31：在该层生成一个新节点，由上一层到该新节点的权重设为由上一层到以上所...

【专利技术属性】
技术研发人员：林广栋，吴尔杰，黄光红，刘小明，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：