一种深度学习模型的压缩方法和装置制造方法及图纸

本发明专利技术公开了一种深度学习模型的压缩方法和装置，其中该方法包括以下步骤：根据剪枝阈值对深度学习模型进行剪枝；对剪枝后的深度学习模型进行微调；计算微调后的深度学习模型的准确率；若准确率小于预设阈值，则对微调后的深度学习模型进行再训练。通过加入准确率测试，若准确率小于阈值，则说明上一步的压缩删除了过多的参数，使用少量的数据微调已经无法达到设定的准确率了，因此需要使用大量数据重新训练模型。压缩步骤简单，原理容易理解，压缩效率高；可以降低大型深度学习模型的存储和计算消耗，同时保持其性能和准确率，从而增加深度学习模型在现实中的实用性。

A compression method and device for deep learning model

The invention discloses a method and device for compressing deep learning model, wherein the method comprises the following steps: according to the pruning threshold of deep learning model pruning; fine-tuning after pruning and deep learning model; the calculation accuracy of deep learning model after fine-tuning; if the accuracy is less than a preset threshold, then re training for after fine-tuning the deep learning model. By adding the accuracy test, if the accuracy is less than the threshold, it shows that the last step of the compression and deletion of too many parameters, the use of a small amount of data fine-tuning has been unable to achieve the set accuracy, so need to use a large number of data re training model. The compression step is simple, the principle is easy to understand, the compression efficiency is high, and the storage and computation consumption of the large depth learning model can be reduced, while the performance and accuracy can be maintained, so as to increase the practicability of the deep learning model in reality.

【技术实现步骤摘要】
一种深度学习模型的压缩方法和装置
本专利技术涉及深度学习领域，尤其涉及一种深度学习模型的压缩方法和装置。
技术介绍
深度学习(DeepLearning)通过建立模仿人脑进行分析学习的神经网络，以模仿人脑的机制来解释数据，例如图像，声音，本文数据等，是机器学习研究中的一个新领域。深度学习可以让一个人工神经网络从大量训练数据样本中学习其统计规律，从而对未知的事件作出预测。其实质，是通过构建具有很多隐层的网络结构，根据海量的数据自动学习更有用的特征，从而提升分类或者预测的准确性。因此，深度学习近来在图像，声音等领域得到广泛应用。在训练学习过程中，神经网络通过调整内部大量的参数，从而不断提高预测的准确度。深度学习模型是指已经训练完毕的神经网络，网络里含有大量的参数，以记录训练数据的特征信息。神经网络模型越大，网络内部包含参数越多，记录的数据特征信息也越全面，预测更准确；但是也意味着该神经网络越深，节点越多，连接越复杂。由于模型含有大量的节点和参数，使得最终训练完毕的模型需要消耗巨大的存储与计算代价，往往需要在内存足够的GPU上才可以高效的运行。因此，使得其实用性，特别在性能较低的CPU上，或本文档来自技高网...

【技术保护点】
一种深度学习模型的压缩方法，其特征在于，包括以下步骤：根据剪枝阈值对所述深度学习模型进行剪枝；对剪枝后的所述深度学习模型进行微调；计算微调后的所述深度学习模型的准确率；若所述准确率小于预设阈值，则对微调后的所述深度学习模型进行再训练。

【技术特征摘要】
1.一种深度学习模型的压缩方法，其特征在于，包括以下步骤：根据剪枝阈值对所述深度学习模型进行剪枝；对剪枝后的所述深度学习模型进行微调；计算微调后的所述深度学习模型的准确率；若所述准确率小于预设阈值，则对微调后的所述深度学习模型进行再训练。2.如权利要求1所述的深度学习模型的压缩方法，其特征在于：所述计算微调后的所述深度学习模型的准确率之后，还包括以下步骤：若所述准确率不小于所述预设阈值，则再次对微调后的所述深度学习模型进行剪枝。3.如权利要求1所述的深度学习模型的压缩方法，其特征在于，所述对所述深度学习模型进行剪枝之前还包括以下步骤：存储所述深度学习模型；所述计算微调后的所述深度学习模型的准确率之后，还包括以下步骤：若所述准确率小于过缩阈值，则获取存储的所述深度学习模型；减小所述剪枝阈值。4.如权利要求3所述的深度学习模型的压缩方法，其特征在于，所述预设阈值具体为根据压缩前的所述深度学习模型的准确率计算得到；所述过缩阈值具体为根据压缩前的所述深度学习模型的准确率计算得到。5.如权利要求1-4中任一项所述的深度学习模型的压缩方法，其特征在于，所述计算微调后的所述深度学习模型的准确率，具体包括以下子步骤：获取测试数据和标注数据；所述深度学习模型根据所述测试数据计算预测数据；根据所述标注数据和预测数据计算所述深度学习模型的准确率。6.如权利要求1-4中任一项所述的深度学习模型的压缩方法，其特征在于，所述深度学习模型包括多个网络层，所述网络层...

【专利技术属性】
技术研发人员：龚丽君，马东宇，赵瑞，陈芳林，
申请(专利权)人：深圳市深网视界科技有限公司，
类型：发明
国别省市：广东,44