模型压缩方法、模型压缩系统、服务器及存储介质技术方案

本申请涉及神经网络架构搜索领域，特别涉及一种模型压缩方法、模型压缩系统、服务器及存储介质。本申请的模型压缩方法包括：接收候选模型；对候选模型进行神经网络架构搜索，得到多个变换模型；对候选模型进行算力压缩得到压缩模型；将变换模型、压缩模型作为候选模型，重新进行神经网络架构搜索和算力压缩。本申请将模型压缩与神经网络架构搜索相结合，通过不断地轮询，在轮询到一定程度之后，可以获得精确度较高的压缩模型，从而兼顾获取压缩模型的准确率，且整个模型压缩过程减少了人工参与，降低人工成本。降低人工成本。降低人工成本。

【技术实现步骤摘要】
模型压缩方法、模型压缩系统、服务器及存储介质


[0001]本专利技术涉及神经网络架构搜索领域，特别涉及一种模型压缩方法、模型压缩系统、服务器及存储介质。

技术介绍

[0002]神经网络在机器学习领域已经取得非常出色的成绩，如物体分类、目标检测等，基于神经网络的智能算法改变了人类的生产生活方式。但由于神经网络计算复杂度高、模型参数量大，因此，模型算力压缩技术成为最近几年学术界和工业界研究的热点。
[0003]目前，模型压缩的常用方法包括：参数量化、网络剪枝、人工设计高效神经网络结构；然而，参数量化和网络剪枝这两种方法在准确率上有很大的局限性；而人工设计高效神经网络结构的设计离不开大量人力的投入和研究，需要投入大量的时间进行人工实验和调参；可见，目前的模型压缩方法均无法兼顾准确性与节省人力成本。

技术实现思路

[0004]本申请实施例的主要目的在于提出一种模型压缩方法、模型压缩系统、服务器及存储介质，兼顾获取压缩模型的准确率以及降低人工成本。
[0005]为实现上述目的，本申请实施例提供了一种模型压缩方法，包括：接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型压缩方法，其特征在于，包括：接收候选模型；对所述候选模型进行神经网络架构搜索，得到多个变换模型；对所述候选模型进行算力压缩得到压缩模型；将所述变换模型、所述压缩模型作为所述候选模型，重新进行所述神经网络架构搜索和所述算力压缩。2.根据权利要求1所述的模型压缩方法，其特征在于，所述对所述候选模型进行算力压缩得到压缩模型，包括：计算出所述候选模型中各个层的算力；比较各个所述层的算力，得到算力最大层；对所述算力最大层进行算力压缩，得到所述压缩模型。3.根据权利要求2所述的模型压缩方法，其特征在于，所述对所述算力最大层进行算力压缩，包括：减小所述算力最大层的参数量，或者，移除所述算力最大层，或者，减小所述算力最大层的输入特征图大小。4.根据权利要求1所述的模型压缩方法，其特征在于，所述对所述候选模型进行神经网络架构搜索，得到多个变换模型，包括：基于预设的搜索空间进行所述神经网络架构搜索，对所述候选模型进行随机变换，得到多个变换模型。5.根据权利要求1所述的模型压缩方法，其特征在于，所述接收候选模型之后，还包括：对所述候选模型进行训练得到训练后模型；获取所述训练后模型的准确度以及算力；基于所述准确度、所述算力得到所述训练后模型对应的所述候选模型的评估参数。6.根据权利要求5所述的模型压缩方法，其特征在于，所述评估参数包括评估分数；所述基于所述准确度、所述算力得到所述训练后模型对应的所述候选模型的评估参数之后，还包括：保留所述评估分数大于或等于预设分数的所述候选模型，或者，保留所述评估分数最大的N个所述候选模型。7.根据权利要求5所述的模型压缩方法，其特征在于，所述接收候选模型的步骤至所述将所述变换模型、所述压缩模型作为所述候选模型的步骤为一次轮询；所述评估参数包括评估分数；所述基于所述准确度、所述算力得到所述训练后模型对应的所述候选模型的评估参数之后，还包括：判断本次轮询得到的最大评估分数是否大于上一次轮询得到的最大评估分数；若是，则进入所述神经网络架构搜索以及所述算力压缩的步骤；若否，则将计数器数值...

【专利技术属性】
技术研发人员：刘利源，杨玺坤，骆庆开，王永成，韩炳涛，屠要峰，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：