基于灵敏度剪枝及量化压缩神经网络的方法与介质技术

本发明专利技术提出一种基于灵敏度剪枝及量化压缩神经网络的方法，其中方法包括：基于灵敏度对神经网络剪枝；基于K‑Means++算法计算每一层神经网络的聚类中心，用聚类中心表示各层神经网络的权重值；量化网络。本发明专利技术方法通过网络修剪、基于K‑Means++的权值共享和权值量化三步，深度神经网络实现了可观的压缩。虽然压缩率方面还有待提高，但是压缩之后的模型已经足够小，这使得深度神经网络在移动端上的部署变为可能。

【技术实现步骤摘要】
基于灵敏度剪枝及量化压缩神经网络的方法与介质
本专利技术属于计算机人工智能压缩网络模型
，主要涉及一种基于灵敏度剪枝及量化压缩神经网络方法与介质。
技术介绍
深度神经网络在从计算机视觉到语音识别和自然语言处理的应用中变得普遍存在。而这些大型的深度神经网络非常强大，但它们的大小消耗了相当大的存储空间，内存带宽和计算资源。对于嵌入式移动应用设备，这些资源需求变得越来越高。深度网络压缩模型大致可以分为两类，第一类是在已经训练好的模型上做修改，通过减少冗余的参数，再进行fine-tuning，从而降低网络的存储且不损失原来的准确率。第二类是提出新的卷积计算方式，从而减少参数，达到压缩模型的效果。主要的方法大致可以分为如下几类：(1)网络剪枝：降低网络参数的复杂度和过拟合现象；(2)网络量化：减少深度学习模型的冗余问题；(3)矩阵分解：减少模型中参数的冗余，避免计算和存储的浪费。基于以上研究现状，剪枝、量化和矩阵分解是深度神经网络压缩的主要三个方法。目前的研究主要针对深度卷积神经网络的全连接层进行的一系列的压本文档来自技高网...

【技术保护点】
1.一种基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，包括以下步骤：/nS100、输入神经网络，基于灵敏度对所述神经网络进行剪枝，存储剪枝后的神经网络；/nS200、训练所述剪枝后的神经网络，然后返回S100，直到所述剪枝后的神经网络的精度变化处于设定范围内；/nS300、基于K-means++算法计算所述剪枝后的神经网络每一层权值的聚类中心，用得到的聚类中心来表示所述剪枝后的神经网络的各层权重值；/nS400、量化所述剪枝后的神经网络并输出量化后的神经网络。/n

【技术特征摘要】
1.一种基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，包括以下步骤：
S100、输入神经网络，基于灵敏度对所述神经网络进行剪枝，存储剪枝后的神经网络；
S200、训练所述剪枝后的神经网络，然后返回S100，直到所述剪枝后的神经网络的精度变化处于设定范围内；
S300、基于K-means++算法计算所述剪枝后的神经网络每一层权值的聚类中心，用得到的聚类中心来表示所述剪枝后的神经网络的各层权重值；
S400、量化所述剪枝后的神经网络并输出量化后的神经网络。


2.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S100包括：
S110、计算每个输入节点对于整个神经网络的灵敏度；
S120、对每个输入节点的灵敏度求其各对应分量的平均值，作为平均灵敏度；
S130、将低于所述平均灵敏度的最小分量值的对应输入节点删除。


3.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S100还包括：
S140、将所述剪枝后的神经网络的权值按行存储CSR的格式存储。


4.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S200包括：
采用全局训练的方式，将剪枝之后的参数作为下一次训练的初始参数，进行所有参数的更新和微调。


5.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S300包括：
S310、从多个输入权值数据中随机的选择一个点作为...

【专利技术属性】
技术研发人员：颜军，许怡冰，龚永红，赵宁波，陈绍波，黄腾杰，
申请(专利权)人：珠海欧比特宇航科技股份有限公司，
类型：发明
国别省市：广东;44