一种结合裁剪与量化操作的优化方法技术

本发明专利技术提供一种结合裁剪与量化操作的优化方法，包括：S1.对网络参数权重进行裁剪，对权重边训练边裁剪，达到最优化剪裁的模型：S1.1权重的裁剪，权重Weight(k*k*ic*oc)；S1.2基于oc分通道求取数值平方和；S1.3按照oc的数值平方和进行排序，去除不重要的通道；S1.4余下权重进行训练微调；S1.5如果模型精度没有下降，重复S1.1

【技术实现步骤摘要】
一种结合裁剪与量化操作的优化方法


[0001]本专利技术涉及深度神经网络
，特别涉及一种结合裁剪与量化操作的优化方法。

技术介绍

[0002]随着现有技术中模型预测(predication)越来越准确，网络越来越深，神经网络消耗的内存大小成为问题，通常情况下，由于移动端大小容量很小，模型大小不仅是内存容量问题，也是内存带宽问题。模型在每次预测时都会使用模型的权重(weights)，而图像相关的应用程序通常需要实时处理数据。因此对权重的低bit量化显得很重要，量化能够大幅度缩减模型的大小，float量化至8bit，模型大小可以减少4倍，从而大幅度提高网络的运行速度。如果量化至更低的位宽，那么模型的加速效果会更明显，如从32bit量化至4bit,不仅模型大小缩小8倍，同时速度也大幅度上升。
[0003]另外一种方法，通过一定的规则裁剪网络的权重，网络的权重是模型重要的参数，通过裁剪权重中不重要的通道，从而在另外一方面提升模型的速度。如用权重数值大小衡量配合损失函数中的稀疏约束或整个滤波器去除，之后进行若干轮微调，实际运行中，神经元连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合裁剪与量化操作的优化方法，其特征在于，所述方法包括以下步骤：S1.对权重进行裁剪：对权重边训练边裁剪，达到最优化剪裁的模型：S1.1，权重的裁剪，卷积核记为k，卷积核输入通道记为ic，卷积核输出通道记为oc，求取网络卷积参数权重Weight(k*k*ic*oc),其中k*k*ic*oc表示为卷积核大小*卷积核大小*卷积核输入通道的数值*卷积核输出通道的数值；S1.2，基于卷积核输出通道oc的分通道求取数值平方和，所述Weight是四维数据，分通道即在四维数据最后一维oc上进行操作，其中i∈1,oc；S1.3，按照卷积核输出通道oc的数值平方和进行排序，以设定阈值去除不重要的通道，低于该阈值认为参数不重要予以丢弃；S1.4，保留的权重是重要的通道，即基于去除不重要通道后的余下权重进行训练微调，所述微调是当权重进行裁剪之后，加载裁剪之后的模型，使用较小的学习率对网络的权重进行训练，所述较小的学习率设定为0.0001到0.00001之间，从而使得网络达到最优化；S1.5，如果模型的训练精度没有下降，重复上述S1.1
‑
S1.4的操作，以使得模型达到最优；S2.基于最优化裁剪的模型进行低bit量化：S2.1，求取权重的最大值，方便后面进行量化操作；S2.2，求取整个权重数据的最大值过程中，由于权重的数据既有正数与负数，所以对权重求取绝对值的最大值，权重除以最大值，数值分布于
‑
1,1之间；S2.3，对分布于
‑
1，1之间的数据乘以128数值，最终使得float数据定点化至
‑
128到128之间；S2.4，输入round()函数操作，所述round(...

【专利技术属性】
技术研发人员：周飞飞，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：