神经网络的量化方法及装置制造方法及图纸

本发明专利技术公开了一种神经网络的量化方法及装置，涉及神经网络模型压缩技术领域，解决了神经网络不能根据实际需要自动量化的技术问题，其技术方案要点是通过限定位宽，逐层对网络模型的卷积层的权重进行量化，以获得在相对较小的位宽下能够得到较高的准确率，并且不需要通过训练集对网络模型重新训练，直接在验证集上做验证就可以确定每一层卷积层在不同的位宽下的权重和准确率。并能够根据每个网络模型的特点，自动用更合理的低精度来进行运算，降低了计算位宽，进一步提升了计算效率。

【技术实现步骤摘要】
神经网络的量化方法及装置
本公开涉及神经网络模型压缩
，尤其涉及一种神经网络的量化方法及装置。
技术介绍
近年来，随着人工智能技术的不断发展，卷积神经网络(ConvolutionalNeuralNetworks，CNNs)在人工智能中的应用也是俞渐广泛，尤其是在语音识别、图像分类、目标检测等领域取得了较好的成果。为了追求更好的性能，新提出的卷积神经网络往往具有很深的层数，甚至超过了1000层，权重体积和计算复杂度也随之大大增加，甚至对于GPU(GraphicsProcessingUnit,图形处理器)而言也是一种挑战。此外，许多现实的应用场景往往只能采用嵌入式或移动设备，存储和计算资源非常有限，不能满足多数卷积神经网络的部署要求。在传统的神经网络中，都是利用数据集对网络模型进行训练，训练过程即对参数不断更新调整的过程，让参数可以利用网络模型的情况对预测的数据进行处理。早期的设计工程中，对网络模型的训练都是为了提升模型精度，并没有考虑模型大小，因此，传统的训练方法训练出来的模型精度都是32位浮点数，这会导致模型比较大，使得大型规模和本文档来自技高网...

【技术保护点】
1.一种神经网络的量化方法，其特征在于，包括：/n加载网络模型，从所述网络模型中按照卷积层逐层提取权重W

【技术特征摘要】
1.一种神经网络的量化方法，其特征在于，包括：
加载网络模型，从所述网络模型中按照卷积层逐层提取权重Wi，其中，i为自然数；
将验证集投入到所述网络模型的每一层卷积层分别提取特征值，获取特征值的数据范围；
对每一层卷积层的权重Wi进行量化，得到量化后的权重Wfinal,i，具体包括：
W'＝Wi×2j-1；(1)



其中j∈[2,8]，表示位宽；[-2j-1+1,2j-1-1]为通过位宽j表示的所述特征值的数据范围，对于不在所述数据范围之内的特征值，对式(1)进行clip饱和操作，即将大于值域|[-2j-1+1,2j-1-1]|的数据饱和到[-2j-1+1,2j-1-1]内重新计算卷积层i的权重Wfinal,i；
将所述验证集投入到权重为所述Wfinal,i的卷积层进行验证获取验证准确率；
获取不同的位宽j对应的权重Wfinal,i及验证准确率，确定最大的验证准确率对应的位宽j及卷积层的权重Wfinal,i，直至确定每一层卷积层的权重，完成神经网络的量化，保存量化后的网络模型。


2.如权利要求1所述的神经网络的量化方法，其特征在于，所述网络模型包括VGG16、YOLOv3和ResNet50。


3....

【专利技术属性】
技术研发人员：王堃，韩亚敏，
申请(专利权)人：江苏禹盛科技有限公司，
类型：发明
国别省市：江苏;32