一种神经网络非均匀量化训练方法及系统技术方案

本发明专利技术提供一种神经网络非均匀量化训练方法及系统，包括以下步骤：确定4比特非均匀量化后的各层特征矩阵的特征值；确定4比特非均匀量化后的各层权重矩阵的权重值；对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果；确定4比特非均匀量化后的批量归一层；根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数和池化层；本发明专利技术具有以下有益效果：通过将深度神经网络中卷积层、批量归一化、激活函数和池化全部并行化非均匀量化为4比特，并且在训练和推理过程中都以4比特量化后的参数进行前向运算，取代了传统复杂的32比特全精度浮点数计算，从而减少网络参数，降低算法复杂度，并且还可以对压缩后网络性能进行系统分析。系统分析。系统分析。

【技术实现步骤摘要】
一种神经网络非均匀量化训练方法及系统


[0001]本专利技术涉及边缘计算
，特别是涉及一种神经网络非均匀量化训练方法系统。

技术介绍

[0002]大规模计算机视觉应用中使用的深度神经网络大多有参数规模大、计算复杂度高等不足的缺点，在常用到的CNNs和RNNs等网络中，资源消耗最大的两种计算是卷积计算和全连接计算，这两种计算的运算时间占到网络运算时间的95％以上，对这两者的计算方法改进成为了重中之重，主流的深度神经网络压缩算法研究包括模型剪枝、参数量化、近似表示、信源编码等，其中，基于低比特量化参数的压缩方法证明了采用低比特量化特征和权重对降低计算复杂度和模型规模的有效性，其中Dorefa网络被提出在反向传播中应用低比特量化的梯度来进一步压缩卷积计算；二值化神经网络(Binarized Neural Net
‑
works，BNNs)被提出在训练和推理中全部使用二值化特征和权重来进行计算；直接估计器(Straight
‑
through Estimator)被设计用来对训练后的网络模型进行量化。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络非均匀量化训练方法，其特征在于，包括以下步骤：确定4比特非均匀量化后的各层特征矩阵的特征值；确定4比特非均匀量化后的各层权重矩阵的权重值；对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果；确定4比特非均匀量化后的批量归一层；根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数和池化层；使用量化后的批量归一层、激活函数和池化层对卷积计算结果进行处理；根据处理结果得出神经网络非均匀量化的训练结果。2.根据权利要求1所述的一种神经网络非均匀量化训练方法，其特征在于：所述确定4比特非均匀量化后的各层特征矩阵的特征值，包括：根据以下公式确定4比特非均匀量化后的各层特征矩阵的特征值：其中，为4比特非均匀量化后的特征值，quantz表示对应的非均匀4比特量化策略，round操作为四舍五入方法，a
k
‑1为原始全精度特征值。3.根据权利要求1所述的一种神经网络非均匀量化训练方法，其特征在于：所述确定4比特非均匀量化后的各层权重矩阵的权重值，包括：根据以下公式确定4比特非均匀量化后的各层权重矩阵的权重值：其中，为4比特非均匀量化后的权重值，w
k
为其原始全精度权重值，quantz表示对应的非均匀4比特量化策略，Δ是一个非负阈值，被定义为：其中n为权重矩阵的总权重值。4.根据权利要求1所述的一种神经网络非均匀量化训练方法，其特征在于：所述对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果，包括：根据以下公式得出卷积计算结果：其中，为卷积计算结果，和分别为4比特量化后的特征值和权重值，D
k
、H
k
和V
k
是特征张量每个维度的尺寸，d
k
、h
k
和v
k
是权重张量每个维度的尺寸，。5.根据权利要求1所述的一种神经网络非均匀量化训练方法，其...

【专利技术属性】
技术研发人员：程远，杨明伦，王胤睿，
申请(专利权)人：辛米尔视觉科技上海有限公司，
类型：发明
国别省市：