一种神经网络非均匀量化训练方法及系统技术方案

本发明专利技术提供一种神经网络非均匀量化训练方法及系统，包括以下步骤：确定4比特非均匀量化后的各层特征矩阵的特征值；确定4比特非均匀量化后的各层权重矩阵的权重值；对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果；确定4比特非均匀量化后的批量归一层；根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数和池化层；本发明专利技术具有以下有益效果：通过将深度神经网络中卷积层、批量归一化、激活函数和池化全部并行化非均匀量化为4比特，并且在训练和推理过程中都以4比特量化后的参数进行前向运算，取代了传统复杂的32比特全精度浮点数计算，从而减少网络参数，降低算法复杂度，并且还可以对压缩后网络性能进行系统分析。系统分析。系统分析。

【技术实现步骤摘要】
一种神经网络非均匀量化训练方法及系统


[0001]本专利技术涉及边缘计算
，特别是涉及一种神经网络非均匀量化训练方法系统。

技术介绍

[0002]大规模计算机视觉应用中使用的深度神经网络大多有参数规模大、计算复杂度高等不足的缺点，在常用到的CNNs和RNNs等网络中，资源消耗最大的两种计算是卷积计算和全连接计算，这两种计算的运算时间占到网络运算时间的95％以上，对这两者的计算方法改进成为了重中之重，主流的深度神经网络压缩算法研究包括模型剪枝、参数量化、近似表示、信源编码等，其中，基于低比特量化参数的压缩方法证明了采用低比特量化特征和权重对降低计算复杂度和模型规模的有效性，其中Dorefa网络被提出在反向传播中应用低比特量化的梯度来进一步压缩卷积计算；二值化神经网络(Binarized Neural Net
‑
works，BNNs)被提出在训练和推理中全部使用二值化特征和权重来进行计算；直接估计器(Straight
‑
through Estimator)被设计用来对训练后的网络模型进行量化。
[0003]但是已有方法通常只能在简单的小型网络上有较好表现，但无法适用于大规模深度神经网络的计算，不能在实现高压缩比的情况下保持高精度，发现上述技术至少存在如下技术问题：(1)通常只能在简单小型网络上有较好表现，无法适用于大规模深度神经网络的计算；(2)不能在实现高压缩比的情况下保持高精度，压缩的同时造成了很大精度损失；(3)对边缘计算神经网络加速效果有限。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种神经网络非均匀量化训练方法及系统，用于解决现有技术中无法适用于大规模深度神经网络的计算的问题。
[0005]本专利技术的实施方式提供了一种神经网络非均匀量化训练方法，包括以下步骤：确定4比特非均匀量化后的各层特征矩阵的特征值；确定4比特非均匀量化后的各层权重矩阵的权重值；对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果；确定4比特非均匀量化后的批量归一层；根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数和池化层；使用量化后的批量归一层、激活函数和池化层对卷积计算结果进行处理；根据处理结果得出神经网络非均匀量化的训练结果。
[0006]本专利技术的实施方式还提供了一种神经网络非均匀量化训练系统，包括：非均匀量化卷积层模块，用于确定4比特非均匀量化后的各层特征矩阵的特征值，确定4比特非均匀量化后的各层权重矩阵的权重值，对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果；非均匀量化归一层模块，用于确定4比特非均匀量化后的批量归一层；非均匀量化激活函数和池化模块，用于根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数和池化层；处理模块，用于使用量化后的批量归一层、激活函数和池化层对卷积计算结果进行处理，根据处理结果得出神经网络非均匀量化的训练结果。
[0007]本专利技术的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的神经网络非均匀量化训练方法。
[0008]本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的神经网络非均匀量化训练方法。
[0009]本专利技术实施方式相对于现有技术而言，主要区别及其效果在于：通过将深度神经网络中卷积层、批量归一化、激活函数和池化全部并行化非均匀量化为4比特，并且在训练和推理过程中都以4比特量化后的参数进行前向运算，取代了传统复杂的32比特全精度浮点数计算，从而减少网络参数，降低算法复杂度，并且还可以对压缩后网络性能进行系统分析，以满足大规模计算机视觉应用对于精度、速度、通量和模型大小等方面的要求。
[0010]作为进一步改进，所述确定4比特非均匀量化后的各层特征矩阵的特征值，包括：根据以下公式确定4比特非均匀量化后的各层特征矩阵的特征值：根据以下公式确定4比特非均匀量化后的各层特征矩阵的特征值：其中，为4比特非均匀量化后的特征值，quantz表示对应的非均匀4比特量化策略，round操作为四舍五入方法，a
k
‑1为原始全精度特征值。
[0011]作为进一步改进，所述确定4比特非均匀量化后的各层权重矩阵的权重值，包括：根据以下公式确定4比特非均匀量化后的各层权重矩阵的权重值：根据以下公式确定4比特非均匀量化后的各层权重矩阵的权重值：其中，为4比特非均匀量化后的权重值，w
k
为其原始全精度权重值，quantz表示对应的非均匀4比特量化策略，Δ是一个非负阈值，被定义为：其中n为权重矩阵的总权重值。
[0012]作为进一步改进，所述对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果，包括：根据以下公式得出卷积计算结果：算结果，包括：根据以下公式得出卷积计算结果：其中，为卷积计算结果，和分别为4比特量化后的特征值和权重值，D
k
、H
k
和V
k
是特征张量每个维度的尺寸，d
k
、h
k
和v
k
是权重张量每个维度的尺寸。
[0013]作为进一步改进，所述确定4比特非均匀量化后的批量归一层，包括：根据以下公式确定4比特非均匀量化后的批量归一层：其中，为4比
特非均匀量化后的批量归一层的输出，是非均匀4比特量化项，被用来量化归一化后的值，μ和表示总体的期望值和方差，γ和是学习率参数，用来缩放归一化后的值。
[0014]作为进一步改进，所述根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数，包括：根据以下公式确定4比特非均匀量化后的激活函数：其中，为第k层的4比特非均匀量化后的激活函数，为第k层的4比特非均匀量化后的批量归一层的输出。
[0015]作为进一步改进，所述池化包括最大池化和平均池化，所述最大池化取池区域内的最大特征值，所述平均池化取池区域内的平均特征值。
[0016]上述方案中池化包括最大池化和平均池化，最大池化则是根据量化后的批量归一层确定4比特非均匀量化后的最大池化层，平均池化则是根据量化后的批量归一层确定4比特非均匀量化后的平均池化层，从而可以实现对池化层进行非均匀量化。
附图说明
[0017]图1显示为本专利技术第一实施方式中的神经网络非均匀量化训练方法流程图；
[0018]图2显示为本专利技术第二实施方式中的神经网络非均匀量化训练系统流程图；
[0019]图3显示为本专利技术第三实施方式中的电子设备示意图；
[0020]图4显示为本专利技术中特征矩阵的4比特阶梯状量化的示意图；
[0021]图5显示为本专利技术中权重矩阵的4比特非均匀量化的示意图；
[0022]图6显示为本专利技术中神经网络非均匀训练方法推理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络非均匀量化训练方法，其特征在于，包括以下步骤：确定4比特非均匀量化后的各层特征矩阵的特征值；确定4比特非均匀量化后的各层权重矩阵的权重值；对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果；确定4比特非均匀量化后的批量归一层；根据所述量化后的批量归一层确定4比特非均匀量化后的激活函数和池化层；使用量化后的批量归一层、激活函数和池化层对卷积计算结果进行处理；根据处理结果得出神经网络非均匀量化的训练结果。2.根据权利要求1所述的一种神经网络非均匀量化训练方法，其特征在于：所述确定4比特非均匀量化后的各层特征矩阵的特征值，包括：根据以下公式确定4比特非均匀量化后的各层特征矩阵的特征值：其中，为4比特非均匀量化后的特征值，quantz表示对应的非均匀4比特量化策略，round操作为四舍五入方法，a
k
‑1为原始全精度特征值。3.根据权利要求1所述的一种神经网络非均匀量化训练方法，其特征在于：所述确定4比特非均匀量化后的各层权重矩阵的权重值，包括：根据以下公式确定4比特非均匀量化后的各层权重矩阵的权重值：其中，为4比特非均匀量化后的权重值，w
k
为其原始全精度权重值，quantz表示对应的非均匀4比特量化策略，Δ是一个非负阈值，被定义为：其中n为权重矩阵的总权重值。4.根据权利要求1所述的一种神经网络非均匀量化训练方法，其特征在于：所述对所述量化后的特征值和权重值执行卷积操作得出卷积计算结果，包括：根据以下公式得出卷积计算结果：其中，为卷积计算结果，和分别为4比特量化后的特征值和权重值，D
k
、H
k
和V
k
是特征张量每个维度的尺寸，d
k
、h
k
和v
k
是权重张量每个维度的尺寸，。5.根据权利要求1所述的一种神经网络非均匀量化训练方法，其...

【专利技术属性】
技术研发人员：程远，杨明伦，王胤睿，
申请(专利权)人：辛米尔视觉科技上海有限公司，
类型：发明
国别省市：