一种数据处理方法、装置及边缘计算设备制造方法及图纸

本申请实施例提供了一种数据处理方法、装置及边缘计算设备，该方法包括：对神经网络的第一输入数据进行量化处理，得到第二输入数据；根据第二输入数据和神经网络中每个网络层的所有正向计算参数的量化参数，确定神经网络的第一输出数据；对第一输出数据进行量化处理，得到第二输出数据；在训练神经网络时，将第二输出数据输入预设损失函数，获得第一反向梯度；对第一反向梯度进行量化处理，得到第二反向梯度；根据第二反向梯度和神经网络中每个网络层的所有反向计算参数的量化参数，调整神经网络中的正向计算参数。应用本申请实施例提供的技术方案，可以减少该神经网络的计算量，扩大神经网络的应用场景。大神经网络的应用场景。大神经网络的应用场景。

【技术实现步骤摘要】
一种数据处理方法、装置及边缘计算设备


[0001]本申请涉及计算机
，特别是涉及一种数据处理方法、装置及边缘计算设备。

技术介绍

[0002]随着计算机技术的发展，神经网络被广泛应用于图像降噪、人脸识别以及活体验证等应用场景。然而，神经网络的计算量一般会特别大，巨大的计算量限制了神经网络的应用场景。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据处理方法、装置及边缘计算设备，以减少神经网络的计算量，扩大神经网络的应用场景。具体技术方案如下：
[0004]第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：
[0005]对神经网络的第一输入数据进行量化处理，得到第二输入数据；
[0006]根据所述第二输入数据和所述神经网络中每个网络层的所有正向计算参数的量化参数，确定所述神经网络的第一输出数据；
[0007]对所述第一输出数据进行量化处理，得到第二输出数据；
[0008]在训练所述神经网络时，将所述第二输出数据输入预设损失函数，获得第一反向梯度；
[0009]对所述第一反向梯度进行量化处理，得到第二反向梯度；
[0010]根据所述第二反向梯度和所述神经网络中每个网络层的所有反向计算参数的量化参数，调整所述神经网络中的正向计算参数。
[0011]可选的，所述正向计算参数包括权重，所述方法还包括：
[0012]针对所述神经网络中每个网络层，将该网络层的输出通道对应的权重划分为一组权重；
[0013]基于每组权重中的最大值，分别对每组权重进行量化处理，得到每组权重对应的量化参数和第一量化步长。
[0014]可选的，所述方法还包括：
[0015]针对每组权重对应的第一量化步长，按照定点步长表示法，分别对该第一量化步长进行量化处理，得到该第一量化步长对应的量化参数和第二量化步长。
[0016]可选的，所述正向计算参数包括偏置参数，所述方法还包括：
[0017]针对所述神经网络中每个网络层，基于该网络层的多个偏置参数中的最大值，按照定点步长表示法，对多个偏置参数进行量化处理，得到偏置参数对应的量化参数和第三量化步长。
[0018]可选的，所述方法还包括：
[0019]对于每个网络层的输出数据，将该网络层的输出数据归一化至预设范围内；
[0020]基于预设范围的边界值，按照定点步长表示法，对归一化后的输出数据进行量化处理，得到量化输出数据和第四量化步长；
[0021]其中，所述网络层的输出数据包括所述第一输出数据，当所述网络层的输出数据为所述第一输出数据时，所述量化输出数据为所述第二输出数据。
[0022]可选的，所述反向计算参数包括学习率、权重衰减参数、动量超参数、权重梯度、偏置参数梯度和激活值的边界值梯度中的一种或多种。
[0023]可选的，所述方法还包括：
[0024]对所述预设损失函数中的所有参数进行量化处理，得到损失函数对应的量化参数；
[0025]所述将所述第二输出数据输入预设损失函数，获得第一反向梯度的步骤，包括：
[0026]将所述第二输出数据输入预设损失函数，以基于所述第二输出数据和所述损失函数对应的量化参数，获得第一反向梯度。
[0027]可选的，所述网络层包括网络层和设置在所述网络层之后的BN(BatchNorm，批标准化)层；
[0028]在根据所述第二输入数据和所述神经网络中每个网络层的所有正向计算参数的量化参数，确定所述神经网络的第一输出数据之前，所述方法还包括：
[0029]将所述BN层与所述卷积层进行合并，得到合并网络层，所述合并网络层的权重为所述BN层的激活值系数与所述卷积层的原始权重的乘积，所述合并网络层的偏置参数为所述卷积层的原始偏置参数与所述BN层的激活值偏置系数的和值。
[0030]第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：
[0031]第一量化单元，用于对神经网络的第一输入数据进行量化处理，得到第二输入数据；
[0032]确定单元，用于根据所述第二输入数据和所述神经网络中每个网络层的所有正向计算参数的量化参数，确定所述神经网络的第一输出数据；
[0033]第二量化单元，用于对所述第一输出数据进行量化处理，得到第二输出数据；
[0034]输入单元，用于在训练所述神经网络时，将所述第二输出数据输入预设损失函数，获得第一反向梯度；
[0035]第三量化单元，用于对所述第一反向梯度进行量化处理，得到第二反向梯度；
[0036]调整单元，用于根据所述第二反向梯度和所述神经网络中每个网络层的所有反向计算参数的量化参数，调整所述神经网络中的正向计算参数。
[0037]可选的，所述正向计算参数包括权重，所述装置还包括：
[0038]划分单元，用于针对所述神经网络中每个网络层，将该网络层的输出通道对应的权重划分为一组权重；
[0039]第四量化单元，用于基于每组权重中的最大值，分别对每组权重进行量化处理，得到每组权重对应的量化参数和第一量化步长。
[0040]可选的，所述第四量化单元，还用于：
[0041]针对每组权重对应的第一量化步长，按照定点步长表示法，分别对该第一量化步长进行量化处理，得到该第一量化步长对应的量化参数和第二量化步长。
[0042]可选的，所述正向计算参数包括偏置参数，所述装置还包括：
[0043]第五量化单元，用于针对所述神经网络中每个网络层，基于该网络层的多个偏置参数中的最大值，按照定点步长表示法，对多个偏置参数进行量化处理，得到偏置参数对应的量化参数和第三量化步长。
[0044]可选的，所述装置还包括：
[0045]归一化单元，用于对于每个网络层的输出数据，将该网络层的输出数据归一化至预设范围内；
[0046]第六量化单元，用于基于预设范围的边界值，按照定点步长表示法，对归一化后的输出数据进行量化处理，得到量化输出数据和第四量化步长；
[0047]其中，所述网络层的输出数据包括所述第一输出数据，当所述网络层的输出数据为所述第一输出数据时，所述量化输出数据为所述第二输出数据。
[0048]可选的，所述反向计算参数包括学习率、权重衰减参数、动量超参数、权重梯度、偏置参数梯度和激活值的边界值梯度中的一种或多种。
[0049]可选的，所述装置还包括：
[0050]第六量化单元，用于对所述预设损失函数中的所有参数进行量化处理，得到损失函数对应的量化参数；
[0051]所述输入单元，具体用于将所述第二输出数据输入预设损失函数，以基于所述第二输出数据和所述损失函数对应的量化参数，获得第一反向梯度。
[0052]可选的，所述网络层包括网络层和设置在所述网络层之后的BN层；所述装置还包括：
[0053]合并单元，用于在根据所述第二输入数据和所述神经网络中每个网络层的所有正向计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：对神经网络的第一输入数据进行量化处理，得到第二输入数据；根据所述第二输入数据和所述神经网络中每个网络层的所有正向计算参数的量化参数，确定所述神经网络的第一输出数据；对所述第一输出数据进行量化处理，得到第二输出数据；在训练所述神经网络时，将所述第二输出数据输入预设损失函数，获得第一反向梯度；对所述第一反向梯度进行量化处理，得到第二反向梯度；根据所述第二反向梯度和所述神经网络中每个网络层的所有反向计算参数的量化参数，调整所述神经网络中的正向计算参数。2.根据权利要求1所述的方法，其特征在于，所述正向计算参数包括权重，所述方法还包括：针对所述神经网络中每个网络层，将该网络层的输出通道对应的权重划分为一组权重；基于每组权重中的最大值，分别对每组权重进行量化处理，得到每组权重对应的量化参数和第一量化步长。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：针对每组权重对应的第一量化步长，按照定点步长表示法，分别对该第一量化步长进行量化处理，得到该第一量化步长对应的量化参数和第二量化步长。4.根据权利要求1所述的方法，其特征在于，所述正向计算参数包括偏置参数，所述方法还包括：针对所述神经网络中每个网络层，基于该网络层的多个偏置参数中的最大值，按照定点步长表示法，对多个偏置参数进行量化处理，得到偏置参数对应的量化参数和第三量化步长。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对于每个网络层的输出数据，将该网络层的输出数据归一化至预设范围内；基于预设范围的边界值，按照定点步长表示法，对归一化后的输出数据进行量化处理，得到量化输出数据和第四量化步长；其中，所述网络层的输出数据包括所述第一输出数据，当所述网络层的输出数据为所述第一输出数据时，所述量化输出数据为所述第二输出数据。6.根据权利要求1所述的方法，其特征在于，所述反向计算参数包括学习率、权重...

【专利技术属性】
技术研发人员：陈汝丹，张渊，谢迪，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：