神经网络训练及数据处理方法和装置、介质及计算机设备制造方法及图纸

本公开公开了一种神经网络训练及数据处理方法和装置、介质及计算机设备，所述方法包括：将样本数据输入原始神经网络，获取所述原始神经网络中各网络层的样本输出参数；基于各网络层的样本输出参数与所述网络层的预设量化位宽对应的参数边界值之间的差异建立损失函数；基于所述损失函数对所述原始神经网络进行训练，得到目标神经网络。得到目标神经网络。得到目标神经网络。

【技术实现步骤摘要】
神经网络训练及数据处理方法和装置、介质及计算机设备


[0001]本专利技术涉及人工智能
，尤其涉及一种神经网络训练及数据处理方法和装置、介质及计算机设备。

技术介绍

[0002]近年来，神经网络在计算机视觉等人工智能领域得到了广泛的应用。随着对神经网络的性能要求越来越高，神经网络的结构设计偏向于更深、更宽，实际应用中带来准确度提升的同时，也带来了对计算资源的需求，例如对内存和带宽的需求，并且对计算速度也提出了挑战。
[0003]实际应用中部署神经网络的场景也变得越来越丰富，一些场景下对各种设备的要求也相应地提升，尤其是移动端的设备。目前一种高效的方式是将神经网络部署到人工智能芯片上，但受制于芯片的面积、散热等条件，需要对神经网络进行压缩。
[0004]一种高效的压缩方式是对神经网络进行量化处理，一般的量化方式是将神经网络的每个网络层的输入参数和权重参数映射到更低比特表示的空间。但映射到低比特空间的输入参数和权重参数经过计算后得到的输出参数有可能超出映射的低比特空间的表示范围，因此需要将输出参数保存到更高比特的空间。高比特空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，所述方法包括：将样本数据输入原始神经网络，获取所述原始神经网络中各网络层的样本输出参数；基于各网络层的样本输出参数与所述网络层的预设量化位宽对应的参数边界值之间的差异建立损失函数；基于所述损失函数对所述原始神经网络进行训练，得到目标神经网络。2.根据权利要求1所述的方法，其特征在于，所述基于各网络层的样本输出参数与所述网络层的预设量化位宽对应的参数边界值之间的差异建立损失函数，包括：对各网络层的样本输出参数与所述网络层的预设量化位宽对应的参数边界值之间的差值的绝对值进行求和，得到所述损失函数。3.根据权利要求2所述的方法，其特征在于，所述原始神经网络中不同的网络层对应不同的预设量化位宽；所述基于各网络层的样本输出参数与所述网络层的预设量化位宽对应的参数边界值之间的差异建立损失函数，包括：针对所述原始神经网络中的每个网络层，对所述网络层的各样本输出参数与所述网络层的预设量化位宽对应的参数边界值之间的差值的绝对值进行求和，得到所述网络层的总差值；对所述原始神经网络的各个网络层的总差值进行求和，得到所述损失函数。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述原始神经网络的相邻两个网络层之间设置有一截断层，每个截断层包括一个激活函数，用于对所述相邻两个网络层中的上一网络层的样本输出参数进行截断，并将截断后的样本输出参数输入所述相邻两个网络层中的下一网络层。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述原始神经网络中一个网络层的样本输出参数基于所述网络层的量化样本输入参数与所述网络层的量化权重参数得到；所述网络层的量化样本输入参数基于所述网络层的预设量化位宽对所述网络层的样本输入参数进行量化得到；所述网络层的量化权重参数基于所述网络层的预设量化位宽对所述网络层的权重参数进行量化得到；所述原始神经网络各网络层的样本输出参数被截断到所述网络层的预设量化位宽对应的参数边界值之后，作为下一网络层的样本输入参数。6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：将待处理数据输入所述目标神经网络进行前向传播，获取所述目标神经网络的输出层的目标输出参数；在所述待处理数据前向传播过程中所述目标神经网络中每个网络层的输入参数经过所述网络层的输入尺度因子进行映射，且所述目标神经网络中每个网络层的权重参数经过所述网络层的权重尺度因子进行量化处理；基于所述目标神经网络的输出层的输出尺度因子对所述目标神经网络的输出层的目标输出参数进行反映射；其中，所述目标神经网络的输出层的输出尺度因子通过以所述目标神经网络的输入层的输入尺度因子作为所述目标神经网络的输入层的输入参数，在所述目标神经网络中进行前向传播得到。
7.根据权利要求6所述的方法，其特征在于，在所述目标神经网络的目标网络层的输入参数的数量等于1的情况下，所述方法还包括：基于所述目标网络层的输入尺度因子以及所述目标网络层的权重尺度因子确定所述目标网络层的输出尺度因子；其中，所述目标网络层的输入尺度因子等于所述目标网络层的上一网络层的输出尺度因子。8.根据权利要求6或7所述的方法，其特征在于，在所述目标神经网络的目标网络层的输入参数的数量等于1的情况下，所述目标网络层与所述目标网络层的下一网络层之间设置有尺度因子层，包括所述网络层的输出尺度因子。9.根据权利要求6至8任意一项所述的方法，其特征在于，在所述目标神经网络的目标网络层的输入参数的数量大于1的情况下，将所述目标网络层的上一网络层的输出尺度因子作为所述目标网络层的输出尺度因子。10.根据权利要求6至9任意一项所述的方法，其特征在于，在所述目标神经网络的目标网络层的输入参数的数量大于1的情况下，每个...

【专利技术属性】
技术研发人员：张卓翼，
申请(专利权)人：上海商汤阡誓科技有限公司，
类型：发明
国别省市：