神经网络激活函数的通用拟合方法及装置制造方法及图纸

本申请公开了神经网络激活函数的通用拟合方法及装置；所述方法包括加载一个神经网络中的激活层；根据所述激活层中的预设激活函数，生成四个分段参数；根据所述的四个分段参数得到五段分段拟合函数，生成目标拟合函数；根据所述目标拟合函数，重新设置所述激活层。上述方法可以将复杂的激活函数拟合成简单的分段的线性函数，能在较低的硬件复杂度下保证卷积神经网络算法的精度，解决了激活复杂函数的硬件实现问题，提高NPU的处理性能。提高NPU的处理性能。提高NPU的处理性能。

【技术实现步骤摘要】
神经网络激活函数的通用拟合方法及装置


[0001]本申请涉及卷积神经网络领域，尤其涉及神经网络激活函数的通用拟合方法及装置。

技术介绍

[0002]神经网络中的激活函数，例如SiReLu、Mish、Hard
‑
Swish等，通过自身的非线性特点可以提升神经网路的精度，强化神经网络的学习能力。但是，因为激活函数的计算公式复杂，传统的NPU（Neural
‑
network Processing Unit，神经网络处理器）不能直接支持激活函数的硬件实现。
[0003]目前，当NPU在处理神经网络的过程中一般会把遇到的激活函数重新加载到CPU（central processing unit，中央处理器）或者GPU（graphics processing unit，图形处理器）当中，采用软件的方式来实现遇到的激活函数。
[0004]但采用上述软件方式会带来明显的数据传输负担，并且软件处理的速度较慢，这都增加了NPU的等待时间，降低NPU的实际处理性能。

技术实现思路

[0005]为了解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络激活函数的通用拟合方法，其特征在于，包括：加载一个神经网络中的激活层；所述激活层为预设激活函数；根据所述预设激活函数，生成第一分段参数、第二分段参数、第三分段参数和第四分段参数；当输入数据小于等于所述第一分段参数，输出第一段拟合函数；当输入数据大于所述第一分段参数并且小于等于所述第二分段参数时，输出第二段拟合函数，当输入数据大于所述第二分段参数并且小于等于所述第三分段参数时，输出第三段拟合函数；当输入数据大于所述第三分段参数并且小于等于所述第四分段参数时，输出第四段拟合函数；当输入数据大于所述第四分段参数时，输出第五段拟合函数；根据所述第一段拟合函数、所述第二段拟合函数、所述第三段拟合函数、所述第四段拟合函数和所述第五段拟合函数生成目标拟合函数；根据所述目标拟合函数，重新设置所述激活层。2.根据权利要求1所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述第一分段参数根据所述预设激活函数的逼近零点对应的输入值确定；所述第二分段参数根据所述预设激活函数的输出值最小时对应的输入值确定；所述第三分段参数为零；所述第四分段参数根据所述预设激活函数的输出值最大时对应的输入值确定。3.根据权利要求1所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述第一段拟合函数的输出为零；所述第二段拟合函数为一元一次函数；所述第三段拟合函数为正比例函数；所述第四段拟合函数的输出值为输入值；所述第五段拟合函数的输出为所述第四分段参数。4.根据权利要求1
‑
3任一所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述目标拟合函数满足如下关系：，其中，x1为所述第一分段参数、x2为所述第二分段参数、x3为所述第四分段参数；其中，n、K、b分别为第一拟合参数、第二拟合参数和第三拟合参数；其中，所述第一拟合参数、所述第二拟合参数和所述第三拟合参数根据所述目标拟合函数的函数表达式和所述预设激活函数的函数表达式之...

【专利技术属性】
技术研发人员：王丹阳，杨东天，王中风，林军，刘阳，
申请(专利权)人：南京风兴科技有限公司，
类型：发明
国别省市：