一种神经网络系统中激活函数的计算方法技术方案

一种神经网络系统中激活函数的计算方法，所述神经网络系统包括LUT和激活层；所述LUT存储一阶最佳多项式的M组斜率和截距，M组斜率和截距分别是和所述激活函数的M个输入区间对应的所述一阶最佳多项式的参数值；所述一阶最佳多项式用于逼近所述激活函数；所述激活函数配置于所述激活层中，所述M组斜率和截距的存储地址与浮点数对应的输入区间有对应关系；获取输入向量，所述输入向量包括N个浮点数；根据N个浮点数中的每个与所述存储地址的对应关系在所述LUT中并行查找获取N组斜率和截距；根据所述N组斜率和截距并行计算获得N个一阶最佳多项式的值；根据所述N个一阶最佳多项式的值确定所述激活函数的输出向量，所述输出向量包括N个浮点值。

【技术实现步骤摘要】

本申请涉及深度学习，尤其涉及一种神经网络系统中激活函数的计算方法。

技术介绍

1、随着深度学习技术在多个领域的快速应用，出现了大量的基于深度学习的网络模型，激活函数是深度学习神经网络系统的重要组成，激活函数给神经元引入了非线性因素，使得神经网络可以应用到更多的非线性模型中。

2、目前常用的激活函数有tanh和sigmod。其中，tanh是双曲正切函数。在数学中，双曲正切"tanh"是由基本双曲函数的双曲正弦和双曲余弦推导而来，如图1所示，函数y＝tanh(x)是一个奇函数，定义域为r，值域为(-1,1)，其函数图像为过原点并且穿越第ⅰ、ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y＝1和y＝-1之间，其表达式为：

3、

4、sigmoid是一个常见的s型函数，也称为s型生长曲线。如图2所示，由于其单调递增以及反函数等性质，sigmoid函数常被用作神经网络的阈值函数，将变量映射到0，1之间，其表达式为：

5、

6、现有技术中，激活函数tanh或sigmod算法在实现过程中调用的指令比较复杂本文档来自技高网...

【技术保护点】

1.一种神经网络系统中激活函数的计算方法，其特征在于，所述神经网络系统包括LUT和激活层；所述LUT存储一阶最佳多项式的M组斜率和截距，所述M组斜率和截距分别是和所述激活函数的M个输入区间对应的所述一阶最佳多项式的参数值；所述一阶最佳多项式用于逼近所述激活函数；所述激活函数配置于所述激活层中，所述M组斜率和截距的存储地址与浮点数对应的输入区间有对应关系；

2.根据权利要求1所述的方法，其特征在于，所述根据N个浮点数中的每个与所述存储地址的对应关系在所述LUT中并行查找获取N组斜率和截距，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述N组斜率和截...

【技术特征摘要】

1.一种神经网络系统中激活函数的计算方法，其特征在于，所述神经网络系统包括lut和激活层；所述lut存储一阶最佳多项式的m组斜率和截距，所述m组斜率和截距分别是和所述激活函数的m个输入区间对应的所述一阶最佳多项式的参数值；所述一阶最佳多项式用于逼近所述激活函数；所述激活函数配置于所述激活层中，所述m组斜率和截距的存储地址与浮点数对应的输入区间有对应关系；

2.根据权利要求1所述的方法，其特征在于，所述根据n个浮点数中的每个与所述存储地址的对应关系在所述lut中并行查找获取n组斜率和截距，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述n组斜率和截距并行计算获得n个一阶最佳多项式的值，包括：

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述激活函数被配置为tanh函数，所述m个输入区间属于第一区间，所述第一区间的输入浮点数的范围为[0.0，a1)，a1为大于0且小于或等于4.0的浮点数。

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述激活函数被配置为sigmod函数，所述m个输入区间属于第一区间，所述第一区间的输入浮点数的范围为[0.0，b1)，b1为大于0且小于或等于8.0的浮点数。

6.根据权利要求1或2所述的方法，其特征在于，所述根据n个浮点数中的每个与所述存储地址的对应关系在所述lut中并行查找获取n组斜率和截距，包括：

7.根据权利要求6所述的方法，其特征在于，所述激活函数被配置为tanh函数，所述根据所述n组斜率和截距并行计算获得n个一阶最佳多项式的值，包括：

8.根据权利要求6所述的方法，其特征在于，所述激活函数被配置为sigmod函数，所述根据所述n组斜率和截距并行计算获得n个一阶最佳多项式的值，...

【专利技术属性】
技术研发人员：高雄，刘根树，张怡浩，左文明，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：