一种并行查找表实现具有饱和特性非线性函数求解的方法技术

本发明专利技术公开了一种并行查找表实现具有饱和特性非线性函数求解的方法，涉及神经网络技术领域，包括将非线性函数分割成若干区间，每个区间内函数值由线性函数表示，其中线性函数系数存放在查找表内，查找表位于局部存储内，获得查找表的表内有符号偏移地址，计算出线性系数并写入查找表内；通过配置描述符实现非线性函数求解精度与求解范围的灵活可配，得到源操作数取值范围以及查找表深度；采用对源操作数范围进行平均分割的方法进行查找表地址转换，进行非线性函数求解。本发明专利技术以在兼顾资源消耗和计算速度情况下，进一步提高硬件求解非线性函数的精度，并且可以根据不同精度饱和函数进行求解运算。数进行求解运算。数进行求解运算。

【技术实现步骤摘要】
一种并行查找表实现具有饱和特性非线性函数求解的方法


[0001]本专利技术涉及危化品储运
，特别是涉及一种并行查找表实现具有饱和特性非线性函数求解的方法。

技术介绍

[0002]神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层(隐藏层或输出层)。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数，近年来，由于激活函数给神经网络的性能带来的巨大提升，研究人员在激活函数的设计上进行了大量的探索，其中Relu函数、sigmod函数和tanh函数等成为最常用的几种激活函数。
[0003]首先是Relu函数，ReLU函数图像为：横、纵坐标分别表示ReLU函数的输入、输出，ReLU函数本质上其实就是一个取最大值函数，只需判断输入是否大于0，ReLU函数不再包含幂运算，大大降低了运算消耗，并且ReLU函数有效缓解了梯度消失问题。但是，ReLU函数即便不断发展，并在后续的研究中出现了Leaky<br/>‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并行查找表实现具有饱和特性非线性函数求解的方法，其特征在于，包括：将非线性函数分割成若干区间，每个区间内函数值由线性函数表示，其中线性函数系数存放在查找表内，查找表位于局部存储内；通过配置描述符实现非线性函数求解精度与求解范围的灵活可配，得到源操作数取值范围以及查找表深度；采用对源操作数范围进行平均分割的方法进行查找表地址转换，进行非线性函数求解。2.根据权利要求1所述的一种并行查找表实现具有饱和特性非线性函数求解的方法，其特征在于，线性函数系数存放在查找表内，具体包括：获得查找表的表内有符号偏移地址；计算出线性系数并写入至查找表内。3.根据权利要求2所述的一种并行查找表实现具有饱和特性非线性函数求解的方法，其特征在于，获得查找表的表内有符号偏移地址时，通过对输入的32bit单精度数据和/或DP数据和/或HP数据进行转换获得查找表的表内有符号偏移地址；计算出线性系数并写入查找表内时，根据应用需求，预先计算出线性系数并写入查找表内；在这里，应用需求包括非线性函数类型、求解范围以及求解精度等。4.根据权利要求1所述的一种并行查找表实现具有饱和特性非线性函数求解的方法，其特征在于，通过配置描述符实现非线性函数求解精度与求解范围的灵活可配时：通过配置6位的描述符type[5:0]实现非线性函数求解精度与求解范围的灵活可配。5.根据权利要求4所述的一种并行查找表实现具有饱和特性非线性函数求解的方法，其特征在于，得到源操作数取值范围以及查找表深度，具体步骤包括：描述符高3位域type[5:3]十进制数值为m，得到源操作数取值范围为2^m；描述符低3位域type[2:0]十进制数值为n，得到分段间隔2^
‑

【专利技术属性】
技术研发人员：孙红辉，刘佳季，陈芳园，王迪，陈正博，过锋，郝子宇，
申请(专利权)人：无锡江南计算技术研究所，
类型：发明
国别省市：