一种基于ASIC实现激活函数的方法、系统、设备和存储介质技术方案

本发明专利技术提供了一种基于ASIC实现激活函数的方法、系统、设备和存储介质，方法包括：确定激活函数的对称点，并根据所述激活函数的对称点进行线性拟合运算以得到多条拟合曲线；基于误差和梯度从所述多条拟合曲线中选择最适合的拟合曲线；以及根据所述最适合的拟合曲线构建拟合电路，并根据所述拟合电路计算所述激活函数。本发明专利技术通过最小二乘法等简单的拟合方法将非线性的激活函数进行线性拟合，并利用电路连接结构对激活函数进行操作，相比于在CPU下进行激活函数的操作，具有高速低功耗的优势。具有高速低功耗的优势。具有高速低功耗的优势。

【技术实现步骤摘要】
一种基于ASIC实现激活函数的方法、系统、设备和存储介质


[0001]本领域涉及神经网络领域，更具体地，特别是指一种基于ASIC实现激活函数的方法、系统、设备和存储介质。

技术介绍

[0002]激活函数(Activation Function)是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开(1)或关(0)输出的数字电路激活函数。因此，激活函数是确定神经网络输出的数学方程式。
[0003]在人工智能计算中，数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。虽然ANN(Artificial Neural Network，人工神经网络)中最大量的运算来源于MAC(Multiplier Accumulation unit本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ASIC实现激活函数的方法，其特征在于，包括如下步骤：确定激活函数的对称点，并根据所述激活函数的对称点进行线性拟合运算以得到多条拟合曲线；基于误差和梯度从所述多条拟合曲线中选择最适合的拟合曲线；以及根据所述最适合的拟合曲线构建拟合电路，并根据所述拟合电路计算所述激活函数。2.根据权利要求1所述的方法，其特征在于，所述基于误差和梯度从所述多条拟合曲线中选择最适合的拟合曲线包括：计算每条拟合曲线和所述激活函数的差的绝对值之和，将所有拟合曲线按照所述和进行降序排序；以及依次判断拟合曲线是否满足梯度要求，并将第一个满足所述梯度要求的拟合曲线作为最适合的拟合曲线。3.根据权利要求2所述的方法，其特征在于，所述判断拟合曲线是否满足梯度要求包括：判断所述拟合曲线的梯度是否从所述对称点向两侧降低。4.根据权利要求1所述的方法，其特征在于，所述根据所述拟合电路计算所述激活函数包括：根据所述最适合的拟合曲线的次方数通过指数运算得到不同的次方输出，并将所述不同的次方输出配合对应的系数进行乘加运算得到最终输出。5.根据权利要求1所述的方法，其特征在于，所述基于误差和梯度从所述多条拟合曲线中选择最适合的拟合曲线包括：对所述激活函数进行分段得到多个片段，并根据误差和梯度确定每个片段对应的最适合的拟合曲线，并将所有片段对应的最适合的拟合曲线进行整合。6.根据权利要求5所述的方法，其特征在于，所述根据误差和梯度确定每个片段对应的最...

【专利技术属性】
技术研发人员：吴睿振，陈静静，黄萍，王凛，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：