激活函数的优化方法和优化装置制造方法及图纸

本发明专利技术提供一种激活函数的优化方法和优化装置，所述优化方法包括以下步骤：获取当前神经网络数据；根据神经网络模型对当前神经网络数据进行处理，以获取当前激活输入值；将当前激活输入值左移N位，以得到目标激活输入值，其中，N为正整数；以及将目标激活输入值和预设的激活输入值与激活值之间的对照关系表进行比对，以查表获得与目标激活输入值对应的激活值。本发明专利技术实施例的优化方法，能够通过查表的方式获取激活值，有效提升了激活函数在处理器上的计算速度。

【技术实现步骤摘要】
激活函数的优化方法和优化装置
本专利技术涉及深度学习
，具体涉及一种激活函数的优化方法、一种激活函数的优化装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
技术介绍
目前，pytorch深度学习框架中，没有提供swish激活函数算子，需要手动定义。其中，wish激活函数的定义为x*sigmoid(x)，在pytorch框架中，使用高层函数接口实现swish，需要保存激活函数前的数值x，并计算sigmoid(x)，然后再计算x*sigmoid(x)的数值，sigmoid函数计算量较大，而且使用此方法的swish计算过程，保存中间变量较多，需要大量访问内存。
技术实现思路
本专利技术为解决上述技术问题，提供了一种激活函数的优化方法，能够通过查表的方式获取激活值，有效提升了激活函数在处理器上的计算速度。本专利技术采用的技术方案如下：一种激活函数的优化方法，包括以下步骤：获取当前神经网络数据；根据神经网络模型对所述当前神经网络数据进行处理，以获取当前激活输入值；将所述当前激活输本文档来自技高网...

【技术保护点】
1.一种激活函数的优化方法，其特征在于，包括以下步骤：/n获取当前神经网络数据；/n根据神经网络模型对所述当前神经网络数据进行处理，以获取当前激活输入值；/n将所述当前激活输入值左移N位，以得到目标激活输入值，其中，N为正整数；以及/n将所述目标激活输入值和预设的激活输入值与激活值之间的对照关系表进行比对，以查表获得与所述目标激活输入值对应的激活值。/n

【技术特征摘要】
1.一种激活函数的优化方法，其特征在于，包括以下步骤：
获取当前神经网络数据；
根据神经网络模型对所述当前神经网络数据进行处理，以获取当前激活输入值；
将所述当前激活输入值左移N位，以得到目标激活输入值，其中，N为正整数；以及
将所述目标激活输入值和预设的激活输入值与激活值之间的对照关系表进行比对，以查表获得与所述目标激活输入值对应的激活值。


2.根据权利要求1所述的激活函数的优化方法，其特征在于，所述预设的激活输入值与激活值之间的对照关系表通过以下方式生成：
获取多个训练数据；
根据所述神经网络模型对所述多个训练数据进行处理，以确定激活输入值的取值范围；
以所述N位的取值间隔从所述激活输入值的取值范围内，选取多个激活输入值；
计算所述多个激活输入值中每个激活输入值对应的激活值，以生成所述预设的激活输入值与激活值之间的对照关系表。


3.根据权利要求2所述的激活函数的优化方法，其特征在于，所述根据所述神经网络模型对所述多个训练数据进行处理，以确定激活输入值的取值范围，具体包括：
将所述多个训练数据中的训练数据依次输入至所述神经网络模型；
通过所述神经网络模型依次处理所述多个训练数据中的训练数据，以确定所述激活输入值的最大值和所述激活输入值的最小值；
根据所述激活输入值的最大值和所述激活输入值的最小值，确定所述激活输入值的取值范围。


4.根据权利要求2所述的激活函数的优化方法，其特征在于，通过以下公式计算所述多个激活输入值中每个激活输入值对应的激活值：
W＝1/(1+e^-x)，
其中，W为所述激活值，e为预设的自然常数，x为所述激活输入值。


5.根据权利要求1所述的激活函数的优化方法，其特征在于，其中，
在将所述目标激活输入值和所述预设的激活输入值与激活值之间的对照关系表进行比对的过程中，如果所述目标激活输入值大于所述对照关系表中激活输入值的最大...

【专利技术属性】
技术研发人员：陈海波，李思远，
申请(专利权)人：深兰人工智能芯片研究院江苏有限公司，
类型：发明
国别省市：江苏;32