激活函数处理方法、激活函数处理电路及神经网络系统技术方案

技术编号:30425477 阅读:48 留言:0更新日期:2021-10-24 16:57
本公开涉及一种激活函数处理方法,该激活函数处理方法包括:通过参考共享查找表,在第一模式下处理第一激活函数,该共享查找表包括第一激活函数的多个函数值;并且通过参考共享查找表,在第二模式下处理第二激活函数,第二激活函数是与第一激活函数不同的函数。激活函数是与第一激活函数不同的函数。激活函数是与第一激活函数不同的函数。

【技术实现步骤摘要】
激活函数处理方法、激活函数处理电路及神经网络系统
[0001]相关申请的交叉引用
[0002]本申请要求于2020年4月22日向韩国知识产权局提交的申请号为10

2020

0048732的韩国专利申请的优先权,该韩国专利申请的全部内容通过引用如全文所述并入本文。


[0003]各个实施例涉及一种神经网络系统,并且更特别地,涉及一种被配置为处理激活函数的神经网络系统。

技术介绍

[0004]深度学习技术处理大数据或海量信息以生成有用的信息。正在开发最先进的深度学习技术,以更迅速地处理更大的数据量。通过应用激活函数,基于深度学习的深度神经网络可以具有非线性。以更低的成本有效地处理激活函数是神经网络系统的发展挑战之一。

技术实现思路

[0005]本公开的各个实施例提供了一种利用减少的存储成本来处理激活函数的激活函数处理方法、激活函数处理电路以及包括其的神经网络系统。
[0006]根据实施例,一种激活函数处理方法可以包括:通过参考共享查找表,在第一模式下处理第一激活函数,该共本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于激活函数处理的方法,所述方法包括:通过参考共享查找表来在第一模式下处理第一激活函数,所述共享查找表包括所述第一激活函数的多个函数值;并且通过参考所述共享查找表来在第二模式下处理第二激活函数,所述第二激活函数是与所述第一激活函数不同的函数。2.根据权利要求1所述的方法,其中在所述第二模式下处理所述第二激活函数包括:在所述第二模式下接收所述第二激活函数的输入值;将所述第二激活函数的所述输入值转换为所述第一激活函数的输入值;通过参考所述共享查找表,确定与所述第一激活函数的所述输入值相对应的、所述第一激活函数的函数值;以及将所述第一激活函数的所述函数值转换为所述第二激活函数的函数值。3.根据权利要求1所述的方法,其中在所述第一模式下处理所述第一激活函数包括:在所述第一模式下接收所述第一激活函数的输入值;以及通过参考所述共享查找表,确定与所述第一激活函数的所述输入值相对应的、所述第一激活函数的函数值。4.根据权利要求3所述的方法,其中确定所述第一激活函数的所述函数值包括:根据地址转换规则,将所述第一激活函数的所述输入值转换为多个地址中的一个相应地址,所述多个地址分别指示所述共享查找表的多个条目,所述多个函数值分别被包括在所述多个条目中;以及将所述共享查找表内由所述相应地址指示的条目中包括的函数值确定为所述第一激活函数的所述函数值,并且其中设置所述地址转换规则,以将所述第一激活函数的所有输入值中的每一个输入值转换为所述共享查找表的所述多个地址中的一个相应地址。5.根据权利要求1所述的方法,其中所述第一激活函数为S形函数;其中所述第二激活函数为双曲正切函数;并且其中所述共享查找表包括所述S形函数的多个函数值。6.根据权利要求1所述的方法,其中所述第一激活函数为双曲正切函数;其中所述第二激活函数为S形函数;并且其中所述共享查找表包括所述双曲正切函数的多个函数值。7.一种电路,包括;查找表访问单元,通过参考共享查找表来确定与第一激活函数的输入值相对应的、所述第一激活函数的函数值,所述共享查找表包括所述第一激活函数的多个函数值;输入值转换单元,在预定模式下将第二激活函数的输入值转换为所述第一激活函数的所述输入值,所述第二激活函数是与所述第一激活函数不同的函数;以及函数值转换单元,在所述预定模式下将所述第一激活函数的所述函数值转换为所述第二激活函数的函数值。
8.根据权利要求7所述的电路,其中,在所述预定模式下,所述查找表访问单元从所述输入值转换单元接收所述第一激活函数的所述输入值,并且向所述函数值转换单元提供所述第一激活函数的所述函数值。9.根据权利要求7所述的电路,其中所述查找表访问单元将所述第一激活函数的所述输入值转换为多个地址中的一个相应地址,所述多个地址分别指示所述共享查找表的多个条目,所述多个函数值分别被包括在所述多个条目中,并且所述查找表访问单元将所述共享查找表内由所述相应地址指示的条目中包括的函数值确定为所述第一激活函数的所述函数值。10.根据权利要求9所述的电路,其中根据地址转换规则,所述查找表访问单元将所述第一激活函数的所述输入值转换为所述相应地址,其中设置所述地址转换规则,以将所述第一激活函数的所有输入值中的每一个输入值转换为所述共享...

【专利技术属性】
技术研发人员:朴容湘金周映
申请(专利权)人:爱思开海力士有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1