【技术实现步骤摘要】
一种激活函数的硬件实现装置和方法
本专利技术涉及函数计算的硬件实现
,更具体地说,涉及一种激活函数的硬件实现装置和方法。
技术介绍
随着人工智能等领域的高速发展,近些年来,神经网络成为研究的热点。人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,它的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型,设计相应的学习算法,模拟人脑的某种智能活动,然后在技术上实现出来用以解决实际问题。作为神经网络算法的一个重要组成部分,激活函数的硬件实现也成为了研究的热点。激活函数(Activationfunctions)是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。当前,很多关于神经网络算法的应用不仅要求具有实时性,而且还需要高精度,这也必然对激活函数的硬件实现提出了很高的精度要求。在硬件上实现激活函数时,需要考虑实现时占据的硬件资源、运行效率,计算精度等。常用的激 ...
【技术保护点】
1.一种激活函数的硬件实现装置,其特征在于,包括e指数计算模块、CORDIC除法模块、加法器、选择器和顶层控制模块,e指数计算模块的输出端连接加法器的输入端,加法器的输出端连接CORDIC除法模块的输出端,CORDIC除法模块的输出端连接选择器的输入端,顶层控制模块连接e指数计算模块、CORDIC除法模块和选择器,e指数计算模块用于指数函数的计算,CORDIC除法模块通过多次迭代计算出形如
【技术特征摘要】
1.一种激活函数的硬件实现装置,其特征在于,包括e指数计算模块、CORDIC除法模块、加法器、选择器和顶层控制模块,e指数计算模块的输出端连接加法器的输入端,加法器的输出端连接CORDIC除法模块的输出端,CORDIC除法模块的输出端连接选择器的输入端,顶层控制模块连接e指数计算模块、CORDIC除法模块和选择器,e指数计算模块用于指数函数的计算,CORDIC除法模块通过多次迭代计算出形如的除法函数结果。
2.根据权利要求1所述的一种激活函数的硬件实现装置,其特征在于,所述e指数计算模块包括移位单元、加法器和幂指数运算单元,所述移位单元包括移位单元A、移位单元B、移位单元C、移位单元D和移位单元E,所述加法器包括加法器A和加法器B;移位单元A、移位单元B和移位单元C的输出端均连接加法器A的输入端,加法器A的输出端和移位单元E的输出端均连接加法器B的输入端,加法器B的输出端与移位单元D的输入端和幂指数运算单元的输入端均连接,幂指数运算单元的输出端也连接移位单元D的输入端。
3.根据权利要求2所述的一种激活函数的硬件实现装置,其特征在于,所述加法器A为三输入M-bits加法器,包括2M个全加器,2M个全加器以M个为一组,构成两个全加器组;第一全加器组中第n个全加器的输入信号为输入信号的第n位,第一全加器组中第n个全加器的输出信号作为第二全加器组对应的第n个全加器的输入信号,第一全加器组中第n个全加器和第二全加器组对应的第n个全加器的进位信号均作为第二全加器组对应的第n+1个全加器的输入信号,M为大于1的自然数,n为小于等于M的自然数。
4.根据权利要求1所述的一种激活函数的硬件实现装置,其特征在于,所述CORDIC除法模块包括选择器、变量存储器、加法器、移位计算单元,迭代计数器和迭代控制器,计算时每个迭代变量各对应一个选择器,选择器的输出端与变量寄存器的输入端连接,变量寄存器的输出端与加法器的输入端连接,加法器的输出端与选择器的输入端连接;所述选择器还连接迭代控制器,加法器的输入端还连接移位计算单元,所述移位计算单元与迭代计算器连接。
5.一种激活函数的硬件实现方法,其特征在于,使用如权利要求1-4任意一项所述的一种激活函数的硬件实现装置,输入信号通过e指数计算模块计算e指数,然后通过加法模块将e指数计算模块计算值与固定值相加,再通过CORDIC除法模块使用多次迭代计算出除法函数结果,最后通过...
【专利技术属性】
技术研发人员:李丽,蒋林,傅玉祥,陈辉,何书专,李剑斌,陈健,
申请(专利权)人:南京宁麒智能计算芯片研究院有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。