当前位置: 首页 > 专利查询>北京大学专利>正文

一种基于切比雪夫插值多项式的S型激活函数算法及其硬件结构制造技术

技术编号:43587603 阅读:20 留言:0更新日期:2024-12-06 17:51
本发明专利技术公开了一种基于切比雪夫插值多项式的S型激活函数算法及其硬件结构。本发明专利技术设计的S型激活函数算法分为非多项式计算区间判断、子区间判断及获取系数、多项式计算三个步骤。基于该算法四次多项式实现的硬件电路由区间过滤模块、函数前处理模块、查找表模块、幂级数模块、浮点乘模块、浮点加模块、函数后处理模块组成,在单精度下满足忠实舍入(误差小于1ULP)的要求。通过将整个单精度浮点区间根据S型激活函数的渐进特性区分为多项式计算区间和非多项式计算区间,节省了硬件开销,降低了计算延时。本发明专利技术提出了一种新型多项式计算区间的子区间划分方法,能够在满足精度要求的前提下尽可能地降低查找表的资源占用。基于该算法实现的硬件结构以较小硬件开销为代价,能够解决S型激活函数浮点计算精度过低的问题,进而提高神经网络计算的精度。

【技术实现步骤摘要】

本专利技术公开了一种基于切比雪夫插值多项式的s型激活函数算法及其硬件结构,其计算结果相比采用分段线性逼近的方法能够达到更高的精度(单精度计算误差小于1ulp)。该算法分为三个步骤,先判断单精度输入是否处于非多项式计算区间,之后对于多项式计算区间内的单精度浮点输入进行子区间判断并获取该子区间多项式各项的系数,最后将多项式计算区间内的单精度浮点输入进行幂运算,并分别与多项式各项系数相乘,最终将多项式各项相加,得到多项式计算结果。通过将整个单精度浮点区间根据s型激活函数的渐进特性区分为多项式计算区间和非多项式计算区间,节省了硬件开销,降低了计算延时;在划分子区间的过程中,结合硬件可行性提出了一种基于切比雪夫插值多项式算法的子区间划分方法,能够在满足精度要求的前提下尽可能地降低查找表的资源占用。


技术介绍

1、随着大数据、人工智能时代的到来,对于计算芯片的算力要求也日益提高,向作为人工智能基础的神经网络计算提出了更高的要求。

2、人工神经网络是受到人类大脑构造的启发,模仿生物神经元相互发送信号的方式而诞生的模型。它由许多感知器构成的,感知器会对各自的输本文档来自技高网...

【技术保护点】

1.一种基于切比雪夫插值多项式的S型激活函数算法及其硬件结构,包括非多项式计算区间划分方法、多项式计算区间的子区间划分方法。其特征在于:

2.由权利要求1所述的一种非多项式计算区间划分方法,其特征在于:

3.由权利要求1所述的一种多项式计算区间的子区间划分方法,其特征在于:

4.由权利要求1所述的一种基于切比雪夫插值多项式的S型激活函数算法及其硬件结构,其特征在于:

5.由权利要求4所述的区间过滤模块,其特征在于:

6.由权利要求4所述的查找表模块,其特征在于:

【技术特征摘要】

1.一种基于切比雪夫插值多项式的s型激活函数算法及其硬件结构,包括非多项式计算区间划分方法、多项式计算区间的子区间划分方法。其特征在于:

2.由权利要求1所述的一种非多项式计算区间划分方法,其特征在于:

3.由权利要求1所述的一种多项式计算...

【专利技术属性】
技术研发人员:冯建华张宇浩侯明浩王然崔博文陈宇航李鹏龙齐观平叶红飞
申请(专利权)人:北京大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1