一种用于有用神经网络激活函数的VLSI实现的有效方法技术

提供了一种神经推理芯片，包括至少一个神经推理核心。该至少一个神经推理核心适于将多个突触权重应用于多个输入激活以产生多个中间输出。所述至少一个神经推理核心包括多个激活单元，所述多个激活单元被配置为接收所述多个中间输出并产生多个激活。多个激活单元中的每一个被配置成将可配置的激活函数应用于其输入。可配置激活函数至少具有重新变动范围项和缩放项，重新变动范围项确定激活的范围，缩放项确定激活的缩放。所述多个激活单元中的每一个被配置成从一个或多个查找表获得所述重新变动范围项和所述缩放项。新变动范围项和所述缩放项。新变动范围项和所述缩放项。

【技术实现步骤摘要】
一种用于有用神经网络激活函数的VLSI实现的有效方法


[0001]本公开的实施例涉及神经网络处理，并且更具体地，涉及具有低精度线性插值的S形(sigmoid)函数的超大规模集成(VLSI)实现。

技术介绍

[0002]在各种实施方式中，提供了一种神经推理芯片，其包括至少一个神经推理核心。该至少一个神经推理核心适于将多个突触权重应用于多个输入激活以产生多个中间输出。所述至少一个神经推理核心包括多个激活单元，所述多个激活单元被配置为接收所述多个中问输出并产生多个激活。多个激活单元中的每一个被配置成将可配置的激活函数应用于其输入。可配置激活函数至少具有重新变动范围项和缩放项，重新变动范围项确定激活的范围，并且缩放项确定激活的缩放。所述多个激活单元中的每一个被配置成从一个或多个查找表获得所述重新变动范围项和所述缩放项。
[0003]在各种实施方式中，提供了一种集成电路，包括至少一个神经推理核心。该至少一个神经推理核心适于将多个突触权重应用于多个输入激活以产生多个中间输出。所述至少一个神经推理核心包括多个激活单元，所述多个激活单元被配置为接收所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经推理芯片，包括：至少一个神经推理核心，其被适配成将多个突触权重应用于多个输入激活以产生多个中间输出，所述至少一个神经推理核心包括多个激活单元，所述多个激活单元被配置为接收所述多个中间输出并且产生多个激活，所述多个激活单元中的每一个被配置成将可配置的激活函数应用于其输入，所述可配置激活函数至少具有重新变动范围项和缩放项，所述重新变动范围项确定所述激活的范围，并且所述缩放项确定所述激活的缩放，所述多个激活单元中的每一个被配置为从一个或多个查找表获得所述重新变动范围项和所述缩放项。2.根据权利要求1的神经推理芯片，其中所述激活具有灵活的精度。3.根据权利要求1的神经推理芯片，其中所述激活具有浮点值。4.根据权利要求1的神经推理芯片，其中所述多个输入激活具有16位精度。5.根据权利要求1的神经推理芯片，其中所述多个输入激活具有32位精度。6.根据权利要求1所述的神经推理芯片，其中所述重新排列项和所述缩放项中的每一个具有一个相关联的查找表。7.根据权利要求1所述的神经推理芯片，其中每个查找表小于一个字节。8.根据权利要求1所述的神经推理芯片，其中所述重新排列项和所述缩放项中的每一个是被学习的。9.权利要求1的神经推理芯片，其中所述可配置的激活函数是从由以下各项组成的列表中选择的：布尔逻辑、三元、线性、ReLU、移位ReLU、ExpReLU、S形和tanh。10.一种集成电路，包括：至少一个神经推理核心，其被适配成将多个突触权重应用于多个输入激活以产生多个中间输出，所述至少一个神经推理核心包括多个激活单元，所述多个激活单元被配置为接收所述多个中间输出并且产生多个激活，所述多个激活单元中的每...

【专利技术属性】
技术研发人员：泽田润，M，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：