用于大规模并行神经推理引擎的多模式低精度内积计算电路制造技术

提供了用于计算神经激活的神经推理芯片。在各种实施例中，神经推理芯片适于：接收包括多个输入激活的输入激活张量；接收包括多个权重的权重张量；将多个权重中的每一个权重布斯重编码为多个布斯编码权重，每个布斯编码值具有阶次；将输入激活张量乘以布斯编码权重，产生针对每个输入激活的多个结果，该多个结果中的每一个结果对应于布斯编码权重的阶次；对于布斯编码权重的每一阶次，将对应的结果求和，产生多个部分和，每个阶次一个部分和；以及从多个部分和的总和计算神经激活。多个部分和的总和计算神经激活。多个部分和的总和计算神经激活。

【技术实现步骤摘要】
【国外来华专利技术】用于大规模并行神经推理引擎的多模式低精度内积计算电路


[0001]本公开的实施例涉及神经网络处理，并且更具体地，涉及用于大规模并行神经推理引擎的多模式低精度内积计算电路。

技术实现思路

[0002]根据本公开的实施例，提供了用于计算神经激活的神经推理芯片。在各种实施例中，神经推理芯片适于：接收包括多个输入激活的输入激活张量；接收包括多个权重的权重张量；将多个权重中的每一个权重布斯重编码为多个布斯编码权重，每个布斯编码值具有阶次(order)；将输入激活张量乘以布斯编码权重，针对每个输入激活产生多个结果，该多个结果中的每一个结果对应于布斯编码权重的阶次；对于布斯编码权重的每一阶次，对对应结果求和，产生多个部分和(partial sum)，每个阶次一个部分和；以及从多个部分和的总和计算神经激活。
[0003]在一些实施例中，输入激活张量维度为一。在一些实施例中，权重张量维度为二。
[0004]在一些实施例中，计算神经激活包括根据多个部分和中的每一个部分和的对应阶次来移动多个部分和中的每一个部分和。在一些实施例中，计算神经激活包括根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算神经激活的方法，所述方法包括：接收包括多个输入激活的输入激活张量；接收包括多个权重的权重张量；将所述多个权重中的每一个权重布斯重编码为多个布斯编码权重，每个布斯编码值具有阶次；将所述输入激活张量乘以所述布斯编码权重，产生针对每个输入激活的多个结果，所述多个结果中的每一个结果对应于所述布斯编码权重的所述阶次；对于所述布斯编码权重的每一阶次，对对应的结果求和，产生多个部分和，每个阶次一个部分和；从所述多个部分和的总和计算神经激活。2.根据权利要求1所述的方法，其中，所述输入激活张量具有一的维度。3.根据权利要求1所述的方法，其中，所述权重张量具有二的维度。4.根据权利要求1所述的方法，其中，计算所述神经激活包括根据所述多个部分和中的每一个部分和的对应阶次移动所述多个部分和中的每一个部分和。5.根据权利要求1所述的方法，其中，计算所述神经激活包括根据所述输入激活的精度移动所述多个部分和中的每一个部分和。6.根据权利要求1所述的方法，其中，计算所述神经激活包括将非线性激活函数应用于所述多个部分和的所述总和。7.根据权利要求1所述的方法，其中，对所述对应的结果求和包括应用多个进位保存加法器。8.一种计算神经激活的方法，所述方法包括：接收包括多个输入激活的输入激活张量；接收包括多个权重的权重张量；将所述多个输入激活中的每一个输入激活布斯重编码为多个布斯编码输入激活，每个布斯编码值具有阶次；将所述权重张量乘以所述布斯编码输入激活，产生针对每个权重的多个结果，所述多个结果中的每一个结果对应于所述布斯编码输入激活的所述阶次；对于所述布斯编码输入激活的每一阶次，对对应的结果求和，产生多个部分和，每个阶次一个部分和；从所述多个部分和的总和计算神经激活。9.根据权利要求8所述的方法，其中，所述输入激活张量具有一的维度。10.根据权利要求8所述的方法，其中，所述权重张量具有二的维度。11.根据权利要求8所述的方法，其中，计算所述神经激活包括根据所述多个部分和中的每一个部分和的对应阶次移动所述多个部分和中的每一个部分和。12.根据权...

【专利技术属性】
技术研发人员：泽田润，R，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：