3D神经推断处理单元架构制造技术

提供了三维神经推断处理单元。第一层包括多个神经核。每个核包括神经计算单元。该神经计算单元适于将多个突触权重应用于多个输入激活以产生多个输出激活。第二层包括适于存储多个突触权重的第一神经网络模型存储器。通信网络操作地耦合至第一神经网络模型存储器和多个神经核中的每个神经核，并适于将突触权重从第一神经网络模型存储器提供给所述多个神经核中的每个神经核。经核中的每个神经核。经核中的每个神经核。

【技术实现步骤摘要】
【国外来华专利技术】3D神经推断处理单元架构

技术介绍

[0001]本公开的实施例涉及神经网络处理，并且更具体地涉及三维神经推断处理单元架构。

技术实现思路

[0002]根据本公开，提供如权利要求1所述的神经推断芯片。
[0003]还提供了一种如所要求保护的用于神经推断处理的方法和计算机程序产品。
附图说明
[0004]图1示出了根据本公开的实施例的神经核。
[0005]图2示出了根据本公开的实施例的示例性推断处理单元(IPU)。
[0006]图3示出了根据本公开的实施例的多核推断处理单元(IPU)。
[0007]图4示出了根据本公开的实施例的多核推断处理单元(IPU)的单层布局。
[0008]图5示出了根据本公开的实施例的多核推断处理单元(IPU)的两层布局。
[0009]图6示出了根据本公开的实施例的多核推断处理单元(IPU)的多层布局。
[0010]图7示出了根据本公开的实施例的多核推断处理单元(IPU)的多层布局。
[0011]图8示出了根据本公开的实施例的多核推断处理单元(IPU)的多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种神经推断芯片，包括：第一层，包括多个神经核，每个核包括：神经计算单元，该神经计算单元适于将多个突触权重应用于多个输入激活以产生多个输出激活；第二层，包括适于存储所述多个突触权重的第一神经网络模型存储器；通信网络，所述通信网络操作地耦合到所述第一神经网络模型存储器和所述多个神经核中的每个神经核，并且适于将所述突触权重从所述第一神经网络模型存储器提供给所述多个神经核中的每个神经核。2.根据权利要求1所述的神经推断芯片，其中，所述通信网络包括多个穿硅通孔。3.根据权利要求1所述的神经推断芯片，还包括：至少一个附加层，所述至少一个附加层包括至少一个附加神经网络模型存储器，其中所述通信网络还操作地耦合至所述至少一个附加神经网络模型存储器并适于将来自所述至少一个附加神经网络模型存储器的突触权重提供给所述多个神经核中的每个神经核。4.根据权利要求3所述的神经推断芯片，其中，跨所述第一神经网络模型存储器和所述至少一个附加神经网络模型存储器存储神经网络模型。5.根据权利要求3所述的神经推断芯片，其中，跨所述第一神经网络模型存储器和所述至少一个附加神经网络模型存储器存储多个神经网络模型。6.根据权利要求1所述的神经推断芯片，其中，每个核还包括：激活存储器，适于存储所述输入激活和所述输出激活；局部控制器，所述局部控制器适于将来自所述激活存储器的所述输入激活加载到所述神经计算单元以及将来自所述神经计算单元的所述多个输出激活存储到所述激活存储器。7.根据权利要求1所述的神经推断芯片，还包括：第三层，包括激活存储器，其中所述通信网络还操作地耦合至所述激活存储器并且适于将来自所述激活存储器的激活提供给所述多个神经核中的每个神经核。8.根据权利要求1所述的神经推断芯片，还包括：第三层，包括激活存储器，其中附加通信网络操作性地耦合至所述激活存储器并且适于将来自所述激活存储器的激活提供至所述多个神经核中的每个神经核。9.根据权利要求1所述的神经推断芯片，还包括：第三层，包括多个神经核，其中所述通信网络操作地耦合到所述第三层并且适于将所述突触权重从所述第一神经网络模型存储器提供给所述第三层的所述多个神经核中的每个神经核。10.根据权利要求9所述的神经推断芯片，被配置为向所述第一层和所述第三层两者提供第一神经网络模型。1...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：