用于极端吞吐量神经网络的可扩展流突触超级计算机制造技术

提供了用于极端吞吐量神经网络的可扩展流突触超级计算机。基本上并行地确定第一神经突触核心的多个神经元的激发状态。基本上并行地将多个神经元的激发状态传递到至少一个另外的神经突触核心。

【技术实现步骤摘要】
【国外来华专利技术】用于极端吞吐量神经网络的可扩展流突触超级计算机
本专利技术的实施例涉及神经形态系统，更具体地，涉及用于极端吞吐量神经网络的可扩展流突触(streamsynaptic)超级计算机。
技术介绍
神经形态系统是含有受神经生物系统启发的电子电路的超大规模集成(VLSI)系统。现有这种神经形态系统的缺点包括高能耗(运行成本)和面积(设备成本)。因此，本领域需要解决上述问题。
技术实现思路
根据本公开的实施例，提供了一种用于操作神经网络的方法和计算机程序产品。基本上并行地确定第一神经突触核心的多个神经元的激发状态。基本上并行地将多个神经元的激发状态传递到至少一个另外的神经突触核心(neurosynapticcore)。根据本公开的实施例，提供了一种神经形态系统。该系统包括多个神经突触核心。所述神经突触核心包括多个轴突(axons)，多个突触(synapses,)和多个神经元(neurons)。核心间网络连接所述多个神经突触核心。所述核心间网络适于基本上并行地从所述多个神经突触核心的第一神经突触核心向至少一个另外的神经突触核心传递所述第一神经突触核心的多个神经元的激发状态。根据本公开的实施例，提供了一种用于模拟神经网络的方法和计算机程序产品。模拟多个神经突触核心。模拟的神经突触核心包括多个模拟的轴突、多个模拟的突触和多个模拟的神经元。模拟连接所述多个模拟的神经突触核心的网络。模拟基本上并行地确定模拟的神经突触核心的第一个的多个模拟的神经元的激发状态。模拟将所述多个模拟的神经元的激发状态基本上并行地传递到至少一个另外的模拟的神经突触核心。附图说明现在将仅通过示例的方式参考如以下附图所示的优选实施例来描述本专利技术：图1示出了根据本公开的实施例的提取神经突触核心。图2描绘了根据本公开的实施例的神经突触核心和网状路由器(meshrouter)。图3示出了根据本公开的实施例的神经突触核心的数学表示。图4示出了根据本公开实施例的用于芯片间通信的示例性架构。图5示出了根据本公开实施例的用于操作神经突触网络的示例性方法。图6示出了根据本公开实施例的用于模拟神经突触网络的示例性方法。图7A-B示出了根据本公开实施例的神经形态系统的示例性布局。图8描绘了根据本专利技术的实施例的计算节点。具体实施方式极低功率神经突触处理单元阵列(称为神经突触核心)提供了解决百万兆(exascale)大数据问题的架构。这些核心使用尖峰(spikes)来编码信息。在神经突触核心网络中，每个核心上的神经元可以连接到任何其它神经突触核心(包括其自身)的任何轴突。当神经元出现尖峰时，它会发送一个尖峰包(spikepacket)，该包被传递到目标核心上的目标轴突。在数字尖峰神经形态系统中，信息由尖峰表示和传递，其中每个尖峰是携带一个或多个比特的数字信息包。例如，TrueNorth芯片是一种数字尖峰神经形态系统，其中每个尖峰都带有一个比特的信息(二进制尖峰)。诸如TrueNorth之类的尖峰神经网络基于通过交换通信线路传送信息包，从而显著减少所需的布线。尖峰的存在被视为接收1，尖峰的缺失表示0。可以使用几种不同的尖峰编码模式将更多值编码为二进制尖峰。IBM是国际商用机器公司的商标，在全球许多司法管辖区注册。从源核心上的源神经元到目标核心上的目标轴突的尖峰通信，实际上需要经由水平方向的二维(2D)网格或垂直方向的2D网格中的路由器或这二者的组合中的路由器来通过特定数量的跳(hops)，才能被送到目的地核心的目标轴突。每跳有一个尖峰数据包通过，消耗功率和能量。在诸如TrueNorth的示例性神经形态系统内，尖峰从其源神经元行进到其目的轴突的需要固定的时间量。该固定时窗称为嘀嗒(tick)。尖峰行进所需的时间，根据尖峰必须行进的距离以及尖峰穿过的2-D网状布线、芯片和电路板接口的数量而变化。在每个嘀嗒上，核心中的神经元被顺序处理，从第一神经元开始并继续通过最后一个神经元。因此，除了上面讨论的传输延迟之外，每个尖峰还基于核心上的哪个神经元产生该尖峰而延迟某个额外固定量。例如，在诸如TrueNorth的示例性神经形态系统中，每个核具有256个神经元，直到前255个神经元被处理后才处理第256个神经元。根据本公开的各种实施例，神经突触程序表示神经突触网络。神经突触程序包括与神经突触网络有关的信息。在一些实施例中，该信息包括确定电子神经元对输入尖峰的响应的神经元属性(properties)和动态(dynamics)。例如，神经元属性和动态可以包括阈值参数、泄漏参数、延迟参数或重置参数。在一些实施例中，神经突触程序信息包括神经元的突触连接(例如，经由突触交叉杆(crossbar)进行的突触连接)。在一些实施例中，神经突触程序信息包括轴突特性(例如，轴突类型)。在一些实施例中，神经突触程序信息包括神经元的输出尖峰应被传递到的一个或多个目的地(例如，目标轴突)。根据各种实施例，神经突触网络表示神经突触程序的实例化。神经突触网络可以在硬件、模拟或这二者中实例化。例如，神经突触程序可以产生神经突触网络的一个或多个实例，其中实例可以驻留在单个核心、多个核心或多个芯片上。根据各种实施例，神经形态核心电路表示由神经突触程序描述的示例性神经突触网络。编程语言表示提供神经突触程序的抽象的软件。可以通过编写核心程序来创建神经突触程序。TrueNorth程序连同其外部输入和输出，是神经突触核心网络的完整规范。在各种实施例中，采用分而治之的方法，其中通过互连一组较小的神经突触核心网络来构建大型神经突触核心网络，其中每个较小的网络又可以通过互连一组更小的网络来构建，如此等等，直到由单个神经突触核心组成的网络—单个神经突触核心是基本的、不可分割的构建块。这种编程范例被称为Corelet程序设计。根据本公开的实施例，神经网络被优化以接近吞吐量的理论上限，同时接近面积和能量的理论下限。很明显，这三个指标不能同时最小化。然而，可以根据本文所述的方法同时优化两个。特别地，在尽可能低地保持能量消耗(其对应于操作成本)和面积(对应于设备成本)的同时，利用神经网络中可用的并行性来提供前所未有的吞吐量。通过以可变速度提供能力和吞吐量同时最小化能量消耗和面积，同样最小化了资本、操作和编程成本。根据本公开的实施例，极端并行性实现了高吞吐量。现在参考图1，描绘了根据本公开内容的实施方案的神经突触核心。在一些实施方案中，神经突触核心100包括表示为行的轴突101，表示为列的树突(dendrites)102，表示为行-列连接的突触103，以及接收来自树突的输入的神经元104。在一些实施方案中，有256个突触、256个轴突和256个神经元。在这样的实施例中，存在256×256＝65,536个突触。信息从轴突101流到神经元104，由突触103调制。在一些实施方案中，在芯片上平铺多个神经突触核心。在示例性实施例中，平铺64乘64的核心，产生4,096个核心，总共1,048,576个神经元和268,435,456个突触。在这样的实施例中，神经元、突触和短距离连接是物理的。长距离连接是合乎逻辑的。图2中描绘了示例性实施例。网状路由器(meshrouter)201提供核心之间的通信。同样，在给定核心上，提供神经元到核心202的通信链路和核心到轴本文档来自技高网...

【技术保护点】
1.一种方法，包括：基本上并行地确定第一神经突触核心的多个神经元的激发状态；基本上并行地将所述多个神经元的激发状态传递到至少一个另外的神经突触核心。

【技术特征摘要】
【国外来华专利技术】2016.09.30 US 15/282,7051.一种方法，包括：基本上并行地确定第一神经突触核心的多个神经元的激发状态；基本上并行地将所述多个神经元的激发状态传递到至少一个另外的神经突触核心。2.根据权利要求1所述的方法，其中所述第一神经突触核心和所述至少一个另外的神经突触核心位于第一芯片上。3.如权利要求2所述的方法，其中，所述基本上并行的传递是通过核心间网络进行的。4.如权利要求3所述的方法，其中，所述基本上并行的传递是由置换网络、Clos网络或蝶形网络执行的。5.如前述权利要求中任一项所述的方法，还包括：流水线化所述多个神经元的激发状态。6.如前述权利要求中任一项所述的方法，还包括：构造对应于所述多个神经元的激发状态的二元向量；将所述二元载体传递给所述至少一个另外的神经突触核心。7.如前述权利要求中任一项所述的方法，其中所述第一神经突触核心位于第一芯片上，并且所述至少一个另外的神经突触核心位于第二芯片上。8.如权利要求7所述的方法，还包括：通过连接所述第一芯片和所述第二芯片的芯片间网络传输多个神经元的触发状态。9.如权利要求8所述的方法，其中，所述芯片间网络包括所述第一芯片的输出端口和所述第二芯片的输入端口。10.如权利要求8所述的方法，其中，所述芯片间网络包括连接到所述第一芯片的输入端口的所述第一芯片的输出端口。11.根据权利要求7至10中任一项所述的方法，其中所述第一和第二芯片位于第一板上。12.根据权利要求7至10中任一项所述的方法，其中，所述第一芯片位于第一板上，并且所述第二芯片位于第二板上，所述第一和第二板连接。13.根据权利要求12所述的方法，其中，包括所述第一板和所述第二板的多个板是分层地布置的，并且其中所述第一板和所述第二板经由分层的路由器相连接。14.一种系统，包括：多个神经突触核心，所述神经突触核心包括多个轴突、多个突触和多个神经元；连接所述多个神经突触核心的第一核心间网络，其中，所述第一个核心间网络适于基本上并行地从第一神经突触传递所述第一神经突触核心的多个神经元的激发状态至所述多个神经突触核心的至少一个另外的神经突触核心。15.如权利要求14所述的系统，其中，所述核间网络包括置换网络、Clos网络或蝶形网络。16.根据权利要求14或15所述的系统，其中...

【专利技术属性】
技术研发人员：D·莫德哈，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US