弹性神经网络制造技术

公开了对输入信号分类的脉冲神经网络。脉冲神经网络包括多个脉冲神经元及将其互连以形成网络的多个突触元件。每个突触元件接收突触输入信号并施加权重以生成突触输出信号，突触元件可配置为调节由每个突触元件施加的权重。每个脉冲神经元适于从突触元件接收突触输出信号，并响应于其生成时空脉冲序列输出信号。脉冲神经网络分成多个子网络，其包括连接以从突触元件子集接收突触输出信号的脉冲神经元子集。子网络适于响应于子网络输入模式信号来生成子网络输出模式信号。此外，每个子网络形成核心阵列中一个或多个核心的部分，每个核心由以硬件或软硬件组合实现的脉冲神经元的可编程网络组成。核心阵列中核心之间的通信通过可编程互连结构布置。

【技术实现步骤摘要】
【国外来华专利技术】弹性神经网络
本公开总体上涉及自动信号识别技术，并且更具体地，涉及用于使用脉冲神经元的硬件弹性的深度学习推理加速器的系统和方法。
技术介绍
自动信号识别(ASR)是指通过识别其组成特征来识别信号。ASR在一系列应用中得到了利用，例如，在语音/声音识别系统中识别说话者的语音和说出的单词，在心电图(ECG)中识别心律不齐，以确定动作受控系统中手势的形状，等等。ASR通常通过表征输入信号的短样本中存在的模式来执行，并且因此准确的模式识别功能对于有效的ASR系统至关重要。测量一些物理量以导出用于ASR系统的输入信号可能需要融合来自多种类型传感器的数据。例如，使用手持输入设备识别手势可能需要融合来自加速度计的数据(用于测量运动)和来自陀螺仪的数据(用于测量取向)。结合来自两个传感器的数据，能够检测三维空间中的手势。通常，数据融合是指从不同的和潜在的异构源收集的数据的集成，以便减少来自那些单独源的数据解释的不确定性。重要的是，在融合过程期间，不同输入信号中的基本特征在融合信号中充分体现。模式识别和融合通常使用微处理器和/或数字信号处理器来执行，这两者都实现了存储的程序架构。对于流数据的分析，该架构本质上效率低下。在单个处理器上，顺序提取和识别模式。这是因为模式提取和识别根据通用的简单的指令集(例如RISC或CISC指令集)实现，从而导致信号样本中每个模式的执行序列都很长。输入信号中的复杂模式需要使用更复杂的信号处理算法，在需要来自模式识别引擎的实时响应的系统中，进一步需要为处理器使用更高的时钟频率。在功率受限的设备(诸如便携式电子设备、可穿戴设备等)中，这是不可行的。此外，由于顺序执行范例，微处理器上的模式识别操作的等待时间和功耗随着模式的复杂性和库的增加而显著增加。输入信号中噪声的存在进一步增加分析的复杂性，并不利地影响性能和效率。数据融合对于微处理器是非本地操作。这意味着在可以融合输入信号或数据流之前，必须先提取它们的信息内容，并且然后再与其它流中的对应内容进行组合。因此，在微处理器实现方式中，用于融合的每个输入信号/数据源由独立的模式识别流水线分别处理，然后由基于规则的框架组合不同的模式识别结果。该方法需要针对每个输入信号或数据流多次调用模式识别基础架构，从而导致功耗增加。此外，用于模式识别的负载存储架构微处理器和数字信号处理器(DSP)的局限性意味着，随着模式复杂度增加，识别这些模式的功耗和等待时间成本也会增加。虽然可以通过增加时钟频率来降低等待时间成本，但这是以进一步增加功耗为代价的。类似地，融合的质量受到关于输入信号执行的处理和ASR的复杂性、融合的信号数量以及微处理器或DSP的计算能力限制。处理的顺序性质降低了基于融合的ASR的吞吐量，因此，随着信号模式的复杂性增加，可以使用微处理器或DSP融合的输入信号的数量减少。已经提出了深层神经网络(DNN)形式的人工神经网络，以替代微处理器实现方式。DNN形成大量机器学习应用程序的基础；从语音和图像识别开始，利用DNN的应用程序数量呈指数级增长，但是这些应用程序存在固有的局限性，主要是在处理大量数据或快速适应不断变化的环境方面。最初，硬件深度网络加速器已经在标准同步数字逻辑上实现。在数字系统的(通常)串行和时分多路复用处理中，无法复制神经网络的高级并行性；相反，实现为模拟计算节点的硬件DNN仿真器的计算原语(其中存储器和处理元件位于同一位置)在速度、大小和功耗方面都提供了显著的改进。在生物神经网络模型中，每个单独的神经元异步地并通过稀疏事件或脉冲通信。在此类基于事件的脉冲神经网络(SNN)中，只有改变状态的神经元才会生成脉冲，并可能触发后续层中的信号处理，从而节省了计算资源。脉冲神经网络(SNN)是为许多不同应用程序实现ASR的一种有前途的方法。SNN以一种或多种精确定时的(电压)脉冲的形式而不是整数或实值矢量的形式对信息进行编码。在模拟和时间域中有效地执行用于推断的计算(即，推断输入信号中某个特征的存在)。因此，SNN通常在硬件中实现为完全定制的混合信号集成电路。除了具有更小的网络规模之外，这还使其能够以比人工神经网络同类产品低几个数量级的能耗来执行推理功能。SNN由通过突触互连的脉冲神经元网络组成，该突触指示脉冲神经元之间的连接强度。该强度表示为权重，该权重减轻了突触前神经元的输出对突触后神经元的输入的影响。通常，这些权重在训练过程中设定，该过程涉及将网络暴露于大量带标签的输入数据，并且然后逐步调节突触的权重，直到实现所需的网络输出为止。依赖于输入信号中的幅度域、时域和频域特征可以被编码为唯一的空间和时间编码的脉冲序列的原理，SNN可以直接应用于模式识别和传感器数据融合。这些序列的生成依赖于脉冲神经元的一个或多个集合的使用，集合是神经元的协作组。每个集合执行特定的信号处理功能，即例如特征编码、调节、滤波、数据融合、分类。每个集合由脉冲神经元的一个或多个互连层组成，这些层之间和内部的连接性遵循特定的拓扑结构。每个集合的大小(神经元的数量)、其连接性(拓扑和突触的数量)及其配置(权重和层数)取决于输入信号的特性，例如动态范围、带宽、时标或输入信号中特征的复杂性。因此，在语音模式匹配系统的情况下使用的集合可能与手写识别系统中使用的集合不同。通常，随着要在输入信号中识别的特征的复杂性增加，处理它们所需的集合的大小也随之增加。脉冲神经网络硬件可以利用脉冲神经元、突触的可配置阵列，这些阵列使用可编程的互连结构连接，从而便于实现任何任意连接拓扑。然而，为了实现较大的集合，基础SNN硬件必须至少具有所需数量的神经元和突触。尽管通过模拟电子电路非常有效地实现了SNN所需的基本操作，但是由于制造过程而导致的微电子电路不可避免的变化会引起其功能特性的失真，例如电阻、电容、增益、时间响应等等。特别是在较小的制造工艺几何尺寸和较低的工作电流的情况下，这些电路越来越容易受到量子效应和外部噪声影响，从而有效地降低了信噪比并限制了处理性能。在驱动器、偏置、编码器/解码器电路在更长的互连上被更多数量的设备共享的大型阵列中，这些不理想的影响会增加。
技术实现思路
为了解决以上讨论的现有技术的缺点，根据本公开的第一方面，提出了一种用于对输入信号进行分类的脉冲神经网络。脉冲神经网络包括多个脉冲神经元和将脉冲神经元互连以形成网络的多个突触元件，其中每个突触元件适于接收突触输入信号并向突触输入信号施加权重以生成突触输出信号，该突触元件可配置为调节由每个突触元件施加的权重。脉冲神经元中的每一个适于从一个或多个突触元件接收一个或多个突触输出信号，并响应于接收的一个或多个突触输出信号而生成时空脉冲序列输出信号。该网络被划分成多个子网络，其中每个子网络包括脉冲神经元的子集，该子集被连接以从突触元件的子集接收突触输出信号。子网络适于响应于施加到子网络的子网络输入模式信号来生成子网络输出模式信号。此外，每个子网络形成核心阵列中一个或多个核心的一部分，每个核心由以硬件或硬件和软件的组合实现的脉冲神经元的可编程网络组成，并且核心阵列中的核本文档来自技高网...

【技术保护点】
1.一种用于对输入信号进行分类的脉冲神经网络，包括多个脉冲神经元和将所述脉冲神经元互连以形成网络的多个突触元件，/n其中，每个突触元件适于接收突触输入信号并向所述突触输入信号施加权重以生成突触输出信号，所述突触元件能够配置为调节每个突触元件施加的权重，以及/n其中，所述脉冲神经元中的每一个适于从一个或多个所述突触元件接收一个或多个所述突触输出信号，并响应于所接收的一个或多个突触输出信号而生成时空脉冲序列输出信号，/n其中，所述网络被划分为多个子网络，/n其中，每个子网络均包括所述脉冲神经元的子集，所述子集被连接以从所述突触元件的子集接收突触输出信号，/n其中，所述子网络适于响应于施加到所述子网络的子网络输入模式信号来生成子网络输出模式信号，/n其中，每个子网络形成核心阵列中一个或多个核心的一部分，每个核心由以硬件或硬件和软件的组合实现的脉冲神经元的可编程网络组成，以及/n其中，所述核心阵列中的核心之间的通信通过可编程互连结构布置。/n

【技术特征摘要】
【国外来华专利技术】20181118 US 62/768,9271.一种用于对输入信号进行分类的脉冲神经网络，包括多个脉冲神经元和将所述脉冲神经元互连以形成网络的多个突触元件，
其中，每个突触元件适于接收突触输入信号并向所述突触输入信号施加权重以生成突触输出信号，所述突触元件能够配置为调节每个突触元件施加的权重，以及
其中，所述脉冲神经元中的每一个适于从一个或多个所述突触元件接收一个或多个所述突触输出信号，并响应于所接收的一个或多个突触输出信号而生成时空脉冲序列输出信号，
其中，所述网络被划分为多个子网络，
其中，每个子网络均包括所述脉冲神经元的子集，所述子集被连接以从所述突触元件的子集接收突触输出信号，
其中，所述子网络适于响应于施加到所述子网络的子网络输入模式信号来生成子网络输出模式信号，
其中，每个子网络形成核心阵列中一个或多个核心的一部分，每个核心由以硬件或硬件和软件的组合实现的脉冲神经元的可编程网络组成，以及
其中，所述核心阵列中的核心之间的通信通过可编程互连结构布置。


2.根据权利要求1所述的脉冲神经网络，其中，所述可编程互连结构包括可交换矩阵。


3.根据权利要求2所述的脉冲神经网络，其中，所述可交换矩阵包括多个路由器，所述多个路由器适于将多个输出信号从所述核心阵列中的第一核心路由到所述核心阵列中的第二核心的多个输入。


4.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述可编程互连结构在所述核心阵列中的核心之间形成分组交换网络。


5.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述可编程互连结构使用地址事件表示。


6.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述可编程互连结构使用同步或异步通信。


7.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述核心阵列在集成电路中实现，并且所述可编程互连结构包括片上网络。


8.根据权利要求7所述的脉冲神经网络，其中，所述片上网络是实时可配置的。


9.根据前述权利要求中任一项所述的脉冲神经网络，其中，针对所述突触元件的学习规则、权重存储机制或通信协议被异构地应用于所述核心阵列的单个核心。


10.根据前述权利要求中任一项所述的脉冲神经网络，其中，针对所述突触元件的学习规则、权重存储机制或通信协议被异构地应用于所述核心阵列中的多个核心。


11.根据前述权利要求中任一项所述的脉冲神经网络，其中，使用学习规则块来实现所述核心阵列中的一个或多个核心的学习规则配置。


12.根据权利要求11所述的脉冲神经网络，其中，使用相同学习规则的核心使用实现所述学习规则的公共学习规则块。


13.根据前述权利要求中任一项所述的脉冲神经网络，其中，学习规则在每个核心内和/或在所述核心阵列中的核心上的分布在运行时是动态可配置的。


14.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述子网络中的一个子网络是用于对所述子网络的输入信号进行分类的分类器的一部分。


15.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述子网络中的一个子网络是用于对所述子网络的输入信号进行分类的分类器集合的一部分。


16.根据前述权利要求中任一项所述的脉冲神经网络，其中，使用随机权重更新来配置所述突触元件的权重。


17.根据前述权利要求中任一项所述的脉冲神经网络，其中，所述突触元件的权重由绑定值绑定，其中，所述绑定值是随机值。


18.一种集成电路，包括在核心阵列中实现的根据前述权利要求中任一项所述的脉冲神经网络。


19.一种将脉冲神经网络划分和映射到核心阵列上的方法，所述脉冲神经网络包括多个脉冲神经元和将所述脉冲神经元互连以形成网络的多个突触元件，
其中，每个突触元件适于接收突触输入信号并向所述突触输入信号施加权重以生成突触输出信号，所述突触元件能够配置为调节每个突触元件施加的权重，以及
其中，所述脉冲神经元中的每一个适于从一个或多个所述突触元件接收一个或多个所述突触输出信号，并响应于所接收的一个或多个突触输出信号而生成时空脉冲序列输出信号，
其中，所述核心阵列包括多个核心，
其中，每个核心由以硬件或硬件和软件的组合实现的脉冲神经元的可编程网络组成，以及
其中，所述核心阵列中的核心之间的通信通过可编程互连结构来布置，
其中，所述方法包括：
将所述网络划分为多个子网络，其中，每个子网络包括脉冲神经元的子集，所述脉冲神经元的子集被连接以从所述突触元件的子集接收突触输出信号，其中，所述子网络适于响应于应用于所述突触元件的子集的子网络输入模式信号而生成来自所述脉冲神经元的子集的子网络输出模式信号，以及
将每个子网络映射到一个或多个核心上。


20.根据权利要求19所述的方法，其中，通过映射方法确定将所述脉冲神经网络划分为在所述一个或多个核心中实现的子网络，
其中，所述映射方法包括约束驱动的划分，
其中，所述约束是链接到每个相应子网络的功能的性能指标。


21.一种脉冲神经网络，包括：
以硬件或硬件和软件的组合实现的多个脉冲神经元，以及将所述脉冲神经元互连以形成网络的多个突触元件，
其中，每个突触元件适于接收突触输入信号并向所述突触输入信号施加权重以生成突触输出信号，所述突触元件能够配置为调节每个突触元件施加的权重，以及
其中，所述脉冲神经元中的每一个适于从一个或多个所述突触元件接收一个或多个所述突触输出信号，并响应于所接收的一个或多个突触输出信号而生成时空脉冲序列输出信号，
其中，学习规则、权重存储机制和/或通信协议异构地应用在所述脉冲神经网络中的神经元和/或突触元件上。


22.一种脉冲神经网络，包括脉冲神经元和连接到所述脉冲神经元的突触元件，
其中，所述突触元件包括适于接收突触输入信号的第一受体和第二受体，
其中，所述第一受体和所述第二受体基于所述突触输入信号分别生成第一受体信号和第二受体信号，
其中，所述突触元件向所述第一受体信号施加权重以生成突触输出信号，
所述突触元件能够配置为至少基于所述第二受体信号来调节由所述突触元件施加的权重，以及
其中，所述脉冲神经元适于接收来自所述突触元件的突触输出信号，并且至少响应于所接收的突触输出信号来生成时空脉冲序列输出信号。


23.根据权利要求22所述的脉冲神经网络，其中，所述神经元发出控制信号，其中，所述控制信号与所述第二受体信号一起调节由所述突触元件施加的权重。


24.根据权利要求23所述的脉冲神经网络，其中，所述控制信号是反向传播信号。


25.根据权利要求23或24所述的脉冲神经网络，其中，所述神经元包括树突、轴突和体细胞，其中，所述控制信号源自所述神经元的树突和/或轴突和/或体细胞。


26.根据权利要求...

【专利技术属性】
技术研发人员：A·齐亚约，S·S·库马尔，
申请(专利权)人：因纳特拉纳米系统有限公司，
类型：发明
国别省市：荷兰;NL