可变历元尖峰序列滤波制造技术

可变历元尖峰序列滤波。在本文中描述了用于可变历元尖峰序列滤波的系统和技术。可以针对历元启动尖峰踪迹存储设备。此处，尖峰踪迹存储设备被包括在神经形态硬件的神经单元中。在历元期间可以在神经单元处接收多个尖峰。可以针对多个尖峰中的每个递增尖峰踪迹存储设备以产生接收到的尖峰的计数。可以获得历元学习事件，并且可以响应于历元学习事件使用尖峰踪迹存储设备中的接收到的尖峰的计数产生尖峰踪迹。可以使用尖峰踪迹修改神经单元的网络参数。

【技术实现步骤摘要】
可变历元尖峰序列滤波
本公开一般地涉及数字信号处理，并且更特别地涉及尖峰神经网络中的尖峰序列滤波，其中尖峰序列滤波对大范围的学习历元（epoch）持续时间是容忍的。一些示例适用于使用数字神经形态核心的神经形态计算。
技术介绍
神经形态处理器是被构造成模仿大脑及其底层架构（特别是其神经元和在神经元之间的互连）的某些方面的处理器，尽管这样的处理器可能与其生物对应物有偏差。神经形态处理器可以由经由诸如总线或路由设备之类的网络架构互连的许多神经形态（神经网络）核心组成，所述网络架构可以引导核心之间的通信。核心的网络可以经由从核心发送到核心的短分组化尖峰消息通信。每个核心可以实现一定数量的原始非线性时间计算单元（例如神经元）。当神经元的激活超过某阈值水平时其可以生成尖峰消息，所述尖峰消息被传播到包含在目的地核心中的扇出（fan-out）神经元的集合。网络然后可以将尖峰消息分发到目的地神经元，并且那些神经元继而以瞬时的、时间相关的方式更新它们的激活。可以针对每个神经元维护表示神经元的激活水平的一个或多个状态变量。在典型的操作中，响应于在输入或输出处的尖峰的出现，状态变量经历阶跃改变，其以指数方式作为时间的函数衰减。历史上，已经使用模拟架构对神经元建模，这非常适合于对指数衰减的状态变量建模。在数字神经形态架构中，指数衰减函数的建模提出了多个计算挑战。附图说明在不一定按比例绘制的附图中，相同的标号可以描述在不同视图中的类似部件。具有不同字母后缀的相同的标号可以表示类似部件的不同实例。附图通常通过示例的方式而不是通过限制的方式图示了在本文档中讨论的各种实施例。图1是根据实施例的模型神经核心结构的高级图。图2A是图示根据实施例的多室神经元的配置和树突累积（dendriticaccumulation）过程的图解图。图2B是示出根据实施例的多个室的状态结构的图解图。图3A是图示根据实施例的根据简单神经元模型的树突室的状态动态的框图。图3B是图示根据实施例的根据多室神经元模型的树突室的状态动态和树突累积过程的框图。图4是图示根据实施例的根据示例使用案例的作为时间的函数的踪迹变量的简化时序图。图5是图示根据实施例的用于可变历元尖峰序列滤波的部件交互的框图。图6图示了根据实施例的用于可变历元尖峰序列滤波的方法的示例的流程图。图7是图示可以在其上实现一个或多个实施例的机器的示例的框图。图8是根据本专利技术的一个实施例的寄存器架构的框图。图9是图示根据本专利技术的实施例的示例性有序流水线和示例性寄存器重命名、乱序发布/执行流水线两者的框图。图10是图示根据本专利技术的实施例的要被包括在处理器中的有序架构核心的示例性实施例以及示例性寄存器重命名、乱序发布/执行架构核心两者的框图。图11A-B图示了更具体的示例性有序核心架构的框图，其中核心将是芯片中的若干个逻辑块（包括相同类型和/或不同类型的其他核心）中的一个。图12是根据本专利技术的实施例的处理器的框图，所述处理器可以具有多于一个核心，可以具有集成的存储器控制器，并且可以具有集成的图形。图13-16是示例性计算机架构的框图。图17是根据本专利技术的实施例的对比用于将源指令集中的二进制指令转换成目标指令集中的二进制指令的软件指令转换器的使用的框图。具体实施方式许多生物学上启发的神经网络学习算法利用经过滤波的尖峰序列或“尖峰踪迹”作为描述随时间的网络参数中的改变的等式中的动态变量。这些踪迹变量通常跨滤波时间常数的范围。具有小的时间常数的踪迹测量在邻近的尖峰事件之间的精确时间偏移，而具有大的时间常数的踪迹测量长期平均尖峰活动速率。通常，已经经由应用在尖峰事件之间的指数衰减来处置尖峰踪迹。例如，当接收到第一尖峰时，与最后的尖峰的时间偏移或其他时间参考被记录在临时存储设备中。当接收到随后的尖峰时，偏移被用来衰减第一尖峰以产生踪迹。尖峰踪迹然后被用作第二尖峰的衰减被添加到其的基线。为了限制临时存储设备的提供，通常支持某最大偏移时间，并且这定义了学习历元。将至少基于尖峰到达时间偏移在每个学习历元事件上更新踪迹值，并且将在每个学习历元上评估网络的学习规则。以该方式，可以支持短的或长的学习历元持续时间。然而，对于低比特精度踪迹，归因于组合若干个尖峰事件时的舍入误差，该技术仅支持具有可接受的功率或性能效率和准确性的小的时间常数踪迹。为了解决该问题，可以通过调节尖峰间的值和修改指数衰减函数来扩展纯粹基于尖峰的学习架构，以不同地解决单尖峰事件和多尖峰事件。例如，在多个尖峰情形中，临时尖峰存储设备可以记录尖峰的计数而不是自从事件以来的时间偏移。当跨这些若干个尖峰执行单个指数衰减操作时，该计数可以被用来重建或建模尖峰到达。在这样做时，诸如舍入误差之类的误差被减小并且更少计算被执行，导致更高的准确性和效率。然而，对于相关历元期间的单个尖峰，存储定时偏移并且将该定时偏移用于指数衰减在没有附加计算的情况下提供了高准确性。因此，这些增强以与基线实现相比的边际额外实现成本大大地改进了大时间常数踪迹（也被称作基于速率的踪迹）的效率和准确性。图1-4图示了神经形态硬件（诸如神经核心的示例）以及其操作——例如以基线模式，其中每个尖峰被指数衰减以更新尖峰踪迹。图5和6图示了对这些基线示例的修改，由此对尖峰计数并且然后在指数衰减操作中使用该计数以更新尖峰踪迹。图1是根据实施例的模型神经核心结构的高级图。神经核心145可以在具有若干个其他神经核心的管芯上以形成神经芯片150。还可以将若干个神经芯片封装并且联网在一起以形成神经形态硬件155，所述神经形态硬件155可以被包括在任何数量的设备中，所述设备诸如服务器、移动设备、传感器、致动器等。图示的神经核心结构在功能上对生物神经元的行为建模。在对突触（例如由突触变量存储器105建模）的输入处提供信号（例如进入尖峰），所述突触可以在核心内包括去往具有适当的权重和延迟偏移的其他树突结构的扇出。信号可以由突触变量存储器105修改（例如突触权重可以被应用于寻址相应的突触的尖峰），并且可以被使得对神经元模型110可用。神经元模型110可以包括用于对树突活动和胞体（soma）活动建模的多个部件。在示例中，结构可以包括树突累加器和胞体状态存储。神经元模型110被配置成基于加权尖峰状态产生输出尖峰（例如经由轴突去往一个或若干个目的地核心的外出尖峰）。在示例中，神经形态计算系统可以采用尖峰定时相关可塑性（STDP）学习。此处，神经网络核心的网络经由从核心发送到核心的短分组化尖峰消息通信。每个核心实现一定数量的神经元，所述神经元作为原始非线性时间计算单元操作。当神经元的激活超过某阈值水平时其生成尖峰消息，所述尖峰消息被传播到包含在目的地核心中的扇出神经元的集合。在管理其激活水平时，神经元可以维护响应于尖峰而递增的踪迹变量（例如作为脉冲响应）。在踪迹变量上的操作可以对多个时间相关特征建模。例如跟随尖峰，踪迹变量可以以指数方式衰减。被建模为指数函数的该指数衰减可以持续达多个时间步长，在这期间附加的尖峰可能或者可能不到达。以下讨论踪迹变量的其他示例使用（例如尖峰踪迹存储设备）。为了促进尖峰踪迹管理，存储设备115可以记录临时进入尖峰信息，并且存储设备120记录临时外出尖峰信息。此外，持久踪迹变量存储设备140随时间维本文档来自技高网...

【技术保护点】
1.一种用于可变历元尖峰序列滤波的系统，所述系统包括：多个神经芯片，每个神经芯片包括多个神经核心，多个神经核心中的神经核心包括：尖峰踪迹存储设备；踪迹衰减建模器电路系统，其用于响应于历元学习事件使用尖峰踪迹存储设备中的接收到的尖峰的计数产生尖峰踪迹；以及处理电路系统，其用于：在历元学习事件对应于其的历元期间在神经核心处接收多个尖峰；针对多个尖峰中的每个递增尖峰踪迹存储设备以产生接收到的尖峰的计数；以及响应于历元学习事件的发生，使用尖峰踪迹修改神经核心的网络参数；以及互连，其用于提供从神经芯片到彼此以及从神经芯片到在系统的外部的设备的通信。

【技术特征摘要】
2017.07.31 US 15/6646141.一种用于可变历元尖峰序列滤波的系统，所述系统包括：多个神经芯片，每个神经芯片包括多个神经核心，多个神经核心中的神经核心包括：尖峰踪迹存储设备；踪迹衰减建模器电路系统，其用于响应于历元学习事件使用尖峰踪迹存储设备中的接收到的尖峰的计数产生尖峰踪迹；以及处理电路系统，其用于：在历元学习事件对应于其的历元期间在神经核心处接收多个尖峰；针对多个尖峰中的每个递增尖峰踪迹存储设备以产生接收到的尖峰的计数；以及响应于历元学习事件的发生，使用尖峰踪迹修改神经核心的网络参数；以及互连，其用于提供从神经芯片到彼此以及从神经芯片到在系统的外部的设备的通信。2.如权利要求1所述的系统，其中，为了使用接收到的尖峰的计数产生尖峰踪迹，踪迹衰减建模器电路系统将接收到的尖峰的计数按常数缩放。3.如权利要求2所述的系统，其中，所述常数是最小尖峰间间隔。4.如权利要求2所述的系统，其中，为了使用接收到的尖峰的计数产生尖峰踪迹，踪迹衰减建模器电路系统将缩放的接收到的尖峰的计数乘以二的SHIFT加一次幂，其中SHIFT是由尖峰踪迹存储设备的宽度减去最大缩放的接收到的尖峰的计数的宽度来定义的常数。5.如权利要求2所述的系统，其中，为了使用接收到的尖峰的计数产生尖峰踪迹，踪迹衰减建模器电路系统将单个指数衰减应用于先前的历元踪迹值以获得尖峰踪迹。6.如权利要求5所述的系统，其中，通过以下来计算单个指数衰减：X[i]=expDecay(Tau,Tepoch,X[i-1]-Impulse)+Impulse，其中，X[i]是尖峰踪迹，X[i-1]是先前的历元踪迹，Impulse是缩放的接收到的尖峰的计数，Tepoch是历元中的时间步长的数量，并且Tau是常数。7.如权利要求6所述的系统，其中，Tepoch是二的幂。8.如权利要求1所述的系统，其中，处理电路系统被进一步用于：在第二历元期间接收单个尖峰；将自从历元以来的尖峰到达存储在尖峰踪迹存储设备中；获得针对第二历元的第二历元学习事件；以及使用第二尖峰踪迹修改神经核心的网络参数；并且其中，踪迹衰减建模器电路系统被进一步用于响应于第二历元学习事件使用尖峰踪迹存储设备中的自从历元以来的尖峰到达产生第二尖峰踪迹。9.如权利要求8所述的系统，其中，为了响应于第二历元学习事件使用自从历元以来的尖峰到达产生第二尖峰踪迹，踪迹衰减建模器电路系统基于自从历元以来的尖峰到达应用指数衰减。10.如权利要求9所述的系统，其中，尖峰踪迹存储设备包括指示在给定的历元期间单个尖峰还是多个尖峰到达的比特，并且其中由所述比特来控制作为接收到的尖峰的计数或者自从历元以来的尖峰到达的两者之一的尖峰踪迹存储设备的指数衰减。11.如权利要求1所述的系统，其中，历元学习事件是历元的末尾。12.如权利要求1所述的系统，其中，尖峰踪迹存储设备是神经核心的寄存器。13.如权利要求1所述的系统，其中，为了使用尖峰踪迹修...

【专利技术属性】
技术研发人员：MI戴维斯，林宗翰，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US