本公开涉及执行存储器内操作的尖峰神经网络(SNN)的流水线操作。为了模仿生物神经网络对计算机实施的SNN进行建模，本公开中的架构涉及用于存储入站尖峰消息、突触连接数据和突触连接参数(例如，状态)的不同存储器区段。含有突触连接数据的所述存储器区段用以识别匹配的入站尖峰消息。同时，可存取含有突触连接参数的所述存储器区段以执行各种神经形态计算、突触可塑性和出站尖峰消息产生。突触可塑性和出站尖峰消息产生。突触可塑性和出站尖峰消息产生。
【技术实现步骤摘要】
【国外来华专利技术】尖峰神经网络中存储器存取期间的流水线尖峰
[0001]相关申请
[0002]本申请要求2020年8月27日提交且名称为“尖峰神经网络中存储器存取期间的流水线尖峰(PIPELINING SPIKES DURING MEMORY ACCESS IN SPIKING NEURAL NETWORKS)”的美国专利申请第17/005,040号的优先权，其全部公开内容由此以引用的方式并入本文中。
技术介绍
[0003]尖峰神经网络(SNN)为生物神经网络(BNN)的数学模型。BNN由使用尖峰彼此通信的互连神经元组成。神经元基于从连接的神经元输入到其中的其它尖峰产生尖峰。称为突触的神经元到神经元的不同之处在于连接强度。根据所产生的(突触后)尖峰的突触强度或权重，入站尖峰对其具有不同贡献。
[0004]BNN通过使用从神经元行进到神经元的尖峰来处理信息。BNN通过添加新突触连接、移除突触连接、改变突触连接的强度或通过改变突触连接中的延迟(例如，传导属性)来学习。举例来说，个人学习演奏新乐器可能会随着时间的推移改变与运动技能相关的突触连接。
[0005]SNN通过模拟神经元、突触和BNN的其它元素且将尖峰引入到数学神经网络中来对BNN进行建模。SNN可编码为在数个处理器上执行以模拟在神经网络中传输的尖峰。果蝇约有250,000个神经元且每个神经元约有80个突触，而人脑约有860亿个神经元，且每个神经元约有1700个突触。因此，由于快速处理尖峰的计算资源的需求显著地增加，因此扩展SNN具有挑战性。
附图说明
[0006]参考附图可更好地理解本公开的许多方面。图式中的组件不一定按比例绘制，而是将重点放在清楚地说明本公开的原理上。此外，在图式中，相同的参考标号在若干视图中表示对应的部分。
[0007]图1为描绘根据各种实施例的SNN系统的尖峰神经网络(SNN)架构的实例。
[0008]图2为根据各种实施例的SNN系统内传送的尖峰消息的图式。
[0009]图3为根据各种实施例的耦合到SNN系统内的网状架构的节点的图式。
[0010]图4为根据各种实施例的SNN系统内的节点的存储器的图式。
[0011]图5为说明根据各种实施例的SNN系统内的节点的功能性和结构的图式。
[0012]图6为说明根据各种实施例的SNN系统内的节点的并行处理的图式。
[0013]图7为说明根据各种实施例的SNN系统内的节点执行的操作的不同实例的流程图。
[0014]图8说明根据各种实施例的包含作为组件的SNN系统的联网系统的实例。
具体实施方式
[0015]本公开涉及一种用于实施尖峰神经网络(SNN)的存储器架构。根据实施例，存储器
架构使用配置为“节点”的专用存储器装置。节点表示神经元群组。节点可经由数字光纤耦合在一起以支持大量神经元，进而支持高效可扩展性。本公开涉及实施SNN的存储器装置的流水线架构。节点的存储器部分被分成不同区段以处置处理尖峰的不同阶段。这允许同时存取不同存储器部分以实施SNN的流水线级(pipeline stage)。
[0016]举例来说，节点的第一存储器区段处理入站尖峰。存取节点的第二存储器区段以识别特定尖峰的相关突触连接。可执行搜索和匹配操作以识别相关突触连接。节点的第三存储器区段存储对每一神经元和/或突触连接进行建模的参数。当识别突触连接时，存取第三存储器区段，同时执行突触电流计算、膜电势计算和与神经元和/或突触连接的属性相关的其它计算。具体来说，在BNN中，尖峰不仅用于处理输入和控制输出，尖峰还随时间推移引起神经网络的改变，使得神经网络进行学习。反映神经元和/或突触连接的属性的参数与其它操作并行地连续更新。通过使用例如这些参数执行各种神经形态计算来确定SNN的改变。
[0017]另外，在不同时间步长中执行尖峰的处理以实施流水线架构。在BNN中，基于跨越神经网络的尖峰中的通信的时间延迟来处理信息。换句话说，信息至少部分地由突触连接的权重和延迟编码，这是由神经元彼此连接的方式诱导的。根据实施例，流水线架构追踪和管理与每一突触连接相关联的强度和延迟，且支持尖峰相对于每个时间步长的移动。举例来说，流水线架构使用延迟桶以对尖峰进行优先级排序，使得在高延迟尖峰之前处理低延迟尖峰。
[0018]图1为描绘根据各种实施例的SNN系统的尖峰神经网络(SNN)架构的实例。SNN架构由多个节点100构成。节点100可被描述为执行存储器内处理以实施SNN的存储器装置。对于存储器内处理SNN，架构为使用计算机架构技术和构建节点100提供SNN功能性的可扩展系统。节点100可为实施为集成电路的专用存储器装置。节点100可为半导体芯片或裸片或裸片堆叠。
[0019]节点100可包含一或多个存储器阵列103。存储器阵列103包括多个行和列并且可在行
‑
列大小方面进行界定。图1的实例展示存储器阵列103具有标记为r1至rn的行和标记为c1至cn的列。在每一行和列相交点处为配置成存储值的存储器单元。举例来说，数据阵列可含有如下四个元素：[A、B、C、D]，其中第一元素为A，第二元素为B，第三元素为C，且第四元素为D。数据阵列[A、B、C、D]可存储在存储器阵列103中，使得数据阵列的每一元素存储在对应存储器单元中。举例来说，元素A可存储在单元(r1，c1)中，元素B可存储于单元(r1，c2)中，元素C可存储于单元(r1，c3)中，且元素D可存储于单元(r1，c4)中。因此，在此实例中，数据阵列[A、B、C、D]沿着第一行存储且占据前四列。这被称作“位并行”配置。作为另一实例，数据阵列[A，B，C，D]可沿着占据前四行的第一列存储。此处，元素A可存储在单元(r1，c1)中，元素B可存储在单元(r2，c1)中，元素C可存储在单元(r3，c1)中，且元素D可存储在单元(r4，c1)中。这被称作“位串行”配置。每一元素[A、B、C、D]可为二进制数字(例如，零或1，或高值和低值)、离散值(例如，量化值、有限数、整数)或模拟值(例如，连续数、无理数)。因此，存储器阵列103为用于将数据存储为可由行和列寻址的多个阵列元素的硬件组件。
[0020]除了存储数据阵列[A、B、C、D]的纯位并行和纯位串行方式之外，还可以混合方式存储数据阵列。举例来说，元素A和B可存储在第一行中且元素C和D可存储在第二行中，使得A和C存储在第一列上，但C和D存储在第二列上。因此，A与B沿行对准，且C与D沿行对准。然而，A与C沿列对准，且B与D沿列对准。此外，A和C不需要沿行相邻，且B和D不需要沿行相邻。
并且，A和C不需要沿列相邻，且B和D不需要沿列相邻。因此，在各种实施例中，涵盖位串行和位并行布置的组合。
[0021]根据实施例，节点100可为电阻式随机存取存储器(ReRAM)、3D交叉点(3DXP)，或实施电阻式存储器单元或实际上可提供弯曲或调制其电导的存储器单元的其它存储器装置。此类单元可为二极管、包含浮动增益和替换栅极晶体管的晶体管等。举例来说本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种系统，其包括：第一存储器区段，其配置成将至少一个尖峰消息存储在至少一个群组中；第二存储器区段，其配置成存储指示多个突触连接的数据，每一突触连接与源神经元和至少一个目标神经元相关联；第三存储器区段，其配置成存储每一突触连接的突触连接状态和每一神经元的神经元状态；逻辑，其配置成在所述第二存储器区段中搜索尖峰消息的至少一部分与第一突触连接之间的匹配；且所述逻辑配置成与搜索所述尖峰消息的至少一部分与额外突触连接之间的额外匹配并行地使用存储在所述第三存储器区段中的所述第一突触连接的所述突触连接状态或所述第一神经元的所述神经元状态中的至少一个来执行神经形态操作。2.根据权利要求1所述的系统，其中根据时间延迟值、突触连接或神经元标识符中的至少一个将所述至少一个尖峰消息分配给对应尖峰群组。3.根据权利要求1所述的系统，其中所述逻辑配置成通过将所述尖峰消息中所含有的源神经元标识符的位模式与突触连接标识符的位模式进行比较来搜索所述匹配以识别所述第一突触连接。4.根据权利要求1所述的系统，其中所述搜索所述匹配包括识别存储所述第一突触连接的第一突触连接标识符的至少一部分的位线，其中所述位线映射到所述第三存储器区段的配置成存储所述第一突触连接的所述突触连接状态的对应部分。5.根据权利要求1所述的系统，其进一步包括配置成产生指示所述匹配的位掩码的感测放大器阵列。6.根据权利要求1所述的系统，其中所述逻辑配置成响应于在所述第一神经元的突触连接上执行整合操作而计算所述第一神经元的所述神经元状态的至少一部分。7.根据权利要求6所述的系统，其中所述逻辑配置成将所述第一神经元的所述神经元状态存储在所述第三存储器区段中。8.根据权利要求6所述的系统，其中所述逻辑配置成通过与搜索所述尖峰消息与所述额外突触连接之间的所述额外匹配并行地存取所述第三存储器区段来计算所述第一神经元的所述神经元状态和所述第一突触连接的突触连接状态。9.根据权利要求1所述的系统，其中所述逻辑配置成通过并行地激活所述第二存储器区段的字线群组且并行地激活所述第二存储器区段的位线群组来搜索所述匹配。10.根据权利要求1所述的系统，其中所述逻辑、所述第一存储器区段、所述第二存储器区段和所述第三存储器区段集成到存储器装置中，所述存储器装置配置为与实施尖峰神经网络的多个其它节点介接的节点。11.根据权利要求1所述的系统，其中所述神经形态操作包括：确定与所述第一突触连接相关联的突触电流；确定所述第一突触连接的由长时间抑制(LTD)引起的改变；及确定所述第一突触连接的由长时间增强(LTP)引起的改变，其中在单一时间步长中更新所述突触连接状态。12.一种系统，其包括：输入过滤器，其配置成接收尖峰消息，所述尖峰消息包括源神经元标识符；
第一存储器区段，其配置成存储指示多个突触连接的数据，每一突触连接...
【专利技术属性】
技术研发人员：D，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。