用于存储和生成连接性信息的神经形态电路制造技术

提供了一种神经形态计算系统，包括：突触核心；以及与突触核心耦合的突触前神经元、第一突触后神经元和第二突触后神经元，其中突触核心用于：接收来自突触前神经元的请求，并且响应于该请求生成第一突触后神经元的第一地址和第二突触后神经元的第二地址，其中第一地址和第二地址在接收到该请求之前未被存储在突触核心中。

Neural Morphological Circuits for Storing and Generating Connectivity Information

【技术实现步骤摘要】
【国外来华专利技术】用于存储和生成连接性信息的神经形态电路
技术介绍
在神经形态计算系统(neuromorphiccomputingsystem)中，可以有数百、数千或者甚至数百万的神经元(neuron)，其中神经元可以连接到相应的多个神经元。例如，第一神经元可以连接到几个其他神经元、数百个其他神经元或者甚至数千个其他神经元。神经形态计算系统中的神经元之间的连接可以是稀疏且随机的(例如，不遵循任何特定的模式)。存储神经形态计算系统中的所有神经元的连接性信息可能要求大量的存储空间。附图说明通过以下给出的详细描述并且通过本公开的各种实施例的附图将更充分理解本公开的实施例，然而详细描述和附图不应当被理解为将本公开限制到特定实施例，而只是用于说明和理解的。图1示意性示出了根据一些实施例的包括互连神经元的网络的神经形态计算系统。图2A、图2B和图2C更详细地示意性示出了根据一些实施例的图1的神经形态计算系统。图3示意性示出了根据一些实施例的神经形态计算系统的突触核心，其中突触核心将前向尖峰从突触前神经元发送到各种突触后神经元。图4示意性示出了根据一些实施例的从突触后神经元向突触前神经元发送后向尖峰。图5示意性示出了根据一些实施例的神经形态计算系统的突触核心的示例实现方式。图6示意性示出了根据一些实施例的其中包括突触核心和神经元的计算机系统或SoC(片上系统)。具体实施方式在一些实施例中，神经形态计算系统中的神经元之间的连接可以是稀疏且随机的。由于神经形态计算系统中的神经元的巨大数目(例如，数千或者甚至数百万)，存储关于这些神经元之间的连接性的信息可能要求大量的存储器空间。本公开的教导通过例如不在神经形态计算系统中存储连接性信息的至少一部分来减轻此问题。更确切地说，这种连接性信息是在需要时即时生成的，从而节省存储器空间。例如，突触前神经元(pre-synapticneuron)可以经由突触核心(synapsecore)向多个突触后神经元(post-synapticneuron)发送尖峰(spike)。传统上，对于特定的突触前神经元，突触核心可以存储所有突触后神经元的地址，这可消耗传统系统中的很大存储空间。与之不同，在一些实施例中，本文公开的突触核心可以存储种子数(seednumber)，这例如与存储所有突触后神经元的地址相比消耗更少的存储空间。当突触核心要从突触前神经元向多个突触后神经元发送尖峰时，突触核心从种子数生成(例如，即时生成)多个突触后神经元的地址。例如，突触核心使用有限域数学函数(例如，伽罗瓦域函数)来从种子数映射多个突触后神经元的地址。此外，当来自突触前神经元的尖峰要被发送到多个突触后神经元时，到相应突触后神经元的尖峰可以由相应的突触权重加权。在一些实施例中，突触权重可以是表示更高(或更低)突触权重分辨率的多比特数字和/或表示刺激性和抑制性行为(例如，像在一些哺乳动物大脑中看到的那种)的带符号数字(例如，正的或负的)。这要求存储与该突触前神经元和该多个突触后神经元相对应的多个突触权重。在一些实施例中，存储器被用于以例如要求更少存储空间的紧凑方式存储突触权重。此外，在一些实施例中，存储突触权重的存储器以独特方式与映射函数交互，以使得由映射函数生成的每个突触后神经元地址可以与相应突触权重匹配，并且突触后神经元地址和突触权重的组合可以与尖峰一起被发送到相应的突触后神经元。各种实施例有许多技术效果。例如，在需要时从种子数实时生成突触后神经元地址，而不是在突触核心中实际存储所有突触后神经元地址，可以显著降低突触核心的存储空间要求。类似地，以存储高效的方式存储突触权重也可以降低突触核心的存储空间要求。这可以获得更小且更快的突触核心，这最终可以获得更快且更小的神经形态计算系统。其他技术效果将从各种实施例和附图中清楚显现。在接下来的描述中，论述了许多细节以提供对本公开的实施例的更透彻说明。然而，本领域技术人员将会清楚，没有这些具体细节也可以实现本公开的实施例。在其他情况下，以框图形式而不是详细示出公知的结构和设备，以避免模糊本公开的实施例。注意，在实施例的相应附图中，信号以线条表示。一些线条可能更粗，以指示更多构成信号路径，和/或在一端或多端具有箭头，以指示主信息流方向。这种指示并不打算是限制性的。更确切地说，这些线条与一个或多个示范性实施例被联合使用来帮助更容易理解电路或逻辑单元。由设计需要或偏好决定的任何表示的信号可以实际上包括可以在任一方向上行进并且可以利用任何适当类型的信号方案实现的一个或多个信号。在整个说明书各处，以及在权利要求中，术语“连接”的意思是直接连接，例如连接的事物之间的电连接、机械连接或磁连接，没有任何中间设备。术语“耦合”的意思是直接或间接连接，例如连接的事物之间的直接电连接、机械连接或磁连接，或者通过一个或多个无源或有源中间设备的间接连接。术语“电路”或“模块”可以指被布置为与彼此合作来提供期望的功能的一个或多个无源和/或有源组件。术语“信号”可以指至少一个电流信号、电压信号、磁信号或数据/时钟信号。“一”和“该”的含义包括多数指代。“在…中”的含义包括“在…中”和“在…上”。术语“基本上”、“接近”、“大致”、“近似”和“大约”一般指在目标值的+/-10％内。除非另有指明，否则使用序数形容词“第一”、“第二”和“第三”等等来描述共同对象只是表明相似对象的不同实例被引用，而并不打算暗示这样描述的对象必须在时间上、空间上、排名上或者以任何其他方式处于给定的序列中。对于本公开而言，短语“A和/或B”和“A或B”的意思是(A)、(B)或者(A和B)。对于本公开而言，短语“A、B和/或C”的意思是(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或者(A、B和C)。说明书中和权利要求中的术语“左”、“右”、“前”、“后”、“顶”、“底”、“上”、“下”等等(如果有的话)是用于描述性目的的，而并不一定用于描述永久的相对位置。图1示意性示出了根据一些实施例的包括互连神经元(例如，神经元Na1、Na2等)的网络的神经形态计算系统100(以下称为“系统100”)。在示例中，术语“神经形态”指的是这样的电子电路：其被设计来模拟存在于神经系统中的神经生物学体系结构，以例如克服机器学习系统中的并行计算瓶颈。这些系统，例如图1的系统100，可以被设计为处理诸如图像和声音的感官数据并且以未被具体编程到系统中的方式响应数据中的变化。神经形态计算系统中的“神经元”是计算子块。对于本公开而言，神经元也被称为计算节点、计算块、计算子块、运算节点、节点、神经元节点，等等。神经元群组或神经元核心表示神经形态计算系统(例如系统100)中的核心计算块。在一些实施例中，系统100包括三个神经元群组或神经元核心102a、102b和102c(统称为核心102)，在图1中利用虚线图示。核心102例如包括一组神经元。虽然图1示出了系统100只包括三个核心，但核心的这种数目只是示例，并且系统100有可能包括更大数目的核心，例如，数十、数百、数千或者甚至数百万个这种核心。在一些实施例中，每个核心102包括相应的多个神经元。例如，核心102a包括神经元Na1,…,Na6(统称为神经元Na)，核心102b包括神经元Nb1,…,Nb6(统称为神经元N本文档来自技高网...

【技术保护点】
1.一种神经形态计算系统，包括：突触核心；以及与所述突触核心耦合的突触前神经元、第一突触后神经元和第二突触后神经元，其中，所述突触核心用于：接收来自所述突触前神经元的请求，并且响应于所述请求生成所述第一突触后神经元的第一地址和所述第二突触后神经元的第二地址，其中，所述第一地址和所述第二地址在接收到所述请求之前未被存储在所述突触核心中。

【技术特征摘要】
【国外来华专利技术】2016.12.28 US 15/392,4071.一种神经形态计算系统，包括：突触核心；以及与所述突触核心耦合的突触前神经元、第一突触后神经元和第二突触后神经元，其中，所述突触核心用于：接收来自所述突触前神经元的请求，并且响应于所述请求生成所述第一突触后神经元的第一地址和所述第二突触后神经元的第二地址，其中，所述第一地址和所述第二地址在接收到所述请求之前未被存储在所述突触核心中。2.如权利要求1所述的神经形态计算系统，其中，所述突触核心用于：(i)向所述第一突触后神经元的第一地址发送第一加权尖峰，并且(ii)向所述第二突触后神经元的第二地址发送第二加权尖峰。3.如权利要求1所述的神经形态计算系统，其中，所述突触核心通过以下操作来生成所述第一地址和所述第二地址：向第一种子数应用有限域数学函数以生成所述第一地址；以及向第二种子数应用所述有限域数学函数以生成所述第二地址。4.如权利要求1所述的神经形态计算系统，其中，所述突触核心通过以下操作来生成所述第一地址和所述第二地址：向第一种子数应用有限域数学函数以生成所述第一地址和所述第二地址。5.如权利要求1所述的神经形态计算系统，其中，所述突触核心通过以下操作来生成所述第一地址：向种子数应用有限域数学函数以生成所述第一地址的最低有效位(LSB)；访问存储以检索所述第一地址的最高有效位(MSB)；以及基于所述第一地址的LSB和所述第一地址的MSB来生成第一地址。6.如权利要求1所述的神经形态计算系统，其中，所述第一突触后神经元被包括在所述神经形态计算系统的第一核心中，并且其中，所述突触核心通过以下操作来生成所述第一地址：向种子数应用伽罗瓦域函数以生成所述第一突触后神经元在所述第一核心内的标识；访问存储以检索所述第一核心的标识；以及基于所述第一突触后神经元的标识和所述第一核心的标识来生成所述第一地址。7.如权利要求1所述的神经形态计算系统，其中，所述突触核心用于：将第一权重与第一尖峰相关联以生成第一加权尖峰；并且将第二权重与第二尖峰相关联以生成第二加权尖峰。8.如权利要求7所述的神经形态计算系统，还包括：存储器，用于存储所述第一权重和所述第二权重；以及一个或多个寄存器，用于存储多个种子数，其中，所述第一地址和所述第二地址是基于所述多个种子数中的一个或多个种子数生成的。9.如权利要求8所述的神经形态计算系统，还包括：更新所述存储器中的第一权重和第二权重的电路。10.一种神经形态计算系统的突触核心，所述突触核心包括：映射逻辑，用于(i)接收请求，所述请求包括生成所述请求的突触前神经元的标识，(ii)基于所述突触前神经元的标识访问种子数，并且(iii)将所述种子数映射到包括在所述神经形态计算系统的第一核心中的突触后神经元的标识；以及第一存储，用于提供所述第...

【专利技术属性】
技术研发人员：H·E·辛斯比尔，G·陈，R·库马尔，P·C·克纳格，R·K·克里希纳穆尔西，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US