用于解码具有连续突触可塑性的脉冲储层的系统和方法技术方案

描述了一种用于即使在脉冲储层具有连续突触可塑性时也解码脉冲储层的系统。该系统使用一组训练图案来训练具有由脉冲神经元组成的脉冲储层的神经网络。对于一组测试图案P，估计测试图案持续时间d，并且每个测试图案被呈现给脉冲储层d/P秒持续时间。经由读出神经元生成来自脉冲储层的输出脉冲。测量输出脉冲，并且使用该测量结果计算激发率代码，每个激发率代码对应于一组测试图案P中的测试图案。激发率代码用于通过计算辨别一组测试图案P中的测试图案的辨别力指标(DI)来解码神经网络的性能。

System and method for decoding pulse reservoirs with continuous synaptic plasticity

A system for decoding pulse reservoirs even when the pulse reservoir has continuous synaptic plasticity is described. The system uses a set of training patterns to train neural networks with pulse reservoirs composed of pulsed neurons. For a set of test patterns P, the duration of the test pattern is estimated to be D, and each test pattern is presented to the pulse reservoir d/P second duration. Output pulses from pulse reservoirs are generated through readout neurons. The output pulse is measured, and the excitation rate code is calculated using this measurement result. Each excitation rate code corresponds to a test pattern in a set of test patterns P. The excitation rate code is used to decode the performance of the neural network by calculating the discriminant index (DI) of the test pattern in a set of test patterns P.

【技术实现步骤摘要】
【国外来华专利技术】用于解码具有连续突触可塑性的脉冲储层的系统和方法相关申请的交叉引用这是2015年3月18日在美国提交的标题为“AMethodforDecodingSpikingReservoirwithContinuousSynapticPlasticity”的美国第62/134957号临时申请的非临时专利申请，以引证的方式将该申请的全文并入于此。
技术介绍
(1)
本专利技术涉及一种用于解码由脉冲(spike)神经元组成的脉冲储层(reservoir)的系统，更具体地，涉及一种用于即使在脉冲储层具有连续突触可塑性时也解码脉冲储层的系统。(2)相关技术的描述很可能因为前馈回路中的计算更容易分析，所以由大脑启示的大多数计算模型聚焦于前馈回路中的计算(如所并入的参考文献的列表中的第1号和第2号参考文献所述)。然而，已知大脑中的回路通过存在若干空间尺度上的反馈连接而循环(参见第5号参考文献)。近来，采用一种以下的新思想：可以在大脑回路中观察到神经系统的丰富动力学，而不是将动力学限于具有特定特性(诸如纯前馈架构)。这些努力产生液体状态机(第3号参考文献中描述)和回声状态网络(第4号参考文献中描述)。然而，这些仅可以应用于激发率模型。由此，持续需要可以辨别来自具有连续可塑性的脉冲储层网络的脉冲输出神经元且可以允许在测试图案之间的无人监督辨别的系统。
技术实现思路
本专利技术涉及一种用于解码由脉冲神经元组成的脉冲储层的系统，更具体地，涉及一种用于即使在脉冲储层具有连续突触可塑性时也解码脉冲储层的系统。该系统包括：一个或更多个处理器和存储器，该存储器具有指令，使得在执行指令时，一个或更多个处理器执行多个操作。该系统使用一组训练图案来训练具有由脉冲神经元组成的脉冲储层的神经网络。针对一组测试图案P估计测试图案持续时间d。每个测试图案被呈现给脉冲储层d/P秒持续时间。经由一组读出神经元生成来自脉冲储层的输出脉冲。测量输出脉冲，产生多个测量结果，并且使用多个测量结果来计算激发率代码，每个激发率代码对应于一组测试图案P中的测试图案。激发率代码用于通过计算辨别一组测试图案P中的测试图案的辨别力指标(DI)来解码神经网络的性能。在另一个方面中，神经网络展示连续可塑性。在另一个方面中，该系统执行以下操作：针对每个测试图案p计算神经网络中的汇聚(sink)神经元i的激发率作为持续时间d期间的输出脉冲的总数；从神经网络中的针对测试图案p的所有汇聚神经元的激发率估计最大激发率以及使用和计算针对每个测试图案p的激发率代码。在另一个方面中，DI是可分性度量ε与唯一性度量γ的乘积，其中，可分性度量被定义为用于一组测试图案P的激发率代码的分离程度的度量，并且其中，唯一性度量被定义为相对于唯一激发率代码的最大可能数量由神经网络产生的唯一激发率代码的数量。在另一个方面中，可分性度量根据以下公式来计算：其中，Dintra被定义为从针对同一测试图案由神经网络生成的所有可能唯一对激发率代码计算的激发率代码之间的平均成对距离，并且Dinter被定义为从针对一组测试图案P由神经网络生成的所有可能唯一对激发率代码计算的激发率代码之间的平均成对距离。在另一个方面中，唯一性度量根据以下公式来计算：其中，#S表示针对一组测试图案P的唯一激发率代码的总数。在另一个方面中，一组测试图案P是来自在交通工具周围获得的图像的输入图案，其中，一组测试图案P用于在自主驾驶时辅助交通工具。在另一个方面中，向神经网络提供输入信号，神经网络具有由已训练的脉冲神经元组成的脉冲储层。脉冲神经元通过以下操作来训练：向脉冲储层呈现一组测试图案中的每个测试图案；经由一组读出神经元生成来自脉冲储层的输出脉冲；测量输出脉冲，产生多个测量结果，并且使用多个测量结果来计算激发率代码，每个激发率代码对应于一组测试图案P中的测试图案。通过计算辨别一组测试图案P中的测试图案的辨别力指标(DI)使用激发率代码来确定神经网络的性能。从神经网络获得响应于输入信号产生的读出代码，并且基于读出代码识别输入信号的分量。在另一个方面中，本专利技术还包括一种用于使得处理器执行这里所述的操作的方法。最后，在又一个方面中，本专利技术还包括一种计算机程序产品，该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，这些指令可由具有处理器的计算机执行，以便使得处理器执行这里所述的操作。附图说明本专利技术的目的、特征以及优点将从本专利技术的各种方面的以下具体描述连同对以下附图的参照清楚，附图中：图1是描绘了根据本公开的一些实施方式的用于解码脉冲储层的系统的组件的框图；图2是根据本公开的一些实施方式的计算机程序产品的例示；图3是例示了根据本公开的一些实施方式的用于解码脉冲储层的处理的流程图；图4A是根据本公开的一些实施方式的示例输入和对应激发率分布的例示；图4B是根据本公开的一些实施方式的用于两个不同输入图案的激发率代码的例示；图5A是根据本公开的一些实施方式的用于第一示例的辨别性指标(DI)计算的例示；图5B是根据本公开的一些实施方式的用于第二示例的DI计算的例示；图6A是根据本公开的一些实施方式的用于网络的训练图案的例示；图6B是根据本公开的一些实施方式的在各种测试阶段期间来自网络的读出代码的例示；图6C是根据本公开的一些实施方式的可分性度量和唯一性度量的例示；以及图6D是根据本公开的一些实施方式的用于测试图案的DI的例示。具体实施方式本专利技术涉及一种用于解码由脉冲神经元组成的脉冲储层的系统，更具体地，涉及一种用于即使在脉冲储层具有连续突触可塑性时也解码脉冲储层的系统。以下描述被提出以使得本领域普通技术人员能够进行并使用本专利技术，并且将本专利技术并入在特定应用的语境中。各种修改以及在不同应用中的各种用途对本领域技术人员将容易理解，并且这里所定义的一般原理可以应用于宽范围的方面。由此，本专利技术不旨在限于这里提出的方面，而是符合与这里所公开的原理和新型特征一致的最宽范围。在以下详细描述中，为了提供本专利技术的更彻底理解，阐述了大量具体细节。然而，对本领域技术人员显而易见的是，本专利技术可以在不必限于这些具体细节的情况下实践。在其它情况下，为了避免使本专利技术模糊，以框图形式而不是详细地示出公知结构和装置。读者的注意力被引导到与本说明书同时提交的所有文件和文档上，文件和文档与本说明书一起对公众审查开放，并且在此以引证的方式将所有这种文件和文档的内容并入。在本说明书中公开的所有特征(包括任意所附权利要求、摘要以及附图)可由用于相同、等效或类似目的的另选特征来替换，除非另外明确陈述。由此，除非另外明确陈述，所公开的每个特征仅是通用的一系列等效或类似特征的一个示例。此外，未明确陈述用于执行指定功能的“装置”或用于执行具体功能的“步骤”的权利要求中的任何元素不被解释为如在35U.S.C第112节第6段中指定的“装置”或“步骤”条款。具体地，这里权利要求中“的步骤”或“的动作”的使用不旨在调用35U.S.C第112节第6段中的规定。在详细描述本专利技术之前，首先提供所引用参考文献的列表。接着，提供本专利技术的各种主要方面的描述。最后，提供本专利技术的具体细节，以给出具体方面的理解。(1)所并入参考文献的列表贯穿本申请引用以下参考文献。为了清晰和方便起见，参考文献在这里被列出为用于读者的中央资源。在本文档来自技高网...

【技术保护点】
一种用于解码来自脉冲储层的输出的系统，所述系统包括：一个或更多个处理器和非暂时性存储器，所述非暂时性存储器上编码有指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：通过使用一组训练图案来训练具有由脉冲神经元组成的脉冲储层的神经网络；向所述脉冲储层呈现一组测试图案中的每个测试图案；经由一组读出神经元生成来自所述脉冲储层的输出脉冲；测量所述输出脉冲，产生多个测量结果，并且使用所述多个测量结果来计算激发率代码，每个激发率代码对应于所述一组测试图案P中的测试图案；以及通过计算辨别所述一组测试图案P中的测试图案的辨别力指标DI，使用所述激发率代码来解码所述神经网络的性能。

【技术特征摘要】
【国外来华专利技术】2015.03.18 US 62/134,9571.一种用于解码来自脉冲储层的输出的系统，所述系统包括：一个或更多个处理器和非暂时性存储器，所述非暂时性存储器上编码有指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：通过使用一组训练图案来训练具有由脉冲神经元组成的脉冲储层的神经网络；向所述脉冲储层呈现一组测试图案中的每个测试图案；经由一组读出神经元生成来自所述脉冲储层的输出脉冲；测量所述输出脉冲，产生多个测量结果，并且使用所述多个测量结果来计算激发率代码，每个激发率代码对应于所述一组测试图案P中的测试图案；以及通过计算辨别所述一组测试图案P中的测试图案的辨别力指标DI，使用所述激发率代码来解码所述神经网络的性能。2.根据权利要求1所述的系统，其中，所述神经网络展示连续可塑性。3.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：针对每个测试图案p计算所述神经网络中的汇聚神经元i的激发率fip，作为持续时间d期间的输出脉冲的总数；从所述神经网络中的针对所述测试图案p的所有汇聚神经元的所述激发率fip估计最大激发率以及使用和fip计算针对每个测试图案p的激发率代码。4.根据权利要求3所述的系统，其中，所述DI是可分性度量ε与唯一性度量γ的乘积，其中，所述可分性度量被定义为针对所述一组测试图案P的激发率代码的分离程度的度量，并且其中，所述唯一性度量被定义为由所述神经网络产生的唯一激发率代码的数量相对于唯一激发率代码的最大可能数量。5.根据权利要求4所述的系统，其中，所述可分性度量根据以下公式来计算：其中，Dintra被定义为从针对同一测试图案由所述神经网络生成的所有可能唯一对激发率代码计算的激发率代码之间的平均成对距离，并且Dinter被定义为从针对所述一组测试图案P由所述神经网络生成的所有可能唯一对激发率代码计算的激发率代码之间的平均成对距离。6.根据权利要求5所述的系统，其中，所述唯一性度量根据以下公式来计算：其中，#S表示针对所述一组测试图案P的唯一激发率代码的所述总数。7.一种用于解码来自脉冲储层的输出的计算机实现方法，所述方法包括以下动作：使得一个或更多个处理器执行存储在非暂时性存储器上的指令，使得在执行时，所述一个或更多个处理器执行以下操作：通过使用一组训练图案来训练具有由脉冲神经元组成的脉冲储层的神经网络；向所述脉冲储层呈现一组测试图案中的每个测试图案；经由一组读出神经元生成来自所述脉冲储层的输出脉冲；测量所述输出脉冲，产生多个测量结果，并且使用所述多个测量结果来计算激发率代码，每个激发率代码对应于所述一组测试图案P中的测试图案；以及通过计算辨别所述一组测试图案P中的测试图案的辨别力指标(DI)，使用所述激发率代码来解码所述神经网络的性能。8.根据权利要求7所述的方法，其中，所述神经网络展示连续可塑性。9.根据权利要求7所述的方法，其中，所述一个或更多个处理器还执行以下操作：针对每个测试图案p计算所述神经网络中的汇聚神经元i的激发率fip，作为持续时间d期间的输出脉冲的总数；从所述神经网络中的针对所述测试图案p的所有汇聚神经元的所述激发率fip估计最大激发率以及使用和fip计算针对每个测试图案p的激发率代码。10.根据权利要求9所述的方法，其中，所述DI是可分性度量ε与唯一性度量γ的乘积，其中，所述可分性度量被定义为针对所述一组测试图案P的激发率代码的分离程度的度量，并且其中，所述唯一性度量被定义为由所述神经网络产生的唯一激发率代码的数量相对于唯一激发率代码的最大可能数量。11.根据权利要求10所述的方法，其中，所述可分性度量根据以下公式来计算：

【专利技术属性】
技术研发人员：曺永官，N·斯里尼瓦萨，
申请(专利权)人：赫尔实验室有限公司，
类型：发明
国别省市：美国,US