用于利用脉冲神经网络的相位差来改变突触权重的设备、系统和方法技术方案

本申请公开了用于确定与脉冲神经网络的突触相关联的权重的值的技术和机制。在实施例中，第一脉冲序列和第二脉冲序列分别由脉冲神经网络的第一节点和第二节点输出，其中突触耦合于所述节点之间。权重被应用于经由突触传送的信令。权重的值基于第一值和第二值的乘积被更新，其中第一值基于第一脉冲序列的第一脉冲速率，并且第二值基于第二脉冲序列的第二脉冲速率。在另一实施例中，权重基于第一脉冲速率的导数和第二脉冲速率的导数的乘积被更新。

【技术实现步骤摘要】
【国外来华专利技术】用于利用脉冲神经网络的相位差来改变突触权重的设备、系统和方法
技术介绍
本文所描述的实施例总地涉及脉冲神经网络(spikingneuralnetwork)，并且更具体地但非排他地涉及用于确定突触权重(synapticweight)值的技术。目前，多种方式被用于在计算系统中实现神经网络。此类神经网络(通常称为“人工神经网络”)的实施方式一般包括大量的高度互连处理元件，这些处理元件表现出与大脑类似的一些行为。此类处理元件可以用专用硬件、软件建模或两者的组合来实现。脉冲神经网络(或“SNN”)正越来越多地被适配用于为各种应用提供新一代解决方案。SNN以各种方式依赖于信令技术，其中利用信号脉冲(signalspike)之间的基于时间的关系来传达信息。相比于典型的深度学习架构(诸如利用卷积神经网络(CNN)或回归神经网络(RNN)所提供的那些架构)，SNN提供了通信的经济性，这进而允许实现功率效率的数量级改进。神经网络被配置为实现“学习”的特征，该“学习”一般被用于调整处理元件之间的相应连接的权重，这些连接提供神经网络内的特定路径并且提供处理成果。用于实现神经网络中的学习的现有方式已涉及无监督学习(例如，用于从未分类训练数据推断可能解决方案的技术，诸如通过群集或异常检测)、有监督学习(例如，用于从经分类训练数据推断可能解决方案的技术)和加强学习(例如，用于基于最大化回报来识别可能解决方案的技术)的各种方面。然而，这些学习技术中的每一者实现起来都是复杂的，并且通常需要昂贵的监督或验证以确保神经网络中所引起的改变的准确性。>附图说明本专利技术的各种实施例在附图的多个图中通过示例的方式而非通过限制的方式被示出，其中：图1示出了分别图示根据实施例的简化神经网络的特征的图。图2是图示根据实施例的在脉冲神经网络处用于确定突触权重的值的方法的元素的流程图。图3A和图3B示出了以各种方式图示根据实施例的用于确定突触权重的值的信号和参数的相应值的时序图。图4是图示根据实施例的用于利用脉冲神经网络提供图像识别功能的系统的元素的功能框图。图5示出了图示根据实施例的用于确定突触权重的值的脉冲神经网络的状态转变的时序图。图6是图示根据一个实施例的计算设备的功能框图。图7是图示根据一个实施例的示例性计算机系统的功能框图。具体实施例本文所描述的实施例以各种方式提供用于更新或以其它方式确定脉冲神经网络的一个或多个突触权重的相应值的技术和机制。此类确定(例如，基于脉冲序列(spiketrain)的相应脉冲速率之间的关系)可辅助实现脉冲神经网络作为自动编码器的操作。脉冲神经网络可作用为“自动编码器”，其中基于不同基准图案的训练包括脉冲神经网络的一些或所有节点(或“神经元”)，这些节点各自用所呈现图案的相应部分对其对应的相应字段进行编码。自动编码器在许多应用中提供关键功能，在这些应用中，由于带标记数据组是有限的或者缺乏的，无监督学习为可用的唯一选项。甚至在有监督学习的一些情况下，自动编码器可用于预训练过程以初始化突触权重。传统上，各种类型的自动编码器的训练过程是耗时的或者是低效的。例如，一些常规类型的神经网络学习以各种方式应用突触时间依赖可塑性(STDP)规则。基于STDP的学习的一个缺点是：由于例如有许多处理周期(这些处理周期涉及网络学习和忘却(unlearning))，其往往极其缓慢地收敛。虽然此类周期往往非常浪费，但是在许多标准STDP方案中是不可避免的。通过执行突触权重值计算(这些计算至少部分地基于不同脉冲序列的相应脉冲速率，例如，基于此类脉冲速率的比率)，一些实施例以各种方式允许实现经修改的基于STDP的学习，其在本文被称为基于波的STDP(WSTDP)。各种实施例的某些特征在本文中参考用于识别图像类型的脉冲神经网络的训练进行描述。此类图像识别功能可实现对应的对象识别功能，其中用于识别基准图像的图像类型的训练包括用于识别该基准图像中所表示对象的对象类型的训练。然而，在一些实施例中，脉冲神经网络可被训练以额外地或另选地识别多种其它数据类型中的任一者(例如，包括不同图像类型和/或不同于任何图像类型的一种或多种数据类型)。例如，脉冲神经网络可以基于基准视频序列被训练，以识别特定视频序列类型(和/或基准视频序列中所表示动作的对应动作类型)。在其它实施例中，基于基准音频的训练可被适配用于辅助实现利用脉冲神经网络对特定音频类型的识别。本文所描述的技术可在一个或多个电子设备中实现。电子设备(其可利用本文所描述的技术)的非限制性示例包括任何种类的移动设备和/或固定式设备，诸如相机、蜂窝电话、计算机终端、台式计算机、电子阅读器、传真机、信息亭、上网本计算机、笔记本计算机、互联网设备、支付终端、个人数字助理、媒体播放器和/或记录仪、服务器(例如，刀片服务器、机架式服务器，其组合，等等)、机顶盒、智能电话、平板个人计算机、超级移动个人计算机、有线电话，其组合，等等。此类设备可以是便携式的或固定式的。在一些实施例中，本文所描述的技术可用于台式计算机、膝上型计算机、智能电话、平板计算机、上网本计算机、笔记本计算机、个人数字助理、服务器，其组合等等中。更一般地，本文所描述的技术可用于多种电子设备中的任一者(包括硬件和/或执行软件)中以提供脉冲神经网络。图1示出了脉冲神经网络100的示例图，提供第一组节点110(例如，神经元)和第二组节点130(例如，神经元)之间的连接120的图示。一些或所有的神经网络(诸如脉冲神经网络100)可被组织成多个层，例如，包括输入层和输出层。应当理解，脉冲神经网络100仅示出两个层和少量的节点，但其它形式的神经网络可包括大量各种方式配置的节点、层、连接、路径等。提供至神经网络100的数据可首先由输入节点的突触进行处理。输入、节点的突触和节点自身之间的交互决定输出是否经由轴突(axon)提供至另一节点的突触。对突触、神经元、轴突等的建模可以用多种方式来实现。在一个示例中，神经形态硬件包括合成神经元(例如，神经核)中的个体处理元件和用于将输出传达至其它神经元的消息传送结构。关于特定节点是否“激发(fire)”以将数据提供至另一被连接节点的判定取决于该节点所应用的激活功能(activationfunction)和从节点i(例如，位于第一组节点110的层中)至节点j(例如，位于第二组节点130的层中)的突触连接的权重(例如，wij)。节点i所接收的输入被表示为值xi，并且从节点j产生的输出被表示为值yj。因此，在神经网络中所进行的处理基于经加权的连接、阈值和评估，该评估在神经元、突触和神经网络的其它元素之间执行。在一个示例中，神经网络100由脉冲神经网络核的网络构建，其中神经网络核经由从核发送至核的短分组脉冲消息进行通信。例如，每个神经网络核可将一定数量的原始非线性时间计算元素实现为节点，使得当节点的激活超出某个阈值水平时，该节点生成脉冲消息，该脉冲消息被传播至目标核中所包括的固定的一组的扇出节点。网络可将脉冲消息分发至所有目标节点，并且作为响本文档来自技高网...

【技术保护点】
1.一种用于训练脉冲神经网络来识别数据类型的计算机设备，所述计算机设备包括电路系统以进行以下操作：/n从脉冲神经网络的第一节点传送第一所生成脉冲序列，所述第一所生成脉冲序列基于被提供至所述第一节点的第一所接收脉冲序列中的一个或多个信号脉冲，其中所述第一所生成脉冲序列表现出第一脉冲速率；/n从所述脉冲神经网络的第二节点传送第二所生成脉冲序列，所述第二所生成脉冲序列基于被提供至所述第二节点的第二所接收脉冲序列中的一个或多个信号脉冲，其中所述第二所生成脉冲序列表现出第二脉冲速率，并且其中突触被直接地耦合至所述第一节点和所述第二节点中的每一者；/n将突触权重的第一值应用于经由所述突触传送的至少一个信号脉冲；和/n确定所述突触权重的第二值，包括电路系统用信号通知要应用于所述突触权重的所述第一值的改变，所述改变基于第一值和第二值的乘积，所述第一值基于所述第一脉冲速率，所述第二值基于所述第二脉冲速率，其中所述脉冲神经网络的训练基于正被应用于所述第一值的所述改变。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于训练脉冲神经网络来识别数据类型的计算机设备，所述计算机设备包括电路系统以进行以下操作：
从脉冲神经网络的第一节点传送第一所生成脉冲序列，所述第一所生成脉冲序列基于被提供至所述第一节点的第一所接收脉冲序列中的一个或多个信号脉冲，其中所述第一所生成脉冲序列表现出第一脉冲速率；
从所述脉冲神经网络的第二节点传送第二所生成脉冲序列，所述第二所生成脉冲序列基于被提供至所述第二节点的第二所接收脉冲序列中的一个或多个信号脉冲，其中所述第二所生成脉冲序列表现出第二脉冲速率，并且其中突触被直接地耦合至所述第一节点和所述第二节点中的每一者；
将突触权重的第一值应用于经由所述突触传送的至少一个信号脉冲；和
确定所述突触权重的第二值，包括电路系统用信号通知要应用于所述突触权重的所述第一值的改变，所述改变基于第一值和第二值的乘积，所述第一值基于所述第一脉冲速率，所述第二值基于所述第二脉冲速率，其中所述脉冲神经网络的训练基于正被应用于所述第一值的所述改变。


2.根据权利要求1所述的计算机设备，其中所述改变基于所述第一脉冲速率的第一导数和所述第二脉冲速率的第二导数的乘积。


3.根据权利要求1至2中任一项所述的计算机设备，其中所述第一导数和所述第二导数分别包括一阶导数和二阶导数中的相应的一者。


4.根据权利要求1至3中任一项所述的计算机设备，其中所述第一节点用于经由所述突触将所述第一所生成脉冲序列发送至所述第二节点。


5.根据权利要求1至4中任一项所述的计算机设备，其中所述第一所生成脉冲序列和所述第二所生成脉冲序列分别经由不依赖于所述突触的相应的路径被传送。


6.根据权利要求1至5中任一项所述的计算机设备，其中所述第二所生成脉冲序列将基于所述第一所生成脉冲序列来确定。


7.根据权利要求1至6中任一项所述的计算机设备，其中所述第一所生成脉冲序列和所述第二所生成脉冲序列将分别基于不同的相应脉冲序列来确定。


8.根据权利要求1至7中任一项所述的计算机设备，还包括电路系统以在第一时间段期间选择所述脉冲神经网络的节点的第一子集来训练所述脉冲神经网络，以确定对相应突触的权重的更新。


9.根据权利要求8所述的计算机设备，还包括电路系统以在第二时间段期间选择所述脉冲神经网络的节点的第二子集来训练所述脉冲神经网络，以确定对相应突触的权重的更新。


10.至少一种机器可读介质，包括指令，所述指令当由机器执行时使得所述机器执行用于训练脉冲神经网络以识别数据类型的操作，所述操作包括：
从脉冲神经网络的第一节点传送第一所生成脉冲序列，所述第一所生成脉冲序列基于被提供至所述第一节点的第一所接收脉冲序列中的一个或多个信号脉冲，其中所述第一所生成脉冲序列表现出第一脉冲速率；
从所述脉冲神经网络的第二节点传送第二所生成脉冲序列，所述第二所生成脉冲序列基于被提供至所述第二节点的第二所接收脉冲序列中的一个或多个信号脉冲，其中所述第二所生成脉冲序列表现出第二脉冲速率，并且其中突触被直接地耦合至所述第一节点和所述第二节点中的每一者；
将突触权重的第一值应用于经由所述突触传送的至少一个信号脉冲；和
确定所述突触权重的第二值，包括用信号通知要应用于所述突触权重的所述第一值的改变，所述改变基于第一值和第二值的乘积，所述第一值基于所述第一脉冲速率，所述第二值基于所述第二脉冲速率，其中所述脉冲神经网络的训练基于正被应用于所述第一值的所述改变。


...

【专利技术属性】
技术研发人员：阿纳布·保罗，那拉扬·斯里尼瓦萨，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US