用于利用脉冲神经网络的相位差来改变突触权重的设备、系统和方法技术方案

本申请公开了用于确定与脉冲神经网络的突触相关联的权重的值的技术和机制。在实施例中，第一脉冲序列和第二脉冲序列分别由脉冲神经网络的第一节点和第二节点输出，其中突触耦合于所述节点之间。权重被应用于经由突触传送的信令。权重的值基于第一值和第二值的乘积被更新，其中第一值基于第一脉冲序列的第一脉冲速率，并且第二值基于第二脉冲序列的第二脉冲速率。在另一实施例中，权重基于第一脉冲速率的导数和第二脉冲速率的导数的乘积被更新。

【技术实现步骤摘要】
【国外来华专利技术】用于利用脉冲神经网络的相位差来改变突触权重的设备、系统和方法
技术介绍
本文所描述的实施例总地涉及脉冲神经网络(spikingneuralnetwork)，并且更具体地但非排他地涉及用于确定突触权重(synapticweight)值的技术。目前，多种方式被用于在计算系统中实现神经网络。此类神经网络(通常称为“人工神经网络”)的实施方式一般包括大量的高度互连处理元件，这些处理元件表现出与大脑类似的一些行为。此类处理元件可以用专用硬件、软件建模或两者的组合来实现。脉冲神经网络(或“SNN”)正越来越多地被适配用于为各种应用提供新一代解决方案。SNN以各种方式依赖于信令技术，其中利用信号脉冲(signalspike)之间的基于时间的关系来传达信息。相比于典型的深度学习架构(诸如利用卷积神经网络(CNN)或回归神经网络(RNN)所提供的那些架构)，SNN提供了通信的经济性，这进而允许实现功率效率的数量级改进。神经网络被配置为实现“学习”的特征，该“学习”一般被用于调整处理元件之间的相应连接的权重，这些连接提供神经网络内的特定路径并且提供处理成果。用于本文档来自技高网...

【技术保护点】
1.一种用于训练脉冲神经网络来识别数据类型的计算机设备，所述计算机设备包括电路系统以进行以下操作：/n从脉冲神经网络的第一节点传送第一所生成脉冲序列，所述第一所生成脉冲序列基于被提供至所述第一节点的第一所接收脉冲序列中的一个或多个信号脉冲，其中所述第一所生成脉冲序列表现出第一脉冲速率；/n从所述脉冲神经网络的第二节点传送第二所生成脉冲序列，所述第二所生成脉冲序列基于被提供至所述第二节点的第二所接收脉冲序列中的一个或多个信号脉冲，其中所述第二所生成脉冲序列表现出第二脉冲速率，并且其中突触被直接地耦合至所述第一节点和所述第二节点中的每一者；/n将突触权重的第一值应用于经由所述突触传送的至少一个信号...

【技术特征摘要】
【国外来华专利技术】1.一种用于训练脉冲神经网络来识别数据类型的计算机设备，所述计算机设备包括电路系统以进行以下操作：
从脉冲神经网络的第一节点传送第一所生成脉冲序列，所述第一所生成脉冲序列基于被提供至所述第一节点的第一所接收脉冲序列中的一个或多个信号脉冲，其中所述第一所生成脉冲序列表现出第一脉冲速率；
从所述脉冲神经网络的第二节点传送第二所生成脉冲序列，所述第二所生成脉冲序列基于被提供至所述第二节点的第二所接收脉冲序列中的一个或多个信号脉冲，其中所述第二所生成脉冲序列表现出第二脉冲速率，并且其中突触被直接地耦合至所述第一节点和所述第二节点中的每一者；
将突触权重的第一值应用于经由所述突触传送的至少一个信号脉冲；和
确定所述突触权重的第二值，包括电路系统用信号通知要应用于所述突触权重的所述第一值的改变，所述改变基于第一值和第二值的乘积，所述第一值基于所述第一脉冲速率，所述第二值基于所述第二脉冲速率，其中所述脉冲神经网络的训练基于正被应用于所述第一值的所述改变。


2.根据权利要求1所述的计算机设备，其中所述改变基于所述第一脉冲速率的第一导数和所述第二脉冲速率的第二导数的乘积。


3.根据权利要求1至2中任一项所述的计算机设备，其中所述第一导数和所述第二导数分别包括一阶导数和二阶导数中的相应的一者。


4.根据权利要求1至3中任一项所述的计算机设备，其中所述第一节点用于经由所述突触将所述第一所生成脉冲序列发送至所述第二节点。


5.根据权利要求1至4中任一项所述的计算机设备，其中所述第一所生成脉冲序列和所述第二所生成脉冲序列分别经由不依赖于所述突触的相应的路径被传送。


6.根据权利要求1至5中任一项所述的计算机设备，其中所述第二所生成脉冲序列将基于所述第一所生成脉冲序列来确定。


7.根据权利要求1至6中任一项所述的计算机设备，其中所述第一所生成脉冲序列和所述第二所生成脉冲序列将分别基于不同的相应脉冲序列来确定。


8.根据权利要求1至7中任一项所述的计算机设备，还包括电路系统以在第一时间段期间选择所述脉冲神经网络的节点的第一子集来训练所述脉冲神经网络，以确定对相应突触的权重的更新。


9.根据权利要求8所述的计算机设备，还包括电路系统以在第二时间段期间选择所述脉冲神经网络的节点的第二子集来训练所述脉冲神经网络，以确定对相应突触的权重的更新。


10.至少一种机器可读介质，包括指令，所述指令当由机器执行时使得所述机器执行用于训练脉冲神经网络以识别数据类型的操作，所述操作包括：
从脉冲神经网络的第一节点传送第一所生成脉冲序列，所述第一所生成脉冲序列基于被提供至所述第一节点的第一所接收脉冲序列中的一个或多个信号脉冲，其中所述第一所生成脉冲序列表现出第一脉冲速率；
从所述脉冲神经网络的第二节点传送第二所生成脉冲序列，所述第二所生成脉冲序列基于被提供至所述第二节点的第二所接收脉冲序列中的一个或多个信号脉冲，其中所述第二所生成脉冲序列表现出第二脉冲速率，并且其中突触被直接地耦合至所述第一节点和所述第二节点中的每一者；
将突触权重的第一值应用于经由所述突触传送的至少一个信号脉冲；和
确定所述突触权重的第二值，包括用信号通知要应用于所述突触权重的所述第一值的改变，所述改变基于第一值和第二值的乘积，所述第一值基于所述第一脉冲速率，所述第二值基于所述第二脉冲速率，其中所述脉冲神经网络的训练基于正被应用于所述第一值的所述改变。


...

【专利技术属性】
技术研发人员：阿纳布·保罗，那拉扬·斯里尼瓦萨，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US