【技术实现步骤摘要】
【国外来华专利技术】能够后向传播的脉动神经网络引擎相关申请的交叉引用本申请要求2018年5月16提交的美国专利申请No.15/981,664的权益，该美国专利申请要求2018年2月8日提交的美国专利申请No.62/628,076和2018年2月8日提交的美国专利申请No.62/627,957的权益，这些美国专利申请的全部公开内容通过引用合并于此。
本文公开的系统和方法涉及计算机处理器，更特别地，涉及能够进行前向传播和后向传播的脉动机器学习处理器。
技术介绍
计算机学习模型可以处理大量数据。例如，模型可以实现为人工神经网络。人工神经网络在这种意义上是人工的，它们是受生物神经网络启发但被修改以由计算装置实现的计算实体。人工神经网络能够在称为训练的过程期间改变其结构，在此过程中，网络暴露于成对的输入数据和预期输出，并对其内部参数进行调整，以便在提供对应的输入时能够预测预期的输出。一旦经过训练，神经网络就可以用于推断(inference)，即通过提供新的输入数据来预测对应的输出。可以在称为训练的过程中设置神经网络的参数。例如，可...
【技术保护点】
1.一种经由后向传播进行神经网络的训练的装置，所述装置包括：/n存储器，配置为存储输入值和对应的预期输出值；/n至少一个附加的存储器，配置为存储与所述神经网络的节点之间的连接对应的权重；以及/n多个处理单元，配置为根据所述神经网络的特定节点进行计算；/n其中所述多个处理单元配置为对所述输入值通过所述神经网络的层的前向传播进行计算，以至少由所述多个处理单元中的特定处理单元生成预测输出值：/n接收输入数据；/n使用所述权重中的一个或多个来处理所述输入数据以生成激活输出；以及/n生成输出数据，所述输出数据包含所述激活输出和标识所述特定处理单元的标记；并且/n其中所述多个处理节点配...
【技术特征摘要】
【国外来华专利技术】20180208 US 62/627,957;20180208 US 62/628,076;20181.一种经由后向传播进行神经网络的训练的装置，所述装置包括：
存储器，配置为存储输入值和对应的预期输出值；
至少一个附加的存储器，配置为存储与所述神经网络的节点之间的连接对应的权重；以及
多个处理单元，配置为根据所述神经网络的特定节点进行计算；
其中所述多个处理单元配置为对所述输入值通过所述神经网络的层的前向传播进行计算，以至少由所述多个处理单元中的特定处理单元生成预测输出值：
接收输入数据；
使用所述权重中的一个或多个来处理所述输入数据以生成激活输出；以及
生成输出数据，所述输出数据包含所述激活输出和标识所述特定处理单元的标记；并且
其中所述多个处理节点配置为至少部分地基于所述特定处理单元的标记对所述预期输出值和所述预测输出值中的对应的预测输出值之间的差的后向传播进行计算，其中所述后向传播更新所述权重。
2.如权利要求1所述的装置，其中所述装置包括脉动处理器芯片，且其中所述多个处理单元包括嵌入所述脉动处理器芯片的电路。
3.如权利要求1至2中任一项所述的装置，其中所述多个处理单元的特定子组形成脉动阵列的特定布置，其中所述脉动阵列的特定布置被分配到所述神经网络的特定层。
4.如权利要求3所述的装置，其中所述脉动阵列的第一处理单元的第一布置配置为在所述前向传播期间向所述脉动阵列的第二布置脉动地脉冲由所述第一处理单元输出的值。
5.如权利要求4所述的装置，其中所述第一处理单元配置为在所述后向传播期间基于从所述第二布置接收的值来累加偏导数。
6.如权利要求2至5中任一项所述的装置，其中所述脉动处理器芯片配置为：
在所述前向传播期间在第一方向上脉动地脉冲数据通过所述多个处理单元，以及
在所述后向传播期间在第二方向上脉动地脉冲数据通过所述多个处理单元，其中所述第二方向与所述第一方向相反。
7.如权利要求1至6中任一项所述的装置，其中存储权重的所述至少一个附加的存储器包括对应的处理单元内的多个本地存储器。
8.如权利要求1至7中任一项所述的装置，其中存储权重的所述至少一个附加的存储器设置在所述多个处理单元的外部，且其中所述多个处理单元配置为从所述至少一个附加的存储器获取所述权重中的被标识的权重。
9.如权利要求1至8中任一项所述的装置，其中所述多个处理节点的特定处理单元包含配置为接收所述输入数据的输入脉动元件、配置为对所接收...
【专利技术属性】
技术研发人员：LM弗兰卡内托，
申请(专利权)人：西部数据技术公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。