在集成电路中实现神经网络的系统和方法技术方案

一种神经网络系统[图6,600]，其包括输入层[图6,204‑0]、一个或多个隐藏层[图6,204‑1,204‑2]和输出层[图6,204‑(N‑1)]。输入层接收包括批次序列的训练集[图6,220]并向其后一层[图6,204‑1]提供分别与该批次序列相关联的输出激活[图6,206‑0]。第一隐藏层[图7,204‑i]从其前一层[图7,204‑(i‑1)]接收与第一批次[图7,批次b]相关联的第一输入激活[图7,206‑(i‑1)]；接收与该第一批次之前的第二批次[图7,批次(b‑d)]相关联的第一输入梯度[图7,208‑(i+1)]；并基于该第一输入激活和第一输入梯度，向其后一层[图7,204‑(i+1)]提供与该第一批次[图7,批次b]相关联的第一输出激活[图7,206‑i]。输出层从其前一层接收第二输入激活[图6,206‑(N‑2)]；并基于该第二输入激活和该第一训练集，向其前一层[图6,204‑(N‑2)]提供第一输出梯度[图6,208‑(N‑1)]。

The system and method of implementing neural network in integrated circuit

【技术实现步骤摘要】
【国外来华专利技术】在集成电路中实现神经网络的系统和方法
本公开的示例通常涉及集成电路(IC)，特别涉及IC中的神经网络。
技术介绍
机器学习能力正快速发展。例如，神经网络(neuralnetworks,NN)可以用于数据中心及可嵌入应用。通常，神经网络需要在充分大的数据集中训练，并且训练是基于使用通用图形处理单元(generalpurposegraphicsprocessingunits,GPGPU)的浮点算法执行的。这种依赖于网络的大小和训练数据集的大小的训练可能进行很长时间。一般地，训练数据集包括输入/输出对。神经网络训练的目标是为了产生能使训练集中的每个输入映射到相应的输出的模型。在真实的使用案例中，这个模型也可以推广到不属于该训练集的数据。因此，一种实现神经网络训练的改进方式是值得期待和有用的。
技术实现思路
在根据本公开的一些实施例中，一种神经网络系统，包括输入层、在输入层之后的一个或多个隐藏层和在一个或多个隐藏层之后的输出层。输入层被配置为：接收包括批次序列的第一训练集；以及向输入层的后一层提供分别与批次序列相关联的多个输本文档来自技高网...

【技术保护点】
1.一种神经网络系统，其特征在于，所述神经网络系统包括：/n输入层，所述输入层被配置为：/n接收包括批次序列的第一训练集；以及/n向所述输入层的后一层提供分别与所述批次序列相关联的多个输出激活；/n一个或多个隐藏层，所述一个或多个隐藏层在所述输入层之后，所述一个或多个隐藏层包括第一隐藏层，所述第一隐藏层被配置为：/n从所述第一隐藏层的前一层接收与第一批次相关联的第一输入激活；/n接收与所述第一批次之前的第二批次相关联的第一输入梯度，其中所述第一和第二批次具有与至少两个批次相关联的延迟因数；以及/n基于所述第一输入激活和第一输入梯度，向所述第一隐藏层的后一层提供与所述第一批次相关联的第一输出激活...

【技术特征摘要】
【国外来华专利技术】20170914 US 15/705,0331.一种神经网络系统，其特征在于，所述神经网络系统包括：
输入层，所述输入层被配置为：
接收包括批次序列的第一训练集；以及
向所述输入层的后一层提供分别与所述批次序列相关联的多个输出激活；
一个或多个隐藏层，所述一个或多个隐藏层在所述输入层之后，所述一个或多个隐藏层包括第一隐藏层，所述第一隐藏层被配置为：
从所述第一隐藏层的前一层接收与第一批次相关联的第一输入激活；
接收与所述第一批次之前的第二批次相关联的第一输入梯度，其中所述第一和第二批次具有与至少两个批次相关联的延迟因数；以及
基于所述第一输入激活和第一输入梯度，向所述第一隐藏层的后一层提供与所述第一批次相关联的第一输出激活；
输出层，所述输出层在所述一个或多个隐藏层之后，其中所述输出层配置为：
从所述输出层的前一层接收第二输入激活；以及
基于所述第二输入激活和所述第一训练集，向所述输出层的所述前一层提供第一输出梯度。


2.根据权利要求1所述的神经网络系统，其特征在于，所述第一隐藏层被配置为：
基于所述第一输入激活和所述第一输入梯度，向所述第一隐藏层的所述前一层提供与所述第二批次相关联的第二输出梯度。


3.根据权利要求2所述的神经网络系统，其特征在于，所述第一隐藏层被配置为：
基于与所述第二批次和第一输入梯度相关联的第三输入激活，生成与所述第二批次相关联的第一权重；和
基于所述第一输入激活、第一输入梯度和第一权重，生成与所述第一批次相关联的所述第一输出激活。


4.根据权利要求3所述的神经网络系统，其特征在于，所述第一隐藏层被配置为：
基于所述于第一输入激活、第一输入梯度和第一权重，生成所述第二输出梯度。


5.根据权利要求3所述的神经网络系统，其特征在于，所述第一隐藏层被配置为：
基于所述第一批次和第二批次之间的延迟因数调整学习率；以及
通过将所述学习率应用于与所述第二批次相关联的所述第一输入梯度，生成与所述第二批次相关联的所述第一权重。


6.根据权利要求1所述的神经网络系统，其特征在于，还包括：
预处理单元，所述预处理单元被配置为：
接收具有第一大小的原始训练集；以及
基于所述原始训练集生成所述第一训练集，其中所述第一训练集具有大于所述第一大小的第二大小。


7.根据权利要求1所述的神经网络系统，其特征在于，所述第一隐藏层被耦接到合成梯度生成器，所述合成梯度生成器被配置为：
使用与所述第二批次之前的第三批次相关联的第二输入梯度来生成第一输入梯度估计；以及
向所述第一隐藏层提供所述第一输入梯度估计作为所述第一输入梯度。


8.根据权利要求7所述的神经网络...

【专利技术属性】
技术研发人员：N·弗雷泽，M·伯洛特，
申请(专利权)人：赛灵思公司，
类型：发明
国别省市：美国;US