人工神经网络的训练制造技术

提供用于训练人工神经网络的方法和装置，所述人工神经网络具有插入突触层的一系列神经元层。一组忆阻器件的交叉式阵列，连接在行线和列线之间，实现所述突触层。每个忆阻器件存储一个将连续的神经元层中相应的一对神经元互连的突触的权重

Training of artificial neural network

【技术实现步骤摘要】
【国外来华专利技术】人工神经网络的训练
技术介绍
本专利技术总体上涉及人工神经网络的训练。人工神经网络(ANN)已经被开发用来以神经系统生物学结构所启发的方式执行计算任务。这些网络基于的是神经元通过突触互连、突触在神经元之间传递信号的生物系统的原理。生物神经元处理其输入信号并生成输出信号，输出信号通过各自的突触发送到其他神经元。突触所发送信号的强度取决于突触的电导，也称为“突触功效”(synapticefficacy)或“权重”(weight)。突触的权重可以通过神经元的活动来改变，突触的这种“可塑性”对于记忆和其他脑功能至关重要。人工神经网络基于这样一种逻辑结构，其中，连续的神经元层插入突触层，每个突触将连续的神经元层中相应的一对神经元互连。经由突触中继的信号，按照为突触存储的相应突触权重被加权。加权的信号因此可以通过网络的一个接一个的层从输入神经元层向输出神经元层传播。人工神经网络已经被成功地应用于诸如语音和图像识别等各种复杂的分析任务，例如基于MNIST(修改的国家标准与技术研究所)数据集的手写数字的分类。ANN操作包括一个在其中确定突触权重的训练阶段。在迭代训练方案中，本文档来自技高网...

【技术保护点】
1.一种用于训练人工神经网络的方法，所述人工神经网络具有一系列的神经元层和一组忆阻器件的交叉式阵列，所述交叉式阵列连接在行线和列线之间，实现插入所述神经元层的突触层，由此每个忆阻器件存储将连续的神经元层中相应的一对神经元互连的突触的权重

【技术特征摘要】
【国外来华专利技术】20171024 US 62/576,081;20180629 US 16/022,9501.一种用于训练人工神经网络的方法，所述人工神经网络具有一系列的神经元层和一组忆阻器件的交叉式阵列，所述交叉式阵列连接在行线和列线之间，实现插入所述神经元层的突触层，由此每个忆阻器件存储将连续的神经元层中相应的一对神经元互连的突触的权重所述方法包括通过以下步骤来执行迭代训练方案的前向传播、后向传播和权重更新操作：
在所述方案的前向传播和后向传播操作中的至少一个中，将与相应神经元相关联的输入信号施加到该组阵列的行线和列线中的一种线，以获得所述行线和列线中的另一种线上的输出信号；
将对应于所述输入信号和输出信号的数字信号值存储在可操作地耦合到该组阵列的数字处理单元中；以及
通过在所述数字处理单元中根据所述数字信号值为相应忆阻器件计算数字权重校正值ΔW，并将编程信号施加到这些器件以根据相应数字权重校正值ΔW更新所存储的权重来执行所述方案的权重更新操作。


2.如权利要求1所述的方法，包括在前向传播操作中，将所述输入信号施加到该组阵列的行线以获得列线上的输出信号。


3.如权利要求2所述的方法，包括在后向传播操作中，将所述输入信号施加到该组阵列的列线，以获得行线上的输出信号。


4.如权利要求1所述的方法，包括在所述数字处理单元中，以预定步长ε舍入每个权重校正值ΔW以产生舍入校正值其中施加到忆阻器件的所述编程信号将所存储的权重调整取决于该器件的舍入校正值的量。


5.如权利要求4所述的方法，其中所述数字权重校正值由数字处理单元以至少16位的精度计算。


6.如权利要求1所述的方法，包括：
在所述数字处理单元中，存储与相应忆阻器件所存储的权重相对应的数字权重值；以及
在权重更新操作中，在数字处理单元中根据针对每个器件存储的数字权重值和数字权重校正值ΔW来计算针对各个器件的新的数字权重值；
其中，施加到忆阻器件的所述编程信号取决于该器件的新的数字权重值。


7.如权利要求6所述的方法，其特征在于，在所述权重更新操作中包括：
读取相应忆阻器件所存储的权重以及
在数字处理单元中计算一个器件的所述新的数字权重值与该器件的被读取权重之间的差值；
其中施加到忆阻器件的所述编程信号将所存储的权重调整取决于该器件的所述差值的量。


8.如权利要求6所述的方法，包括在权重更新操作中，基于每个器件的新的数字权重值施加所述编程信号以重新编程该器件。


9.如权利要求6所述的方法，其中所述数字权重值由所述数字处理单元以至少16位的精度存储。


10.如权利要求1所述的方法，包括在所述数字处理单元中存储相应忆阻器件的数字累积值，并且在所述权重更新操作中：
在所述数字处理单元中，根据每个器件的权重校正值ΔW和存储的累积值来计算相应忆阻器件的更新累积值，并根据每个器件的更新累积值来确定权重调整量，其中施加到忆阻器件的所述编程信号将存储的权重调整与该器件的权重调整量相对应的量；以及
在所述数字处理单元中，通过从每个器件的所述更新累积值中减去所述权重调整量来计算各个器件的新的数字累积值。


11.如权利要求10所述的方法，包括在所述数字处理单元中，通过以表示所述器件响应于预定编程脉冲的施加的权重变化的预定步长ε来舍入每个忆阻器件的更新后的累积值以获得待施加到所述器件的编程脉冲的数量n，来确定所述权重调整量，其中施加到该忆阻器件的编程信号包括n个所述脉冲。


12.如权利要求10所述的方法，包括：
在所述数字处理单元中，将每个忆阻器件的更新后的累积值与预定阈值进行比较，所述预定阈值取决于表示响应于预定编程脉冲的施加的所述器件的权重变化的步长ε；以及
如果器件的所述更新的累积值超过所述阈值，则将所述编程脉冲作为所述编程信号施加到该器件。


13.如权利要求10所述的方法，其中所述数字权重校正值和所述新的数字累积值由所述数字处理单元以至少16位的精度计算。


14.如权利要求2所述的方法，包括在所述数字处理单元中，通过将激活函数应用于与从在前神经元层获得的所述输出信号相对应的数字信号值以产生对应于与那神经元相关联的输入信号的数字信号值，来在所述前向传播操作中实现所述层的神经元。...

【专利技术属性】
技术研发人员：M·勒加洛布尔多，A·塞巴斯蒂安，I·博伊巴特·卡拉，E·S·埃勒夫塞里奥，N·萨西德哈兰·拉贾勒克什米，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US