抵消模拟加速器的漂移系数中的变化的漂移正则化制造技术

提供了漂移正则化以抵消模拟神经网络中的漂移系数的变化。示出了训练人工神经网络的方法。随机初始化多个权重。该多个权重中的每一个对应于人工神经网络的突触。至少一个输入阵列被输入到人工神经网络。由人工神经网络基于至少一个输入阵列和多个权重来确定至少一个输出阵列。将至少一个输出阵列与真值数据进行比较以确定第一损失。通过将漂移正则化添加到第一损失来确定第二损失。漂移正则化与至少一个输出阵列的方差正相关。通过反向传播基于第二损失来更新多个权重。第二损失来更新多个权重。第二损失来更新多个权重。

【技术实现步骤摘要】
【国外来华专利技术】抵消模拟加速器的漂移系数中的变化的漂移正则化

技术介绍

[0001]本公开的实施例涉及模拟人工神经网络，并且更具体地涉及抵消漂移系数中的变化的漂移正则化。

技术实现思路

[0002]根据本公开的实施例，提供了训练人工神经网络的方法和用于训练人工神经网络的计算机程序产品。在各个实施例中，示出了训练人工神经网络的方法。随机初始化多个权重。该多个权重中的每个权重对应于人工神经网络的突触。至少一个输入阵列被输入到人工神经网络。通过人工神经网络基于至少一个输入阵列和多个权重来确定至少一个输出阵列。将至少一个输出阵列与真值数据进行比较以确定第一损失。通过将漂移正则化添加到第一损失来确定第二损失。漂移正则化与至少一个输出阵列的方差正相关。通过反向传播基于第二损失来更新多个权重。
附图说明
[0003]现在将参考附图仅通过示例的方式来描述本专利技术的实施例，其中：
[0004]图1示出了根据本公开的实施例的DNN的示例性计算图。
[0005]图2示出了根据本公开的实施例的DNN的示例性硬件实现。
[0006]图3A
‑
图3B示出了根据本公开的实施例的示例性交叉阵列。
[0007]图4是根据本公开的实施例的漂移系数的示例性直方图。
[0008]图5A
‑
图B示出了根据本公开的实施例的衰减电导值作为时间的函数的分布。
[0009]图6示出了根据本公开的实施例的示例性两层人工神经网络。
[0010]图7A
‑
图7D示出了根据本公开的实施例的示例性网络的随时间的准确度。
[0011]图8A
‑
图8D提供了示出根据本公开的实施例的具有各种漂移正则化参数的分类准确度/复杂度(perplexity)的热图。
[0012]图9A
‑
图9D提供了根据本公开的实施例的正确答案概率的标准差的累积分布的图。
[0013]图10A
‑
图10C提供了示出根据本公开的实施例的具有各种漂移正则化参数的分类准确度/复杂度的附加热图。
[0014]图11A
‑
图11C提供了根据本公开的实施例的准确度随时间的图。
[0015]图12示出了根据本公开的实施例的训练人工神经网络的方法。
[0016]图13描绘了根据本公开的实施例的计算节点。
具体实施方式
[0017]深度神经网络(DNN)的若干应用要求这些模型运行在资源受限的平台上，诸如移动电话和具有低能量预算的边缘设备。这可能具有挑战性，因为具有现有技术分类准确度的DNN模型具有高计算和存储器要求，其中每个推理(inference)传递(pass)通常需要数百
万数量级的乘法累加运算。为了解决这个问题，可以使用数字加速器，其在CPU和GPU上提供速度和能量效率的显著改进。数字加速器可以基于冯诺伊曼(von Neumann)架构，其中，数据被存储在单独的片外存储器(通常是DRAM)中并且在片上传输以便执行计算。此类设计的缺点是与数据移动相关联的能量经常最终成为主导因素，从而限制了可以实现的能量效率。
[0018]具有存储器内计算的模拟计算提供了DNN的硬件加速的替代方案。模拟加速器利用交叉阵列结构来存储数据并且使用电阻式存储器器件在模拟域中执行计算。加速器可以基于相变存储器(PCM)、忆阻器或电阻RAM(RRAM)。与数字设计相比，在存储器中执行计算的能力显著地减少了数据移动并且允许模拟加速器实现数量级的更好的能量效率。
[0019]PCM器件提供了若干优点，诸如成熟的过程技术、高耐久性和导致较大数量的中间电导状态的大电阻对比度。当将DNN权重编码为电导值时，一对或多对PCM器件可被用于表示每个权重。这提供了对正权重和负权重两者的覆盖，提高了电导动态范围，并且减少了器件噪声的影响。PCM器件中的中间电导状态是通过调制硫属化物材料的非晶相和结晶相之间的体积比来实现的。DNN推理可用根据从PCM器件的阵列编程和测量的模拟电导值计算的权重来执行。在一些实现方式中，DNN推理中的所有计算都在模拟域中的交叉阵列内或交叉阵列的边缘处执行，而无需将权重移动到单独的计算单元或将激活转换成数字位表示。
[0020]如上所述，由于存储器内计算提供的能量效率，基于相变存储器(PCM)的模拟AI加速器对于边缘应用中的推理是有用的。不幸的是，PCM器件固有的噪声源可引起深度神经网络(DNN)权重值的不准确性，这导致模型的分类准确度的降级。具体地，PCM器件展现出称为电导漂移的现象，由此PCM器件的电导在一段时间内遵循幂定律逐渐衰减。这种现象与PCM材料的非晶相的持续弛豫(relaxation)相关联。本公开提供了用于使训练算法具有噪声感知能力的方法，从而使网络能够被训练得可以保持高分类准确度，尽管由于电导漂移而破坏了权重值。
[0021]现在参考图1，提供了用于深度人工神经网络(DNN)的示例性计算图。
[0022]人工神经网络(ANN)是分布式计算系统，其包括通过被称为突触的连接点互连的多个神经元。每个突触编码一个神经元的输出与另一神经元的输入之间的连接的强度。每个神经元的输出是由从连接到它的其他神经元接收到的聚集输入来确定的。因此，给定神经元的输出基于来自先前层的连接神经元的输出以及由突触权重确定的连接的强度。ANN被训练以通过调整突触的权重使得特定类别的输入产生期望的输出来解决特定问题(例如，模式识别)。
[0023]各种算法可以用于该学习过程。某些算法可适合于特定任务，诸如图像识别、语音识别或语言处理。训练算法导致在学习过程期间朝着给定问题的最优解收敛的突触权重模式。反向传播是用于监督学习的一种合适的算法，其中已知的正确输出在学习过程期间是可获得的。这种学习的目标是获得一种归纳出在训练期间不可获得的数据的系统。
[0024]通常，在反向传播期间，网络的输出与已知的正确输出进行比较。针对输出层中的每个神经元计算误差值。从输出层开始，向后传播误差值以确定与每个神经元相关联的误差值。误差值对应于每个神经元对网络输出的贡献。然后使用误差值来更新权重。通过以此方式的增量校正，调整网络输出以符合训练数据。
[0025]将了解，各种误差度量在本领域中是已知的，例如，交叉熵损失或欧几里得距离的
平方。同样将理解的是，各种正则化方法在本领域中是已知的，包括L1(Lasso回归)或L2(岭回归)。
[0026]当应用反向传播时，ANN在训练集中的大多数实例上快速获得高准确度。训练时间的绝大部分花费在尝试进一步增加该测试准确度。在此时间期间，大量的训练数据实例导致很少的校正，因为系统已经学习到识别这些实例。通常，虽然ANN性能倾向于随着数据集的大小而提高，但是这可以通过如下事实来解释：更大的数据集包含ANN在其上被训练的不同类别之间的更多边界线示例。
[0027]参考图2，提供了DNN的示例性硬件实现。在该示例中，当在基于PCM的模拟加速器上编码为电导(G本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种训练人工神经网络的方法，包括：随机初始化多个权重，所述多个权重中的每个权重对应于人工神经网络的突触；将至少一个输入阵列输入到所述人工神经网络；通过所述人工神经网络基于所述至少一个输入阵列和所述多个权重来确定至少一个输出阵列；比较所述至少一个输出阵列与真值数据以确定第一损失；通过将漂移正则化添加到所述第一损失来确定第二损失，所述漂移正则化与所述至少一个输出阵列的方差正相关；以及通过反向传播基于所述第二损失更新所述多个权重。2.根据权利要求1所述的方法，其中，所述人工神经网络包括相变存储器元件的交叉阵列。3.根据权利要求1所述的方法，其中，所述人工神经网络包括多个层。4.根据权利要求1所述的方法，其中，所述第一损失是交叉熵损失。5.根据权利要求1所述的方法，其中，确定所述第一损失包括正则化。6.根据权利要求1所述的方法，包括：通过反向传播进一步更新所述多个权重直到获得目标准确度。7.一种系统，包括：人工神经网络，其包括相变存储器元件的交叉阵列；计算节点，其包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令能够由所述计算节点的处理器执行以使所述处理器执行包括以下步骤的方法：随机初始化多个权重，所述多个权重中的每个权重对应于所述人工神经网络的突触；将至少一个输入阵列输入到所述人工神经网络；基于所述至少一个输入阵列和所述多个权重从所述人工神经网络获得至少一个输出阵列；比较所述至少一个输出阵列与真值数据以确定第一损失；通过将漂移正则化添加到所述第一损失来确定第二损失，所述漂移正则化与所述至少一个输出阵列的方差正相关；以及通过反向传播基于所述第二损失更新所述多个权重。8.根据权利要求7所述的系统，其中，所述人工神经网络包括相变存储器元件的交叉阵列。9.根据权利要求7所述的系统，其中，所述人工神经网络包括多个层。10.根据权利要求7所述的系统，其中，所述第一损失是交叉熵损失。11.根据权利要求7所述的系统，其中，确定所述第一损失包括正则化。12.根据权利要求7所述的系统，所述方法还包括：通过反向传播进一步更新所述多个权重直到获得目标准确度。13.一种用于训练人工神经网络的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读...

【专利技术属性】
技术研发人员：蔡欣妤，S卡里亚帕，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：