【技术实现步骤摘要】
【国外来华专利技术】抵消模拟加速器的漂移系数中的变化的漂移正则化
技术介绍
[0001]本公开的实施例涉及模拟人工神经网络,并且更具体地涉及抵消漂移系数中的变化的漂移正则化。
技术实现思路
[0002]根据本公开的实施例,提供了训练人工神经网络的方法和用于训练人工神经网络的计算机程序产品。在各个实施例中,示出了训练人工神经网络的方法。随机初始化多个权重。该多个权重中的每个权重对应于人工神经网络的突触。至少一个输入阵列被输入到人工神经网络。通过人工神经网络基于至少一个输入阵列和多个权重来确定至少一个输出阵列。将至少一个输出阵列与真值数据进行比较以确定第一损失。通过将漂移正则化添加到第一损失来确定第二损失。漂移正则化与至少一个输出阵列的方差正相关。通过反向传播基于第二损失来更新多个权重。
附图说明
[0003]现在将参考附图仅通过示例的方式来描述本专利技术的实施例,其中:
[0004]图1示出了根据本公开的实施例的DNN的示例性计算图。
[0005]图2示出了根据本公开的实施例的DNN的示例性硬件实现。
[0006]图
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种训练人工神经网络的方法,包括:随机初始化多个权重,所述多个权重中的每个权重对应于人工神经网络的突触;将至少一个输入阵列输入到所述人工神经网络;通过所述人工神经网络基于所述至少一个输入阵列和所述多个权重来确定至少一个输出阵列;比较所述至少一个输出阵列与真值数据以确定第一损失;通过将漂移正则化添加到所述第一损失来确定第二损失,所述漂移正则化与所述至少一个输出阵列的方差正相关;以及通过反向传播基于所述第二损失更新所述多个权重。2.根据权利要求1所述的方法,其中,所述人工神经网络包括相变存储器元件的交叉阵列。3.根据权利要求1所述的方法,其中,所述人工神经网络包括多个层。4.根据权利要求1所述的方法,其中,所述第一损失是交叉熵损失。5.根据权利要求1所述的方法,其中,确定所述第一损失包括正则化。6.根据权利要求1所述的方法,包括:通过反向传播进一步更新所述多个权重直到获得目标准确度。7.一种系统,包括:人工神经网络,其包括相变存储器元件的交叉阵列;计算节点,其包括具有随其体现的程序指令的计算机可读存储介质,所述程序指令能够由所述计算节点的处理器执行以使所述处理器执行包括以下步骤的方法:随机初始化多个权重,所述多个权重中的每个权重对应于所述人工神经网络的突触;将至少一个输入阵列输入到所述人工神经网络;基于所述至少一个输入阵列和所述多个权重从所述人工神经网络获得至少一个输出阵列;比较所述至少一个输出阵列与真值数据以确定第一损失;通过将漂移正则化添加到所述第一损失来确定第二损失,所述漂移正则化与所述至少一个输出阵列的方差正相关;以及通过反向传播基于所述第二损失更新所述多个权重。8.根据权利要求7所述的系统,其中,所述人工神经网络包括相变存储器元件的交叉阵列。9.根据权利要求7所述的系统,其中,所述人工神经网络包括多个层。10.根据权利要求7所述的系统,其中,所述第一损失是交叉熵损失。11.根据权利要求7所述的系统,其中,确定所述第一损失包括正则化。12.根据权利要求7所述的系统,所述方法还包括:通过反向传播进一步更新所述多个权重直到获得目标准确度。13.一种用于训练人工神经网络的计算机程序产品,所述计算机程序产品包括具有随其体现的程序指令的计算机可读...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。