使用不同时间常数的利用矩估计的学习制造技术

一种用于训练模型的技术包括获得模型的训练示例，该模型具有存储在可操作地耦合到硬件处理器的一个或多个计算机可读存储介质上的模型参数。训练示例包括结果和用于解释结果的特征。使用训练示例来计算关于模型的模型参数的梯度。使用该梯度针对所述梯度的相同类型的矩利用两个不同时间常数来计算所述矩的两个估计。使用硬件处理器，使用利用所述两个不同时间常数的矩的两个估计来更新模型的模型参数，以在计算所述梯度的矩的所述至少两个估计时减少误差。计时减少误差。计时减少误差。

【技术实现步骤摘要】
【国外来华专利技术】使用不同时间常数的利用矩估计的学习


[0001]本公开总体涉及机器学习，并且更具体地涉及用于基于矩(moment)估计来训练模型的计算机实现的方法、计算机系统和计算机程序产品。

技术介绍

[0002]随机梯度下降(SGD)被广泛地用于机器学习领域，尤其是在线学习领域。如果适当地设定学习率，则学习过程将是稳定的。然而，学习过程经常变得不稳定，尤其是当尝试以大的学习率进行快速学习时。对于大规模任务，找到足够的学习率通常是困难的。即使使用大的学习率，也需要稳定的性能。存在获得快速收敛比获得准确性更有意义的若干应用，因此需要快速学习。可以理解，当需要动态地适应输入中的新模式时，这种快速学习是合适的。
[0003]为了减轻这种困难，已经开发了各种技术来适应学习率，例如用于基于低阶矩的自适应估计的随机目标函数的基于一阶梯度的优化的算法。该方法根据随机梯度的一阶距和二阶矩的估计来计算针对不同参数的各个自适应学习率。
[0004]尽管这些方法由于其更快的收敛特性而可以减少训练时间，然而，当基本学习率变得更大时，它仍然可能导致学习过程发散。因此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练模型的计算机实现的方法，包括：获得模型的训练示例，所述模型具有存储在可操作地耦合到硬件处理器的一个或多个计算机可读存储介质上的模型参数，所述训练示例包括结果和用于解释所述结果的特征；使用所述训练示例计算关于所述模型的模型参数的梯度；使用所述梯度针对所述梯度的相同类型的矩利用至少两个不同时间常数来计算所述矩的至少两个估计；以及使用硬件处理器，使用利用所述至少两个不同时间常数的所述矩的所述至少两个估计来更新所述模型的所述模型参数，以在计算所述梯度的所述矩的所述至少两个估计的同时减少误差。2.根据权利要求1所述的方法，其中，所述模型参数中的每一个以保守方式用由所述矩的所述至少两个估计的相应分量单独确定的量来更新。3.根据权利要求2所述的方法，其中，响应于所述矩的所述至少两个估计在与所述模型的第一模型参数相对应的分量中不一致，所述第一模型参数按零或一小量被更新。4.根据权利要求3所述的方法，其中，响应于所述矩的所述至少两个估计在对应于所述第一模型参数的分量中一致，根据通过组合对应于所述第一模型参数的所述矩的所述至少两个估计的相应分量而生成的值来更新所述第一模型参数。5.根据权利要求2至4中任一项所述的方法，其中，根据与所述模型的第一模型参数相对应的所述矩的所述至少两个估计的分量的最大值或平均值来更新所述第一模型参数。6.根据前述权利要求中任一项所述的方法，其中所述矩包括作为不同类型的一阶矩和二阶矩，其中所述一阶矩表示所述梯度的平均值，并且所述二阶矩缩放针对所述模型的所述模型参数的个体学习率。7.根据权利要求1至5中任一项所述的方法，其中，所述矩包括作为不同类型的一阶矩和二阶矩，并且所述模型的第一模型参数以取决于与所述第一模型参数相对应的分量中的所述一阶矩的至少两个估计之间的不一致性以及所述分量中的所述二阶矩的至少两个估计之间的大小关系的方式被更新。8.根据前述权利要求中任一项所述的方法，其中，所述时间常数改变矩估计的指数衰减率，并且所述时间常数包括第一时间常数和大于或小于所述第一时间常数的第二时间常数。9.根据前述权利要求中任一项所述的方法，其中，响应于新的训练示例而迭代地执行计算所述梯度、计算所述矩的所述至少两个估计以及更新所述模型参数。10.根据前述权利要求中任一项所述的方法，其中，所述训练示例以流的方式提供，其中，每当新的训练示例到达时更新要训练的所述模型，并且所述模型用于基于输入特征来预测所述结果的值。11.根据权利要求10所述的方法，其中，所述输入特征包括表示在预定时间段上观察到的所述结果的过去值波动的多个元素。12.根据权利要求10所述的方法，其中，所述输入特征包括与所述结果相关的多个元素。13.根据前述权利要求中任一项所述的方法，其中所述梯度是一迭代步骤处的目标函数的随机梯度，其中所述目...

【专利技术属性】
技术研发人员：森村哲郎，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：