通过计算机训练预测模型的方法及装置制造方法及图纸

本说明书实施例提供一种通过计算机训练预测模型的方法和装置，可以将较前周期状态下的预测模型，作为较后周期的预测模型的老师模型，仅需要老师模型的历史概率分布，和样本标签一起为模型参数的调整指引方向。由于每个训练周期中，各个状态下的输入样本都随机抽取，如果当前训练周期当前状态下输入的当前样本有多个，则这多个样本可以携带有历史训练周期中不同状态下的模型参数信息，相当于同时向多个老师模型学习，加快学习效率，提升模型学习效果。同时，存储的数据仅为各个样本在相关历史周期的概率分布，以较低的计算成本和存储成本，达到同时向多个老师模型学习的效果，可以提高模型训练的有效性。

The method and device of forecasting model by computer training

【技术实现步骤摘要】
通过计算机训练预测模型的方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及通过计算机训练预测模型的方法及装置。
技术介绍
深度神经网络在计算机视觉、自然语言处理等等领域具有远超过传统方法的效果，成为人工智能领域较常用的方法。通常来讲，神经网络的深度越深，期望的预测效果越好。但深度神经网络的训练存在过拟合、梯度消失、训练震荡等问题，使其用普通的梯度下降优化方法难以达到非常好的预测效果。很多工作证明在训练过程中老师-学生模型对提升神经网络的效果有很大帮助。具体做法为将前面训练过程的模型作为后面训练过程的老师，用于指导后面的训练过程，从而使训练过程更稳定，提升神经网络的效果。常规技术的老师-学生模型(Teacher-StudentFramework)中，学生模型是最终需要的目标神经网络模型，老师模型是另外一个训练好的神经网络，在用训练数据对学生模型的训练过程中，老师模型对训练数据做出自己的预测输出，这些预测输出用于指导学生模型的训练，因此学生模型在训练过程中不仅要学会预测样本正确的标签，还要是自己输出的概率分布和老师模型的尽可能本文档来自技高网...

【技术保护点】
1.一种通过计算机训练预测模型的方法，所述预测模型用于对业务数据进行处理，确定所述业务数据对应到预先确定的各个类别上的概率，以对所述业务数据进行分类操作，所述预测模型训练过程包括多个训练周期，各个训练周期对所有训练样本按照随机顺序进行遍历，其中，针对当前训练周期中的当前样本，所述方法包括：/n将所述当前样本的特征数据输入所述预测模型，得到所述预测模型对所述当前样本预测的当前概率分布，所述当前概率分布描述所述当前样本在各个类别上分别对应的各个当前预测概率；/n根据所述当前样本对应的样本标签，以及各个当前预测概率，向损失函数的值减小的方向，确定对模型参数的第一调节指标；/n获取所述当前训练周期之前...

【技术特征摘要】
1.一种通过计算机训练预测模型的方法，所述预测模型用于对业务数据进行处理，确定所述业务数据对应到预先确定的各个类别上的概率，以对所述业务数据进行分类操作，所述预测模型训练过程包括多个训练周期，各个训练周期对所有训练样本按照随机顺序进行遍历，其中，针对当前训练周期中的当前样本，所述方法包括：
将所述当前样本的特征数据输入所述预测模型，得到所述预测模型对所述当前样本预测的当前概率分布，所述当前概率分布描述所述当前样本在各个类别上分别对应的各个当前预测概率；
根据所述当前样本对应的样本标签，以及各个当前预测概率，向损失函数的值减小的方向，确定对模型参数的第一调节指标；
获取所述当前训练周期之前的若干训练周期中，所述当前样本的历史概率分布，所述历史概率分布用于描述针对所述当前样本在所述若干训练周期中各个类别上分别对应的各个历史预测概率；
利用所述历史概率分布与所述当前概率分布的对比，确定对模型参数的第二调节指标；
基于所述第一调节指标和所述第二调节指标，调整模型参数，以训练所述预测模型。


2.根据权利要求1所述的方法，所述当前样本包括预定数量的训练样本，所述模型参数包括第一模型参数，所述第一模型参数在所述第一调节指标中对应第一调节量值；所述根据所述当前样本对应的样本标签，以及各个当前预测概率，向损失函数的值减小的方向，确定对模型参数的第一调节指标包括：
针对所述预定数量的训练样本中的各个训练样本，向损失函数的值减小的方向，分别确定对所述第一模型参数的各个调节量值；
将各个调节量值的平均值作为所述第一调节量值。


3.根据权利要求1所述的方法，其中，所述获取所述当前训练周期之前的若干训练周期中，所述当前样本的历史概率分布包括：
对所述若干训练周期中，所述当前样本分别对应的各个概率分布取平均，得到的概率分布作为所述历史概率分布。


4.根据权利要求1所述的方法，其中，所述利用所述历史概率分布与所述当前概率分布的对比，确定对模型参数的第二调节指标包括：
确定所述历史概率分布与所述当前概率分布的差异参数，所述差异参数包括以下中的一种：KL散度、交叉熵、JS散度、方差；
利用所述差异参数确定所述第二调节指标。


5.根据权利要求4所述的方法，其中，所述当前样本包括预定数量的训练样本，所述确定所述历史概率分布与所述当前概率分布的差异参数包括：
针对所述预定数量的训练样本中的各个训练样本，分别确定相应历史概率分布与相应当前概率分布的各个差异参数；
将各个差异参数的平均值作为所述历史概率分布与所述当前概率分布的差异参数。


6.根据权利要求4所述的方法，其中，所述当前样本包括预定数量的训练样本，所述预定数量的训练样本中的各个训练样本，分别对应各个差异参数，所述利用所述差异参数确定所述第二调节指标包括：
利用各个差异参数，分别确定对所述模型参数的各个调节指标；
将各个调节指标的平均值作为所述第二调节指标。


7.根据权利要求1所述的方法，其中，所述基于所述第一调节指标和所述第二调节指标，调整模型参数包括：
利用以下中的一项调整模型参数：
所述第一调节指标与所述第二调节指标的和；
所述第一调节指标与所述第二调节指标的加权和。


8.一种...

【专利技术属性】
技术研发人员：蒋亮，温祖杰，梁忠平，张家兴，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33