一种模型训练方法和系统技术方案

本说明书实施例公开了一种模型训练方法。所述方法包括：获取训练样本；使用所述训练样本，所述训练样本为样本图像、样本文本或样本语音，通过随机梯度朗之万动力学算法对初始模型进行多轮训练，得到目标模型，所述目标模型为图像分类模型、文本分类模型或语音分类模型，其中，所述多轮训练包括：基于所述训练样本，确定模型参数对应的梯度下降值；向所述梯度下降值添加随机噪声；判断本轮训练中所述随机梯度朗之万动力学算法是否进入朗之万动力学状态；当未进入朗之万动力学状态，基于所述添加了随机噪声后的梯度下降值，优化模型参数，进行下一轮训练；当进入朗之万动力学状态，从模型参数的后验概率分布中采样模型参数，确定所述目标模型。

A model training method and system

【技术实现步骤摘要】
一种模型训练方法和系统
本说明书涉及机器学习领域，特别涉及一种模型训练方法、系统、装置以及可读存储介质。
技术介绍
机器学习模型的准确度长期以来都是评价模型性能的核心标准之一。而即使是经过充分训练的模型，也很容易被对抗样本攻破，导致模型给出错误的分类结果。对抗样本对分类模型分类结果的影响有可能会导致财产损失乃至威胁生命。例如，在保险理赔时，经过修改的事故图像能够使保险理赔模型判定的损伤情况比实际情况严重，从而导致过高的理赔数额。又例如，用户可以修改其面部图像，使人脸识别模型将其识别为其他用户，以盗取其他用户的信息。再例如，一个经过稍加修改的实体停车标志能够使得一个实时的物体识别系统将其误识别为限速标志，从而可能造成交通事故。因此，如何以较低成本有效提高模型的鲁棒性成为机器学习领域亟待解决的问题。
技术实现思路
本说明书实施例的一个方面提供一种模型训练方法。所述模型训练方法包括：获取训练样本；使用所述训练样本，通过随机梯度朗之万动力学算法对初始模型进行多轮训练，得到目标模型，所述目标模型为图像分类模型、文本分类模型或语音分类模型，其中，所述多轮训练包括：基于所述训练样本，确定模型参数对应的梯度下降值；向所述梯度下降值添加随机噪声；判断本轮训练中所述随机梯度朗之万动力学算法是否进入朗之万动力学状态；当未进入朗之万动力学状态，基于所述添加了随机噪声后的梯度下降值，优化模型参数，进行下一轮训练；当进入朗之万动力学状态，从模型参数的后验概率分布中采样模型参数，确定所述目标模型。本说明书实施例的另一个方面提供一种模型训练系统，所述系统包括获取模块和训练模块；所述获取模块，用于获取训练样本；所述训练模块，用于使用所述训练样本，通过随机梯度朗之万动力学算法对初始模型进行多轮训练，得到目标模型，所述目标模型为图像分类模型、文本分类模型或语音分类模型，其中，所述多轮训练包括：基于所述训练样本，确定模型参数对应的梯度下降值；向所述梯度下降值添加随机噪声；判断本轮训练中所述随机梯度朗之万动力学算法是否进入朗之万动力学状态；当未进入朗之万动力学状态，基于所述添加了随机噪声后的梯度下降值，优化模型参数，进行下一轮训练；当进入朗之万动力学状态，从模型参数的后验概率分布中采样模型参数，确定所述目标模型。本说明书实施例的另一个方面提供一种模型训练装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如上所述的模型训练方法。本说明书实施例的另一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如上所述的模型训练方法。附图说明本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的模型训练系统的示例性模块图；图2是根据本说明书一些实施例所示的模型训练的示例性流程图；以及图3是根据本说明书一些实施例所示的模型应用的示例性流程图。具体实施方式为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。模型参数优化算法的选择对于模型的训练至关重要。随机梯度下降算法(SGD，StochasticGradientDescent)具有很多的优良性质，SGD算法能够自动逃离鞍点和比较差的局部最优点，并且在快速计算的基础上，最终计算出来的结果也较好。本说明书的实施例在模型训练过程中采用朗之万动力学算法(SGLD，StochasticgradientLangevindynamics)对模型参数进行优化。随机梯度朗之万动力学算法(SGLD，StochasticgradientLangevindynamics)，是一种结合了SGD算法、罗宾斯-门罗(Robbins-Monro)优化算法和朗之万动力学(Langevindynamics)的一种优化算法。基于SGLD算法来训练模型，SLGD算法在优化过程中可以给模型的梯度添加随机噪声，而对抗样本的生成方式大多是根据模型的梯度信息设计的一些攻击方式，因此，在模型训练过程中，向模型梯度添加随机噪声，可以使得对抗样本由于模型梯度中已经具有随机噪声而攻击能力降低，从而提高了模型鲁棒性。本说明书提供的模型训练方法可以应用于多种机器学习模型训练，包括分类模型与回归模型等。所述分类模型可以包括k近邻(k-NearestNeighbors，KNN)模型、感知机、朴素贝叶斯模型、决策树模型、支持向量机(SupportVectorMachine，SVM)模型、自适应提升(AdaBoost)模型、随机森林、贝叶斯网络、神经网络等。所述回归模型包括线性回归、逻辑回归、多项式回归(PolynomialRegression)、逐步回归(StepwiseRegression)、岭回归(RidgeRegression)、套索回归(LassoRegression)、弹性回归(ElasticNetRegression)等。仅出于说明的目的，本说明书以分类模型为例，对披露的技术方案进行详细阐述，并不旨在限制本说明书的范围。以下通过对附图的描述阐述本说明书披露的技术方案。图1是根据本说明书一些实施例所示的模型训练系统的示例性模块图。所述系统可以获取训练样本，并基于所述训练样本进行模型训练。如图1所示，所述模型训练系统可以包括获取模块110和训练模块120。获取模块110可以获取训练样本。在一些实施例中，训练样本可以是指输入到模型中的样本数据。在一些实施例中，所述训练样本可以是图像样本、文本样本、语音样本等，图像样本可以是人脸图像样本、商品图像样本、保险图像样本等，文本样本可以是商品的文本描述，语音样本可以是人声。获本文档来自技高网...

【技术保护点】
1.一种模型训练方法，所述方法包括：/n获取训练样本，所述训练样本为样本图像、样本文本或样本语音；/n使用所述训练样本，通过随机梯度朗之万动力学算法对初始模型进行多轮训练，得到目标模型，所述目标模型为图像分类模型、文本分类模型或语音分类模型，其中，所述多轮训练包括：/n基于所述训练样本，确定模型参数对应的梯度下降值；/n向所述梯度下降值添加随机噪声；/n判断本轮训练中所述随机梯度朗之万动力学算法是否进入朗之万动力学状态；/n当未进入朗之万动力学状态，基于所述添加了随机噪声后的梯度下降值，优化模型参数，进行下一轮训练；/n当进入朗之万动力学状态，从模型参数的后验概率分布中采样模型参数，确定所述目标模型。/n

【技术特征摘要】
1.一种模型训练方法，所述方法包括：
获取训练样本，所述训练样本为样本图像、样本文本或样本语音；
使用所述训练样本，通过随机梯度朗之万动力学算法对初始模型进行多轮训练，得到目标模型，所述目标模型为图像分类模型、文本分类模型或语音分类模型，其中，所述多轮训练包括：
基于所述训练样本，确定模型参数对应的梯度下降值；
向所述梯度下降值添加随机噪声；
判断本轮训练中所述随机梯度朗之万动力学算法是否进入朗之万动力学状态；
当未进入朗之万动力学状态，基于所述添加了随机噪声后的梯度下降值，优化模型参数，进行下一轮训练；
当进入朗之万动力学状态，从模型参数的后验概率分布中采样模型参数，确定所述目标模型。


2.根据权利要求1所述的方法，所述随机噪声为服从高斯分布、伯努利分布或泊松分布的噪声。


3.根据权利要求1所述的方法，所述训练样本为含有用户个人信息的图像、文本或语音；
所述目标模型用于确定用户身份。


4.根据权利要求1所述的方法，所述方法还包括：
向所述目标模型输入对抗样本，所述对抗样本通过在正常图像、文本或语音中添加干扰后得到；
用所述目标模型对所述对抗样本进行分类，得到正确的分类结果。


5.一种模型训练系统，所述系统包括获取模块和训练模块；
所述获取模块，用于获取训练样本，所述训练样本为样本图像、样本文本或样本语音；
所述训练模块，用于使用所述训练样本，通过随机梯度朗之万动力学算法对初始模型进行多...

【专利技术属性】
技术研发人员：郇兆鑫，吴秉哲，张晓露，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33