一种模型训练方法以及相关装置制造方法及图纸

本申请实施例公开了一种模型训练方法以及相关装置，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景中。本申请实施例通过联邦学习，不仅在所有攻击的防御率上得到提高，而且也提高了对于未遭到攻击的原始样本的分类准确率。前述的方法包括：获取训练样本，训练样本包括原始样本和对抗样本，对抗样本是基于预设对抗训练模型对所述原始样本进行对抗训练处理得到的；基于目标权重对训练样本进行重加权处理，并对重加权处理后的训练样本进行训练，得到局部节点的训练模型；确定局部节点的训练模型的梯度信息；向中心节点发送梯度信息，梯度信息用于中心节点更新中心节点的训练模型。模型。模型。

【技术实现步骤摘要】
一种模型训练方法以及相关装置


[0001]本申请实施例涉及计算机
，具体涉及一种模型训练方法以及相关装置。

技术介绍

[0002]随着智能设备的日益普及，其带来的安全问题以及对目标对象的隐私的威胁也逐渐受到人们的关注。当目标对象出于隐私保护的目的而不愿意将个人数据上传至后台服务器时，如何利用分散在各个目标对象的智能设备中的数据完成模型的训练和迭代更新，就成为了亟待解决的问题。
[0003]在联邦学习的场景下，由于存在通信与模型分发的步骤，中心节点的模型很容易被不法对象获取到，从而遭受到“白盒”对抗攻击，带来巨大的安全隐患，如何提高联邦学习场景下的对抗鲁棒性成为了业界的热点问题。在对抗攻防领域中，对抗训练已经被证明是提高对抗鲁棒性的最有效方式。而将对抗训练直接与联邦学习结合是目前业界最常采用的方案，该方案与普通的联邦学习唯一的区别在于将局部节点的普通模型训练改为对抗训练。
[0004]然而，在实际使用过程中，数据往往不符合独立同分布，而且数据在不同类型之间存在严重的不均衡现象。这就使得基于对抗训练直接与联邦学习技术结合的模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，应用于局部节点，所述模型训练方法包括：获取训练样本，所述训练样本包括原始样本和对抗样本，所述对抗样本是基于预设对抗训练模型对所述原始样本进行对抗训练处理得到的；基于目标权重对所述训练样本进行重加权处理，并对所述重加权处理后的训练样本进行训练，得到所述局部节点的训练模型；确定所述局部节点的训练模型的梯度信息；向中心节点发送所述梯度信息，所述梯度信息用于所述中心节点更新所述中心节点的训练模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述对进行所述重加权处理后的训练样本进行对抗训练，得到所述局部节点的训练模型，包括：通过预设交叉熵损失函数对所述重加权处理后的训练样本进行训练，得到所述局部节点的训练模型，所述局部节点的训练模型受到所述中心节点的训练模型的KL散度值的约束。3.根据权利要求1或2所述的模型训练方法，其特征在于，所述目标权重是基于所述训练样本与所述训练样本的分类边界之间的距离得到。4.根据权利要求3所述的模型训练方法，其特征在于，所述训练样本与所述训练样本的分类边界之间的距离，是基于投影梯度下降PGD算法进行迭代攻击成功时的迭代次数得到。5.根据权利要求1
‑
4中任一项所述的模型训练方法，其特征在于，所述模型训练方法还包括：接收所述中心节点发送的更新后的所述中心节点的训练模型。6.一种模型训练方法，其特征在于，应用于中心节点，所述模型训练方法包括：获取N个局部节点的训练模型的梯度信息，其中，每个所述局部节点的训练模型是由对应的局部节点基于目标权重对训练样本进行重加权处理、并对重加权处理后的训练样本进行训...

【专利技术属性】
技术研发人员：李博，张杰，徐江河，刘世策，吴双，丁守鸿，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：