数据有偏分布的联邦学习方法、装置、设备、介质和程序制造方法及图纸

本申请实施例提供一种数据有偏分布的联邦学习方法、装置、设备、介质和程序，本申请实施例设计人工智能技术中的自然语言处理技术，该联邦学习方法包括：各分布式节点在分类模型训练过程中，根据训练数据的标签分布，确定分类模型的输出层的各个类别的logit调整量，根据训练结果和各个类别的logit调整量，计算分类模型的损失，根据分类模型的损失对分类模型进行梯度更新，将更新后的梯度发送给中心节点。该方法针对不同类别的样本采用不同的logit调整量计算损失，从而实现细粒度的损失校准，使得模型训练过程更加关注少数类别和缺失类别，从而能够控制模型的偏差程度，保证中心节点聚合后的模型的性能。心节点聚合后的模型的性能。心节点聚合后的模型的性能。

【技术实现步骤摘要】
数据有偏分布的联邦学习方法、装置、设备、介质和程序


[0001]本申请实施例涉及人工智能(Artificial Intelligence，AI)领域，尤其涉及一种数据有偏分布的联邦学习方法、装置、设备、介质和程序。

技术介绍

[0002]联邦学习技术主要解决的是数据“孤岛”的问题，即模型训练所需的数据存放在多个互不通信的分布式节点上，以保证用户隐私。所有分布式节点自行训练模型，并将训练产生的梯度经过加密处理后传输至位于后台的中心节点，由中心节点进行梯度的处理和模型更新，最后再将更新后的模型分发至每个分布式节点。
[0003]在联邦学习的场景下，通常假设各个分布式节点之间的数据相互独立分布(Independent and Identically Distributed，IID)，各个分布式节点基于IID数据进行模型训练。但是在现实场景中，各个节点间的数据分布往往是非独立同分布模式(non
‑
IID)，各个分布式节点上数据的分布可能出现较大差异或者极端分布，此时，各个分布式节点上的局部模型在模型训练时会因为数据分布偏差而收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据有偏分布的联邦学习方法，其特征在于，包括：获取训练数据，所述训练数据中包括多个样本，每个样本的数据包括样本的类别标签；采用所述训练数据对分类模型进行训练，得到训练结果，所述分类模型是中心节点下发的；根据所述训练数据的标签分布，确定所述分类模型的输出层的各个类别的洛吉值logit调整量；根据所述训练结果和各个类别的logit调整量，计算所述分类模型的损失；根据所述损失对所述分类模型进行梯度更新，将更新后的梯度发送给所述中心节点。2.根据权利要求1所述的方法，其特征在于，所述logit调整量用于减小对应类别的logit。3.根据权利要求2所述的方法，其特征在于，logit调整量与类别的样本数呈负相关，或者，logit调整量与类别的出现概率呈负相关。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述根据所述训练数据的标签分布，确定所述分类模型的输出层的各个类别的logit调整量，包括：针对每个类别，根据所述训练数据中所述类别的样本数，确定所述类别的logit调整量。5.根据权利要求4所述的方法，其特征在于，第i个类别的logit调整量为：其中，τ为超参数，n
i
为类别i的样本数。6.根据权利要求5所述的方法，其特征在于，所述根据所述训练结果和各个类别的logit调整量，计算所述分类模型的损失，包括：采用如下公式计算各个样本的交叉熵损失：其中，f
y
(x)表示类别y的预测值，类别y为样本的类别标签，f
i
(x)表示类别i的预测值，为类别y的调整量，为类别i的调整量，i∈K且i不等于y，K为类别的集合，n
y
为类别y的样本数；根据各个样本的交叉熵损失，计算所述分类模型的交叉熵损失。7.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述根据所述训练数据的标签分布，确定所述分类模型的输出层的各个类别的logit调整量，包括：针对每个类别，根据所述训练数据确定所述类别的出现概率；根据所述类别的出现概率，确定所述类别的logit调整量。8.根据权利要求7所述的方法，其特征在于，第i个类别的logit调整量为：其中，λ为超参数，p
i
为类别i的出现概率。9.根据权利要求8所述的方法，其特征在于，所述根据所述训...

【专利技术属性】
技术研发人员：李博，张杰，吴双，丁守鸿，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：