面向数据非独立同分布场景的联邦学习方法及系统技术方案

本发明专利技术公开了一种面向数据非独立同分布场景的联邦学习方法和系统，包括多个客户端和中心服务器；中心服务器用于将目标数据集以非独立分布方式划分成多个子数据集使得每个子数据集包含所有种类数据，并分配子数据集到客户端；客户端用于基于接收的子数据集，依据当前本地锚点指导子数据集训练当前本地模型，并更新本地锚点和本地模型参数，依据约定的通信方式上传模型数据至中心服务器；中心服务器还用于根据接收的模型数据进行聚合得到聚合数据，依据约定的通信方式下传聚合数据至客户端以作为下一轮联邦学习的基础，该方法在保障用户数据安全的基础上，提升特定场景下联邦学习系统的实用性，同时解决联邦学习系统的通信效率、统计异构问题。统计异构问题。统计异构问题。

【技术实现步骤摘要】
面向数据非独立同分布场景的联邦学习方法及系统


[0001]本专利技术属于人工智能和信息安全领域，尤其涉及一种面向数据非独立同分布场景的联邦学习方法及系统。

技术介绍

[0002]随着大数据、人工智能、云计算等新技术在各行业不断深入应用，全球数据呈现爆发增长、海量集聚的特点，数据的价值愈发凸显。数据作为生产要素的流通交易，面临确权和隐私保护两大关键难题。数据本质上是信息，不具备独享性或专享性，多数人可同时占有。数字经济时代，与个人有关的信息传播边际成本几乎为零，能够迅速传遍整个世界，这种低成本使得数据保护面临特殊困难。目前，公司和组织等越来越多地收集用户的详细信息，一方面，能通过这些属于不同组织的原始数据抽取出有价值的信息，这些信息能通过机器学习技术来提升产品、服务和福利的质量；另一方面，在分布式场景下会存在潜在的滥用和攻击行为，这对数据隐私和安全提出了极大地挑战。传统从用户端收集数据整合后训练机器学习模型的方式被担忧可能会侵犯隐私。
[0003]联邦学习(Federated Learning,FL)提供了一种灵活的解决方式，允许机器学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数据非独立同分布场景的联邦学习系统，其特征在于，包括多个客户端和中心服务器，每个客户端与中心服务器建有通信通道；中心服务器用于将目标数据集以非独立分布方式划分成多个子数据集使得每个子数据集包含所有种类数据，还用于分配子数据集到客户端使得每个客户端均拥有1个子数据集；客户端用于基于接收的子数据集，依据当前全局锚点指导子数据集训练当前本地模型，并更新本地锚点和本地模型参数，依据约定的通信方式上传模型数据至中心服务器，其中，本地锚点为根据本地数据对应的特征向量确定的能够代表分类类别的特征点，模型数据包括新本地锚点、本地模型参数；中心服务器还用于根据接收的模型数据进行聚合得到聚合数据，依据约定的通信方式下传聚合数据至客户端以作为下一轮联邦学习的基础，其中，聚合数据包括对所有新本地锚点聚合得到的全局锚点、对所有本地模型参数聚合得到的全局模型参数。2.根据权利要求1所述的面向数据非独立同分布场景的联邦学习系统，其特征在于，中心服务器将目标数据集以非独立分布方式划分成多个子数据集时，采用基于标签的非独立分布方式，包括：首先，根据联邦学习系统中客户端数量与数据标签种类设置双随机矩阵的行参数和列参数；然后，根据设置的行参数和列参数生成双随机矩阵；最后，将目标数据集按照生成的双随机矩阵进行数据划分，以使每个子数据集包含所有种类数据。3.根据权利要求1所述的面向数据非独立同分布场景的联邦学习系统，客户端依据当前全局锚点指导子数据集训练当前本地模型时，采用的损失函数total loss为：total loss＝base loss+α*anchor loss+β*triplet loss其中，α和β为超参数，base loss为基于本地模型输出的分类预测结果构建关于分类预测任务的任务损失；anchor loss为基于当前本地锚点与每类数据对应的特征向量构建指导本地模型训练的指导损失；triplet loss为不同类别的特征向量之间的对比损失。4.根据权利要求3所述的面向数据非独立同分布场景的联邦学习系统，指导损失anchor loss表示为：d
i
＝distance(embedding
i
，local anchor
i
)其中，i为类别索引，k为总类别数，y
i
表示第i类别的标签，d
i
表示第i类数据所生成的特征向量embedding
i
与当前本地锚点local anchor
i
之间的距离，distance()表示距离计算操作，包括欧式距离计算操作或余弦相似度操作，CrossEntropyLoss()表示交叉熵损失函数；对比损失triplet loss表示为：
d
ij
＝distance(embedding
i
，embedding
j
)其中，j为类别索引，y
j
表示第j类别的标签，margin表示预设阈值，取值为0
‑
1，max{}表示求最大值函数，d
ij
表示第i类数据所生成的特征向量embedding
i
与第j类数据所生成的特征向量embedding
j
之间的距离。5.根据权利要求1所述的面向数据非独立同分布场景的联邦学习系统，客户端在训练本地模型时，采用动量优化算法更新本地锚点，具体公式为：local anchor
i
’
＝γ*embedding
i
+(1
‑
γ)*local anchor
i
，i＝1，...，k其中，i为类别索引，k为总类别数，local anchor
i
’
表示第i类数据对应的新本地锚点，local anchor
i
表示第i类数据对应的当前本地锚点，embedding
i
表示第i类数据所生成的特征向量embedding
i
，γ表示锚点更新动量，为本地训练过程中的每批数据数量batch size与本地训练过程中数据总量data size的比值，即6.根据权利要求1所述的面向数据非独立同分布场景的联邦学习系统，中心服务器对所有本地模型参数聚合采用的聚合方式为：所有本地模型参数聚合采用的聚合...

【专利技术属性】
技术研发人员：魏成坤，陈文智，林东宇，江鑫楠，张紫徽，王总辉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：