一种用于联邦学习的优化聚类方法技术

本发明专利技术提供一种用于联邦学习的优化聚类方法，该方法通过计算各个节点的样本类分数向量，并且按样本类别求平均得到一个向量矩阵；该向量矩阵的维度只取决于样本类别的大小，不依赖于模型大小或者样本数量，然后把该向量矩阵作为k

【技术实现步骤摘要】
一种用于联邦学习的优化聚类方法


[0001]本专利技术涉及联邦学习的训练方法领域，更具体地，涉及一种用于联邦学习的优化聚类方法。

技术介绍

[0002]联邦学习是一个框架，允许多个用户作为客户端协作训练共享的全局模型，而不需要从本地设备移动数据到中心节点。中央服务器协调由多个回合组成的联邦学习过程，但联邦学习存在节点数据不均衡问题，导致收敛速度慢并且效果不好。为了解决联邦学习中节点数据不均衡问题，现有的通过聚类的方法是将所有节点的本地模型参数进行聚类，同一类中的节点本地具有数据相似性。然后从每个类中随机选择一个作为代表，上传服务器，服务器再进行聚合操作。这一目从本质上可以使得每次参与聚合的节点的数据是均匀的。但通常模型的参数量非常大，聚类复杂度高，使得计算开销非常大。
[0003]在现有的技术中，一般都是使用k
‑
means算法对整个模型参数进行聚类，计算开销大。

技术实现思路

[0004]本专利技术提供一种可以保证聚类的准确性的用于联邦学习的优化聚类方法。
[0005]为了达到上述技术效果，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于联邦学习的优化聚类方法，其特征在于，包括以下步骤：S1：服务器随机初始化一个全局模型w，并下发到各个节点c(i)；S2：各个节点使用本地数据集迭代n轮得到更新后的本地模型w(i)；S3：每个节点各自使用本地数据集在本地模型w(i)上面进行一次预测得到样本的类分数向量；S4：然后按照样本类别0
‑
9，对上面的样本类分数按类别进行平均；S5：将步骤S4中得到的平均类分数向量组成一个向量矩阵，并上传服务器；S6：服务器对所有节点上传的向量矩阵使用k
‑
means聚成10类，并从每个类中随机挑选1个节点作为代表参与本次聚合；S7：选中的节点上传本地训练的模型w(i)，服务器使用聚合算法得到一个更新的全局模型w
’
，并下发至各个节点c(i)；S8：返回步骤S2，直到训练k轮。2.根据权利要求1所述的用于联邦学习的优化聚类方法，其特征在于，所述步骤S2中，n的取值由本地数据量的大小确定，n的取值全局模型精度影响忽略。3.根据权利要求2所述的用于联邦学习的优化聚类方法，其特征在于，所述n≤10。4.根据权利要求3所述的用于联邦学习的优化聚...

【专利技术属性】
技术研发人员：吴维刚，占聪聪，
申请(专利权)人：中山大学，
类型：发明
国别省市：