当前位置: 首页 > 专利查询>东北大学专利>正文

一种个性化联邦场景下基于数据分布相似性的聚类方法技术

技术编号:41097620 阅读:41 留言:0更新日期:2024-04-25 13:55
本发明专利技术属于联邦学习场景下的个性化技术领域,公开了一种个性化联邦场景下基于数据分布相似性的聚类方法。不同用户数据在相同模型下的softmax输出均值近似表示用户的真实数据分布,计算Wasserstein距离得到真实数据分布之间的相似性。采用改进的两阶段的层次聚类的方法做聚类,确定簇结构。最后,各个用户分别在自己的簇内做联邦平均,各自更新每个簇的簇头模型,直到簇头模型收敛。本发明专利技术减少中央服务器在执行聚类算法时的计算开销,提升了确定最优簇结构的效率,增强了聚类算法的鲁棒性,有效解决了聚类联邦学习训练效率低的问题。对于真实的联邦环境具有相当的适用价值。

【技术实现步骤摘要】

本专利技术涉及联邦学习场景下的个性化,尤其涉及一种个性化联邦场景下基于数据分布相似性的聚类方法


技术介绍

1、联邦学习作为一种新兴的分布式机器学习范式,允许用户在本地进行模型训练,并将训练好的模型上传到服务器,共同协作训练可共享的全局模型。在整个过程中,本地数据无需传递到集中式服务器,这不仅避免了暴露敏感的用户信息,同时还减少了原始数据传输的通信开销。

2、联邦学习虽然具有隐私保护的优势,但是由于参与联邦学习的用户通常是独立性较强的个体(如手机,笔记本电脑和车等各种智能终端设备),不同用户收集的数据在数据类别、数据特征等方面均存在异构,在服务器处进行聚合操作时,极有可能会偏离全局最优值,从而造成全局模型性能下降。同时,由于联邦学习的中央服务器没有访问用户数据的权限,所以一些数据预处理操作,如均衡、离群点检测等方法受到了限制。数据异构造成的全局模型性能下降是传统联邦学习存在的一个巨大问题。为了解决该问题,个性化联邦学习被提出,并且得到了广泛的研究,其中包括:(1)基于元学习的个性化方法,即利用元学习技术训练一个极易初始化的元模型作为全局模型,然本文档来自技高网...

【技术保护点】

1.一种个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,包括步骤如下:

2.根据权利要求1所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述步骤1-1所有用户模型初始化为相同的随机参数,随机生成一组用户模型参数,将所有用户的用户模型参数设置为。

3.根据权利要求2所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述步骤1-2更新用户模型参数,具体步骤如下:

4.根据权利要求3所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述步骤1-3中央服务器加权聚合用户模型得到全局模型,同步给用户,具体步...

【技术特征摘要】

1.一种个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,包括步骤如下:

2.根据权利要求1所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述步骤1-1所有用户模型初始化为相同的随机参数,随机生成一组用户模型参数,将所有用户的用户模型参数设置为。

3.根据权利要求2所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述步骤1-2更新用户模型参数,具体步骤如下:

4.根据权利要求3所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述步骤1-3中央服务器加权聚合用户模型得到全局模型,同步给用户,具体步骤如下:

5.根据权利要求4所述的个性化联邦场景下基于数据分布相似性的聚类方法,其特征在于,所述第二步的聚类度量指标计算如下,将用户的每条本地数据输入到用户模型中,得到用户模型的softmax层输出,最后对所有本地数据的softmax层输出结果取平均值,得到该用户的数据分布表示,作为后续聚类的聚类度量指标;

<...

【专利技术属性】
技术研发人员:毕远国周易宁郅明见项天敖
申请(专利权)人:东北大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1