一种VICCL算法缓解维度崩溃及漂移问题的方法技术

本发明专利技术提供的一种VICCL算法缓解维度崩溃及漂移问题的方法，包括以下步骤：①计算嵌入向量之间的均方距离D(Z，Z′)；②将方差正则化项V定义为关于沿着批次维度的嵌入的标准偏差的铰链函数V(Z)；③定义协方差C(Z)，将每个嵌入的变量去相关；④向各方发送全局模型，从各方接收本地模型，并进行模型对比学习，使用加权平均更新全局模型。本发明专利技术基于保留嵌入信息内容以及使用对比学习限制局部模型训练从而缓解维度崩溃和客户端漂移的原则来训练联邦学习模型，使用对比学习根据全局模型来对局部模型的训练进行限制从而缓解客户端漂移。

【技术实现步骤摘要】

本专利技术涉及一种viccl算法缓解维度崩溃及漂移问题的方法。

技术介绍

1、在联邦学习中，各个客户端可以在无需共享原始私有数据的条件下，共同训练高质量的人工智能模型，这些客户端可以是移动设备、传感器、终端等等。联邦学习中最经典的方法是fedavg，通过将多个客户端的本地模型进行平均来得到全局模型，从而实现在多客户端场景下进行模型协同训练。

2、然而，联邦学习面临着由来自不同客户端的非iid(non-iid)数据分布以及它们的计算和通信能力的多样性引起的异构性挑战。严重的异构性甚至会轻易地引起客户端漂移，导致不稳定的收敛和较差的模型性能。具体地，在局部更新中，每个客户端模型将求解其自己的局部最优值(即，拟合其个体特征分布)，而不是求解全局目标，这引起了客户端更新之间的漂移。同时，在聚合这些发散的局部模型的全局更新中，服务器模型进一步被不匹配的局部最优值的集合分散注意力，这随后导致服务器模型处的全局漂移。

3、此外，度量学习、自监督学习以及类增量学习等领域已经研究了表示之间的维度坍塌。联邦学习中的维度坍塌也被提出，并发现更强的数据异构本文档来自技高网...

【技术保护点】

1.一种VICCL算法缓解维度崩溃及漂移问题的方法，其特征在于：包括以下步骤：

2.如权利要求1所述的VICCL算法缓解维度崩溃及漂移问题的方法，其特征在于：所述步骤④具体为，从服务器接收全局模型ωt，并在本地训练阶段将模型更新为对于每个输入x，从全局模型ωt中提取x的表示使得来自上一轮的局部模型的x的表示使得以及来自被更新的局部模型的x的表示使得然后以模型总体损失最小化的方式更新全局模型ωt。

3.如权利要求2所述的VICCL算法缓解维度崩溃及漂移问题的方法，其特征在于：所述模型总体损失最小化的方式为，满足如下条件的模型总体损失L(Z，Z′)最小化：

...

【技术特征摘要】

1.一种viccl算法缓解维度崩溃及漂移问题的方法，其特征在于：包括以下步骤：

2.如权利要求1所述的viccl算法缓解维度崩溃及漂移问题的方法，其特征在于：所述步骤④具体为，从服务器接收全局模型ωt，并在本地训练阶段将模型更新为对于每个输入x，从全局模型ωt中提取x的表示使得来自上一轮的局部模型的x的表示使得以及来自被更新的局部模型的x的表示使得然后以模型总体损失最小化的方式更新全局模型ωt。

3.如权利要求2所述的viccl算法缓解维度崩溃及漂移问题的方法，其特征在于：所述模型总体损失最小化的方式为，满足如下条件的模型总体损失l(z，z′)最小化：

4.如权利要求1所述的viccl算法缓...

【专利技术属性】
技术研发人员：蒋明，李芸，郭标，张硕，张峰，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人