基于梯度修正和元学习的联邦学习方法、系统及存储介质技术方案

技术编号:40194417 阅读:45 留言:0更新日期:2024-01-26 23:57
本发明专利技术涉及一种基于梯度修正和元学习的联邦学习方法、系统及存储介质,该方法包括:本地终端的模型训练过程,采用元学习框架来统一本地模型性能最大化和特征分布一致性的优化目标,所述元学习框架包括元训练阶段和元更新阶段,其中在元训练阶段仅关注本地模型向本地数据分布拟合,在元更新阶段同时进行本地数据分布拟合和特征空间一致性约束;服务器端的全局聚合过程,采用基于梯度修正的参数聚合技术,通过计算不同终端节点贡献的梯度向量之间的一致性,动态调整各梯度向量的贡献权重值,并使用更新后的权重值聚合得到新的全局模型。与现有技术相比,本发明专利技术具有实现了全局模型的强泛化性和本地模型的高性能兼顾等优点。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,尤其是涉及一种基于梯度修正和元学习的联邦学习方法、系统及存储介质


技术介绍

1、当前随着数字化、信息化的不断深入,数据隐私保护和数据安全问题越来越受到重视,比如手机中的传感器数据,监控摄像头数据,医院诊疗数据等。传统的基于中心学习范式的深度学习技术往往将各种渠道收集到的数据汇总到一个中心计算节点统一进行模型训练,但是这种方式无法保证数据隐私在收集过程中不被泄漏。

2、基于上述问题,提出了联邦学习框架,从而来确保拥有数据的终端在训练过程中的隐私安全。具体而言,联邦学习框架在结构上分为一个中心服务器和多个终端,数据存储在各个终端上,每个终端负责在自己的数据上完成本地训练,并将本地模型参数或梯度上传到中心服务器;而中心服务器只负责聚合终端传入的参数,将聚合后的参数下发给各个终端。本地训练、中心聚合两个阶段交替进行,最终中心服务器上的聚合模型在各个终端数据上训练收敛,得到一个收敛的全局模型。

3、在整个联邦学习系统的训练过程中,中心节点会产生一个全局模型,每个参与联邦训练的终端节点会产生各自的本地模型。由于不同本文档来自技高网...

【技术保护点】

1.一种基于梯度修正和元学习的联邦学习方法,其特征在于,该方法包括:

2.根据权利要求1所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段只使用任务相关损失函数拟合本地的数据分布。

3.根据权利要求2所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段的具体过程如下:

4.根据权利要求3所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元更新阶段,本地终端保留上一次中心节点下发的全局模型参数并设计一个全局泛化和终端性能兼顾的损失函数其中

5.根据权利要求3所述的一种基于梯度修正和元学习的...

【技术特征摘要】

1.一种基于梯度修正和元学习的联邦学习方法,其特征在于,该方法包括:

2.根据权利要求1所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段只使用任务相关损失函数拟合本地的数据分布。

3.根据权利要求2所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段的具体过程如下:

4.根据权利要求3所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元更新阶段,本地终端保留上一次中心节点下发的全局模型参数并设计一个全局泛化和终端性能兼顾的损失函数其中

5.根据权利要求3所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述特征一致性损失函数约束元训练后的本地模型参数和全局模型参数提取...

【专利技术属性】
技术研发人员:王延峰张瑞鹏樊子卿徐勤伟姚江超张娅
申请(专利权)人:上海人工智能创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1