【技术实现步骤摘要】
本专利技术涉及人工智能领域,尤其是涉及一种基于梯度修正和元学习的联邦学习方法、系统及存储介质。
技术介绍
1、当前随着数字化、信息化的不断深入,数据隐私保护和数据安全问题越来越受到重视,比如手机中的传感器数据,监控摄像头数据,医院诊疗数据等。传统的基于中心学习范式的深度学习技术往往将各种渠道收集到的数据汇总到一个中心计算节点统一进行模型训练,但是这种方式无法保证数据隐私在收集过程中不被泄漏。
2、基于上述问题,提出了联邦学习框架,从而来确保拥有数据的终端在训练过程中的隐私安全。具体而言,联邦学习框架在结构上分为一个中心服务器和多个终端,数据存储在各个终端上,每个终端负责在自己的数据上完成本地训练,并将本地模型参数或梯度上传到中心服务器;而中心服务器只负责聚合终端传入的参数,将聚合后的参数下发给各个终端。本地训练、中心聚合两个阶段交替进行,最终中心服务器上的聚合模型在各个终端数据上训练收敛,得到一个收敛的全局模型。
3、在整个联邦学习系统的训练过程中,中心节点会产生一个全局模型,每个参与联邦训练的终端节点会产生各自
...【技术保护点】
1.一种基于梯度修正和元学习的联邦学习方法,其特征在于,该方法包括:
2.根据权利要求1所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段只使用任务相关损失函数拟合本地的数据分布。
3.根据权利要求2所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段的具体过程如下:
4.根据权利要求3所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元更新阶段,本地终端保留上一次中心节点下发的全局模型参数并设计一个全局泛化和终端性能兼顾的损失函数其中
5.根据权利要求3所述的一种基
...【技术特征摘要】
1.一种基于梯度修正和元学习的联邦学习方法,其特征在于,该方法包括:
2.根据权利要求1所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段只使用任务相关损失函数拟合本地的数据分布。
3.根据权利要求2所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元训练阶段的具体过程如下:
4.根据权利要求3所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述元更新阶段,本地终端保留上一次中心节点下发的全局模型参数并设计一个全局泛化和终端性能兼顾的损失函数其中
5.根据权利要求3所述的一种基于梯度修正和元学习的联邦学习方法,其特征在于,所述特征一致性损失函数约束元训练后的本地模型参数和全局模型参数提取...
【专利技术属性】
技术研发人员:王延峰,张瑞鹏,樊子卿,徐勤伟,姚江超,张娅,
申请(专利权)人:上海人工智能创新中心,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。