一种基于历史更新修正的联邦遗忘学习方法技术

技术编号:41345543 阅读:20 留言:0更新日期:2024-05-20 10:01
本发明专利技术公开了一种基于历史更新修正的联邦遗忘学习方法,在联邦学习训练阶段每个轮次的历史更新都会被服务器端存储保留,当收到遗忘请求时,客户端会进行方向修正训练得到校准更新通过校准更新对相应轮次的历史更新进行修正,获得修正后的更新初始模型在多轮次修正更新后重构出遗忘模型;其中修正过程中同时进行主动遗忘与被动遗忘,目标客户端的更新用于主动遗忘,其余客户端的用于被动遗忘。本发明专利技术实现了高效的联邦遗忘学习,相比较现有的许多方法,模型遗忘程度更加彻底,并且对模型的精度损害小。

【技术实现步骤摘要】

本专利技术涉及联邦遗忘,具体涉及一种基于历史更新修正的联邦遗忘学习方法


技术介绍

1、近几年来联邦学习作为一种能够有效保护用户隐私的分布式机器学习范式受到日益关注,用户无需分享他们的数据就可以协作训练一个共同的模型。然而随着各种有关隐私保护的法律法规出现,提出用户拥有“被遗忘权”,可以要求从全局模型中删除有关自己的信息。此外还有日益增长的隐私需求,这些都迫使在联邦系统中全局模型需要有能够将目标用户或者特定数据集的信息及其影响遗忘掉的能力。又由于联邦学习分布式的特性,用户数据分散在各地的客户端上,比传统的集中式场景下进行遗忘学习的难度更高。联邦遗忘学习可以进一步地保护用户隐私,当用户想退出联邦系统时也能安心退出,此外联邦遗忘学习也能抵御一些恶意用户的攻击,如后门攻击、数据投毒攻击。

2、目前研究者一般将联邦遗忘学习分为两种主要类型:精确遗忘和近似遗忘。精确遗忘要求遗忘后的全局模型与重训练(训练过程中不含要遗忘的数据)的模型无法区分,而近似遗忘的要求降低,从而换取效率的大幅提高。liu等人提出了一种快速重训练的方法,通过使用一阶taylor展开近本文档来自技高网...

【技术保护点】

1.一种基于历史更新修正的联邦遗忘学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,步骤(2)中,方向修正训练阶段,客户端被划分为目标客户端和其余客户端,训练轮次低于联邦学习训练阶段;

3.根据权利要求1所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,方向修正训练表示为:

4.根据权利要求2所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,被动遗忘部分的历史更新修正为:

5.根据权利要求4所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,被动遗忘部分的修正更新加权平均...

【技术特征摘要】

1.一种基于历史更新修正的联邦遗忘学习方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,步骤(2)中,方向修正训练阶段,客户端被划分为目标客户端和其余客户端,训练轮次低于联邦学习训练阶段;

3.根据权利要求1所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,方向修正训练表示为:

4.根据权利要求2所述的基于历史更新修正的联邦遗忘学习方法,其特征在于,被动遗忘部分的历史更新修...

【专利技术属性】
技术研发人员:黄文殊殷常春方黎明
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1