当前位置: 首页 > 专利查询>之江实验室专利>正文

数据遗忘学习方法、装置、数据处理系统和存储介质制造方法及图纸

技术编号:40469135 阅读:17 留言:0更新日期:2024-02-22 23:24
本申请涉及一种数据遗忘学习方法、装置、数据处理系统和存储介质,其中,该数据遗忘学习方法包括:在接收到针对数据处理系统中目标边缘节点的移除请求的情况下,根据数据处理系统中任意两个边缘节点的梯度相似度,将若干个边缘节点划分成节点簇;将目标边缘节点所在的节点簇识别为目标节点簇,将数据处理系统中目标节点簇之外的各个节点簇识别为其他节点簇;获取由目标节点簇上传的,根据初始簇模型进行遗忘学习得到遗忘模型;获取由其他节点簇上传的,根据初始簇模型进行训练得到其他簇模型;根据遗忘模型和其他簇模型,得到移除目标边缘节点的数据处理系统,通过本申请,提升了数据处理的效率,减少了内存资源的消耗。

【技术实现步骤摘要】

本申请涉及分布式模型训练领域,特别是涉及数据遗忘学习方法、装置、数据处理系统和存储介质


技术介绍

1、联邦学习可以协调大量边缘节点在边缘计算场景下共同训练一个全局模型,目前已被广泛用于各种智能应用的训练和部署。然而,人们越来越关注数据的隐私安全问题。为了完全消除某个节点的贡献,一种比较直观的方法是基于除目标节点外的剩余节点拥有的数据从头重新训练模型。然而,模型的重新训练会导致非常大的计算开销,给边缘节点有限的资源带来巨大的压力。当前,华中科技大学提出利用历史模型更新来构造遗忘模型,但在服务器上存储所有节点的历史梯度会带来巨大的内存开销。亚马逊公司提出利用剩余的数据对训练好的模型进行矫正的更新步骤,但这种方法需要全局访问整个数据集,不满足联邦遗忘学习场景的实际需求。而香港理工大学注意到卷积神经网(convolutional neuralnetwork,cnn)中不同通道对分类任务中的类别有不同的贡献程度。为此,他们针对类级别的遗忘,通过模型剪枝去除与目标类别最相关的通道来构造遗忘模型,但这种方法只针对cnn模型且仅适用于遗忘特定类别的数据。

2本文档来自技高网...

【技术保护点】

1.一种数据遗忘学习方法,其特征在于,包括:

2.根据权利要求1所述的数据遗忘学习方法,其特征在于,在根据所述数据处理系统中任意两个边缘节点的梯度相似度,将若干个边缘节点划分成节点簇之前,所述方法还包括:

3.根据权利要求1所述的数据遗忘学习方法,其特征在于:

4.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的数据遗忘学习方法,其...

【技术特征摘要】

1.一种数据遗忘学习方法,其特征在于,包括:

2.根据权利要求1所述的数据遗忘学习方法,其特征在于,在根据所述数据处理系统中任意两个边缘节点的梯度相似度,将若干个边缘节点划分成节点簇之前,所述方法还包括:

3.根据权利要求1所述的数据遗忘学习方法,其特征在于:

4.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的数据遗忘学习方法,其特征...

【专利技术属性】
技术研发人员:马振国周丽李清明姬朋立严笑然孔祥杰
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1