【技术实现步骤摘要】
本申请涉及分布式模型训练领域,特别是涉及数据遗忘学习方法、装置、数据处理系统和存储介质。
技术介绍
1、联邦学习可以协调大量边缘节点在边缘计算场景下共同训练一个全局模型,目前已被广泛用于各种智能应用的训练和部署。然而,人们越来越关注数据的隐私安全问题。为了完全消除某个节点的贡献,一种比较直观的方法是基于除目标节点外的剩余节点拥有的数据从头重新训练模型。然而,模型的重新训练会导致非常大的计算开销,给边缘节点有限的资源带来巨大的压力。当前,华中科技大学提出利用历史模型更新来构造遗忘模型,但在服务器上存储所有节点的历史梯度会带来巨大的内存开销。亚马逊公司提出利用剩余的数据对训练好的模型进行矫正的更新步骤,但这种方法需要全局访问整个数据集,不满足联邦遗忘学习场景的实际需求。而香港理工大学注意到卷积神经网(convolutional neuralnetwork,cnn)中不同通道对分类任务中的类别有不同的贡献程度。为此,他们针对类级别的遗忘,通过模型剪枝去除与目标类别最相关的通道来构造遗忘模型,但这种方法只针对cnn模型且仅适用于遗忘特定类别的数
2本文档来自技高网...
【技术保护点】
1.一种数据遗忘学习方法,其特征在于,包括:
2.根据权利要求1所述的数据遗忘学习方法,其特征在于,在根据所述数据处理系统中任意两个边缘节点的梯度相似度,将若干个边缘节点划分成节点簇之前,所述方法还包括:
3.根据权利要求1所述的数据遗忘学习方法,其特征在于:
4.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:
7.根据权利要求1所述的
...【技术特征摘要】
1.一种数据遗忘学习方法,其特征在于,包括:
2.根据权利要求1所述的数据遗忘学习方法,其特征在于,在根据所述数据处理系统中任意两个边缘节点的梯度相似度,将若干个边缘节点划分成节点簇之前,所述方法还包括:
3.根据权利要求1所述的数据遗忘学习方法,其特征在于:
4.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的数据遗忘学习方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的数据遗忘学习方法,其特征...
【专利技术属性】
技术研发人员:马振国,周丽,李清明,姬朋立,严笑然,孔祥杰,
申请(专利权)人:之江实验室,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。