一种基于弹性权重巩固的遗忘学习方法技术

本发明专利技术公开了一种基于弹性权重巩固的遗忘学习方法，包括通过训练数据集初始化模型参数，通过样本获取损失函数，并选择优化算法最小化损失函数，直至模型收敛，接收删除请求，获取待删除数据集，计算数据集的费歇耳信息矩阵，并结合待删除数据集修改损失函数，使用所述优化算法最小化损失函数，直至达到需求后输出删除数据集的模型。本发明专利技术适用于在线学习场景，可以有效保留之前学到的知识，在删除数据之前预先优化损失函数，可以快速适应新的任务。务。务。

【技术实现步骤摘要】
一种基于弹性权重巩固的遗忘学习方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于弹性权重巩固的遗忘学习方法。

技术介绍

[0002]今天的计算机系统中保存着大量的个人隐私数据。由于数据存储和数据传输技术的巨大进步，产生、记录和处理的数据呈爆炸式增长。个人数据，包括用户留下的数字足迹，反映了他们在现实世界中的行为、互动和交流模式。
[0003]这些数据的其他来源包括在线用户为表达他们的想法和观点而创建的数字内容，如互动评论、博客文章、状态寻求和知识共享。最近，个人数据也扩展到包括来自可穿戴设备的数据。如此丰富的数据推动了人工智能(AI)的发展，如深度学习。然而，另一方面，这些数据威胁到了用户的隐私，并增加了数据泄露的风险。出于这些原因，一些用户可能会选择将他们的数据完全从一个系统中移除，特别是那些与金融或医疗保健相关的敏感系统。同时，最近的法律法规也赋予了用户“被遗忘的权利”，迫使互联网服务提供商根据用户的要求从系统中删除其全部或部分数据。
[0004]在机器学习领域，数据删除不仅限于简单地从后台数据库中删除相应的数据记录，还应包括间接利用这些数据的所有实体。例如，机器学习模型，因为它通过给定数据的表示来执行高级抽象。然而，当我们从模型中删除一些数据时，模型的性能可能会受到负面影响。这是因为神经网络在训练过程中会根据数据的分布和特征来调整其权重和偏置，从而逐渐适应训练数据。如果我们删除了一些数据，网络的权重和偏置可能需要重新调整，以适应新的数据分布。但是，这也可能会导致网络遗忘先前的知识，从而在之前的任务上表现不佳。

技术实现思路

[0005]本专利技术目的在于提供一种基于弹性权重巩固的遗忘学习方法，以解决从模型中删除一些数据时，模型的性能可能会受到负面影响的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于弹性权重巩固的遗忘学习方法，包括如下步骤：
[0008]S1、通过训练数据集初始化模型参数；
[0009]S2、通过样本获取损失函数，并选择优化算法最小化损失函数，直至模型收敛；
[0010]S3、接收删除请求，获取待删除数据集；
[0011]S4、计算数据集的费歇耳信息矩阵，并结合待删除数据集修改损失函数；
[0012]S5、使用所述优化算法最小化损失函数，直至达到需求后输出删除数据集的模型。
[0013]进一步地，所述步骤S2包括如下步骤：
[0014]S21、初始化迭代轮数；
[0015]S22、将数据集输入至模型中，并计算数据集的损失函数；
[0016]S23、计算损失函数对模型的权重，并更新模型权重，并将迭代轮数加1；
[0017]S24、重复步骤S21至S23，最小化损失函数，直至模型收敛，并输出模型。
[0018]进一步地，所述步骤S21为按批次输入，并且输入前设置批次大小、优化步长。
[0019]进一步地，所述损失函数选择交叉熵，所述优化算法选择随机梯度下降。
[0020]进一步地，所述步骤S4包括如下步骤：
[0021]S41、将数据集输入至模型中，并计算损失函数；
[0022]S42、计算损失函数对每个模型权重的梯度，并将每个模型权重的梯度平方作为费歇耳信息矩阵的元素；
[0023]S43、根据所述步骤S42得到的费歇耳信息矩阵和待删除数据集修改损失函数。
[0024]进一步地，所述步骤S5包括如下步骤：
[0025]S51、初始化迭代轮数；
[0026]S52、将待删除数据集输入至模型中，计算待删除数据集的损失函数；
[0027]S53、计算待删除数据集的损失函数对模型权重，并更新模型权重，并将迭代轮数加1；
[0028]S54、重复步骤S51至S53，直至达到需要，并输出模型。
[0029]进一步地，所述步骤S51为按批次输入，并且输入前设置批次大小、优化步长。
[0030]本专利技术还提供了一种存储有计算机程序的计算机可读存储介质，所述可读存储介质的计算机程序被处理器执行时，用于实现上诉任一项所述方法的步骤。
[0031]本专利技术的有益效果：
[0032]本专利技术适用于在线学习场景，可以有效保留之前学到的知识，在删除数据之前预先优化损失函数，可以快速适应新的任务。
附图说明
[0033]图1为本专利技术实施例的流程示意图；
[0034]图2为本专利技术在真实数据集上的效果示意图
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]本专利技术实施例提供了一种基于弹性权重巩固的遗忘学习技术，包括以下步骤：
[0037]步骤S1、通过互联网服务提供商在网络上收集手写数据(MNIST)图片组成训练数据集D＝(x
i
,y
i
)
1,2,...,n
，其中包括用户C的数据D
C
＝(x
j
,y
j
)
1,2,...,m
用于后续用做删除数据。互联网服务提供商的目的是训练一个识别手写数据的模型，因此选择卷积神经网络LeNet5，使用高斯分布初始化其模型的参数为w0。
[0038]步骤S21、提供商选择交叉熵作为损失函数，因此其中p
ic
是神经网络预测样本i属于类别c的概率。选提供商择随机梯度下降(SGD)作为优化算法，设置批次大小为b，优化步长为α，迭代轮数t＝0。
[0039]步骤S22、将数据集D按批次大小输入到模型中，计算损失函数
[0040]步骤S23、计算损失函数对模型权重的梯度并根据梯度更新模型权重，将迭代轮数加1，即w
t+1
＝w
t
‑
αΔ
t
，t＝t+1。
[0041]步骤S24、重复步骤S22至S23，最小化损失函数，直至模型收敛，并输出训练优化好的模型w
*
＝w
t
。
[0042]步骤S3、互联网服务提供商获取删除请求，并接收到待删除数据集D
C
，开始执行删除操作。
[0043]步骤S41、提供商将训练数据集D中的样本输入到模型中，计算损失函数L(w
*
；D)；
[0044]步骤S42、求L(w
*
；D)对每个模型权重的梯度，将每个模型权重的梯度平方作为Fisher信息矩阵F的元素。
[0045]步骤S43、根据所述步骤S42计算得到的Fisher信息矩阵修改损失函数为其中F
j
是F的对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弹性权重巩固的遗忘学习方法，其特征在于：包括如下步骤：S1、通过训练数据集初始化模型参数；S2、通过样本获取损失函数，并选择优化算法最小化损失函数，直至模型收敛；S3、接收删除请求，获取待删除数据集；S4、计算数据集的费歇耳信息矩阵，并结合待删除数据集修改损失函数；S5、使用所述优化算法最小化损失函数，直至达到需求后输出删除数据集的模型。2.如权利要求1所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤S2包括如下步骤：S21、选择损失函数及优化算法，并初始化迭代轮数；S22、将数据集输入至模型中，并计算数据集的损失函数；S23、计算损失函数对模型的权重，并更新模型权重，并将迭代轮数加1；S24、重复步骤S22至S23，最小化损失函数，直至模型收敛，并输出模型。3.如权利要求2所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤S21为按批次输入，并且输入前设置批次大小、优化步长。4.如权利要求2所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述损失函数选择交叉熵，所述优化算法选择随...

【专利技术属性】
技术研发人员：张峰，石建，逯兆博，王伊蕾，刘运杰，韩朝阳，
申请(专利权)人：杭州后量子密码科技有限公司，
类型：发明
国别省市：