【技术实现步骤摘要】
本专利技术属于深度学习，尤其涉及一种基于网络补丁的神经网络遗忘学习方法及装置。
技术介绍
1、随着机器学习的快速发展，人们的个人数据不可避免地被大规模应用于模型训练过程中，但一些数据集包含了敏感或隐私信息，因此机器遗忘学习的相关研究应运而生，它可以定义为存在一个在数据集d上训练的模型md，要遗忘的目标数据集经过遗忘学习后的理想遗忘模型mu要与直接在数据集d/du上训练得到模型mr的差异不可见。
2、目前的遗忘方法可大致分为两类：精确遗忘和近似遗忘。精确遗忘是使用不同的加速方法重新训练模型，通常为在模型训练阶段执行额外的操作(切片训练或分段训练)，以降低再训练的成本；近似遗忘则旨在通过修改模型参数来近似mr的性能以节省再训练成本，例如利用影响函数来估计数据撤回对模型的影响，并在此基础上更新模型参数。但总体而言，这些遗忘方法的一个局限性是，仍然很难满足用户的隐私需求或说服第三方审查机构，因为重新训练的模型可能仍然在大部分要遗忘的数据上表现良好，对于现实场景尤其如此，当大量用户联合训练像神经网络这样的高性能模型时，数据在很大程度上是特征重叠的。更严重的问题是模型所有者可能会进一步利用这种限制来欺骗用户，让他们相信他们已经执行了遗忘学习操作，但实际上却没有执行。这对于模型所有者来说非常有吸引力，因为机器取消学习不可避免地会增加额外的计算成本，这使得模型所有者和提出数据撤回请求的用户之间存在天然的利益冲突。在更实际的环境中，不能假设模型所有者在交互式遗忘过程中是完全诚实的。
3、专利文献cn116776249a公开
4、理想的遗忘解决方案应该尊重用户和模型所有者的利益。为了缓解用户的隐私担忧，遗忘操作后的模型应该会在一定程度上失去对遗忘数据的预测能力。从模型所有者的角度来看，遗忘学习操作应该是轻量级的，并且其执行不应影响模型在剩余数据上的性能。最近的研究尽管有在同时考虑两个方面的情况下进行的，但它们的粒度太粗，集中于标签级别，即在分类任务中忘记了整个数据类别，在某些场景(例如人脸识别)中这是一个合理的操作，但对于大多数分类任务来说，少量的数据撤回请求通常不足以影响整个类别。因此，如果模型仅仅因为部分删除请求而失去对整个类别数据的预测精度，对于模型所有者来说是不可接受的。
技术实现思路
1、本专利技术的目的在于提供一种基于网络补丁的神经网络遗忘学习方法及装置，该方法能减轻剩余数据对模型性能的影响，以满足数据持有者和模型所有者的需求。
2、为了实现本专利技术的第一个目的，提供一种基于网络补丁的神经网络遗忘学习方法，包括以下步骤：
3、s1、获取原始模型的原始数据集，并通过随机采样构建对应的遗忘数据集；
4、s2、对所述遗忘数据集进行聚类处理以获得多个中心数据点，并利用多个中心数据点构建对应的补丁网络；
5、s3、基于所述补丁网络与所述原始模型，合成与原始模型框架一致的遗忘模型；
6、s4、将多个中心数据点输入至原始模型和遗忘模型中，以获取在输出空间中表现相同的相似数据点集；
7、s5、以所述相似数据点集替换为新的遗忘数据集，以s3构建获得的遗忘模型作为下一轮的原始模型；
8、s6、重复s2至s5，直至s4中的相似数据点集为空集，以获得与原始模型性能一致的替换模型。
9、本专利技术将遗忘与补丁网络联系起来，通过设计的补丁网络直接修改模型对撤回数据的预测，使得数据持有者能够对模型的遗忘效果做出直观的评估。
10、具体的，在s1中，根据用户提出的数据撤回请求对原始数据进行随机采样，以构建对应的遗忘数据集，从而保证每位用户都具有撤回权利。
11、具体的，在s2中，采用利用k-means聚类方法获取遗忘数据集对应的多个中心数据点，其具体过程如下：
12、根据遗忘数据集中数据点间的平方欧氏距离分为k个数据簇，其簇内的中心数据点使得每个数据点到其所属簇的中心点的平方欧氏距离最小，其中簇内的中心数据点是簇内数据中最具代表性的。
13、具体的，所述补丁网络基于使用relu激活函数的全连接神经网络构建，其包括支持子网络和混淆子网络。
14、具体的，所述支持子网络基于s4获得的多个中心数据点，在原始模型的全连接层激活下特定线性区域进行构建。
15、所述特定线性区域的表达式如下：
16、
17、其中代表原始模型在第j个隐藏层上的第k个神经元(激活前)，代表向后传播计算的子梯度，所述线性区域s＝{aix≤bi}i＝1,2,...,n由n个不等式组成的约束，是计算得到的全部交集，其中ai和bi代表约束中第i个不等式的两个常系数。
18、具体的，所述支持子网络的表达式如下：
19、
20、其中n(x,λ)＝relu(λx+1)-relu(λx)，λ是控制n的人为设定参数，n是特定线性区域中的不等式个数，ai和bi是第i个不等式中的两个常系数。
21、具体的，所述混淆子网络的表达式如下：
22、m(x)＝cx+d
23、通过以下优化目标公式获得：
24、
25、其中y表示x对应的正确标签，c表示矩阵，d表示向量。
26、具体的，所述补丁网络的表达式如下：
27、c(x)＝relu(m(x)+h·ns(x,λ)-h)-relu(-m(x)+h·ns(x,λ)}-h)
28、其中ns(x,λ)为支持子网络表达式，m(x)为混淆子网络表达式，h表示聚类获得的中心数据点在混淆子网络输出空间上的最大绝对值。
29、为了实现本专利技术的第二个目的，提供了一种神经网络遗忘学习装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，神经网络遗忘学习装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中采用基于网络补丁的神经网络遗忘学习方法；所述计算机处理器执行所述计算机程序时实现以下步骤：将遗忘数据的原始模型输入至计算机，通过神经网络遗忘学习方法处理以消除原始数据对模型的影响，以输出相应的替换模型。
30、与现有技术相比，本专利技术的有益效果：
31、采取新的角度解决遗忘学习问题并提出了一种新颖的遗忘方法，可以满足数据持有者和模型所有者的需求；将遗忘与补丁网络联系起来，通过设计的补本文档来自技高网...
【技术保护点】
1.一种基于网络补丁的神经网络遗忘学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，在S1中，根据用户提出的数据撤回请求对原始数据进行随机采样，以构建对应的遗忘数据集。
3.根据权利要求1所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，在S2中，采用利用K-Means聚类方法获取遗忘数据集对应的多个中心数据点，其具体过程如下：
4.根据权利要求1所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述补丁网络基于使用ReLU激活函数的全连接神经网络构建，其包括支持子网络和混淆子网络。
5.根据权利要求4所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述支持子网络基于S4获得的多个中心数据点，在原始模型的全连接层激活下特定线性区域进行构建。
6.根据权利要求5所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述特定线性区域的表达式如下：
7.根据权利要求1或4所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述支持子网络的表
8.根据权利要求4所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述混淆子网络的表达式如下：
9.根据权利要求1或4所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述补丁网络的表达式如下：
10.一种神经网络遗忘学习装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用权利要求1-8任一项所述的基于网络补丁的神经网络遗忘学习方法；所述计算机处理器执行所述计算机程序时实现以下步骤：将遗忘数据的原始模型输入至计算机，通过神经网络遗忘学习方法处理以消除原始数据对模型的影响，以输出相应的替换模型。
...【技术特征摘要】
1.一种基于网络补丁的神经网络遗忘学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，在s1中，根据用户提出的数据撤回请求对原始数据进行随机采样，以构建对应的遗忘数据集。
3.根据权利要求1所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，在s2中，采用利用k-means聚类方法获取遗忘数据集对应的多个中心数据点，其具体过程如下：
4.根据权利要求1所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述补丁网络基于使用relu激活函数的全连接神经网络构建，其包括支持子网络和混淆子网络。
5.根据权利要求4所述的基于网络补丁的神经网络遗忘学习方法，其特征在于，所述支持子网络基于s4获得的多个中心数据点，在原始模型的全连接层激活下特定线性区域进行构建。
6.根据权利要求5所述的基于网络补丁...
【专利技术属性】
技术研发人员：王竟亦，李旭冉，刘晓夏，王东霞，秦湛，王志波，任奎，
申请(专利权)人：浙江大学杭州国际科创中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。