极小极大学习模型的可验证数据遗忘隐私保护方法和装置制造方法及图纸

本发明专利技术公开了一种极小极大学习模型的可验证数据遗忘隐私保护方法和装置，该方法基于全海森曲率矩阵，对极小极大模型的参数进行牛顿步更新并添加随机扰动，进而从模型中移除所遗忘数据的影响，从而实现有效的

【技术实现步骤摘要】
极小极大学习模型的可验证数据遗忘隐私保护方法和装置


[0001]本专利技术涉及机器学习隐私保护领域，尤其涉及一种极小极大学习模型的可验证数据遗忘隐私保护方法和装置
。

技术介绍

[0002]机器学习是人工智能的一个重要分支，它是指通过对数据的学习和分析，让计算机系统自动从数据中学习模式和规律，从而使计算机系统能够自主地进行预测
、
分类
、
识别等任务
。
机器学习算法通过分析大量用户数据，从中发现规律和模式，从而生成预测模型
。
这些模型可以应用于各种不同的领域，例如自然语言处理
、
图像识别
、
推荐系统和预测分析等
。
极小极大学习模型
(Minimax Learning Model)
是一种在博弈论和机器学习中常用的模型，它尝试在多个决策者
(
也称为玩家
)
之间找到一种平衡状态，使得每个决策者都能够在最坏情况下获得最好的结果
。
极小极大学习模型在机器学习领域中应用广泛，包括对抗生成网络
、
鲁棒学习
、
对抗训练
、
算法公平性
、
马尔可夫决策过程等等
。
[0003]在实际应用中，机器学习模型会使用许多敏感数据来进行训练，例如医疗记录
、
金融数据
、
个人身份信息等，因此保护用户隐私变得至关重要
。
国内外在近年来相继出台了一系列数据隐私保护法律法规，对个人信息
、
特别是敏感个人信息，提供了重要的法律保障，其中包括对个人信息的删除权
(
也称为遗忘权
)。
这些规定要求根据用户请求删除个人数据，甚至可以包括删除从用户数据中提取的模型和算法
。
虽然从训练数据集所在数据库中删除目标数据相对容易实现，但仅停留在这一步并不能保证已在此数据集上训练和部署的机器学习模型能够充分遵守删除权的规定
。
事实上，如果不对已训练的模型进行更新，以从该模型中遗忘目标删除训练数据，机器学习模型仍然存在泄露目标删除数据隐私的风险
。
因此，需要进一步对已训练模型进行机器学习模型的数据遗忘更新，以确保模型在后续的使用中不会泄露个人隐私信息
。
[0004]一种最简单的机器学习模型数据遗忘的方式是在剔除目标删除数据后的新数据集上重新训练模型，但此方法会带来高昂的计算开销和时间成本
。
近年来，模型遗忘的相关研究提出了一系列基于不同理论思想与技术路线的遗忘机制设计，以规避重新训练的方式
。
按照模型遗忘机制的性质，可大致分为准确的模型遗忘与近似的模型遗忘
。
准确的模型遗忘机制是指经过该机制更新后的模型，与经过重新训练获得的模型完全一致，这意味着模型遗忘机制能够完全清除与目标删除数据相关的信息
。
近似的模型遗忘是指经过该机制更新后的模型，与经过重新训练获得的模型近似相同，这意味着模型遗忘机制近似清除了与目标删除数据相关的信息
。
可验证的模型遗忘是指保证在数据删除后，机器学习模型的运行就像从未观察到删除的数据一样
。
[0005]然而，现有的机器学习模型遗忘方法均局限于标准的学习模型，仅考虑了单变量参数的优化，并没有考虑针对包含双变量参数的极小极大学习模型的数据遗忘方法
。

技术实现思路

[0006]本专利技术的目的在于针对现有技术的不足，提供一种极小极大学习模型的可验证数据遗忘隐私保护方法和装置
。
本专利技术能够实现包含双变量参数的近似的模型遗忘
。
[0007]本专利技术的目的是通过以下技术方案来实现的：本专利技术实施例第一方面提供了一种极小极大学习模型的可验证数据遗忘隐私保护方法，包括以下步骤：
[0008](1)
针对原始数据集，计算所有样本损失函数的均值以获取经验风险，通过对极小极大学习模型进行训练以获取使所述经验风险极小极大的最优解，作为所述极小极大学习模型的极大参数和极小参数；
[0009](2)
计算在所述步骤
(1)
获取的最优解处的全海森矩阵，所述全海森矩阵包括直接海森矩阵部分和间接海森矩阵部分；
[0010](3)
根据所述步骤
(1)
获取的最优解
、
所述步骤
(2)
获取的全海森矩阵以及用户的数据删除请求，对所述极小极大学习模型的极大参数和极小参数进行牛顿步遗忘更新，以获取更新后的极小参数和极大参数；
[0011](4)
对所述步骤
(3)
获取的更新后的极小参数和极大参数添加高斯噪声作为随机扰动，以获取最终的遗忘模型，根据遗忘模型完成可验证数据遗忘隐私保护
。
[0012]进一步地，所述步骤
(1)
中获取使所述经验风险极小极大的最优解的具体过程为：
[0013][0014]其中，
n
为原始数据集
S
的大小，
z
i
为数据集中的第
i
个数据样本，
f(
·
)
为损失函数，
F
S
(
·
)
为原始数据集上的经验风险，
w
和
v
分别代表待学习的极小极大学习模型的极小参数和极大参数，为使经验风险最小化的极小参数，为使经验风险最大化的极大参数
。
[0015]进一步地，所述步骤
(2)
中计算在所述步骤
(1)
获取的最优解处的全海森矩阵的具体过程为：
[0016][0017][0018]其中，分别表示极小参数和极大参数在最优解处的全海森矩阵，分别表示经验风险函数
F
S
关于
w
和
v
的二阶偏导数，表示经验风险函数
F
s
先后对
w
求两次偏导，表示经验风险函数
F
s
先对
w
求偏导再对
v
求偏导，表示经验风险函数
F
s
先对
v
求偏导再对
w
求偏导数，表示经验风险函数
F
s
先后对
v
求两次偏导
。
[0019]进一步地，所述步骤
(3)
包括以下子步骤：
[0020](3.1)
根据用户的数据删除请求构建删除请求数据集，根据所述删除请求数据集，利用所述步骤
(1)
得到的在原始数据集上经验风险极小极大的最优解以及所述步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种极小极大学习模型的可验证数据遗忘隐私保护方法，其特征在于，包括以下步骤：
(1)
针对原始数据集，计算所有样本损失函数的均值以获取经验风险，通过对极小极大学习模型进行训练以获取使所述经验风险极小极大的最优解，作为所述极小极大学习模型的极大参数和极小参数；
(2)
计算在所述步骤
(1)
获取的最优解处的全海森矩阵，所述全海森矩阵包括直接海森矩阵部分和间接海森矩阵部分；
(3)
根据所述步骤
(1)
获取的最优解
、
所述步骤
(2)
获取的全海森矩阵以及用户的数据删除请求，对所述极小极大学习模型的极大参数和极小参数进行牛顿步遗忘更新，以获取更新后的极小参数和极大参数；
(4)
对所述步骤
(3)
获取的更新后的极小参数和极大参数添加高斯噪声作为随机扰动，以获取最终的遗忘模型，根据遗忘模型完成可验证数据遗忘隐私保护
。2.
根据权利要求1所述的极小极大学习模型的可验证数据遗忘隐私保护方法，其特征在于，所述步骤
(1)
中获取使所述经验风险极小极大的最优解的具体过程为：其中，
n
为原始数据集
S
的大小，
z
i
为数据集中的第
i
个数据样本，
f(
·
)
为损失函数，
S
(
·
为原始数据集上的经验风险，
w
和
v
分别代表待学习的极小极大学习模型的极小参数和极大参数，为使经验风险最小化的极小参数，为使经验风险最大化的极大参数
。3.
根据权利要求1所述的极小极大学习模型的可验证数据遗忘隐私保护方法，其特征在于，所述步骤
(2)
中计算在所述步骤
(1)
获取的最优解处的全海森矩阵的具体过程为：获取的最优解处的全海森矩阵的具体过程为：其中，分别表示极小参数和极大参数在最优解处的全海森矩阵，分别表示经验风险函数
F
S
关于
w
和
v
的二阶偏导数，表示经验风险函数
F
s
先后对
w
求两次偏导，表示经验风险函数
F
s
先对
w
求偏导再对
v
求偏导，表示经验风险函数
F
s
先对
v
求偏导再对
w
求偏导数，表示经验风险函数
F
s
先...

【专利技术属性】
技术研发人员：刘佳琪，秦湛，任奎，娄坚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：