自适应分配动态隐私预算的差分隐私保护深度学习算法制造技术

本发明专利技术的目的是提供一种自适应分配动态隐私预算的差分隐私保护深度学习算法，首先给定数据集，设定并初始化神经网络NN，使用数据集训练神经网络NN，得到不具备隐私保护的深度学习模型M；根据训练好的不具备隐私保护的深度学习模型M，使用LRP算法计算平均特征相关性；进而计算相关性比；最后重新初始化神经网络NN，设定训练的迭代次数，根据相关性比在训练过程中添加噪声，得到具有差分隐私保护的深度学习模型DPM，使得在使用该模型进行预测时能够保护数据隐私。能够保护数据隐私。能够保护数据隐私。

【技术实现步骤摘要】
自适应分配动态隐私预算的差分隐私保护深度学习算法


[0001]本专利技术属于信息安全
，具体涉及一种自适应分配动态隐私预算的差分隐私保护深度学习算法。

技术介绍

[0002]随着互联网技术的发展，日常生活中每天都会产生数以亿万计的数据，这些海量的数据中往往蕴含着潜在的、规律性的、最终可理解的知识或者模式。数据挖掘(Data Mining,DM)技术可以从这些海量的数据中发现并提取这些有用的信息，并反馈指导商业和人类生活，它主要采用机器学习方法和统计学知识原理进行知识挖掘，机器学习方法的研究和改进往往对数据挖掘的效率和结果有着重要的影响。深度学习(Deep Learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习在许多领域取得了令人印象深刻的突破，包括计算机视觉、语音识别、图像识别、自然语言处理以及搜索推荐等。其目标是建立一个多层网络，从原始输入数据中提取复杂特征，挖掘数据中隐藏的知识结构。
[0003]利用深度学习等数据挖掘算法可以发现隐藏于海量数据中的知识和模式，但这通常以牺牲隐私为代价。如果用于训练的隐私数据没有得到很好的保护，它们会通过模型参数或预测发生泄露，因此具有隐私保护性质的数据挖掘技术成为重要的需求。如何在运用深度神经网络算法的同时有效保护训练样本数据的隐私不受侵犯显得至关重要。Dalenius提出了隐私泄露控制的概念，k
‑
anonymity算法为基于等价类分组的匿名隐私保护算法奠定了基础，其次是l
‑
diversity、t
‑
closeness、(α,k)
‑
anonymity等。这些模型针对不同背景知识的攻击者改进了匿名保护理论。然而，它们都有一些共同的缺陷，需要更新设计来应对快速发展的攻击，并且不能提供严格的证据来量化隐私保护效果。国内外已经有许多学者将这些隐私保护技术应用于数据挖掘的各类方法中，但是这些方法都以攻击者所掌握的特殊的背景知识为前提，不能提供足够的安全保障。
[0004]差分隐私(Differential Privacy,DP)是Dwork在2006年针对统计数据库的隐私泄露问题提出的一种新的隐私定义，这是一种基于数据失真的隐私保护模型。相比于传统的隐私保护模型，差分隐私模型定义在坚实的数学基础上，可以控制算法隐私保护的水平；同时，它定义了攻击者所拥有的最大背景知识，即攻击者能够获得的除目标记录外所有其他信息的总和。

技术实现思路

[0005]本专利技术的目的是提供一种自适应分配动态隐私预算的差分隐私保护深度学习算法，解决了现有技术中存在的消耗的隐私预算过大，从而导致隐私保护水平较低的问题。
[0006]本专利技术所采用的技术方案是，自适应分配动态隐私预算的差分隐私保护深度学习算法，具体按照以下步骤实施：
[0007]步骤1、给定数据集D＝{(X1,y1),(X2,y2),...,(X
j
,y
j
),...,(X
n
,y
n
)|j∈(1,n)}，对
于一条数据(X
j
,y
j
)，X
j
表示数据特征，y
j
表示数据标签，设定并初始化神经网络NN，神经网络NN包含输入层、隐藏层和输出层，使用数据集D训练神经网络NN，得到不具备隐私保护的深度学习模型M；
[0008]步骤2、根据步骤1训练好的不具备隐私保护的深度学习模型M，使用LRP算法计算平均特征相关性
[0009]步骤3、根据步骤2得出的平均特征相关性计算相关性比α
j
；
[0010]步骤4、重新初始化神经网络NN，设定训练的迭代次数T，根据步骤3得到的相关性比α
j
，在训练过程中添加噪声，得到具有差分隐私保护的深度学习模型DPM，使得在使用该模型进行预测时能够保护数据隐私。
[0011]本专利技术的特点还在于，
[0012]步骤1具体按照以下步骤实施：
[0013]步骤1.1、给定包含图像的数据集D，设定神经网络NN，神经网络NN包含一个输入层、三个隐藏层和一个输出层，随机初始化神经网络参数ω；
[0014]步骤1.2、从数据集D中随机选取一个批次的数据B，将数据B输入神经网络NN；
[0015]步骤1.3、使用SGD算法训练神经网络NN，不断调整神经网络参数ω，得到最优神经网络参数ω
M
，于是得到不具有差分隐私保护的深度学习模型M，该模型用于后续步骤中对特征相关性的计算。
[0016]步骤2具体按照以下步骤实施：
[0017]步骤2.1、从数据集D中随机选取一条记录(X
i
,y
i
)；
[0018]步骤2.2、向步骤1训练好的模型M输入数据X
i
，得到模型预测值
[0019]步骤2.3、根据模型预测值对最后一个隐藏层l中的每一个神经元p，计算神经元p和模型输出的特征相关性
[0020][0021]其中，z
pm
＝a
p
ω
pm
是隐藏层l中的神经元p和其输出层神经元m之间的网络参数的乘积，a
p
表示神经元p的值，ω
pm
表示神经元p到神经元m的权重系数，即神经元p和神经元m之间的网络参数，z
m
＝∑
p
z
pm
+b
m
是隐藏层l到输出层神经元m的仿射变换，b
m
表示最后一个隐藏层l到输出层神经元m的偏置值，是预定义的稳定器，用来避免出现分母为0的情况，且
[0022]步骤2.4、计算最后一个隐藏层l中的每一个神经元p到其前一个隐藏层，即l
‑
1层中的每个神经元q的相关性分解信息
[0023][0024]其中，z
qp
＝a
q
ω
qp
表示神经元q和神经元p之间的神经网络参数ω
qm
的乘积，a
q
表示神经元q的值，z
p
＝∑
q
z
qp
+b
p
是神经元q到神经元p的仿射变换，b
p
表示l
‑
1层到l层的偏置值；
[0025]步骤2.5、向相关性分解信息添加服从Laplace分布的噪声：
[0026][0027]其中，表示向相关性分解信息添加的Laplace噪声，Δ代表全局敏感度，ε
r
代表对相关性分解信息添加噪声时的隐私预算；
[0028]步骤2.6、计算隐藏层l
‑
1中的每个神经元q的特征相关性
[0029][0030]如此重复步骤2.3～步骤2.6，直到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.自适应分配动态隐私预算的差分隐私保护深度学习算法，其特征在于，具体按照以下步骤实施：步骤1、给定数据集D＝{(X1,y1),(X2,y2),...,(X
j
,y
j
),...,(X
n
,y
n
)|j∈(1,n)}，对于一条数据(X
j
,y
j
)，X
j
表示数据特征，y
j
表示数据标签，即X
j
所属的类别，设定并初始化神经网络NN，神经网络NN包含输入层、隐藏层和输出层，使用数据集D训练神经网络NN，得到不具备隐私保护的深度学习模型M；步骤2、根据步骤1训练好的不具备隐私保护的深度学习模型M，使用LRP算法计算平均特征相关性步骤3、根据步骤2得出的平均特征相关性计算相关性比α
j
；步骤4、重新初始化神经网络NN，设定训练的迭代次数T，根据步骤3得到的相关性比α
j
，在训练过程中添加噪声，得到具有差分隐私保护的深度学习模型DPM，使得在使用该模型进行预测时能够保护数据隐私。2.根据权利要求1所述的自适应分配动态隐私预算的差分隐私保护深度学习算法，其特征在于，所述步骤1具体按照以下步骤实施：步骤1.1、给定包含图像的数据集D，设定神经网络NN，神经网络NN包含一个输入层、三个隐藏层和一个输出层，随机初始化神经网络参数ω；步骤1.2、从数据集D中随机选取一个批次的数据B，将数据B输入神经网络NN；步骤1.3、使用SGD算法训练神经网络NN，不断调整神经网络参数ω，得到最优神经网络参数ω
M
，于是得到不具有差分隐私保护的深度学习模型M，该模型用于后续步骤中对特征相关性R的计算。3.根据权利要求2所述的自适应分配动态隐私预算的差分隐私保护深度学习算法，其特征在于，所述步骤2具体按照以下步骤实施：步骤2.1、从数据集D中随机选取一条记录(X
i
,y
i
)；步骤2.2、向步骤1训练好的模型M输入数据X
i
，得到模型预测值步骤2.3、根据模型预测值对最后一个隐藏层l中的每一个神经元p，计算神经元p和模型输出的特征相关性的特征相关性其中，z
pm
＝a
p
ω
pm
是隐藏层l中的神经元p和其输出层神经元m之间的网络参数的乘积，a
p
表示神经元p的值，ω
pm
表示神经元p到神经元m的权重系数，即神经元p和神经元m之间的网络参数，z
m
＝∑
p
z
pm
+b
m
是隐藏层l到输出层神经元m的仿射变换，b
m
表示最后一个隐藏层l到输出层神经元m的偏置值，是预定义的稳定器，用来避免出现分母为0的情况，且步骤2.4、计算最后一个隐藏层l中的每一个神经元p到其前一个隐藏层，即l
‑
1层中的
每个神经元q的相关性分解信息每个神经元q的相关性分解信息其中，z
qp
＝a
q
ω
qp
表示神经元q和神经元p之间的神经网络参数ω
qm
的乘积，a
...

【专利技术属性】
技术研发人员：张亚玲，白世博，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：