自适应切割阈值的深度学习差分隐私保护方法技术

本发明专利技术公开一种自适应切割阈值的深度学习差分隐私保护方法，在K‑means框架下的自适应切割值差分隐私保护方法，结合聚类机制对梯度进行了筛选并量化，对每个簇内的梯度设置了特定的切割边界来限制加入的高斯噪声量，从而实现加快了模型的收敛速度，并缓解了总体的隐私预算过高的问题。

【技术实现步骤摘要】
自适应切割阈值的深度学习差分隐私保护方法
本专利技术涉及深度学习和隐私保护
，具体涉及一种自适应切割阈值的深度学习差分隐私保护方法。
技术介绍
在过去的十年中，深度学习技术在各种机器学习/数据挖掘任务中取得了显著的成功，例如生物医疗预测、语音识别和大规模的情感分析等。深度学习取得如此成功的原因是拥有大量数据用于训练模型，然而这些第三方机构所提供的众包数据包含很多敏感信息，如果恶意的攻击者获取这些数据并以此获利，那么可能会给用户带来严重的隐私和安全问题。例如，已证实基于卷积神经网络(CNN)的疾病识别分类器可以通过反复查询输出概率来恢复训练数据集中的个人隐私信息。现有的隐私问题可能会阻碍用户共享他们的数据，从而阻碍深度学习本身的未来发展。为了解决这类攻击所带来的隐私问题，一些基于差分隐私的方法被提出。一种是直接对原始数据部署差分隐私，但是这种方法可能会使得训练模型的精度严重下降，原因是为了保证不同的隐私界限，添加的噪声可能过多，从而使得模型的精度下降。另一种方式是向梯度中添加噪声，由于这种方法在每次迭代过程中，给梯度增加了相同分布且本文档来自技高网...

【技术保护点】
1.自适应切割阈值的深度学习差分隐私保护方法，其特征是，包括步骤如下：/n步骤1、利用给定的样本数据集对基于卷积神经网络的差分隐私保护模型进行训练，得到训练好的差分隐私保护模型；/n步骤1.1、令迭代次数t＝1，并随机初始化基于卷积神经网络的差分隐私保护模型的第1次迭代的模型优化参数θ

【技术特征摘要】
1.自适应切割阈值的深度学习差分隐私保护方法，其特征是，包括步骤如下：
步骤1、利用给定的样本数据集对基于卷积神经网络的差分隐私保护模型进行训练，得到训练好的差分隐私保护模型；
步骤1.1、令迭代次数t＝1，并随机初始化基于卷积神经网络的差分隐私保护模型的第1次迭代的模型优化参数θ1；
步骤1.2、从样本数据集的N个样本中随机采样n个样本构成第t次迭代的训练样本集Lt；
步骤1.3、将第t次迭代的训练样本集Lt的n个样本分别送入到当前基于卷积神经网络的差分隐私保护模型中，得到n个样本的模型预测值；并基于每个样本的模型预测值和真实值计算每个样本的模型损失函数；
步骤1.4、利用每个样本的模型损失函数对第t次迭代的模型优化参数θt求偏导，得到n个第t次迭代的中间模型梯度；
步骤1.5、利用K-means算法将n个中间模型梯度聚类为K个簇；
步骤1.6、为每个簇分配不同的切割边界Ck和方差δk；
步骤1.7、将簇k内每个第t次迭代的中间模型梯度的L2范式与簇k的切割边界Ck进行比较：
若则该第t次迭代的中间模型梯度保持不变；
若则该第t次迭代的中间模型梯度更新为簇k的切割边界Ck；
步骤1.8、利用基于方差δk的高斯噪声分别对步骤1.7所得的簇k内的每个第t次迭代的中间模型梯度进行加噪，得到第t次迭代的加噪中间模型梯度
步骤1.9、令t＝t+1，并计算第t次迭代的隐私预算εt和第t次迭代的模型优化参数θt；其中：
εt＝ε-tΔε



步骤1...

【专利技术属性】
技术研发人员：王金艳，胡宇航，黎启宇，李先贤，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：广西;45