一种面向差分隐私深度学习算法的模型性能和隐私安全检测方法及系统技术方案

本发明专利技术公开了一种面向差分隐私深度学习算法的模型性能和隐私安全检测方法及系统，采用差分隐私深度学习算法和非隐私深度学习算法分别训练目标模型和影子模型，利用影子模型生成的特征向量构建数据对，利用数据对训练得到能够区分输入特征向量是否为用于目标模型训练的二分类攻击模型，基于该二分类攻击模型和目标模型的预测结果，计算目标模型的性能指标和隐私安全指标，根据指标表征待测差分隐私深度学习算法的模型性能和隐私安全保护能力。该方法和系统能够有效提高评估隐私数据泄露风险的准确性，暴露差分隐私深度学习算法的不足和缺陷，为后续发展差分隐私深度学习算法提供思路。供思路。供思路。

【技术实现步骤摘要】
一种面向差分隐私深度学习算法的模型性能和隐私安全检测方法及系统


[0001]本专利技术涉及差分隐私机器学习领域，尤其涉及一种面向差分隐私深度学习算法的模型性能和隐私安全检测方法及系统。

技术介绍

[0002]得益于硬件性能的提升和大数据技术的成熟，当前的算力和数据量已经足够支撑非常复杂的任务和精细的建模，基于大规模神经网络的机器学习技术在多个领域取得了不凡的成就，例如，图像分类、目标检测和语义分割等任务已经能够在大规模的数据集上进行训练和部署，实现了令人惊讶的准确率和效率。同时，在自然语言处理领域，基于大规模神经网络的机器翻译、语言模型和问答系统等应用也取得了突破性进展。这些技术的发展和普及，使得人们能够更好地理解和处理自然语言，推动了自然语言处理技术在搜索引擎、智能客服和机器翻译等领域的应用和发展。除此之外，机器学习技术还被广泛应用于医疗、金融、交通等行业，帮助企业和组织更好地理解和应对复杂的业务场景。
[0003]训练这些具有现实用途的神经网络模型通常需要大量来自用户的数据，其中不免会包含一些敏感信息。目前有大量研究表明神经网络会记住一部分训练数据，并且通过成员关系推理攻击，模型逆向攻击等技术手段可以获得训练数据的信息。这在金融、医疗等对用户隐私数据要求较高的场景下是不可接受的，深度模型的数据隐私安全问题逐渐引起社会和学界的广泛关注。
[0004]差分隐私机器学习是一种保护敏感数据隐私的机器学习方法，允许个人和组织在分享它们的数据用于模型训练时，不会泄露个人的隐私数据。差分隐私的优点在于它提供了对敏感数据的隐私保护，攻击者无法通过分享出来的模型窃取到用来训练的个人隐私数据。但是，差分隐私机器学习算法会带来计算上的额外开销，并且差分隐私技术中添加的噪声会影响机器学习模型的准确性。
[0005]然而现有研究工作主要集中在分析朴素差分隐私机器学习算法，尚缺乏对通用差分隐私深度学习模型性能和隐私安全工作的深入研究。这种缺失使得差分隐私深度学习算法的发展受到了限制，同时也增加了深度学习模型面临的隐私泄露风险。因此，需要对通用差分隐私深度学习模型进行更深入的研究，包括对其性能和隐私安全的探索和分析。具体而言，需要对基于差分隐私的深度学习模型的隐私泄露风险进行量化和评估，以及探索如何在保证模型性能的同时，提高模型的隐私性和安全性。

技术实现思路

[0006]本专利技术的专利技术目的在于克服上述现有技术无法对差分隐私深度学习算法的性能和隐私安全进行测试和评估，从而提供一种面向差分隐私深度学习的模型性能和隐私安全检测方法及系统，助于以后增强差分隐私深度学习算法的性能以及提高隐私保护能力的方法的研究，为差分隐私深度学习算法的发展和应用提供坚实的基础和保障。
[0007]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0008]第一方面，本专利技术提供了一种面向差分隐私深度学习算法的模型性能和隐私安全检测方法，包括以下步骤：
[0009]S1：获取数据集预处理后划分为目标训练集，目标测试集，影子训练集和影子测试集；
[0010]S2：在目标训练集上采用待测试差分隐私深度学习算法对目标模型进行隐私训练后，利用目标测试集对训练好的目标模型进行测试得到测试结果；
[0011]S3：构建与目标模型结构和超参数设置相同的影子模型，在影子训练集上对影子模型进行非隐私训练；
[0012]S4：分别从影子训练集和影子测试集中随机采样等量数据作为影子成员样本和影子非成员样本，并利用训练好的影子模型对样本进行预测得到影子成员特征向量和影子非成员特征向量后，利用影子成员特征向量和影子非成员特征向量训练二分类攻击模型；
[0013]S5：分别从目标训练集和目标测试集中随机采样等量数据作为目标成员样本和目标非成员样本，并利用训练好的目标模型对样本进行预测得到目标成员特征向量和目标非成员特征向量后，利用训练好的二分类攻击模型对目标成员特征向量和目标非成员特征向量进行预测，得到样本是否用于目标模型训练的预测结果；
[0014]S6：依据预测结果进行数据处理和分析，计算目标模型的性能指标和隐私安全指标，根据指标表征待测差分隐私深度学习算法的模型性能和隐私安全保护能力。
[0015]在一个实施例中，对数据集预处理包括：
[0016]计算数据集中数据样本的均值和方差，并根据均值和方差对每个数据样本进行归一化。
[0017]在一个实施例中，所述在目标训练集上采用待测试差分隐私深度学习算法对目标模型进行隐私训练，包括：
[0018]将目标训练集中的样本X输入到目标模型中，并计算损失函数L(X；θ),其中，θ为目标模型的参数；
[0019]将损失函数反向传播，得到目标模型损失函数相对于样本的梯度
[0020]对梯度进行裁剪限制敏感度其中，c表示梯度裁剪阈值；
[0021]对裁剪后的梯度根据预先设置的隐私参数施加噪声扰动对裁剪后的梯度根据预先设置的隐私参数施加噪声扰动表示均值为c2，方差为σ2的正态分布；
[0022]利用梯度和噪声扰动根据待测试差分隐私算法的更新策略更新目标模型参数
[0023]在一个实施例中，所述在影子训练集上对影子模型进行非隐私训练，包括：
[0024]将影子训练集中的样本X输入到影子模型中，并计算损失函数L(X；θ),其中，θ为影子模型的参数；
[0025]将损失函数反向传播，得到影子模型损失函数相对于样本的梯度
[0026]利用梯度更新模型参数
[0027]在一个实施例中，所述影子成员特征向量和影子非成员特征向量训练二分类攻击模型，包括：
[0028]构建数据对，其中，每个数据对包括特征向量和标签，其中，特征向量包括影子成员特征向量或影子非成员特征向量，标签表明特征向量是否来自成员样本，如果是，即特征向量为影子成员特征向量，则标签值设为1，如果否，即特征向量为影子非成员特征向量，则标签值设为0；
[0029]利用数据对对二分类攻击模型进行训练。
[0030]在一个实施例中，所述二分类攻击模型采用支持向量机或深度学习模型。
[0031]在一个实施例中，依据预测结果进行数据处理和分析，计算目标模型的性能指标和隐私安全指标，包括：
[0032]计算目标测试集在目标模型中测试得到的测试结果的正确率ACC，该正确率ACC越高，表明待测差分隐私深度学习算法的模型性能越好；
[0033]计算目标成员特征向量和目标非成员特征向量在二分类攻击模型测试得到的测试结果的准确性和AUC，AUC值越高，表明待测差分隐私深度学习算法的隐私安全保护能力越强。
[0034]第二方面，本专利技术提供了一种面向差分隐私深度学习算法的模型性能和隐私安全检测系统，包括数据预处理模块，目标模型训练模块，影子模型训练模块，攻击模型训练模块，性能与隐私安全检测模块；
[0035]所述数据预处理模块用于获取数据集预处理后划分为目标训练集，目标测试集，影子训练集和影子测试集；...

【技术保护点】

【技术特征摘要】
1.一种面向差分隐私深度学习算法的模型性能和隐私安全检测方法，其特征在于，包括以下步骤：S1：获取数据集预处理后划分为目标训练集，目标测试集，影子训练集和影子测试集；S2：在目标训练集上采用待测试差分隐私深度学习算法对目标模型进行隐私训练后，利用目标测试集对训练好的目标模型进行测试得到测试结果；S3：构建与目标模型结构和超参数设置相同的影子模型，在影子训练集上对影子模型进行非隐私训练；S4：分别从影子训练集和影子测试集中随机采样等量数据作为影子成员样本和影子非成员样本，并利用训练好的影子模型对样本进行预测得到影子成员特征向量和影子非成员特征向量后，利用影子成员特征向量和影子非成员特征向量训练二分类攻击模型；S5：分别从目标训练集和目标测试集中随机采样等量数据作为目标成员样本和目标非成员样本，并利用训练好的目标模型对样本进行预测得到目标成员特征向量和目标非成员特征向量后，利用训练好的二分类攻击模型对目标成员特征向量和目标非成员特征向量进行预测，得到样本是否用于目标模型训练的预测结果；S6：依据预测结果进行数据处理和分析，计算目标模型的性能指标和隐私安全指标，根据指标表征待测差分隐私深度学习算法的模型性能和隐私安全保护能力。2.根据权利要求1所述的面向差分隐私深度学习算法的模型性能和隐私安全检测方法，其特征在于，对数据集预处理包括：计算数据集中数据样本的均值和方差，并根据均值和方差对每个数据样本进行归一化。3.根据权利要求1所述的面向差分隐私深度学习算法的模型性能和隐私安全检测方法，其特征在于，所述在目标训练集上采用待测试差分隐私深度学习算法对目标模型进行隐私训练，包括：将目标训练集中的样本X输入到目标模型中，并计算损失函数L(X；θ),其中，θ为目标模型的参数；将损失函数反向传播，得到目标模型损失函数相对于样本的梯度对梯度进行裁剪限制敏感度其中，c表示梯度的裁剪阈值；对裁剪后的梯度根据预先设置的隐私参数施加噪声扰动对裁剪后的梯度根据预先设置的隐私参数施加噪声扰动表示均值为c2，方差为σ2的正态分布；利用梯度和噪声扰动根据待测试差分隐私算法的更新策略更新目标模型参数4.根据权利要求1所述的面向差分隐私深度学习算法的模型性能和隐私安全检测方法，其特征在于，所述在影子训练集上对影子模型进行非隐私训练，包括：将影子训练集中的样本X输入到影子模型中，并计算损失函数L(X；θ),其中，θ为影子模型的参数；
将损失函数反向传播，得到影子模型损失函数相对于样本的梯度利用梯度更新模型参数5.根据权利要求1所述的面向差分隐私深度学习算法的模型性能和隐私安全检测方法，其特征在于，所述影子成员特征向量和影子非成员特征向量训练二分类攻击模型，包括：构建数据对，其中，每个数据对包括特征向量和标签，其中，特征向量包括影子成员特征向量或影子非成员特征向量，标签表明特征向量是否来自成员样本，如果是，即特征向量为...

【专利技术属性】
技术研发人员：陈文智，赵明虎，魏成坤，范渊，刘博，王吾冰，张紫徽，
申请(专利权)人：浙江大学，
类型：发明
国别省市：