基于模拟退火的差分隐私深度学习方法及相关设备技术

本申请公开了一种基于模拟退火的差分隐私深度学习方法、装置、设备及存储介质，所述基于模拟退火的差分隐私深度学习方法包括：获取训练数据集、训练数据集的结果标签和当前温度值；基于训练数据集和训练数据集的结果标签，确定当前损失函数值；基于当前温度值，评估当前损失函数值，筛选得到有效损失函数值；基于有效损失函数值和当前温度值，训练得到差分隐私模型，其中，在向差分隐私模型输入待分类图像后，模型的输出结果用于确定针对所述待分类图像相应图像分类结果。本申请通过评估当前周期所计算得到的损失函数值，筛选去除质量低下的损失函数值，并将高质量的有效损失值作为当前周期的损失函数值，以此减小了训练模型时的隐私预算损耗。隐私预算损耗。隐私预算损耗。

【技术实现步骤摘要】
基于模拟退火的差分隐私深度学习方法及相关设备


[0001]本申请涉及网络安全
，尤其涉及一种基于模拟退火的差分隐私深度学习方法及相关设备。

技术介绍

[0002]深度学习通过建立多层的神经网络，组合低层特征形成更加抽象的高层表示属性类别或特征，从而充分挖掘数据当中有价值的信息。然而，深度学习依赖于海量的数据，会涉及到大量的隐私数据；另外，深度神经网络包含大量的隐含层，在模型训练过程中可能会将某些个体数据的细节编码成模型参数，甚至会记忆整个神经网络，这些都为深度学习的数据安全与隐私带来前所未有的挑战。
[0003]差分隐私机制是一种用在统计学上的密码技术，最早用以解决统计数据库在数据发布过程中的隐私泄露问题，它通过向原始数据中注入噪声，使得至多相差一条记录的两个数据集的查询结果概率不可分，从而有效抵御差分攻击。
[0004]相关技术中针对深度学习模型进行隐私保护的技术是通过自适应裁剪技术和自适应隐私预算分配上对差分隐私深度学习进行优化，但该方法隐私预算损耗大。

技术实现思路

[0005]本申请的主要目的在于提供一种基于模拟退火的差分隐私深度学习方法、装置、设备及存储介质，旨在解决现有技术中隐私预算损耗大的技术问题。
[0006]为实现以上目的，本申请提供一种基于模拟退火的差分隐私深度学习方法，所述基于模拟退火的差分隐私深度学习方法包括：
[0007]获取训练数据集、所述训练数据集的结果标签和当前温度值；
[0008]基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值；
[0009]基于所述当前温度值，评估所述当前损失函数值，筛选得到有效损失函数值；
[0010]基于所述有效损失函数值和所述当前温度值，训练得到差分隐私模型，其中，在向所述差分隐私模型输入待分类图像后，所述模型的输出结果用于确定针对所述待分类图像相应图像分类结果。
[0011]可选地，所述基于所述当前温度值，评估所述当前损失函数值，筛选得到有效损失函数值的步骤，包括：
[0012]基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值；
[0013]若当前训练周期不接受所述当前损失函数值，返回所述基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值的步骤，直至当前训练周期接受所述当前损失函数值，得到有效损失函数值。
[0014]可选地，所述基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值的步骤，包括：
[0015]将所述当前损失函数值与上一训练周期的损失函数值相减计算，得到目标差值；
[0016]基于所述目标差值和所述当前温度值，确定接受概率值，并基于所述接受概率值，判断当前训练周期是否接受所述当前损失函数值。
[0017]可选地，所述基于所述目标差值和所述当前温度值，确定接受概率值，并基于所述接受概率值，判断当前训练周期是否接受所述当前损失函数值的步骤，包括：
[0018]基于所述目标差值和所述当前温度值，采用以下公式计算接受概率值：
[0019][0020]其中，ΔE表示目标差值，Q表示当前温度值，P表示接受概率值；
[0021]确定当前训练周期的随机值，并基于所述随机值和所述接受概率值，判断当前训练周期是否接受所述当前损失函数值。
[0022]可选地，所述基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值的步骤之前，所述方法包括：
[0023]获取当前周期对损失函数值的连续拒绝次数；
[0024]判断所述连续拒绝次数是否小于预设的最大拒绝次数阈值；
[0025]若所述连续拒绝次数大于或等于所述最大拒绝次数阈值，则跳过所述基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值的步骤，接受所述当前损失函数值。
[0026]可选地，所述基于所述有效损失函数值和所述当前温度值，训练得到差分隐私模型，其中，在向所述差分隐私模型输入待分类图像后，所述模型的输出结果用于确定针对所述待分类图像相应图像分类结果的步骤，包括：
[0027]确定当前的有效迭代次数；
[0028]判断所述有效迭代次数是否达到预设的总迭代次数；
[0029]若所述有效迭代次数未达到预设的总迭代次数，则基于预设的温度上升值，上升所述当前温度值，并基于上升后的温度值，进入下一训练周期，直至所述有效迭代次数达到预设的总迭代次数，得到训练完成后的差分隐私模型。
[0030]可选地，所述基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值的步骤，包括：
[0031]将所述训练数据集输入至预设的待训练模型，得到预测结果；
[0032]将所述预测结果与所述训练数据集的结果标签进行损失函数的计算，得到当前损失函数值。
[0033]本申请还提供一种基于模拟退火的差分隐私深度学习装置，所述基于模拟退火的差分隐私深度学习装置包括：
[0034]获取模块，用于获取训练数据集、所述训练数据集的结果标签和当前温度值；
[0035]确定模块，用于基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值；
[0036]评估模块，用于基于所述当前温度值，评估所述当前损失函数值，筛选得到有效损失函数值；
[0037]训练模块，用于基于所述有效损失函数值和所述当前温度值，训练得到差分隐私模型，其中，在向所述差分隐私模型输入待分类图像后，所述模型的输出结果用于确定针对
所述待分类图像相应图像分类结果。
[0038]本申请还提供一种基于模拟退火的差分隐私深度学习设备，所述基于模拟退火的差分隐私深度学习设备包括：存储器、处理器以及存储在存储器上的用于实现所述基于模拟退火的差分隐私深度学习方法的程序，
[0039]所述存储器用于存储实现基于模拟退火的差分隐私深度学习方法的程序；
[0040]所述处理器用于执行实现所述基于模拟退火的差分隐私深度学习方法的程序，以实现所述基于模拟退火的差分隐私深度学习方法的步骤。
[0041]本申请还提供一种存储介质，所述存储介质上存储有实现基于模拟退火的差分隐私深度学习方法的程序，所述实现基于模拟退火的差分隐私深度学习方法的程序被处理器执行以实现所述基于模拟退火的差分隐私深度学习方法的步骤。
[0042]本申请提供的一种基于模拟退火的差分隐私深度学习方法、装置、设备及存储介质，与相关技术中针对深度学习模型进行隐私保护的技术是通过自适应裁剪技术和自适应隐私预算分配上对差分隐私深度学习进行优化，但该方法隐私预算损耗大相比，在本申请中，获取训练数据集、所述训练数据集的结果标签和当前温度值；基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值；基于所述当前温度值，评估所述当前损失函数值，筛选得到有效损失函数值；基于所述有效损失函数值和所述当前温度值，训练得到差分隐私模型，其中，在向所述差分隐私模型输入待分类图像后，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模拟退火的差分隐私深度学习方法，其特征在于，所述基于模拟退火的差分隐私深度学习方法包括：获取训练数据集、所述训练数据集的结果标签和当前温度值；基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值；基于所述当前温度值，评估所述当前损失函数值，筛选得到有效损失函数值；基于所述有效损失函数值和所述当前温度值，训练得到差分隐私模型，其中，在向所述差分隐私模型输入待分类图像后，所述模型的输出结果用于确定针对所述待分类图像相应图像分类结果。2.如权利要求1所述的基于模拟退火的差分隐私深度学习方法，其特征在于，所述基于所述当前温度值，评估所述当前损失函数值，筛选得到有效损失函数值的步骤，包括：基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值；若当前训练周期不接受所述当前损失函数值，返回所述基于所述训练数据集和所述训练数据集的结果标签，确定当前损失函数值的步骤，直至当前训练周期接受所述当前损失函数值，得到有效损失函数值。3.如权利要求2所述的基于模拟退火的差分隐私深度学习方法，其特征在于，所述基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值的步骤，包括：将所述当前损失函数值与上一训练周期的损失函数值相减计算，得到目标差值；基于所述目标差值和所述当前温度值，确定接受概率值，并基于所述接受概率值，判断当前训练周期是否接受所述当前损失函数值。4.如权利要求3所述的基于模拟退火的差分隐私深度学习方法，其特征在于，所述基于所述目标差值和所述当前温度值，确定接受概率值，并基于所述接受概率值，判断当前训练周期是否接受所述当前损失函数值的步骤，包括：基于所述目标差值和所述当前温度值，采用以下公式计算接受概率值：其中，ΔE表示目标差值，Q表示当前温度值，P表示接受概率值；确定当前训练周期的随机值，并基于所述随机值和所述接受概率值，判断当前训练周期是否接受所述当前损失函数值。5.如权利要求2所述的基于模拟退火的差分隐私深度学习方法，其特征在于，所述基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值的步骤之前，所述方法包括：获取当前周期对损失函数值的连续拒绝次数；判断所述连续拒绝次数是否小于预设的最大拒绝次数阈值；若所述连续拒绝次数大于或等于所述最大拒绝次数阈值，则跳过所述基于所述当前温度值，判断当前训练周期是否接受所述当前损失函数值的步骤，...

【专利技术属性】
技术研发人员：符捷，张骁，商松，桂宏昱，简海波，许强，庞同庆，田翔，王恩凯，沈书航，
申请(专利权)人：无锡吉利区块链科技有限公司，
类型：发明
国别省市：