一种在深度学习下支持训练集成员隐私保护的方法技术

本发明专利技术公开了一种在深度学习下支持训练集成员隐私保护的方法，属于深度学习隐私保护技术领域。本发明专利技术基于数据混合技术方法的处理机制，采用增强混淆训练混合了训练数据样本与多元随机化设置，并在记忆训练过程中设置了一个额外的混合项，即记忆残留项，并扩大记忆残留项以增强对成员推理攻击的防御能力。通过该混合操作可以防止分类器记住样本数据，因此可以有效地抵抗成员推理攻击。本发明专利技术可以阻止模型与它的训练数据过度拟合，提高了目标模型的鲁棒性；且本发明专利技术不需要攻击者的先验知识，与现有技术相比，消耗的额外计算资源少；能有效抵御基于模型和度量攻击的成员推理攻击。

【技术实现步骤摘要】
一种在深度学习下支持训练集成员隐私保护的方法
本专利技术属于深度学习隐私保护
，具体涉及一种在深度学习下支持训练集成员隐私保护的方法。
技术介绍
机器学习在许多现实世界的任务中达到了最先进的性能，比如自动驾驶，医学诊断以及语音识别等等。然而，近期研究表明，机器学习模型容易因为记忆敏感的训练数据而受到各种隐私威胁。其中，成员推理攻击表现为：对手能够推断出一个特定的数据样本是否被用来训练目标模型。由于大量个人敏感信息(比如个人照片，医疗和临床记录以及金融投资)很可能包含在目标模型的训练中，所以它在隐私的应用中存在风险。通过训练一个二进制分类器为攻击模型，有研究者建立了第一个针对机器学习模型黑盒的成员推理攻击方法。具体来讲，对手把目标模型预测的概率向量作为输入，并推理出这个向量是否出现在目标模型的训练过程中，这种方法称为基于模型的攻击。最近，还有研究者提出了基于度量的攻击法，在这种方法中，对手根据不同的攻击目标，有着不同的推理阈值。这些阈值预测目标模型的输出，不需要训练神经网络就可以攻击。实验表明，基于度量的攻击取得了类似于基于模型攻击本文档来自技高网...

【技术保护点】
1.在深度学习下支持训练集成员隐私保护的方法，其特征在于，包括下列步骤：/n步骤S1：部署待训练的网络模型的训练环境，收集并获取原始训练数据集，用于训练待训练的网络模型；并对原始训练数据集配置安全访问权限；/n步骤S2：采用批处理方式加载原始训练数据，得到当前轮的多个初始批数据；/n步骤S3：对初始批数据进行随机混合处理，得到当前的混合批数据序列；/n步骤S4：基于数据混淆的方式配置当前批次的增强混合训练数据；/n从混合批数据序列中读取对应当前批次号的混合批数据，基于所述混合批数据与当前的记忆残留项的加权和得到当前批次的增强混合训练数据；/n并基于所述混合批数据更新记忆残留项：/n从该混合批数...

【技术特征摘要】
1.在深度学习下支持训练集成员隐私保护的方法，其特征在于，包括下列步骤：
步骤S1：部署待训练的网络模型的训练环境，收集并获取原始训练数据集，用于训练待训练的网络模型；并对原始训练数据集配置安全访问权限；
步骤S2：采用批处理方式加载原始训练数据，得到当前轮的多个初始批数据；
步骤S3：对初始批数据进行随机混合处理，得到当前的混合批数据序列；
步骤S4：基于数据混淆的方式配置当前批次的增强混合训练数据；
从混合批数据序列中读取对应当前批次号的混合批数据，基于所述混合批数据与当前的记忆残留项的加权和得到当前批次的增强混合训练数据；
并基于所述混合批数据更新记忆残留项：
从该混合批数据中随机选择部分样本，并基于指定的补充项组成与混合批数据包括的样本数相同的保留数据子集，将所述保留数据子集与当前记忆残留项的和乘上一个指定的保留参数得到新的记忆残留项并保存，其中，初始的记忆残留项为指定值；
步骤S5：基于当前批次的增强混合训练数据对待训练的网络模型进行深度学习训练，直到当前轮的所有批次训练完成；
步骤S6：若达到预设的训练结束条件，则停止训练，得到训练好的网络模型；否则继续执行步骤S2。


2.如权利要求所述的方法，其特征在于，步骤S3中，对每个初始批数据的随机混合处理具体为：
对初始批数据的数据样本进行...

【专利技术属性】
技术研发人员：李洪伟，陈宗琪，孙昊楠，范文澍，张云，郝猛，陈涵霄，刘小源，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51