【技术实现步骤摘要】
一种基于分散训练的标签推理攻击的防御方法和装置
[0001]本专利技术涉及一种联邦学习及密码学
，尤其涉及一种基于分散训练的标签推理攻击的防御方法和装置。
技术介绍
[0002]机器学习在做决策、风险识别和疾病诊断等众多领域取得了巨大成功。机器学习的广泛使用及其有效性，除了因为机器学习算法的进步外，还有收集、存储和处理大量数据，但是这样做的成本越来越高。特别是，整合使用来自多个来源的数据（例如，不同机构收集的数据或存储在不同数据中心的数据）。然而，共享数据可能会遇到安全和隐私问题。随着数据隐私保护意识的增强，法律禁止共享包含公民敏感信息的数据。例如，欧盟的一般数据保护条例（GDPR）、新加坡的个人数据保护法案（PDPA）、美国的加利福尼亚消费者隐私法案（CCPA）和我国的《个人信息保护法》等法规。
[0003]在这种情况下，联邦学习（FL）被提出并得到了广泛的使用。它使多个数据所有者（例如，客户端或数据中心）能够协作培训机器学习模型，而不会泄露其私人数据。基本工作流程是，联邦学习的参与者迭代地（i）对其数据进行...
【技术保护点】
【技术特征摘要】
1.一种基于分散训练的标签推理攻击的防御方法，其特征在于，包括以下步骤：步骤S1：初始化参与方的底层模型；其中，所述参与方包括有推理标签能力的恶意参与方A、诚实参与方B和诚实参与方C，所述恶意参与方A中的底层模型为第一模型，所述诚实参与方B中的底层模型为第二模型，所述诚实参与方C中的底层模型为影子模型，所述第一模型与所述影子模型结构相同；步骤S2：所述参与方根据各自的训练集和各自的参数进行梯度的前向传播、后向传播对底层模型进行训练，得到底层模型参数；其中，训练第一模型的训练集为第一训练集，训练第二模型的训练集为第二训练集，训练影子模型的训练集为第三训练集，所述第三训练集由所述第一训练集拆分得到；所述底层模型参数包括第一模型参数、第二模型参数和影子模型参数，所述第一模型参数是所述恶意参与方A基于第一训练集对所述第一模型训练得到，所述第二模型参数是所述诚实参与方B基于第二训练集对所述第二模型训练得到，所述影子模型参数是所述诚实参与方C基于第三训练集对所述影子模型训练得到；步骤S3：将所述第一模型根据所述第一模型参数产生的中间结果和所述影子模型根据所述影子模型参数产生的中间结果通过合并函数合并得到更新后的第一模型的中间结果，将更新后的第一模型的中间结果和所述第二模型根据所述第二模型参数产生的中间结果进行汇聚，得到底层模型的所有的输出结果；步骤S4：将底层模型的所有的输出结果作为服务器中的顶层模型的输入，并根据顶层模型参数进行梯度的前向传播、后向传播进行训练，得到训练后的顶层模型并且更新顶层模型的参数；步骤S5：利用训练后的顶层模型参数和顶层模型的标签进行损失函数的计算，根据得到的损失函数和顶层模型参数进行梯度求解，得到顶层模型的梯度，顶层模型将梯度下传给恶意参与方A和诚实参与方B；步骤S6：重复步骤S1
‑
S5直至顶层模型和底层模型收敛。2.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤S1中所述影子模型和所述第一模型结构相同。3.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤S2中所述恶意参与方A...
【专利技术属性】
技术研发人员：方黎明，王伊蕾，吕庆喆，李涛，逯兆博，
申请(专利权)人：杭州量安科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。