一种基于变分贝叶斯网络的联邦学习对抗样本检测方法技术

本发明专利技术公开了一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，包括以下步骤：向联邦学习的各参与对象下发训练模型；各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；对各参与对象获得的样本交集进行求交，得到共有样本空间；各参与对象根据共有样本空间从各自的本地样本中筛选目标本地样本，使用各参与对象各自的目标本地样本对模型进行训练，得到各参与对象各自的梯度信息；接收各参与对象发送的梯度信息，计算梯度信息分布密度的不确定度；根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。本发明专利技术能够在不直接访问私有训练数据的情况下，完成联邦学习系统中的对抗样本检测任务。测任务。测任务。

【技术实现步骤摘要】
一种基于变分贝叶斯网络的联邦学习对抗样本检测方法


[0001]本专利技术涉及联邦学习
，尤其是一种基于变分贝叶斯网络的联邦学习对抗样本检测方法。

技术介绍

[0002]联邦学习是一类分布式机器学习，但在学习过程中，各个参与对象不会共享自身的训练数据，而是每个参与方利用多个计算节点进行联合训练，最终形成一个性能较好的全局模型。联邦学习中的角色包括服务器和参与方，参与方会将训练产生的更新发送给服务器，而服务器会以某种策略将这些更新聚合，并利用聚合的结果来更新全局模型。
[0003]用于联邦学习的训练样本中通常包含一定数量的对抗样本。对抗样本是指在对抗攻击的作用下样本中被添加了人类感官难以察觉的微小扰动，但是全局模型学习过程中在对抗样本上和在与对抗样本对应的正常样本上所输出的判断结果不同。由于联邦学习中各个参与对象不会共享自身的训练数据，因此在全局服务器上无法直接辨别哪些训练样本是对抗样本，而需要采用一定的方法检测训练样本中的对抗样本。
[0004]现有对抗样本检测方法一般需要遍历整个数据集才能进行相关计算，而联邦学习系统一般有较大的数据量，遍历整个数据集而进行相关计算的时空代价都是巨大的，因此不能实现对抗样本的实时检测。且由于联邦学习中不能直接访问客户端的原始数据，因此这样的检测方法违背了联邦学习的隐私保护特性。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种基于变分贝叶斯网络的联邦学习对抗样本检测方法。
[0006]本专利技术提供了一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，包括以下步骤：
[0007]服务器向联邦学习的各参与对象下发训练模型；各参与对象使用本地样本对所述训练模型进行训练，得到样本空间；所述训练模型中包括用于检测对抗样本的贝叶斯子层；
[0008]各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；
[0009]服务器对各参与对象获得的样本交集进行求交，得到共有样本空间；所述共有样本空间指联邦学习中全部参与对象共有的样本交集；
[0010]各参与对象根据所述共有样本空间从各自的本地样本中筛选出位于所述共有样本空间内的本地样本作为目标本地样本，使用各参与对象各自的目标本地样本对所述训练模型进行训练，得到各参与对象各自的梯度信息；
[0011]服务器接收各参与对象发送的梯度信息，计算所述梯度信息分布密度的不确定度；
[0012]根据所述梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。
[0013]进一步地，在所述服务器向联邦学习的各参与对象下发训练模型步骤之前，还包
括以下步骤：
[0014]服务器在训练模型中集成贝叶斯子层。
[0015]进一步地，所述联邦学习的各参与对象包括第一参与对象和第二参与对象；所述第一参与对象和第二参与对象之间的私密求交操作，具体包括以下步骤：
[0016]第一参与对象向第二参与对象发送私密求交请求；
[0017]第二参与对象生成包括公钥、大素数和私钥的秘钥；将秘钥中的公钥和大素数发送给第一参与对象；
[0018]第一参与对象在本地样本中添加第一随机数后，通过所述公钥和大素数加密本地样本，得到第一映射样本，将第一映射样本发送给第二参与对象；
[0019]第二参与对象使用私钥解密所述第一映射样本和第二参与对象的本地样本，并对第一映射样本和第二参与对象的本地样本进行盲签名，得到第一签名样本和第二签名样本，将第一签名样本和第二签名样本发送给第一参与对象；
[0020]第一参与对象使用公钥和大素数验证所述第一签名样本和第二签名样本后，通过第一随机数反推所述第一签名样本，得到第一样本集合；第一参与对象求得第一样本集合和第二签名样本的交集，作为第一样本空间发送给第二参与对象；
[0021]第一参与对象和第二参与对象分别使用公钥解密所述第一样本空间，得到第一参与对象和第二参与对象各自的样本交集。
[0022]进一步地，所述服务器对各参与对象获得的样本交集进行求交，得到共有样本空间之后，还包括以下步骤：
[0023]服务器对齐所述共有样本空间。
[0024]进一步地，所述计算所述梯度信息分布密度的不确定度，具体包括以下步骤：
[0025]寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K
‑
L散度表征所述梯度信息分布密度和贝叶斯分布的差异性；
[0026]以最小化K
‑
L散度为目标，使用最大化证据下界表征所述最小化K
‑
L散度；
[0027]基于蒙特卡洛方法对各个参与对象进行随机抽样，计算被抽样参与方梯度信息的先验概率，求取所述被抽样参与方梯度信息的先验概率平均值作为全局先验概率；
[0028]使用所述全局先验概率计算最大化证据下界，并求取最大化证据下界的梯度作为ELBO梯度；
[0029]利用贝叶斯公式计算后验概率，计算所述ELBO梯度的方差，略去噪声方差项后作为所述梯度信息分布密度的不确定度。
[0030]进一步地，所述寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K
‑
L散度表征所述梯度信息分布密度和贝叶斯分布的差异性，具体通过以下公式实现：
[0031][0032]式中，P表示梯度信息分布密度，q表示近似的变分贝叶斯分布，θ为所述训练模型贝叶斯子层的参数，w为训练模型参数，D为梯度信息数据集，Eq(ω|θ)表示近似的变分贝叶斯分布的均值。
[0033]进一步地，所述以最小化K
‑
L散度为目标，使用最大化证据下界表征所述最小化K
‑
L散度，通过以下公式实现：
[0034]ELBO＝E
q(w|θ)
lnp(D|w)
‑
KL(q(w|θ)||p(w))
[0035]KL(q(w|θ)||p(w|D))＝
‑
ELBO+lnp(D)
[0036][0037]式中，ELBO表示证据下界，表示最大化证据下界。
[0038]进一步地，所述不确定度通过如下公式计算：
[0039][0040]式中，U为不确定度，M为蒙特卡洛方法所抽样的样本数，xm为蒙特卡洛抽样后的数据中的一条，x为抽样后的数据。
[0041]进一步地，所述根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本，具体包括以下步骤：
[0042]对各参与对象进行抽样，计算被抽样参与对象本地样本的不确定度和最大化证据下界；
[0043]将不确定度大于预设不确定度阈值且最大化证据下界小于预设ELBO阈值的参与对象本地样本视作对抗样本。
[0044]进一步地，还包括以下步骤：
[0045]删除对抗样本数量大于预设阈值的参与对象；
[0046]使用剩余参与对象的梯度信息更新所述训练模型。
[0047]本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，包括以下步骤：服务器向联邦学习的各参与对象下发训练模型；各参与对象使用本地样本对所述训练模型进行训练，得到样本空间；所述训练模型中包括用于检测对抗样本的贝叶斯子层；各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；服务器对各参与对象获得的样本交集进行求交，得到共有样本空间；所述共有样本空间指联邦学习中全部参与对象共有的样本交集；各参与对象根据所述共有样本空间从各自的本地样本中筛选出位于所述共有样本空间内的本地样本作为目标本地样本，使用各参与对象各自的目标本地样本对所述训练模型进行训练，得到各参与对象各自的梯度信息；服务器接收各参与对象发送的梯度信息，计算所述梯度信息分布密度的不确定度；根据所述梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。2.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，在所述服务器向联邦学习的各参与对象下发训练模型步骤之前，还包括以下步骤：服务器在训练模型中集成贝叶斯子层。3.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述联邦学习的各参与对象包括第一参与对象和第二参与对象；所述第一参与对象和第二参与对象之间的私密求交操作，具体包括以下步骤：第一参与对象向第二参与对象发送私密求交请求；第二参与对象生成包括公钥、大素数和私钥的秘钥；将秘钥中的公钥和大素数发送给第一参与对象；第一参与对象在本地样本中添加第一随机数后，通过所述公钥和大素数加密本地样本，得到第一映射样本，将第一映射样本发送给第二参与对象；第二参与对象使用私钥解密所述第一映射样本和第二参与对象的本地样本，并对第一映射样本和第二参与对象的本地样本进行盲签名，得到第一签名样本和第二签名样本，将第一签名样本和第二签名样本发送给第一参与对象；第一参与对象使用公钥和大素数验证所述第一签名样本和第二签名样本后，通过第一随机数反推所述第一签名样本，得到第一样本集合；第一参与对象求得第一样本集合和第二签名样本的交集，作为第一样本空间发送给第二参与对象；第一参与对象和第二参与对象分别使用公钥解密所述第一样本空间，得到第一参与对象和第二参与对象各自的样本交集。4.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述服务器对各参与对象获得的样本交集进行求交，得到共有样本空间之后，还包括以下步骤：服务器对齐所述共有样本空间。5.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述计算所述梯度信息分布密度的不确定度，具体包括以下步骤：寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K
...

【专利技术属性】
技术研发人员：高英，时乐宇，陈冲，黄思铨，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：