面向联邦学习投毒攻击的防御方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种面向联邦学习投毒攻击的防御方法、装置、设备及介质，包括：从多个客户端中获取本地数据对应的第一特征嵌入信息，本地数据预存在客户端中，各个客户端中的本地数据为总训练样本的不相交的样本子集；对第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算；根据计算得到的互信息对第一特征嵌入信息进行异常特征嵌入剔除，并将剔除后的第一特征嵌入信息作为正常特征嵌入信息；基于正常特征嵌入信息对预存的顶部模型进行训练，以优化顶部模型参数。本发明专利技术能够在不借助辅助数据以及不接触客户端底部模型的条件下实现对恶意样本的规避且不影响模型的可用性，适用于纵向联邦学习场景中。适用于纵向联邦学习场景中。适用于纵向联邦学习场景中。

【技术实现步骤摘要】
面向联邦学习投毒攻击的防御方法、装置、设备及介质


[0001]本专利技术涉及网络安全
，尤其涉及一种面向联邦学习投毒攻击的防御方法、装置、设备及介质。

技术介绍

[0002]联邦学习(Federated Learning)是一种新的机器学习模式，它让多个参与者可以在不泄露明文数据的前提下，用多方的数据共同训练模型，实现数据可用不可见。联邦学习方法主要分为横向联邦学习与纵向联邦学习等。其中，横向联邦学习的特点是各个参与方数据的特征维度是相同的，但是样本ID不同。纵向联邦学习(VFL)是一种机器学习范式，旨在联合不同客户端所持有的不同的特征子集，提高模型的性能。在实践中，VFL适用于潜在竞争公司之间的异构和机密特征源的知识融合，以驱动强大的预测分析。例如，一家保险公司可能希望将同一主体的贷款信用与不同金融机构提供的银行交易记录合并，以预测该主体的未来金融风险。纵向联邦学习的特点是数据样本ID基本相同，特征不同。
[0003]联邦学习过程中，客户端在收集数据时，很可能收集到来自恶意攻击者注入的“有毒”样本，导致后续不可靠的模型训练，并对许多高风险应用程序构成潜在风险。因此，服务器需要对所接收的基于不同客户端数据的特征嵌入进行质量监管，以实现对投毒攻击的防御。
[0004]目前，针对联邦学习投毒攻击的防御方法主要集中在横向联邦学习的场景。这些方法的核心思路是：分析不同客户端所上传的模型更新，以规避或剔除异常客户端参与训练。然而，在纵向联邦学习中，每个客户端拥有独特的数据特征，即不同客户端共享的特征嵌入具有天然的独特性。针对横向联邦学习的投毒攻击防御方法并不适用于纵向联邦学习的场景。因此，亟需一种适用于纵向联邦学习场景的投毒攻击防御方法。

技术实现思路

[0005]本专利技术的实施例提供了一种面向联邦学习投毒攻击的防御方法、装置、设备及介质，以克服现有技术的缺陷。
[0006]为了实现上述目的，本专利技术采取了如下技术方案。
[0007]第一方面，本专利技术提供一种面向联邦学习投毒攻击的防御方法，应用在服务器，包括：
[0008]从多个客户端中获取本地数据对应的第一特征嵌入信息；所述本地数据预存在客户端中，各个客户端中的本地数据为总训练样本的不相交的样本子集，所述第一特征嵌入信息基于客户端中预存的底部模型获得；
[0009]对所述第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算；
[0010]根据计算得到的互信息对所述第一特征嵌入信息进行异常特征嵌入剔除，并将剔除后的第一特征嵌入信息作为正常特征嵌入信息；
[0011]基于所述正常特征嵌入信息对预存的顶部模型进行训练，以优化顶部模型参数。
[0012]可选地，所述对所述第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算，包括：
[0013]基于数据标签y
N
与第一特征嵌入信息计算互信息MI：
[0014][0015]可选地，所述根据计算得到的互信息对所述第一特征嵌入信息进行异常特征嵌入剔除，并将剔除后的第一特征嵌入信息作为正常特征嵌入信息，包括：
[0016]将低于预设阈值的互信息作为异常互信息，并将所述异常互信息对应的第一特征嵌入信息作为异常特征嵌入信息；
[0017]根据所述异常特征嵌入信息对所述第一特征嵌入信息进行剔除，将剔除后的第一特征嵌入信息作为正常特征嵌入信息。
[0018]可选地，基于所述正常特征嵌入信息对预存的顶部模型进行训练，以优化顶部模型参数，包括：
[0019]基于所述正常特征嵌入信息与所述数据标签进行分类交叉熵损失计算，以获得损失值；
[0020]基于所述损失值对预存的顶部模型进行训练，以优化顶部模型的参数，并将顶部模型训练过程中正常特征嵌入信息对应的梯度信息发送至对应的客户端，以实现客户端中底部模型的更新。
[0021]第二方面，本专利技术还提供一种面向联邦学习投毒攻击的防御方法，应用在多个客户端，包括：
[0022]利用预存的底部模型对本地数据进行特征转化，以获得第一特征嵌入信息，并将所述第一特征嵌入信息发送至服务器。
[0023]可选地，在将所述第一特征嵌入信息发送至服务器之后，方法还包括：
[0024]从所述服务器中获取顶部模型训练过程中正常特征嵌入信息对应的梯度信息；
[0025]基于所述梯度信息对所述底部模型进行更新，以获得训练好的底部模型。
[0026]第三方面，本专利技术还提供一种面向联邦学习投毒攻击的防御装置，应用在服务器，包括：
[0027]第一信息获取模块，用于从多个客户端中获取本地数据对应的第一特征嵌入信息；所述本地数据预存在客户端中，各个客户端中的本地数据为总训练样本的不相交的样本子集，所述第一特征嵌入信息基于客户端中预存的底部模型获得；
[0028]互信息计算模块，用于对所述第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算；
[0029]异常确定模块，用于根据计算得到的互信息对所述第一特征嵌入信息进行异常特征嵌入剔除，并将剔除后的第一特征嵌入信息作为正常特征嵌入信息；
[0030]顶部模型训练模块，用于基于所述正常特征嵌入信息对预存的顶部模型进行训练，以优化顶部模型参数。
[0031]第四方面，本专利技术还提供一种面向联邦学习投毒攻击的防御装置，应用在多个客户端，包括：
[0032]第一信息发送模块，用于利用预存的底部模型对本地数据进行特征转化，以获得
第一特征嵌入信息，并将所述第一特征嵌入信息发送至服务器。
[0033]第五方面，本专利技术还提供一种电子设备，包括存储器和处理器，处理器和存储器相互通信，存储器存储有可被处理器执行的程序指令，处理器调用程序指令执行如上的面向联邦学习投毒攻击的防御方法。
[0034]第六方面，本专利技术还提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如上的面向联邦学习投毒攻击的防御方法。
[0035]本专利技术有益效果：本专利技术提供的面向联邦学习投毒攻击的防御方法、装置、设备及介质，通过对不同客户端中本地数据对应的特征嵌入信息与数据标签进行互信息计算确定异常特征嵌入信息，进而对异常特征嵌入信息进行剔除，基于正常特征嵌入信息完成联邦学习，本专利技术能够在不借助辅助数据以及不接触客户端底部模型的条件下实现对恶意样本的规避且不影响模型的可用性，适用于纵向联邦学习场景中。
[0036]本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0037]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本专利技术实施例提供的一种面向联邦学习投本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向联邦学习投毒攻击的防御方法，其特征在于，应用在服务器，包括：从多个客户端中获取本地数据对应的第一特征嵌入信息；所述本地数据预存在客户端中，各个客户端中的本地数据为总训练样本的不相交的样本子集，所述第一特征嵌入信息基于客户端中预存的底部模型获得；对所述第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算；根据计算得到的互信息对所述第一特征嵌入信息进行异常特征嵌入剔除，并将剔除后的第一特征嵌入信息作为正常特征嵌入信息；基于所述正常特征嵌入信息对预存的顶部模型进行训练，以优化顶部模型参数。2.根据权利要求1所述的面向联邦学习投毒攻击的防御方法，其特征在于，所述对所述第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算，包括：基于数据标签y
N
与第一特征嵌入信息计算互信息MI：3.根据权利要求1所述的面向联邦学习投毒攻击的防御方法，其特征在于，所述根据计算得到的互信息对所述第一特征嵌入信息进行异常特征嵌入剔除，并将剔除后的第一特征嵌入信息作为正常特征嵌入信息，包括：将低于预设阈值的互信息作为异常互信息，并将所述异常互信息对应的第一特征嵌入信息作为异常特征嵌入信息；根据所述异常特征嵌入信息对所述第一特征嵌入信息进行剔除，将剔除后的第一特征嵌入信息作为正常特征嵌入信息。4.根据权利要求1
‑
3任一所述的面向联邦学习投毒攻击的防御方法，其特征在于，所述基于所述正常特征嵌入信息对预存的顶部模型进行训练，以优化顶部模型参数，包括：基于所述正常特征嵌入信息与所述数据标签进行分类交叉熵损失计算，以获得损失值；基于所述损失值对预存的顶部模型进行训练，以优化顶部模型的参数，并将顶部模型训练过程中正常特征嵌入信息对应的梯度信息发送至对应的客户端，以实现客户端中底部模型的更新。5.一种面向联邦学习投毒攻击的防御方法，其特征在于...

【专利技术属性】
技术研发人员：王伟，许向蕊，陈政，刘鹏睿，郝玉蓉，祝咏升，胡福强，吕晓婷，李超，段莉，刘吉强，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：