本申请提供一种联邦学习模型投毒攻击检测及防御方法、装置及设备，该方法包括：获取目标客户端本轮上传的梯度；在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；获取所述目标客户端上传的更新后的测试梯度，并依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。该方法可以提高投毒攻击检测的准确性和可靠性。的准确性和可靠性。的准确性和可靠性。
【技术实现步骤摘要】
联邦学习模型投毒攻击检测及防御方法、装置及设备
[0001]本申请涉及人工智能安全领域，尤其涉及一种联邦学习模型投毒攻击检测及防御方法、装置及设备。
技术介绍
[0002]随着数据隐私保护需求的日益增加，联邦学习（Federated Learning，简称FL）作为一种分布式学习范式的隐私保护训练解决方案应用也日益广泛。FL 允许数据所有者在中央服务器的协调下协作训练模型，通过共享本地梯度更新而不是私有的数据集来获得更好的预测性能，从而保护每个参与者的原始数据的隐私。
[0003]然而，FL 在其训练过程中容易受到各种模型投毒攻击，其由于采用了分布式的结构和隐私保护的本地训练范式，使得中央服务器无法验证客户端本地上传的梯度更新。因此，攻击者可以通过劫持其中的参与用户，上传恶意本地梯度更新，来破坏全局聚合模型，最终导致模型预测性能下降，从而严重危害了 FL 应用。
技术实现思路
[0004]有鉴于此，本申请提供一种联邦学习模型投毒攻击检测及防御方法、装置及设备。
[0005]具体地，本申请是通过如下技术方案实现的：根据本申请实施例的第一方面，提供一种联邦学习模型投毒攻击检测及防御方法，包括：获取目标客户端本轮上传的梯度；在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；获取所述目标客户端上传的更新后的测试梯度，并依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。
[0006]根据本申请实施例的第二方面，提供一种联邦学习模型投毒攻击检测及防御装置，包括：获取单元，用于获取目标客户端本轮上传的梯度；测试单元，用于在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；所述获取单元，还用于获取所述目标客户端上传的更新后的测试梯度；检测单元，用于依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。
[0007]根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，其中，存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面提供的方法。
[0008]本申请实施例的联邦学习模型投毒攻击检测及防御方法，在处于检测模式的情况下，中心服务器可以依据目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给目标客户端；目标客户端可以对测试梯度进行本地更新，得到更新后的测试梯度，并将更新后的测试梯度上传至中心服务器；中心服务器可以依据目标客户端更新前后的测试梯度在方向上的角度变化，对目标客户端进行投毒攻击检测，实现了针对投毒攻击的自动检测；此外，通过针对每个客户端分别进行投毒攻击检测，可以有效避免将良性离群梯度判定为恶意投毒梯度，提高了投毒攻击检测的准确性和可靠性。
附图说明
[0009]图1为本申请一示例性实施例示出的一种联邦学习模型投毒攻击检测及防御方法的流程示意图；图2为本申请一示例性实施例示出的一种联邦学习模型投毒攻击检测及防御方法的流程示意图；图3为本申请一示例性实施例示出的一种联邦学习模型投毒攻击检测及防御装置的结构示意图；图4为本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0010]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0011]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0012]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例涉及的部分术语进行简单说明。
[0013]1、联邦学习：联邦学习是一种分布式机器学习范式，用于对来自多客户端的分布式数据进行共享模型的训练。
[0014]示例性的，中心服务器可以首先初始化共享模型（也可以称为全局模型），然后将共享模型分发给K个被选中的客户端，以参与本轮训练。每一个客户端从该客户端的本地数据集中采样一个小批量数据（即训练数据）计算出对应的梯度，并上传至中心服务器。中心服务器对各客户端上传的梯度进行聚合，得到聚合梯度，并将聚合梯度下发给各客户端，由各客户端基于聚合梯度对本地模型进行更新，并基于更新后的本地模型计算出新的梯度，上传至中心服务器。然后通过中心服务器和客户端之间不断地迭代更新，最终使全局模型达到收敛。
[0015]2、Non
‑
IID数据（非独立同分布数据）：联邦学习中多个客户端拥有的源训练数据以非独立同分布的形式存在，即对于两个客户端，存在数据标签为k的数据。
[0016]3、模型投毒攻击（Model Poisoning Attack）：一种针对机器学习模型的安全攻击手段，旨在通过修改训练数据，向目标模型中注入具有恶意目的的样本，从而破坏模型的性能或导致误导性的预测结果。
[0017]为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0018]请参见图1，为本申请实施例提供的一种联邦学习模型投毒攻击检测及防御方法的流程示意图，其中，该联邦学习模型投毒攻击检测方法及防御可以应用于中心服务器，如图1所示，该联邦学习模型投毒攻击检测及防御方法可以包括以下步骤：步骤S100、获取目标客户端本轮上传的梯度。
[0019]步骤S110、在处于检测模式的情况下，依据目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给目标客户端，以使目标客户端对测试梯度进行本地更新，得到更新后的测试梯度；其中，梯度对应的测试梯度与梯度之间在方向上的角度变化小于阈值。
[0020]本申请实施例中，中心服务器获取到目标客户端本轮上传的梯度的情况下，可以确定当前是否处于检测模式。
[0021]在处于检测模式的情况下，中心服务器可以依据目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度。
[0022]示例性的，中心服务器可以将构造得到的测试梯度作为聚合梯度，下发给目标客户端。
[0023]即在本申请本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种联邦学习模型投毒攻击检测及防御方法，其特征在于，包括：获取目标客户端本轮上传的梯度；在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；获取所述目标客户端上传的更新后的测试梯度，并依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。2.根据权利要求1所述的方法，其特征在于，所述依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，包括：缩小所述目标客户端本轮上传的梯度的模长，和/或，对所述目标客户端本轮上传的梯度的方向进行调整，得到与该梯度对应的测试梯度。3.根据权利要求1所述的方法，其特征在于，所述依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测，包括：确定所述测试梯度与所述更新后的测试梯度之间的余弦相似度；在所述测试梯度与所述更新后的测试梯度之间的余弦相似度小于预设相似度阈值的情况下，确定所述目标客户端为疑似投毒攻击客户端。4.根据权利要求1所述的方法，其特征在于，在每一轮检测过程中，所述方法还包括：依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，确定所述目标客户端的梯度异常程度值；其中，所述目标客户端的梯度异常程度值与所述目标客户端为投毒攻击客户端的概率正相关；依据所述目标客户端的梯度异常程度值，确定所述目标客户端的聚合权重；其中，所述目标客户端的梯度异常程度值与所述目标客户端的聚合权重负相关；在退出检测模式的情况下，所述方法还包括：依据各客户端的聚合权重，对所存储的各客户端的梯度进行聚合，得到聚合梯度；其中，所存储的各客户端的梯度为进入检测模式之前各客户端最后一次上传的梯度；将所述聚合梯度下发给各客户端。5.根据权利要求4所述的方法，其特征在于，所述测试梯度与所述更新后的测试梯度在方向上的角度变化通过所述测试梯度与所述更新后的测试梯度之间的余弦相似度表征；所述依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，确定所述目标客户端的梯度异常程度值，包括：依据所述测试梯度与所述更新后的测试梯度之间的余弦相似度，以及，所述更新后的测试梯度的模长，确定所述目标客户端的梯度异常程度值。6.根据权利要求5所述的方法，其...
【专利技术属性】
技术研发人员：王滨，闫皓楠，万里，王星，李超豪，林克章，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。