一种公共审计的拜占庭鲁棒联邦学习系统及方法技术方案

本发明专利技术提出了一种公共审计的拜占庭鲁棒联邦学习系统及方法。本发明专利技术通过引入第三方审计服务器来对联邦学习训练过程进行审计。首先，聚合服务器向每个联邦学习客户端和审计服务器发送初始化模型参数；其次，联邦学习客户端在本地数据集上进行模型训练，并将本地模型更新上传给聚合服务器；然后，第三方审计服务器进行模型训练得到审计服务器的模型更新，并采用随机采样方法结合余弦相似度计算每个客户端与审计服务器的相似度；最后，聚合服务器将相似度作为每个客户端的权重，通过加权求平均获得全局模型更新。本发明专利技术一直执行上述流程直到达到最大训练次数。本发明专利技术在有拜占庭客户端参与时，依然可以训练出准确的模型。依然可以训练出准确的模型。依然可以训练出准确的模型。

【技术实现步骤摘要】
一种公共审计的拜占庭鲁棒联邦学习系统及方法


[0001]本专利技术属于人工智能领域，尤其涉及一种公共审计的拜占庭鲁棒联邦学习系统及方法。

技术介绍

[0002]随着网络技术的发展，互联网产生了越来越多的数据。如何通过数据挖掘技术更好地利用这些数据，已成为一个迫切需要研究的课题。传统上来说，我们先收集数据，然后把数据放在服务器上集中训练。然而，这种方法有明显的缺点。数据所有者可能不愿意共享数据，或者用户可能因为网络带宽限制而无法及时有效地收集数据。例如，在智能医疗中，由于患者数据的敏感性，医院不能直接与第三方共享数据。
[0003]为了缓解这些问题，谷歌提出了联邦学习的概念，其主要思想是在聚合服务器的帮助下，由数据所有者在本地协作训练模型，而不共享原始数据。具体来说，在联邦学习中，有多个客户端，即数据所有者，和一个聚合服务器，即服务提供者。客户端拥有本地训练数据集，服务提供者允许客户端联合训练一个模型，即全局模型。由于它的潜在用途，许多公司使用它来开发实际应用程序。例如，谷歌为安卓键盘单词预测提出了一种联邦学习方法。
[0004]然而，最近的研究表明联邦学习面临拜占庭攻击的威胁。例如，恶意客户端可以通过毒害本地训练数据集或发送虚假的模型更新来破坏全局模型。被破坏的全局模型可以做出错误的预测，甚至可以预测对手选择的目标标签。或者，客户端可能只想通过参加联邦学习训练获得全局模型，而不想或不能提供其局部模型。由于上述问题，许多拜占庭鲁棒方法被提出。这些方法主要分为两类。第一类是利用统计学知识对每个客户端上传的模型更新进行比较和分析，在更新全局模型之前排除异常更新。这些解决方案的本质是，它们只在特定的威胁假设下工作。当对手不满足威胁假设时，防御可能失败。第二种方法假设服务器保留一个部分干净的数据集，然后使用该数据集作为识别异常更新和排除性能较差的更新的基础。这些解决方案需要一个聚合服务器来维护一个干净的数据集并在其上训练模型。
[0005]尽管拜占庭鲁棒的联邦学习已经得到了广泛的研究，但它仍然面临以下问题。首先，大多数方法通过比较模型更新、去除异常来实现拜占庭鲁棒性。这种方法具有有限的防御效果，当大多数客户端都是恶意的时候，就不能有效地工作。其次，大多数现有方法不支持公共审计，通常依赖于聚合服务器的聚合规则来实现拜占庭鲁棒。这些解决方案对聚合服务器有很大的计算开销，不能应用于聚合服务器计算资源有限的情况。此外，许多聚合服务器不希望过多地关注恶意客户端的防御，而更希望关注如何训练准确的全局模型。如果能够提供第三方拜占庭健壮性服务，将会非常有用。这是本专利技术关注的重点。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提出了一种公共审计的拜占庭鲁棒联邦学习系统及方法。
[0007]本专利技术系统的技术方案为一种公共审计的拜占庭鲁棒联邦学习系统，包括：
[0008]多个联邦学习客户端、第三方审计服务器、聚合服务器；
[0009]所述聚合服务器与多个联邦学习客户端依次连接；所述聚合服务器与所述第三方审计服务器连接；
[0010]构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型、本次迭代优化中第三方审计服务器的初始化局部联邦学习模型；通过联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数，以上传至聚合服务器、第三方审计服务器；结合联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；聚合服务器通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，并作为下一次迭代优化中的联邦学习模型的初始化参数向量；迭代优化得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。
[0011]本专利技术方法的技术方案为一种公共审计的拜占庭鲁棒联邦学习方法，具体步骤如下：
[0012]步骤1：聚合服务器向每个联邦学习客户端、第三方审计服务器依次下发本次迭代优化中联邦学习模型的初始化参数向量，每个联邦学习客户端根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型，第三方审计服务器根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型；
[0013]步骤2：每个联邦学习客户端采用本地数据集作为训练集，并结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量即梯度，并上传至聚合服务器，聚合服务器将本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量传输至第三方审计服务器；
[0014]步骤3：第三方审计服务器采用多个未污染的样本构建训练集，结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；
[0015]步骤4：聚合服务器结合本次迭代优化中每个联邦学习客户端的训练后联邦学习模型更新向量、可信度评估值、规范化因子通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，聚合服务器将联邦学习全局模型参数向量向作为下一次迭代优化中的联邦学习模型的初始化参数向量；
[0016]步骤5：迭代优化执行步骤1至步骤4直至达到最大迭代优化次数，得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；
[0017]步骤6：每个联邦学习客户端根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。
[0018]作为优选，步骤2所述本地数据集由多个污染的样本、多个未污染的样本构成；
[0019]作为优选，步骤3所述根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，具体如下：
[0020]通过随机采样法若未选中本次迭代优化，通过上一次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
[0021]通过随机采样法，若选中本次迭代优化，则结合第三方审计服务器的训练后模型参数更新向量与每个联邦学习客户端的训练后联邦学习模型参数更新向量进行每个客户端的可信度评估值、规范化因子计算；
[0022]通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
[0023]所述通过余弦相似度计算模型计算得到本次迭代优化中每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种公共审计的拜占庭鲁棒联邦学习系统，其特征在于，包括：多个联邦学习客户端、第三方审计服务器、聚合服务器；所述聚合服务器与多个联邦学习客户端依次连接；所述聚合服务器与所述第三方审计服务器连接；构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型、本次迭代优化中第三方审计服务器的初始化局部联邦学习模型；通过联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数，以上传至聚合服务器、第三方审计服务器；结合联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；聚合服务器通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，并作为下一次迭代优化中的联邦学习模型的初始化参数向量；迭代优化得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。2.一种利用权利要求1所述的公共审计的拜占庭鲁棒联邦学习系统进行公共审计的拜占庭鲁棒联邦学习方法，其特征在于，包括以下步骤：步骤1：构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型、本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型；步骤2：每个联邦学习客户端采用本地数据集作为训练集，并结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量即梯度，并上传至聚合服务器，聚合服务器将本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量传输至第三方审计服务器；步骤3：第三方审计服务器采用多个未污染的样本构建训练集，结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；步骤4：聚合服务器结合本次迭代优化中每个联邦学习客户端的训练后联邦学习模型更新向量、可信度评估值、规范化因子通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，聚合服务器将联邦学习全局模型参数向量向作为下一次迭代优化中的联邦学习模型的初始化参数向量；步骤5：迭代优化执行步骤1至步骤4直至达到最大迭代优化次数，得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；步骤6：每个联邦学习客户端根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。3.根据权利要求2所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，步骤1所述构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型，具体如下：
聚合服务器向每个联邦学习客户端下发本次迭代优化中联邦学习模型的初始化参数向量，每个联邦学习客户端根据本次迭代优化中联邦学习模型的初始化参数向量构建...

【专利技术属性】
技术研发人员：吴黎兵，张壮壮，曹书琴，王敏，张瑞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：