【技术实现步骤摘要】
本专利技术属于联邦学习数据安全领域，具体涉及一种联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法。
技术介绍
1、联邦学习(fl)作为分布式机器学习的新兴范例，可以从分布于客户端的本地数据中训练出有效的模型，并且不需要客户端暴露其原始数据从而保护数据隐私。但由于训练环境中存在恶意客户端，很容易遭受攻击和破坏。因此，为fl设计鲁棒的模型聚合算法对模型训练至关重要。
2、传统鲁棒聚合算法只能防御基础的恶意攻击，并且越来越多针对传统鲁棒聚合算法的攻击方式在破坏鲁棒性方面性能显著。根数据集作为一种以模型性能为导向的聚合算法，不仅能避免恶意攻击对模型性能的影响，还可以鉴别恶意攻击是由哪些客户端发起的，在提高fl鲁棒性能方面发挥重要作用。并且根数据集样本数量要求远小于训练样本数量，这也为其应用在现实场景中提供了极大便利。本方法基于本地模型在根数据集上的表现提出了客户端信誉评估选择机制，不仅防御了恶意攻击并且有效减少了恶意客户端在后续训练轮次的参与次数。
3、在隐私保护方面，传统fl服务器只使用唯一的中心化服务器来聚合并更新全局模型，不诚实的服务器因其在中心化训练框架的绝对领导性可以在履行聚合更新全局模型的职责时直接接触客户端本地模型并进一步获取客户端本地数据信息，而且当服务器出故障时训练进程将完全瘫痪。传统的基于安全多方计算和同态加密的方法虽可以保证服务器无法直接接触本地模型，但同样带来了更多的计算和通信负担。本方法设置了双服务器聚合框架，通过模型拆分将模型分解成多个加噪子模型并分发给相应的服务器，这样服务器无法
4、目前针对恶意攻击和隐私保护问题的相关研究文献如下：
5、1.2020年，bagdasaryan等人在《how to backdoor federated learning》中，提出了使用后门数据构造后门攻击的方法，该攻击方法使用约束和归一化技术在后门数据上训练攻击模型，导致全局模型在输入含有语义后门的样本时输出错误的标签，并且在输入其他样本时保持高准确率输出，从而达到恶意操作全局模型的目标。
6、2.2020年，fang等人在《local model poisoning attacks to byzantine-robustfederated learning》中，提出针对传统的鲁棒聚合算法的中毒攻击方式，通过缩短多个恶意客户端本地模型和中毒模型的欧式距离，导致krum鲁棒聚合算法最终会选择中毒模型用于更新全局模型，证明了传统鲁棒聚合算法无法防范此种攻击方式。
7、3.2019年，zhu等人在《deep leakage from gradients》中，提出一种使用模型参数信息还原出训练样本的方法，通过优化假样本、假标签生成的假梯度和真实模型梯度的损失成功生成了目标样本，完成了从模型窃取客户端本地数据隐私的功能。该隐私窃取方式适合于能够接触所有本地模型的服务器端，导致了客户端在服务器端被窃取本地数据隐私的问题。
8、4.2021年，jin等人在《cross-cluster federated learning and blockchainfor internet of medical things》将区块链引入医疗物联网中，通过地理位置对设备划分集群并提出了hstcon和defcon两套共识机制，实现了单集群和跨集群fl安全框架。但是依然存在恶意客户端过多时操作训练过程导致训练瘫痪的隐患。
9、综上所述，虽然联邦学习在隐私保护和鲁棒聚合方面取得了很大进展，但仍存在以下问题：
10、1.现有的鲁棒聚合算法虽然可以防御一些恶意客户端的中毒攻击，保证训练的有效推进，但在面对新颖的攻击手段时，无法维持全局模型的性能甚至导致训练过程被恶意操控。
11、2.传统的中心化训练框架中服务器不受客户端信任，存在服务器窃取隐私的问题，并且当服务器发生故障时训练会陷入停滞。需要提出包含多个服务器的去中心化训练框架并结合新的通信机制来保证不诚实服务器无法直接接触模型。
12、3.使用加密手段来保护数据隐私需要考虑诸多因素，例如，距离、节点算力、通信链路质量等，大多现有文献采取不同方式进行加密，但都会带来巨大的计算和通信负担，不适用于节点资源受限的现实需要。
技术实现思路
1、针对上述现有技术问题，本专利技术提供了一种基于双服务器信誉评估机制的鲁棒安全训练方法。用于处理模型训练过程中，恶意客户端破坏模型性能以及服务器直接接触本地模型窃取隐私的问题。根据客户端在服务器端根数据集上历史轮次和当前轮次表现，提出衡量客户端可靠性的方法，即客户端信誉评估的选择机制；并根据双服务器框架去中心化特点，提出结合模型拆分的聚合机制，即基于双服务器框架的鲁棒聚合算法。
2、实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：
3、一种联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法包括以下步骤：
4、步骤一：建立双服务器训练框架并初始化
5、所述双服务器训练框架由若干客户端，双服务器s1和s2，密钥注册中心组成。其中各个组件的功能分别为：客户端随机分布在物理环境中采集用户本地数据并使用本地数据参与模型训练，再执行模型拆分步骤后将加噪子模型发送至服务器，服务器s1和s2负责接收客户端本地模型并相互通信聚合得到全局模型，密钥注册中心负责为参与模型训练的客户端及节点生成密钥并分发；服务器训练框架阶段还包括客户端分类假设，模型初始化及参数选择步骤。
6、步骤二：本地模型拆分及加噪
7、客户端在训练得到本地模型后，先将其拆分成两个子模型再分别加入噪声，并将两个加噪子模型分别发送给对应的双服务器s1和s2。
8、步骤三：基于双服务器框架的鲁棒聚合算法
9、客户端在将子模型发送后，双服务器s1和s2接收到对应子模型，为保证服务器无法通过子模型通信记录推理出本地模型，服务器需要多次互相通信聚合本地模型并获取其在根数据集上的客户端模型分数，从而筛选出性能优异的本地模型进入聚合模型池中并更新全局模型。
10、步骤四：基于客户端信誉评估的选择机制
11、双服务器s1和s2通过记录客户端本地模型在根数据集上的性能表现，并更新其信誉分数。在选择参与每轮训练的客户端应体现服务器对于良性客户端的倾向，双服务器s1和s2根据客户端信誉分数进行随机加权选择，从而确定下一轮参与模型训练的客户端。
12、上述步骤一中，模型初始化及参数选择，客户端分类假设具体方法如下：
13、(1)模型初始化及参数选择：
14、设置参与训练客户端总数为100，每轮选择10％的客户端参与训练，共计训练1000轮，本地训练5个epoch,批量大小为10，学习率为0.01。全局模型选取mnist_2nn，数据集使用mni本文档来自技高网...
【技术保护点】
1.一种联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(1)中，模型初始化及参数选择具体方法如下：
3.根据权利要求1所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(1)中，客户端分类假设如下：
4.根据权利要求1所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(2)中，客户端本地模型拆分成两个子模型的具体步骤如下：
5.根据权利要求4所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(3)中，服务器相互通信实现方式如下：
6.根据权利要求5所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(3)中，客户端模型分数计算公式如下：
7.根据权利要求6所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(4)中，客户端信誉分数更新
8.根据权利要求7所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(4)中，客户端加权随机选择方式如下：
...【技术特征摘要】
1.一种联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(1)中，模型初始化及参数选择具体方法如下：
3.根据权利要求1所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(1)中，客户端分类假设如下：
4.根据权利要求1所述的联邦学习中基于双服务器信誉评估机制的鲁棒安全训练方法，其特征在于，所述步骤(2)中，客户端本地模型拆分成两个子模型的具体步骤如下：
5.根据权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。