用于去中心化联邦学习的聚合服务器选择方法技术

本发明专利技术提出了一种用于去中心化联邦学习的聚合服务器选择方法，主要解决现有联邦学习框架中聚合服务器出现单点故障易受攻击的问题，其实现方案为：1)聚合服务器车辆生成初始全局模型并下发；2)客户端车辆对全局模型进行本地训练和更新，并确定聚合服务器选举性能分数；3)客户端车辆在性能分数中选最大值，并上传本地梯度更新值；4)本地模型和全局模型身份交互，开始新一轮模型更新迭代；5)重复步骤(2)～步骤(4)，直到全局模型精度达到收敛时精度的最大值停止迭代，得到最终的聚合服务器。本发明专利技术通过对聚合服务器的选择提高了联邦学习聚合服务器受到攻击时全局模型的精度，保证了联邦学习过程的安全性。联邦学习过程的安全性。联邦学习过程的安全性。

【技术实现步骤摘要】
用于去中心化联邦学习的聚合服务器选择方法


[0001]本专利技术涉及联邦学习的
，具体涉及一种聚合服务器选择方法，可用于在联邦学习过程中降低单一聚合服务器的被攻击频次，提升模型训练准确率。

技术介绍

[0002]联邦学习作为一种分布式学习范式，这样的架构能够有效的召集多方或多计算结点之间开展高效率学习，应对当前越来越大的业务量，解决单车能力缺陷，打破传统固定模式的同时，保障了用户在数据交换时的个人信息安全。
[0003]传统联邦学习框架采用依赖云端作为服务器的架构，由单一固定的云端服务器来实现模型的聚合、发放。但这样的架构随着业务量的不断增长，受限于时延、带宽、隐私，且易受恶意的单点攻击，导致学习过程不安全、不可靠，致使传统框架存在不可忽视的安全隐患。同时，当传统联邦学习中央服务器出现故障时，恶意服务器可以随时间的推移观察用户的更新，篡改训练学习过程从而导致最终模型训练的准确率降低，毁坏整体的学习过程。同时由于集中式联邦服务器受到了越来越多的挑战和质疑。在传统联邦学习中，中央服务器管理协调多个客户端，可能出现服务器不可信情况。面对以上的问题，现有解决方法大多是从客户端角度，通过加强保护，采取加密、加噪等方法来解决；但是，也有些研究从服务器角度入手，利用联邦学习与区块链结合达到完全去中心化，利用上链操作解决联邦学习中固定单一服务器易受攻击的问题。
[0004]K.Bonawitz等提出了一种安全聚合算法，这种算法默认聚合服务器存在潜在恶意，利用反向推理客户端的关键信息，使得客户端在参与学习时屏蔽各自梯度的情况下实现安全聚合过程客户端上传过程。Y.Aono等提出一种利用同态加密的方法，在上传梯度信息时对其进行加密操作，防止被恶意窃取篡改。这两种方法虽然保护了客户端的数据安全，但是，该方法由于对客户端上传的模型要进行加密或屏蔽模型关键梯度信息，都可能会增加不必要的通信开销。
[0005]Fan Peng等提出了一种数据聚合算法，用来去除客户端上传模型中的噪声数据，以此保护参与者的敏感信息不被聚合器窃取，但对上传的模型进行加噪的方法，可能导致原始信息受损，模型训练准确率得不到保证。
[0006]JiasiWeng等提出了一种区块链赋能下联邦学习框架，在联邦学习过程中所有参与用户都进行上链操作，每个用户都具有自行聚合更新模型的权利，将聚合好的模型统一上传，通过矿工挖矿进行新一轮模型的下放训练，保证了局部梯度的机密性，避免了服务器故意篡改良好贡献者梯度的情况。但这种利用区块链和联邦学习进行结合来构建完全分布式架构，导致客户端节点不受单一实体的控制，同时由于每个客户端都具有自主设定训练参数权利，这样的训练过程会导致全局模型的一致性难以得到保证。

技术实现思路

[0007]本专利技术的目的在于克服上述技术存在的缺陷，提出一种用于去中心化联邦学习的
聚合服务器选择方法，以在保留客户端信息数据完整、服务器端不受限于单一固定节点的前提下，提高联邦学习训练过程的安全性和模型精度，降低通信开销，保证联邦学习训练过程可受监管，从而提升全局模型的统一性。
[0008]为实现上述目的，本专利技术的技术方案包括如下：
[0009](1)随机选择一个车辆作为初始的聚合服务器车辆，生成初始全局模型分配给通信范围内参与学习过程的客户端车辆；
[0010](2)将全局模型分发到客户端车辆本地，客户端开始用本地数据对全局模型进行本地训练和更新，同时，客户端利用基于加权和的选举策略，确定聚合服务器选举的性能分数：
[0011](2a)每辆客户端车辆分别计算自己与自身通信范围内其他客户端车辆之间的平均相对距离D
i
、相对速度稳定因数SF
i
，客户端车辆计算本地模型梯度和全局模型梯度余弦距离RS
i
和自身通信活跃值CA
i
，并用这些数值计算客户端车辆的性能分数：P
i
＝μCA
i
+εlogRS
i
‑
φlogSF
i
‑
ρlogD
i
，其中，ρ表示平均相对距离权重、φ表示相对速度稳定因数权重、ε表示余弦距离权重、μ通信活跃度权重；
[0012](3)客户端车辆在性能分数中选择最大值，该数值对应的客户端车辆被选为下一轮的聚合服务器，并在本轮本地训练结束后，上传所有参与学习过程的客户端车辆的本地模型梯度更新；
[0013](4)将本轮选择出的下一轮的聚合服务器车辆与上一轮选出的聚合服务器车辆进行本地模型和全局模型交互，开始新一轮全局模型更新迭代；
[0014](5)重复步骤(2)～步骤(4)，直到全局模型收敛时的最大值后停止迭代，得到最优的全局模型。
[0015]本专利技术与现有技术相比，具体有以下优势：
[0016]本专利技术由于在去中心化联邦学习框架中采用基于加权值的选举策略，并在每一轮训练结束后用新选择出的聚合服务器取代上一轮的聚合服务器，降低了被攻击的可能性，提高了聚合服务器的扩展性。与现有技术在客户端进行加噪、加密，以及将联邦学习与区块链结合的方法相比，可在保证全局模型正常训练的情况下，提升联邦学习训练过程的安全性和全局模型的精度。
附图说明
[0017]图1为本专利技术的实现流程图；
[0018]图2为本专利技术的全局模型训练准确率仿真结果图；
[0019]图3为本专利技术的全局模型损失值仿真结果图。
具体实施方式
[0020]以下结合附图，对本专利技术的实施例和效果作进一步详细描述。
[0021]本实例对联邦学习框架中聚合服务器的选择是基于城市场景下超车路径规划模型进行，其中，联邦学习框架分为两层，第一层是聚合服务器端，用于收集上传的本地模型更新，以及全局模型的训练、下放；第二层是客户端车辆，用于接收聚合服务器下放的全局模型，并进行本地模型训练和模型梯度更新的上传。
[0022]所述全局模型，是由聚合服务器进行训练更新，并在每轮训练结束后，发放到客户端本地进行训练的模型；
[0023]所述本地模型，是客户端车辆接收到由聚合服务器下发放的全局模型后，利用本地数据对全局模型进行训练、更新后得到的模型。
[0024]参照图1，本实例的实现步骤如下：
[0025]步骤1.生成初始的全局模型和本地模型。
[0026]联邦学习模型训练的初始阶段，将会由道路上有任务需求的车辆开启训练模型的任务请求，产生任务请求的车辆成为第一轮训练的聚合服务器，并由聚合服务器生成初始的全局模型，并召集其通信范围内的其他车辆参与到全局模型训练过程中，这些被召集的参与训练过程的车辆为客户端车辆，召集完成后，聚合服务器车辆将下放全局模型给客户端车辆，客户端车辆利用本地数据对全局模型进行训练、更新，得到本地模型。
[0027]步骤2.设置用于选择聚合服务器的指标。
[0028]为了能够选择通信性能良好并积极参与模型训练过程的聚合服务器车辆，需要设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于去中心化联邦学习的聚合服务器选择方法，其特征在于，包括如下步骤：(1)随机选择一个车辆作为初始的聚合服务器车辆，生成初始全局模型分配给通信范围内参与学习过程的客户端车辆；(2)将全局模型分发到客户端车辆本地，客户端开始用本地数据对全局模型进行本地训练和更新，同时，客户端利用基于加权和的选举策略，确定聚合服务器选举的性能分数：(2a)每辆客户端车辆分别计算自己与自身通信范围内其他客户端车辆之间的平均相对距离D
i
、相对速度稳定因数SF
i
，客户端车辆计算本地模型梯度和全局模型梯度余弦距离RS
i
和自身通信活跃值CA
i
，并用这些数值计算客户端车辆的性能分数：P
i
＝μCA
i
+εlogRS
i
‑
φlogSF
i
‑
ρlogD
i
，其中，ρ表示平均相对距离权重、φ表示相对速度稳定因数权重、ε表示余弦距离权重、μ通信活跃度权重；(3)客户端车辆在性能分数中选择最大值，该数值对应的客户端车辆被选为下一轮的聚合服务器，并在本轮本地训练结束后，上传参与学习过程的客户端车辆的本地模型梯度更新；(4)将本轮选择出的下一轮的聚合服务器车辆与上一轮选出的聚合服务器车辆进行本地模型和全局模型交互，开始新一轮全局模型更新迭代；(5)重复步骤(2)～步骤(4)，直至全局模型收敛时的最大值后停止迭代，得到最终的聚合服务器。2.根据权利要求1所述的方法，其特征在于，步骤(2a)中每辆客户端车辆计算自己与范围内其他客户端车辆之间的平均相对距离D
i
，公式如下：其中，N为所设通信范围内的所有车辆数目，V
i
∈range(i)表示客户端车辆i的通信范围，ΔD
ij
表示客户端车辆i与车辆j之间的距离，(X
i
,Y
i

【专利技术属性】
技术研发人员：李长乐，常田雨，付宇钏，刘莎，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：