基于异步联邦学习的参数聚合更新方法、设备及系统技术方案

本发明专利技术公开了一种基于异步联邦学习的参数聚合更新方法、设备及系统。所述方法通过在参数服务器上保存权重摘要来保留工作节点的最新权重，并且所有工作节点所占权重比例相同，权重摘要通过每个工作节点只能更新自身摘要部分，限制了快节点高频更新对整体权重的影响；所述方法通过在参数服务器上设置版本感知机制对权重摘要的版本进行记录，使得参数服务器聚合时可以根据工作节点不同的版本确定不同的加权比例，当整体版本差距过大时，通过全局更新的方式将慢节点中使用的旧权重更新到最新权重，从而提高慢节点的更新效率，使参数服务器上的模型更快的收敛。本发明专利技术可有效地提高基于联邦学习的机器学习模型的训练速度。高基于联邦学习的机器学习模型的训练速度。高基于联邦学习的机器学习模型的训练速度。

【技术实现步骤摘要】
基于异步联邦学习的参数聚合更新方法、设备及系统


[0001]本专利技术属于数据处理
，具体涉及一种用于移动互联网的基于异步联邦学习的参数聚合更新方法、设备及系统。

技术介绍

[0002]近年来，智能手机、平板电脑、可穿戴设备等移动设备逐渐成为人们日常生活的组成部分。这些移动设备通常装备了种类丰富的传感器，可感知诸如图像、声音、加速度等传感器数据。随着这些设备的普及，诸如运动检测、图像识别、自然语言处理等移动互联网应用逐渐流行。这些应用通常基于机器学习模型对用户提交的感知数据进行处理并返回处理结果。理想情况下，用于处理用户数据的机器学习模型可使用来自不同用户的大量标记数据进行训练以提高模型的表达性能和泛化性能。然而出于隐私与安全原因，用户通常不愿意上传这些数据。
[0003]针对此问题，谷歌提出了联邦学习用于解决机器学习模型训练的数据需求与用户数据隐私保护之间的矛盾。联邦学习是一种分布式机器学习框架，能够在满足用户隐私与数据安全的同时有效利用数据进行机器学习模型训练。具体而言，联邦学习利用移动设备(工作节点)本地计算能力和数据训练机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异步联邦学习的参数聚合更新方法，其特征在于，用于参数服务器端，所述方法包括以下步骤：随机选择n个工作节点，向选择的工作节点分发神经网络模型、神经网络模型初始参数、训练轮次T、超时时间tl，设置最大版本差距阈值th，并初始化本地版本为version
latest
←
1，初始化α表示调节参数；接收工作节点传来的节点id、神经网络权重w，并保存server
w
[id]
←
w；本地版本递增version
latest
←
version
latest
+1，并根据工作节点传来的神经网络权重w，计算当前最新权重w
latest
；判断当前最新权重w
latest
是否达到预设训练精度ta要求，如果测试集精度大于等于ta，则停止训练；如果测试集精度小于ta，则判断当前整体版本差距是否大于最大版本差距阈值th：如果版本差距超过阈值th，则发送最新权重w
latest
到所有节点；如果版本差距小于阈值th，则发送最新权重w
latest
到刚接收权重的工作节点；等待工作节点下次传来节点id、神经网络权重w，进行下一轮更新。2.根据权利要求1所述的基于异步联邦学习的参数聚合更新方法，其特征在于，参数服务器端根据下式计算当前最新权重w
latest
：式中，α表示调节参数，server
w
[i]表示工作节点i在参数服务器上存储的神经网络权重w。3.根据权利要求1所述的基于异步联邦学习的参数聚合更新方法，其特征在于，判断当前整体版本差距是否大于最大版本差距阈值th包括：判断前整体版本差距是否大于最大版本差距阈值th包括：判断是否大于最大版本差距阈值th，server
w

【专利技术属性】
技术研发人员：陈瑞锋，谢在鹏，朱晓瑞，屈志昊，叶保留，许峰，
申请(专利权)人：河海大学，
类型：发明
国别省市：