一种面向时空数据异构场景的轻量化联邦学习方法及系统技术方案

本发明专利技术公开了一种面向时空数据异构场景的轻量化联邦学习方法及系统，能根据客户端数据分布的变化情况给客户端分配不同的通信概率，从而让数据分布变化程度大，且未被联邦全局模型感知的客户端，以更高的概率参与联邦通信，而不是均等的提升所有客户端的通信量。通过将通信资源倾斜，可以用更少的通信量感知全局数据分布变化，提升在时空异构场景下联邦学习的通信效率。通过使用本发明专利技术提出的方法及系统，各图像采集分析终端利用其私有病例数据分布的变化信息以及图像采集分析终端私有检测模型的梯度信息，动态的调整每一轮联邦过程图像采集分析终端参与联邦通信的概率，实现以更少的联邦通信成本达到相同联邦学习性能，有效的降低联邦学习通信量。的降低联邦学习通信量。的降低联邦学习通信量。

【技术实现步骤摘要】
一种面向时空数据异构场景的轻量化联邦学习方法及系统


[0001]本专利技术涉及联邦学习
，尤其涉及一种面向时空数据异构场景的轻量化联邦学习方法及系统。

技术介绍

[0002]深度学习技术近年来显著的提升了计算机视觉，自然语言处理等任务的性能。通过在海量数据上训练百万级参数的深度神经网络(DNN)，深度学习模型的性能逐渐超越传统机器学习成为人工智能技术工业落地的主流。传统深度学习因其对海量训练数据的依赖，通常采用在边缘设备采集数据，上传云端服务器进行模型训练与推理服务的中心化模式。
[0003]然而近年来，随着数据安全和个人隐私保护的法案逐步出台，将从手机、平板等用户端设备采集的私有数据上传到中央服务器这一过程面临了诸多限制。这一趋势使得以往的端设备采集中心化模型训练与服务的模式变得充满挑战。为解决此问题，联邦学习(FL)是一个有吸引力的解决方案，可以在不共享私人数据的情况下跨各种设备进行协作学习。具体来说，FL是一个去中心化的协同训练框架，在联邦服务器的帮助下传递加密模型或梯度来协同训练各客户端模型。在FL过程中，基于私有数据的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向时空数据异构场景的轻量化联邦学习方法，其特征在于，包括以下步骤：S1、客户端本地更新：接收到最新的联邦全局模型后，利用客户端本地的私有数据，将联邦全局模型更新为更符合本地私有数据分布的本地化模型；S2、客户端重要性评价：利用私有数据的分布变化程度以及客户端模型的梯度信息与全局模型梯度信息的一致性，衡量客户端参与联邦通信对联邦全局模型的重要性；S3、客户端通信概率控制：根据S2步骤得到的客户端重要性，动态调整客户端通信概率，依概率判断是否上传，若是则进入步骤S4，若否则将联邦全局模型下发到所有客户端；S4、联邦服务端聚合：利用本轮参与联邦更新的客户端所上传的梯度信息更新联邦全局模型，并将更新后的联邦全局模型下发到所有客户端，并进入下一轮联邦过程，直到达到预设联邦轮次。2.根据权利要求1所述的面向时空数据异构场景的轻量化联邦学习方法，其特征在于，步骤S1的具体过程为：在客户端本地，在联邦全局模型为ω
t
的基础上通过梯度下降迭代算法，使用客户端i在t轮次的私有数据集继续训练，得到本地模型户端的优化目标函数为其中，n为中样本量，f为客户端i的损失函数。3.根据权利要求1所述的面向时空数据异构场景的轻量化联邦学习方法，其特征在于，步骤S2的具体过程为：S21、客户端i在第t轮本地更新后得到的模型为首先计算模型在最新数据分篇上的Top
‑
1准确率其次计算模型在最近n轮数据分片上的准确率最后计算两个不同时间端数据在同模型上的准确率差异的绝对值为反映客户端本地数据绝对分布变化，记做S22、客户端缓存最近一次上传给联邦服务器的本地模型对比其与本轮的本地模型的差异，得到未上传客户端梯度信息对比客户端计算最近一次上传后接收的联邦全局模型ω
s
与最新联邦全局模型ω
t
的差异，得到联邦全局模型已感知梯度信息通过计算客户端梯度信息与联邦全局模型梯度信息的余弦相似度衡量客户端待上传梯度与联邦全局模型已感知梯度的相对差异，记做S23、将绝对变化AC与相对变化...

【专利技术属性】
技术研发人员：张宇超，李嘉晨，王文东，龚向阳，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：