一种基于非可靠传输协议的联邦训练加速方法技术

本发明专利技术涉及机器学习和计算机网络技术领域，且公开了一种基于非可靠传输协议的联邦训练加速方法，通过设计基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损。该基于非可靠传输协议的联邦训练加速方法，设计了一种基于非可靠传输协议的可穿戴联邦训练加速技术。其关键思想是直接忽略这些网络侧丢失的参数，而不是对网络传输协议进行复杂的检测和重传操作，从而大大提高端到端网络吞吐量；然后，基于机器学习训练的参数冗余特性，接收端用前一轮参数替换网络丢包，并采用层冻结训练技术实现联邦学习在参数丢失下的高精度训练。下的高精度训练。下的高精度训练。

【技术实现步骤摘要】
一种基于非可靠传输协议的联邦训练加速方法


[0001]本专利技术涉及机器学习和计算机网络
，具体为一种基于非可靠传输协议的联邦训练加速方法。

技术介绍

[0002]近年来，随着可穿戴技术的发展，人们可以通过智能手机、手环和智能贴片等可穿戴设备追踪自己的活动来了解自己的健康状况。然而，由于个人健康数据需要集中存储在云服务器上而带来的隐私问题，用户分享健康数据的意愿大大降低。特别是近期的隐私保护法规使得将用户数据集中在云服务器上进行人工智能模型学习的难度增加。联邦学习(FL)目前是实现跨大规模移动设备进行隐私保护机器学习的最有效方法之一。在大量可穿戴设备上应用FL可以在不共享敏感健康数据的前提下实现准确和及时的健康分析。首先可穿戴设备通过将训练任务卸载到配对的智能手机上来实现高效的设备端训练。然后，全局模型参数通过云服务器进行聚合，以获得高精度的模型。最后，轻量级模型被放置在手机或可穿戴设备上进行准确和及时的推断。
[0003]然而，本专利技术人发现云端协同训练框架受限于移动网络的不确定性丢包，因此造成如下严重的问题：首先，移动网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非可靠传输协议的联邦训练加速方法，其特征在于：通过设计基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；其次，通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损；主要包含以下步骤：S1、服务器初始化；S2、服务器下发模型参数；S3、终端层冻结训练本地模型；S4、终端上传模型参数更新；S5、服务器聚合终端模型得到全局更新的模型。2.根据权利要求1所述的一种基于非可靠传输协议的联邦训练加速方法，其特征在于：服务器初始化：云服务器针对某个联邦学习任务首先随机初始化一个全局浮点数模型，这个模型由云和参与联邦学习训练的终端共同更新；云服务器遵循传统联邦学习的策略随机选择参与联邦训练的终端；云服务器为每个设备上的模型训练指定统一的参数，如batch size，local epochs和learning rate。3.根据权利要求1所述的一种基于非可靠传输协议的联邦训练加速方法，其特征在于：服务器下发模型参数：云服务器基于延时梯度和丢包率进行网络拥塞状态探测，获得当前状态：S1拥塞发生且会持续一段时间，S2拥塞没有发生且短时间内不会发生。云服务器将模型参数按层的结构及其数据大小信息缓存在发送队列。云...

【专利技术属性】
技术研发人员：徐梦炜，袁进良，王仕和，张乙然，周傲，王尚广，李瑞东，赵坤，
申请(专利权)人：北京邮电大学深圳研究院，
类型：发明
国别省市：