一种基于非可靠传输协议的联邦训练加速方法技术

本发明专利技术涉及机器学习和计算机网络技术领域，且公开了一种基于非可靠传输协议的联邦训练加速方法，通过设计基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损。该基于非可靠传输协议的联邦训练加速方法，设计了一种基于非可靠传输协议的可穿戴联邦训练加速技术。其关键思想是直接忽略这些网络侧丢失的参数，而不是对网络传输协议进行复杂的检测和重传操作，从而大大提高端到端网络吞吐量；然后，基于机器学习训练的参数冗余特性，接收端用前一轮参数替换网络丢包，并采用层冻结训练技术实现联邦学习在参数丢失下的高精度训练。下的高精度训练。下的高精度训练。

【技术实现步骤摘要】
一种基于非可靠传输协议的联邦训练加速方法


[0001]本专利技术涉及机器学习和计算机网络
，具体为一种基于非可靠传输协议的联邦训练加速方法。

技术介绍

[0002]近年来，随着可穿戴技术的发展，人们可以通过智能手机、手环和智能贴片等可穿戴设备追踪自己的活动来了解自己的健康状况。然而，由于个人健康数据需要集中存储在云服务器上而带来的隐私问题，用户分享健康数据的意愿大大降低。特别是近期的隐私保护法规使得将用户数据集中在云服务器上进行人工智能模型学习的难度增加。联邦学习(FL)目前是实现跨大规模移动设备进行隐私保护机器学习的最有效方法之一。在大量可穿戴设备上应用FL可以在不共享敏感健康数据的前提下实现准确和及时的健康分析。首先可穿戴设备通过将训练任务卸载到配对的智能手机上来实现高效的设备端训练。然后，全局模型参数通过云服务器进行聚合，以获得高精度的模型。最后，轻量级模型被放置在手机或可穿戴设备上进行准确和及时的推断。
[0003]然而，本专利技术人发现云端协同训练框架受限于移动网络的不确定性丢包，因此造成如下严重的问题：首先，移动网络的上传带宽往往很低，使得联邦训练的收敛时间被拖长，例如：4G蜂窝网络的上传带宽通常不到10Mbps，训练一个轻量级MobileNet需要一天以上的时间；其次，现有的通信瓶颈优化技术往往基于固定带宽的不合理假设，采用参数压缩或者训练调优的手段，这类技术都存在一定程度的训练精度损失。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种基于非可靠传输协议的联邦训练加速方法，具备快速获得高精度模型对用户健康和安全的优点，解决了上述
技术介绍
中所提出的问题。
[0006](二)技术方案
[0007]本专利技术提供如下技术方案：一种基于非可靠传输协议的联邦训练加速方法，通过设计基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；其次，通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损；
[0008]主要包含以下步骤：
[0009]S1、服务器初始化；
[0010]S2、服务器下发模型参数；
[0011]S3、终端层冻结训练本地模型；
[0012]S4、终端上传模型参数更新；
[0013]S5、服务器聚合终端模型得到全局更新的模型。
[0014]优选的，服务器初始化：
[0015]云服务器针对某个联邦学习任务首先随机初始化一个全局浮点数模型，这个模型由云和参与联邦学习训练的终端共同更新；
[0016]云服务器遵循传统联邦学习的策略随机选择参与联邦训练的终端；
[0017]云服务器为每个设备上的模型训练指定统一的参数，如batch size，local epochs和learning rate。
[0018]优选的，服务器下发模型参数：
[0019]云服务器基于延时梯度和丢包率进行网络拥塞状态探测，获得当前状态：S1拥塞发生且会持续一段时间，S2拥塞没有发生且短时间内不会发生。
[0020]云服务器将模型参数按层的结构及其数据大小信息缓存在发送队列。
[0021]云服务器的发射控制器根据当前的拥塞状态，选择数据大小最匹配的层发送：如果拥塞状态是S1，发送数据量更大的层；如果拥塞状态是S2，发送数据量更小的层。
[0022]优选的，终端层冻结训练本地模型：
[0023]终端收到云服务器下发的层，由于在具有数据丢失的网络条件下，终端只能接收到部分完整的层，采用上一轮训练相应位置的参数填补缺失的层；
[0024]填补缺失的层后，这些参数层被冻结，即它们仅参与前向传播过程；这些层的参数在反向传播过程中不会被更新，以防止这些旧参数对全局模型更新产生影响。
[0025]优选的，终端上传模型参数更新:
[0026]训练完成后，终端使用相同的拥塞反馈层传输协议将本轮更新的参数发送给服务器，这些参数只包括训练中反向传播更新的层。
[0027]优选的，服务器聚合终端模型得到全局更新的模型：
[0028]服务器检查接收终端参数的层信息，将终端参数之间交叉的层参数按照传统加权平均的方式进行聚合更新；
[0029]终端丢失的层参数不参与更新全局模型，但是如果全部参数都丢失了这一层的参数，服务器采用上一轮更新的该层参数进行替换。
[0030]与现有技术相比，本专利技术提供了一种基于非可靠传输协议的联邦训练加速方法，具备以下有益效果：
[0031]1、该基于非可靠传输协议的联邦训练加速方法，设计了一种基于非可靠传输协议的可穿戴联邦训练加速技术。其关键思想是直接忽略这些网络侧丢失的参数，而不是对网络传输协议进行复杂的检测和重传操作，从而大大提高端到端网络吞吐量；然后，基于机器学习训练的参数冗余特性，接收端用前一轮参数替换网络丢包，并采用层冻结训练技术实现联邦学习在参数丢失下的高精度训练。
[0032]2、该基于非可靠传输协议的联邦训练加速方法，开发了一个高效的层冻结联邦训练系统，并实际解决了以下两个核心的技术挑战：首先，通过设计一个基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；其次，通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损。
附图说明
[0033]图1为本专利技术基于非可靠传输协议的可穿戴联邦训练框架示意图；
[0034]图2为本专利技术拥塞反馈的层参数传输协议示意图；
[0035]图3为本专利技术基于非可靠传输协议的可穿戴联邦训练算法流程图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]请参阅图1
‑
3，本专利技术设计了一种基于非可靠传输协议的可穿戴联邦训练加速技术。其关键思想是直接忽略这些网络侧丢失的参数，而不是对网络传输协议进行复杂的检测和重传操作，从而大大提高端到端网络吞吐量；然后，基于机器学习训练的参数冗余特性，接收端用前一轮参数替换网络丢包，并采用层冻结训练技术实现联邦学习在参数丢失下的高精度训练。此外，本专利技术开发了一个高效的层冻结联邦训练系统，并实际解决了以下两个核心的技术挑战：首先，通过设计一个基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；其次，通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损。
[0038]我们的系统主要包含以下步骤：(1)服务器初始化，(2)服务器下发模型参数，(3)终端层冻结训练本地模型，(4)终端上传模型参数更新，(5)服务器聚合终端模型得到全局更新的模型。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非可靠传输协议的联邦训练加速方法，其特征在于：通过设计基于拥塞反馈的非可靠层传输算法解决不确定性丢包下如何最大化完整层的接收率；其次，通过设计一个基于层参数的联邦冻结训练框架保证在参数丢失下联邦训练的模型精度无损；主要包含以下步骤：S1、服务器初始化；S2、服务器下发模型参数；S3、终端层冻结训练本地模型；S4、终端上传模型参数更新；S5、服务器聚合终端模型得到全局更新的模型。2.根据权利要求1所述的一种基于非可靠传输协议的联邦训练加速方法，其特征在于：服务器初始化：云服务器针对某个联邦学习任务首先随机初始化一个全局浮点数模型，这个模型由云和参与联邦学习训练的终端共同更新；云服务器遵循传统联邦学习的策略随机选择参与联邦训练的终端；云服务器为每个设备上的模型训练指定统一的参数，如batch size，local epochs和learning rate。3.根据权利要求1所述的一种基于非可靠传输协议的联邦训练加速方法，其特征在于：服务器下发模型参数：云服务器基于延时梯度和丢包率进行网络拥塞状态探测，获得当前状态：S1拥塞发生且会持续一段时间，S2拥塞没有发生且短时间内不会发生。云服务器将模型参数按层的结构及其数据大小信息缓存在发送队列。云...

【专利技术属性】
技术研发人员：徐梦炜，袁进良，王仕和，张乙然，周傲，王尚广，李瑞东，赵坤，
申请(专利权)人：北京邮电大学深圳研究院，
类型：发明
国别省市：