【技术实现步骤摘要】
本专利技术属于联邦学习通信传输,具体涉及基于quic协议的联邦学习弱网通信优化方法。
技术介绍
1、联邦学习是一种机器学习框架,该框架允许多个参与者协同训练一个共享模型,打破数据孤岛,使得分散的数据得以综合利用,提升模型泛化能力的同时,数据提供方无需将各自的数据集中存储或交换,仅分享模型参数或梯度信息,有效减少数据泄露的风险,从而在保护数据隐私的前提下实现数据的有效利用。目前移动设备随着芯片的升级,其有能力参与复杂的数据处理和机器学习任务。同时移动设备能够生成和即时访问大量实时数据,如位置数据、健康检测信息等,诸如此类的信息可供联邦学习进行数据的实时更新和模型的优化,从而提供更加个性化和及时的服务,因此联邦学习越来越倾向于部署在移动设备上。
2、然而移动设备所处网络环境由于各方面因素的限制,远比不上数据中心之间的稳定网络传输,加之目前绝大部分联邦学习通信传输协议采用tcp传输协议,而tcp协议存在以下痛点:
3、(1)tcp协议嵌入在内核之中,难以修改。移动设备之间的网络环境和硬件性能差异较大,对协议的需求也不尽
...【技术保护点】
1.一种基于QUIC协议的联邦学习弱网通信优化方法,其特征在于,为现有联邦学习系统MXNet的参数服务器架构PS-Lite,重新构建基于QUIC协议的通信框架,记为PS-QUIC;在具备TCP协议可靠传输、流量控制、拥塞控制特性的基础上,方便地实现对协议层内容的修改,使整体传输策略更适应于弱网环境下联邦学习高频次的通信特点;并在PS-QUIC框架的基础上使用FEC机制仅保护尾包,在数据额外开销与时间损耗方面取得平衡;具体步骤如下:
2.根据权利要求1所述的基于QUIC协议的联邦学习弱网通信优化方法,其特征在于,联邦学习通信传输场景下的尾包优化的具体流程为
【技术特征摘要】
1.一种基于quic协议的联邦学习弱网通信优化方法,其特征在于,为现有联邦学习系统mxnet的参数服务器架构ps-lite,重新构建基于quic协议的通信框架,记为ps-quic;在具备tcp协议可靠传输、流量控制、拥塞控制特性的基础上,方便地实现对协议层内容的修改,使整体传输策略更适...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。