【技术实现步骤摘要】
本公开涉及机器学习，具体涉及一种通信高效的无中心分布式优化训练方法、装置及设备。
技术介绍
1、大模型的异军突起，使得高效训练模型显得愈发重要。近年来，无中心分布式模型训练方法逐渐成为研究的热点，由于它可以解决将大量数据分布式存储在不同设备中的隐私泄露和高昂通信代价的问题。这种方法不依赖中心节点进行协调，而是通过节点之间的有限信息交换和自主训练来实现。无中心分布式训练的优势主要体现在以下几个方面：(1)通信代价低：相比于将所有数据传输到集中的数据中心，无中心分布式模型训练只需要节点之间进行有限的信息交换，有效减少了通信代价；(2)隐私保护能力强：由于数据不必离开节点，无中心分布式模型训练可以在保护用户隐私的前提下进行，即每个节点只需要共享部分训练结果，而不需要共享原始数据；(3)适合实时应用：无中心分布式模型训练可以在节点之间进行实时的信息交换和训练，而不需要依赖主节点的调度，从而使得其适用于需要实时响应的应用场景，如边缘计算和物联网等。
2、无中心分布式模型训练的优化算法一直是学术界的关注焦点。然而，由于每个节点都独立存储...
【技术保护点】
1.一种通信高效的无中心分布式优化训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述训练参数包括学习步长，所述初始化变量包括初始对偶变量、初始辅助变量和初始混合辅助变量，所述本地更新参数包括本地更新步长和本地更新步数；
3.根据权利要求2所述的方法，其特征在于，所述训练参数还包括一致性步长；所述基于所述双随机混合矩阵、所述目标通信压缩算法、更新后的本地更新变量、所述初始辅助变量和所述初始混合辅助变量，对所述第i个节点的原始变量进行扩散传播，以得到所述第i个节点更新后的原始变量，包括：
4.根据权利要...
【技术特征摘要】
1.一种通信高效的无中心分布式优化训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述训练参数包括学习步长，所述初始化变量包括初始对偶变量、初始辅助变量和初始混合辅助变量，所述本地更新参数包括本地更新步长和本地更新步数；
3.根据权利要求2所述的方法，其特征在于，所述训练参数还包括一致性步长；所述基于所述双随机混合矩阵、所述目标通信压缩算法、更新后的本地更新变量、所述初始辅助变量和所述初始混合辅助变量，对所述第i个节点的原始变量进行扩散传播，以得到所述第i个节点更新后的原始变量，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述双随机混合矩阵、所述目标通信压缩算法、所述本地更新参数和所述训练参数以及...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。