模型训练的方法和通信装置制造方法及图纸

本申请提供了一种模型训练的方法和通信装置，该方法包括：第k组设备中的第i个设备进行n*M次的模型训练，其中，所述第i个设备在每M次的模型训练中与所述第k组设备中的至少一个其它设备完成模型参数的交换，M为所述第k组设备中的设备数量，M大于或等于2，n为整数；所述第i个设备向目标设备发送模型M

【技术实现步骤摘要】
模型训练的方法和通信装置


[0001]本申请实施例涉及学习方法，尤其涉及一种模型训练的方法和通信装置。

技术介绍

[0002]分布式学习是当前人工智能(artificial intelligence，AI)研究的一个重点方向，在分 布式学习中，中心节点将数据集D(包括数据集D
n
、D
k
、D
m
)分别下发给多个分布式节 点(如图2中的分布式节点n、分布式节点k、分布式节点m)，这多个分布式节点各自 利用本地的计算资源进行模型训练，并将训练好的模型W(包括模型W
n
、W
k
、W
m
)上传 至中心节点。在这种学习架构中，中心节点拥有全部数据集，分布式节点无需收集本地数 据集。这种学习架构利用分布式节点的计算能力，帮助进行模型的训练，可以卸载中心节 点的计算压力。
[0003]在实际场景中，数据往往由分布式节点进行采集，即数据是分布式存在的。此时，将 数据汇总到中心节点会产生数据隐私性的问题，同时也会导致大量的通信资源被用于数据 传输，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练的方法，其特征在于，包括：第k组设备中的第i个设备进行n*M次的模型训练，其中，所述第i个设备在每M次的模型训练中与所述第k组设备中的至少一个其它设备完成模型参数的交换，M为所述第k组设备中的设备数量，M大于或等于2，n为整数；所述第i个设备向目标设备发送模型所述模型为所述第i个设备完成n*M次的模型训练后的模型。2.根据权利要求1所述的方法，其特征在于，所述目标设备为所述第k组设备中算力最强的设备，或，所述目标设备为所述第k组设备中通信时延最小的设备，或，所述目标设备为所述第k组设备之外的设备所指定的设备。3.根据权利要求1或2所述的方法，其特征在于，所述第k组设备中的第i个设备进行n*M次的模型训练，包括：对于所述n*M次的模型训练中的第j次模型训练，所述第i个设备从第(i
‑
1)个设备接收其推理后的结果；所述第i个设备根据接收到的结果确定第一梯度和第二梯度，所述第一梯度用于更新模型M
i,j
‑1，所述第二梯度用于更新模型M
i
‑
1,j
‑1，所述模型M
i,j
‑1为所述第i个设备完成第(j
‑
1)次模型训练后的模型，所述模型M
i
‑
1,j
‑1为所述第(i
‑
1)个设备完成第(j
‑
1)次模型训练后的模型；所述第i个设备根据所述第一梯度训练模型M
i,j
‑1。4.根据权利要求3所述的方法，其特征在于，当i＝M时，所述第一梯度基于接收的推理结果和从所述第1个设备接收的标签确定；当i≠M时，所述第一梯度基于第(i+1)个设备传输的第二梯度确定。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：所述第i个设备与所述第k组设备中的至少一个其它设备完成模型参数的交换的同时，所述第i个设备与所述第k组设备中的至少一个其它设备交换本地存储的样本数量。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：对于所述n*M次的模型训练的下一次训练，所述第i个设备从所述目标设备获取模型M
<r>
的信息，所述模型M
<r>
为所述目标设备对模型进行组间融合后的第r个模型，r∈[1,M]，所述模型为所述第k组设备中的第i个设备完成n*M次的模型训练后的模型，i遍历1至M，k遍历1至K。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：所述第i个设备接收目标设备发送的选择结果；所述第i个设备从所述目标设备获取模型M
<r〉
的信息，包括：所述第i个设备根据所述选择结果从所述目标设备获取所述模型M
<r〉
的信息。8.根据权利要...

【专利技术属性】
技术研发人员：叶德仕，陈松扬，徐晨，李榕，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：