一种联合学习模型的训练方法及装置制造方法及图纸

本公开涉及计算机技术领域，提供了一种联合学习模型的训练方法及装置。该方法包括：中心节点根据联合学习架构中每个参与方的资源信息，从联合学习架构中筛选出至少两个目标参与方；将待训练的全局模型和初始模型参数发送给目标参与方，以使目标参与方基于本地数据和初始模型参数确定全局模型的第一模型参数；基于目标参与方反馈的第一模型参数对全局模型的模型参数进行迭代更新，直至满足预设终止条件得到训练完成的全局模型。本公开的实施例可以避免同一轮训练中各个参与方出现参数上传延迟、数据丢包等问题，提高了模型训练的稳定性和训练效率。性和训练效率。性和训练效率。

【技术实现步骤摘要】
一种联合学习模型的训练方法及装置


[0001]本公开涉及计算机
，尤其涉及一种联合学习模型的训练方法及装置。

技术介绍

[0002]目前，联合学习(Federated Learning，FL)已被广泛应用于各个领域，例如，图像分类领域、自动驾驶领域、语音识别领域、医学成像领域等。联合学习可以通过服务器协调多个客户端共同训练全局模型。具体的，服务器将初始的多个局部模型分别下发给客户端，该多个局部模型用于聚合生成服务器所需的全局模型；每个客户端使用其本地私有的训练数据来写作训练对应的局部模型，并将训练得到的局部模型参数发送给服务器，由服务器对所有的局部模型参数进行聚合更新，得到全局模型。
[0003]联合学习需要参与训练的各方在训练中保持一致，然而，在实际的应用场景中，参与训练的各个客户端设备的硬件条件、网络连接、电源电量等并不完全一致，导致联合学习架构中各个设备的存储、计算和通信能力也存在差异，容易出现参数上传延迟、数据丢包等问题，影响联合学习的稳定性和模型训练效率。

技术实现思路

[0004]有鉴于此，本公开实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合学习模型的训练方法，其特征在于，所述方法包括：中心节点根据联合学习架构中每个参与方的资源信息，从联合学习架构中筛选出至少两个目标参与方；将待训练的全局模型和初始模型参数发送给所述目标参与方，以使所述目标参与方基于本地数据和所述初始模型参数确定所述全局模型的第一模型参数；基于所述目标参与方反馈的第一模型参数对所述全局模型的模型参数进行迭代更新，直至满足预设终止条件得到训练完成的全局模型。2.根据权利要求1所述的方法，其特征在于，所述根据联合学习架构中每个参与方的资源信息，从联合学习架构中筛选出至少两个目标参与方，包括：收集联合学习架构中的每个参与方的资源信息；根据参与方的资源信息，预估每个参与方在一轮模型训练中的运行时间；判断所述联合学习架构中是否存在运行时间满足模型训练目标的参与方；若所述联合学习架构中存在运行时间满足模型训练目标的参与方，则确定所述参与方为目标参与方。3.根据权利要求2所述的方法，其特征在于，所述资源信息包括参与方的通信状态信息、数据处理能力、与所述全局模型相关的本地数据量；所述模型训练目标包括目标训练时间。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标参与方反馈的第一模型参数对所述全局模型的模型参数进行迭代更新，直至满足预设终止条件得到训练完成的全局模型，包括：在每一轮训练中，对所述至少两个目标参与方发送的第一模型参数进行聚合，得到所述全局模型的第二模型参数；若所述第二模型参数小于预设阈值，则确定满足预设终止条件，得到训练完成的全局模型；若所述第二模型参数大于或等于预设阈值，则根据所述第二模型参数更新所述初始模型参数，并重新筛选目标参与方；将更新后的初始模型参数发送至重新筛选的目标参与方，以使重新筛选的目标参与方根据其本地数据和更新后的初始模型参数，重新确定第一模型参数。5.根据权利要求4所述的方法，其特征在于，所述对所述至少两个目标参与方发送的第一模型参数进行聚合，得到所述全局模型的第二模型参数...

【专利技术属性】
技术研发人员：赵蕾，
申请(专利权)人：新智我来网络科技有限公司，
类型：发明
国别省市：