【技术实现步骤摘要】
模型训练方法、装置及存储介质
[0001]本申请涉及人工智能(artificial intelligence，AI)领域，特别涉及一种模型训练方法、装置及存储介质。
技术介绍
[0002]当前，AI模型被广泛的应用于各行各业中。其中，模型的训练需要用到大量数据，但随着人们数据保护意识的增强，数据的获取难度越来越大，跨节点的模型训练越来越受到重视。
[0003]相关技术中，中心节点可以下发目标模型的初始化全局模型参数给参与学习的各个分节点，各个分节点可以将该初始化全局模型参数作为自身之上的该目标模型的模型参数，并通过本地训练集对该目标模型进行训练，然后将训练后获得的该目标模型的模型参数上传至中心节点。中心节点可以将接收到的各个分节点上报的模型参数进行联合平均，从而得到更新后的全局模型参数，之后，中心节点可以将更新后的全局模型参数再次下发至各个分节点，各个分节点重复上述过程直至模型收敛为止，将中心节点最后一次下发的更新后的全局模型参数作为自身之上的目标模型的模型参数。
[0004]然而，由于各分节点上用于训练目标...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，应用于目标分节点，所述方法包括：接收来自中心节点的目标模型的全局模型参数；对所述目标模型的全局模型参数和本地模型参数进行融合，得到融合模型参数，所述本地模型参数是指基于本地训练集对所述目标模型进行训练得到的模型参数；将所述目标模型的本地模型参数更新为所述融合模型参数，并根据所述目标分节点的本地训练集对更新后的目标模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述对所述目标模型的全局模型参数和本地模型参数进行融合，得到融合模型参数，包括：根据所述目标分节点的参数融合规则，对所述目标模型的全局模型参数和本地模型参数进行融合，得到所述融合模型参数。3.根据权利要求2所述的方法，其特征在于，所述目标分节点的参数融合规则包括基于所述目标分节点的属性信息确定的所述目标模型的本地模型参数中各个本地参数组的替换概率，所述根据所述目标分节点的参数融合规则，对所述目标模型的全局模型参数和本地模型参数进行融合，得到融合模型参数，包括：将所述本地模型参数中替换概率大于第一阈值的本地参数组替换为所述全局模型参数中对应的参数组，得到所述融合模型参数。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述目标分节点的属性信息，确定参数搜索粒度；根据所述参数搜索粒度，对所述本地模型参数包括的多个本地参数值进行分组，得到多个本地参数组；获取所述多个本地参数组中每个本地参数组的待优化替换概率；根据所述本地训练集对每个本地参数组的待优化替换概率进行迭代优化，得到每个本地参数组的替换概率。5.根据权利要求4所述的方法，其特征在于，所述根据所述本地训练集对每个本地参数组的待优化替换概率进行迭代优化，得到每个本地参数组的替换概率，包括：根据每个本地参数组的待优化替换概率、所述多个本地参数组和所述全局模型参数，确定验证模型参数；将所述目标模型的本地模型参数替换为所述验证模型参数，得到验证模型；根据所述本地训练集对所述验证模型进行训练，得到更新后的验证模型；根据验证集对所述更新后的验证模型进行测试；如果测试结果不满足参考条件，对每个本地参数组的待优化替换概率进行更新，将更新后的概率作为所述待优化替换概率，并返回执行所述根据每个本地参数组的待优化替换概率、所述多个本地参数组和所述全局模型参数，确定验证模型参数的步骤，直至所述测试结果满足所述参考条件时，将最后一次更新后的概率作为每个本地参数组的替换概率。6.根据权利要求2所述的方法，其特征在于，所述目标分节点的参数融合规则包括根据所述目标分节点的属性信息预先设置的待替换的本地参数组的索引，所述本地参数组为对所述本地模型参数包括的多个本地参数值进行分组得到，所述根据所述目标分节点的参数组合规则，对所述目标模型的全局模型参数和本地模型参数进行融合，得到融合模型参数，包括：
根据所述待替换的本地参数组的索引，将所述本地模型参数中待替换的本地参数组替换为所述全局模型参数中对应的参数组，得到所述融合模型参数。7.根据权利要求3
‑
6任一所述的方法，其特征在于，所述目标分节点的属性信息包括所述本地训练集中的样本数据的数据量和分布特征、所述目标分节点的计算能力以及所述目标模型的规模信息...
【专利技术属性】
技术研发人员：孙本元，霍洪兴，杨怡，白博，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。