一种参数更新方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41701613 阅读:15 留言:0更新日期:2024-06-19 12:34
本申请提供一种参数更新方法、装置、电子设备及存储介质,涉及计算机技术领域,解决了参数服务器需要在接收到所有的分布式节点发送的模型参数之后,才能进行参数更新,导致模型的参数更新的效率较低的技术问题。该方法包括:基于N个分布式节点中每个分布式节点的算力性能值,确定该每个分布式节点对应的样本数据占比;向该每个分布式节点发送对应样本数据占比的第一样本数据;获取该每个分布式节点基于该第一样本数据进行模型训练得到的模型参数;基于该每个分布式节点的模型参数,更新该目标模型的模型参数。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种参数更新方法、装置、电子设备及存储介质


技术介绍

1、目前,每个分布式节点在进行模型训练时,可以在每次迭代之后将迭代后的模型参数发送至参数服务器,参数服务器在接收到所有分布式节点发送的模型参数之后,可以对模型进行一次的参数更新。

2、但是,上述方法中,某些分布式节点模型训练的速度可能较慢,参数服务器需要在接收到所有的分布式节点发送的模型参数之后,才能进行参数更新,导致模型的参数更新的效率较低。


技术实现思路

1、本申请提供一种参数更新方法、装置、电子设备及存储介质,解决了某些分布式节点模型训练的速度可能较慢,参数服务器需要在接收到所有的分布式节点发送的模型参数之后,才能进行参数更新,导致模型的参数更新的效率较低的技术问题。

2、第一方面,本申请提供一种参数更新方法,包括:基于n个分布式节点中每个分布式节点的算力性能值,确定该每个分布式节点对应的样本数据占比;一个分布式节点对应的样本数占比为该一个分布式节点对应的样本数据在总样本数据中的占比;该n个分布式节本文档来自技高网...

【技术保护点】

1.一种参数更新方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述基于N个分布式节点中每个分布式节点的算力性能值,确定所述每个分布式节点对应的样本数据占比之前,所述方法还包括:

3.根据权利要求1或2所述的方法,其特征在于,基于N个分布式节点中每个分布式节点的算力性能值,确定第一分布式节点对应的样本数据占比,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,

6.根据权利要求1所述的方法,其特征在于,所述每个分布式节点的模型参数,为所述每个分布式...

【技术特征摘要】

1.一种参数更新方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述基于n个分布式节点中每个分布式节点的算力性能值,确定所述每个分布式节点对应的样本数据占比之前,所述方法还包括:

3.根据权利要求1或2所述的方法,其特征在于,基于n个分布式节点中每个分布式节点的算力性能值,确定第一分布式节点对应的样本数据占比,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,

6.根据权利要求1所述的方法,其特征在于,所述每个分布式节点的模型参数,为所述每个分布式节点在模型训练满足预设条件的情况下发送的。

7.根据权利要求6...

【专利技术属性】
技术研发人员:贺鸣郭熹曹晓冬秦守浩程新洲
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1