【技术实现步骤摘要】
本申请涉及计算机,尤其涉及一种参数更新方法、装置、电子设备及存储介质。
技术介绍
1、目前,每个分布式节点在进行模型训练时,可以在每次迭代之后将迭代后的模型参数发送至参数服务器,参数服务器在接收到所有分布式节点发送的模型参数之后,可以对模型进行一次的参数更新。
2、但是,上述方法中,某些分布式节点模型训练的速度可能较慢,参数服务器需要在接收到所有的分布式节点发送的模型参数之后,才能进行参数更新,导致模型的参数更新的效率较低。
技术实现思路
1、本申请提供一种参数更新方法、装置、电子设备及存储介质,解决了某些分布式节点模型训练的速度可能较慢,参数服务器需要在接收到所有的分布式节点发送的模型参数之后,才能进行参数更新,导致模型的参数更新的效率较低的技术问题。
2、第一方面,本申请提供一种参数更新方法,包括:基于n个分布式节点中每个分布式节点的算力性能值,确定该每个分布式节点对应的样本数据占比;一个分布式节点对应的样本数占比为该一个分布式节点对应的样本数据在总样本数据中的
...【技术保护点】
1.一种参数更新方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在所述基于N个分布式节点中每个分布式节点的算力性能值,确定所述每个分布式节点对应的样本数据占比之前,所述方法还包括:
3.根据权利要求1或2所述的方法,其特征在于,基于N个分布式节点中每个分布式节点的算力性能值,确定第一分布式节点对应的样本数据占比,包括:
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,
6.根据权利要求1所述的方法,其特征在于,所述每个分布式节点的模型参
...【技术特征摘要】
1.一种参数更新方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在所述基于n个分布式节点中每个分布式节点的算力性能值,确定所述每个分布式节点对应的样本数据占比之前,所述方法还包括:
3.根据权利要求1或2所述的方法,其特征在于,基于n个分布式节点中每个分布式节点的算力性能值,确定第一分布式节点对应的样本数据占比,包括:
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,
6.根据权利要求1所述的方法,其特征在于,所述每个分布式节点的模型参数,为所述每个分布式节点在模型训练满足预设条件的情况下发送的。
7.根据权利要求6...
【专利技术属性】
技术研发人员:贺鸣,郭熹,曹晓冬,秦守浩,程新洲,
申请(专利权)人:中国联合网络通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。