模型训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41506739 阅读:17 留言:0更新日期:2024-05-30 14:47
本申请公开了一种模型训练方法、装置、电子设备及存储介质。其中,上述方法包括:在对等算力网络中广播目标模型对应的训练数据集,以使对等算力网络中多个节点对训练数据集进行协商分配,确定各自对应待训练的训练数据子集;基于目标节点对应分配到的目标训练数据子集对目标模型进行训练,得到目标模型对应的第一训练结果;在对等算力网络中广播第一训练结果,接收对等算力网络中其他节点广播的第二训练结果,第二训练结果由对等算力网络中其他节点基于对应分配到的训练数据子集对目标模型进行训练得到;基于第一训练结果和/或第二训练结果更新目标模型得到目标模型对应的第一更新信息,降低模型训练所需的设备成本,提高训练效率和可扩展性。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种模型训练方法、装置、电子设备及存储介质


技术介绍

1、机器学习和深度学习模型训练系统主要采用集中式架构,将所有的模型训练任务集中在数据中心的服务器集群上完成。

2、目前,机器学习模型训练仍然依赖数据中心级别的专用算力资源,导致训练成本高昂且扩展受限。利用网络边缘闲置设备的算力资源进行分布式协同训练,是加速和扩展训练的有效途径。但是,分布式协同训练一般都存在难以调动节点参与并有效分配训练任务的问题。


技术实现思路

1、本申请实施例提供了一种模型训练方法、装置、电子设备及存储介质,既避免模型训练依赖数据中心服务器的专用算力资源导致训练成本高昂且扩展受限的问题,又充分发挥对等算力网络的优势,提高模型训练的效率和可扩展性。上述技术方案如下:

2、第一方面,本申请实施例提供了一种模型训练方法,上述方法应用于对等算力网络中的目标节点,上述方法包括:

3、在上述对等算力网络中广播目标模型对应的训练数据集,以使上述对等算力网络中多个节点对上述训练数据集进行协本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法应用于对等算力网络中的目标节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述第一训练结果和/或所述第二训练结果更新所述目标模型,得到所述目标模型对应的第一更新信息之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述目标模型为指定模型的子模型,所述子模型由服务器对所述指定模型进行拆分得到;

4.根据权利要求1所述的方法,其特征在于,所述基于所述第一训练结果和/或所述第二训练结果更新所述目标模型,得到所述目标模型对应的第一更新信息,包括:

5.根据权利要求1所...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法应用于对等算力网络中的目标节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述第一训练结果和/或所述第二训练结果更新所述目标模型,得到所述目标模型对应的第一更新信息之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述目标模型为指定模型的子模型,所述子模型由服务器对所述指定模型进行拆分得到;

4.根据权利要求1所述的方法,其特征在于,所述基于所述第一训练结果和/或所述第二训练结果更新所述目标模型,得到所述目标模型对应的第一更新信息,包括:

5.根据权利要求1所述的方法,其特征在于,所述接收所述对等算力网络中其他节点广播的第二训练结果之后,所述基于所述第一训练结果和/或所述第二训练结果更新所述目标模型,得到所述目标模型对应的第一...

【专利技术属性】
技术研发人员:黄绍莽杨玉奇潘剑锋
申请(专利权)人:三六零数字安全科技集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1