System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及模型训练,尤其涉及一种大模型训练容错方法、系统、终端及存储介质。
技术介绍
1、目前百亿或者千亿参数规模的大模型通常由千卡级别的gpu进行长时间的并行训练,服务器不可避免会有各种硬件故障和网络故障等问题,因此,需要提供一种大模型训练容错机制,保障大模型顺利有效的完成训练。
2、现有的大模型训练过程中,一般采用人工手动方式对故障的大模型训练任务进行任务重启,导致人工操作繁琐,降低了大模型训练效率。
技术实现思路
1、本专利技术实施例的目的在于提供一种大模型训练容错方法、系统、终端及存储介质,旨在解决现有的大模型训练效率低下的问题。
2、本专利技术实施例是这样实现的,一种大模型训练容错方法,所述方法包括:
3、获取大模型集群的集群缓存信息,并对所述集群缓存信息进行故障检测,所述故障检测用于检测所述大模型集群中是否存在故障训练任务;
4、若所述故障检测合格,则获取所述集群缓存信息中所述故障训练任务的任务信息,并根据所述故障训练任务的任务信息确定故障类型;
5、若所述故障类型是第一类型,则重启所述故障训练任务,根据重启后的所述故障训练任务执行大模型训练;
6、若所述故障类型是第二类型,则对所述故障训练任务进行节点重调度,并根据节点调度后的所述故障训练任务执行大模型训练。
7、优选的,对所述集群缓存信息进行故障检测,包括:
8、分别获取所述集群缓存信息中各大模型训练任务的任务信息;<
...【技术保护点】
1.一种大模型训练容错方法,其特征在于,所述方法包括:
2.如权利要求1所述的大模型训练容错方法,其特征在于,对所述集群缓存信息进行故障检测,包括:
3.如权利要求2所述的大模型训练容错方法,其特征在于,根据所述故障训练任务的任务信息确定故障类型,包括:
4.如权利要求3所述的大模型训练容错方法,其特征在于,根据所述节点状态信息对所述故障训练任务进行节点卡恢复,包括:
5.如权利要求1所述的大模型训练容错方法,其特征在于,对所述故障训练任务进行节点重调度,包括:
6.如权利要求5所述的大模型训练容错方法,其特征在于,对所述空闲计算卡信息和所述故障训练任务进行重调度检测之后,还包括:
7.如权利要求1所述的大模型训练容错方法,其特征在于,对所述集群缓存信息进行故障检测,包括:
8.一种大模型训练容错系统,其特征在于,所述系统包括:
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
...【技术特征摘要】
1.一种大模型训练容错方法,其特征在于,所述方法包括:
2.如权利要求1所述的大模型训练容错方法,其特征在于,对所述集群缓存信息进行故障检测,包括:
3.如权利要求2所述的大模型训练容错方法,其特征在于,根据所述故障训练任务的任务信息确定故障类型,包括:
4.如权利要求3所述的大模型训练容错方法,其特征在于,根据所述节点状态信息对所述故障训练任务进行节点卡恢复,包括:
5.如权利要求1所述的大模型训练容错方法,其特征在于,对所述故障训练任务进行节点重调度,包括:
6.如权利要求5所述的大模型训练容错方法,其特征在于,对所述空...
【专利技术属性】
技术研发人员:吕冬冬,刘青松,梁家恩,
申请(专利权)人:四川云知声智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。