大模型训练容错方法、系统、终端及存储介质技术方案

本发明专利技术提供了一种大模型训练容错方法、系统、终端及存储介质，该方法包括：对大模型集群的集群缓存信息进行故障检测；若故障检测合格，则获取集群缓存信息中故障训练任务的任务信息，根据故障训练任务的任务信息确定故障类型；若故障类型是第一类型，重启故障训练任务，根据重启后的故障训练任务执行大模型训练；若故障类型是第二类型，对故障训练任务进行节点重调度，根据节点调度后的故障训练任务执行大模型训练。本发明专利技术实施例，当故障类型是第一类型时，自动控制故障训练任务进行重启，当故障类型是第二类型时，自动对故障训练任务进行节点重调度，有效地保障了大模型训练任务的执行，无需采用人工的方式进行任务重启，提高了大模型训练效率。

【技术实现步骤摘要】

本专利技术涉及模型训练，尤其涉及一种大模型训练容错方法、系统、终端及存储介质。

技术介绍

1、目前百亿或者千亿参数规模的大模型通常由千卡级别的gpu进行长时间的并行训练，服务器不可避免会有各种硬件故障和网络故障等问题，因此，需要提供一种大模型训练容错机制，保障大模型顺利有效的完成训练。

2、现有的大模型训练过程中，一般采用人工手动方式对故障的大模型训练任务进行任务重启，导致人工操作繁琐，降低了大模型训练效率。

技术实现思路

1、本专利技术实施例的目的在于提供一种大模型训练容错方法、系统、终端及存储介质，旨在解决现有的大模型训练效率低下的问题。

2、本专利技术实施例是这样实现的，一种大模型训练容错方法，所述方法包括：

3、获取大模型集群的集群缓存信息，并对所述集群缓存信息进行故障检测，所述故障检测用于检测所述大模型集群中是否存在故障训练任务；

4、若所述故障检测合格，则获取所述集群缓存信息中所述故障训练任务的任务信息，并根据所述故障训练任务的任务信息确定故障类型；本文档来自技高网...

【技术保护点】

1.一种大模型训练容错方法，其特征在于，所述方法包括：

2.如权利要求1所述的大模型训练容错方法，其特征在于，对所述集群缓存信息进行故障检测，包括：

3.如权利要求2所述的大模型训练容错方法，其特征在于，根据所述故障训练任务的任务信息确定故障类型，包括：

4.如权利要求3所述的大模型训练容错方法，其特征在于，根据所述节点状态信息对所述故障训练任务进行节点卡恢复，包括：

5.如权利要求1所述的大模型训练容错方法，其特征在于，对所述故障训练任务进行节点重调度，包括：

6.如权利要求5所述的大模型训练容错方法，其特征在于，对所述空闲计...

【技术特征摘要】

1.一种大模型训练容错方法，其特征在于，所述方法包括：

2.如权利要求1所述的大模型训练容错方法，其特征在于，对所述集群缓存信息进行故障检测，包括：

3.如权利要求2所述的大模型训练容错方法，其特征在于，根据所述故障训练任务的任务信息确定故障类型，包括：

4.如权利要求3所述的大模型训练容错方法，其特征在于，根据所述节点状态信息对所述故障训练任务进行节点卡恢复，包括：

5.如权利要求1所述的大模型训练容错方法，其特征在于，对所述故障训练任务进行节点重调度，包括：

6.如权利要求5所述的大模型训练容错方法，其特征在于，对所述空...

【专利技术属性】
技术研发人员：吕冬冬，刘青松，梁家恩，
申请(专利权)人：四川云知声智能科技有限公司，
类型：发明
国别省市：