一种分布式集群及分布式集群确定方法技术

本申请实施例提供了一种分布式集群及分布式集群确定方法，涉及人工智能技术领域，该分布式集群的组网拓扑结构包括多个资源池，多个资源池包括第一资源池和第二资源池，第一资源池中任一leaf交换设备的下联接口与第一资源池中的处理单元连接，第一资源池中任一leaf交换设备的上联接口与spine交换设备的下联接口连接；spine交换设备位于第一资源池或第二资源池，第一资源池中任一leaf交换设备的下联接口的数量多于上联接口的数量。上述分布式集群可以通过更少的交换设备保障更多的处理单元之间的通信，可以有效地降低交换设备的数量，进而降低经济成本。

【技术实现步骤摘要】

本专利技术实施例涉及人工智能，尤其涉及一种分布式集群及分布式集群确定方法。

技术介绍

1、随着人工智能技术的快速发展，大语言模型(large language models，llm)在自然语言处理、计算机视觉、语音识别等领域被广泛使用。目前，一般采用服务器集群训练大语言模型，为了便于服务器集群中各个服务器在模型训练过程中进行通信，采用胖树(fat-tree)无阻塞网络架构实现服务器集群中服务器的连接，然而，胖树无阻塞网络架构需要大量的交换机资源，这将会增加经济成本。在采用服务器集群训练大语言模型时，如何在不影响模型训练效率的情况下，降低交换机资源的数量是目前亟需解决的技术问题。

技术实现思路

1、本申请实施例提供了一种分布式集群及分布式集群确定方法，用于在不影响模型训练效率的情况下，降低交换机资源的数量。

2、一方面，本申请实施例提供了一种分布式集群，所述分布式集群用于模型训练，所述分布式集群的组网拓扑结构包括多个资源池，第一资源池中具有leaf交换设备和spine交换设备相连接的两层组网以及处理本文档来自技高网...

【技术保护点】

1.一种分布式集群，其特征在于，所述分布式集群用于模型训练，所述分布式集群的组网拓扑结构包括多个资源池，第一资源池中具有leaf交换设备和spine交换设备相连接的两层组网以及处理单元，所述第一资源池为所述多个资源池中任一资源池；其中，

2.如权利要求1所述的分布式集群，其特征在于，所述第一资源池包括多个节点，每个节点包括多个处理单元，所述分布式集群通过调度策略执行模型训练，所述调度策略包括以下至少一项：

3.如权利要求2所述的分布式集群，其特征在于，所述调度策略是根据所述分布式集群的组网拓扑结构和并行训练策略确定的，所述并行训练策略包括张量并行、流水线并行、数据...

【技术特征摘要】

1.一种分布式集群，其特征在于，所述分布式集群用于模型训练，所述分布式集群的组网拓扑结构包括多个资源池，第一资源池中具有leaf交换设备和spine交换设备相连接的两层组网以及处理单元，所述第一资源池为所述多个资源池中任一资源池；其中，

2.如权利要求1所述的分布式集群，其特征在于，所述第一资源池包括多个节点，每个节点包括多个处理单元，所述分布式集群通过调度策略执行模型训练，所述调度策略包括以下至少一项：

3.如权利要求2所述的分布式集群，其特征在于，所述调度策略是根据所述分布式集群的组网拓扑结构和并行训练策略确定的，所述并行训练策略包括张量并行、流水线并行、数据并行中至少一项。

4.如权利要求3所述的分布式集群，其特征在于，所述调度策略所需的资源池的数量是根据用于模型训练的处理单元的数量和一个资源池包括的处理单元的数量确定的，所述用于模型训练的处理单元的数量是根据并行训练策略确定的。

5.如权利要求1-4任一所述的分布式集群，其特征在于，所述第一资源池中leaf交换设备的数量m是根据所述第一资源池中leaf交换设备的组网方式确定的；

6.如权利要求5所述的分布式集群，其特征在于，所述第一资源池中spine交换设备的数量n是根据所述第一资源池中m个leaf交换设备的上联接口的总数量以及所述spine交换设备的网络接口的数量确定的。

7.如权利要求5所述的分布式集群，其特征在于，所述第一资源池中处理单元的数量s是根据所述第一资源池中m个leaf交换设备的下联接口的总数量以及处理单元连接方式确定的。

8.如权利要求5所述的分布式集群，其特征在于，所述分布式集群所包括的资源池的最大数量是根据所述第一资源池中任一leaf交换设备的上联接口的数量与所述第一资源池中spine交换设备的数量的比值确定的。

9.一种分布式集群确定方法，其特征在于，所述方法用于确定分布式集群，所述分布式集群的组网拓扑结构包括多个资源池，所述多个资源池包括第一资源池和第二资源池，...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：