一种规约运算的拓扑选择方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种规约运算的拓扑选择方法、装置、设备及介质，包括：获取分布式训练任务中各加速卡对应的链路信息，根据链路信息确定各加速卡与其他加速卡之间的链路类型，对每种链路类型对应的传输性能以及计算性能进行探测，得到传输性能探测结果以及计算性能探测结果，对每种链路类型对应的控制开销进行探测，得到控制开销探测结果，根据传输性能探测结果、计算性能探测结果、控制开销探测结果以及规约数据量，选择与各加速卡中规约运算环节匹配的目标拓扑结构。本发明专利技术实施例的技术方案可以为分布式训练任务中的规约运算环节选择最优的拓扑结构，减少分布式训练过程的耗时以及硬件的维护成本。及硬件的维护成本。及硬件的维护成本。

【技术实现步骤摘要】
一种规约运算的拓扑选择方法、装置、设备及介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种规约运算的拓扑选择方法、装置、设备及介质。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)技术的发展，训练模型中样本数据的增长速度远超过芯片算力和储存容量的增长速度，单个加速卡无法高效地处理大量数据，也无法独立部署较大的模型，因此，分布式的计算框架成为模型训练的必然选择。
[0003]分布式训练任务中可以同时采用多个加速卡完成训练过程等，并且每个加速卡中都增加了规约运算(allreduce)环节。规约运算的处理性能对于分布式训练的加速比以及训练效率尤为重要。目前，规约运算环节通常运行在已知的拓扑结构上，例如环形拓扑结构(ring)、二维环形拓扑结构(2d ring)以及二叉树拓扑结构(binary tree)等。
[0004]但是，每种拓扑结构都有一定的适应范围和使用限制。对于特定的拓扑结构而言，只有在适合的硬件连接和适合的数据量下，通过该拓扑结构完成规约运算才是高性能的，而对于其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种规约运算的拓扑选择方法，其特征在于，所述方法包括：获取分布式训练任务中各加速卡对应的链路信息，根据各加速卡对应的链路信息，确定各加速卡与其他加速卡之间的链路类型；对每种链路类型对应的传输性能以及计算性能进行探测，得到每种链路类型对应的传输性能探测结果以及计算性能探测结果；对每种链路类型对应的控制开销进行探测，得到每种链路类型对应的控制开销探测结果；根据各所述链路类型对应的传输性能探测结果、计算性能探测结果、控制开销探测结果，以及各加速卡对应的规约数据量，选择与各加速卡中规约运算环节匹配的目标拓扑结构。2.根据权利要求1所述的方法，其特征在于，根据各所述链路类型对应的传输性能探测结果、计算性能探测结果、控制开销探测结果，以及各加速卡对应的规约数据量，选择与各加速卡中规约运算环节匹配的目标拓扑结构，包括：将各所述链路类型对应的传输性能探测结果、计算性能探测结果、控制开销探测结果，以及各加速卡对应的规约数据量，输入至预先构建的规约运算耗时模型中；通过所述规约运算耗时模型，在预设的多个拓扑结构中，确定每个拓扑结构针对各加速卡对应的规约耗时，并根据所述规约耗时，选择与各加速卡中规约运算环节匹配的目标拓扑结构。3.根据权利要求2所述的方法，其特征在于，在获取分布式训练任务中各加速卡对应的链路信息之前，还包括：建立与多个拓扑结构分别对应的规约耗时计算公式，根据各所述规约耗时计算公式，构建所述规约运算耗时模型。4.根据权利要求2所述的方法，其特征在于，通过所述规约运算耗时模型，在预设的多个拓扑结构中，确定每个拓扑结构针对各加速卡对应的规约耗时，并根据所述规约耗时，选择与各加速卡中规约运算环节匹配的目标拓扑结构，包括：通过所述规约耗时计算模型，计算不同的目标数据量下，各拓扑结构针对各加速卡对应的目标规约耗时；根据各所述目标规约耗时，在多个拓扑结构中筛选每种目标数据量对应的标准拓扑结构；通过所述规约运算耗时模型，在多个所述标准拓扑结构中，确定每个拓扑结构针对各加速卡对应的规约耗时，并根据所述规约耗时，在多个所述标准拓扑结构中，选择与各加速卡中规约运算环节匹配的目标拓扑结构。5.根据权利要求1所述方法，其特征在于，根据各加速卡对应的链路信息，确定各加速卡与其他加速卡之间的链路类型，包括：依次获取预设链路序列中的一个链路作为备选链路；所述链路系列中包括多个按照优先级进行排列的链路；根据当前加速卡与其他加速卡之间的链路信息，判断当...

【专利技术属性】
技术研发人员：刘邦岚，丁圣阁，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：