集群任务的并行执行方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种集群任务的并行执行方法、装置、计算机设备和存储介质。所述方法包括：确定逻辑张量的配置信息；对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。采用本方法能够在满足多层级关系的计算节点下分布式训练场景的需求的同时，提高分布式训练的效率。提高分布式训练的效率。提高分布式训练的效率。

【技术实现步骤摘要】
集群任务的并行执行方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种集群任务的并行执行方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着人工智能大模型技术的发展，在多个计算设备上部署深度学习模型是训练大模型的一种方式，一般在模型训练时会采用更大规模的模型参数或更大规模的训练数据。因此分布式训练作为超大模型高效训练的必要手段，得到了越来越广泛的应用。在命名实体识别的应用中，利用中文命名实体识别模型，可以准确地从文本信息中获取目标文本特征。中文命名实体识别模型可以应用在不同的领域，例如医疗领域、交通领域。以医疗领域为例，基于命名实体识别模型通过对记录治疗的电子病历进行实体识别，提取出不同症状、治疗、药物、手术和解析部位等实体，根据提取的实体构建知识图谱。
[0003]然而，现有的神经网络模型是在单层级分布式训练场景下训练的，在具有多层级关系的计算节点下分布式训练场景下，通过对单层级分布式训练进行拼接或嵌套的方式进行训练，导致分布式训练的训练效率低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种在满足多层级关系的计算节点下分布式训练场景的需求的同时，提高分布式训练的训练效率的集群任务的并行执行方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种集群任务的并行执行方法。所述方法包括：确定逻辑张量的配置信息；对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。
[0006]在其中一个实施例中，所述确定逻辑张量的配置信息，包括：根据跨层级设备集群的划分属性，确定所述逻辑张量的层级属性；以及从预配置数据中确定所述逻辑张量对应的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，得到所述逻辑张量的配置信息。
[0007]在其中一个实施例中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：
针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则对所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；其中，所述第一维的维数小于所述第二维的维数，所述预设数量为所述源层级属性的第一维对应的节点数量。
[0008]在其中一个实施例中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型相同，以及所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中仅存在一个与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则获取所述源层级属性的第一维对应的节点数量和所述源层级属性的第二维对应的设备数量，建立所述节点数量乘以所述设备数量个节点之间的全连接，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图。
[0009]在其中一个实施例中，所述方法还包括：若所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中不存在与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则在预设数量个节点的每个节点之间构建基础划分属性转换子图，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维上的基础划分类型进行转换，得到跨层级分布的转换子图；所述预设数量为所述源层级属性的第一维对应的节点个数。
[0010]在其中一个实施例中，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不同，所述源集群划分属性的第二维上的基础划分类型和所述目标
集群划分属性的所述第二维上的基础划分类型不同，则根据变换策略数据确定所述第一维上的基础划分类型和所述第二维上的基础划分类型的转换优先级；基于所述转换优先级，依次对所述第一维上的基础划分类型和所述第二维的基础划分类型进行转换，得到跨层级分布的转换子图。
[0011]在其中一个实施例中，所述方法还包括：针对于所述配置信息中的所述层级属性和所述集群划分属性，若所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性不同，则确定所述源层级属性的第一维数和源属性信息，以及所述目标层级属性的第二维数和目标属性信息；根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性。
[0012]在其中一个实施例中，所述根据所述第一维数、所述源属性信息、所述第二维数和所述目标属性信息，利用所述张量集群划分维度的约减处理，和/或所述物理计算图的约减逻辑数据，将所述源层级属性转换为所述目标层级属性，包括：若所述第一维数和所述第二维数不同，则根据所述张量集群划分维度的约减处理对所述源集群划分属性进行约减处理，将所述源层级属性转换为所述目标层级属性。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群任务的并行执行方法，其特征在于，所述方法包括：确定逻辑张量的配置信息；对所述逻辑张量进行跨层级分布，在所述逻辑张量从当前层级设备分布到目标层级设备的情况下，确定所述当前层级设备对应的源逻辑张量和所述目标层级设备对应的目标逻辑张量；针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到张量跨层级分布的转换子图。2.根据权利要求1所述的方法，其特征在于，所述确定逻辑张量的配置信息，包括：根据跨层级设备集群的划分属性，确定所述逻辑张量的层级属性；以及从预配置数据中确定所述逻辑张量对应的基础划分类型、集群划分属性、张量集群划分维度的约减处理和物理计算图的约减逻辑数据，得到所述逻辑张量的配置信息。3.根据权利要求2所述的方法，其特征在于，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型不同，则对所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型进行预设数量次转换，得到跨层级分布的转换子图；其中，所述第一维的维数小于所述第二维的维数，所述预设数量为所述源层级属性的第一维对应的节点数量。4.根据权利要求2所述的方法，其特征在于，所述至少一种目标属性包括所述层级属性和所述集群划分属性，所述针对于所述配置信息中的至少一种目标属性，若所述源逻辑张量和所述目标逻辑张量所针对的所述至少一种目标属性不同，则对所述至少一种目标属性进行转换，得到跨层级分布的转换子图，包括：针对于所述配置信息中的所述层级属性和所述集群划分属性，在所述源逻辑张量的源层级属性和所述目标逻辑张量的目标层级属性相同的情况下，若所述源逻辑张量的源集群划分属性的第一维上的基础划分类型和所述目标逻辑张量的目标集群划分属性的第一维上的基础划分类型不相同，所述源集群划分属性的第二维上的基础划分类型和所述目标集群划分属性的所述第二维上的基础划分类型相同，以及所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中仅存在一个与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型，则获取所述源层级属性的第一维对应的节点数量和所述源层级属性的第二维对应的设备数量，建立所述节点数量乘以所述设备数量个节点之间的全连接，对所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的第一维
上的基础划分类型进行转换，得到跨层级分布的转换子图。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述源集群划分属性的第一维上的基础划分类型和所述目标集群划分属性的所述第一维上的基础划分类型中不存在与所述目标集群划分属性的所述第二维上的基础划分类型相同的基础划分类型...

【专利技术属性】
技术研发人员：王宏升，陈光，
申请(专利权)人：之江实验室，
类型：发明
国别省市：