竞争式资源分配方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种竞争式资源分配方法、装置、电子设备及存储介质，竞争式资源分配方法，包括：获取用户提交的任务需求；其中，所述任务需求为混合并行训练资源需求；基于预设的贪心策略，处理所述任务需求，以生成混合并行资源分配方案；在确定生成混合并行资源分配方案的情况下，执行混合并行资源分配方案，得到竞争式资源分配结果。本发明专利技术提供的竞争式资源分配方法、装置、电子设备及存储介质，可以解决现有技术中训练容器之间跨物理节点交互的通信开销增大的缺陷，降低训练容器之间的通信开销。降低训练容器之间的通信开销。降低训练容器之间的通信开销。

【技术实现步骤摘要】
竞争式资源分配方法、装置、电子设备及存储介质


[0001]本专利技术涉及资源分配
，尤其涉及一种竞争式资源分配方法、装置、电子设备及存储介质。

技术介绍

[0002]在分布式训练领域，需要训练的数据规模和训练模型的参数规模都可能很大。因此，存在数据并行和模型并行两种分布模式。数据并行是解决大数据问题的常用方式，将数据分发给不同机器进行计算。模型并行是将大规模深度学习模型进行划分，并分配给多个机器进行计算的方式。
[0003]由于在大规模深度学习任务中模型参数规模和数据规模都很大，导致单独应用数据并行或是训练模型并行方式，往往不足以达到预期的分布式训练效果，可考虑使用数据并行加模型并行的混合分布式训练方式。
[0004]大规模分布式训练集群中有众多训练资源节点(服务器节点)，每个训练资源节点上有多个训练资源(如一个服务器节点有多块GPU)。在进行分布式训练时，需要对训练资源进行分配，分布式训练资源分配，即是为训练任务按需分配相关训练资源节点上的可用训练资源。
[0005]在并行训练的方式下，实际训练容器使用的训练资源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种竞争式资源分配方法，其特征在于，包括：获取用户提交的任务需求；其中，所述任务需求为混合并行训练资源需求；基于预设的贪心策略，处理所述任务需求，以生成混合并行资源分配方案；在确定生成混合并行资源分配方案的情况下，执行混合并行资源分配方案，得到竞争式资源分配结果。2.根据权利要求1所述的竞争式资源分配方法，其特征在于，还包括：在确定未生成混合并行资源分配方案的情况下，对所述任务需求的状态进行回滚，并发出当前资源不满足任务需求的提示。3.根据权利要求1所述的竞争式资源分配方法，其特征在于，还包括：在基于所述竞争式资源分配结果，确定资源分配成功的情况下，发出分配成功提示。4.根据权利要求1所述的竞争式资源分配方法，其特征在于，还包括：在基于所述竞争式资源分配结果，确定资源分配失败，且重新生成混合并行资源分配方案的次数未超过重算次数阈值的情况下，则重新生成混合并行资源分配方案。5.根据权利要求4所述的竞争式资源分配方法，其特征在于，还包括：在基于所述竞争式资源分配结果，确定资源分配失败，且重新生成混合并行资源分配方案的次数超过重算次数阈值的情况下，发出重新提交任...

【专利技术属性】
技术研发人员：李菲菲，任渊，李沁颖，廖名学，吕品，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：