资源分配方法和装置制造方法及图纸

本公开提供了一种资源分配方法和装置，涉及人工智能技术领域，具体涉及云计算、机器学习技术领域。具体实现方案为：获取待分配给容器的模型训练任务的任务参数；根据模型训练任务的任务参数，确定容器的资源配置信息；根据资源配置信息，为容器配置对应的资源。由此，结合模型训练任务，准确确定出了容器执行该模型训练任务所需要的资源配置信息，并基于该资源配置信息准确为容器分配资源，实现了容器资源的自动分配，提高了容器资源的分配的准确性。提高了容器资源的分配的准确性。提高了容器资源的分配的准确性。

Resource allocation method and device

【技术实现步骤摘要】
资源分配方法和装置


[0001]本公开涉及人工智能
，具体涉及云计算、机器学习
，尤其涉及一种资源分配方法和装置。

技术介绍

[0002]随着互联网的发展，云计算越来越受到重视，容器云平台就是基于云计算的容器虚拟化平台。在容器云平台进行机器学习任务，是大规模机器学习训练的主要方式。
[0003]相关技术中，在使用容器云平台进行机器学习任务时，通常是在启动容器执行训练任务之前，为该容器分配一个模型训练任务，并通过人工的方式为该容器分配资源配置信息。然而，人工分配资源配置信息的方式容易出现资源分配不准确的问题，造成模型训练任务的失败或者资源浪费。

技术实现思路

[0004]本公开提供了一种资源分配方法、装置、电子设备、存储介质以及计算机程序产品。
[0005]根据本公开的一方面，提供了一种资源分配方法，包括：获取待分配给容器的模型训练任务的任务参数；根据所述模型训练任务的任务参数，确定所述容器的资源配置信息；根据所述资源配置信息，为所述容器配置对应的资源。
[0006]根据本公开的第二方面，提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源分配方法，包括：获取待分配给容器的模型训练任务的任务参数；根据所述模型训练任务的任务参数，确定所述容器的资源配置信息；根据所述资源配置信息，为所述容器配置对应的资源。2.根据权利要求1所述的方法，其中，所述任务参数包括训练数据集合和机器学习算法，所述根据所述模型训练任务的任务参数，确定所述容器的资源配置信息，包括：确定所述训练数据集合所占用的第一存储空间大小；根据所述机器学习算法和所述第一存储空间大小，确定所述容器待配置的第二存储空间大小，其中，所述资源配置信息包括所述第二存储空间大小；所述根据所述资源配置信息，为所述容器配置对应的资源，包括：根据所述第二存储空间大小为所述容器配置存储空间。3.根据权利要求1所述的方法，其中，所述任务参数包括训练数据集合、机器学习算法和预设训练时长，所述根据所述模型训练任务的任务参数，确定所述容器的资源配置信息，包括：确定所述训练数据集合所占用的第一存储空间大小；根据所述机器学习算法、所述第一存储空间大小和所述预设训练时长，确定所述容器待配置的处理器核数，其中，所述资源配置信息包括所述处理器核数；所述根据所述资源配置信息，为所述容器配置对应的资源，包括：根据所述处理器核数为所述容器配置处理器。4.根据权利要求2
‑
3中任一项所述的方法，其中，所述确定所述训练数据集合所占用的第一存储空间大小，包括：确定所述训练数据集合中训练数据的数据类型；根据所述数据类型和所述训练数据集合中训练数据的总数，确定所述训练数据集合所占用的第一存储空间大小。5.根据权利要求4所述的方法，其中，所述根据所述数据类型和所述训练数据集合中训练数据的总数，确定所述训练数据集合所占用的第一存储空间大小，包括：在所述数据类型为第一数据类型的情况下，获取所述第一数据类型的单个训练数据所占用的存储空间大小，其中，单个所述第一数据类型的训练数据所占用的存储空间大小固定；根据所述存储空间大小和所述训练数据集合中训练数据的总数，确定所述训练数据集合所占用的第一存储空间大小。6.根据权利要求4所述的方法，其中，所述根据所述数据类型和所述训练数据集合中训练数据的总数，确定所述训练数据集合所占用的第一存储空间大小，包括：在所述数据类型为第二数据类型的情况下，从所述训练数据集合中随机抽取出N个训练数据，其中，单个所述第二数据类型的训练数据所占用的存储空间大小不固定；根据所述N个训练数据各自所占用的存储空间大小，确定所述N个训练数据所占用的平均存储空间大小；根据所述平均存储空间大小和所述训练数据集合中训练数据的总数，确定所述训练数据集合所占用的第一存储空间大小，其中，所述N为大于1的整数，并且小于所述训练数据集
合中所述训练数据的总数。7.根据权利要求2所述的方法，其中，所述根据所述机器学习算法和所述第一存储空间大小，确定所述容器待配置的第二存储空间大小，包括：获取所述机器学习算法的存储空间相关参数；根据所述存储空间相关参数、所述第一存储空间大小和第一计算函数，确定所述训练数据集合在所述机器学习算法下完成所述模型训练任务所需要的存储空间大小；将所得到的存储空间大小作为所述容器待配置的第二存储空间大小。8.根据权利要求3所述的方法，其中，所述根据所述机器学习算法、所述第一存储空间大小和所述预设训练时长，确定所述容器待配置的处理器核数，包括：获取所述机器学习算法的处理器相关参数；根据所述预设训练时长、所述第一存储空间大小、所述处理器相关参和第二计算函数，确定所述训练数据集合在所述机器学习算法下训练所述预设训练时长所需要的处理器核数；将所得到的处理器核数作为容器待配置的处理器核数。9.一种资源分配装置，包括：获取模块，用于获取待分配给容器的模型训练任务的任务参数；确定模块，用于根据所述模型训练任务的任...

【专利技术属性】
技术研发人员：李晓晨，叶方捷，谭荣，郑小裕，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：