【技术实现步骤摘要】
一种基于资源管理平台的任务分配方法及系统
本申请涉及人工智能
，特别是涉及一种基于资源管理平台的任务分配方法及系统。
技术介绍
随着人工智能技术和容器化技术的快速发展，越来越多的人工智能模型在分布式资源管理平台上进行训练与测试。现有的人工智能模型是利用数据集进行训练与测试的，并且针对于不同模型的应用场景选择不同的数据集。相对应的，分布式资源管理平台需要根据模型的应用场景下载对应的数据集进行模型的训练与测试。当需要在资源管理平台上处理人工智能模型的训练任务或者测试任务时，资源管理平台先将任务分配给部分节点，在处理任务前将所需要的数据集下载到处理任务的节点上。但是人工智能模型训练与测试任务所需的数据集中包含的数据较多，现有的资源管理平台是根据节点的自身性能等进行任务分配的，处理任务前需要花费大量的时间和资源用于在各个处理任务的节点上下载数据集，影响处理任务的速度和效率。
技术实现思路
基于上述问题，本申请提供一种基于资源管理平台的任务分配方法及系统，能够解决现有技术中，在资源管理平台上处理人工智...
【技术保护点】
1.一种基于资源管理平台的任务分配方法，其特征在于，所述方法包括：/n接收人工智能模型训练和/或测试任务以及处理任务所需的数据集的名称；/n获取多个节点的数据集分布信息；其中，所述数据集分布信息包括该节点中具有的数据集的名称以及各个数据集的大小；/n根据所述节点中具有的数据集的名称，判断所述节点是否具有所需数据集；若节点中具有所需的数据集，根据节点中具有的所需数据集的大小，选择所需数据集的大小满足预设要求的节点进行任务分配。/n
【技术特征摘要】
1.一种基于资源管理平台的任务分配方法，其特征在于，所述方法包括：
接收人工智能模型训练和/或测试任务以及处理任务所需的数据集的名称；
获取多个节点的数据集分布信息；其中，所述数据集分布信息包括该节点中具有的数据集的名称以及各个数据集的大小；
根据所述节点中具有的数据集的名称，判断所述节点是否具有所需数据集；若节点中具有所需的数据集，根据节点中具有的所需数据集的大小，选择所需数据集的大小满足预设要求的节点进行任务分配。
2.根据权利要求1所述的方法，其特征在于，所述根据节点中具有的所需数据集的大小，选择所需数据集的大小满足预设要求的节点进行任务分配，包括：
根据节点中具有的所需数据集的大小，通过节点的数据集评分策略，得到该节点的数据集分值，选择数据集分值满足预设分值的节点进行任务分配。
3.根据权利要求2所述的方法，其特征在于，所述节点的数据集评分策略，具体包括：
按照公式计算该节点中具有的数据集大小相对值sizei；其中i为该节点的编号，nodeNum为集群中具有该数据集的节点的数量，allNum为集群中节点的总数量,datasizei为该目标节点所具有的所需数据集的大小；
判断所述节点数据集大小的相对值sizei与所需数据集的最小值minsize和所需数据集的最大值maxsize之间的大小关系；若该节点的数据集大小相对值小于所需数据集最小值，则令该节点的数据集大小相对值等于所需数据集最小值；若该节点的数据集大小相对值大于所需数据集最大值，则令该节点的数据集大小相对值等于所需数据集最大值；
按照公式计算该节点的数据集分值datascorei。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取节点的数据集更新时间；
所述得到该节点的数据集分值，包括：
依据节点的数据集更新时间，判断处理本次任务之前，节点中具有的所需数据集是否更新；如果否，则使用上次任务分配时计算的该节点的数据集分值。
5.根据权利要求1所述的方法，其特征在于，所述获取节点的数据集分布信息包括：获得由代理单元发送的节点的数据集分布信息。
6.根据权利要求5所述的方法，其特征在于，代理单元发送节点的数据集分布信息，包括：在节点的数据集发生变化时，代理单元发送节点的数据集分布信息。
7.根据权利要求1所述的方法，其特征在于，所述根据节点中具有的所需数据集的大小，选择所需数据集的大小符合预设要求的节点进行任务分配，包括：
根据节点的自身性能以及节点中具有的所需数据集的大小，选择自身性能以及所需数据集的大小都满足预设要求的节点进行任务分配。
8.根据权利要求1所述的方法，其特征在于，所述所需数据集的大小符合预设要求的节点的数量不能满足任务分配的要求时，还包括：选择所...
【专利技术属性】
技术研发人员：王德奎，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。