【技术实现步骤摘要】
任务处理方法、装置、计算机设备和存储介质
本申请涉及计算机
，尤其涉及一种任务处理方法、装置、计算机设备和存储介质。
技术介绍
较复杂的深度学习模型需要使用不同型号、规模以及网络配置的GPU或CPU集群进行训练，通常在单一数据中心中可供调度的不同类别的GPU或CPU资源总量有限，而在训练时跨数据中心实时读取大批量数据会较大影响模型训练效率。目前方法主要通过全局任务调度中心提供统一入口，并筛选出符合任务要求的数据中心运行的方法；即所有的任务采用同一个调度模块进行调度，调度时是根据各个任务对应的资源都是通过人为指定的，而人为指定资源与技术人员的经验有关，难以保证指定的资源分配的合理性。
技术实现思路
为了解决上述技术问题，本申请提供了一种任务处理方法、装置、计算机设备和存储介质。第一方面，本申请提供了一种任务处理方法，包括：获取至少一个待执行任务和对应的属性信息，待执行任务为深度学习任务；输入各个待执行任务和对应的属性信息至已训练的资源预测模型，输出各个待执行任务的至少一...
【技术保护点】
1.一种任务处理方法，其特征在于，所述方法包括：/n获取至少一个待执行任务和对应的属性信息，所述待执行任务为深度学习任务；/n输入各个所述待执行任务和对应的属性信息至已训练的资源预测模型，输出各个所述待执行任务的至少一个候选资源信息，所述候选资源信息包括候选资源类型和对应的候选占用时长；/n获取多个数据中心的当前资源信息，所述当前资源信息包括当前资源类型和对应的当前占用时长；/n根据各个所述待执行任务的候选资源信息和各个所述当前资源信息，确定各个所述待执行任务的目标资源信息。/n
【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：
获取至少一个待执行任务和对应的属性信息，所述待执行任务为深度学习任务；
输入各个所述待执行任务和对应的属性信息至已训练的资源预测模型，输出各个所述待执行任务的至少一个候选资源信息，所述候选资源信息包括候选资源类型和对应的候选占用时长；
获取多个数据中心的当前资源信息，所述当前资源信息包括当前资源类型和对应的当前占用时长；
根据各个所述待执行任务的候选资源信息和各个所述当前资源信息，确定各个所述待执行任务的目标资源信息。
2.根据权利要求1所述的方法，其特征在于，所述属性信息包括存储训练数据资源的数据中心标识，所述资源信息携带数据中心标识，所述根据各个所述待执行任务的目标资源和各个所述数据中心的资源信息确定各个所述待执行任务的目标资源信息之后，还包括：
判断所述目标资源对应的数据中心标识是否与对应的所述存储训练数据资源的数据中心标识一致；
当不一致时，生成转移所述训练数据资源的转移指令；
发送所述转移指令。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
计算所述待执行任务的执行时刻与预设时刻之间的时间差；
所述发送所述转移指令，包括：当所述时间差大于预设时间差时，在所述预设时刻发送所述转移指令。
4.根据权利要求1所述的方法，其特征在于，所述候选资源信息包含多个，所述根据各个所述待执行任务的候选资源信息和各个所述当前资源信息，确定各个所述待执行任务的目标资源信息，包括：
根据各个所述候选资源信息和各个所述当前资源信息的占用时长，从多个所述候选资源信息中筛选出占用时长最短的候选资源信息作为目标资源信息。
5.根据权利要求1至4中任一项所述的方法，其特征在于，生成所述已训练的资源预测模型的步骤，包括：
获取已完成的深度学习任务和对应的属性信息，所述属性信息标准资源信息；
输入各个所述已完成的深度学习任务和对应的属性信息至初始资源预测模型，通过提取所述已训练的深度学习任务的属性信息的特征，根据所述特征确定各个所述已训练的深度学习任务的预测资源信息；
统计各个所述已训练的深度学习任务的预测资源信息，与对应的标准资源信息的差异度；
当所述差异度...
【专利技术属性】
技术研发人员：杨天，
申请(专利权)人：上海众源网络有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。