【技术实现步骤摘要】
一种模型训练任务管理方法、装置、终端和存储介质
[0001]本专利技术涉及人工智能
，具体涉及一种模型训练任务管理方法、装置、终端和存储介质。
技术介绍
[0002]近年来，随着人工智能技术的进步，人工智能领域也得到了空前的发展。基于数据进行训练得到的机器学习模型(算法模型)在多个领域展开应用，例如常见的虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等。
[0003]目前，在进行多个算法模型的训练时，一般按提交模型训练任务的时间顺序，依次为模型训练任务分配计算资源进行模型训练。采用这种方式管理模型训练任务，当多个模型训练任务同时等待处理，且不同的模型训练任务需要的计算资源的类型和需求量不同时，可能导致某些模型训练任务无法及时分配到计算资源开始训练，影响模型训练效率。
技术实现思路
[0004]本专利技术实施例提供一种模型训练任务管理方法、装置、终端和存储介质，可以在等待处理的不同的模型训练任务，需要的计算资源的类型和需求量不同时，能够通过不同消息队列的不同处...
【技术保护点】
【技术特征摘要】
1.一种模型训练任务管理方法，其特征在于，包括：获取待提交模型训练任务的模型训练信息，所述模型训练信息包括所述模型训练任务的任务信息，以及模型训练所需资源的资源属性信息；根据所述资源属性信息确定所述模型训练所需资源的目标资源类型；若所述目标资源类型的数量为一种，将所述模型训练信息存储到已创建的资源分配消息队列中的，与所述目标资源类型对应的资源分配消息队列中；若所述目标资源类型的数量为至少两种，将所述模型训练信息存储到所述已创建的资源分配消息队列中的，与所述目标资源类型中的第一资源类型对应的资源分配消息队列中；通过各所述资源分配消息队列对应的处理进程，分别从各所述资源分配消息队列中读取当前需要处理的目标模型训练信息，根据所述目标模型训练信息中的资源属性信息，为对应的模型训练任务，分配所需的目标资源；基于所述目标模型训练信息中的任务信息，在对应的目标资源中对相应的模型训练任务进行处理。2.根据权利要求1所述的方法，其特征在于，所述通过各所述资源分配消息队列对应的处理进程，分别从各所述资源分配消息队列中读取当前需要处理的目标模型训练信息，根据所述目标模型训练信息中的资源属性信息，为对应的模型训练任务，分配所需的目标资源后，还包括：若目标资源分配失败，更新资源分配失败的模型训练任务的资源分配累计次数；若所述资源分配累计次数小于预设的资源分配累计次数阈值，将所述资源分配失败的模型训练任务的模型训练信息，存储到对应的资源分配消息队列的队尾；若所述资源分配累计次数不小于预设的资源分配累计次数阈值，将所述资源分配失败的模型训练任务的模型训练信息，从对应的资源分配消息队列的中删除。3.根据权利要求2所述的方法，其特征在于，所述获取待提交模型训练任务的模型训练信息前，还包括：接收用户发送的模型训练请求，所述模型训练请求包括模型训练任务的模型训练信息的获取信息；基于所述获取信息，对所述模型训练任务的任务执行可行性进行校验，得到可行性校验结果；若所述可行性校验结果为校验通过，将所述获取信息存储到预设任务信息存储区域中；所述获取待提交模型训练任务的模型训练信息，包括：基于所述预设任务信息存储区域中获取信息的存储顺序，从所述预设任务信息存储区域中获取目标获取信息，基于所述目标获取信息获取对应的模型训练信息，作为待提交模型训练任务的模型训练信息。4.根据权利要求1所述的方法，其特征在于，所述模型训练任务的任务信息包括任务标识信息；所述通过各所述资源分配消息队列对应的处理进程，分别从各所述资源分配消息队列中读取当前需要处理的目标模型训练信息，根据所述目标模型训练信息中的资源属性信
息，为对应的模型训练任务，分配所需的目标资源，包括：通过各所述资源分配消息队列对应的处理进程，分别从各所述资源分配消息队列中读取当前需要处理的目标模型训练信息，基于目标模型训练信息中的资源属性信息，生成资源分配请求；基于所述资源分配请求，确定预设的服务器中提供资源分配请求所请求资源的目标服务器，其中，同一资源分配请求所请求的资源来自同一目标服务器；基于资源分配请求，在目标服务器中为目标模型训练信息对应的模型训练任务，分配所需的目标资源。5.根据权利要求3所述的方法，其特征在于，所述模型训练任务的模型训练信息的获取信息中还包括任务标识信息；所述若所述可行性校验结果为校验通过，将所述获取信息存储到任务信息存储队列中之后，还包括：将所述任务标识信息存储到任务管理数据库中；所述通...
【专利技术属性】
技术研发人员：艾长青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。