一种机器学习引擎的任务导向的优先级方法及系统技术方案

本发明专利技术提供了一种机器学习引擎的任务导向的优先级方法及系统，其方法包括：确定用户的用户需求以及用卡状态，并判断所述用户的卡时额度是否充足，若不充足，则自动生成所述用户的待完成任务；分析所述待完成任务的任务优先级，并基于机器学习引擎规划对弹性任务的抢占时机；按照所述抢占时机，自动获取匹配资源供所述待完成任务使用。通过对确定需求以及用卡状态，便于向待完成任务规划弹性任务的优先处理情况，进而实现对待完成任务的优先级处理。理。理。

【技术实现步骤摘要】
一种机器学习引擎的任务导向的优先级方法及系统


[0001]本专利技术涉及机器学习
，特别涉及一种机器学习引擎的任务导向的优先级方法及系统。

技术介绍

[0002]机器学习平台由云架构平台和数据平台共建，目前该平台为多个公司级的业务提供训练平台与加速服务，涉及到NLP、计算机视觉、强化学习、语音、广告等不同AI技术。该平台管理了近2万张GPU卡，这些卡根据运营管理部批算给各业务的不同额度，被各大业务以高优任务的方式使用。然而，有些业务需要跑的训练任务特别多，需要的卡数超过了额度卡预算，同时，有些业务又不可能把自身额度预算内的卡时给用满，这就造成了一部分业务想用而用不到，另一部分业务出现卡时浪费。
[0003]因此，本专利技术提出一种机器学习引擎的任务导向的优先级方法及系统。

技术实现思路

[0004]本专利技术提供一种机器学习引擎的任务导向的优先级方法及系统，用以通过对确定需求以及用卡状态，便于向待完成任务规划弹性任务的优先处理情况，进而实现对待完成任务的优先级处理。
[0005]本专利技术提出一种机器学习引擎的任务导向的优先级方法，包括：步骤1：确定用户的用户需求以及用卡状态，并判断所述用户的卡时额度是否充足，若不充足，则自动生成所述用户的待完成任务；步骤2：分析所述待完成任务的任务优先级，并基于机器学习引擎规划对弹性任务的抢占时机；步骤3：按照所述抢占时机，自动获取匹配资源供所述待完成任务使用。
[0006]优选的，确定用户的用户需求以及用卡状态，并判断所述用户的卡时额度是否充足，包括：按照所述用户需求，确定需求业务的训练任务；基于卡使用模型预测基于所述训练任务的卡使用情况，同时，还捕捉所述训练任务基于预先分配的卡额度的实际使用情况以及实际使用过程中涉及到的第一任务；判断预测的卡使用情况与实际使用情况的第一差异以及所述第一任务与所述训练任务的第二差异；若所述第一差异为0，且所述第二差异也为0，则判定卡时额度充足；若所述第一差异大于0，且所述第二差异也大于0，则判定卡时额度不充足；若所述第一差异小于0，提取卡使用过程的第一日志，同时，还提取所述训练任务的当下执行过程的第二日志；确定所述第一日志y1与第二日志y1的相似度sim(y1,y1)，当所述相似度大于预设度时，判定所述卡使用过程与当下执行过程的过程异常一致；
基于所述过程异常对应的异常指标从过程更正数据库中调取相关的第一更正策略进行过程更正；否则，基于所述第一日志y1提取第一不一致内容，基于所述第二日志y2提取第二不一致内容；根据所述第一不一致内容与第二不一致内容的内容不一致指标，计算内容不一致性，并按照所述内容不一致性以及内容不一致指标，从过程更正数据库中，调取相关的第二更正策略进行过程更正；基于更正结果，重新对卡时额度是否充足进行判断。
[0007]优选的，若不充足，则自动生成所述用户的待完成任务，包括：确定未完成任务，并分析所述未完成任务中的整体未完成子任务的第一数量、部分未完成子任务的第二数量；统计第一数量对应每个第一子任务的第一占用空间以及第二数量对应每个第二子任务的第二占用空间；同时，还基于预设任务
‑
权重数据库，获取第一数量对应的每个第一子任务的第一权重以及第二数量对应的每个第二子任务的第二权重；按照所述第一权重以及第一占用空间，确定对应第一子任务的第一优先级，同时，按照所述第二权重以及第二占用空间，确定对应第二子任务的第二优先级；基于对每个第一子任务设置的第一优先级以及对每个第二子任务设置的第二优先级，生成所述用户的待完成任务。
[0008]优选的，分析所述待完成任务的任务优先级，并基于机器学习引擎规划对弹性任务的抢占时机，包括：根据所述待完成任务中每个第一子任务的第一优先级以及每个第二子任务的第二优先级，确定所述待完成任务的任务优先级；同时，获取所述待完成任务的待执行状态以及申请卡数；统计弹性任务空闲资源；通过机器学习引擎，对所述任务优先级、待执行状态以及申请卡数基于所述弹性任务空闲资源进行规划，确定所述待完成任务对应的抢占时机。
[0009]优选的，通过机器学习引擎，对所述任务优先级、待执行状态以及申请卡数基于所述弹性任务空闲资源进行规划，确定所述待完成任务对应的抢占时机，包括：建立规划函数u1(r1,d1,s1)，其中，r1表示任务优先级；d1表示待执行状态；s1表示申请卡数；提取所述弹性任务空闲资源中每个空闲卡的卡信息，并构建所述卡信息的信息函数u2(r2,d2,s2)，其中，r2表示可执行任务优先级、d2表示可执行状态以及s2表示可申请卡数；将所述规划函数u1(r1,d1,s1)依次与每个空闲卡的信息函数u2(r2,d2,s2)进行匹配，并从所有信息函数中提取满足r2≥r1、d2≥d1以及s2≥s1的第一函数；当所述第一函数的个数为1时，基于所述第一函数对应的空闲卡设置与待完成任务匹配的抢占标识；当所述第一函数的个数为多个时，对每个第一函数对应的空闲卡的运转时长，并
筛选运转时长最短的空闲卡设置与待完成任务匹配的抢占标识；当所述第一函数的个数为0时，筛选满足r2≥r1的第二函数，并对所述第二函数对应的空闲卡的空闲空间进行分别确定，同时，对所有第二函数对应的空闲卡对应的r2进行由小到大的排序，并按照排序结果，依次进行空间累加，当空间累加si和大于所述待完成任务所需要的空间s0时，判断s0*x1是否大于si，其中，x1表示对应待完成任务对应空间的占用补充系数，且取值范围为[1，1.3]；若大于，继续对si进行空间累加，直到s0*x1不大于最新累加后的si，向最新累加后的si对应的空闲卡设置与待完成任务匹配的抢占标识；若不大于，向所述空间累加si对应的空闲卡设置与待完成任务匹配的抢占标识。
[0010]优选的，按照所述抢占时机，自动获取匹配资源供所述待完成任务使用，包括：确定所述抢占时机对应的弹性任务；基于所述弹性任务，自动获取匹配资源供所述待完成任务使用。
[0011]本专利技术提供一种机器学习引擎的任务导向的优先级系统，包括：任务生成模块，用于确定用户的用户需求以及用卡状态，并判断所述用户的卡时额度是否充足，若不充足，则自动生成所述用户的待完成任务；时机规划模块，用于分析所述待完成任务的任务优先级，并基于机器学习引擎规划对弹性任务的抢占时机；自动匹配模块，用于按照所述抢占时机，自动获取匹配资源供所述待完成任务使用。
[0012]优选的，所述任务生成模块，包括：任务确定单元，用于按照所述用户需求，确定需求业务的训练任务；情况预测单元，用于基于卡使用模型预测基于所述训练任务的卡使用情况，同时，还捕捉所述训练任务基于预先分配的卡额度的实际使用情况以及实际使用过程中涉及到的第一任务；差异判断单元，用于判断预测的卡使用情况与实际使用情况的第一差异以及所述第一任务与所述训练任务的第二差异；若所述第一差异为0，且所述第二差异也为0，则判定卡时额度充足；若所述第一差异大于0，且所述第二差异也大于0，则判定卡时额度不充足；若所述第一差异小于0，提取卡使用过程的第一日志，同时，还提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习引擎的任务导向的优先级方法，其特征在于，包括：步骤1：确定用户的用户需求以及用卡状态，并判断所述用户的卡时额度是否充足，若不充足，则自动生成所述用户的待完成任务；步骤2：分析所述待完成任务的任务优先级，并基于机器学习引擎规划对弹性任务的抢占时机；步骤3：按照所述抢占时机，自动获取匹配资源供所述待完成任务使用。2.如权利要求1所述的机器学习引擎的任务导向的优先级方法，其特征在于，确定用户的用户需求以及用卡状态，并判断所述用户的卡时额度是否充足，包括：按照所述用户需求，确定需求业务的训练任务；基于卡使用模型预测基于所述训练任务的卡使用情况，同时，还捕捉所述训练任务基于预先分配的卡额度的实际使用情况以及实际使用过程中涉及到的第一任务；判断预测的卡使用情况与实际使用情况的第一差异以及所述第一任务与所述训练任务的第二差异；若所述第一差异为0，且所述第二差异也为0，则判定卡时额度充足；若所述第一差异大于0，且所述第二差异也大于0，则判定卡时额度不充足；若所述第一差异小于0，提取卡使用过程的第一日志，同时，还提取所述训练任务的当下执行过程的第二日志；确定所述第一日志y1与第二日志y1的相似度sim(y1,y1)，当所述相似度大于预设度时，判定所述卡使用过程与当下执行过程的过程异常一致；基于所述过程异常对应的异常指标从过程更正数据库中调取相关的第一更正策略进行过程更正；否则，基于所述第一日志y1提取第一不一致内容，基于所述第二日志y2提取第二不一致内容；根据所述第一不一致内容与第二不一致内容的内容不一致指标，计算内容不一致性，并按照所述内容不一致性以及内容不一致指标，从过程更正数据库中，调取相关的第二更正策略进行过程更正；基于更正结果，重新对卡时额度是否充足进行判断。3.如权利要求1所述的机器学习引擎的任务导向的优先级方法，其特征在于，若不充足，则自动生成所述用户的待完成任务，包括：确定未完成任务，并分析所述未完成任务中的整体未完成子任务的第一数量、部分未完成子任务的第二数量；统计第一数量对应每个第一子任务的第一占用空间以及第二数量对应每个第二子任务的第二占用空间；同时，还基于预设任务
‑
权重数据库，获取第一数量对应的每个第一子任务的第一权重以及第二数量对应的每个第二子任务的第二权重；按照所述第一权重以及第一占用空间，确定对应第一子任务的第一优先级，同时，按照所述第二权重以及第二占用空间，确定对应第二子任务的第二优先级；基于对每个第一子任务设置的第一优先级以及对每个第二子任务设置的第二优先级，生成所述用户的待完成任务。
4.如权利要求3所述的机器学习引擎的任务导向的优先级方法，其特征在于，分析所述待完成任务的任务优先级，并基于机器学习引擎规划对弹性任务的抢占时机，包括：根据所述待完成任务中每个第一子任务的第一优先级以及每个第二子任务的第二优先级，确定所述待完成任务的任务优先级；同时，获取所述待完成任务的待执行状态以及申请卡数；统计弹性任务空闲资源；通过机器学习引擎，对所述任务优先级、待执行状态以及申请卡数基于所述弹性任务空闲资源进行规划，确定所述待完成任务对应的抢占时机。5.如权利要求1所述的机器学习引擎的任务导向的优先级方法，其特征在于，通过机器学习引擎，对所述任务优先级、待执行状态以及申请卡数基于所述弹性任务空闲资源进行规划，确定所述待完成任务对应的抢占时机，包括：建立规划函数u1(r1,d1,s1)，其中，r1表示任务优先级；d1表示待执行状态；s1表示申请卡数；提取所述弹性任务空闲资源中每个空闲卡的卡信息，并构建所述卡信息的信息函数u2(r2,d2,s2)，其中，r2表示可执行任务优先级、d2表示可执行状态以及s2表示可申请卡数；将所述规划函数u1(r1,d1,s1)依次与每个空闲卡的信息函数u2(r2,d2,s2)进行匹配，并从所有信息函数中提取满足r2≥r1、d2≥d1以及s2≥s1的第一函数；当所述第一函数的个数为1时，基于所述第一函数对应的空闲卡设置与待完成任务匹配的抢占标识；当所述第一函数的个数为多个时，对每个第一函数对应的空闲卡的运转时长，并筛选运转时长最短的空闲卡设置与待完成任务匹配的抢占标识；当所述第一函数的个数为0时，筛选满足r2≥r1的第二函数，并对所...

【专利技术属性】
技术研发人员：彭渊，孙永亮，苏桂生，叶雨晨，李奕飞，唐思宇，焦旭哲，
申请(专利权)人：太极计算机股份有限公司，
类型：发明
国别省市：