本发明专利技术提供一种基于智能任务分配与执行的任务处理方法及装置，涉及计算机科学和信息技术领域。本发明专利技术通过外部任务数据的任务类型和任务配置信息，确定对应的线程池和线程，由于不同的业务类型对应不同的线程池，不同的任务配置信息对应线程池中不同的线程，实现了不同任务的分类处理，避免了任务队列中任务堆积，提高任务管理系统的执行效率和稳定性。
【技术实现步骤摘要】
本专利技术涉及计算机科学和信息，尤其涉及一种基于智能任务分配与执行的任务处理方法及装置。
技术介绍
1、任务管理系统包括任务的创建、分配、调度、执行和监控等方面，主要涉及如何有效地组织、分配和执行各种类型的任务，以满足不同应用和系统的需求。
2、任务管理系统中，经常出现多个任务可能会争夺有限的资源，导致资源竞争和性能瓶颈，这可能会导致任务执行效率低下和系统不稳定性。例如，任务队列a中存在10个任务，每个任务的执行时长较长，导致任务队列发生堆积。而任务队列b中存在2个任务，任务执行时长较短，任务执行完成后，队列处于空闲状态。任务队列a发生堆积，使任务管理系统的整体任务执行效率低下，严重时系统不稳定性增强，可能导致任务管理系统崩溃。
技术实现思路
1、本专利技术提供了一种基于智能任务分配与执行的任务处理方法及装置，能够提高任务管理系统的执行效率和稳定性。
2、第一方面，本专利技术提供了一种基于智能任务分配与执行的任务处理方法，该方法包括：获取外部任务数据，解析外部任务数据，确定外部任务数据的任务类型和任务配置信息；基于外部任务数据的任务类型，确定与任务类型对应的线程池；基于外部任务数据的任务配置信息，在线程池中，确定与任务配置信息对应的线程，通过线程对应的任务执行器，对外部任务数据进行处理。
3、在一种可能的实现方式中，通过线程对应的任务执行器，对外部任务数据进行处理，包括：基于外部任务数据生成目标任务；将目标任务发送至任务执行器的任务队列。
4、在一种可能的实现方式中，通过线程对应的任务执行器，对外部任务数据进行处理，还包括：获取任务执行器中多个任务引擎的任务执行情况；根据目标任务的任务类型，以及多个任务引擎的任务执行情况，确定目标任务引擎；基于目标任务引擎，处理目标任务，输出任务执行结果。
5、在一种可能的实现方式中，该任务处理方法还包括：获取各任务执行器的资源占用情况和任务执行进度；资源占用情况包括内存使用率和cpu负载率；基于各任务执行器的资源占用情况和任务执行进度，对各任务执行器的占用资源进行调整，得到各任务执行器的目标资源；
6、在一种可能的实现方式中，该任务处理方法还包括：监测各线程池对应的任务队列中各任务的等待时长；基于各任务的等待时长，确定各任务队列是否发生堆积；若发生堆积，则获取各线程池的任务数量和等待时长；基于各线程池的任务数量和等待时长，确定空闲线程；空闲线程为任务数量小于第一阈值，且等待时长小于第二阈值的线程；将发生堆积的任务队列中的任务转移至空闲线程处理。
7、在一种可能的实现方式中，基于各线程池的任务数量和等待时长，确定空闲线程之后，还包括：若不存在空闲线程，则基于节点扩容机制，新增线程；将发生堆积的任务队列中的任务转移至新增线程处理。
8、在一种可能的实现方式中，所述基于节点扩容机制，新增线程，包括：获取任务处理系统中各节点的资源占用情况；基于所述各线程池的任务数量和等待时长，确定待转移任务的数量和待转移任务的资源消耗量；基于所述各节点的资源占用情况，以及待转移任务的数量和待转移任务的资源消耗量，确定扩容节点；基于扩容节点的资源占用情况，对待转移任务进行分配，确定各扩容节点的新增任务；基于各扩容节点的新增任务的任务类型和任务配置信息，新增线程。
9、第二方面，本专利技术实施例提供了一种基于智能任务分配与执行的任务处理装置，该任务处理装置包括：作业管理器，用于获取外部任务数据，解析外部任务数据，确定外部任务数据的任务类型和任务配置信息；基于外部任务数据的任务类型，确定与任务类型对应的线程池；基于外部任务数据的任务配置信息，在线程池中，确定与任务配置信息对应的线程；任务执行器，用于通过线程对应的任务执行器，对外部任务数据进行处理。
10、在一种可能的实现方式中，任务执行器，用于基于外部任务数据生成目标任务；将目标任务发送至任务执行器的任务队列。
11、在一种可能的实现方式中，任务执行器，还用于获取任务执行器中多个任务引擎的任务执行情况；根据目标任务的任务类型，以及多个任务引擎的任务执行情况，确定目标任务引擎；基于目标任务引擎，处理目标任务，输出任务执行结果。
12、在一种可能的实现方式中，作业管理器，还用于获取各任务执行器的资源占用情况和任务执行进度；资源占用情况包括内存使用率和cpu负载率；基于各任务执行器的资源占用情况和任务执行进度，对各任务执行器的占用资源进行调整，得到各任务执行器的目标资源；
13、在一种可能的实现方式中，作业管理器，还用于监测各线程池对应的任务队列中各任务的等待时长；基于各任务的等待时长，确定各任务队列是否发生堆积；若发生堆积，则获取各线程池的任务数量和等待时长；基于各线程池的任务数量和等待时长，确定空闲线程；空闲线程为任务数量小于第一阈值，且等待时长小于第二阈值的线程；将发生堆积的任务队列中的任务转移至空闲线程处理。
14、在一种可能的实现方式中，作业管理器，还用于若不存在空闲线程，则基于节点扩容机制，新增线程；将发生堆积的任务队列中的任务转移至新增线程处理。
15、在一种可能的实现方式中，作业管理器，具体用于获取任务处理系统中各节点的资源占用情况；基于所述各线程池的任务数量和等待时长，确定待转移任务的数量和待转移任务的资源消耗量；基于所述各节点的资源占用情况，以及待转移任务的数量和待转移任务的资源消耗量，确定扩容节点；基于扩容节点的资源占用情况，对待转移任务进行分配，确定各扩容节点的新增任务；基于各扩容节点的新增任务的任务类型和任务配置信息，新增线程。
16、第三方面，本专利技术实施例提供了一种电子设备，该电子设备包括存储器和处理器，该存储器存储有计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序时执行如上述第一方面以及第一方面中任一种可能的实现方式所述方法的步骤。
17、第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面以及第一方面中任一种可能的实现方式所述方法的步骤。
18、本专利技术提供一种基于智能任务分配与执行的任务处理方法及装置，本专利技术通过外部任务数据的任务类型和任务配置信息，确定对应的线程池和线程，由于不同的业务类型对应不同的线程池，不同的任务配置信息对应线程池中不同的线程，实现了不同任务的分类处理，避免了任务队列中任务堆积，提高任务管理系统的执行效率和稳定性。
本文档来自技高网...
【技术保护点】
1.一种基于智能任务分配与执行的任务处理方法，其特征在于，包括：
2.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述通过所述线程对应的任务执行器，对所述外部任务数据进行处理，包括：
3.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述通过所述线程对应的任务执行器，对所述外部任务数据进行处理，还包括：
4.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述任务处理方法还包括：
5.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述任务处理方法还包括：
6.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述基于所述各线程池的任务数量和等待时长，确定空闲线程之后，还包括：
7.根据权利要求6所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述基于节点扩容机制，新增线程，包括：
8.一种基于智能任务分配与执行的任务处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，该存储器存储有计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序执行如权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述方法的步骤。
...
【技术特征摘要】
1.一种基于智能任务分配与执行的任务处理方法，其特征在于，包括：
2.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述通过所述线程对应的任务执行器，对所述外部任务数据进行处理，包括：
3.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述通过所述线程对应的任务执行器，对所述外部任务数据进行处理，还包括：
4.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述任务处理方法还包括：
5.根据权利要求1所述的基于智能任务分配与执行的任务处理方法，其特征在于，所述任务处理方法还包括：
6.根据权利要求1所述的基于智能任务分配与执行的任...
【专利技术属性】
技术研发人员：刘培培，张丛灿，肖建峰，徐瑛琦，张普，刘昱，程浩然，宋召朝，张雨亭，
申请(专利权)人：河钢数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。