【技术实现步骤摘要】
基于多线程的自动化任务分解调度系统及实现方法
[0001]本专利技术涉及任务调度
，具体地说是一种基于多线程的自动化任务分解调度系统及实现方法。
技术介绍
[0002]随着互联网技术的不断发展，用户对影响延迟的要求越来越高。很多基于B/S架构的传统web应用，面临数据处理耗时长，异步处理代价高问题，逐步凸显。大批量数据处理，耗时长，影响用户感知。现有批量数据处理方案一般采用多线程并发的处理方式，技术人员面临多线程编程复杂，门槛高，同时线程池配置不合理导致内存溢出等线上问题频发，存在极大安全隐患。
[0003]异步处理通常采用消息中间件MQ实现，需要引入额外中间件，增加系统复杂度，代价高、效率低，并发数据处理复杂，主机资源利用率低。
[0004]故如何降低多线程编程复杂度，屏蔽多线程实现细节，提高系统健壮性和安全性，同时降低任务分解复杂度，保证拆分工作任务时数据集的均衡性，减少任务总体耗时是目前亟待解决的技术问题。
技术实现思路
[0005]本专利技术的技术任务是提供一种基于多线程的自动化...
【技术保护点】
【技术特征摘要】
1.一种基于多线程的自动化任务分解调度系统，其特征在于，该系统包括，任务处理资源池模块，用于作为用户任务的接入层，提供同步接口服务及异步接口服务，同时提供执行情况监控服务，实时读取数据库中任务执行信息，进行可视化展示；用户任务接口模块，用于定义用户发起任务必须实现的业务逻辑；任务管理器模块，用于任务声明周期管理；基础组件服务模块，用于具体任务执行；其中，具体任务包括调度任务和工作任务两类任务；每一次任务执行请求会创建一个调度任务和多个工作任务，多个工作任务并行执行；调度任务用于任务分解，合并数据集；工作任务作为任务执行的载体，用于业务处理；数据拆分策略模块，用于保证拆分工作任务时，数据集的均衡性。2.根据权利要求1所述的基于多线程的自动化任务分解调度系统，其特征在于，数据拆分策略模块提供四种数据拆分策略，分别为均分策略、分组键策略、二次平衡策略及自定义拆分规则策略；其中，均分策略是指根据设定任务数或者单个工作任务处理数据量拆分数据集，将数据集平均分配；分组键策略是指根据指定分组键拆分数据集，分组键支持单维度及组合维度；相同分组键的数据打包成一个任务串行处理，不同分组键的数据并行处理；二次平衡策略是分组键策略和均分策略的组合应用，具体是指在分组键策略的基础上进一步应用均分策略，进行二次分配；自定义拆分规则策略是指通过实现数据拆分接口，自定义拆分规则，实现定制化数据拆分策略。3.根据权利要求1所述的基于多线程的自动化任务分解调度系统，其特征在于，基础组件服务模块的工作过程具体如下：(1)、调度任务启动后，执行任务分解，根据选择数据拆分策略拆分数据集，自动打包数据生成工作任务，启动工作任务执行；(2)、工作任务调用用户任务，实现具体数据处理的业务逻辑，记录工作任务执行信息；(3)、调度任务等待所有工作任务执行完毕，收集工作任务执行结果，计算任务总体耗时，返回给任务管理器，将最终结果返回给任务发起方。4.根据权利要求1所述的基于多线程的自动化任务分解调度系统，其特征在于，任务管理器模块的工作过程具体如下：(1)、根据用户提交任务设置并发度，构建任务，分配任务资源，调度任务执行；(2)、控制生成调度任务，启动任务执行；(3)、跟踪任务执行情况，统计任务执行耗时，将任务执行信息写入数据库。5.根据权利要求1所述的基于多线程的自动化任务分解调度系统，其特征在于，用户任务接口模块的功能包括数据处理业务逻辑和拆分数据集具体实现；其中，拆分数据集具体实现具体为：预留数据集拆分接口，用于支持自定义数据拆分策略；同时预留任务执行前准备，任务执行后清理接口，用户根据实际情况选择实现。6.根据权利要求1所述的基于多线程的自动化任务分解调度系统，其特征在于，任务处理资源池模块是基于java线程池扩展实现，自动化...
【专利技术属性】
技术研发人员：郭凤，徐兵兵，侯冬刚，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。