多任务处理方法和系统技术方案

本发明专利技术公开了一种多任务处理方法和系统，方法包括：获取待编排任务及其参数信息，并获取任务编排目标和总体资源限制；根据参数信息、任务编排目标和资源限制，对待编排任务进行编排得到至少一个编排方案；获取优化规则和指令，并根据优化规则和指令从已编排方案中选择优化编排方案，按照优化编排方案执行任务。该多任务处理方法和系统，基于用户需求和限定资源进行任务编排，并根据需要将编排方案排序，选择优化编排方案进行任务执行，可提高数据采集处理任务的任务管理效率，同时提高调度资源的综合利用率。资源的综合利用率。资源的综合利用率。

【技术实现步骤摘要】
多任务处理方法和系统


[0001]本专利技术涉及数据处理
，尤其涉及一种多任务处理方法和系统。

技术介绍

[0002]随着信息产业的高速发展，产生了大量的各种类型的信息化数据，因此如何高效完成信息化数据的采集和处理，降低数据资产积淀成本，成为众多企业在信息数据资源管理领域面临的新挑战。
[0003]现有的任务流程处理方法，多数都是基于确定时间点加上简单的资源控制机制来生成固定流程运行策略，没有运行效果评价，也无法对运行策略进行自动分析优化。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种多任务处理方法和系统，以提高任务管理效率和任务执行时资源利用率。
[0005]本专利技术第一方面实施例提出的一种多任务处理方法，包括：
[0006]获取待编排任务及其参数信息，并获取任务编排目标和总体任务资源限制；
[0007]基于所述参数信息、所述任务编排目标和所述资源限制，对所述待编排任务进行自动编排得到至少一个编排方案；
[0008]获取优化规则和指令，并根据所述优化规则和指令从已编排方案中选择优化编排方案，按照所述优化编排方案执行任务。
[0009]本专利技术第二方面实施例提出的一种多任务处理系统，包括：
[0010]硬件资源集群，所述硬件资源集群包括多个节点；
[0011]自定义调度执行服务器，所述自定义调度执行服务器与各所述节点分别连接；
[0012]任务自动编排与优化服务器，用于获取待编排任务及其参数信息，并获取任务编排目标和总体任务资源限制；根据所述参数信息、所述任务编排目标和所述资源限制，对所述待编排任务进行编排得到至少一个编排方案；获取优化规则和指令，并根据所述优化规则和指令从已编排方案中选择优化编排方案；
[0013]自定义调度控制与监控中心，用于按照所述优化编排方案，通过所述自定义调度执行服务器将任务分配至相应的节点上执行。
[0014]本专利技术实施例的多任务处理方法和系统，基于用户需求和限定资源进行任务编排，并根据需要将编排方案排序，选择优化编排方案进行任务执行，可提高数据采集处理任务的任务管理效率，同时提高调度资源的综合利用率。
[0015]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0016]图1是本专利技术实施例的多任务处理方法的流程图；
[0017]图2是本专利技术一些示例的任务的资源使用规律函数的曲线图；
[0018]图3是本专利技术一个示例的任务训练的流程图；
[0019]图4是本专利技术另一个示例的任务训练的流程图；
[0020]图5是本专利技术一个实施例的任务编排的流程图；
[0021]图6是本专利技术一个示例的任务编排选择器的工作原理图；
[0022]图7是本专利技术一个具体实施例的获取优化编排方案的流程图；
[0023]图8是本专利技术实施例的多任务处理系统的结构示意图。
[0024]附图标记说明：
[0025]1、硬件资源集群，2、自定义调度执行服务器，3、任务自动编排与优化服务器，4、自定义调度控制与监控中心，5、资源监测服务器；
[0026]11、节点。
具体实施方式
[0027]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0028]下面参考附图1
‑
8描述本专利技术实施例的多任务处理方法和系统。
[0029]图1是本专利技术实施例的多任务处理方法的流程图。
[0030]如图1所示，多任务处理方法包括：
[0031]S1，获取待编排任务及其参数信息，并获取任务编排目标和总体任务资源限制。
[0032]其中，参数信息可包括待编排任务的资源使用规律函数(如数据量
‑
资源使用情况的关系函数，如图2中(a)所示，又如时间
‑
资源使用情况的关系函数，如图2中(b)、(c) 所示)，以及待编排任务的依赖情况(即待编排任务的执行是否依赖其他任务的完成)。
[0033]图2中(a)示出的是资源线性变化的任务，该任务可以是数据库数据采集处理、文件数据采集处理的任务；图2中(b)示出的是资源周期性变化的任务，该任务可以是消息型数据采集处理的任务；图2中(c)示出的是资源稳定型的任务，该任务可以是静态数据类采集类任务。
[0034]在本专利技术的一些实施例中，在获取待编排任务的参数信息之前，方法还可包括：确定待编排任务的任务类型；根据任务类型对待编排任务进行训练，得到待编排任务的资源使用规律函数。
[0035]作为一个示例，如图3所示，当任务类型为非连续运行任务时，根据任务类型对待编排任务进行训练，得到待编排任务的资源使用规律函数，可包括：
[0036]S31，执行待编排任务n次。
[0037]其中，n为大于1的正整数，取值可为3、4、5。
[0038]S32，获取每次执行待编排任务的执行时长和基于时间的资源使用情况。
[0039]S33，根据执行时长和基于时间的资源使用情况进行函数拟合，得到待编排任务的资源使用规律函数。
[0040]作为另一个示例，如图4所示，当任务类型为连续运行任务时，根据任务类型对待编排任务进行训练，得到待编排任务的资源使用规律函数，可包括：
[0041]S41，执行待编排任务。
[0042]S42，待待编排任务的执行时长达到预设时长时，获取执行待编排任务的基于时间的资源使用情况。
[0043]其中，预设时长可根据需要设定。
[0044]S43，根据基于时间的资源使用情况进行函数拟合，得到待编排任务的资源使用规律函数。
[0045]需要说明的是，对于连续运行任务中有依赖关系的待编排任务，在对待编排任务进行训练时，需先对被依赖的待编排任务进行训练。对于连续运行任务中按时间进行增量的待编排任务，需按增量进行训练。
[0046]通过对待编排任务进行训练，可以生成单个任务的执行时间和资源消耗规律函数，该函数可作为后续任务编排时资源边界判定、任务编排顺序的重要依据，例如，在查找到可编排任务后，添加任务到队列之前，根据任务资源函数判断，可判断添加任务是否会导致运行时资源大于给定值。
[0047]S2，根据参数信息、任务编排目标和资源限制，对待编排任务进行编排得到至少一个编排方案。
[0048]其中，任务编排目标可根据以下各需求因子中的至少一个及其权重得到：长时长任务优先、短时长任务优先、小资源消耗任务优先、大资源消耗任务优先、被依赖多的任务优先、高优先级任务优先。资源限制可以包括但不限于最大进程数、最大CPU使用率、最大内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务处理方法，其特征在于，包括：获取待编排任务及其参数信息，并获取任务编排目标和总体任务资源限制；基于所述参数信息、所述任务编排目标和所述资源限制，对所述待编排任务进行自动编排得到至少一个编排方案；获取优化规则和指令，并根据所述优化规则和指令从已编排方案中选择优化编排方案，按照所述优化编排方案执行任务。2.如权利要求1所述的多任务处理方法，其特征在于，所述参数信息包括所述待编排任务的资源使用规律函数，在获取待编排任务的参数信息之前，所述方法还包括：确定所述待编排任务的任务类型；根据所述任务类型对所述待编排任务进行训练，得到所述待编排任务的资源使用规律函数。3.如权利要求2所述的多任务处理方法，其特征在于，当所述任务类型为非连续运行任务时，所述根据所述任务类型对所述待编排任务进行训练，得到所述待编排任务的资源使用规律函数，包括：执行所述待编排任务n次，其中，n为大于1的整数；获取每次执行所述待编排任务的执行时长和基于时间的资源使用情况；根据所述执行时长和所述基于时间的资源使用情况进行函数拟合，得到所述待编排任务的资源使用规律函数。4.如权利要求3所述的多任务处理方法，其特征在于，当所述任务类型为连续运行任务时，所述根据所述任务类型对所述待编排任务进行训练，得到所述待编排任务的资源使用规律函数，包括：执行所述待编排任务；待所述待编排任务的执行时长达到预设时长时，获取执行所述待编排任务的基于时间的资源使用情况；根据所述基于时间的资源使用情况进行函数拟合，得到所述待编排任务的资源使用规律函数。5.如权利要求4所述的多任务处理方法，其特征在于，所述参数信息还包括所述待编排任务的依赖情况，所述根据所述参数信息、所述任务编排目标和所述资源限制，对所述待编排任务进行编排，包括：根据各所述待编排任务的依赖情况，对各所述待编排任务进行任务状态的初始化标定，其中，无依赖的待编排任务初始化标定为已就绪、未编排，有依赖的待编排任务初始化标定为未就绪、未编排；判断当前是否还有已就绪、未编排的待编排任务；如果有，则根据所述已就绪、未编排的待编排任务的参数信息，以及所述任务编排目标、所述资源限制，从所述已就绪、未编排的待编排任务中选择可编排任务；将所选择的可编...

【专利技术属性】
技术研发人员：郑向宏，魏劲松，孙鑫，王小红，葛新科，王可，
申请(专利权)人：安徽博微广成信息科技有限公司，
类型：发明
国别省市：