基于任务量预测的引擎调度方法以及相关设备技术

本申请提供一种基于任务量预测的引擎调度方法以及相关设备，所述方法包括：根据引擎集群截止到当前时刻所处理过的历史任务总量预测未来预定时间间隔内的预测任务总量；根据所述预测任务总量计算所述引擎集群中每个引擎节点的平均任务量；响应于所述平均任务量超过预设平均任务量，根据所述预测任务总量以及所述平均任务量调整所述引擎集群中的引擎节点的数量。点的数量。点的数量。

【技术实现步骤摘要】
基于任务量预测的引擎调度方法以及相关设备


[0001]本申请涉及数据处理
，尤其涉及一种基于任务量预测的引擎调度方法以及相关设备。

技术介绍

[0002]随着信息技术的不断发展，工作流引擎作为数据处理的核心在现如今的任务分配系统中发挥着越来越重要的作用。现有的工作流引擎常常与云计算技术相结合，然而在实际生产生活中，由于任务请求量的不同，部署在云计算环境下的不同工作流引擎对云计算的资源需求也是不同的。面对任务量的不断变化，工作流引擎对于任务处理人员的需求量也不同，传统的工作流引擎由于不能实现对任务量的预测，在任务量较多时，无法很好的实现对工作流引擎的负载均衡，在任务量较低时，固定资源的工作流引擎节点会占用过多的云计算资源，从而造成资源浪费。此外，工作流引擎在运行过程中在服务端会占用过多的内存，传统的工作流引擎在云计算环境下采用固定资源量的运行方式，会造成云计算资源利用低，可重用性差等问题。因此，对工作流引擎的合理调度可以避免工作流执行时间较长、云计算资源利用率低、负载分布不均等问题。

技术实现思路

[0003]有鉴于此，本申请的目的在于提出一种基于任务量预测的引擎调度方法以及相关设备，以解决根据预测的任务量来合理调度工作流引擎的问题。
[0004]基于上述目的，本申请提供了一种基于任务量预测的引擎调度方法，所述方法包括：
[0005]根据引擎集群截止到当前时刻所处理过的历史任务总量预测未来预定时间间隔内的预测任务总量；
[0006]根据所述预测任务总量计算所述引擎集群中每个引擎节点的平均任务量；
[0007]响应于所述平均任务量超过预设平均任务量，根据所述预测任务总量以及所述平均任务量调整所述引擎集群中的引擎节点的数量。
[0008]基于同一专利技术构思，本申请示例性实施例还提供了一种基于任务量预测的引擎调度装置，所述装置包括：
[0009]任务量预测模块，被配置为根据引擎集群截止到当前时刻所处理过的历史任务总量预测未来预定时间间隔内的预测任务总量；
[0010]任务量计算模块，被配置为根据所述预测任务总量计算所述引擎集群中每个引擎节点的平均任务量；
[0011]引擎调度模块，被配置为响应于所述平均任务量超过预设平均任务量，根据所述预测任务总量以及所述平均任务量调整所述引擎集群中的引擎节点的数量。
[0012]基于同一专利技术构思，本申请示例性实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实
现如上任意一项所述的基于任务量预测的引擎调度方法。
[0013]基于同一专利技术构思，本申请示例性实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任一所述的基于任务量预测的引擎调度方法。
[0014]从上面所述可以看出，本申请提供的基于任务量预测的引擎调度方法以及相关设备，根据引擎集群截止到当前时刻所处理过的历史任务总量预测未来预定时间间隔内的预测任务总量，根据所述预测任务总量计算所述引擎集群中每个引擎节点的平均任务量，响应于所述平均任务量超过预设平均任务量，根据所述预测任务总量以及所述平均任务量调整所述引擎集群中的引擎节点的数量。本申请根据根据工作流引擎的历史任务量数据预测未来一段时间内的任务量，进一步判断当前时刻的引擎集群中的每个引擎节点按照未来的预测任务总量所需要处理的平均任务量是否超过预先设定的平均任务量，从而实现对工作流引擎的动态规划。
附图说明
[0015]为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请实施例提供的基于任务量预测的引擎调度方法的应用场景示意图；
[0017]图2为本申请实施例提供的基于任务量预测的引擎调度方法的流程示意图；
[0018]图3为本申请实施例提供的基于任务量预测的引擎调度方法的工作系统参数举例示意图。
[0019]图4为本申请实施例提供的基于任务量预测的引擎调度方法的另一种流程示意图。
[0020]图5为本申请实施例提供的基于任务量预测的引擎调度装置的一种结构示意图。
[0021]图6为本实施例所提供的一种更为具体的电子设备硬件结构示意图。
具体实施方式
[0022]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0023]需要说明的是，除非另外定义，本申请使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0024]如
技术介绍
部分所述，固定计算资源的云工作流引擎部署方式在不同任务量下可
能会造成资源浪费或产生云计算资源不足的问题，此外，面对任务量的不断变化，传统的工作流引擎在不能实现对未来任务量的预测，从而无法实现对工作流引擎很好的负载均衡。
[0025]申请人在实现本公开的过程中发现，当前针对工作流引擎的调度问题，常常采用在流程文件中指定每个节点上任务对应的角色或人员，这种方法简单，但是不能适用于业务流程复杂的系统，也不能从引擎节点来实现对任务进行动态分配。同时使用传统工作流调度方法，无法在任务执行时综合考虑工作人员的需求与工作量，以及任务量激增带来的工作流完成时间变长的问题。
[0026]以下，通过具体的实施例进一步详细说明本公开的技术方案。
[0027]参考图1，为本申请实施例提供的基于任务量预测的引擎调度方法的应用场景示意图。
[0028]如图所述，引擎集群中包括多个分布式引擎节点，每个引擎节点上分布有至少一个任务处理人员，当有待处理任务时，会将总任务量分配到各个引擎节点上，再由引擎节点分派给各自的任务处理人员的处理终端设备上，引擎集群中的引擎节点可以根据实际总任务量进行设定，引擎节点上的任务处理人员也可以根据引擎节点上的平均任务量进行灵活设置。
[0029]参考图2，为本申请实施例提供的基于任务量预测的引擎调度方法的流程示意图。
[0030]步骤S201，根据引擎集群截止到当前时刻所处理过的历史任务总量预测未来预定时间间隔内的预测任务总量。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于任务量预测的引擎调度方法，其特征在于，包括：根据引擎集群截止到当前时刻所处理过的历史任务总量预测未来预定时间间隔内的预测任务总量；根据所述预测任务总量计算所述引擎集群中每个引擎节点的平均任务量；响应于所述平均任务量超过预设平均任务量，根据所述预测任务总量以及所述平均任务量调整所述引擎集群中的引擎节点的数量。2.根据权利要求1所述的方法，其特征在于，所述根据历史任务总量预测未来预定时间间隔内的预测任务总量，包括：获取所述引擎集群截止到当前时刻所处理过的历史任务总量；将所述历史任务总量输入到预先构建的任务量预测模型，得到未来预定时间间隔内的预测任务总量。3.根据权利要求1所述的方法，其特征在于，响应于所述平均任务量超过预设平均任务量，根据所述预测任务总量以及所述平均任务量调整所述引擎集群中的引擎节点的数量，包括：响应于所述平均任务量超过预设平均任务量，发出任务量激增预警，根据所述预测任务总量以及所述平均任务量增加所述引擎集群中的引擎节点的数量；其中，所述任务量激增预警用于提示工作人员所述平均任务量超过预设平均任务量。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：响应于所述平均任务量不超过预设平均任务量，确定所述引擎节点的负载任务量是否超过预设负载任务量上限；响应于所述引擎节点的负载任务量超过所述预设负载任务量上限，根据所述引擎节点的负载任务量以及所述预设负载任务量上限增加所述引擎集群中的引擎节点的数量。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：响应于所述引擎节点的负载任务量不超过预设负载任务量上限，确定所述...

【专利技术属性】
技术研发人员：冯竞凯，马雪娇，王成章，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：