一种数据交换任务的调度方法和装置制造方法及图纸

本发明专利技术公开了一种数据交换任务的调度方法和装置，通过获取调度集群中各个broker的主机资源信息；其中，主机资源信息包括主机历史资源信息和主机当前资源信息；获取待执行任务，依据主机历史资源信息对待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息；依据待执行任务的资源占用预测信息和主机当前资源信息计算得到待执行任务的调度计划；依据调度计划对待执行任务进行调度执行。本发明专利技术根据调度计划将待执行任务分配到资源充足的主机资源上，在调度集群broker资源固定的情况下，合理分配运行资源主机，为数据交换任务提供稳定运行的调度方法，提升数据交换任务运行效率和成功率。行效率和成功率。行效率和成功率。

【技术实现步骤摘要】
一种数据交换任务的调度方法和装置


[0001]本专利技术涉及分布式任务调度
，具体涉及一种数据交换任务的调度方法和装置。

技术介绍

[0002]在IT系统自主可控的背景下，为更好的进行企业级中台能力的建设，聚焦数据交换环节，构建统一的数据交换能力，数据交换调度任务呈现海量、多样性特点。传统的任务调度主要有两种：第一种是采用服务执行器(Server Agent，SA)系统架构，由服务(Server)节点负责调度任务生成、依赖检测，检测通过后指派到空闲的执行器(Agent)执行。第二种方法是通过配置Agent的并发数，Agent并发数未满的情况下，主动争抢依赖满足等待运行的调度任务，进行运行。
[0003]然而以上两种任务调度方式，在主机资源有限、任务急速增长的情况，极易出现某台主机由于争抢到全部都是占用大内存的交换任务，导致个别任务内存溢出(Out Of Memory，OOM)；而个别主机分配到的都是资源占比较小的任务，资源空闲；从而导致整个调度集群资源利用率不可控，调度任务运行效率不高。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据交换任务的调度方法和装置。
[0005]根据本专利技术的一个方面，提供了一种数据交换任务的调度方法，包括：
[0006]获取调度集群中各个broker的主机资源信息；其中，所述主机资源信息包括主机历史资源信息和主机当前资源信息；
[0007]获取待执行任务，依据所述主机历史资源信息对所述待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息；
[0008]依据所述待执行任务的资源占用预测信息和所述主机当前资源信息计算得到待执行任务的调度计划；
[0009]依据所述调度计划对所述待执行任务进行调度执行。
[0010]根据本专利技术的另一方面，提供了一种数据交换任务的调度装置，包括：
[0011]信息获取模块，用于获取调度集群中各个broker的主机资源信息；其中，所述主机资源信息包括主机历史资源信息和主机当前资源信息；
[0012]预测模块，用于获取待执行任务，依据所述主机历史资源信息对所述待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息；
[0013]计算模块，用于依据所述待执行任务的资源占用预测信息和所述主机当前资源信息计算得到待执行任务的调度计划；
[0014]调度模块，用于依据所述调度计划对所述待执行任务进行调度执行。
[0015]根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和
通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
[0016]所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述一种数据交换任务的调度方法对应的操作。
[0017]根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述一种数据交换任务的调度方法对应的操作。
[0018]根据本专利技术的一种数据交换任务的调度方法和装置，通过获取调度集群中各个broker的主机资源信息；其中，主机资源信息包括主机历史资源信息和主机当前资源信息；获取待执行任务，依据主机历史资源信息对待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息；依据待执行任务的资源占用预测信息和主机当前资源信息计算得到待执行任务的调度计划；依据调度计划对待执行任务进行调度执行。本专利技术通过获取调度集群中各个broker的主机资源信息，在任务依赖满足情况，根据主机资源信息对待执行任务的资源占用进行预测，得到待执行任务的资源占用预测信息，依据待执行任务的资源占用预测信息和主机当前资源信息计算得到待执行任务的调度计划，根据调度计划将待执行任务分配到资源充足的主机资源上，在调度集群broker资源固定的情况下，合理分配运行资源主机，为数据交换任务提供高并发、低延迟且稳定运行的调度方法，提升数据交换任务运行效率和成功率。
[0019]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0020]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0021]图1示出了本专利技术实施例提供的一种数据交换任务的调度方法流程图；
[0022]图2示出了本专利技术实施例提供的一种数据交换任务的调度装置的结构示意图；
[0023]图3示出了本专利技术实施例提供的计算设备的结构示意图。
具体实施方式
[0024]下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。
[0025]图1示出了本专利技术一种数据交换任务的调度方法实施例的流程图，如图1所示，该方法包括以下步骤：
[0026]步骤S110：获取调度集群中各个broker的主机资源信息。
[0027]其中，主机资源信息包括主机历史资源信息和主机当前资源信息。
[0028]在一种可选的方式中，主机资源信息至少包括以下信息的一种或多种：主机CPU信
息、主机内存信息以及主机磁盘IO信息；步骤S110进一步包括：调度集群通过Hyperic
‑
Sigar工具采集主机资源信息。
[0029]在一种可选的方式中，该方法还包括：依据各个broker对应的broker ID在Redis数据库中存储主机资源信息。
[0030]在本申请中，broker指的是调度集群里的节点服务器，调度集群可以使用Hyperic
‑
Sigar工具收集系统主机资源信息，其中，Hyperic
‑
Sigar是一个收集系统各项底层信息的工具，通过Hyperic
‑
Sigar工具交换采集主机资源信息，包括主机CPU信息、主机内存信息以及主机磁盘IO信息等，依据各个broker对应的broker ID在Redis数据库中存储主机资源信息，用于主机资源信息的监控，并依据主机资源信息类型的不同形成资源占用百分比图，同时作为后续步骤的数据基础。
[0031]步骤S120：获取待执行任务，依据主机历史资源信息对待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息。
[0032]在一种可选的方式中，步骤S120进一步包括：依据主机历史资源信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据交换任务的调度方法，其特征在于，包括：获取调度集群中各个broker的主机资源信息；其中，所述主机资源信息包括主机历史资源信息和主机当前资源信息；获取待执行任务，依据所述主机历史资源信息对所述待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息；依据所述待执行任务的资源占用预测信息和所述主机当前资源信息计算得到待执行任务的调度计划；依据所述调度计划对所述待执行任务进行调度执行。2.根据权利要求1所述的方法，其特征在于，所述获取调度集群中各个broker的主机资源信息之后，所述方法进一步包括：依据各个broker对应的broker ID在Redis数据库中存储所述主机资源信息。3.根据权利要求1所述的方法，其特征在于，所述依据所述主机历史资源信息对所述待执行任务进行资源占用预测，得到待执行任务的资源占用预测信息进一步包括：依据所述主机历史资源信息计算得到主机历史资源占用平均值；依据主机历史资源占用平均值获取周期因子；依据所述主机历史资源占用平均值和所述周期因子计算得到待执行任务的资源占用预测信息。4.根据权利要求1所述的方法，其特征在于，所述依据所述待执行任务的资源占用预测信息和所述主机当前资源信息计算得到待执行任务的调度计划进一步包括：依据各个broker的主机当前资源信息，从所述调度集群中选择出满足所述待执行任务的资源占用预测信息对应的资源占用条件的待选broker；依据所述待执行任务的资源占用预测信息，确定所述待执行任务的资源占用权重，并判断所述待执行任务的类型；依据所述待执行任务的类型、所述待选broker的主机当前资源信息以及所述待执行任务的资源占用权重，计算所述待选broker的调度得分，依据所述调度得分从所述待选broker中确定用于执行所述待执行任务的目标broker。5.根据权利要求4所述的方法，其特征在于，所述待执行任务的类型包括IO密集型和内存密集型。6.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员：陆丹杭，周勋，冯跃喜，喻金权，郑泽溥，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：