一种任务调度方法及装置制造方法及图纸

本发明专利技术公开了一种任务调度方法及装置，涉及任务处理技术领域，主要目的在于避免服务器各任务的执行权限存在干扰而导致各任务对服务器中的剩余空间进行无预期的资源争抢，以保证服务器的运行安全

【技术实现步骤摘要】
一种任务调度方法及装置


[0001]本专利技术涉及任务处理
，尤其涉及一种任务调度方法及装置
。

技术介绍

[0002]在大数据生产处理过程中充斥着复杂的抽取
(extract)、
转换
(transform)、
加载
(load)
操作
。
而规模稍大的数据平台中一般会使用一套任务调度系统来管理复杂任务的执行时机
、
错误处理等任务
。
分布式任务调度系统即是利用多台服务器协作完成这一系列任务的任务调度系统
。
[0003]然而，现有的分布式任务调度系统只具备定时触发功能和任务分发功能，即现有的分布式任务调度系统只负责定时将待执行任务分发至指定服务器上执行，对于待执行任务的执行权限和资源管控没有特殊控制，导致服务器中多个任务的执行权限相互之间存在干扰，比如大型的数据迁移任务或机器学习类任务等，不仅需要耗费大量的内存
、
带宽，还需要耗费
CPU、GPU
来进行计算，而当在同一服务器中执行多个任务时，各任务的执行权限可能存在交叉，从而容易对服务器中的剩余空间进行无预期的资源争抢，进而影响服务器运行安全
。

技术实现思路

[0004]鉴于上述问题，本专利技术提供一种任务调度方法及装置，主要目的是避免服务器各任务的执行权限存在干扰而导致各任务对服务器中的剩余空间进行无预期的资源争抢，以保证服务器的运行安全
。
[0005]为解决上述技术问题，本专利技术提出以下方案：
[0006]第一方面，本专利技术提供了一种任务调度方法，所述方法包括：
[0007]从执行队列中获取待执行任务；
[0008]解析所述待执行任务中的执行资源要求，并根据所述执行资源要求匹配对应的目标服务器；
[0009]若匹配成功，则将所述待执行任务处理为可执行体，所述可执行体用于在所述目标服务器中以指定资源执行所述待执行任务；
[0010]将所述可执行体发送给所述目标服务器
。
[0011]第二方面，本专利技术提供了一种任务调度装置，所述装置包括：
[0012]获取单元，用于从执行队列中获取待执行任务；
[0013]解析单元，用于解析所述获取单元获得的待执行任务中的执行资源要求；
[0014]匹配单元，用于根据所述解析单元中读取的执行资源要求匹配对应的目标服务器；
[0015]处理单元，用于若所述匹配单元中执行资源要求匹配对应的目标服务器匹配成功，则将所述待执行任务处理为可执行体，所述可执行体用于在所述目标服务器中以指定资源执行所述待执行任务；
[0016]发送单元，用于将所述可执行体发送给所述目标服务器
。
[0017]为了实现上述目的，根据本专利技术的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面的任务调度方法
。
[0018]为了实现上述目的
,
根据本专利技术的第四方面，提供了一种电子设备
,
设备包括至少一个处理器
、
以及与处理器连接的至少一个存储器
、
总线；其中
,
处理器
、
存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令
,
以执行上述第一方面的任务调度方法
。
[0019]借由上述技术方案，本专利技术提供的一种任务调度方法及装置，是在需要对待执行任务进行调度处理时，可以先从执行队列中获取待执行任务，解析待执行任务中的执行资源要求，再根据解析出来的执行资源要求判断待执行任务是否具有能够匹配对应的目标服务器，即确定服务器中是否存在有能力执行待执行任务的目标服务器，若匹配成功，则将待执行任务处理为可以在匹配到的目标服务器中以指定资源执行待执行任务的可执行体，以便待执行任务发送给目标服务器后，各个待执行任务均可在目标服务器中以指定资源执行，最后将可执行体发送给目标服务器，以使得目标服务器运行待执行任务
。
通过本专利技术提供的技术方案，可以避免服务器中各任务的执行权限存在干扰，从而解决各任务之间在服务器中执行时发生资源抢占的问题，有利于服务器中对各任务的资源分配，进而保证了服务器的运行安全
。
[0020]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的
、
特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式
。
附图说明
[0021]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了
。
附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制
。
而且在整个附图中，用相同的参考符号表示相同的部件
。
在附图中：
[0022]图1示出了本专利技术实施例提供的一种任务调度方法流程图；
[0023]图2示出了本专利技术实施例提供的另一种任务调度方法流程图；
[0024]图3示出了本专利技术实施例提供的一种任务调度装置的组成框图；
[0025]图4示出了本专利技术实施例提供的另一种任务调度装置的组成框图；
[0026]图5示出了本专利技术实施例提供的电子设备的示意图
。
具体实施方式
[0027]下面将参照附图更详细地描述本公开的示例性实施例
。
虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制
。
相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员
。
[0028]在大数据生产处理中充斥着复杂的
ETL(extract、transform、load)
操作
。
而在规模稍大的数据平台中一般会使用一套任务调度系统来管理复杂任务的执行时机
、
错误处理
等任务，
ETL
操作在不同的生产阶段都面临不同种类
、
不同程度的资源消耗，比如大型的数据迁移任务，可能耗费大量的内存
、
带宽；再比如机器学习类任务，需要耗费
CPU、GPU
来进行计算等，而目前已有的分布式任务调度系统责任边界只处理到任务的定时触发以及分发任务能力，对于任务的执行权限和资源管控没有特殊控制，导致服务器中多个任务的执行权限相互之间存在干扰，从而对服务器上的剩余空间进行无预期的资源争抢，进而影响服务器运行安全
。
本专利技术实施例提供了一种任务调度方法，通过该方法能够避免服务器各任务的执行权限存在干扰，以保证服务器的运行安全，其具体执行步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种任务调度方法，其特征在于，所述方法包括：从执行队列中获取待执行任务；解析所述待执行任务中的执行资源要求，并根据所述执行资源要求匹配对应的目标服务器；若匹配成功，则将所述待执行任务处理为可执行体，所述可执行体用于在所述目标服务器中以指定资源执行所述待执行任务；将所述可执行体发送给所述目标服务器
。2.
根据权利要求1所述的方法，其特征在于，将所述待执行任务处理为可执行体，包括：根据所述执行资源要求按照预设算法确定所述指定资源，所述指定资源为所述目标服务器专用执行所述待执行任务的处理资源；将所述指定资源与所述待执行任务封装为所述可执行体
。3.
根据权利要求2所述的方法，其特征在于，所述方法还包括；若所述执行资源要求中不存在执行所述待执行任务所需的执行资源时，为所述待执行任务配置对应的上限资源，所述上限资源为执行所述待执行任务所能调用的资源上限值；将所述上限资源与所述待执行任务封装为所述可执行体
。4.
根据权利要求1所述的方法，其特征在于，解析所述待执行任务中的执行资源要求，包括：判断所述待执行任务中是否具有可调度的目标服务器标签；若具有，则解析所述待执行任务中环境信息，所述环境信息至少包括操作系统
、
运行资源；若不具有，则生成报警信息
。5.
根据权利要求4所述的方法，其特征在于，根据所述执行资源要求匹配对应的目标服务器，包括：获取调度系统中用于执行任务的各服务器的可用资源；根据所述可用资源以及所述环境信息匹配对应的所述目标服务器
。6.
根据权利要求1‑5中任一项所述的方法，其特征在于，在将所述可执行体发送给所述目标服务器之后，所述方法还包括...

【专利技术属性】
技术研发人员：李可欣，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：