任务调度方法、系统、设备、存储介质及计算机程序产品技术方案

本发明专利技术公开了一种任务调度方法，包括：任务调度器获取资源需求配置信息，发送所述待执行任务的任务请求至Marathon模块；Marathon模块通过Mesos模块获取物理主机的剩余资源信息，在所述物理主机中确定目标物理主机；Marathon模块发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据任务信息在容器中执行所述待执行任务。本发明专利技术还公开了一种任务调度系统、设备、存储介质及计算机程序产品。本发明专利技术通过Marathon模块调度待执行任务，能够快速、灵活进行实时任务调度，实现了任务的自动灵活调度，提高了物理主机的资源利用率，降低了人工依赖，提高了系统部署的灵活性以及运维人员的工作效率，保障了系统持续稳定的高可用性。性。性。

【技术实现步骤摘要】
任务调度方法、系统、设备、存储介质及计算机程序产品


[0001]本专利技术涉及计算机
，尤其涉及一种任务调度方法、系统、设备、存储介质及计算机程序产品。

技术介绍

[0002]传统运营商的业务系统中，整个集群机器数量因机器处理能力大，整个集群规模处于可控范围之内，各类任务在每台机器上单独部署相应的调度框架和具体执行的任务进程，各类处理类型的任务达到数千甚至上万个。
[0003]目前，这些任务在主机上的部署和运行维护都为人工处理，例如人为评估主机性能，并按主机性能分条件部署各类任务。但是，随着5G时代来临以及电渠业务的快速发展，所需部署的任务数量越来越大，采用人工处理的方式导致任务部署效率低、运维成本高。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种任务调度方法、系统、设备、存储介质及计算机程序产品，旨在解决现有人工进行任务部署以及运维的方式导致任务部署效率低、运维成本高的技术问题。
[0006]为实现上述目的，本专利技术提供一种任务调度方法，应用于任务调度系统，所述任务调度系统包括任务调度器、Marathon模块以及Mesos模块，所述任务调度方法包括以下步骤：
[0007]任务调度器获取待执行任务队列中待执行任务对应的资源需求配置信息，发送所述待执行任务的任务请求至Marathon模块；
[0008]在接收到任务请求时，所述Marathon模块通过Mesos模块获取物理主机的剩余资源信息，基于所述剩余资源信息以及所述资源需求配置信息，在所述物理主机中确定目标物理主机；
[0009]Marathon模块发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据所述任务信息在所述容器中执行所述待执行任务。
[0010]进一步地，所述基于所述剩余资源信息以及所述资源需求配置信息，在所述物理主机中确定目标物理主机的步骤包括：
[0011]所述Marathon模块基于所述剩余资源信息，确定所述物理主机中的空闲主机；
[0012]所述Marathon模块确定所述空闲主机中满足所述资源需求配置信息对应的需求条件的主机，并基于满足所述需求条件的主机确定所述目标物理主机。
[0013]进一步地，所述Marathon模块通过Mesos模块获取物理主机的剩余资源信息的步骤包括：
[0014]在接收到Mesos模块各个物理主机的Mesos slave上报的当前资源信息时，Mesos模块的Mesos Master基于所述当前资源信息更新剩余资源信息；
[0015]Marathon模块通过Mesos模块获取物理主机的剩余资源信息。
[0016]进一步地，所述Marathon模块发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据所述任务信息在所述容器中执行所述待执行任务的步骤之后，还包括：
[0017]任务调度器遍历任务队列，以获得所述待执行任务对应的目标任务信息，确定所述目标任务信息中是否存在心跳信息，其中，所述任务执行器定时上报目标任务信息至所述任务队列，所述目标任务信息包括心跳信息以及所述心跳信息的过期时间；
[0018]若所述目标任务信息中不存在心跳信息，则所述任务调度器更新异常次数；
[0019]若所述异常次数达到预设次数，则所述任务调度器发送容器回收请求至所述Marathon模块，所述Marathon模块基于所述容器回收请求回收所述容器，返回执行发送所述待执行任务的任务请求至Marathon模块。
[0020]进一步地，所述任务调度器更新异常次数的步骤之后，还包括：
[0021]若所述异常次数未达到预设次数，则间隔预设时长后返回执行任务调度器遍历任务队列的步骤，其中，所述预设时长大于任务执行器定时上报待执行任务的时间间隔。
[0022]进一步地，所述任务调度器获取待执行任务队列中待执行任务对应的资源需求配置信息的步骤之前，还包括：
[0023]在接收到新增任务时，所述任务调度系统获取所述新增任务对应的任务配置信息，在数据库中将所述新增任务设置为启用状态；
[0024]所述任务调度系统的任务触发器定时查询所述数据库，并将所述数据库中处于启用状态的任务添加至所述待执行任务队列。
[0025]此外，为实现上述目的，本专利技术还提供一种任务调度系统，所述任务调度系统包括：任务调度器、Marathon模块以及Mesos模块；
[0026]所述任务调度器，用于获取任务队列中待执行任务对应的资源需求配置信息，发送所述待执行任务的任务请求至Marathon模块；
[0027]所述Marathon模块，用于在接收到任务请求时，通过Mesos模块获取物理主机的剩余资源信息，基于所述剩余资源信息以及所述资源需求配置信息，在所述物理主机中确定目标物理主机；
[0028]所述Marathon模块，用于发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据所述任务信息在所述容器中执行所述待执行任务。
[0029]此外，为实现上述目的，本专利技术还提供一种任务调度设备，所述任务调度设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的任务调度程序，所述任务调度程序被所述处理器执行时实现前述的任务调度方法的步骤。
[0030]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有任务调度程序，所述任务调度程序被处理器执行时实现前述的任务调度方法的步骤。
[0031]此外，为实现上述目的，本专利技术还提供一种计算机程序产品，包括计算机程序，所
述计算机程序被处理器执行时实现前述的任务调度方法的步骤。
[0032]本专利技术通过任务调度器获取待执行任务队列中待执行任务对应的资源需求配置信息，发送所述待执行任务的任务请求至Marathon模块；接着在接收到任务请求时，所述Marathon模块通过Mesos模块获取物理主机的剩余资源信息，基于所述剩余资源信息以及所述资源需求配置信息，在所述物理主机中确定目标物理主机；而后Marathon模块发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据所述任务信息在所述容器中执行所述待执行任务，通过Marathon模块调度待执行任务，能够快速、灵活进行实时任务调度，实现了任务的自动灵活调度，提高了物理主机的资源利用率，降低了人工依赖，提高了系统部署的灵活性以及运维人员的工作效率，保障了系统持续稳定的高可用性。
附图说明
[0033]图1是本专利技术实施例方案涉及的硬件运行环境中任务调度设备的结构示意图；
[0034]图2为本专利技术任务调度方法第一实施例的流程示意图；
[0035]图3为本专利技术任务调度系统一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，应用于任务调度系统，所述任务调度系统包括任务调度器、Marathon模块以及Mesos模块，所述任务调度方法包括以下步骤：任务调度器获取待执行任务队列中待执行任务对应的资源需求配置信息，发送所述待执行任务的任务请求至Marathon模块；在接收到任务请求时，所述Marathon模块通过Mesos模块获取物理主机的剩余资源信息，基于所述剩余资源信息以及所述资源需求配置信息，在所述物理主机中确定目标物理主机；Marathon模块发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据所述任务信息在所述容器中执行所述待执行任务。2.如权利要求1所述的任务调度方法，其特征在于，所述基于所述剩余资源信息以及所述资源需求配置信息，在所述物理主机中确定目标物理主机的步骤包括：所述Marathon模块基于所述剩余资源信息，确定所述物理主机中的空闲主机；所述Marathon模块确定所述空闲主机中满足所述资源需求配置信息对应的需求条件的主机，并基于满足所述需求条件的主机确定所述目标物理主机。3.如权利要求1所述的任务调度方法，其特征在于，所述Marathon模块通过Mesos模块获取物理主机的剩余资源信息的步骤包括：在接收到Mesos模块各个物理主机的Mesos slave上报的当前资源信息时，Mesos模块的Mesos Master基于所述当前资源信息更新剩余资源信息；Marathon模块通过Mesos模块获取物理主机的剩余资源信息。4.如权利要求1所述的任务调度方法，其特征在于，所述Marathon模块发送待执行任务对应的任务信息至所述目标物理主机，以供所述目标物理主机的任务执行器开启容器，根据所述任务信息在所述容器中执行所述待执行任务的步骤之后，还包括：任务调度器遍历任务队列，以获得所述待执行任务对应的目标任务信息，确定所述目标任务信息中是否存在心跳信息，其中，所述任务执行器定时上报目标任务信息至所述任务队列，所述目标任务信息包括心跳信息以及所述心跳信息的过期时间；若所述目标任务信息中不存在心跳信息，则所述任务调度器更新异常次数；若所述异常次数达到预设次数，则所述任务调度器发送容器回收...

【专利技术属性】
技术研发人员：王继春，赵巍，陆屹，娄明，刘梦馨，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：