一种后台任务调度方法、设备及存储介质技术

本发明专利技术提供一种后台任务调度方法、设备及存储介质，涉及后台任务调度技术领域，所述方法包括：获取调度任务队列信息，调度任务队列信息包括至少一个待执行任务；根据调度任务队列信息，当待执行任务触发，启动对应的容器并且运行执行实例；获取执行实例列表信息，执行实例列表信息包括各个执行实例的状态信息；根据调度任务队列信息以及执行实例列表信息，将待执行任务分配至执行实例，以使执行实例处理对应的待执行任务；获取执行实例的运行信息，当容器内全部的执行实例完成对应的任务后，销毁容器。当待执行任务需要执行时启动容器，任务结束后销毁容器，实现资源弹性调度，防止出现容器空运行的情况，有利于提高资源利用率以及处理效率。及处理效率。及处理效率。

【技术实现步骤摘要】
一种后台任务调度方法、设备及存储介质


[0001]本专利技术涉及后台任务调度
，尤其涉及一种后台任务调度方法、设备及存储介质。

技术介绍

[0002]在云平台迅速发展的环境下，基于容器的云平台技术迅猛增长。容器通过利用容器化技术、容器引擎，如Docker，将应用程序与运行环境封装形成，即容器包括了应用程序以及应用程序所需要的运行环境，可以独立运行于各种操作系统，具有隔离性和可移植性。基于容器的云平台采用容器为基础，能够有效降低虚拟化成本，提高资源利用率，提升系统发布效率，缩短系统故障恢复时间等。
[0003]然而，现有技术中，基于容器的云平台在处理后台任务时，每个后台任务对应启动容器运行执行实例进行处理，但是不是每个后台任务都是需要实时执行处理，导致存在容器空运行的情况，当后台任务数量庞大时，容器空运行造成资源被大量占用，浪费被占用的资源，进而降低云平台整体的资源利用率以及处理效率，影响云平台的性能。

技术实现思路

[0004]本专利技术提供一种后台任务调度方法，用以解决现有技术中在后台任务调度过程中存在容器空运行的缺陷。
[0005]本专利技术提供一种后台任务调度方法，包括：
[0006]获取调度任务队列信息，所述调度任务队列信息包括至少一个待执行任务；
[0007]根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例；
[0008]获取执行实例列表信息，所述执行实例列表信息包括各个执行实例的状态信息；
[0009]根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务；
[0010]获取所述执行实例的运行信息，当所述容器内全部的所述执行实例完成对应的任务后，销毁所述容器。
[0011]根据本专利技术提供的一种后台任务调度方法，所述调度任务队列信息包括批量任务；所述根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例，包括：
[0012]当所述批量任务触发，获取所述批量任务对应的批量任务文件；
[0013]对所述批量任务文件根据预设行数进行分片处理以形成多个分片文件；
[0014]根据多个所述分片文件，启动容器并运行与所述分片文件对应的执行实例。
[0015]根据本专利技术提供的一种后台任务调度方法，所述根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务，包括：
[0016]根据所述调度任务队列信息以及所述执行实例列表信息，将与所述分片文件对应的所述执行实例与所述批量任务关联；
[0017]将所述分片文件分配至对应的所述执行实例，以使所述执行实例对所述分片文件进行处理。
[0018]根据本专利技术提供的一种后台任务调度方法，所述调度任务队列信息包括流任务；所述根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例，包括：
[0019]当所述流任务触发，获取所述流任务对应的流节点配置信息，所述流节点配置信息包括多个流节点的信息以及流节点之间的依赖关系；
[0020]根据所述流节点配置信息，启动容器并且运行与所述流节点对应的执行实例。
[0021]根据本专利技术提供的一种后台任务调度方法，所述根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务，包括：
[0022]根据所述调度任务队列信息以及所述执行实例列表信息，将与所述流节点对应的所述执行实例与所述流任务关联；
[0023]将各个所述流节点的信息分配至对应的所述执行实例，以使所述执行实例获取所述流节点的流数据进行处理。
[0024]根据本专利技术提供的一种后台任务调度方法，在所述根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务之后，还包括：
[0025]定期向所述执行实例发送快照消息，以使所述执行实例保存当前运行状态生成快照信息并上传；
[0026]获取所述快照信息生成运行日志信息；
[0027]获取所述执行实例的运行信息，当所述执行实例运行异常时，根据所述运行日志信息恢复所述执行实例的运行状态。
[0028]根据本专利技术提供的一种后台任务调度方法，所述根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例，包括：
[0029]根据所述调度任务队列信息，确定各个所述待执行任务对应的任务类型；
[0030]当所述待执行任务触发，根据对应的所述任务类型，启动与所述任务类型对应的容器并且运行执行实例。
[0031]根据本专利技术提供的一种后台任务调度方法，在所述根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例，与所述获取执行实例列表信息之间，还包括：
[0032]获取各个所述执行实例的注册信息，所述注册信息反映所述执行实例的资源情况以及处理的任务类型；
[0033]根据所述注册信息，排列所述执行实例以形成所述执行实例列表信息。
[0034]根据本专利技术提供的一种后台任务调度方法，所述获取所述执行实例的运行信息，当所述容器内全部的所述执行实例完成对应的任务后，销毁所述容器，包括：
[0035]获取所述执行实例的运行信息；
[0036]当所述执行实例完成当前对应的任务时，根据所述执行实例对应的所述注册信息，查询所述调度任务队列信息，判断在预设时间内是否能够分配对应的所述待执行任务至所述执行实例；
[0037]若能够分配，将所述执行实例与对应的所述待执行任务关联；
[0038]若不能够分配，则判定所述执行实例完成对应的任务；
[0039]当容器内全部的所述执行实例完成对应的任务后，销毁所述容器。
[0040]根据本专利技术提供的一种后台任务调度方法，在所述获取调度任务队列信息之前，还包括：
[0041]获取任务列表信息，所述任务列表信息包括多个待执行任务；
[0042]获取调度列表信息，所述调度列表信息包括多个任务处理节点；
[0043]根据所述任务列表信息以及所述调度列表信息，将所述待执行任务分配给各个所述任务处理节点，以形成所述调度任务队列信息。
[0044]本专利技术还提供一种设备，包括：任务调度模块、资源调度模块以及执行模块，所述任务调度模块用于获取调度任务队列信息，所述调度任务队列信息包括至少一个待执行任务，根据所述调度任务队列信息，使所述执行模块启动容器并且运行执行实例，从所述资源调度模块获取执行实例列表信息，根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务，从所述执行模块获取所述执行实例的运行信息，当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种后台任务调度方法，其特征在于，包括：获取调度任务队列信息，所述调度任务队列信息包括至少一个待执行任务；根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例；获取执行实例列表信息，所述执行实例列表信息包括各个执行实例的状态信息；根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务；获取所述执行实例的运行信息，当所述容器内全部的所述执行实例完成对应的任务后，销毁所述容器。2.根据权利要求1所述的一种后台任务调度方法，其特征在于，所述调度任务队列信息包括批量任务；所述根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例，包括：当所述批量任务触发，获取所述批量任务对应的批量任务文件；对所述批量任务文件根据预设行数进行分片处理以形成多个分片文件；根据多个所述分片文件，启动容器并运行与所述分片文件对应的执行实例。3.根据权利要求2所述的一种后台任务调度方法，其特征在于，所述根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务，包括：根据所述调度任务队列信息以及所述执行实例列表信息，将与所述分片文件对应的所述执行实例与所述批量任务关联；将所述分片文件分配至对应的所述执行实例，以使所述执行实例对所述分片文件进行处理。4.根据权利要求1所述的一种后台任务调度方法，其特征在于，所述调度任务队列信息包括流任务；所述根据所述调度任务队列信息，当所述待执行任务触发，启动对应的容器并且运行执行实例，包括：当所述流任务触发，获取所述流任务对应的流节点配置信息，所述流节点配置信息包括多个流节点的信息以及流节点之间的依赖关系；根据所述流节点配置信息，启动容器并且运行与所述流节点对应的执行实例。5.根据权利要求4所述的一种后台任务调度方法，其特征在于，所述根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务，包括：根据所述调度任务队列信息以及所述执行实例列表信息，将与所述流节点对应的所述执行实例与所述流任务关联；将各个所述流节点的信息分配至对应的所述执行实例，以使所述执行实例获取所述流节点的流数据进行处理。6.根据权利要求1至5任一权利要求所述的一种后台任务调度方法，其特征在于，在所述根据所述调度任务队列信息以及所述执行实例列表信息，将所述待执行任务分配至所述执行实例，以使所述执行实例处理对应的所述待执行任务之后，还包括：定期向所述执行实例发送快照消息，以使所述执行实例保存当前运行状态生成快照信
息...

【专利技术属性】
技术研发人员：王蕊，魏嘉宁，马洪利，杨晶，王衎，康姝婷，左婉晴，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：