任务调度处理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种任务调度处理方法、装置、计算机设备及存储介质。所述方法包括：获取待执行任务，并计算出所述待执行任务匹配的待分配资源和匹配的权重；将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；按照所述执行次序从所述任务集合中获取所述待执行任务；根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。本发明专利技术实施例可以合理配置任务所需的资源，提高任务处理效率。提高任务处理效率。提高任务处理效率。

【技术实现步骤摘要】
任务调度处理方法、装置、计算机设备及存储介质


[0001]本专利技术实施例涉及数据处理领域，尤其涉及一种任务调度处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]目前，服务可以分解成多个任务，并按照固定的流程执行。这一过程可以称为流水线，即组装在一起的可以执行的活动或作业任务。流水线中涉及的任务需要对应部署服务器去执行。例如采用专有构建服务器或者构建集群，执行任务。
[0003]持续集成的流水线需要源源不断执行任务，流水线中任务量会实时改变，这会导致服务器资源不能有效利用。例如，出现大规模流水线任务，会出现大量的排队和长时间等待的情况。为了解决前述情况，通常会扩大服务器集群结构。
[0004]但上述方法，在服务器集群在闲时会导致极大的资源浪费。而且，如果不设置专有集群处理流水线任务会挤压服务器集群内其他服务器的运行。

技术实现思路

[0005]本专利技术实施例提供了一种任务调度处理方法、装置、计算机设备及存储介质，可以合理配置任务所需的资源，提高任务处理效率。
[0006]第一方面，本专利技术实施例提供了一种任务调度处理方法，包括：
[0007]获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重；
[0008]将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
[0009]按照所述执行次序从所述任务集合中获取所述待执行任务；
[0010]根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
[0011]第二方面，本专利技术实施例提供了一种任务调度处理装置，包括：
[0012]资源和权重计算模块，用于获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重；
[0013]待执行任务添加模块，用于将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
[0014]获取待执行任务模块，用于按照所述执行次序从所述任务集合中获取所述待执行任务；
[0015]容器部署模块，用于根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
[0016]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本专利技术实施例中任一所述的任务调度处理方法。
[0017]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的任务调度处理方法。
[0018]本专利技术实施例通过计算待执行任务匹配的待分配资源和匹配的权重，将待执行任务添加到任务集合中，并根据权重确定待执行任务的执行次序，在轮到待执行任务的执行次序时，获取目标空闲服务器，并部署与待分配资源匹配的目标容器，将待执行任务分配到目标容器中运行，可以按照与权重匹配的执行次序部署待执行任务对应的目标容器，同时该目标容器依赖的资源与待分配资源匹配，解决了现有技术中依靠扩大服务器集群规模以满足任务变多的问题，可以在空闲服务器中部署容器运行轮到执行次序的待执行任务，实现针对待执行任务实时部署容器，可以合理配置任务所需的资源，减少运行任务的服务器的数量激增的情况，并兼顾任务处理需求，提高任务处理效率。
附图说明
[0019]图1是本专利技术实施例一中的一种任务调度处理方法的流程图；
[0020]图2a是本专利技术实施例二中的一种任务调度处理方法的流程图；
[0021]图2b是本专利技术实施例二中的一种任务调度处理方法的流程图；
[0022]图3是本专利技术实施例三中的一种任务调度处理装置的结构示意图；
[0023]图4是本专利技术实施例四中的一种计算机设备的结构示意图。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0025]实施例一
[0026]图1a为本专利技术实施例一中的一种任务调度处理方法的流程图，本实施例可适用于处理流水线任务的服务器集群中任务调度处理的情况，该方法可以由本专利技术实施例提供的任务调度处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。如图1a所示，本实施例的方法具体包括：
[0027]S110，获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重。
[0028]待执行任务用于在服务器集群中任一服务器中部署的容器中运行，以实现特定功能。待执行任务可以是指流水线任务。流水线任务是指存活时间短暂且发起无规律的任务。示例性的，待执行任务为数据查询任务、数据编辑任务和数据添加任务等；或者待执行任务为设备控制任务。可以根据需要配置待执行任务的内容。
[0029]待分配资源用于运行待执行任务。权重用于确定待执行任务的执行次序。实际上，存在多个需要分配资源待执行的任务，根据权重确定待执行任务的执行次序，在执行次序时，部署与待分配资源的容器运行待执行任务，可以有序并恰当配置资源运行待执行任务，可以避免服务器集群同时运行大量任务，导致服务器集群的压力过大产生错误，并合理配置资源，可以减少同时为大量任务同时分配资源，导致资源分配不合理，在闲时造成浪费的情况，使服务器集群均衡负载。
[0030]可选的，待分配资源的资源类型包括核心计算资源类型、内存存储资源类型和临
时文件存储资源类型。
[0031]核心计算资源用于执行待执行任务中的计算操作。内存存储资源用于为待执行任务提供存储空间。临时文件存储资源用于为待执行任务的执行过程中生成临时文件(如中间结果)提供存储空间。
[0032]S120，将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序。
[0033]任务集合包括多个任务。通常获取的待执行任务会添加到任务集合，等待处理，其中，获取方式可以是生成待执行任务或者接收其他设备发送的待执行任务。执行次序用于确定待执行任务的执行顺序，该执行次序是相对于任务集合包括的任务而言。任务集合中包括多个任务，通常不会同时运行全部任务，可以依次运行各任务，在同一时刻运行多个任务，例如，2个任务，从而，需要根据各任务的执行次序，从任务集合中获取个任务分配资源并执行。
[0034]执行次序的确定方式可以是：根据待执行任务的权重，以及任务集合中各任务的权重和其他信息，确定各任务的执行次序以及待执行任务的权重。实际上，是将待执行任务和任务集合中包括的全部任务放在一起综合考虑，确定执行各任务的先后顺序，以确定待执行任务的执行次序。
[0035]S130，按照所述执行次序从所述任务集合中获取所述待执行任务。...

【技术保护点】

【技术特征摘要】
1.一种任务调度处理方法，其特征在于，包括：获取待执行任务，并计算出所述待执行任务匹配的待分配资源和匹配的权重；将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；按照所述执行次序从所述任务集合中获取所述待执行任务；根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。2.根据权利要求1所述的方法，其特征在于，所述获取待执行任务，并计算所述待执行任务匹配的待分配资源，包括：获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务；根据各所述目标历史任务匹配的历史分配资源，确定所述待执行任务匹配的待分配资源。3.根据权利要求2所述的方法，其特征在于，所述获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务，包括：根据所述待执行任务的特征信息，查询与所述待执行任务匹配的基准分配资源；根据所述基准分配资源分别与各所述历史任务的历史分配资源之间的差值，计算各所述历史任务与所述待执行任务之间的相似度值；按照相似度值对各所述历史任务进行排序，将排序结果中相似度值满足高相似条件的至少一个历史任务，确定为目标历史任务。4.根据权利要求1所述的方法，其特征在于，所述计算所述待执行任务匹配的权重，包括：从所述待执行任务匹配的待分配资源中提取资源类型和各所述资源类型对应的分配量；获取各所述资源类型对应的权重，并根据各所述资源类型对应的分配量计算加权和，确定为所述待执行任务匹配的权重。5.根据权利要求1所述的方法，其特征在于，在根据所述待分配资源，在目标空闲服务器中部署目标容器之前，还包括：获取服务器集群中各服务器的占用资源；选择占用资源最小的服务器作为目标空闲服务器。6....

【专利技术属性】
技术研发人员：周钊锋，张顺龙，李莉，梁颖琳，
申请(专利权)人：数字广东网络建设有限公司，
类型：发明
国别省市：