任务执行方法及计算设备技术

本申请实施例提供一种任务执行方法及计算设备，其中，任务执行方法包括：为多个计算节点分别绑定至少一个标签，得到每个所述计算节点与至少一个标签的对应关系；在接收到的用户请求的情况下，生成待执行的目标任务，所述目标任务中包括至少一个目标标签；若所述目标任务中存在标签运算规则，则基于所述对应关系、所述至少一个目标标签和所述标签运算规则，从所述多个计算节点中，选取到至少一个第一目标计算节点，其中，所述标签运算规则包括对至少一个目标标签的逻辑运算；调度所述至少一个第一目标计算节点上的资源执行所述目标任务。实施本申请，能够对目标任务中的至少一个目标标签的逻辑运算，适应各种节点调度场景。适应各种节点调度场景。适应各种节点调度场景。

【技术实现步骤摘要】
任务执行方法及计算设备


[0001]本申请涉及大数据
，尤其涉及一种任务执行方法及计算设备。

技术介绍

[0002]当前大数据主流的调度组件是yarn。在执行任务时，通常是由yarn调度组件实现节点资源的调度。但是在大集群环境中，节点众多，并且各个节点的属性也比较多样化，比如有些节点是计算型的，有些节点是内存型的，有些节点既是内存型又是计算型的等等。从yarn 2.7.1开始引入了节点标签node label的概念。运维人员可以根据节点的属性为其分配对应的节点标签。比如某个节点具有内存比较大的属性，则可以为其分配“大内存”的标签，如何让众多节点的众多属性适用于各种复杂节点调度场景中是一个亟待解决的问题。

技术实现思路

[0003]本专利技术实施例提供一种任务执行方法及计算设备，能够对目标任务中的至少一个目标标签的逻辑运算，适应各种节点调度场景。
[0004]第一方面，本申请实施例提供一种任务执行方法，包括：
[0005]为多个计算节点分别绑定至少一个标签，得到每个所述计算节点与至少一个标签的对应关系；
[0006]在接收到的用户请求的情况下，生成待执行的目标任务，所述目标任务中包括至少一个目标标签；
[0007]若所述目标任务中存在标签运算规则，则基于所述对应关系、所述至少一个目标标签和所述标签运算规则，从所述多个计算节点中，选取到至少一个第一目标计算节点，其中，所述标签运算规则包括对至少一个目标标签的逻辑运算；
[0008]调度所述至少一个第一目标计算节点上的资源执行所述目标任务。
[0009]实施该方法，在接收到用户请求时，生成包括至少一个目标标签的目标任务，通过目标任务中标签运算规则对该至少一个目标标签进行逻辑运算，从而选取到执行目标任务的至少一个第一目标计算节点，通过对标签的各种逻辑运算设计，可以适应各种节点调度场景。
[0010]在一种可能的实现方式中，所述用户请求用于请求执行目标事件，所述生成待执行的目标任务，包括：
[0011]根据执行所述目标事件的需求参数确定所述目标任务中的所述至少一个目标标签和/或所述目标任务中的所述标签运算规则。
[0012]实施该方法，用户请求执行目标事件，可根据执行目标事件的需求参数确定目标任务中的至少一个目标标签和/或目标任务中的标签运算规则，从而可根据用户请求灵活设计待执行目标任务中的目标标签以及标签运算规则。
[0013]在一种可能的实现方式中，所述方法还包括：
[0014]若所述目标任务中不存在标签运算规则，则基于所述对应关系和所述至少一个目
标标签，从所述多个计算节点中，选取到至少一个第二目标计算节点；
[0015]调度所述至少一个第二目标计算节点上的资源执行所述目标任务。
[0016]实施该方法，在目标任务中不存在标签运算规则时，也可选取到目标计算节点，从而适应不需要进行标签逻辑运算的场景。
[0017]在一种可能的实现方式中，所述基于所述对应关系和所述至少一个目标标签，从所述多个计算节点中，选取到至少一个第二目标计算节点，包括：
[0018]遍历所述多个计算节点中各个计算节点对应的至少一个标签，若所述计算节点对应的至少一个标签中存在与所述目标标签匹配的标签，则将所述计算节点确定为第二目标计算节点。
[0019]实施该方法，提供了在目标任务中不存在标签运算规则时，可通过标签匹配获取到用于执行目标任务的目标计算节点。
[0020]在一种可能的实现方式中，所述基于所述对应关系、所述至少一个目标标签和所述标签运算规则，从所述多个计算节点中，选取到至少一个第一目标计算节点，包括：
[0021]根据所述至少一个目标标签和所述标签运算规则中的运算符，确定逻辑运算结果；
[0022]基于所述对应关系和所述逻辑运算结果，从所述多个计算节点中选取到至少一个第一目标计算节点。
[0023]实施该方法，在目标任务中存在标签运算规则时，可根据标签运算规则中的运算符和至少一个目标标签，确定逻辑运算结果，比如，标签1与标签2之间的逻辑与运算，则逻辑运算结果是同时包含标签1和标签2，进一步基于各个计算节点与标签之间的对应关系和逻辑运算结果，得到目标计算节点，提供了在目标任务中存在标签运算规则时的目标计算节点获取方式。
[0024]在一种可能的实现方式中，所述基于所述对应关系和所述逻辑运算结果，从所述多个计算节点中选取到至少一个第一目标计算节点，包括：
[0025]遍历所述多个计算节点中各个计算节点对应的至少一个标签，若所述计算节点对应的至少一个标签满足所述逻辑运算结果，则将所述计算节点确定为所述第一目标计算节点。
[0026]实施该方法，在得到逻辑运算结果之后，可从对应关系中遍历得到满足该逻辑运算结果的目标节点，即实现获得目标计算节点。
[0027]在一种可能的实现方式中，所述标签运算规则中包括逻辑与运算符、逻辑非运算符以及逻辑或运算符中至少一种。
[0028]实施该方法，可以通过逻辑与运算符、逻辑非运算符以及逻辑或运算符中至少一种设计出各种标签运算规则，从而满足多种场景需求。
[0029]在一种可能的实现方式中，所述为多个计算节点分别绑定至少一个标签之前，还包括：
[0030]创建多个标签，一个标签用于指示计算节点的一种属性信息；
[0031]所述为多个计算节点分别绑定至少一个标签，包括：
[0032]根据所述多个计算节点中各个计算节点所具有的属性信息，从所述多个标签中选择为所述计算节点绑定的至少一个标签。
[0033]实施该方法，可以根据各个计算节点的属性信息，为计算节点绑定标签。
[0034]在一种可能的实现方式中，若所述计算节点具有图像处理器GPU的属性信息，则所述计算节点绑定的至少一个标签中包括GPU标签；
[0035]若所述计算节点具有大内存的属性信息，则所述计算节点绑定至少一个标签中包括大内存标签，所述大内存为内存容量大于或者等于第一阈值的内存。
[0036]实施该方法，可以根据计算节点是否具有GPU属性或大内存属性，为其绑定对应的标签。
[0037]第二方面，本申请实施例提供一种服务器集群系统，该服务器集群系统中包括管理节点和至少一个计算节点，该管理节点分别与至少一个计算节点连接，其中，管理节点用于执行第一方面中任一可能的实现描述的方法。
[0038]第三方面，本申请实施例提供一种计算设备，所述计算设备包括处理器，该处理器调用存储器中存储的计算机指令实现第一方面中任一可能的实现描述的方法。
[0039]可选的，所述计算设备还包括所述存储器。
[0040]第四方面，本申请实施例还提供一种计算机存储介质，包括计算机指令，当所述计算机指令在计算设备上运行时，使得所述计算设备执行如第一方面或第一方面中任一可能的实现描述的方法。
[0041]第五方面，本申请实施例还提供一种计算机程序产品，当上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务执行方法，其特征在于，包括：为多个计算节点分别绑定至少一个标签，得到每个所述计算节点与至少一个标签的对应关系；在接收到的用户请求的情况下，生成待执行的目标任务，所述目标任务中包括至少一个目标标签；若所述目标任务中存在标签运算规则，则基于所述对应关系、所述至少一个目标标签和所述标签运算规则，从所述多个计算节点中，选取到至少一个第一目标计算节点，其中，所述标签运算规则包括对至少一个目标标签的逻辑运算；调度所述至少一个第一目标计算节点上的资源执行所述目标任务。2.如权利要求1所述的方法，其特征在于，所述用户请求用于请求执行目标事件，所述生成待执行的目标任务，包括：根据执行所述目标事件的需求参数确定所述目标任务中的所述至少一个目标标签和/或所述目标任务中的所述标签运算规则。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：若所述目标任务中不存在标签运算规则，则基于所述对应关系和所述至少一个目标标签，从所述多个计算节点中，选取到至少一个第二目标计算节点；调度所述至少一个第二目标计算节点上的资源执行所述目标任务。4.如权利要求3所述的方法，其特征在于，所述基于所述对应关系和所述至少一个目标标签，从所述多个计算节点中，选取到至少一个第二目标计算节点，包括：遍历所述多个计算节点中各个计算节点对应的至少一个标签，若所述计算节点对应的至少一个标签中存在与所述目标标签匹配的标签，则将所述计算节点确定为第二目标计算节点。5.如权利要求1或2所述的方法，其特征在于，所述基于所述对应关系、所述至少一个目标标签和所述标签运算规则，从所述多个计算节点中，选取到至少一个第一目标计算...

【专利技术属性】
技术研发人员：张照康，
申请(专利权)人：超聚变数字技术有限公司，
类型：发明
国别省市：