数据处理方法、装置、设备和存储介质制造方法及图纸

本说明书一个或多个实施例提供一种数据处理方法、装置、设备和存储介质，应用于集群中的管控节点；该方法包括：响应于获取到数据处理任务，对用于存储集群中的多个处理节点的节点信息的数据表进行锁定，并对锁定后的数据表中存储的节点信息进行遍历；针对遍历到的节点信息，确定候选处理节点集合中的处理节点的数量是否小于第一阈值，如果数量小于第一阈值，确定与节点信息对应的处理节点是否为运行正常的处理节点，如果处理节点为运行正常的处理节点，将处理节点添加至候选处理节点集合；基于与候选处理节点集合中的各个处理节点对应的权重，从候选处理节点集合中确定出目标处理节点；将数据处理任务分配给目标处理节点，并对数据表进行解锁。对数据表进行解锁。对数据表进行解锁。

【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质


[0001]本说明书一个或多个实施例涉及计算机应用
，尤其涉及一种数据处理方法、装置、设备和存储介质。

技术介绍

[0002]现如今，随着业务数据、用户数据等各种数据的数据规模不断扩大，对需要处理这些数据的应用程序的可扩展性和可用性提出了更高的要求，而这些要求在单个设备上通常难以得到满足，因此衍生出了集群和分布式系统的概念。这就使得一个应用程序被部署在由多个设备组建的集群或分布式系统上，借由这多个设备的设备规模应对海量的数据规模，从而提高该应用程序对外提供服务的能力。在集群或分布式系统中，一个设备通常被称为一个节点；节点可以是物理服务器等实体设备，也可以是虚拟服务器、云服务器，甚至虚拟机、Docker容器等虚拟设备。
[0003]对于部署在集群上的应用程序而言，该应用程序在运行过程中产生的数据处理任务通常会被分配给该集群中的不同节点，由各个节点执行分配给该节点的数据处理任务，以此来在该集群中的不同节点上实现负载均衡，避免由于单个节点执行过量的数据处理任务而导致数据处理效率低下。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于集群中的管控节点；所述集群还包括多个处理节点；所述管控节点维护了用于存储所述多个处理节点的节点信息的数据表；所述方法包括：响应于获取到数据处理任务，对所述数据表进行锁定，并对锁定后的数据表中存储的节点信息进行遍历；针对遍历到的节点信息，确定候选处理节点集合中的处理节点的数量是否小于第一阈值，如果所述数量小于所述第一阈值，则确定与所述节点信息对应的处理节点是否为运行正常的处理节点，如果所述处理节点为运行正常的处理节点，则将所述处理节点添加至所述候选处理节点集合；基于与所述候选处理节点集合中的各个处理节点对应的权重，从所述候选处理节点集合中确定出目标处理节点；将所述数据处理任务分配给所述目标处理节点，并对所述数据表进行解锁。2.根据权利要求1所述的方法，所述对锁定后的数据表中存储的节点信息进行遍历，包括：从锁定后的数据表中随机选择出目标节点信息，并以所述目标节点信息作为遍历起点，对锁定后的数据表中存储的节点信息进行遍历。3.根据权利要求1所述的方法，所述将所述处理节点添加至所述候选处理节点集合，包括：确定所述候选处理节点集合中的处理节点的数量是否小于第二阈值；其中，所述第二阈值小于所述第一阈值；如果所述数量小于所述第二阈值，则将所述处理节点添加至所述候选处理节点集合；如果所述数量大于或等于所述第二阈值，则基于预设概率值将所述处理节点添加至所述候选处理节点集合。4.根据权利要求1所述的方法，所述基于与所述候选处理节点集合中的各个处理节点对应的权重，从所述候选处理节点集合中确定出目标处理节点，包括：基于与所述候选处理节点集合中的各个处理节点对应的权重，将所述候选处理节点集合中所述权重最大的处理节点确定为目标处理节点。5.根据权利要求4所述的方法，所述基于与所述候选处理节点集合中的各个处理节点对应的权重，将所述候选处理节点集合中所述权重最大的处理节点确定为目标处理节点，包括：按照以下公式计算与所...

【专利技术属性】
技术研发人员：周昊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：