一种节点处理方法、电子设备以及计算机存储介质技术

本申请提出一种节点处理方法、电子设备及计算机存储介质，方法应用于一种节点集群系统，节点集群系统包括计算主节点、计算子节点以及存储节点；节点处理方法包括：计算主节点获取所有计算子节点的节点容量；计算主节点基于所有计算子节点的节点容量，获取每一计算子节点的分区号，并返回每一计算子节点的分区号；计算子节点基于自身的分区号从所述存储节点的对应存储分区获取备份数据，将备份数据加载到自身的节点内存。每个计算节点都会上报自己的容量，根据各自容量计算出当前节点对应的分区数量及所有分区编号。当计算节点需要进行扩容操作时会重新计算当前节点绑定的分区编号，重新进行数据加载，不需要分区重构，减少扩容所需时间。容所需时间。容所需时间。

【技术实现步骤摘要】
一种节点处理方法、电子设备以及计算机存储介质


[0001]本申请涉及大数据领域
，特别是涉及一种节点处理方法、电子设备以及计算机存储介质。

技术介绍

[0002]在科技水平迅猛发展的当下，每天都会产生大量的数据，而当前主流的业务服务基本都已经通过容器化实现了部署，在数据量上升的情况下，就需要通过横向扩缩容来提升系统处理大数据量的能力。一般的系统会将数据加载到容器中进行计算，同时加载到容器内存中的数据还会有备份，用以容器意外崩溃后可以加载到原来的数据。
[0003]大多数服务器在对数据进行缓存时，都会参考一致性哈希算法，将数据的id进行哈希，对所有的缓存节点ip或主机名进行哈希，将数据缓存到哈希环上顺时针上最靠近的节点上。现有用于备份的数据进行分区，其分区数量同计算节点的数量一致，每个计算节点加载固定分区的数据，以便在计算节点发生可能的崩溃重启时重新加载好数据；每个计算节点中所能容纳的数据量都是一致的。且每个数据都有一个唯一的string类型的id标识，每条数据新增时，会计算出该数据将要存储的分区编号，存储的数据分区编号通过对id进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种节点处理方法，其特征在于，所述节点处理方法应用于一种节点集群系统，其中，所述节点集群系统包括计算主节点、计算子节点以及存储节点；所述节点处理方法包括：所述计算主节点获取所有计算子节点的节点容量；所述计算主节点基于所述所有计算子节点的节点容量，获取每一计算子节点的分区号，并返回每一计算子节点的分区号；所述计算子节点基于自身的分区号从所述存储节点的对应存储分区获取备份数据，将所述备份数据加载到自身的节点内存。2.根据权利要求1所述的节点处理方法，其特征在于，所述计算主节点获取所有计算子节点的节点容量，包括：所述计算子节点向所述计算主节点发起的注册请求，所述计算主节点获取所述计算子节点的注册信息；所述计算主节点根据所述注册信息获取所有计算子节点的节点容量。3.根据权利要求1或2所述的节点处理方法，其特征在于，所述计算主节点基于所述所有计算子节点的节点容量，获取每一计算子节点的分区号，包括：所述计算主节点根据每一计算子节点的节点容量，计算所述每一计算子节点绑定的分区数量；所述计算主节点基于所述节点容量和分区数量，获取每一计算子节点的分区号，并返回每一计算子节点的分区号。4.根据权利要求3所述的节点处理方法，其特征在于，所述计算主节点基于所述节点容量和分区数量，获取每一计算子节点的分区号，并返回每一计算子节点的分区号，包括：所述计算主节点计算每一所述计算子节点的节点容量占全部所述计算子节点容量的容量比值；所述计算主节点获取储存节点的分区总数，基于所述分区总数和所述容量比值获取每一计算子节点的分区号，并返回每一计算子节点的分区号。5.根据权利要求4所述的节点处理方法，其特征在于，所述计算主节点获取所述储存节点的分区总数，基于所述分区总数和所述容量比值获取每一计算子节点的分区号，包括：所述计算主节点获取所述储存节点的分区总数与任一所述比值的乘积值；所述计算主节点将所述乘积值向下取整，获取每个所述计算子节点分配到的分区数；所述计算主节点基于所述分区数，对所述计算子节点进行编号，获取所述计算子节点的分区号。6.根据权利要求5所述的节点处理方法，其特征在于，所述计算主节点基于所述分区数量，对所述计算子节点进行编号，获取所述计算子节点的分区号，包括：所述计算主节点获取未分配计算子节点的储存节点的空分区数量；所述计算主节点对容量排序为空分区数量之前的计算子节点的节点分区数加1；
所述计算主节点基于所述节点分区数，对所述计算子节点进行编号，获取所述计算子节...

【专利技术属性】
技术研发人员：周波，杨莉，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：