【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据处理方法。
技术介绍
1、随着科技的发展，越来越多的数据需要存储，目前采用一种大集群的方法对存储系统进行扩展，该大集群中存在多个节点。
2、但是，现有的大集群在集群规模较小时具有良好的表现，但节点数较大的情况下，存在广播风暴的问题，主要原因是每一个节点都会与集群内其他的任意节点发生元数据交换行为，数据包数量呈节点数的倍数增长，如在一个1000个节点的集群中，每增加一个节点，就会带来1000个数据包的增量，一般工程上，集群中的节点数量超过1000个时就会存在性能问题。
3、节点故障影响大，大集群中的master节点发生故障时，会导致整个集群重新选举，存在一个选举时间窗口的出现整个集群不可用状态，当节点数量达到一定程度后，集群内每一台机器发生故障都会引起整个集群存在一个不可用的时间窗口，这个时间窗口几秒到十几秒不等，当集群节点数量较大时，集群中有节点发生故障的风险越来越大，影响时长越来越长，在高可用要求极高的金融场景下这几乎是不可接受的。
4、大集群横向扩展节点时，进行...
【技术保护点】
1.一种数据处理方法，其特征在于，适用于包括至少一个代理服务节点和至少一个存储子集群的数据存储系统；其中，任一存储子集群内的存储节点的数量少于设定阈值，且各存储子集群相互独立；所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述确定所述数据存储系统中需进行数据迁移的第三存储子集群之后，还包括：
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述第二数据处理请求对应的第二数据为存量增量数据以及所述存...
【技术特征摘要】
1.一种数据处理方法，其特征在于，适用于包括至少一个代理服务节点和至少一个存储子集群的数据存储系统；其中，任一存储子集群内的存储节点的数量少于设定阈值，且各存储子集群相互独立；所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述确定所述数据存储系统中需进行数据迁移的第三存储子集群之后，还包括：
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述第二数据处理请求对应的第二数据为存量增量数据以及所述存储位置变化信息，对所述第二数据处理请求进行处理，包括：
6.如权利要求4...
【专利技术属性】
技术研发人员：熊梦飞，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。