System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、计算机设备、存储介质及计算机程序产品技术_技高网

数据处理方法、计算机设备、存储介质及计算机程序产品技术

技术编号:43846743 阅读:16 留言:0更新日期:2024-12-31 18:40
本申请提供一种数据处理方法、计算机设备、存储介质及计算机程序产品,该方法包括根据数据节点的预设初始值确定第一分片值。第一数据节点向服务注册表写入第一分片值,若第一数据节点向服务注册表已写入第一分片值,则第一数据节点根据第一分片值加载第一数据,第一数据节点为数据节点中的任一个,若第一数据节点向服务注册表未写入第一分片值,且服务注册表中所存储的分片值的数量小于预设数据节点总数,则第二数据节点向服务注册表写入第二分片值,第二数据节点为数据节点中向服务注册表未写入第一分片值的数据节点,可以降低数据加载和处理的延迟,提高数据处理效率。

【技术实现步骤摘要】

本申请涉及大数据,尤其涉及一种数据处理方法、计算机设备、存储介质及计算机程序产品


技术介绍

1、现有分布式任务调度平台,如基于xxl-job或elastic-job调度平台,采用了中心化管理的架构。在这些调度平台中,调度中心动态地向各个节点分配分片值,节点基于所分配的分片值加载数据。然而,调度中心分配给各个节点的分片值是随机的,这意味着每个节点在每次都可能接收到不同的分片值。由于分片值的随机性,应用服务节点每次都需要基于新的分片值加载数据,增加数据加载和处理的延迟。


技术实现思路

1、本申请实施例公开了一数据处理方法、计算机设备、存储介质及计算机程序产品,降低数据加载和处理的延迟,提高数据处理效率。

2、第一方面,本申请提供了一种数据处理方法,该方法包括:根据数据节点的预设初始值确定第一分片值,第一数据节点向服务注册表写入第一分片值,若第一数据节点向服务注册表已写入第一分片值,则第一数据节点根据第一分片值加载第一数据,第一数据节点为数据节点中的任一个,若第一数据节点向服务注册表未写入第一分片值,且服务注册表中所存储的分片值的数量小于预设数据节点总数,则第二数据节点向服务注册表写入第二分片值,第二数据节点为数据节点中向服务注册表未写入第一分片值的数据节点。

3、在本申请实施例中,数据节点均根据预设初始值确定第一分片值,并向服务注册表写入第一分片值。第一数据节点向服务注册表已写入第一分片值,则第一数据节点根据第一分片值加载第一数据。也即数据节点向服务注册表已写入第一分片值,则数据节点可以根据第一分片值加载对应的数据,从而允许数据节点利用缓存机制来减少数据加载的延迟,提高了数据访问的效率和速度。

4、具体地,第一数据节点向服务注册表未写入第一分片值,且服务注册表中所存储的分片值的数量小于预设数据节点总数,则第二数据节点向服务注册表写入第二分片值,也即对于向服务注册表未写入第一分片值的数据节点,该数据节点可以继续确定下一分片值,如第二分片值,第一分片值与第二分片值不同,确保每一数据节点已写入的分片值不同,由此,向服务注册表已写入分片值的数据节点均可以根据各自所写入的分片值加载对应的数据,也即每个数据节点所获得的分片值唯一且固定。基于每个数据节点所获得的分片值唯一且固定在出现数据节点故障时,其他数据节点仍可以基于其竞争成功的分片值加载数据,减少数据节点故障时对其他数据节点的影响。基于各个数据节点执行实施例提供一种数据处理方法,各个数据节点自己管理自己的调度,未采用中心化管理架构,则可以避免采样中心化管理所带来的缺陷。

5、第二方面,本申请提供了一种计算机设备,计算机设备包括处理器和存储器,处理器执行存储器中存储的计算机程序时实现如上任意一项的数据处理方法。

6、第三方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有至少一个指令,至少一个指令被处理器执行时实现如上任意一项的数据处理方法。

7、第四方面,本申请提供了一种计算机程序产品,计算机程序产品存储有至少一个指令,至少一个指令被处理器执行时实现如上任意一项的数据处理方法。

8、第二方面至第三方面所带来的技术效果可参见上述方法部分各设计的方法相关的描述,此处不再赘述。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述若所述第一数据节点向所述服务注册表未写入所述第一分片值,且所述服务注册表中存储的分片值的数量小于预设数据节点总数,则第二数据节点向所述服务注册表写入第二分片值,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述第二数据节点暂停向所述服务注册表写入第一分片值,并记录暂停时长,包括:

6.根据权利要求1所述的方法,其特征在于,所述第一数据节点根据所述第一分片值加载第一数据,包括:

7.根据权利要求6所述的方法,其特征在于,在所述第一数据节点根据所述第一分片值加载第一数据之后,所述方法还包括:

8.根据权利要求6所述的方法,其特征在于,在所述第一数据节点根据所述第一分片值加载第一数据之后,所述方法还包括:

9.根据权利要求6所述的方法,其特征在于,在所述第一数据节点根据所述第一分片值获取第一数据之后,所述方法还包括:

10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至9中任意一项所述的方法。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至9中任意一项所述的方法。

12.一种计算机程序产品,其特征在于,所述计算机程序产品存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至9中任意一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述若所述第一数据节点向所述服务注册表未写入所述第一分片值,且所述服务注册表中存储的分片值的数量小于预设数据节点总数,则第二数据节点向所述服务注册表写入第二分片值,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述第二数据节点暂停向所述服务注册表写入第一分片值,并记录暂停时长,包括:

6.根据权利要求1所述的方法,其特征在于,所述第一数据节点根据所述第一分片值加载第一数据,包括:

7.根据权利要求6所述的方法,其特征在于,在所述第一数据节点根据所述第一分片值加载第一数据之后...

【专利技术属性】
技术研发人员:邓忠林
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1