【技术实现步骤摘要】
本申请涉及大数据,尤其涉及一种数据处理方法、计算机设备、存储介质及计算机程序产品。
技术介绍
1、现有分布式任务调度平台,如基于xxl-job或elastic-job调度平台,采用了中心化管理的架构。在这些调度平台中,调度中心动态地向各个节点分配分片值,节点基于所分配的分片值加载数据。然而,调度中心分配给各个节点的分片值是随机的,这意味着每个节点在每次都可能接收到不同的分片值。由于分片值的随机性,应用服务节点每次都需要基于新的分片值加载数据,增加数据加载和处理的延迟。
技术实现思路
1、本申请实施例公开了一数据处理方法、计算机设备、存储介质及计算机程序产品,降低数据加载和处理的延迟,提高数据处理效率。
2、第一方面,本申请提供了一种数据处理方法,该方法包括:根据数据节点的预设初始值确定第一分片值,第一数据节点向服务注册表写入第一分片值,若第一数据节点向服务注册表已写入第一分片值,则第一数据节点根据第一分片值加载第一数据,第一数据节点为数据节点中的任一个,若第一数据节点向服务注册
...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述若所述第一数据节点向所述服务注册表未写入所述第一分片值,且所述服务注册表中存储的分片值的数量小于预设数据节点总数,则第二数据节点向所述服务注册表写入第二分片值,包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述第二数据节点暂停向所述服务注册表写入第一分片值,并记录暂停时长,包括:
6.根据
...【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述若所述第一数据节点向所述服务注册表未写入所述第一分片值,且所述服务注册表中存储的分片值的数量小于预设数据节点总数,则第二数据节点向所述服务注册表写入第二分片值,包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述第二数据节点暂停向所述服务注册表写入第一分片值,并记录暂停时长,包括:
6.根据权利要求1所述的方法,其特征在于,所述第一数据节点根据所述第一分片值加载第一数据,包括:
7.根据权利要求6所述的方法,其特征在于,在所述第一数据节点根据所述第一分片值加载第一数据之后...
【专利技术属性】
技术研发人员:邓忠林,
申请(专利权)人:马上消费金融股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。