数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40675176 阅读:25 留言:0更新日期:2024-03-18 19:12
本申请涉及一种数据处理方法、装置、计算机设备和存储介质。方法包括:获取待处理数据;对待处理数据进行预分片处理,得到多个任务分片对应的分片执行数据;根据各任务分片的分片执行数据对当前任务分片的执行权限进行抢夺;当抢夺到当前任务分片的执行权限时,根据当前任务分片的分片执行数据对待处理数据进行数据切分并处理。采用本方法能够不需要设置中心节点以及维护中心化状态,简化了设计,减少了状态管理的开销和风险。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种数据处理方法、装置、计算机设备和存储介质


技术介绍

1、随着互联网和信息技术的迅猛发展,面临着海量的数据和耗时的任务处理需求。传统的串行处理方式无法满足这些需求,因此,分布式计算应运而生。

2、分布式计算是一种利用多台计算机或计算资源进行并行计算和任务分解的方法。具体通过将任务划分为多个子任务,并分发给不同的计算节点进行处理,实现了任务的并行执行和资源的共享利用。然而,传统的分布式计算方案很多采用中心化处理,需要维护中心化状态,中心节点信息需要同步到执行节点,执行节点需要和中心节点保持心跳连接,上报中心节点状态,如果中心节点不可用,整个服务不可用。

3、因此,传统的分布式计算方案需要协调中心化与执行节点,存在数据处理效率低下的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种数据处理方法、装置、计算机设备和存储介质。

2、一种数据处理方法,上述的方法包括:

3、获取待处理数据;

4、对待处理数据进行本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述待处理数据进行预分片处理,得到多个任务分片对应的分片执行数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述当前任务分片的分片执行数据包括处理状态,所述根据各所述任务分片的分片执行数据对当前任务分片的执行权限进行抢夺,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法应用于分布式计算节点,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,各所述任务分片中包括至少一条数据记录,所述抢夺预先设定的分布式锁之前,所述方法...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述待处理数据进行预分片处理,得到多个任务分片对应的分片执行数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述当前任务分片的分片执行数据包括处理状态,所述根据各所述任务分片的分片执行数据对当前任务分片的执行权限进行抢夺,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法应用于分布式计算节点,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,各所述任务分片中包括至少一条数据记录,所述抢夺预先设定的...

【专利技术属性】
技术研发人员:曹宸
申请(专利权)人:上海数禾信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1