数据处理方法、计算机设备、存储介质及程序产品技术

技术编号:44745982 阅读:18 留言:0更新日期:2025-03-26 12:35
本申请公开了一种数据处理方法、计算机设备、存储介质及程序产品。本申请基于集群选择指令中确定集群类型不同的第一集群和第二集群。再基于任务选择指令确定第一集群和第二集群的目标任务。然后根据该目标任务和对应的目标任务参数确定待处理数据。最后,基于待处理数据对第一集群和第二集群进行与目标任务对应的数据处理。如此,可以通过自定义的集群选择指令和任务选择指令实现个性化选择集群类型和待处理数据,以进行数据处理,从而提高跨集群的数据处理的灵活性。

【技术实现步骤摘要】

本申请涉及大数据,具体涉及一种数据处理方法、计算机设备、存储介质及程序产品


技术介绍

1、随着大数据时代的发展,一个数据集群如果发生灾难性问题,将会导致业务中断、数据丢失和恢复延迟等后果。因此,通常会使用多集群管理数据。多集群是指在分布式系统中同时管理和运行多个独立的数据集群,每个数据集群都拥有自己的计算和存储资源,并可独立运行和处理工作负载。通过多集群的配置和复制,提供集群双活环境,可以将数据分布和冗余在多个数据集群中,提高数据的可用性和弹性。


技术实现思路

1、针对上述技术问题,本申请实施例提供一种数据处理方法、计算机设备、存储介质及程序产品,提高了跨集群的数据处理的灵活性。

2、第一方面,本申请提供一种数据处理方法,包括:

3、基于集群选择指令确定第一集群和第二集群,第一集群和第二集群的集群类型不同;

4、基于任务选择指令确定针对第一集群和第二集群的目标任务;

5、根据目标任务以及目标任务的任务参数,确定待处理数据;

6、基于待处理数据,对第本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述集群选择指令包括第一选择指令和第二选择指令;所述基于集群选择指令确定第一集群和第二集群,包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述目标任务包括数据迁移,所述任务参数包括迁移范围,所述待处理数据为所述迁移范围内的数据;所述基于所述待处理数据对所述第一集群和所述第二集群进行与所述目标任务对应的数据处理,包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述对所述第二集群中与所述第一数据关联的第二数据进行同步更新,包括:

5...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述集群选择指令包括第一选择指令和第二选择指令;所述基于集群选择指令确定第一集群和第二集群,包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述目标任务包括数据迁移,所述任务参数包括迁移范围,所述待处理数据为所述迁移范围内的数据;所述基于所述待处理数据对所述第一集群和所述第二集群进行与所述目标任务对应的数据处理,包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述对所述第二集群中与所述第一数据关联的第二数据进行同步更新,包括:

5.根据权利要求3所述的数据处理方法,其特征在于,所述将所述第一集群中位于所述迁移范围内的第一数据迁移至所述第二集群的步骤之前,还包括:

6.根据权利要求1所述的数据处理方法,其特征在于,所述目标任务包括数据比对任务,所述任务参数包括比对范围和比对方式,所述待处理数据为所述比对范围内的数据;所述基于所述待处理数据对所述第一集群和所述第二集群进行与所述目标任务对应的数据处理,包括:

7.根据权利要求1所述...

【专利技术属性】
技术研发人员:钱中琴
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1