数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42665997 阅读:30 留言:0更新日期:2024-09-10 12:22
本申请涉及一种数据处理方法、装置、电子设备及存储介质,方法应用于数据处理系统,该数据处理系统可包括多个集群,且多个集群处理的目标数据相同,方法包括:在多个所述集群分别处理所述目标数据的情况下,轮询每个所述集群的数据处理进度;根据每一所述集群的数据处理进度,确定是否存在数据处理完成的目标集群;在确定存在所述目标集群的情况下,将所述目标集群对所述目标数据处理得到的目标结果数据同步至其余所述集群。由此可以实现在多个集群进行数据处理时,保证每个集群的可用性,从而保证下游的业务可以顺利完成,提升用户体验。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据处理方法、装置、电子设备及存储介质


技术介绍

1、随着大数据的发展,在对数据进行反作弊流程清洗的过程中,为了保证处理效率和准确性,多集群计算容灾为非常重要的一环。

2、现有技术中,多集群计算容灾的数据清洗方法为:通过多个集群对待清洗的目标数据进行反作弊清洗流程,且多个集群之间在进行数据处理时是相互独立的,这就导致当一个集群进行数据处理发生故障时,则该集群则无法完成对目标数据的清洗任务,从而导致该集群内的数据不可用,进一步导致下游的业务无法完成,影响用户体验。


技术实现思路

1、本申请提供了一种数据处理方法、装置、电子设备及存储介质,以解决现有技术中多集群计算容灾的数据清洗方法中当一个集群进行数据处理发生故障时,则该集群则无法完成对目标数据的清洗任务,从而导致该集群内的数据不可用,进一步导致下游的业务无法完成,影响用户体验的技术问题。

2、第一方面,本申请提供了一种数据处理方法,应用于数据处理系统,所述数据处理系统包括多个集群,且多个集群处理的目标数本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于数据处理系统,所述数据处理系统包括多个集群,且多个集群处理的目标数据相同,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

3.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

4.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

5.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

6.根据权利要求1所述的方法,其特征在于,在确定存在所述目标...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于数据处理系统,所述数据处理系统包括多个集群,且多个集群处理的目标数据相同,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

3.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

4.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

5.根据权利要求1所述的方法,其特征在于,所述轮询每个所述集群的数据处理进度,包括:

6.根据权利要求1所述的方法,其特征在于,在确定存在所述目标集群的情况下,还包括:

...

【专利技术属性】
技术研发人员:周洁芸李晨曦彭涛马金韬
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1