【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
1、随着大数据的发展，在对数据进行反作弊流程清洗的过程中，为了保证处理效率和准确性，多集群计算容灾为非常重要的一环。
2、现有技术中，多集群计算容灾的数据清洗方法为：通过多个集群对待清洗的目标数据进行反作弊清洗流程，且多个集群之间在进行数据处理时是相互独立的，这就导致当一个集群进行数据处理发生故障时，则该集群则无法完成对目标数据的清洗任务，从而导致该集群内的数据不可用，进一步导致下游的业务无法完成，影响用户体验。
技术实现思路
1、本申请提供了一种数据处理方法、装置、电子设备及存储介质，以解决现有技术中多集群计算容灾的数据清洗方法中当一个集群进行数据处理发生故障时，则该集群则无法完成对目标数据的清洗任务，从而导致该集群内的数据不可用，进一步导致下游的业务无法完成，影响用户体验的技术问题。
2、第一方面，本申请提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括多个集群，且多个集群处理的目标数据相同，所述方法包括：
3、在多个所述集群分别处理所述目标数据的情况下，轮询每个所述集群的数据处理进度；
4、根据每一所述集群的数据处理进度，确定是否存在数据处理完成的目标集群；
5、在确定存在所述目标集群的情况下，将所述目标集群对所述目标数据处理得到的目标结果数据同步至其余所述集群。
6、作为一可能的实现方式，所述轮询每个所述集
7、通过预设的轮询服务定时或实时轮询每个所述集群的数据处理进度。
8、作为一可能的实现方式，所述轮询每个所述集群的数据处理进度，包括：
9、轮询多个所述集群，并确定轮询到的集群是否生成预设空文件；
10、若轮询到的所述集群生成所述预设空文件，则确定所述集群的数据处理进度为数据处理完成；
11、若轮询到的所述集群未生成所述预设空文件，则确定所述集群的数据处理进度为数据处理中。
12、作为一可能的实现方式，所述轮询每个所述集群的数据处理进度，包括：
13、轮询多个所述集群，并确定轮询到的集群是否生成预设标识；
14、若轮询到的所述集群生成所述预设标识，则确定所述集群的数据处理进度为数据处理完成；
15、若轮询到的所述集群未生成所述预设标识，则确定所述集群的数据处理进度为数据处理中。
16、作为一可能的实现方式，所述轮询每个所述集群的数据处理进度，包括：
17、轮询多个所述集群，并向轮询到的所述集群发送进度请求信息；在接收到轮询到的所述集群反馈的数据处理完成的应答信息时，确定该集群的数据处理进度为数据处理完成；
18、在未接收到轮询到的所述集群反馈的数据处理完成的应答信息时，确定该集群的数据处理进度为数据处理中。
19、作为一可能的实现方式，在确定存在所述目标集群的情况下，还包括：
20、停止轮询每个所述集群的数据处理进度，并控制数据处理进度为数据处理中的其他集群停止处理所述目标数据。
21、作为一可能的实现方式，多个所述集群在对目标数据处理完成后，将处理得到的所述目标结果数据存储至相同名称的数据表中；
22、所述将所述目标集群对所述目标数据处理得到的目标结果数据同步至其余所述集群，包括：
23、将所述目标集群对所述目标数据处理得到的目标结果数据所在的数据表拷贝至其他集群中。
24、第二方面，本申请提供了一种数据处理装置，应用于数据处理系统，所述数据处理系统包括多个集群，且多个集群处理的目标数据相同，所述装置包括：
25、轮询模块，用于在多个所述集群分别处理所述目标数据的情况下，轮询每个所述集群的数据处理进度；
26、确定模块，用于根据每一所述集群的数据处理进度，确定是否存在数据处理完成的目标集群；
27、拷贝模块，用于在确定存在所述目标集群的情况下，将所述目标集群对所述目标数据处理得到的目标结果数据同步至其余所述集群。
28、作为一可能的实现方式，所述轮询模块，具体用于：
29、通过预设的轮询服务定时或实时轮询每个所述集群的数据处理进度。
30、作为一可能的实现方式，所述轮询模块，具体用于：
31、轮询多个所述集群，并确定轮询到的集群是否生成预设空文件；
32、若轮询到的所述集群生成所述预设空文件，则确定所述集群的数据处理进度为数据处理完成；
33、若轮询到的所述集群未生成所述预设空文件，则确定所述集群的数据处理进度为数据处理中。
34、作为一可能的实现方式，所述轮询模块，具体用于：
35、轮询多个所述集群，并确定轮询到的集群是否生成预设标识；
36、若轮询到的所述集群生成所述预设标识，则确定所述集群的数据处理进度为数据处理完成；
37、若轮询到的所述集群未生成所述预设标识，则确定所述集群的数据处理进度为数据处理中。
38、作为一可能的实现方式，所述轮询模块，具体用于：
39、轮询多个所述集群，并向轮询到的所述集群发送进度请求信息；
40、在接收到轮询到的所述集群反馈的数据处理完成的应答信息时，确定该集群的数据处理进度为数据处理完成；
41、在未接收到轮询到的所述集群反馈的数据处理完成的应答信息时，确定该集群的数据处理进度为数据处理中。
42、作为一可能的实现方式，所述装置还包括：
43、控制模块，用于在确定存在所述目标集群的情况下，停止轮询每个所述集群的数据处理进度，并控制数据处理进度为数据处理中的其他集群停止处理所述目标数据。
44、作为一可能的实现方式，多个所述集群在对目标数据处理完成后，将处理得到的所述目标结果数据存储至相同名称的数据表中；所述拷贝模块，具体用于：
45、将所述目标集群对所述目标数据处理得到的目标结果数据所在的数据表拷贝至其他集群中。
46、第三方面，本申请提供了一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据处理程序，以实现第一方面中任一项所述的数据处理方法。
47、第四方面，本申请提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一项所述的数据处理方法。
48、本申请实施例提供的技术方案，通过在多个集群处理目标数据的情况下，轮询每个集群的数据处理进度，根据每一集群的数据处理进度，确定是否存在数据处理完成的目标集群，在确定存在目标集群的情况下，将目标集群对目标数据处理得到的目标结果数据同步至其余集群。这一技术方案，通过在多个集群进行数据处理时，轮询每个集群的数据处理进度，并在轮询到任意一个集群本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括多个集群，且多个集群处理的目标数据相同，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
3.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
4.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
5.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
6.根据权利要求1所述的方法，其特征在于，在确定存在所述目标集群的情况下，还包括：
7.根据权利要求1所述的方法，其特征在于，多个所述集群在对目标数据处理完成后，将处理得到的所述目标结果数据存储至相同名称的数据表中；
8.一种数据处理装置，其特征在于，应用于数据处理系统，所述数据处理系统包括多个集群，且多个集群处理的目标数据相同，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括多个集群，且多个集群处理的目标数据相同，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
3.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
4.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
5.根据权利要求1所述的方法，其特征在于，所述轮询每个所述集群的数据处理进度，包括：
6.根据权利要求1所述的方法，其特征在于，在确定存在所述目标集群的情况下，还包括：
...【专利技术属性】
技术研发人员：周洁芸，李晨曦，彭涛，马金韬，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。