一种数据比对方法、电子设备及存储介质技术

技术编号:42206544 阅读:24 留言:0更新日期:2024-07-30 18:50
本申请涉及数据比对技术领域,具体涉及一种数据比对方法、电子设备及存储介质,该方法包括:响应比对指令,确定哈希环中与需要比对的目标数据文件对应的第一目标节点;基于第一目标节点的位置从哈希环中选择第二目标节点,并触发第二目标节点对应的第一服务器执行比对指令对应的比对任务;在第一服务器进行目标数据文件比对的过程中发生异常,则基于目标数据文件对应的第一目标节点的位置从哈希环的多个第二节点中重新选择第二目标节点,并触发重新选择的第二目标节点的第二服务器执行比对指令对应的比对任务。能够在某些服务器异常时,降低对正常执行比对任务的服务器的执行效率受到的影响,提高系统的稳定性。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据比对方法、电子设备及存储介质


技术介绍

1、数据比对是利用服务器将多个数据文件中的数据按照预设的规则进行比对。例如,统计出点位1过车数据文件中和点位2过车数据文件中均经过点位1和点位2的车辆。

2、针对大规模数据场景,为了提高数据文件的比对效率,现有技术将数据分配给服务器集群的多个服务器进行处理,即先将数据文件中的数据加载到多个服务器中,以使多个服务器能够同时执行数据文件比对任务。如果在数据比对的过程中,任意一个服务器出现异常,这时会将异常服务器中的数据平均分配到多个其他正常服务器中,以实现负载均衡。这种处理方式会使得多个服务器在执行数据比对的过程中,还需划分服务器资源从数据库中获取数据,以及对获取的新数据执行比对任务,进而对多个服务器的比对任务的执行效率造成影响,影响范围较大,服务器集群的稳定性低。


技术实现思路

1、本申请实施例提供了一种数据比对方法、电子设备及存储介质,利用哈希环管理数据文件与服务器之间的对应关系,能够降低对正常执行比对任务的服务器的执行本文档来自技高网...

【技术保护点】

1.一种数据比对方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定哈希环中与需要比对的目标数据文件对应的第一目标节点,包括:

3.根据权利要求1所述的方法,其特征在于,通过下列方式确定服务器与第二节点的对应关系:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述第一目标节点的位置从所述哈希环中选择第二目标节点,包括:

6.根据权利要求1所述的方法,其特征在于,执行所述比对任务的第一服务器包含多个;

7.根据权利要求1所...

【技术特征摘要】

1.一种数据比对方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定哈希环中与需要比对的目标数据文件对应的第一目标节点,包括:

3.根据权利要求1所述的方法,其特征在于,通过下列方式确定服务器与第二节点的对应关系:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述第一目标节点的位置从所述哈希环中选择第二目标节点,包括:

6.根据权利要求1所述的方法,其特征在于,执行所述比对任务的第一服务器包含多个;

7.根据权利要求1所述的方法,其特征在于,所述比对任务是服务器基于所述目标数据文件中数据的生成时间顺序执行的;

8.根据权利要求1~7任一所述的方法,其特征在于,所述比对任务是服务器基于所述目标数据文件中数据的生成时间...

【专利技术属性】
技术研发人员:闵文刚沈瑜周道利马东星
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1