【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种数据比对方法、电子设备及存储介质。
技术介绍
1、数据比对是利用服务器将多个数据文件中的数据按照预设的规则进行比对。例如,统计出点位1过车数据文件中和点位2过车数据文件中均经过点位1和点位2的车辆。
2、针对大规模数据场景,为了提高数据文件的比对效率,现有技术将数据分配给服务器集群的多个服务器进行处理,即先将数据文件中的数据加载到多个服务器中,以使多个服务器能够同时执行数据文件比对任务。如果在数据比对的过程中,任意一个服务器出现异常,这时会将异常服务器中的数据平均分配到多个其他正常服务器中,以实现负载均衡。这种处理方式会使得多个服务器在执行数据比对的过程中,还需划分服务器资源从数据库中获取数据,以及对获取的新数据执行比对任务,进而对多个服务器的比对任务的执行效率造成影响,影响范围较大,服务器集群的稳定性低。
技术实现思路
1、本申请实施例提供了一种数据比对方法、电子设备及存储介质,利用哈希环管理数据文件与服务器之间的对应关系,能够降低对正常执行比
...【技术保护点】
1.一种数据比对方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述确定哈希环中与需要比对的目标数据文件对应的第一目标节点,包括:
3.根据权利要求1所述的方法,其特征在于,通过下列方式确定服务器与第二节点的对应关系:
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一目标节点的位置从所述哈希环中选择第二目标节点,包括:
6.根据权利要求1所述的方法,其特征在于,执行所述比对任务的第一服务器包含多个;
...
【技术特征摘要】
1.一种数据比对方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述确定哈希环中与需要比对的目标数据文件对应的第一目标节点,包括:
3.根据权利要求1所述的方法,其特征在于,通过下列方式确定服务器与第二节点的对应关系:
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一目标节点的位置从所述哈希环中选择第二目标节点,包括:
6.根据权利要求1所述的方法,其特征在于,执行所述比对任务的第一服务器包含多个;
7.根据权利要求1所述的方法,其特征在于,所述比对任务是服务器基于所述目标数据文件中数据的生成时间顺序执行的;
8.根据权利要求1~7任一所述的方法,其特征在于,所述比对任务是服务器基于所述目标数据文件中数据的生成时间...
【专利技术属性】
技术研发人员:闵文刚,沈瑜,周道利,马东星,
申请(专利权)人:浙江大华技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。