数据一致性比对方法、装置、存储介质及电子设备制造方法及图纸

技术编号:19593342 阅读:26 留言:0更新日期:2018-11-28 04:52
本公开涉及一种数据一致性比对方法、装置、存储介质及电子设备,用于解决现有技术中数据一致性比对效率较低的技术问题。该方法包括:向第一端以及第二端发送数据切分消息,数据切分消息包括数据分片策略以及校验数据格式;获取第一端以及第二端发送的数据分片结果,数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息,其中,分片数据是第一端以及第二端根据分片策略对自身存储的数据进行划分得到的,校验数据是第一端以及第二端按照校验数据格式针对每一分片数据生成的;比对具有相同标识信息的数据分片结果中的校验数据,其中,若校验数据相同,则表明第一端和第二端中标识信息对应的分片数据一致。

【技术实现步骤摘要】
数据一致性比对方法、装置、存储介质及电子设备
本公开涉及数据存储
,具体地,涉及一种数据一致性比对方法、装置、存储介质及电子设备。
技术介绍
在数据库技术的应用领域中,可以从源存储设备中读取数据,并将数据通过中间存储媒介或网络存储至目标存储设备上,以生成数据副本。然而,由于网络、服务器或者软件出现故障,可能会导致部分数据内容不一致或因写入失败而丢失。因此,在对数据库中的数据进行复制时,需要验证源存储设备与目标存储设备中的数据是否一致,以确保数据的安全。在相关技术中,数据库之间的数据进行一致性比对时,是将源存储设备与目标存储设备中的原始数据按照比对中心端制定的分片策略切分,得到分片数据,并将源存储设备与目标存储设备中的同一分片数据依次上传至比对中心端进行比对。这样,在海量数据或者网络带宽有限的应用场景下,数据上传会耗费大量网络带宽与等待时间,形成性能瓶颈,造成数据一致性比对效率低。
技术实现思路
本公开的目的是提供一种数据一致性比对方法、装置、存储介质及电子设备,用于解决现有技术中数据一致性比对效率较低的技术问题。为了实现上述目的,本公开第一方面提供一种数据一致性比对方法,应用于比对本文档来自技高网...

【技术保护点】
1.一种数据一致性比对方法,应用于比对端,其特征在于,所述方法包括:向第一端以及第二端发送数据切分消息,所述数据切分消息包括数据分片策略以及校验数据格式;获取所述第一端以及所述第二端发送的数据分片结果,所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息,其中,所述分片数据是所述第一端以及所述第二端根据所述分片策略对自身存储的数据进行划分得到的,所述校验数据是所述第一端以及所述第二端按照所述校验数据格式针对每一分片数据生成的;比对具有相同标识信息的数据分片结果中的校验数据,其中,若所述校验数据相同,则表明所述第一端和所述第二端中所述标识信息对应的分片数据一致。

【技术特征摘要】
1.一种数据一致性比对方法,应用于比对端,其特征在于,所述方法包括:向第一端以及第二端发送数据切分消息,所述数据切分消息包括数据分片策略以及校验数据格式;获取所述第一端以及所述第二端发送的数据分片结果,所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息,其中,所述分片数据是所述第一端以及所述第二端根据所述分片策略对自身存储的数据进行划分得到的,所述校验数据是所述第一端以及所述第二端按照所述校验数据格式针对每一分片数据生成的;比对具有相同标识信息的数据分片结果中的校验数据,其中,若所述校验数据相同,则表明所述第一端和所述第二端中所述标识信息对应的分片数据一致。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:在获取所述第一端以及所述第二端发送的数据分片结果之后,将所述第一端发送的数据分片结果存储至第一缓存中,将所述第二端发送的数据分片结果存储至第二缓存中;所述比对具有相同标识信息的数据分片结果中的校验数据,包括:启动多个线程分别读取所述第一缓存中以及所述第二缓存中具有相同标识信息的数据分片结果中的校验数据;判断具有相同标识信息的数据分片结果中的校验数据是否相同。3.一种数据一致性比对方法,其特征在于,所述方法包括:接收比对端发送的数据切分消息;根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分,得到分片数据以及每一所述分片数据的标识信息;并根据所述数据切分消息中的校验数据格式,生成每一所述分片数据的校验数据;向所述比对端发送数据分片结果,所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:接收所述比对端发送的缓存清除指令,所述缓存清除指令包括分片数据的标识信息;根据所述缓存清除指令清除所述分片数据的标识信息对应的分片数据的缓存。5.一...

【专利技术属性】
技术研发人员:王政操肖宇
申请(专利权)人:东软集团股份有限公司
类型:发明
国别省市:辽宁,21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1