数据校验方法、装置、电子设备及计算机存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据校验方法、装置、电子设备及计算机存储介质。该数据校验方法，包括：获取进行数据同步后的多个数据库节点在第一时刻的数据副本、和多个所述数据库节点第一时刻到第二时刻的日志数据；获取对多个所述数据副本进行数据一致性校验的第一校验结果，和，获取对多个所述日志数据进行数据一致性校验的第二校验结果；根据对应的所述第一校验结果和/或所述第二校验结果，确定多个所述数据库节点的数据一致性结果。该数据校验方法的校验效果更好。法的校验效果更好。法的校验效果更好。

【技术实现步骤摘要】
数据校验方法、装置、电子设备及计算机存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据校验方法、装置、电子设备及计算机存储介质。

技术介绍

[0002]数据库是计算机系统中数据存储的重要工具，随着数据库中存储的数据量的急剧增长，数据库的读写性能会急剧下降。为了解决这一问题，通常会为数据库所在节点增加备节点和只读节点，以达到分散数据库主节点访问压力的目的。而在增加了这些节点的情况下，数据库中就会存在多个节点，就需要保证多个节点之间的数据一致性。
[0003]以MySQL数据库为例，数据库包括主节点、备节点和至少一个只读节点。其中，主节点用于与客户端连接，主节点根据客户端的指示写入数据，该写入的数据会通过日志回放的方式同步到备节点和只读节点。备节点通过复制通道获取到主节点执行的数据操作指令，并将其应用到自己存储的数据上，实现数据同步，在主节点故障时，备节点自动升级为主节点。只读节点也通过复制通道获取到主节点执行的数据操作指令，并将其应用到自己存储的数据上，且对外提供只读访问权限。
[0004]但在数据同步过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据校验方法，包括：获取进行数据同步后的多个数据库节点在第一时刻的数据副本、和多个所述数据库节点第一时刻到第二时刻的日志数据；获取对多个所述数据副本进行数据一致性校验的第一校验结果，和，获取对多个所述日志数据进行数据一致性校验的第二校验结果；根据对应的所述第一校验结果和/或所述第二校验结果，确定多个所述数据库节点的数据一致性结果。2.根据权利要求1所述的方法，其中，所述获取对多个所述数据副本进行数据一致性校验的第一校验结果，包括：获取多个所述数据副本的数据分片；根据多个所述数据分片的记录内容，确定与多个所述数据分片分别对应的多个校验值；根据对多个所述校验值的比对结果，确定第一校验结果。3.根据权利要求2所述的方法，其中，所述获取多个所述数据副本的数据分片，包括：根据多个所述数据副本中目标数据表中的最大记录数量，确定单个数据分片的单片记录数；按照所述单片记录数分别对多个所述数据副本中目标数据表进行切分处理，并获得各所述数据副本对应的数据分片。4.根据权利要求2所述的方法，其中，在获取多个所述数据副本的数据分片之前，所述方法还包括：确定多个所述数据副本中对应的目标数据表包含的字段是否一致；若不一致，则生成并发送数据不一致的告警消息；或者，若一致，则执行获取多个所述数据副本的数据分片的操作。5.根据权利要求2所述的方法，其中，所述多个数据库节点包括主节点、与所述主节点对应的至少一个备节点、和与所述主节点对应的至少一个只读节点；所述多个数据副本中包括第一数据副本和第二数据副本，所述第一数据副本为多个数据库节点中的主节点的数据副本，所述第二数据副本为所述主节点对应的至少一个备节点的数据副本和/或所述主节点对应的至少一个只读节点的副本。6.根据权利要求5所述的方法，其中，所述根据对多个所述校验值的比对结果，确定第一校验结果，包括：将所述第一数据副本的多个数据分片对应的多个校验值，分别与所述第二数据副本中对应的数据分片的校验值进行比对，确定是否存在校验值不一致的数据分片；若存在，则对校验值不一致的数据分片中的记录内容进行比对，并根据比对结果确定所述第一校验结果。7.根据权利要求1所述的方法，其中，所述获取对多个所述日志数据进行数据一致性校验的第二校验结果，包括：对多个所述数据库节点对应的多个所述日志数据分别进行解析，并从解析结果中分别获得多个所述日志数据中用于指示进行过数据变更操作的日志记录；分别对多个所述日志数据的所述日志记录进行哈希计算，获得对应的多个哈希值；
比对所述多个哈希值，并根据比对结果确定所述第二校验结果。8.根据权利要求7所述的方法，其中，所述分别对多个所述日志数据的所述日志记录进行哈希计算，获得对应的多个哈希值，包括：分别确定多个所述日志数据对应的所述日志记录中的第一个数据变更操作对应的操作数据，其中，所述操作数据包括数据变更操作的操作信息及数据变更操作对应的操作结果；根据多个所述日志数据对应的所述第一个数据变更操作对应的操作数据，确定第一哈希值。9.根据权利要求8所述的方法，其中，所述分别对多个所述日志数据对应的所述日志记录进行哈希计算，获得对应的多个哈希值，还包括：针对多个所述日志数据对应的所述日志记录中，除所述第一个数据变更操作之外的其它数据变更操作中的每个数据变更操作，根据当前数据变更操作对应的操作数据，和当前数据变更操作相邻的前一数据变更操作对应的操作数据的哈希值，确定当前数据变更操作对应的日志记录的第二哈希值。10.根据权利要求7所述的方法，其中，所述多个数据库节点包括主节点、与所述主节点对...

【专利技术属性】
技术研发人员：纪翔，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：