数据一致性比对方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种数据一致性比对方法、装置、存储介质及电子设备，用于解决现有技术中数据一致性比对效率较低的技术问题。该方法包括：向第一端以及第二端发送数据切分消息，数据切分消息包括数据分片策略以及校验数据格式；获取第一端以及第二端发送的数据分片结果，数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息，其中，分片数据是第一端以及第二端根据分片策略对自身存储的数据进行划分得到的，校验数据是第一端以及第二端按照校验数据格式针对每一分片数据生成的；比对具有相同标识信息的数据分片结果中的校验数据，其中，若校验数据相同，则表明第一端和第二端中标识信息对应的分片数据一致。

【技术实现步骤摘要】
数据一致性比对方法、装置、存储介质及电子设备
本公开涉及数据存储
，具体地，涉及一种数据一致性比对方法、装置、存储介质及电子设备。
技术介绍
在数据库技术的应用领域中，可以从源存储设备中读取数据，并将数据通过中间存储媒介或网络存储至目标存储设备上，以生成数据副本。然而，由于网络、服务器或者软件出现故障，可能会导致部分数据内容不一致或因写入失败而丢失。因此，在对数据库中的数据进行复制时，需要验证源存储设备与目标存储设备中的数据是否一致，以确保数据的安全。在相关技术中，数据库之间的数据进行一致性比对时，是将源存储设备与目标存储设备中的原始数据按照比对中心端制定的分片策略切分，得到分片数据，并将源存储设备与目标存储设备中的同一分片数据依次上传至比对中心端进行比对。这样，在海量数据或者网络带宽有限的应用场景下，数据上传会耗费大量网络带宽与等待时间，形成性能瓶颈，造成数据一致性比对效率低。
技术实现思路
本公开的目的是提供一种数据一致性比对方法、装置、存储介质及电子设备，用于解决现有技术中数据一致性比对效率较低的技术问题。为了实现上述目的，本公开第一方面提供一种数据一致性比对方法，应用于比对端，所述方法包括：向第一端以及第二端发送数据切分消息，所述数据切分消息包括数据分片策略以及校验数据格式；获取所述第一端以及所述第二端发送的数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息，其中，所述分片数据是所述第一端以及所述第二端根据所述分片策略对自身存储的数据进行划分得到的，所述校验数据是所述第一端以及所述第二端按照所述校验数据格式针对每一分片数据生成的；比对具有相同标识信息的数据分片结果中的校验数据，其中，若所述校验数据相同，则表明所述第一端和所述第二端中所述标识信息对应的分片数据一致。可选地，所述方法还包括：在获取所述第一端以及所述第二端发送的数据分片结果之后，将所述第一端发送的数据分片结果存储至第一缓存中，将所述第二端发送的数据分片结果存储至第二缓存中；所述比对具有相同标识信息的数据分片结果中的校验数据，包括：启动多个线程分别读取所述第一缓存中以及所述第二缓存中具有相同标识信息的数据分片结果中的校验数据；判断具有相同标识信息的数据分片结果中的校验数据是否相同。可选地，所述方法还包括：若具有相同标识信息的数据分片结果中的校验数据相同，则向所述第一端以及所述第二端发送缓存清除指令；其中，所述缓存清除指令用于指示所述第一端以及所述第二端清除相同校验数据所对应的分片数据的缓存。可选地，所述方法还包括：若具有某一相同标识信息的数据分片结果中的校验数据不相同，则向所述第一端以及所述第二端发送数据回送请求；若某一标识信息在所述第一缓存以及所述第二缓存中未同时存在，则向所述标识信息所在缓存对应的数据端发送数据回送请求；其中，所述数据回送请求包括标识信息，用于请求数据端返回所述标识信息对应的分片数据；比对所述第一端回送的分片数据以及所述第二端回送的分片数据，得到数据差异信息。本公开第二方面提供一种数据一致性比对方法，所述方法包括：接收比对端发送的数据切分消息；根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分，得到分片数据以及每一所述分片数据的标识信息；并根据所述数据切分消息中的校验数据格式，生成每一所述分片数据的校验数据；向所述比对端发送数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息。可选地，所述方法还包括：接收所述比对端发送的缓存清除指令，所述缓存清除指令包括分片数据的标识信息；根据所述缓存清除指令清除所述分片数据的标识信息对应的分片数据的缓存。可选地，所述方法还包括：接收所述比对端发送的数据回送请求，所述数据回送请求包括分片数据的标识信息；根据所述数据回送请求向比对端发送所述分片数据的标识信息对应的分片数据。可选地，在根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分之前，所述方法还包括：判断自身存储的所有数据的数据量是否大于预设数据量阈值；所述根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分，包括：在所述数据量大于所述预设数据量阈值时，根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分；所述方法还包括：在所述数据量小于所述预设数据量阈值时，直接发送所述数据至比对端进行数据比对。本公开第三方面提供一种数据一致性比对装置，所述装置包括：切分消息发送模块，用于向第一端以及第二端发送数据切分消息，所述数据切分消息包括数据分片策略以及校验数据格式；分片结果获取模块，用于获取所述第一端以及所述第二端发送的数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息，其中，所述分片数据是所述第一端以及所述第二端根据所述分片策略对自身存储的数据进行划分得到的，所述校验数据是所述第一端以及所述第二端按照所述校验数据格式针对每一分片数据生成的；比对模块，用于比对具有相同标识信息的数据分片结果中的校验数据，其中，若所述校验数据相同，则表明所述第一端和所述第二端中所述标识信息对应的分片数据一致。可选地，所述装置还包括：存储模块，用于在获取所述第一端以及所述第二端发送的数据分片结果之后，将所述第一端发送的数据分片结果存储至第一缓存中，将所述第二端发送的数据分片结果存储至第二缓存中；所述比对模块包括：数据读取子模块，用于启动多个线程分别读取所述第一缓存中以及所述第二缓存中具有相同标识信息的数据分片结果中的校验数据；判断子模块，用于判断具有相同标识信息的数据分片结果中的校验数据是否相同。可选地，所述装置还包括：清除指令发送模块，用于具有相同标识信息的数据分片结果中的校验数据相同时，向所述第一端以及所述第二端发送缓存清除指令；其中，所述缓存清除指令用于指示所述第一端以及所述第二端清除相同校验数据所对应的分片数据的缓存。可选地，所述装置还包括：回送请求发送模块，用于具有某一相同标识信息的数据分片结果中的校验数据不相同时，向所述第一端以及所述第二端发送数据回送请求；所述回送请求发送模块，还用于某一标识信息在所述第一缓存以及所述第二缓存中未同时存在时，向所述标识信息所在缓存对应的数据端发送数据回送请求；其中，所述数据回送请求包括标识信息，用于请求数据端返回所述标识信息对应的分片数据；所述比对模块，用于比对所述第一端回送的分片数据以及所述第二端回送的分片数据，得到数据差异信息。本公开第四方面提供一种数据库管理装置，所述装置包括：切分消息接收模块，用于接收比对端发送的数据切分消息；数据切分模块，用于根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分，得到分片数据以及每一所述分片数据的标识信息；并根据所述数据切分消息中的校验数据格式，生成每一所述分片数据的校验数据；分片结果发送模块，用于向所述比对端发送数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息。可选地，所述装置还包括：清除指令接收模块，用于接收所述比对端发送的缓存清除指令，所述缓存清除指令包括分片数据的标识信息；缓存清除模块，用于根据所述缓存清除指令清除所述分片数据的标识信息对应的分片数据的缓存。可选地，所述装置还包括：本文档来自技高网...

【技术保护点】
1.一种数据一致性比对方法，应用于比对端，其特征在于，所述方法包括：向第一端以及第二端发送数据切分消息，所述数据切分消息包括数据分片策略以及校验数据格式；获取所述第一端以及所述第二端发送的数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息，其中，所述分片数据是所述第一端以及所述第二端根据所述分片策略对自身存储的数据进行划分得到的，所述校验数据是所述第一端以及所述第二端按照所述校验数据格式针对每一分片数据生成的；比对具有相同标识信息的数据分片结果中的校验数据，其中，若所述校验数据相同，则表明所述第一端和所述第二端中所述标识信息对应的分片数据一致。

【技术特征摘要】
1.一种数据一致性比对方法，应用于比对端，其特征在于，所述方法包括：向第一端以及第二端发送数据切分消息，所述数据切分消息包括数据分片策略以及校验数据格式；获取所述第一端以及所述第二端发送的数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息，其中，所述分片数据是所述第一端以及所述第二端根据所述分片策略对自身存储的数据进行划分得到的，所述校验数据是所述第一端以及所述第二端按照所述校验数据格式针对每一分片数据生成的；比对具有相同标识信息的数据分片结果中的校验数据，其中，若所述校验数据相同，则表明所述第一端和所述第二端中所述标识信息对应的分片数据一致。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在获取所述第一端以及所述第二端发送的数据分片结果之后，将所述第一端发送的数据分片结果存储至第一缓存中，将所述第二端发送的数据分片结果存储至第二缓存中；所述比对具有相同标识信息的数据分片结果中的校验数据，包括：启动多个线程分别读取所述第一缓存中以及所述第二缓存中具有相同标识信息的数据分片结果中的校验数据；判断具有相同标识信息的数据分片结果中的校验数据是否相同。3.一种数据一致性比对方法，其特征在于，所述方法包括：接收比对端发送的数据切分消息；根据所述数据切分消息中的数据分片策略对自身存储的数据进行划分，得到分片数据以及每一所述分片数据的标识信息；并根据所述数据切分消息中的校验数据格式，生成每一所述分片数据的校验数据；向所述比对端发送数据分片结果，所述数据分片结果包括每一分片数据的校验数据以及每一分片数据的标识信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：接收所述比对端发送的缓存清除指令，所述缓存清除指令包括分片数据的标识信息；根据所述缓存清除指令清除所述分片数据的标识信息对应的分片数据的缓存。5.一...

【专利技术属性】
技术研发人员：王政操，肖宇，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21