【技术实现步骤摘要】
本专利技术涉及互联网数据比对领域，特别是涉及一种多中心数据库数据比对方法。
技术介绍
1、随着现代信息技术的不断发展，数据比对在各个领域变得越来越重要。许多企业和组织依赖于数据比对来保证数据的准确性和一致性。特别是在多中心数据库环境下，数据比对变得尤为关键。多中心数据库通常部署在多个地理位置，以提高性能、可用性和容错能力。这种分布式部署策略在提高性能的同时也引入了数据一致性的挑战。在多机房部署中，特别是在多写入(multi-write)场景下，数据更新可能会在不同机房之间发生冲突，导致数据不一致。这种不一致性可能会导致严重后果，如丢失数据、业务错误或数据损坏。数据比对可以通过对比不同数据库中的数据，发现并解决数据不一致的情况，从而保证数据的准确性和可靠性。
2、目前，解决多中心数据库比对问题的方法有很多，包括手动比对、自动化比对算法和数据匹配技术等。然而，由于多中心数据库的规模和复杂性不断增加，传统的比对方法可能面临性能下降、匹配准确性降低等挑战。因此，迫切需要一种更有效、准确的数据比对方法，以确保多中心数据库的数据一致性和可靠性。因此本专利技术专注于提供一种高效，低传输的比对方法来解决不同规模的多数据中心数据库数据比对问题，以确保多机房数据库的高度一致性，满足现代分布式数据库应用的需求。
技术实现思路
1、
技术介绍
揭示了多机房数据库部署中存在的数据不一致问题，以及现有技术的不足之处。本专利技术提供了一种创新的多中心数据库数据比对方法，旨在解决这些挑战，并确保多机房数据
2、具体而言，本专利技术提供一种多中心数据库数据比对方法，包括以下步骤：
3、步骤1：在不同机房中部署多个服务节点，用以管理本机房的数据库数据，不同机房之间通过网络连接进行实时通信，以支持数据同步和比对操作；
4、步骤2：配置需要比对的数据源、数据库表，并选取用以比对的节点，所述用以比对的节点负责调用其他机房节点以获取数据的摘要，所述用以对比的节点接收到其他机房节点的响应后，开始对数据进行比对，以确定是否存在不一致的数据；具体步骤包括：
5、步骤2-1：所述用以比对的节点根据配置信息，统计所需比对的数据库表中的数据量，若所述数据库表中的数据量超过阈值，则将获取到的数据先写入磁盘；
6、步骤2-2：所述用以比对的节点查询数据库表中的所有主键，每200个主键为一个任务，根据比对数据源的所在机房，多线程调用其他机房节点获取数据的摘要；
7、步骤2-3：对获取到的数据进行比对，记录不一致的数据；
8、步骤3：对不一致的数据进行订正，所述校正方式包括手动订正和自动订正。
9、所述步骤1中，所述实时通信基于远程过程调用协议，用以发出请求并获取其他机房节点的响应；
10、特别地，节点提供的服务包括数据查询和摘要计算，当其它机房的节点通过远程过程调用协议rpc调用服务节点，服务节点对其他机房指定的数据库表进行查询，并计算数据的摘要，所述摘要是使用预定算法生成的数据指纹，将所述摘要作为远程调用的响应。
11、所述步骤1中，特别地，所述预定算法具体包括:获取数据库表每一行的列值，并在此过程中对特定类型的列值进行处理将拼接后的字符串转换为具有固定长度的数据指纹，用以实现数据的唯一标识和快速比对。
12、所述步骤1中，所述列值的特定类型包括date，所述字符串包括时间戳字符串，所述字符串转换的算法包括md5和crc32。
13、所述步骤1中，所述数据库类型包括oracle和mysql；同一机房部署不止一个节点；节点与数据库连接采用数据库连接池。
14、所述步骤3中还包括，将差异数据写入差异报告，并将差异报告反馈给客户端；对于不一致的数据，记录主键作为历史记录进行保存，以便于客户端进行复验。
15、所述步骤3中还包括，所述手动订正要求在每一条不一致的数据中由人工选择需要订正的数据，并决策订正的方式，所述订正的方式包括更新、覆盖和删除，无论是手动订正和自动订正，都会提前记录原始值，用以对错误数据进行回滚。
16、本专利技术所达到的有益效果：
17、(1)本专利技术通过rpc通信，充分利用机器资源，快速对数据进行比对，发现数据不一致性问题；
18、(2)本专利技术适用于不同规模的多中心数据库系统，可根据需要扩展节点数；
19、(3)本专利技术采用摘要计算和高效的比对算法，减少带宽的占用，减少性能的开销；
20、(4)本专利技术能够自动标识和解决不一致数据，减少人工干预。
本文档来自技高网...【技术保护点】
1.一种多中心数据库数据比对方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，所述实时通信基于远程过程调用协议，用以发出请求并获取其他机房节点的响应；
3.如权利要求2所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，特别地，所述预定算法具体包括:获取数据库表每一行的列值，并在此过程中对特定类型的列值进行处理将拼接后的字符串转换为具有固定长度的数据指纹，用以实现数据的唯一标识和快速比对。
4.如权利要求3所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，所述列值的特定类型包括Date，所述字符串包括时间戳字符串，所述字符串转换的算法包括MD5和CRC32。
5.如权利要求4所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，所述数据库类型包括oracle和mysql；同一机房部署不止一个节点；节点与数据库连接采用数据库连接池。
6.如权利要求5所述的一种多中心数据库数据比对方法，其特征在于，所述步骤3中还包括，将差异数据写入差
7.如权利要求6所述的一种多中心数据库数据比对方法，其特征在于，所述步骤3中还包括，所述手动订正要求在每一条不一致的数据中由人工选择需要订正的数据，并决策订正的方式，所述订正的方式包括更新、覆盖和删除，无论是手动订正和自动订正，都会提前记录原始值，用以对错误数据进行回滚。
...【技术特征摘要】
1.一种多中心数据库数据比对方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，所述实时通信基于远程过程调用协议，用以发出请求并获取其他机房节点的响应；
3.如权利要求2所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，特别地，所述预定算法具体包括:获取数据库表每一行的列值，并在此过程中对特定类型的列值进行处理将拼接后的字符串转换为具有固定长度的数据指纹，用以实现数据的唯一标识和快速比对。
4.如权利要求3所述的一种多中心数据库数据比对方法，其特征在于：所述步骤1中，所述列值的特定类型包括date，所述字符串包括时间戳字符串，所述字符串转换的算法包括md5和crc32。
...【专利技术属性】
技术研发人员：吉怀胜，仇东标，
申请(专利权)人：焦点科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。