本发明专利技术公开了一种跨系统数据一致性稽核方法，通过将发起端和接收端数据库的变更数据分别同步至第三方平台数据库中对应的目标数据表，再通过对应表上的触发器逻辑，实现变动数据的准实时比对。本发明专利技术中，由同步软件保障变动数据采集和传送的准确性与实时性，再通过少量的数据库触发器逻辑开发，就可以自动进行不同系统间的数据一致性稽核及修复，大大提升了不同系统间数据一致性稽核的效率，且对发起端系统和接收端系统的数据表不产生压力，当数据表数据变动频繁时，数据入表可以堆积在CDC队列，自动变成异步比对，解决了传统数据一致性稽核方法存在的问题，具有标准化、简单化、适用性广的特点。用性广的特点。用性广的特点。
【技术实现步骤摘要】
跨系统数据一致性稽核方法及装置
[0001]本专利技术涉及数据一致性稽核
，特别涉及一种跨系统数据一致性稽核方法及装置。
技术介绍
[0002]随着数据交换和数据共享应用的不断深入，用户端之间经常需要对数据进行双向同步，并需要对同步的数据进行一致性稽核。现有的数据一致性稽核方法，一般可分为如下几类：
[0003]1.通过发起端系统数据库表与接收端系统数据库表使用同步的时间戳进行批量比对，根据比对差异实现数据一致性修复。
[0004]2.通过数据库表触发器机制，在接收端系统数据库表数据改变时，触发对发起端系统的相关数据进行反向查询比对，实现数据一致性稽核。
[0005]3.开发第三方稽核程序，实时捕获发起端系统数据库表的数据改变，同时捕获接收端系统数据库表的数据改变，通过对比增量改变实现数据一致性修复。
[0006]第一种方法效率较低，且实时性较弱，当发起端系统表和接受方系统表较大时，会造成对发起端和接收端的系统压力增加，此外该种方法对表无时间戳字段的情况下，无法进行比对。
[0007]第二种方法实时性较高，可以实现增量比对，但必须是在发起端和接收端系统均在可方便访问的域内系统时可实现，接收端系统数据库表的触发器逻辑仍然会导致接受方系统压力增加，特别是在数据频繁变动的情况下，可能出现问题，此外在极端情况下存在缺陷，如接受方触发反向查询比对后，发起端的对应数据又发生变动，可能导致比对不准确。
[0008]第三种方法完全依赖于第三方稽核程序的逻辑实现方法，其中第三方稽核程序要保障从发起端系统和接收端系统的实时数据捕获的可靠性，保证不丢失或重复捕获数据，同时通过稽核程序逻辑进行对应数据的实时比对，其对第三方稽核程序的逻辑实现要求较高、实现复杂。
技术实现思路
[0009]本专利技术要解决的技术问题是提供了一种跨系统数据一致性稽核方法及装置。
[0010]本专利技术的技术方案如下：
[0011]一种跨系统数据一致性稽核方法，包括：
[0012]建立用于数据一致性稽核的第三方平台，在第三方平台的数据库生成比对结果表，并对应发起端数据库的数据表和接收端数据库的数据表分别生成目标数据表，在每个目标数据表分别设置触发器；
[0013]对发起端数据库和接收端数据库进行监控，通过数据库日志捕获数据表的变更，并将包含变更数据的比对要素数据写入第三方平台数据库中对应的目标数据表；
[0014]第三方平台数据库的目标数据表写入比对要素数据时，其数据变化使该目标数据
表的触发器触发，并开启数据一致性稽核逻辑；其中，对于先达数据，开启数据一致性稽核逻辑后将其写入比对结果表；对于后达数据，开启数据一致性稽核逻辑后将其与写入比对结果表的先达数据进行比对，判定比对双方的比对要素数据是否一致，并将判定结果记录在比对结果表中。
[0015]进一步的，比对要素数据包括记录数据表编号的字段和发生数据变更的字段。
[0016]进一步的，第三方平台数据库的目标数据表在写入比对要素数据后，在比对要素数据的字段后增加用于记录写入时间的字段。
[0017]进一步的，将比对要素数据写入比对结果表时，在比对要素数据的字段后增加用于记录比对状态的字段和用于记录数据来源的字段；所述比对状态包括“比对不一致”、“比对一致”和“等待比对”；所述数据来源包括“发起端”和“接收端”。
[0018]进一步的，数据一致性稽核逻辑的具体过程为：当发起端数据库和接收端数据库的其中一方的数据写入目标数据表时，先查询比对结果表中是否写入了数据表编号相同且数据来源为另一方的数据，如查询到该数据，则将本方的比对要素数据与对比结果表中对应的数据逐个字段进行比对；如果比对一致则将比对结果表中记录比对状态的字段设置为“比对一致”；否则，将比对结果表中记录比对状态的字段设置为“比对不一致”，同时将自己的比对要素数据也写入比对结果表，并将写入数据对应的记录比对状态的字段设置为“等待对比”；
[0019]如未查询到该数据，则将本方的比对要素数据写入对比结果表，并将比对结果表中记录比对状态的字段设置为“等待比对”；等待另一方的数据到达后，再进行比对。
[0020]进一步的，采用CDC同步软件解析发起端数据库和接收端数据库的在线日志或归档日志，从而对发起端数据库和接收端数据库进行监控，以及通过日志的增量变化捕获数据表的变更，并通过字段过滤的方式将比对要素数据写入第三方平台数据库的目标数据表。
[0021]进一步的，在每个需要比对数据的发起端数据库和接收端数据库分别设置抽取客户端，在第三方平台数据库设置复制客户端；抽取客户端用于对发起端数据库或接收端数据库的变动数据进行抽取并实时传送至第三方平台数据库，复制客户端用于将变动数据定入对应的目标数据表中。
[0022]进一步的，CDC同步软件正常工作时，第三方平台实时进行比对要素数据的比对，如果CDC同步软件出现异常使数据传送中断，待恢复数据传送后，第三方平台先进行非实时比对，待CDC同步软件将同步间隔追平后，第三方平台恢复比对要素数据的实时比对。
[0023]一种跨系统数据一致性稽核装置，包括第三方平台，所述第三方平台的数据库设有比对结果表，并对应发起端数据库的数据表和接收端数据库的数据表分别设有目标数据表，在每个目标数据表分别设置触发器；
[0024]所述第三方平台通过同步软件对发起端数据库和接收端数据库进行监控，并通过数据库日志捕获数据表的变更，以及将包含变更数据的比对要素数据同步到对数的目标数据表中；
[0025]所述触发器用于在对应的目标数据表写入数据时，开启数据一致性稽核逻辑；其中，对于先达数据，开启数据一致性稽核逻辑后将其写入比对结果表；对于后达数据，开启数据一致性稽核逻辑后将其与写入比对结果表的先达数据进行比对，判定比对双方的比对
要素数据是否一致，并将判定结果记录在比对结果表中。
[0026]进一步的，采用CDC同步软件解析发起端数据库和接收端数据库的在线日志或归档日志，从而对发起端数据库和接收端数据库进行监控，以及通过日志的增量变化捕获数据表的变更，并通过字段过滤的方式将比对要素数据写入第三方平台数据库的目标数据表。
[0027]进一步的，在每个需要比对数据的发起端数据库和接收端数据库分别设置抽取客户端，在第三方平台数据库设置复制客户端；抽取客户端用于对发起端数据库或接收端数据库的变动数据进行抽取并实时传送至第三方平台数据库，复制客户端用于将变动数据定入对应的目标数据表中。
[0028]本专利技术中，通过采用CDC技术，将发起端和接收端数据库的变更数据分别同步至第三方平台数据库中的两个对应表，再通过对应表上的触发器逻辑，实现变动数据的准实时比对，由CDC技术保障变动数据采集和传送的准确性与实时性，再通过触发器逻辑实现数据的比对及结果生成；用非常简单的CDC标准软件配置方法和少量的数据库触发器逻辑开发，就可以自动进行不同系统间的数据一致性稽核及修复，大大提升了不同系统间数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种跨系统数据一致性稽核方法，其特征在于，所述数据一致性稽核方法包括：建立用于数据一致性稽核的第三方平台，在第三方平台的数据库生成比对结果表，并对应发起端数据库的数据表和接收端数据库的数据表分别生成目标数据表，在每个目标数据表分别设置触发器；对发起端数据库和接收端数据库进行监控，通过数据库日志捕获数据表的变更，并将包含变更数据的比对要素数据写入第三方平台数据库中对应的目标数据表；第三方平台数据库的目标数据表写入比对要素数据时，其数据变化使该目标数据表的触发器触发，并开启数据一致性稽核逻辑；其中，对于先达数据，开启数据一致性稽核逻辑后将其写入比对结果表；对于后达数据，开启数据一致性稽核逻辑后将其与写入比对结果表的先达数据进行比对，判定比对双方的比对要素数据是否一致，并将判定结果记录在比对结果表中。2.根据权利要求1所述的跨系统数据一致性稽核方法，其特征在于，比对要素数据包括记录数据表编号的字段和发生数据变更的字段。3.根据权利要求2所述的跨系统数据一致性稽核方法，其特征在于，第三方平台数据库的目标数据表在写入比对要素数据后，在比对要素数据的字段后增加用于记录写入时间的字段。4.根据权利要求2所述的跨系统数据一致性稽核方法，其特征在于，将比对要素数据写入比对结果表时，在比对要素数据的字段后增加用于记录比对状态的字段和用于记录数据来源的字段；所述比对状态包括“比对不一致”、“比对一致”和“等待比对”；所述数据来源包括“发起端”和“接收端”；数据一致性稽核逻辑的具体过程为：当发起端数据库和接收端数据库的其中一方的数据写入目标数据表时，先查询比对结果表中是否写入了数据表编号相同且数据来源为另一方的数据，如查询到该数据，则将本方的比对要素数据与对比结果表中对应的数据逐个字段进行比对；如果比对一致则将比对结果表中记录比对状态的字段设置为“比对一致”；否则，将比对结果表中记录比对状态的字段设置为“比对不一致”，同时将自己的比对要素数据也写入比对结果表，并将写入数据对应的记录比对状态的字段设置为“等待对比”；如未查询到该数据，则将本方的比对要素数据写入对比结果表，并将比对结果表中记录比对状态的字段设置为“等待比对”；等待另一方的数据到达后，再进行比对。5.根据权利要求1所述的跨系统数据一致性稽核方法，其特征在于，采用CDC同步软件解析发起端数据库和接收端数据库的在线日志或...
【专利技术属性】
技术研发人员：吴珮毓，
申请(专利权)人：重庆市人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。