一种异构数据库变更实时通知方法技术

本发明专利技术公开了一种异构数据库变更实时通知方法，首先确定源表集和目标表集，通过数据变更捕获机制，监听源表集，当对源表进行数据的增加或删除或改变操作时，数据变更捕获机制将DML操作记录到目标表集中对应的目标表中；然后通过数据转换程序，从目标表集中获取变更数据，并将变更数据转换为统一格式后存放到另行建立的变更数据库中；当变更数据库中新增变更数据后，将变更消息通过消息队列机制推送给用户。本发明专利技术实现了异构数据库的数据变更捕获和推送。使用者不需要关心不同版本的数据兼容问题，本发明专利技术可以处理不同数据库不同版本的数据，统一格式对外输出，使用者可对所有数据库的数据变更进行定制化订阅。

【技术实现步骤摘要】
一种异构数据库变更实时通知方法
本专利技术涉及一种监听异构数据库中数据变更情况并实时推送的方法。
技术介绍
实际应用中，用户及运维者具有实时获取数据库变更通知的需求，而数据库变更捕获，是实现数据库变更通知的基础。目前，数据库变更捕获主要有两种实现方式：一种多存在于OLAP（联机分析处理）和ETL（数据仓库技术）开发中，进行增量的抽取，另一种是基于CDC（数据变更捕获），是在数据库级别实现的增量抽取解决方案。在CDC出现之前，基于OLAP和ETL开的数据增量抽取方法可分为：一、时间戳：在数据库表中增加时间戳字段，数据库中发生的所有CUD（增改删）操作，均同步修改时间戳，当进行数据抽取时，通过对比上次抽取时间与时间戳字段的一致性来决定抽取哪些数据。部分数据库不支持时间戳的自动更新，即表中数据发生变更时，数据库不能自主更新时间戳，需要业务逻辑进行相对应的处理。该方式的优点是：时间戳性能较好，结构清晰，实现简单，可以满足数据的递增加载。缺点在于：在表结构的层级对数据变更捕获进行侵入，耦合性很高，如果对生产项目增加时间戳字段，需要耦合的业务代码众多。另外对于不支持自动更新时间戳的数据库，还需处本文档来自技高网...

【技术保护点】
1.一种异构数据库变更实时通知方法，其特征在于通过计算机装置实现下述步骤：（1）确定源表集和目标表集，所述源表集用于指定需要监听的源表，所述目标表集用于指定源表所对应的目标表；通过数据变更捕获机制，监听源表集，当对源表进行数据的增加或删除或改变操作时，数据变更捕获机制将DML操作记录到目标表集中对应的目标表中；（2）通过数据转换程序，从目标表集中获取变更数据，并将变更数据转换为统一格式后存放到另行建立的变更数据库中；（3）变更数据库中新增变更数据后，将变更消息通过消息队列机制推送给用户。

【技术特征摘要】
1.一种异构数据库变更实时通知方法，其特征在于通过计算机装置实现下述步骤：（1）确定源表集和目标表集，所述源表集用于指定需要监听的源表，所述目标表集用于指定源表所对应的目标表；通过数据变更捕获机制，监听源表集，当对源表进行数据的增加或删除或改变操作时，数据变更捕获机制将DML操作记录到目标表集中对应的目标表中；（2）通过数据转换程序，从目标表集中获取变更数据，并将变更数据转换为统一格式后存放到另行建立的变更数据库中；（3）变更数据库中新增变更数据后，将变更消息通过消息队列机制推送给用户。2.如权利要求1所述的异构数据库变更实时通知方法，其特征在于：所述源表集还指定源表中需要监听的字段。3.如权利要求1所述的异构数据库变更实时通知方法，其特征在于：所述数据变更机制基于CDC或者Trigger；当异构数据库中某数据库支持CDC捕获数据变更时，所述目标表是指该数据库的CDCSchema表；如果异构数据库中某数据库不支持CDC捕获数据变更，则采用Trigger机制捕获数据变更，所述目标表为另建的用于存储DML操作记录的中间数据表。4.如权利要求3所述的异构数据库变更实时通知方法，其特征...

【专利技术属性】
技术研发人员：耿庆霄，杜黎言，吴晓龙，王冠男，滕晓东，
申请(专利权)人：山东威尔数据股份有限公司，
类型：发明
国别省市：山东,37