一种实时增量抽取数据库视图数据的方法技术

一种实时增量抽取数据库视图数据的方法，包括如下步骤：步骤1，构建视图与实体表映射关系及关联字段的配置信息；步骤2，数据库变更数据获取程序捕获数据库实体表变更，根据步骤1的所述配置信息构建视图变更记录；步骤3，判断所述实体表变更是增改还是删除，并且根据所述增改和删除两种情形分别添加记录到本地和删除本地记录。除本地记录。除本地记录。

【技术实现步骤摘要】
一种实时增量抽取数据库视图数据的方法


[0001]本专利技术属于数据库变更数据获取(change data capture，简称CDC)的领域，针对数据库视图实时变更数据捕获提出了解决办法。特别涉及一种实时增量抽取数据库视图数据的方法。

技术介绍

[0002]数据库变更数据获取(change data capture，简称CDC)技术有很多，分为两大类：基于查询的方法和基于日志的CDC。查询的方法可以根据时间戳、版本号、快照、触发器等识别变更数据，离线调度查询作用，把表或视图数据同步到另一个系统，但是无法做到实时。
[0003]基于日志的办法可以实时消费数据库变更日志，达到了实时同步的目的。但是数据表的数据变更才会有数据库日志，而视图本质上讲只是一个SQL语句，不会产生数据库日志，所以通过日志不会捕获到视图数据的变更。
[0004]普遍的解决方案是通过日志实时同步表数据，同时把源数据库的视图SQL语句搬迁到目标数据库。这样的方案存在的问题是时刻要保持目标数据库的视图SQL跟源数据库的视图SQL一致，同时也得保证源数据愿意共享视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时增量抽取数据库视图数据的方法，包括如下步骤：步骤1，构建视图与实体表映射关系及关联字段的配置信息；步骤2，数据库变更数据获取程序捕获数据库实体表变更，根据步骤1的所述配置信息构建视图变更记录；步骤3，判断所述实体表变更是增改还是删除，并且根据所述增改和删除两种情形分别添加记录到本地和删除本地记录。2.根据权利要求1所述的实时增量抽取数据库视图数据的方法，其特征在于，在步骤1中，所述视图经由第一表借助第一字段关联到第二表，该第二表通过第二字段关联到第三表，如此类推。3.根据权利要求2所述的实时增量抽取数据库视图数据的方法，其特征在于，所述表包括主表和维度表，所述关联字段包括主键和非主键。4.根据权利要求3所述的实时增量抽取数据库视图数据的方法，其特征在于，在所述步骤2中还包括，步骤2.1，判断所述实体表是主表还是维度表；步骤2.2，如果是主表记录变更记录的主键，如果涉及维度表，则判断所述实体表与主表关联字段是主键还是非主键，如果是主键，则记录变更记录的主键，如果是否则需要变更整个视图。5.根据权利要求4所述的实时增量抽取数据库视图数据的方法，其特征在于，在所述步骤3中还包括：步骤3.1通过变更记...

【专利技术属性】
技术研发人员：肖定和，王苹，王启伟，杨帆，周海涛，郑瀚，徐沛阳，汪松良，杨竞霜，
申请(专利权)人：嘉实远见科技北京有限公司，
类型：发明
国别省市：