【技术实现步骤摘要】
本专利技术涉及变化数据捕获处理，具体而言，涉及一种多层数据仓库变更数据捕获处理方法及系统。
技术介绍
1、随着大数据技术的不断发展与升级，数据分析的场景中所使用的数据仓库也有了更加细致完整的分层设计。对于如何将各种源端数据采集到数据仓库并实时捕获数据变更一直是行业内所关注的重要课题之一。目前，主流的数据变更捕获技术(cdc，change datacapture)主要包括基于查询以及基于日志的两大类，其在应对各种关系型数据库和非关系型数据库的数据采集任务中都有着重要的作用。而对于数据仓库这种层次多且各层之间涉及到分层计算以及相互依赖的数据存储领域，简单的全量或增量备份的cdc策略难以进行完整支撑，使得数据捕获效率以及准确度都无法满足数据分析的场景需求。
技术实现思路
1、本专利技术提供一种多层数据仓库变更数据捕获处理方法及系统，解决现有数据变更捕获技术的数据捕获效率以及准确度都无法满足数据分析业务场景需求的问题。
2、在第一方面，本专利技术实施例中提供一种多层数据仓库变更数据捕获...
【技术保护点】
1.一种多层数据仓库变更数据捕获处理方法，其特征在于，所述方法流程如下：
2.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，基于源端的动态日志流将源端的变更数据同步到目标端的数据仓库之前，需要开启源端日志状态。
3.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，基于源端的动态日志流将源端的变更数据同步到目标端的数据仓库的流程如下：
4.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，基于业务需求对目标端的数据仓库进行结构划分以及基础层设定的流程如下：
...
【技术特征摘要】
1.一种多层数据仓库变更数据捕获处理方法，其特征在于，所述方法流程如下：
2.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，基于源端的动态日志流将源端的变更数据同步到目标端的数据仓库之前，需要开启源端日志状态。
3.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，基于源端的动态日志流将源端的变更数据同步到目标端的数据仓库的流程如下：
4.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，基于业务需求对目标端的数据仓库进行结构划分以及基础层设定的流程如下：
5.根据权利要求1所述的一种多层数据仓库变更数据捕获处理方法，其特征在于，采用分布式处理框架对基础层进行预处理算子构建的流程如下：
6.根据权利要求5所述的一种多层数据仓库变更数据捕...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。